EP1999998A1 - Procede de synthese binaurale prenant en compte un effet de salle - Google Patents

Procede de synthese binaurale prenant en compte un effet de salle

Info

Publication number
EP1999998A1
EP1999998A1 EP07731711A EP07731711A EP1999998A1 EP 1999998 A1 EP1999998 A1 EP 1999998A1 EP 07731711 A EP07731711 A EP 07731711A EP 07731711 A EP07731711 A EP 07731711A EP 1999998 A1 EP1999998 A1 EP 1999998A1
Authority
EP
European Patent Office
Prior art keywords
amplitude
brir filter
delay
samples
vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
EP07731711A
Other languages
German (de)
English (en)
Other versions
EP1999998B1 (fr
Inventor
Julien Faure
Alexandre Guerin
Rozenn Nicol
Grégory PALLONE
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Orange SA
Original Assignee
France Telecom SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by France Telecom SA filed Critical France Telecom SA
Publication of EP1999998A1 publication Critical patent/EP1999998A1/fr
Application granted granted Critical
Publication of EP1999998B1 publication Critical patent/EP1999998B1/fr
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S1/00—Two-channel systems
    • H04S1/002—Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution
    • H04S1/005—For headphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/01—Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/002—Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution
    • H04S3/004—For headphones

Definitions

  • the invention relates to the so-called 3D sound spatialization of audio signals, integrating in particular a room effect, particularly in the field of binaural techniques.
  • the term "binaural” aims at the reproduction on a stereo headset, or a pair of headphones, of a sound signal with nevertheless spatialization effects.
  • the invention is however not limited to the aforementioned technique and applies, in particular, to techniques derived from “binaural” such as “transaural” reproduction techniques, that is to say on remote speakers.
  • TRANSAURAL ® is a registered trademark of COOPER BAUCK CORPORATION.
  • a specific application of the invention is, for example, the enrichment of audio contents by effectively applying acoustic transfer functions of the head of a listener to monophonic signals, in order to plunge the latter into a 3D sound scene , including in particular a room effect.
  • the transfer function, or filter, of a sound signal between a position of a sound source in space and the two ears of a listener is designated HRTF for "IHead Related Transfer Function” in English in its frequency form and HRIR for "JHead Related Impulse Response” in English in its time form.
  • HRTF for "IHead Related Transfer Function” in English in its frequency form
  • HRIR for "JHead Related Impulse Response” in English in its time form.
  • the binaural technique consists in applying such acoustic transfer functions of the head to monophonic audio signals, in order to obtain a stereophonic signal which, when listening to the headphones, to have the feeling that the sound sources come from a particular direction of space.
  • the signal from the right ear is obtained by filtering the monophonic signal by the HRTF of the right ear and the left ear signal is obtained by filtering the same monophonic signal by the HRTF of the left ear.
  • ITD for "English Time Difference", defined as the interaural difference in the arrival time of sound waves from the same sound source between the left ear and the right ear of the listener. ITD is mainly linked to the HRTF phase;
  • the aforementioned transfer functions may take into account diffusion reflection phenomena , diffraction, which correspond to the acoustic response of the room in which these transfer functions have been measured or simulated.
  • the aforementioned transfer functions are then called BRIR for "Binaural Room Impulse Response" in English in their temporal form.
  • the aforementioned binaural techniques can be used, for example, to simulate a 5.1-type 3D rendering of the headphones.
  • this technique at each loudspeaker position of the "surround" system in English, or multi-speaker, corresponds a pair of HRTF, an HRTF for the left ear and an HRTF for the right ear.
  • the sum of the 5 channels of the 5.1 mode signal convoluted by the 5 HRTF filters for each listener's ear provides two right and left binaural channels, which simulate the 5.1 mode for listening on an audio headset.
  • binaural virtual surround in English for binaural spatialization simulating a multi-speaker system we speak of binaural virtual surround in English for binaural spatialization simulating a multi-speaker system.
  • the first relating to the real room effect, consists in measuring HRIRs in a non-anechoic room, thus having a room effect.
  • HRIR obtained which are other than BRIR, must be of long enough duration to integrate the first sound reflections, duration greater than 500 temporal samples for a sampling frequency of 44 100 Hz, but this duration must be even longer. significant, that is to say greater than 20 000 temporal samples at the same sampling frequency, if we want to integrate the late reverberation effect. It is noted, however, that the above-mentioned BRIRs can be equivalently obtained by the convolution of HRIRs measured in anechoic environment with the desired room effect, represented by the impulse response of the room;
  • the second, relating to the effect of artificial room, comes from the virtual acoustics and consists of integrating the room effect with the HRIR, so synthetic.
  • This operation is carried out thanks to spatializers that introduce artificial reverberation effects.
  • the disadvantage of such methods is that obtaining a realistic rendering requires significant computing power.
  • a common method is to model binaural filters, breaking down HRTFs, or HRIRs, into a minimum phase component (minimum phase filter determined by the spectral modulus of the HRTF) and a pure delay.
  • the difference in delay observed between the HRTF or the HRIR of the left ear and the right ear corresponds to the ITD location index.
  • the spectral module is obtained by taking the module of the Fourier transform of the HRIRs.
  • the number of coefficients can then be reduced, for example by averaging the energy over a reduced number of frequency bands, for example according to frequency smoothing techniques based on the integration properties of the auditory system.
  • the simplest and most direct method is the bi-channel implementation of the binaural, shown in Figure 1.
  • the spatialization of the sources is done independently of each other.
  • a pair of HRTF filters is associated with each source.
  • the filtering can be carried out either in the time domain, in the form of a convolution product, or in the frequency domain, in the form of a complex multiplication, or in any other transformed domain, such as the PQMF domain for Pseudo Quadrature Mi ⁇ or Filter in English for example.
  • the multi-channel binaural implementation is an alternative to the bi-channel implementation offering a more efficient implementation that consists of a linear decomposition of the HRTFs, in the form of a sum of products of directional functions (encoding gains). and elementary filters (decoding filters).
  • This decomposition makes it possible to separate the encoding and decoding steps, the number of filters then being independent of the number of sources to be spatialized.
  • the elementary filters can in turn be modeled by a minimal phase filter and a pure delay to simplify their implementation. It is also possible to extract the delays from the original HRTFs and integrate them separately into the encoding.
  • the BRIRs because of the long duration of the room responses, contain a number of temporal samples which can be very high, more than 20 000 samples for medium-sized rooms, this number being linked to the delay of room echoes and therefore to the dimensions of the latter.
  • the corresponding BRIR filters require very large computing power and memory size;
  • an object of the present invention aims to overcome the aforementioned drawbacks of the prior art.
  • an object of the present invention is to provide a method for calculating BRIR filter modeling parameters, HRIR filters taking into account a room effect of the prior art, these parameters comprising one or more delays possibly associated with gains and at least one amplitude spectrum, to allow an efficient implementation either in the time domain, or in the frequency domain or transformed.
  • Another object of the present invention is the implementation of a method for calculating specific BRIR filters, which, although equivalent in terms of quality to conventional or original BRIR filters allowing a satisfactory positioning and externalization of the sources, reduce strongly computing power and memory size necessary for the implementation of the corresponding filtering.
  • the method of 3D spatialization of audio channels, from at least one BRIR filter incorporating a room effect, object of the present invention is remarkable in that it consists at least, for a specific number of samples corresponding to the size of the impulse response of the BRIR filter, to decompose this BRIR filter into at least one set of delay and amplitude values associated with the arrival times of the reflections, to extract on this number of samples at least one spectral module of the BRIR filter, to be constituted from each successive delay of its amplitude and associated spectral module an elementary BRIR filter directly applied to the audio channels in the time domain, frequency or transformed.
  • the method according to the invention is furthermore remarkable in that the decomposition of the BRIR filter is carried out by a delay detection process by detection of the amplitude peaks, at the first amplitude peak being associated the delay corresponding to the moment of arrival the direct sound wave.
  • the method which is the subject of the invention is also remarkable in that the extraction of each spectral module is performed by a time-frequency transformation.
  • the method which is the subject of the invention is also remarkable in that, for a number of samples corresponding to the impulse response of the BRIR filter decomposed into frequency sub-bands of rank k determined, the value of the spectral module of the BRIR filter is defined. as a real value of gain representative of the energy of the BRIR filter in each sub-band.
  • each delay is associated with a spectral module and in that the spectral module of the BRIR filter is defined in each sub-band as a real value of gain representative of the energy of the partial BRIR filter in said sub-band, this gain value being a function of the associated delay.
  • This modulation of the spectral module as a function of the applied delay makes it possible to implement a reconstruction of the BRIR filter much closer to the original BRIR filter.
  • each elementary BRIR filter in each frequency subband of rank k is formed by a complex multiplication, whether or not the delay associated with each amplitude peak includes a value. real gain, and by a pure delay, increased by the delay gap vis-à-vis the delay allocated to the first sample corresponding to the instant of arrival of the direct sound wave.
  • FIG. 2 represents, for purely illustrative purposes, a flowchart of the essential steps for implementing the method of 3D spatialization of audio channels from at least one BRIR filter incorporating a room effect, in accordance with the purpose of the present invention
  • FIG. 3a represents a detail of implementation of the step of decomposition performed in step A of Figure 2a;
  • FIG. 3b shows a sample timing diagram for explaining the procedure of a sub-step A 0 of constitution of a first vector I 1 and a first offset vector s l + i of amplitude peaks Figure 3a;
  • FIG. 3c represents by way of illustration a timing diagram of the amplitude peak samples explaining a process for constructing a second vector from a vector of difference between the first offset vector and the first vector illustrated in FIG. 3b , this second vector grouping the rank indices of isolated amplitude peaks;
  • FIG. 3d represents a timing diagram of the amplitude peaks representative of the first reflections due to the room effect obtained from the second vector illustrated in FIG. 3c, with each of the first reflections being allocated a delay corresponding to the parameter corresponding to the instant of arrival of the direct sound wave, then specific successive delays added to the delay parameter of the direct sound wave.
  • the method according to the invention consists, for a given number N of specific samples, corresponding to the size of the impulse response of the BRIR filter, to decompose in a step A, this BRIR filter into at least one set of amplitude values. and delay values describing a sequence of amplitude peaks.
  • a n indicates the amplitude of the sample of rank n and A MX indicates the amplitude of each amplitude peak, ⁇ x denoting the delay associated with each of the corresponding amplitude peaks.
  • Step B is then followed by a step C consisting of constituting from each successive delay, the amplitude and the spectral module associated with this delay established in step B a BRIR elementary filter rated BRIR ⁇ directly applied to audio channels in the time domain frequency or transformed, as will be described below in the description.
  • the decomposition of the BRIR filter in step A is performed by a delay detection process by detection of the amplitude peaks, at the first amplitude peak being associated with the delay ⁇ o corresponding to the moment of arrival of the direct sound wave.
  • the first amplitude peak is defined by the parameters
  • Other methods of detecting the first peak can also be used, as is known from the state of the art, in particular to determine the value of the delay ⁇ o which can for example be taken as equal to the interaural delay.
  • Step B of extracting at least one spectral module of the BRIR filter with a duration of N samples makes it possible to ensure a correspondence of the timbre between each original BRIR filter and the reconstructed BRIR filter from the elementary BRIR ⁇ filters. as will be described later in the description.
  • the extraction of the module Spectral can be performed by a time-frequency transformation such as a Fourier transform, as will be described later in the description.
  • BRIR elementary BRIR filters ⁇ each formed from the value of each spectral module BRIR filter and of course the amplitude and the delay Ax considered, ensures a reduction in calculation costs.
  • All methods of filtering from a minimum phase filter or not, associated with all methods of implementation of delays may be suitable for the proposed decomposition.
  • the method which is the subject of the invention can for example be combined with a multichannel implementation of the binaural 3D spatialization.
  • the aforementioned implementation mode is implemented in the context of the decomposition of BRIR filters for an efficient implementation in the field of complex temporal subbands more particularly, but in a non-limiting manner, the complex PQMF domain.
  • Such an implementation can be used by a decoder defined by the MPEG surround standard, in order to obtain a binaural 3D rendering of type 5.1.
  • 5.1 is defined by the MPEG spatial audio coding standard ISO / IEC 23003-1 (doc N7947).
  • the aforementioned embodiment can be transposed to the time domain, that is to say to the domain not transformed into sub-bands or to any other another transformed domain.
  • the extraction of delays consists at least for any BRIR filter corresponding to a position of the space, as represented in FIG. 3a.
  • This operation makes it possible to generate a first vector denoted I 1 at the substep A 0 3, and a first offset vector denoted l, + i at the substep A 04 .
  • the first vector I corresponds to the rank indices of the temporal samples whose amplitude value is greater than the threshold value V.
  • the first offset vector I, + i is deduced from the first vector by shifting an index.
  • the first vector and the first offset vector are representative of the position of the amplitude peaks in the number N of samples.
  • Step A 0 is followed by a step Ai of determining whether the time samples whose amplitude is greater than the threshold value V corresponding to amplitude peaks isolated by calculating a deviation vector I '. which represents the difference between the first offset vector l, + i and the first vector I 1 .
  • Step Ai is then followed by a step A 2 of calculating a second vector P grouping the isolated amplitude peak indices on the number N of samples for a difference threshold defined by a specific value W.
  • step A 2 is followed by a step A 3 of identifying, from the samples of the second vector, for each identified isolated peak, the index of the maximum amplitude sample from a determined number of samples, taken equal to the value W previously quoted according to the sample identified by the second vector.
  • This value W can be determined experimentally.
  • the index and the amplitude of any new maximum amplitude sample are stored in the form of a delay index vector and an amplitude vector.
  • a delay index vector and an amplitude vector are stored in the form of a delay index vector and an amplitude vector.
  • temporal envelope of the latter is given by:
  • Step A 0 then consists in finding all the indices of the samples whose envelope value is greater than the threshold value V.
  • the threshold value V is itself a function of the energy of the temporal envelope of the BRIR filter.
  • C is a constant fixed at 1 for example.
  • K is the number of samples whose absolute value of the amplitude exceeds the threshold value V for constitute the first vector.
  • FIG. 3b the time envelope of a BRIR filter for which the threshold V is set to the real value 0.037 is shown.
  • step Ai the vector I ', deviation vector, is then calculated, the difference between the first offset vector I, + i and the first vector I 1 .
  • Step A 2 then consists in calculating the second vector P which groups the indices of the distinct peaks.
  • the index of the following peaks corresponds to the indices increased by 1 of the values of I 'which exceed a threshold of difference defined by a value W.
  • a '(i) BRIR (D' (i)) * sign (BRIR (D '(1))).
  • the amplitudes A of maximum amplitudes can then be normalized in energy by the relation:
  • L is the number of elements of D 'and of A, that is to say indicative and amplitude vectors representative of each peak. This number depends of course on the threshold value V and the value of the constant W above.
  • FIG. 3d A representation of normalized amplitudes, peaks amplitude and their successive delay position with respect to the first amplitude peak to which the delay ⁇ o is allocated, is represented in FIG. 3d.
  • SB k SB k
  • delays and gains are applied to the complex samples, as will be described later in the description.
  • each spectral module of the BRIR filter is defined in each sub-band as at least one real value of gain representative of the energy of the BRIR filter in said sub-band.
  • the corresponding gain values denoted G (k, n) where k denotes the rank of the subband under consideration and n the rank of the sample among the N samples, are obtained by averaging spectral amplitude energy of each BRIR filter in each subband.
  • the weighting window is centered on the center frequency of the sub-band k and the frequency f1 is less than or equal to the starting frequency of the sub-band k.
  • each delay is associated with a spectral module.
  • the value of each spectral module is defined in each sub-band as at least one gain value representative of the energy of the partial BRIR filter in said sub-band, this gain value being a function of the applied delay as a function of the index of each amplitude peak sample, from the index and amplitude vector.
  • the gains G (k, n) are modulated and can therefore vary with each new I applied delay.
  • the gain values are then given by the relation:
  • BRIR * (f, l) is the Fourier transform of the windowed BRIR (t) temporal filter between the samples D '(1) -Z and D' (1 + 1), the calculated spectral energy being that of the partial BRIR filter thus window, and completed by 0 to obtain 8 192 samples.
  • each elementary BRIR filter in each frequency subband k can then advantageously be formed by a complex multiplication, including a real value of gain, whether or not the delay applied as a function of the index of each sample of amplitude peak, according to the first or the second retained embodiment previously described in the description.
  • the elementary BRIR filter is also formed by a pure delay plus the delay difference with respect to the delay ⁇ o allocated to the first amplitude peak. This delay can then be implemented via a delay line applied to the product obtained by the rotation in the form of complex multiplication mentioned above.
  • E (k, n) denotes the nth complex sample of the subband k considered
  • S (k, n) denotes the nth sample of the subband k after application of the gains and the delays
  • M is the number of sub-bands
  • d (I) and D (I) are such that they correspond to the application of the I th delay of D (1) M + d (1) samples in the non-subsampled time domain.
  • the delay D (1) M + d (1) corresponds to the values of D '(1) calculated according to the amplitude peak detection process previously described in connection with FIGS. 3a to 3d.
  • a (I) denotes the amplitude of the peak associated with the corresponding delay
  • G (k, n) denotes the real gain applied to the nth complex sample of the sub-band SB k of rank k considered.
  • the method according to the invention consists in adding to the values of detected amplitude peaks a plurality of arbitrary amplitude values distributed over an arbitrary instant from which discrete reflections are considered. are finished and where the late reverberation phenomenon begins. These amplitude values are calculated and distributed beyond the arbitrary duration, which can be taken equal to 200 milliseconds, for example, until the last sample of the number of samples corresponding to the size of the BRIR impulse response.
  • the amplitude peaks of the first reflections are determined as previously described in connection with FIGS. 2 and following, and, from a sample t1 corresponding to 200 milliseconds, determined experimentally. and corresponding to the beginning of the late reverberation, until a sample t2 which corresponds to the end of the reverberation or, if appropriate, at the end of the N samples of the impulse response of the BRIR filter, R values are added to the vectors D 'and A' such that:
  • L is the number of peaks detected
  • r is an integer between 1 and R.
  • the late reverberation phenomenon can also be processed by a delay line added to the treatment of the first reflections.
  • the invention finally covers a computer program comprising a series of instructions stored on a storage medium of a computer or a dedicated 3D sound spatialization device of remarkable audio signals in that, when executed, this computer program executes the 3D sound spatialization method from at least one BRIR filter comprising a room effect previously described in the description in connection with Figures 2 and 3a to 3d.
  • the above-mentioned computer program can be a directly executable program implanted in the permanent memory of a computer or a binaural synthesis device of a room effect in spatial sound spatialisation.
  • the implementation of the invention can then be performed completely digitally.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Stereophonic System (AREA)

Abstract

Un procédé de spatialisation 3D de canaux audio à partir d'un filtre BRIR incorporant un effet de salle. Pour un nombre N d'échantillons spécifique taille de la réponse impulsionnelle du filtre BRIR, il consiste à décomposer (A) le filtre BRIR en au moins un ensemble de valeurs de retard et d'amplitude associées aux instants d'arrivée des réflexions, extraire (B) sur le nombre N d'échantillons au moins un module spectral du filtre BRIR, et constituer (C) à partir de chaque retard successif, de son amplitude et de son module spectral associés un filtre BRIR élémentaire (BRIR<SUB>e</SUB>) directement appliqué aux canaux audio dans le domaine temporel, fréquentiel ou transformé. Application à la spatialisation binaurale bi- ou multicanale.

Description

PROCÉDÉ DE SYNTHÈSE BINAURALE PRENANT EN COMPTE UN
EFFET DE SALLE
L'invention est relative à la spatialisation sonore, dite rendu 3D, de signaux audio, intégrant en particulier un effet de salle, notamment dans le domaine des techniques binaurales.
Ainsi, le terme « binaural » vise la restitution sur un casque stéréophonique, ou une paire d'écouteurs, d'un signal sonore avec néanmoins des effets de spatialisation. L'invention ne se limite toutefois pas à la technique précitée et s'applique, notamment, à des techniques dérivées du « binaural » telles que les techniques de restitution « transaurale », c'est- à-dire sur des hauts parleurs distants. TRANSAURAL® est une marque de commerce déposée par la société COOPER BAUCK CORPORATION.
Une application spécifique de l'invention est, par exemple, l'enrichissement des contenus audio en appliquant de manière efficace des fonctions de transfert acoustique de la tête d'un auditeur à des signaux monophoniques, afin de plonger ce dernier dans une scène sonore 3D, incluant en particulier un effet de salle.
Pour la mise en œuvre des techniques « binaurales » sur casque ou haut-parleurs, on définit la fonction de transfert, ou filtre, d'un signal sonore entre une position d'une source sonore dans l'espace et les deux oreilles d'un auditeur. La fonction de transfert acoustique de la tête précitée est désignée HRTF pour « IHead Related Transfer Function » en anglais dans sa forme fréquentielle et HRIR pour « JHead Related Impulse Response » en anglais dans sa forme temporelle. Pour une direction de l'espace, on obtient au final deux HRTF : une pour l'oreille droite et une pour l'oreille gauche. En particulier, la technique binaurale consiste à appliquer de telles fonctions de transfert acoustique de la tête à des signaux audio monophoniques, afin d'obtenir un signal stéréophonique qui permet, lors d'une écoute au casque, d'avoir la sensation que les sources sonores proviennent d'une direction particulière de l'espace. Le signal de l'oreille droite est obtenu en filtrant le signal monophonique par la HRTF de l'oreille droite et le signal de l'oreille gauche est obtenu en filtrant ce même signal monophonique par la HRTF de l'oreille gauche.
Les paramètres physiques essentiels qui permettent de caractériser ces fonctions de transfert sont :
- l'ITD pour « hπteraural Time Différence » en anglais, défini comme la différence interaurale de temps d'arrivée des ondes sonores d'une même source sonore entre l'oreille gauche et l'oreille droite de l'auditeur. L'ITD est principalement lié à la phase des HRTF ;
- le module spectral, qui permet notamment de percevoir des différences de niveau entre l'oreille gauche et l'oreille droite en fonction de la fréquence ; - lorsque les HRTF, ou les HRIR, de la tête de l'auditeur ne sont pas considérées comme correspondant à des conditions de propagation sonore en champ libre (condition anéchoïque), les fonctions de transfert précitées peuvent prendre en compte des phénomènes de réflexion diffusion, diffraction, lesquels correspondent à la réponse acoustique de la salle dans laquelle ces fonctions de transfert ont été mesurées ou simulées. Les fonctions de transfert précitées sont alors appelées BRIR pour « Binaural Room Impulse Response » en anglais dans leur forme temporelle.
Les techniques binaurales précitées peuvent être par exemple employées pour simuler un rendu 3D de type 5.1 au casque d'écoute. Dans cette technique, à chaque position de haut parleur du système « surround » en anglais, ou multi haut-parleurs, correspond un couple de HRTF, une HRTF pour l'oreille gauche et une HRTF pour l'oreille droite. La somme des 5 canaux du signal en mode 5.1 convolués par les 5 filtres HRTF pour chaque oreille d'un auditeur permet d'obtenir deux canaux binauraux droit et gauche, lesquels simulent le mode 5.1 pour une écoute sur un casque d'écoute audio. On parle dans cette situation de « binaural virtual surround » en anglais pour spatialisation binaurale simulant un système multi haut-parleurs.
Lorsque, dans le rendu 3D, l'on prend en compte le fait, pour l'auditeur, de percevoir les sources sonores plus ou moins éloignées de la tête, phénomène connu sous le nom d'externalisation, et ce de manière indépendante de la direction de provenance des sources sonores, il arrive fréquemment, dans un rendu 3D binaural, que les sources soient perçues à l'intérieur de la tête par l'auditeur. La source ainsi perçue est dite non externalisée. Différents travaux ont montré que l'ajout d'un effet de salle dans les méthodes de rendu 3D binaurales permet d'augmenter considérablement l'externalisation des sources sonores. Confer, notamment, D. R. Begault et E. M. Wenzel, "Direct comparison of the impact of head tracking, réverbération, and individualized head-related transfer functions on the spatial perception of a virtual speech source". J. Audio Eng. Soc, vol. 49, n° 10, 2001.
Actuellement, il existe deux méthodes principales, permettant d'intégrer l'effet de salle aux HRIR :
- la première, relative à l'effet de salle réel, consiste à mesurer des HRIR dans une salle non anéchoïque, comportant donc un effet de salle. Les
HRIR obtenues, qui ne sont autres que des BRIR, doivent être d'une durée suffisamment longue pour intégrer les premières réflexions sonores, durée supérieure à 500 échantillons temporels pour une fréquence d'échantillonnage de 44 100 Hz, mais cette durée doit être encore plus importante, c'est-à-dire supérieure à 20 000 échantillons temporels à la même fréquence d'échantillonnage, si on veut intégrer l'effet de réverbération tardive. On note toutefois que les BRIR précitées peuvent être obtenues de manière équivalente par la convolution des HRIR mesurées en environnement anéchoïque avec l'effet de salle désiré, représenté par la réponse impulsionnelle de la salle ;
- la deuxième, relative à l'effet de salle artificiel, est issue de l'acoustique virtuelle et consiste à intégrer l'effet de salle au HRIR, de manière synthétique. Cette opération est réalisée grâce à des spatialisateurs qui introduisent des effets de réverbération artificielle. L'inconvénient de telles méthodes est que l'obtention d'un rendu réaliste nécessite une puissance de calcul importante. En ce qui concerne la spatialisation sonore « binaurale » une méthode courante consiste à modéliser les filtres binauraux, en décomposant les HRTF, ou les HRIR, en une composante à phase minimale (filtre à phase minimale déterminé par le module spectral de la HRTF) et un retard pur. Pour une description plus détaillée d'une telle méthode, on pourra utilement se reporter aux articles de D. J. Kistler et F. L. Wightman, « A mode/ of head-related transfer functions based on principal components analysis and minimum-phase reconstruction » J. Acoustic Soc. Am. 91 (3) p 1637-1647, 1992 et de Kulkarni A. et al. « On the minimum-phase approximation of head-related functions » 1995 IEEE ASSP Workshop on Applications of Signal Processing Audio and Acoustics (IEEE catalog number: 95TH8144).
La différence de retard observée entre les HRTF ou les HRIR de l'oreille gauche et de l'oreille droite correspond alors à l'indice de localisation ITD. Il existe différentes méthodes pour extraire les retards des HRIR ou HRTF. Les principales méthodes sont décrites par S. Busson « Individualisation d'indices acoustiques pour la synthèse binaurale » Thèse de doctorat de l'Université de la Méditerranée Aix-Marseille II, 2006.
Le module spectral est obtenu en prenant le module de la transformée de Fourier des HRIR. Le nombre de coefficients peut alors être réduit, par exemple en moyennant l'énergie sur un nombre réduit de bandes de fréquences, par exemple selon des techniques de lissage fréquentiel basées sur les propriétés d'intégration du système auditif.
Indépendamment de la façon dont sont modélisés les filtres HRTF ou HRIR, le cas échéant BRIR, il existe plusieurs méthodes d'implémentation de la spatialisation sonore binaurale.
Parmi celles-ci, la méthode la plus simple et la plus directe est l'implémentation bi-canale du binaural, représentée en figure 1. Selon cette méthode, la spatialisation des sources se fait de façon indépendante les unes des autres. Une paire de filtres HRTF est associée à chaque source. Le filtrage peut être réalisé soit dans le domaine temporel, sous la forme d'un produit de convolution, soit dans le domaine fréquentiel, sous la forme d'une multiplication complexe, ou encore dans tout autre domaine transformé, tel que le domaine PQMF pour Pseudo Quadrature Mi^or Filter en anglais par exemple.
L'implémentation multicanale du binaural est une alternative à l'implémentation bi-canale offrant une implémentation plus efficace qui consiste en une décomposition linéaire des HRTF, sous la forme d'une somme de produits de fonctions de la direction (gains d'encodage) et de filtres élémentaires (filtres de décodage). Cette décomposition permet de séparer les étapes d'encodage et de décodage, le nombre de filtres étant alors indépendant du nombre de sources à spatialiser. Les filtres élémentaires peuvent à leur tour être modélisés par un filtre à phase minimale et un retard pur pour simplifier leur implémentation. Il est également possible d'extraire les retards des HRTF d'origine et de les intégrer séparément à l'encodage.
Les techniques antérieures précitées présentent des inconvénients majeurs, lors de l'implémentation de filtres BRIR, prenant en compte l'effet de salle, en particulier :
- la complexité : les BRIR, du fait de la durée importante des réponses de salle, contiennent un nombre d'échantillons temporels qui peut être très élevé, supérieur à 20 000 échantillons pour des salles de taille moyenne, ce nombre étant lié au retard des échos de salle et donc aux dimensions de cette dernière. En conséquence, les filtres BRIR correspondants requièrent une puissance de calcul et une taille mémoire très importantes ;
- l'externalisation : la modélisation sous la forme d'un filtre à phase minimale, associé à un retard pur, permet de réduire la taille des filtres.
Cependant, le fait d'extraire un seul retard interaural pour chaque filtre BRIR ne permet pas de prendre en compte les premières réflexions. Dans ce cas, le timbre sonore est bien respecté mais l'effet d'externalisation n'est plus reproduit.
La présente invention a pour objet de remédier aux inconvénients précités de la technique antérieure. En particulier, un objet de la présente invention est de proposer un procédé de calcul de paramètres de modélisation de filtres BRIR, filtres HRIR prenant en compte un effet de salle de l'art antérieur, ces paramètres comprenant un ou plusieurs retards éventuellement associés à des gains et à au moins un spectre d'amplitude, afin de permettre une implémentation performante soit dans le domaine temporel, soit dans le domaine fréquentiel ou transformé.
Un autre objet de la présente invention est la mise en œuvre d'un procédé de calcul de filtres BRIR spécifiques, lesquels, bien que équivalents en termes de qualité à des filtres BRIR classiques ou originaux permettant un positionnement et une externalisation satisfaisants des sources, réduisent fortement la puissance de calcul et de taille mémoire nécessaires à la mise en œuvre du filtrage correspondant.
Le procédé de spatialisation 3D de canaux audio, à partir d'au moins un filtre BRIR incorporant un effet de salle, objet de la présente invention, est remarquable en ce qu'il consiste au moins, pour un nombre d'échantillons spécifique correspondant à la taille de la réponse impulsionnelle du filtre BRIR, à décomposer ce filtre BRIR en au moins un ensemble de valeurs de retard et d'amplitude associées aux instants d'arrivée des réflexions, à extraire sur ce nombre d'échantillons au moins un module spectral du filtre BRIR, à constituer à partir de chaque retard successif de son amplitude et de son module spectral associés un filtre BRIR élémentaire directement appliqué aux canaux audio dans le domaine temporel, fréquentiel ou transformé.
Le procédé objet de l'invention est en outre remarquable en ce que la décomposition du filtre BRIR est exécutée par un processus de détection des retards par détection des pics d'amplitude, au premier pic d'amplitude étant associé le retard correspondant à l'instant d'arrivée de l'onde sonore directe.
Le procédé objet de l'invention est également remarquable en ce que l'extraction de chaque module spectral est exécutée par une transformation temps-fréquence. Le procédé objet de l'invention est également remarquable en ce que, pour un nombre d'échantillons correspondant à la réponse impulsionnelle du filtre BRIR décomposé en sous-bandes de fréquences de rang k déterminé, la valeur du module spectral du filtre BRIR est définie comme une valeur réelle de gain représentative de l'énergie du filtre BRIR dans chaque sous-bande.
Le procédé objet de l'invention est également remarquable en ce que à chaque retard est associé un module spectral et en ce que le module spectral du filtre BRIR est défini dans chaque sous-bande comme une valeur réelle de gain représentative de l'énergie du filtre BRIR partiel dans ladite sous-bande, cette valeur de gain étant fonction du retard associé.
Cette modulation du module spectral en fonction du retard appliqué permet d'implémenter une reconstruction du filtre BRIR beaucoup plus proche du filtre BRIR d'origine.
Enfin, le procédé objet de l'invention est remarquable en ce que chaque filtre BRIR élémentaire dans chaque sous-bande de fréquences de rang k est formé par une multiplication complexe, fonction ou non du retard associé à chaque pic d'amplitude incluant une valeur réelle de gain, et par un retard pur, augmenté de l'écart de retard vis-à-vis du retard alloué au premier échantillon correspondant à l'instant d'arrivée de l'onde sonore directe. II sera mieux compris à la lecture de la description et à l'observation des dessins ci-après dans lesquels, outre la figure 1 relative à une technique de spatialisation sonore binaurale de l'art antérieur :
- la figure 2 représente, à titre purement illustratif, un organigramme des étapes essentielles de mise en œuvre du procédé de spatialisation 3D de canaux audio à partir d'au moins un filtre BRIR incorporant un effet de salle, conforme à l'objet de la présente invention ;
- la figure 3a représente un détail de mise en œuvre de l'étape de décomposition exécutée à l'étape A de la figure 2a ;
- la figure 3b représente un chronogramme d'échantillons permettant d'expliciter le mode opératoire d'une sous-étape A0 de constitution d'un premier vecteur I1 et d'un premier vecteur décalé ll+i de pics d'amplitude de la figure 3a ;
- la figure 3c représente à titre illustratif un chronogramme des échantillons de pics d'amplitude explicitant un processus de construction d'un deuxième vecteur à partir d'un vecteur d'écart entre le premier vecteur décalé et le premier vecteur illustrés à la figure 3b, ce deuxième vecteur regroupant les indices de rang des pics d'amplitude isolés ;
- la figure 3d représente un chronogramme des pics d'amplitude représentatifs des premières réflexions dues à l'effet de salle obtenu à partir du deuxième vecteur illustré en figure 3c, à chacune des premières réflexions étant alloué un retard correspondant au paramètre correspondant à l'instant d'arrivée de l'onde sonore directe, puis des retards successifs spécifiques ajoutés au paramètre de retard de l'onde sonore directe.
Le procédé de spatialisation 3D de canaux audio à partir d'au moins un filtre BRIR incorporant un effet de salle, conforme à l'objet de l'invention sera maintenant décrit en liaison avec la figure 2 et les figures suivantes.
Le procédé objet de l'invention consiste pour un nombre N donné d'échantillons spécifique, correspondant à la taille de la réponse impulsionnelle du filtre BRIR, à décomposer en une étape A, ce filtre BRIR en au moins un ensemble de valeurs d'amplitude et de valeurs de retard décrivant une suite de pics d'amplitude.
Etape A de la figure 2, l'opération de décomposition est notée :
Dans cette relation, An indique l'amplitude de l'échantillon de rang n et AMX indique l'amplitude de chaque pic d'amplitude, Δx désignant le retard associé à chacun des pics d'amplitude correspondant.
Ce retard est fonction du retard Δo correspondant à l'instant d'arrivée de l'onde directe ainsi qu'il sera décrit ci-après dans la description. L'étape A est suivie d'une étape B consistant à extraire, sur le nombre N d'échantillons au moins un module spectral moyen du filtre BRIR, chaque module spectral étant noté : BRIRN = GN .
L'étape B est alors suivie d'une étape C consistant à constituer à partir de chaque retard successif, de l'amplitude et du module spectral associés à ce retard établis à l'étape B un filtre BRIR élémentaire noté BRIRΘ directement appliqué aux canaux audio dans le domaine temporel fréquentiel ou transformé, ainsi qu'il sera décrit ci-après dans la description.
De manière plus spécifique, on comprend que la décomposition du filtre BRIR à l'étape A est exécutée par un processus de détection des retards par détection des pics d'amplitude, au premier pic d'amplitude étant associé le retard Δo correspondant à l'instant d'arrivée de l'onde sonore directe.
Ainsi, le premier pic d'amplitude est défini par les paramètres
AMo| Δo .
On comprend également qu'aux autres pics d'amplitude est alors associée successivement, outre le retard Δo , une valeur Sx dépendant de la position du pic d'amplitude dans les N échantillons, le retard alloué à chaque pic d'amplitude AMx est donné par Ax = A0 + Sx.
D'autres méthodes de détection du premier pic peuvent aussi être utilisées, ainsi qu'il est connu de l'état de la technique, en particulier pour déterminer la valeur du retard Δo lequel peut par exemple être pris égal au retard interaural.
L'étape B, d'extraction d'au moins un module spectral du filtre BRIR d'une durée de N échantillons permet d'assurer une correspondance du timbre entre chaque filtre BRIR original et le filtre BRIR reconstruit à partir des filtres BRIRΘ élémentaires, ainsi qu'il sera décrit ultérieurement dans la description.
En particulier, et de manière non limitative, l'extraction du module spectral peut être exécutée par une transformation temps-fréquence telle qu'une transformée de Fourier, ainsi qu'il sera décrit ultérieurement dans la description.
La mise en œuvre des filtres BRIR élémentaires BRIRΘ formés chacun à partir de la valeur de chaque module spectral du filtre BRIR et bien entendu de l'amplitude et du retard Ax considéré, permet d'assurer une réduction des coûts de calcul.
Toutes les méthodes de filtrage à partir d'un filtre à phase minimale ou non, associées à toutes les méthodes d'implémentation des retards peuvent convenir à la décomposition proposée. En particulier, le procédé objet de l'invention peut par exemple être combiné à une implémentation multicanale de la spatialisation 3D binaurale.
Un mode de mise en œuvre particulier préférentiel non limitatif du procédé objet de l'invention sera maintenant décrit en liaison avec les figures 3a à 3d.
Le mode de mise en œuvre précité est mis en œuvre dans le cadre de la décomposition de filtres BRIR pour une implémentation efficace dans le domaine des sous-bandes temporelles complexes plus particulièrement mais de manière non limitative le domaine PQMF complexe. Une telle implémentation peut être utilisée par un décodeur défini par la norme MPEG surround, afin d'obtenir un rendu 3D binaural de type 5.1. Le mode 5.1 est défini par la norme MPEG spatial audio coding ISO/IEC 23003-1 (doc N7947).
En référence à la demande de brevet français intitulée : « Procédé et dispositif de spatialisation sonore binaurale efficace dans le domaine transformé », déposée le même jour au nom de la demanderesse, on indique que le filtrage binaural peut être effectué directement dans le domaine des sous- bandes, c'est-à-dire dans le domaine codé, afin de réduire les coûts de décodage incluant la mise en œuvre du procédé.
Le mode de réalisation précité peut être transposé au domaine temporel c'est-à-dire au domaine non transformé en sous-bandes ou à tout autre domaine transformé.
Le procédé objet de l'invention permet d'obtenir de manière générale et en particulier dans son mode de mise en œuvre préférentiel :
- des retards qui correspondent au retard Δo instant d'arrivée de l'onde sonore directe et aux retards des premières réflexions de la salle, ces retards étant ensuite implémentés dans le domaine des sous-bandes ;
- des valeurs de gain, valeurs réelles, un gain étant par exemple attribué à chaque sous bande et pour chaque réflexion à partir du contenu spectral des filtres BRIR, ainsi qu'il sera explicité ci-après. Ainsi, pour une exécution décrite à titre d'exemple non limitatif dans le domaine des sous-bandes temporelles complexes, l'extraction des retards consiste au moins pour tout filtre BRIR correspondant à une position de l'espace, ainsi que représenté en figure 3a et à partir de l'enveloppe temporelle du filtre établie sur le nombre d'échantillons N correspondant à la taille de la réponse impulsionnelle du filtre BRIR, cette enveloppe temporelle étant notée [A1J^ à exécuter une première sous-étape, notée A0, consistant à identifier les indices de rang d'échantillon temporel dont la valeur d'amplitude est supérieure à une valeur de seuil notée V à l'étape AOi de la figure 3a. On comprend, en particulier, que la comparaison An > V est effectuée pour chaque échantillon des N échantillons successivement par retour à l'étape AOi par l'intermédiaire de la sous-étape A02 successivement sur les N échantillons.
Cette opération permet d'engendrer un premier vecteur noté I1 à la sous-étape A03, et un premier vecteur décalé noté l,+i à la sous-étape A04. Le premier vecteur I, correspond aux indices de rang des échantillons temporels dont la valeur d'amplitude est supérieure à la valeur de seuil V. Le premier vecteur décalé l,+i se déduit du premier vecteur par décalage d'un indice. Le premier vecteur et le premier vecteur décalé étant représentatifs de la position des pics d'amplitude dans le nombre N d'échantillons. L'étape A0 est suivie d'une étape Ai consistant à déterminer si les échantillons temporels dont l'amplitude est supérieure à la valeur de seuil V correspondant à des pics d'amplitude isolés par calcul d'un vecteur d'écart I' qui représente la différence entre le premier vecteur décalé l,+i et le premier vecteur I1.
En effet, on comprend que, si les valeurs contenues dans le vecteur d'écart I' sont importantes, alors on est en présence du début d'un pic distinct du pic précédent, ainsi qu'il sera décrit ultérieurement dans la description.
L'étape Ai est alors suivie d'une étape A2 consistant à calculer un deuxième vecteur P regroupant les indices de pics d'amplitude isolés sur le nombre N d'échantillons pour un seuil d'écart défini par une valeur spécifique W.
Enfin, l'étape A2 est suivie d'une étape A3 consistant à identifier, à partir des échantillons du deuxième vecteur, pour chaque pic isolé identifié, l'indice de l'échantillon d'amplitude maximale parmi un nombre déterminé d'échantillons, pris égal à la valeur W précédemment citée suivant l'échantillon identifié par le deuxième vecteur. Cette valeur W peut être déterminée expérimentalement.
L'indice et l'amplitude de tout nouvel échantillon d'amplitude maximale sont mémorisés sous la forme d'un vecteur d'indice de retard et d'un vecteur d'amplitude. Ainsi à la fin de l'étape A3, on dispose sous la forme d'un vecteur d'indice D'(i) et d'un vecteur d'amplitude A'(i) par exemple de l'ensemble des valeurs d'indice de retard et d'amplitude des pics d'amplitude précités.
Une description spécifique de la mise en œuvre des étapes A0 A-i, A2 et A3 représentées en figure 2 sera maintenant donnée en liaison avec les figures 3b, 3c et 3d.
En référence à la figure 3b, pour un filtre BRIR temporel correspondant à une position de l'espace, l'enveloppe temporelle de ce dernier est donnée par :
BRIRθnv(t)=|BRIR(t)|. L'étape A0 consiste alors à trouver tous les indices des échantillons dont la valeur d'enveloppe est supérieure à la valeur de seuil V. De manière particulièrement avantageuse et selon un aspect remarquable du procédé objet de l'invention, la valeur de seuil V est elle- même fonction de l'énergie de l'enveloppe temporelle du filtre BRIR.
Ainsi la valeur de seuil V vérifie avantageusement la relation :
Dans la relation précédente, outre N représentant le nombre d'échantillons temporels, C est une constante fixée à 1 par exemple.
Suite aux comparaisons exécutées aux étapes AOi et A02, on stocke sur comparaison réussie, dans un vecteur I1 de taille K, K étant le nombre d'échantillons dont la valeur absolue de l'amplitude dépasse la valeur de seuil V pour constituer le premier vecteur.
A titre d'exemple non limitatif, sur la figure 3b, on a représenté l'enveloppe temporelle d'un filtre BRIR pour lequel le seuil V est fixé à la valeur réelle 0.037.
Le vecteur I, représenté à l'étape A03 de la figure 3a s'écrit : I1 = [89 90 91 92 93 94 95 96 97 98 101 104 108 1 10 1 16 422 423 424 427...]. A partir de la mémorisation du vecteur I1, on procède également par décalage de l'indice du premier pic d'amplitude, l'indice 89, à la mémorisation du vecteur décalé l,+i , le vecteur ll+i correspondant par exemple au vecteur I1 dans lequel on a supprimé le premier pic d'amplitude . On dispose ainsi du premier vecteur I, et du premier vecteur décalé l,+i .
A l'étape Ai on procède alors au calcul du vecteur I', vecteur d'écart, différence entre le premier vecteur décalé l,+i et le premier vecteur I1.
Le vecteur d'écart I' vérifie la relation dans l'exemple donné : I' = [1 1 1 1 1 1 1 1 1 3 3 4 2 6 306 1 1 3 ...].
Les valeurs importantes contenues dans le vecteur I' indiquent la présence d'un pic d'amplitude distinct du pic d'amplitude précédant.
L'étape A2 consiste alors à calculer le deuxième vecteur P qui regroupe les indices des pics distincts. Dans l'exemple donné le premier pic P(1 ) est donné bien entendu par P(1 )=l(1 )=89 c'est-à-dire par le premier pic d'amplitude précédemment mentionné. L'indice des pics suivants correspond aux indices augmentés de 1 des valeurs de I' qui dépassent un seuil d'écart défini par une valeur W. A titre d'exemple non limitatif et de manière expérimentale W peut être fixé à la valeur 20. Dans ces conditions, la valeur l'(15)=306 >W détermine un second pic isolé. La valeur de l'indice de rang de ce deuxième pic P(2) est alors donnée par 1(15+1 )=422.
Ainsi le deuxième vecteur P peut être écrit sous la forme :
P=[89 422...].
L'étape A3 de la figure 3a peut, ainsi que représenté en figure 3c, consister à partir de chacun des échantillons P(i) du deuxième vecteur représentatif de l'enveloppe temporelle, à trouver l'échantillon qui a la valeur d'amplitude maximale parmi les W = 20 échantillons suivants.
L'indice de ce nouvel échantillon est stocké dans le vecteur D' et son amplitude est stocké dans le vecteur A' ainsi que mentionné en liaison avec l'étape A3 de la figure 3a selon les relations :
D'(i)=indice(max(BRIRΘnv([P(i);P(i+W)]))),
A'(i)=BRIR(D'(i)) * sign(BRIR(D'(1 ))).
De manière non limitative pour l'exemple donné en liaison avec la figure 3 : D'=[92 423 ...],
A'=[0.1878 0.0924 ...].
Si l'amplitude du premier échantillon d'amplitude maximale noté A(1 ) est négative, alors on prend en compte la valeur absolue de ce dernier.
Les amplitudes A des amplitudes maximales peuvent alors être normalisées en énergie par la relation :
Dans la relation précédente L est le nombre d'éléments de D' et de A, c'est-à-dire des vecteurs d'indice et d'amplitude représentatifs de chaque pic. Ce nombre dépend bien entendu de la valeur de seuil V et de la valeur de la constante W précitées.
Une représentation des amplitudes normalisées, des pics d'amplitude et de leur position de retard successif par rapport au premier pic d'amplitude auquel est alloué le retard Δo , est représentée en figure 3d.
Une description plus détaillée d'un premier et d'un deuxième mode de mise en œuvre des filtres BRIR élémentaires directement applicables et appliqués aux canaux audio dans le domaine transformé, en particulier dans le domaine PQMF complexe décomposé en sous-bandes
SBk, sera donnée à titre d'exemple non limitatif ci-après dans la description.
On rappelle que la décomposition en sous-bandes dans le domaine précité permet de décomposer les N échantillons de la réponse impulsionnelle du filtre BRIR en M sous-bandes de fréquences, par exemple M=64, pour une application au MPEG surround précité.
L'avantage d'une telle transformation est de pouvoir appliquer des gains réels à chaque sous-bande, en s'affranchissant des problèmes de repliement de spectre générés par le sous échantillonnage inhérent au banc de filtres.
Dans le domaine des sous-bandes précitées, les retards et les gains sont appliqués sur les échantillons complexes, ainsi qu'il sera décrit ultérieurement dans la description.
Selon un premier mode de mise en œuvre non limitatif, la valeur de chaque module spectral du filtre BRIR est définie dans chaque sous- bande comme au moins une valeur réelle de gain représentative de l'énergie du filtre BRIR dans ladite sous-bande.
Dans ce premier mode de mise en œuvre, les valeurs de gains correspondantes notées G(k,n) où k désigne le rang de la sous bande considérée et n le rang de l'échantillon parmi les N échantillons, sont obtenues en moyennant l'énergie de l'amplitude spectrale de chaque filtre BRIR dans chaque sous-bande.
Pour un filtre BRIR fréquentiel BRIR*(f) correspondant à la transformée de Fourier à 8 192 échantillons du filtre BRIR(t) temporel, complété de 0 pour obtenir les 8 192 échantillons, la valeur des gains G(k, n) est donnée par la relation :
Dans la relation précédente, on indique que H est une fenêtre de pondération, fenêtre rectangulaire par exemple de largeur M' supérieure ou égale à la largeur de la sous-bande SBk, par exemple M'=64. La fenêtre de pondération est centrée sur la fréquence centrale de la sous-bande k et la fréquence f1 est inférieure ou égale à la fréquence de départ de la sous- bande k.
Selon un deuxième mode de mise en œuvre préférentielle du procédé objet de l'invention, à chaque retard est associé un module spectral. La valeur de chaque module spectral est définie dans chaque sous-bande comme au moins une valeur de gain représentative de l'énergie du filtre BRIR partiel dans ladite sous-bande, cette valeur de gain étant fonction du retard appliqué en fonction de l'indice de chaque échantillon de pic d'amplitude, à partir du vecteur d'indice et d'amplitude. Ainsi dans ce deuxième mode de réalisation, les gains G(k, n) sont modulés et peuvent donc varier à chaque nouveau retard I appliqué. Les valeurs de gain sont alors données par la relation :
Dans la relation précédente, BRIR*(f,l) est la transformée de Fourier du filtre BRIR(t) temporel fenêtrée entre les échantillons D'(1 )-Z et D'(1 +1 ), l'énergie spectrale calculée étant celle du filtre BRIR partiel ainsi fenêtre, et complétée par des 0 pour obtenir 8 192 échantillons. Z dépend de la fréquence d'échantillonnage et peut prendre la valeur Z=10 pour une fréquence d'échantillonnage à 44.1 kHz. Le deuxième mode de réalisation précité permet de manière remarquable une reconstruction beaucoup plus proche de la fonction de transfert ou filtre BRIR d'origine et en particulier de tenir compte de chacun des retards provoqués par les réflexions successives dans la salle, ce qui permet d'obtenir un rendu d'effet de salle particulièrement performant et réaliste.
On comprend alors que chaque filtre BRIR élémentaire, dans chaque sous-bande de fréquence k peut alors avantageusement être formé par une multiplication complexe, incluant une valeur réelle de gain, fonction ou non du retard appliqué en fonction de l'indice de chaque échantillon de pic d'amplitude, selon le premier ou le deuxième mode de réalisation retenu décrit précédemment dans la description.
L'opération de multiplication complexe est donnée par la relation :
S'(k,n) = G(k,n)A(l)e M E(k,n).
Le filtre BRIR élémentaire est également formé par un retard pur augmenté de l'écart de retard vis-à-vis du retard Δo alloué au premier pic d'amplitude. Ce retard peut alors être implémenté par l'intermédiaire d'une ligne à retard appliquée au produit obtenu par la rotation sous forme de multiplication complexe précitée.
L'échantillon obtenu vérifie alors la relation :
S(k,n)= S'(k,n - D(l)).
Dans les relations précédentes E(k,n) désigne le énième échantillon complexe de la sous-bande k considérée, S(k,n) désigne le énième échantillon de la sous-bande k après application des gains et des retards, M est le nombre de sous-bande et d(l) et D(I) sont tels qu'ils correspondent à l'application du I ième retard de D(l)M+d(l) échantillons dans le domaine temporel non sous-échantillonné.
Le retard D(l)M+d(l) correspond aux valeurs de D'(l) calculées selon le processus de détection de pics d'amplitude précédemment décrit en liaison avec les figures 3a à 3d.
En outre, A(I) désigne l'amplitude du pic associé au retard correspondant et G(k, n) désigne le gain réel appliqué au nième échantillon complexe de la sous-bande SBk de rang k considérée. Enfin, le procédé objet de l'invention permet le traitement de la réverbération tardive. On rappelle que la réverbération tardive correspond à la partie de la réponse d'une salle pour laquelle le champ acoustique est diffus et les réflexions ne sont en conséquence pas discernables. Il est toutefois possible de traiter les effets de salle incluant une réverbération tardive, conformément au procédé objet de l'invention. Dans ce but, le procédé selon l'invention consiste à rajouter aux valeurs de pics d'amplitude détectées, une pluralité de valeurs d'amplitude arbitraires et réparties au-delà d'un instant arbitraire à partir de laquelle on considère que les réflexions discrètes sont terminées et où débute le phénomène de réverbération tardive. Ces valeurs d'amplitude sont calculées et réparties au-delà de la durée arbitraire, laquelle peut être prise égale à 200 millisecondes par exemple, jusqu'au dernier échantillon du nombre d'échantillons correspondant à la taille de la réponse impulsionnelle BRIR.
Ainsi, conformément au procédé objet de l'invention, les pics d'amplitude des premières réflexions sont déterminés ainsi que précédemment décrit en liaison avec les figures 2 et suivantes, et, à partir d'un échantillon t1 correspondant à 200 millisecondes, déterminé expérimentalement et correspondant au début de la réverbération tardive, jusqu'à un échantillon t2 qui correspond à la fin de la réverbération ou, le cas échéant, à la fin des N échantillons de la réponse impulsionnelle du filtre BRIR, on rajoute R valeurs aux vecteurs D' et A' telles que :
D'(l_+r)=t1 +(t2-t1 )/(R-1 ),
A(L+r)=1.
Dans la relation précédente, L est le nombre de pics détecté, r est un entier compris entre 1 et R. La prise en compte du deuxième mode de réalisation précité dans lequel les valeurs de gains sont modulées en fonction du retard de chaque pic d'amplitude, permet alors d'introduire de manière efficace, la réverbération tardive dans le domaine des sous-bandes.
Le phénomène de réverbération tardive peut également être traité par une ligne à retard ajoutée au traitement des premières réflexions.
L'invention couvre enfin un programme d'ordinateur comportant une suite d'instructions mémorisées sur un support de mémorisation d'un ordinateur ou d'un dispositif dédié de spatialisation sonore 3D de signaux audio remarquable en ce que, lors de son exécution, ce programme d'ordinateur exécute le procédé de spatialisation sonore 3D à partir d'au moins un filtre BRIR comportant un effet de salle décrit précédemment dans la description en liaison avec les figures 2 et 3a à 3d.
On comprend, en particulier, que le programme d'ordinateur précité peut être un programme directement exécutable implanté dans la mémoire permanente d'un ordinateur ou d'un dispositif de synthèse binaurale d'un effet de salle en spatialisation sonore. La mise en œuvre de l'invention peut alors être exécutée de manière totalement numérique.

Claims

REVENDICATIONS
5 1. Procédé de spatialisation 3D de canaux audio, à partir d'au moins un filtre BRIR incorporant un effet de salle, caractérisé en ce qu'il consiste au moins, pour un nombre d'échantillons spécifique correspondant à la taille de la réponse impulsionnelle du filtre BRIR, à :
- décomposer ce filtre BRIR en au moins un ensemble de valeurs de retard 0 et d'amplitude associées aux instants d'arrivée des réflexions ;
- extraire sur ledit nombre d'échantillons au moins un module spectral du filtre BRIR ;
- constituer à partir de chaque retard successif, de son amplitude et de son module spectral associés un filtre BRIR élémentaire directement appliqué 5 auxdits canaux audio dans le domaine temporel, fréquentiel ou transformé.
2. Procédé selon la revendication 1 , caractérisé en ce que ladite décomposition du filtre BRIR est exécutée par un processus de détection des retards par détection des pics d'amplitude, au premier pic d'amplitude étant o associé le retard correspondant à l'instant d'arrivée de l'onde sonore directe.
3. Procédé selon l'une des revendications 1 ou 2, caractérisé en ce que l'extraction de chaque module spectral est exécutée par une transformation temps-fréquence.
4. Procédé selon l'une des revendications 1 à 3, caractérisé en 5 ce que l'extraction des retards consiste au moins, pour tout filtre BRIR correspondant à une position de l'espace, à partir de l'enveloppe temporelle du filtre établie sur ledit nombre d'échantillons correspondant à la taille de la réponse impulsionnelle du filtre BRIR, à :
- identifier les indices de rang d'échantillons temporels dont la valeur 0 d'amplitude est supérieure à une valeur de seuil, pour engendrer un premier vecteur et un premier vecteur décalé représentatifs de la position des pics d'amplitude dans ledit nombre d'échantillons ; - déterminer l'existence de pics d'amplitude isolés par calcul d'un vecteur d'écart entre le premier vecteur décalé et le premier vecteur ;
- calculer un deuxième vecteur regroupant les indices de pics d'amplitude isolés sur ledit nombre d'échantillons ; - discriminer à partir des échantillons dudit deuxième vecteur les indices successifs d'échantillons d'amplitude maximale parmi un nombre déterminé d'échantillons successifs, l'indice et l'amplitude desdits échantillons d'amplitude maximale étant mémorisés sous forme d'un vecteur d'indice de retard et d'amplitude.
5. Procédé selon l'une des revendications 1 à 4, caractérisé en ce que, pour un nombre d'échantillons correspondant à la réponse impulsionnelle du filtre BRIR décomposé en sous-bandes de fréquences de rang k déterminé, ladite valeur du module spectral du filtre BRIR est définie comme une valeur réelle de gain représentative de l'énergie du filtre BRIR dans chaque sous-bande.
6. Procédé selon la revendication 5, caractérisé en ce que la valeur du module spectral du filtre BRIR dans chaque sous-bande est calculée par application d'une fenêtre de pondération centrée sur la fréquence centrale de la sous-bande de fréquences de rang k et de largeur égale ou supérieure à la largeur de la sous-bande de fréquences.
7. Procédé selon l'une des revendications 5 ou 6, caractérisé en ce que, à chaque retard est associé un module spectral, et en ce que ledit module spectral est défini dans chaque sous-bande comme une valeur réelle de gain représentative de l'énergie du filtre BRIR partiel dans ladite sous- bande, valeur de gain fonction du retard associé.
8. Procédé selon l'une des revendications 5 à 7, caractérisé en ce que chaque filtre BRIR élémentaire dans chaque sous-bande de fréquences de rang k est formé par :
- une multiplication complexe, fonction ou non du retard appliqué en fonction de l'indice de chaque échantillon de pic d'amplitude incluant la valeur réelle de gain ;
- un retard pur, augmenté de l'écart de retard vis-à-vis du retard alloué au premier échantillon correspondant à l'instant d'arrivée de l'onde sonore directe.
9. Procédé selon l'une des revendications 1 à 8, caractérisé en ce que, pour le traitement de la réverbération tardive, celui-ci consiste à rajouter aux valeurs de pics d'amplitude détectées une pluralité de valeurs d'amplitudes arbitraires, réparties, depuis un instant arbitraire, jusqu'au dernier échantillon des nombres d'échantillons correspondant à la taille de la réponse impulsionnelle du filtre BRIR.
10. Programme d'ordinateur comportant une suite d'instructions mémorisées sur un support de mémorisation d'un ordinateur ou d'un dispositif dédié de spatialisation sonore 3D de signaux audio, caractérisé en ce que, lors de son exécution, ledit programme exécute le procédé de spatialisation sonore 3D à partir d'au moins un filtre BRIR comportant un effet de salle, selon l'une des revendications 1 à 9.
EP07731711A 2006-03-28 2007-03-08 Procede de synthese binaurale prenant en compte un effet de salle Active EP1999998B1 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR0602694A FR2899424A1 (fr) 2006-03-28 2006-03-28 Procede de synthese binaurale prenant en compte un effet de salle
PCT/FR2007/050895 WO2007110520A1 (fr) 2006-03-28 2007-03-08 Procede de synthese binaurale prenant en compte un effet de salle

Publications (2)

Publication Number Publication Date
EP1999998A1 true EP1999998A1 (fr) 2008-12-10
EP1999998B1 EP1999998B1 (fr) 2012-07-11

Family

ID=37398830

Family Applications (1)

Application Number Title Priority Date Filing Date
EP07731711A Active EP1999998B1 (fr) 2006-03-28 2007-03-08 Procede de synthese binaurale prenant en compte un effet de salle

Country Status (6)

Country Link
US (1) US8045718B2 (fr)
EP (1) EP1999998B1 (fr)
JP (1) JP4850948B2 (fr)
ES (1) ES2390831T3 (fr)
FR (1) FR2899424A1 (fr)
WO (1) WO2007110520A1 (fr)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009128559A (ja) * 2007-11-22 2009-06-11 Casio Comput Co Ltd 残響効果付加装置
US20110109798A1 (en) * 2008-07-09 2011-05-12 Mcreynolds Alan R Method and system for simultaneous rendering of multiple multi-media presentations
JP5611970B2 (ja) * 2008-11-21 2014-10-22 アウロ テクノロジーズ オーディオ信号を変換するためのコンバータ及び方法
US9107021B2 (en) 2010-04-30 2015-08-11 Microsoft Technology Licensing, Llc Audio spatialization using reflective room model
US8995675B2 (en) * 2010-12-03 2015-03-31 The University Of North Carolina At Chapel Hill Methods and systems for direct-to-indirect acoustic radiance transfer
BR112013017070B1 (pt) 2011-01-05 2021-03-09 Koninklijke Philips N.V Sistema de áudio e método de operação para um sistema de áudio
US9794678B2 (en) * 2011-05-13 2017-10-17 Plantronics, Inc. Psycho-acoustic noise suppression
US10321252B2 (en) 2012-02-13 2019-06-11 Axd Technologies, Llc Transaural synthesis method for sound spatialization
US20150036827A1 (en) * 2012-02-13 2015-02-05 Franck Rosset Transaural Synthesis Method for Sound Spatialization
JP6102179B2 (ja) * 2012-08-23 2017-03-29 ソニー株式会社 音声処理装置および方法、並びにプログラム
CN108806704B (zh) 2013-04-19 2023-06-06 韩国电子通信研究院 多信道音频信号处理装置及方法
CN108810793B (zh) 2013-04-19 2020-12-15 韩国电子通信研究院 多信道音频信号处理装置及方法
US9319819B2 (en) 2013-07-25 2016-04-19 Etri Binaural rendering method and apparatus for decoding multi channel audio
KR102317732B1 (ko) * 2013-09-17 2021-10-27 주식회사 윌러스표준기술연구소 오디오 신호 처리 방법 및 장치
CN105706468B (zh) 2013-09-17 2017-08-11 韦勒斯标准与技术协会公司 用于音频信号处理的方法和设备
WO2015048551A2 (fr) * 2013-09-27 2015-04-02 Sony Computer Entertainment Inc. Procédé d'amélioration de l'externalisation d'un son surround virtuel
KR101804744B1 (ko) 2013-10-22 2017-12-06 연세대학교 산학협력단 오디오 신호 처리 방법 및 장치
CN104681034A (zh) * 2013-11-27 2015-06-03 杜比实验室特许公司 音频信号处理
EP4246513A3 (fr) * 2013-12-23 2023-12-13 Wilus Institute of Standards and Technology Inc. Procédé de traitement de signal audio, dispositif de paramétrage associé et dispositif de traitement de signal audio
US10382880B2 (en) 2014-01-03 2019-08-13 Dolby Laboratories Licensing Corporation Methods and systems for designing and applying numerically optimized binaural room impulse responses
CN104768121A (zh) 2014-01-03 2015-07-08 杜比实验室特许公司 响应于多通道音频通过使用至少一个反馈延迟网络产生双耳音频
CN107750042B (zh) 2014-01-03 2019-12-13 杜比实验室特许公司 响应于多通道音频通过使用至少一个反馈延迟网络产生双耳音频
CN106105269B (zh) 2014-03-19 2018-06-19 韦勒斯标准与技术协会公司 音频信号处理方法和设备
WO2015152665A1 (fr) 2014-04-02 2015-10-08 주식회사 윌러스표준기술연구소 Procédé et dispositif de traitement de signal audio
US10142755B2 (en) * 2016-02-18 2018-11-27 Google Llc Signal processing methods and systems for rendering audio on virtual loudspeaker arrays
US9866916B1 (en) * 2016-08-17 2018-01-09 International Business Machines Corporation Audio content delivery from multi-display device ecosystem
US10187740B2 (en) 2016-09-23 2019-01-22 Apple Inc. Producing headphone driver signals in a digital audio signal processing binaural rendering environment
FR3067511A1 (fr) * 2017-06-09 2018-12-14 Orange Traitement de donnees sonores pour une separation de sources sonores dans un signal multicanal
US10911855B2 (en) 2018-11-09 2021-02-02 Vzr, Inc. Headphone acoustic transformer

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2893563B2 (ja) * 1992-12-11 1999-05-24 松下電器産業株式会社 音像定位係数算出装置
US5438623A (en) * 1993-10-04 1995-08-01 The United States Of America As Represented By The Administrator Of National Aeronautics And Space Administration Multi-channel spatialization system for audio signals
US5459790A (en) * 1994-03-08 1995-10-17 Sonics Associates, Ltd. Personal sound system with virtually positioned lateral speakers
WO1995031881A1 (fr) 1994-05-11 1995-11-23 Aureal Semiconductor Inc. Affichage audio virtuel tridimensionnel utilisant des filtres de formation d'images a complexite reduite
US5596644A (en) * 1994-10-27 1997-01-21 Aureal Semiconductor Inc. Method and apparatus for efficient presentation of high-quality three-dimensional audio
US6307941B1 (en) * 1997-07-15 2001-10-23 Desper Products, Inc. System and method for localization of virtual sound
FR2768546B1 (fr) 1997-09-18 2000-07-21 Matra Communication Procede de debruitage d'un signal de parole numerique
GB2366975A (en) * 2000-09-19 2002-03-20 Central Research Lab Ltd A method of audio signal processing for a loudspeaker located close to an ear
JP2003061200A (ja) * 2001-08-17 2003-02-28 Sony Corp 音声処理装置及び音声処理方法、並びに制御プログラム
FR2847376B1 (fr) * 2002-11-19 2005-02-04 France Telecom Procede de traitement de donnees sonores et dispositif d'acquisition sonore mettant en oeuvre ce procede
US7391870B2 (en) * 2004-07-09 2008-06-24 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E V Apparatus and method for generating a multi-channel output signal
GB0419346D0 (en) 2004-09-01 2004-09-29 Smyth Stephen M F Method and apparatus for improved headphone virtualisation

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See references of WO2007110520A1 *

Also Published As

Publication number Publication date
US20090103738A1 (en) 2009-04-23
FR2899424A1 (fr) 2007-10-05
US8045718B2 (en) 2011-10-25
JP4850948B2 (ja) 2012-01-11
WO2007110520A1 (fr) 2007-10-04
JP2009531906A (ja) 2009-09-03
EP1999998B1 (fr) 2012-07-11
ES2390831T3 (es) 2012-11-16

Similar Documents

Publication Publication Date Title
EP1999998B1 (fr) Procede de synthese binaurale prenant en compte un effet de salle
EP2000002B1 (fr) Procede et dispositif de spatialisation sonore binaurale efficace dans le domaine transforme
EP1992198B1 (fr) Optimisation d&#39;une spatialisation sonore binaurale a partir d&#39;un encodage multicanal
EP1563485B1 (fr) Procede de traitement de donnees sonores et dispositif d&#39;acquisition sonore mettant en oeuvre ce procede
EP2042001B1 (fr) Spatialisation binaurale de donnees sonores encodees en compression
CA2835463C (fr) Appareil et procede de generation d&#39;un signal de sortie au moyen d&#39;un decomposeur
EP3475943B1 (fr) Procede de conversion et d&#39;encodage stereophonique d&#39;un signal audio tridimensionnel
FR2995754A1 (fr) Calibration optimisee d&#39;un systeme de restitution sonore multi haut-parleurs
WO2004086818A1 (fr) Procede pour traiter un signal electrique de son
WO2007104882A1 (fr) Dispositif et procede de codage par analyse en composante principale d&#39;un signal audio multi-canal
EP1886535B1 (fr) Procede pour produire une pluralite de signaux temporels
EP3025514B1 (fr) Spatialisation sonore avec effet de salle
EP2009891A2 (fr) Transmission de signal audio dans un système de conference audio immersive
WO2012172264A1 (fr) Procede de traitement d&#39;un signal audio pour une restitution amelioree
FR3065137A1 (fr) Procede de spatialisation sonore
EP1994526B1 (fr) Synthese et spatialisation sonores conjointes
EP3384688B1 (fr) Décompositions successives de filtres audio
EP2815589B1 (fr) Procédé de synthèse transaurale pour la spatialisation sonore
CN116261086A (zh) 声音信号处理方法、装置、设备及存储介质
EP1869949A1 (fr) Procede et systeme de spatialisation d&#39;un signal sonore en fonction des qualites intrinseques de ce dernier

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20080924

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LI LT LU LV MC MT NL PL PT RO SE SI SK TR

RIN1 Information on inventor provided before grant (corrected)

Inventor name: GUERIN, ALEXANDRE

Inventor name: FAURE, JULIEN

Inventor name: PALLONE, GREGORY

Inventor name: NICOL, ROZENN

17Q First examination report despatched

Effective date: 20101203

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

RTI1 Title (correction)

Free format text: METHOD FOR BINAURAL SYNTHESIS TAKING INTO ACCOUNT A SPATIAL EFFECT

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LI LT LU LV MC MT NL PL PT RO SE SI SK TR

DAX Request for extension of the european patent (deleted)
REG Reference to a national code

Ref country code: GB

Ref legal event code: FG4D

Free format text: NOT ENGLISH

REG Reference to a national code

Ref country code: CH

Ref legal event code: EP

REG Reference to a national code

Ref country code: AT

Ref legal event code: REF

Ref document number: 566649

Country of ref document: AT

Kind code of ref document: T

Effective date: 20120715

REG Reference to a national code

Ref country code: IE

Ref legal event code: FG4D

Free format text: LANGUAGE OF EP DOCUMENT: FRENCH

REG Reference to a national code

Ref country code: DE

Ref legal event code: R096

Ref document number: 602007023928

Country of ref document: DE

Effective date: 20120906

REG Reference to a national code

Ref country code: ES

Ref legal event code: FG2A

Ref document number: 2390831

Country of ref document: ES

Kind code of ref document: T3

Effective date: 20121116

REG Reference to a national code

Ref country code: NL

Ref legal event code: VDEP

Effective date: 20120711

REG Reference to a national code

Ref country code: AT

Ref legal event code: MK05

Ref document number: 566649

Country of ref document: AT

Kind code of ref document: T

Effective date: 20120711

REG Reference to a national code

Ref country code: LT

Ref legal event code: MG4D

Effective date: 20120711

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20120711

Ref country code: CY

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20120711

Ref country code: IS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20121111

Ref country code: FI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20120711

Ref country code: AT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20120711

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20120711

Ref country code: PT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20121112

Ref country code: PL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20120711

Ref country code: GR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20121012

Ref country code: LV

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20120711

Ref country code: SI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20120711

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: NL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20120711

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CZ

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20120711

Ref country code: RO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20120711

Ref country code: EE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20120711

Ref country code: DK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20120711

PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20120711

26N No opposition filed

Effective date: 20130412

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: BG

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20121011

REG Reference to a national code

Ref country code: DE

Ref legal event code: R097

Ref document number: 602007023928

Country of ref document: DE

Effective date: 20130412

BERE Be: lapsed

Owner name: FRANCE TELECOM

Effective date: 20130331

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MC

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20130331

REG Reference to a national code

Ref country code: CH

Ref legal event code: PL

REG Reference to a national code

Ref country code: IE

Ref legal event code: MM4A

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20130308

Ref country code: LI

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20130331

Ref country code: BE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20130331

Ref country code: CH

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20130331

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20120711

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 9

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: TR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20120711

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: HU

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT; INVALID AB INITIO

Effective date: 20070308

Ref country code: LU

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20130308

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 10

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 11

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 12

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: ES

Payment date: 20230403

Year of fee payment: 17

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: DE

Payment date: 20240220

Year of fee payment: 18

Ref country code: GB

Payment date: 20240220

Year of fee payment: 18

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: IT

Payment date: 20240220

Year of fee payment: 18

Ref country code: FR

Payment date: 20240220

Year of fee payment: 18