EP2000002A2 - Procede et dispositif de spatialisation sonore binaurale efficace dans le domaine transforme - Google Patents

Procede et dispositif de spatialisation sonore binaurale efficace dans le domaine transforme

Info

Publication number
EP2000002A2
EP2000002A2 EP07731710A EP07731710A EP2000002A2 EP 2000002 A2 EP2000002 A2 EP 2000002A2 EP 07731710 A EP07731710 A EP 07731710A EP 07731710 A EP07731710 A EP 07731710A EP 2000002 A2 EP2000002 A2 EP 2000002A2
Authority
EP
European Patent Office
Prior art keywords
delay
channels
sub
sound
domain
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
EP07731710A
Other languages
German (de)
English (en)
Other versions
EP2000002B1 (fr
Inventor
Marc Emerit
Pierrick Philippe
David Virette
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Orange SA
Original Assignee
France Telecom SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by France Telecom SA filed Critical France Telecom SA
Priority to PL07731710T priority Critical patent/PL2000002T3/pl
Publication of EP2000002A2 publication Critical patent/EP2000002A2/fr
Application granted granted Critical
Publication of EP2000002B1 publication Critical patent/EP2000002B1/fr
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S1/00—Two-channel systems
    • H04S1/007—Two-channel systems in which the audio signals are in digital form
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/02—Systems employing more than two channels, e.g. quadraphonic of the matrix type, i.e. in which input signals are combined algebraically, e.g. after having been phase shifted with respect to each other

Definitions

  • the invention relates to the spatialization, so-called 3D rendering, of compressed audio signals.
  • Such an operation is for example performed during the decompression of a compressed 3D audio signal for example, represented on a number of channels, to a number of different channels, two for example, to allow the reproduction of the 3D audio effects on a headphones.
  • the term "binaural” refers to the reproduction on a stereophonic headphones of a sound signal with nevertheless spatialization effects.
  • the invention is however not limited to the aforementioned technique and applies, in particular, to techniques derived from the "binaural”, such as the so-called technical rendering techniques TRANSAURAL ® , that is to say on top of remote speakers.
  • TRANSAURAL ® is a registered trademark of COOPER BAUCK CORPORATION.
  • Such techniques can then use a "cross-talk cancellation", which consists in canceling the crossed acoustic paths, so that a sound, thus processed and then emitted by the loudspeakers , can be perceived only by one of the two ears of a listener.
  • the invention also relates to the transmission and reproduction of multichannel audio signals and their conversion to a rendering device, transducer, imposed by the equipment of a user.
  • a rendering device transducer
  • This is for example the case for the reproduction of a 5.1 sound stage by an audio headset, or by a pair of loudspeakers.
  • the invention also relates to the reproduction, in the context of a game or video recording for example, of one or more samples sound stored in files, with a view to their spatialization.
  • the two-channel binaural synthesis consists, with reference to FIG. 1a, in filtering the signal of the different sound sources. If it is desired to position, at the restitution, at a position in space, via functions acoustic transfer signals HRTF-I and RHTF-r right in the frequency domain corresponding to the appropriate direction, defined in polar coordinates [O 1 , C 1 ).
  • the transfer functions HRTF for "Head Related Transfer Functions" in English, are the acoustic transfer functions of the head of the listener between the positions of the space and the auditory canal.
  • HRIR for "Head Related Impulse Response” is referred to as their temporal form. These functions may further include a room effect. We obtain, for each sound source If two left and right signals which are then added to the left and right signals from the spatialization of other sound sources, to finally give the L and R signals broadcast to the left and right ears of the listener.
  • the number of necessary filters or transfer functions is then 2.N for a static binaural synthesis and 4.N for a dynamic binaural synthesis, N designating the number of sound sources or audio streams to be spatialized.
  • the binaural filter implementation is generally in the form of two minimal phase filters and a pure delay, corresponding to the difference of the left and right delays applied to the ear furthest away from the source. This delay is usually implemented using a delay line.
  • the minimum phase filter is a finite impulse response filter and can be executed in the time or frequency domain. Infinite impulse response filters can be searched to approximate the minimum phase ⁇ RTF filter module.
  • FIG. 1b in the non-limiting context of a 5.1 spatialized sound scene, with a view to restoring it to the headphones of a human HB.
  • the sound emanating from the loudspeaker Lf affects the left ear LE through an HRTF filter A but this same sound reaches the right ear RE modified by a HRTF filter B.
  • the position of the speakers relative to the aforementioned HB individual may be symmetrical or not.
  • Each ear therefore receives the contribution of the 5 loudspeakers in the form modeled below:
  • Bl ALf + CC + BRf + DSI + ESr
  • Bl is the binauralized signal for the left ear LE
  • Br is the binauralized signal for the right ear RE.
  • the filters A, B, C, D and E are modeled, most often, by linear digital filters and it is therefore necessary, in the configuration shown in FIG. 1b, to have 10 filtering functions to be applied, which can be reduced to 5. , considering the symmetries.
  • the aforementioned filtering operations can be performed in the frequency domain, for example by virtue of a fast convolution performed in the Fourier domain.
  • a Fast Fourier Transform (FFT) Fourier Transform is then used to perform binauralization effectively.
  • the HRTF filters A, B, C, D and E can be simplified as a frequency equalizer and a delay.
  • the HRTF filter A can be realized as a simple equalizer, since it is a direct path, while the HRTF filter B includes an additional delay.
  • the HRTF filters can be decomposed into a minimum phase filter and a pure delay. The delay for the ear closest to the source can be taken as zero.
  • the reconstruction operation by spatial decoding of a 3D audio sound scene, from a reduced number of transmitted channels, as represented in FIG. 1c, is also known from the state of the art.
  • the configuration represented in FIG. 1c is that relating to the decoding of a coded sound channel having location parameters in the frequency domain, in order to reconstruct a spatialized sound scene 5.1.
  • the aforementioned reconstruction is performed by a frequency subband sub-frequency decoder, as represented in FIG. 1c.
  • the coded audio signal m undergoes 5 spatialization processing steps, which are controlled by parameters or complex coefficients of spatialization CLD and ICC calculated by the encoder and which, by means of decorrelation operations and gain correction, to realistically reconstruct the sound stage composed of six channels, the five channels represented in FIG. 1b, to which is added a low frequency effect channel Ife.
  • each OTT module corresponding to a matrix of decoding coefficients must then be converted into the Fourier domain, at the cost of an approximation, because the operations are not performed in the same domain.
  • the complexity is further increased because the synthetic operation "Synth" is followed by three FFT transformations.
  • the HRTF filterings are complex to perform because they require the use of subband filters, the minimum length of which is fixed and which must take into account the phenomenon of spectral folding of the subbands.
  • the object of the present invention is to overcome the numerous drawbacks of the above-mentioned prior art of sound spatialization of 3 D audio scenes, in particular transauralisation or binauralization of 3 D audio scenes.
  • an objective of the present invention is the execution of a specific filtering of spatially coded audio signals or channels in the frequency subband domain of a spatial decoding, in order to limit the number of transformations two by two, while reducing the filtering operations to a minimum, but maintaining a good quality of source spatialization, including transauralisation or binauralization.
  • the execution of the aforementioned specific filtering is based on the equalizer-delay form of the spatialization filters, transaural or binaural, for a direct application of filtering by equalization-delay in the domain of the sub-bands.
  • Another objective of the present invention is to obtain a 3D rendering quality very close to that obtained from modeling filters such as original HRTF filters, by the sole addition of a transaural spatial processing of very low complexity, following a classical spatial decoding in the transformed domain.
  • an objective of the present invention is a new source spatialization technique applicable not only to the transaural or binaural rendering of a monophonic sound, but also to several monophonic sounds and in particular to the multiple channels of 5.1, 6.1, 7.1, 8.1 or 5.1 stereo sounds. higher.
  • the subject of the present invention is thus a method for sound spatialisation of an audio scene comprising a first set comprising a number greater than or equal to the unit of audio channels coded spatially over a number of sub-bands of determined frequencies, and decoded in a transformed domain, in a second set comprising a number greater than or equal to two of sound reproduction channels in the time domain, from acoustic propagation modeling filters of the audio signals of the first set of channels.
  • this method is remarkable in that, for each modeling filter converted into at least one gain and a delay applicable in the transformed domain, it consists in performing at least, for each sub-band frequency of the transformed domain:
  • a filtering by equalization-delay of the signal in sub-band by applying a gain respectively of a delay on the signal in sub-band, to generate from the spatially coded channels, an equalized and delayed component of a value determined in the frequency subband considered,
  • the method which is the subject of the invention is also remarkable in that the filtering by equalization-delay of the signal in sub-band includes at least the application of a phase shift and, if appropriate, a pure delay by storage, for the at least one of the frequency sub-bands.
  • the method which is the subject of the invention is also remarkable in that it includes filtering by equalization-delay in a hybrid transformed domain, comprising an additional step of frequency cutting into additional subbands, with or without decimation.
  • the method which is the subject of the invention is finally remarkable in that to convert each modeling filter into a gain value or a delay value in the transformed domain, it consists at least in associating as a gain value with each subband a real value. defined as the average of the modeling filter module in this sub-band and to associate as delay value with each sub-band a delay value corresponding to the reception delay between the left ear and the right ear for different positions.
  • the subject of the present invention is correspondingly to a sound spatialization device of an audio scene comprising a first set comprising a number, greater than or equal to one, of audio channels coded spatially over a number of sub-bands of determined frequencies, and decoded in a transformed domain into a second set comprising a number greater than or equal to two of time domain rendering sound channels, from sound propagation modeling filters audio signals of the first subset of channels.
  • this device is remarkable in that, for each frequency sub-band of a spatial decoder in the transformed domain, this device comprises in addition to this spatial decoder:
  • a filtering module by equalization-delay of the signal in sub-band by applying a gain respectively of a delay on the signal in sub-band, for generating from each of the spatially audio-coded channels an equalized component and delayed by a determined delay value in the sub-frequency band considered, a module for adding a subset of equalized and delayed components to create a number of filtered signals in the transformed domain corresponding to the number of the second set greater than or equal to two of the reproduction sound channels in the time domain,
  • FIG. 2a represents an illustrative flow diagram of the implementation steps of the sound spatialization method which is the subject of the invention
  • FIG. 2b represents by way of illustration, an alternative embodiment of the method that is the subject of the invention represented in FIG. 2a, obtained by creating additional subbands, in the absence of decimation;
  • FIG. 2c represents by way of illustration, an alternative embodiment of the method that is the subject of the invention represented in FIG. 2a obtained by creating additional subbands, in the presence of decimation;
  • FIG. 3a represents, by way of illustration, a stage, for a frequency sub-band of a spatial decoder, of a sound spatialization device which is the subject of the invention
  • FIG. 3b represents, by way of illustration, a detail of implementation of a filter by equalization-delay allowing the implementation of the device of the invention shown in FIG. 3a;
  • FIG. 4 represents by way of illustration, an example of implementation of the device according to the invention in which the calculation of the delay equalization filters is delocalized.
  • the method according to the invention applies to an audio scene such as an audio scene 3 D represented by a first set comprising an N number of audio channels coded spatially greater than or equal to unity, N> 1, on a number of frequency subbands determined and decoded in a transformed domain.
  • the transformed domain is a transformed frequency domain such as Fourier domain, PQMF domain or any hybrid domain derived from them by creating additional frequency subbands, whether or not subjected to a temporal decimation process. Consequently, the spatially coded audio channels constituting the first set N of channels are represented in a nonlimiting manner by the channels F1, Fr, Sr, SI, C, Ife previously described in the description and corresponding to a decoding mode of a 3 D audio scene in the corresponding transformed domain, as previously described in the description. This mode is none other than the 5.1 mode previously mentioned.
  • these signals are decoded in the aforementioned transformed domain according to a determined number of sub-bands suitable for decoding, the set of sub-bands being noted.
  • k denotes the rank of the subband considered.
  • the method which is the subject of the invention makes it possible to transform all the spatially encoded audio channels mentioned above into a second set comprising a number, greater than or equal to two, of sound reproduction channels in the time domain, the sound reproduction channels being noted Bl and Br for the left binaural channels respectively right, without limitation in the context of Figure 2a. It is understood, in particular, that instead of two binaural channels, the method which is the subject of the invention applies to any number of channels greater than two, allowing, for example, the real-time sound reproduction of the 3D audio scene, as represented and described in the description in conjunction with FIG. 1b.
  • this is implemented using acoustic propagation modeling filters of the audio signals of the first set of spatially coded audio channels, taking into account a conversion in the form of at least one gain and delay applicable in the transformed domain, as will be described later in the description.
  • the modeling filters will be designated HRTF filters in the following description.
  • the method according to the invention consists, for each frequency sub-band of the transformed domain of rank k, to perform a filtering in step A by equalization-delay of the signal in subband by application a gain g k respectively of a delay d k on the sub-band signal, to generate from the spatially-referenced coded channels, that is to say the channels Fl, C, Fr, Sr, SI and Ife, an equalized and delayed component of a determined delay value in the frequency subband SBk considered of rank k.
  • CEDk x ⁇ FI, C, Fr, Sr, SI, lfe ⁇ (gkx, dkx).
  • FEBk x denotes each equalized and delayed component obtained by applying the gain g kx and the delay d ⁇ on each of the spatially coded audio channels, that is to say the channels Fl, C, Fr, Sr , SI, Ife. Consequently, and in the aforementioned symbolic relation, x, for the corresponding rank k sub-band, can actually take the values F1, C, Fr, Sr, SI, Ife.
  • Step A is then followed in the transformed domain of a step B of adding a subset of equalized and delayed components to create a number of filtered signals in the transformed domain corresponding to the number N 'of the second set, greater than or equal to 2, sound channels of restitution in the time domain.
  • step B of FIG. 2a the addition operation is given by the symbolic relation:
  • F (FI, C, Fr, Sr, SI, Ife) denotes the subset of the filtered signals in the transformed domain obtained by summation of a subset of equalized and delayed components CED kx .
  • the subset of equalized and delayed components may consist of adding five of these components equalized and delayed for each ear to obtain the number N 'equal to 2 of filtered signals in the transformed domain, as will be described in more detail later in the description.
  • the aforementioned addition step B is then followed by a step C of synthesizing each of the filtered signals in the transformed domain by a synthesis filter to obtain the second set of number N 'greater than or equal to two of sound signals of restitution in the time domain.
  • step C of FIG. 2a the corresponding synthesis operation is represented by the symbolic relation:
  • the method that is the subject of the invention can be applied to any 3D audio scene composed of N varying from 1 to infinity of audio channels or channels coded spatially to N 'varying from 2 to the infinity of sound channels of restitution.
  • this step consists more specifically of adding a subset of components delayed differently by the different delays to generate the N 'components for each sub-band.
  • the filtering by equalization-delay of the signal in sub-band includes at least the application of a phase shift supplemented if necessary by a pure delay by storage, for at least one sub-band. frequency bands.
  • the transformed domain may, as previously mentioned in the description, correspond to a hybrid transformed domain as will be described in connection with FIG. 2b in the case where no frequency decimation is applied in the corresponding sub-band.
  • the filtering by equalization delay shown in step A of Figure 2a is then performed in three substeps A1, A2, A3 shown in Figure 2b.
  • the step A comprises an additional step of frequency-cutting in additional sub-bands without decimation, to increase the number of applied gain values and thus the frequency accuracy, followed by a subgrouping step. additional bands to which the aforementioned gain values have been applied.
  • Frequency cutting and then grouping operations are represented in substeps Ai and A 2 of FIG. 2b.
  • the step of the frequency cuts is represented in the substep Ai by the relation: HRTF ⁇ ⁇ g ⁇ , dkz ⁇ *: f.
  • the gain and delay values for the sub-band of rank k considered are subdivided into Z corresponding gain values, a gain value gkz for each additional subband and the sub-step 1 2 it is understood that the grouping of the additional subbands is performed from the corresponding coded audio channels for the corresponding index x which has been applied the gain value gkz in the additional subband considered.
  • [GCEDkz] ⁇ : fx is the grouping of the additional subbands to which the gain values for the additional subbands were applied.
  • the sub-step A 2 is then followed by a sub-step A 3 consisting of applying the delay to the grouped additional subbands and in particular to the spatially coded audio channels of corresponding index x via the delay d kx of similar to Step A of Fig. 2a.
  • the method which is the subject of the invention may also consist in performing a delay-equalization filtering in a hybrid transformed domain comprising an additional step of frequency cutting into additional sub-bands with decimation, as shown in FIG. 2c.
  • step A'i of FIG. 2c is identical to step A 1 of FIG. 2b, to execute the creation of additional subbands with decimation.
  • step A 1 of FIG. 2c the decimation operation in step A 1 of FIG. 2c is executed in the time domain.
  • Step A 1 is then followed by a step A 2 corresponding to a grouping of the additional subbands to which the above-mentioned gain values have been applied in view of the decimation.
  • Grouping step A ' 2 is itself preceded or followed by application of the delay dkx thus represented by the double reversing arrow of steps A 2 and A' 3 .
  • this operation may advantageously consist in associating, as a gain value with each subband of rank k, a real value defined as the average of the corresponding HRTF filter module and to associate, as a delay value with each subband of rank k, a delay value corresponding to the delay of propagation between the left ear and the right ear of a listener for different positions.
  • each subband SB k is associated with a delay value corresponding to the propagation delay between the left ear and the right ear of a listener for different positions.
  • each band is associated with a real value.
  • the HRTF filter module it is possible from the HRTF filter module, to calculate, for each subband, the average of the module of the aforementioned HRTF filter. Such an operation is similar to an octave band or Bark analysis of HRTF filters.
  • the delay to be applied for the indirect channels that is to say the delay values which are more particularly applicable to the channels whose delay is not minimum, is determined.
  • ITD Interaural Time Difference
  • the most common method estimates the arrival time as the time when the HRIR time filter exceeds a given threshold.
  • the arrival time may correspond to the time for which the response of the HRIR filter reaches 10% of its maximum.
  • the application of a gain in the complex PQMF domain consists in multiplying the value of each sample of the subband signal, represented by a complex value, by the gain value formed by a real number.
  • the application of a delay in the PQMF transformed domain consists, for each sample of the subband signal represented by a complex value, of introducing a rotation in the complex plane by multiplication of this sample by a complex exponential value depending on the rank of the sub-band considered, the sub-sampling rate in the sub-band considered and a delay parameter related to the interaural delay difference of a listener.
  • the rotation in the complex plane is then followed by a pure time delay of the sample after rotation.
  • This pure time delay is a function of the difference in the interaural delay of a listener and the sub-sampling rate in the subband considered.
  • the aforementioned delays are applied to the resulting signals, ie the equalized signals and in particular to the subsets of these signals or channels which do not benefit from a direct path.
  • M is the sub-sampling rate in the sub-band considered, M wants to be taken equal to 64, for example;
  • - y (k, n) is the value of the output sample after application of the pure delay on the n-rank time sample of sub-band SBk of rank k, i.e. sample x (k, n) to which the delay B is applied.
  • D * M + d corresponds to the interaural delay calculated previously, d can take negative values which makes it possible to simulate a phase advance instead of a delay.
  • the processing implemented consists in performing a complex multiplication between an exponential complex and a subband sample formed by a complex value.
  • the method which is the subject of the invention can also be implemented in a hybrid transformed domain.
  • This hybrid transformed domain is a frequency domain in which the PQMF bands are advantageously redécoupées by a bank of filters decimated or not.
  • the decimation means a decimation in time, so the introduction of a delay advantageously follows the procedure including a pure delay and a phase shifter.
  • the delay may be applied only once during the synthesis. It is indeed useless to apply the same delay on each of the branches because the synthesis is a linear operation, without subsampling.
  • the application of the gains remains the same, these being simply more numerous, as previously described in connection with FIG. 2b for example, and thus make it possible to follow the more precise cutting in frequency.
  • a real gain is then applied per additional subband.
  • the method according to the invention is repeated for at least two equalization-delay pairs and the signals obtained are summed to obtain the sound channels in the time domain.
  • a more detailed description of a sound spatialization device of an audio scene comprising a first set comprising a number greater than or equal to the unit of audio channels spatially coded on a number of frequency subbands determined and decoded in a domain converted into a second set comprising a number greater than or equal to 2 of sound reproduction channels in the time domain, according to the subject of the present invention, will now be described in connection with Figures 3a and 3b.
  • the device the invention is based on the principle of conversion in the form of at least one gain and a delay applicable in the transformed domain of modeling filters of the acoustic propagation of the audio signals of the first set of channels mentioned above.
  • the device according to the invention allows the sound spatialization of an audio scene, such as a 3D audio scene, into a second set comprising a number, greater than or equal to two, of sound reproduction channels in the time domain.
  • the device according to the invention shown in FIG. 3a relates to a stage of this device specific to each sub-band SB k of rank k decoding in the transformed domain.
  • stage, for each subband of rank k shown in FIG. 3a is in fact replicated for each of the sub-bands to finally constitute the sound spatialization device according to the subject of the present invention.
  • the stage represented in FIG. 3a will hereinafter be referred to as the sound spatialization device object of the invention.
  • the device according to the invention as represented in FIG. 3a comprises, in addition to the spatial decoder shown, comprising the OTT modules 0 to OTT 4 substantially corresponding to a spatial decoder SD of the prior art such as 1c, but in which a sum of the front channel C and the low frequency channel Ife is additionally effected by a summator S, in a manner known per se from the state of the art. 1 filtering by equalization-delay of the signal in sub-band by applying a gain respectively a delay on the subband signal.
  • the application of a gain is represented on each of the spatially coded audio channels, represented by amplifiers 1 0 to 1 8 , the latter generating an equalized component which may or may not be delayed by the intermediate delay elements noted 1g to I 12 to generate from each of the spatially coded audio channels an equalized and delayed component of a determined delay value in the frequency subband SB k .
  • the gains of the amplifiers 1 0 to 1 8 have arbitrary values A, B, B, A > C, D, E 1 E, D respectively.
  • the delay values applied by the delay modules 1 9 to 1i 2 have the values Df, Bf, Ds, Ds.
  • the structure of the gains and delays introduced is symmetrical. A non-symmetrical structure can be implemented without departing from the scope of the subject of the invention.
  • the device according to the invention also comprises a module 2 for adding a subset of equalized and delayed components to create a number of filtered signals in the transformed domain corresponding to the number N 'of the second set greater than or equal to two sound channels of restitution in the time domain.
  • the device which is the subject of the invention comprises a module 3 for synthesizing each of the filtered signals in the transformed domain to obtain the second set comprising a number N 'greater than or equal to two of sound reproduction signals in the time domain.
  • the synthesis module 3 thus comprises, in the embodiment of Figure 3a, a synthesizer 3 0 and 3i which allow each to grant a playback sound signal in the time domain Bi louse binaural left signal, respectively B n for binaural signal law.
  • the equalized and delayed components in the embodiment of FIG. 3a are obtained in the following manner with:
  • - B [k] denotes the gain of the amplifier I 11 I 2 represented in FIG. 3a
  • - C [k] denotes the gain of the amplifier 1 4
  • each amplifier, 1 0 to 1 8 delivers the following equalized components successively: - A [k] * FI [k] [n],
  • the delays introduced by the delay elements 1g, 1i, 1n and I 12 are applied to the aforementioned equalized components to generate the equalized and delayed components.
  • these delays are applied to the subset that does not have a direct path. These are, in the description of FIG. 3a, the signals which have undergone the multiplications by the gains B [k] and E [k] applied by the amplifiers or multipliers 11 12 and 16 and 17.
  • the corresponding filtering element comprises a numerical multiplier, that is to say one of the multipliers or amplifiers 1 0 to 1 8 and represented by the gain value g kx in FIG. 3b, this multiplier allowing the multiplication of any complex sample of each coded audio channel of index x corresponding to the channels Fl, Fr, Clfe,
  • the filtering element represented in FIG. 3b comprises at least one complex numerical multiplier making it possible to introduce a rotation in the complex plane of any sample of the signal in subband by a complex exponential value, the value exp (-j (k, SS k )) where ⁇ (k, SS k ) denotes a phase value which is a function of the sub-sampling rate of the sub-band considered and the rank of the sub-band considered k.
  • ⁇ ⁇ k, SS k ) ⁇ * (k + 0.5) * d / M.
  • the complex numerical multiplier is followed by a delay line denoted LAR introducing a pure delay of each sample after rotation, to introduce a pure time delay according to the difference of the interaural delay of a listener and the subsampling rate M in the sub-band SB k considered.
  • the values of d and D are such that these values correspond to the application of a delay D * M + d in the non-sampled time domain and that the delay D * M + d corresponds to the interaural delay previously mentionned.
  • the equalized and delayed components that is to say the addition of the components:
  • the aforementioned signals can then feed a digital-to-analog converter, to allow the listening of sounds left Bi and right B r on an audio headset for example.
  • the operation of synthesis performed by the synthesis modules 3 0 and 3i includes, where appropriate, the hybrid synthesis process as described above in the description.
  • the method which is the subject of the invention may advantageously consist in dissociating the equalization and delay operations, which may relate to frequency sub-bands in a different number.
  • the equalization can for example be performed in the hybrid domain and the delay in the PQMF domain.
  • the method and the device that are the subject of the invention can also be applied to effect the trans-scaling, ie the rendering of a 3d sound field on a pair of tops or to convert in an uncomplicated manner a representation of N audio channels or sound sources from a spatial decoder or from several monophonic decoders to N 'available audio channels at the rendering level.
  • the filtering operations can then be multiplied if necessary.
  • the method and the device which are the subject of the invention can be applied to the case of an interactive 3D game in the sounds emitted by the different objects or sound sources, which can then be spatialized as a function of their relative position in relation to the listener. Sound samples are then compressed and stored in different files or memory areas. To be played and spatialised, they are partially decoded in order to remain in the coded domain and are filtered in the coded domain by suitable binaural filters advantageously using the writing method according to the object of the present invention.
  • the invention finally covers a computer program comprising a sequence of instructions stored on a storage medium for execution by a computer or a dedicated sound spatialization device, which during this execution performs the addition filtering and synthesis as described in connection with Figures 2a to 2c and 3a, 3b previously in the description. It is understood in particular that the operations shown in the above figures can advantageously be implemented on complex digital samples via a central processing unit, a working memory and a program memory, not shown. in the drawing of Figure 3a. Finally, the calculation of the gains and delays constituting the equalization-delay filters can be performed externally to the device object of the invention shown in FIGS. 3a and 3b, as will be described hereinafter in FIG. connection with Figure 4.
  • a first spatial coding and rate reduction coding unit I is considered, including a device according to the invention as represented in FIG. 3a, 3b, making it possible to carry out the aforementioned spatial coding at from an audio scene in 5.1 mode for example and coded audio transmission, on the one hand, and spatial parameters, on the other hand, to a decoding unit and spatial decoding II.
  • the calculation of the delay equalization filters can then be performed by a separate unit III, which from the modeling filters, HRTF filters, calculates the gain and delay equalization values and transmits them to the coding unit I. spatial and spatial decoding unit II.
  • Spatial coding can thus take into account the HRTFs that will be applied to correct its spatial parameters and improve 3D rendering.
  • the rate reduction encoder can use these HRTFs to measure the perceptual effects of frequency quantization.
  • the process implemented by the device and method of the invention thus makes it possible to execute a sound spatialization of an audio scene in which the first set comprises a determined number of spatially coded audio channels and the second set has a lower number of time domain rendering sound channels. It also allows decoding to perform an inverse transformation of a number of spatially coded audio channels to a set having a greater or equal number of time domain rendering sound channels.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Algebra (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Physics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Stereophonic System (AREA)

Description

PROCEDE ET DISPOSITIF DE SPATIALISATION SONORE BINAURALE EFFICACE DANS LE DOMAINE TRANSFORMÉ
L'invention est relative à la spatial isation, dite rendu 3D, de signaux audio compressés.
Une telle opération est par exemple exécutée lors de la décompression d'un signal compressé audio 3D par exemple, représenté sur un certain nombre de canaux, vers un nombre de canaux différents, deux par exemple, pour permettre la restitution des effets 3D audio sur un casque d'écoute.
Ainsi, le terme « binaural » vise la restitution sur un casque stéréophonique d'un signal sonore avec néanmoins des effets de spatialisation. L'invention ne se limite toutefois pas à la technique précitée et s'applique, notamment, à des techniques dérivées du « binaural », telles que les techniques de restitution dites techniques TRANSAURAL®, c'est-à-dire sur des haut-parleurs distants. TRANSAURAL® est une marque de commerce déposée par la société COOPER BAUCK CORPORATION. De telles techniques peuvent alors utiliser une « annulation de diaphonie » (« cross-talk cancellation » en anglais), laquelle consiste à annuler les chemins acoustiques croisés, de manière à ce qu'un son, ainsi traité puis émis par les haut-parleurs, puisse n'être perçu que par une seule des deux oreilles d'un auditeur. En conséquence, l'invention est également relative à la transmission et à la restitution de signaux audio multicanaux et à leur conversion vers un dispositif de restitution, transducteur, imposé par l'équipement d'un utilisateur. C'est par exemple le cas pour la restitution d'une scène sonore 5.1 par un casque d'écoute audio, ou par une paire de hauts parleurs.
L'invention est également relative à la restitution, dans le cadre d'un jeu ou enregistrement vidéo par exemple, d'un ou plusieurs échantillons sonores stockés dans des fichiers, en vue de leur spatialisation.
Parmi les techniques connues dans le domaine de la spatialisation sonore binaurale, différentes approches ont été proposées.
En particulier, la synthèse binaurale bicanale consiste, en référence à la figure 1a, à filtrer le signal des différentes sources sonores Si que l'on souhaite positionner, à la restitution, à une position dans l'espace, par l'intermédiaire de fonctions de transfert acoustiques gauche HRTF-I et droite HRTF-r dans le domaine fréquentiel correspondant à la direction appropriée, définie en coordonnées polaires [O1, C1) . Les fonctions de transfert HRTF, pour « Head Related Transfer Functions » en anglais, précitées sont les fonctions de transfert acoustique de la tête de l'auditeur entre les positions de l'espace et le conduit auditif. On désigne en outre par « HRIR » pour « Head Related Impulse Response » leur forme temporelle. Ces fonctions peuvent en outre comporter un effet de salle. On obtient, pour chaque source sonore Si deux signaux gauche et droit qui sont alors additionnés aux signaux gauche et droit issus de la spatialisation des autres sources sonores, pour donner finalement les signaux L et R diffusés aux oreilles gauche et droite de l'auditeur.
Le nombre de filtres, ou fonctions de transfert, nécessaires est alors 2.N pour une synthèse binaurale statique et 4.N pour une synthèse binaurale dynamique, N désignant le nombre de sources sonore ou de flux audio à spatialiser.
Des travaux intitulés « A model of head-related transfer functions based on principal components analysis and minimum - phase reconstruction » conduits par D. Kistler et F.L. Wightman, publiés au J. Acoust. Soc. Am. 91 (3) : p 1637-1647 (1992) et par A. Kulkami 1995 « IEEE ASSP Workshop on Applications of signal Processing to Audio and Acoustics » IEEE catalog number : 95TH8144, ont permis de vérifier que les phases des HRTF peuvent se décomposer en la somme de deux termes, l'un correspondant au retard interaural et l'autre égal à la phase minimale associée au module de la HRTF.
Ainsi, pour une fonction de transfert HRTF exprimée sous la forme : φ(f) = φ retard (f)+φ min(/ ) φ retard (f)- 2πfτ correspond au retard interaural ; φmin(f) = H(log(jH(/)|)) est la phase minimale associée au module du filtre Η.
L'implémentation des filtres binauraux se fait, en général, sous la forme de deux filtres à phase minimale et d'un retard pur, correspondant à la différence des retards gauche et droit appliqués à l'oreille la plus éloignée de la source. Ce retard est en général implémenté à l'aide d'une ligne à retard. Le filtre à phase minimale est un filtre à réponse impulsionnelle finie et peut être exécuté dans le domaine temporel ou fréquentiel. Des filtres à réponse impulsionnelle infinie peuvent être recherchés pour approximer le module des filtres ΗRTF à phase minimale.
En ce qui concerne la binauralisation, on se place, en référence à la figure 1 b, dans le cadre non limitatif d'une scène sonore spatialisée en mode 5.1 , en vue de la restitution de celle-ci sur le casque audio d'un être humain HB.
Cinq haut-parleurs C : Centre, Lf : Left front, Rf : Right front, SI : Surround left, Sr : Surround right, produisent chacun un son qui est perçu par l'être humain HB sur les deux récepteurs que sont ses oreilles. On modélise les transformations subies par le son par une fonction de filtrage représentant la modification que ce son subit lors de sa propagation entre le haut-parleur qui restitue ce son et une oreille donnée.
En particulier, le son émanant du haut-parleur Lf affecte l'oreille gauche LE au travers d'un filtre HRTF A mais ce même son atteint l'oreille droite RE modifié par un filtre HRTF B.
La position des haut-parleurs par rapport à l'individu HB précités peut être symétrique ou non.
Chaque oreille reçoit donc la contribution des 5 haut-parleurs sous la forme modélisée ci-après :
Oreille gauche LE : Bl = ALf + CC + BRf + DSI + ESr, Oreille droite RE : Br = ARf + CC + BLf + DSr + ESI, où Bl est le signal binauralisé pour l'oreille gauche LE et Br est le signal binauralisé pour l'oreille droite RE.
Les filtres A, B, C, D et E sont modélisés, le plus souvent, par des filtres numériques linéaires et il faut donc, dans la configuration représentée en figure 1 b, 10 fonctions de filtrage à appliquer, lesquelles peuvent être réduites à 5, compte tenu des symétries.
De manière connue en tant que telle, les opérations de filtrage précitées peuvent être réalisées dans le domaine fréquentiel, par exemple grâce à une convolution rapide exécutée dans le domaine de Fourier. On utilise alors une transformée de Fourier rapide FFT, pour « Fast Fourier Transform » en anglais, pour exécuter la binauralisation de façon efficace.
Les filtres HRTF A, B, C, D et E peuvent être simplifiés sous la forme d'un égaliseur en fréquence et d'un retard. Le filtre HRTF A peut être réalisé sous la forme d'un simple égaliseur, car il s'agit d'une trajectoire directe, alors que le filtre HRTF B inclut un retard supplémentaire. De manière classique les filtres HRTF peuvent être décomposés en un filtre à phase minimale et un retard pur. Le retard pour l'oreille la plus proche de la source peut être pris égal à zéro. L'opération de reconstruction par décodage spatial d'une scène sonore 3D audio, à partir d'un nombre réduit de canaux transmis, telle que représentée en figure 1c, est également connue de l'état de la technique. La configuration représentée en figure 1c est celle relative au décodage d'une voie sonore codée disposant de paramètres de localisation dans le domaine fréquentiel, afin de reconstruire une scène sonore spatialisée 5.1.
La reconstruction précitée est effectuée par un décodeur spatial par sous-bandes fréquentielles, tel que représenté en figure 1c. Le signal audio codé m subit 5 étapes de traitement de spatialisation, qui sont commandées par des paramètres ou coefficients complexes de spatialisation CLD et ICC calculés par l'encodeur et qui permettent, par le biais d'opérations de décorrélation et de correction de gain, de reconstruire de façon réaliste la scène sonore composée de six canaux, les cinq canaux représentés en figure 1b, auxquels est ajouté un canal d'effet de basse fréquence Ife.
Lorsque l'on souhaite procéder à une binauralisation des canaux sonores issus d'un décodeur spatial tel que représenté en figure 1c, on est en fait contraint, à l'heure actuelle, de mettre en œuvre un traitement selon le schéma représenté en figure 1d.
En référence au schéma précité, il apparaît nécessaire de réaliser la transformation des canaux sonores dont on dispose dans le domaine temporel, avant de procéder à la binauralisation du signal. Cette opération de retour dans le domaine temporel est symbolisée par les blocs synthétiseurs « Synth » qui exécutent l'opération de transformation fréquence-temps pour chacun des canaux issus du décodeur spatial (SD). Le filtrage par filtres HRTF peut ensuite être réalisé par les filtres A, B, C, D, E, avec ou sans application du schéma égalisé, correspondant à un filtrage classique. Une variante de binauralisation des canaux sonores d'un décodeur spatial peut consister également, ainsi que représenté en figure 1e, à convertir chaque canal sonore délivré par le décodeur audio dans le domaine temporel par un synthétiseur « Synth » puis à exécuter l'opération de décodage spatial et de binauralisation, ou spatial isation, dans le domaine fréquentiel de Fourier, après transformation par FFT.
Dans cette hypothèse, chaque module OTT correspondant à une matrice de coefficients de décodage, doit alors être converti dans le domaine de Fourier, au prix d'une approximation, car les opérations ne sont pas effectuées dans le même domaine. En outre, la complexité est encore accrue, car l'opération de synthèse « Synth » est suivie de trois transformations FFT.
Ainsi, pour binauraliser une scène sonore issue d'un décodeur spatial, il n'existe guère d'autre possibilité que de réaliser :
- soit 6 transformations temps-fréquence, si l'on veut réaliser la binauralisation en dehors du décodeur spatial ;
- soit une opération de synthèse suivie de 3 transformations de Fourier, FFT, si l'on veut réaliser l'opération dans le domaine FFT. A la rigueur, une autre solution peut consister à effectuer le filtrage HRTF directement dans le domaine des sous-bandes, ainsi que représenté en figure 1f.
Toutefois, dans cette hypothèse, les filtrages HRTF sont complexes à réaliser, car ces derniers imposent l'utilisation de filtres en sous- bandes, dont la longueur minimale est fixée et qui doivent prendre en compte le phénomène de repliement spectral des sous-bandes.
L'économie introduite par la réduction d'opérations de transformation est compensée négativement par l'explosion du nombre d'opérations nécessaires pour le filtrage, en raison de l'exécution de ces opérations dans le domaine PQMF pour Pseudo Quadrature Mirror Filter en anglais.
La présente invention a pour objectif de remédier aux nombreux inconvénients des techniques antérieures précitées de spatialisation sonore des scènes audio 3 D, notamment de transauralisation ou de binauralisation de scènes audio 3 D.
En particulier, un objectif de la présente invention est l'exécution d'un filtrage spécifique de signaux ou canaux audio codés spatialement dans le domaine des sous-bandes fréquentielles d'un décodage spatial, afin de limiter le nombre de transformations deux à deux, tout en réduisant les opérations de filtrage au minimum, mais en conservant une bonne qualité de spatialisation source, notamment en transauralisation ou binauralisation.
Selon un aspect particulièrement remarquable de la présente invention, l'exécution du filtrage spécifique précité s'appuie sur la mise sous forme égaliseur-retard des filtres de spatialisation, transaurale ou binaurale, pour une application directe d'un filtrage par égalisation-retard dans le domaine des sous-bandes.
Un autre objectif de la présente invention est l'obtention d'une qualité de rendu 3 D très proche de celle obtenue à partir de filtres de modélisation tels que des filtres HRTF d'origine, par la seule adjonction d'un traitement spatial transaural de très basse complexité, suite à un décodage spatial classique dans le domaine transformé. Un objectif de la présente invention est enfin une nouvelle technique de spatialisation source applicable non seulement au rendu transaural ou binaural d'un son monophonique, mais également à plusieurs sons monophoniques et notamment aux canaux multiples de sons stéréo 5.1 , 6.1 , 7.1 , 8.1 ou supérieurs.
La présente invention a ainsi pour objet un procédé de spatialisation sonore d'une scène audio comportant un premier ensemble comprenant un nombre supérieur ou égal à l'unité de canaux audio codés spatialement sur un nombre de sous-bandes de fréquences déterminé, et décodés dans un domaine transformé, en un deuxième ensemble comprenant un nombre supérieur ou égal à deux de canaux sonores de restitution dans le domaine temporel, à partir de filtres de modélisation de la propagation acoustique des signaux audio du premier ensemble de canaux.
Conformément à l'invention ce procédé est remarquable en ce que, pour chaque filtre de modélisation converti sous forme d'au moins un gain et d'un retard applicables dans le domaine transformé, il consiste à effectuer au moins, pour chaque sous-bande fréquentielle du domaine transformé :
- un filtrage par égalisation-retard du signal en sous-bande, par application d'un gain respectivement d'un retard sur le signal en sous- bande, pour engendrer à partir des canaux codés spatialement, une composante égalisée et retardée d'une valeur déterminée dans la sous-bande fréquentielle considérée,
- une addition d'un sous-ensemble de composantes égalisées et retardées, pour créer un nombre de signaux filtrés dans le domaine transformé correspondant au nombre du deuxième ensemble, supérieur ou égal à deux, de canaux sonores de restitution dans le domaine temporel,
- une synthèse de chacun des signaux filtrés dans le domaine transformé par un filtre de synthèse, pour obtenir le deuxième ensemble de nombre supérieur ou égal à deux de signaux sonores de restitution dans le domaine temporel. Le procédé objet de l'invention est également remarquable en ce que le filtrage par égalisation-retard du signal en sous-bande inclut au moins l'application d'un déphasage et le cas échéant d'un retard pur par mémorisation, pour l'une au moins des sous-bandes de fréquences. Le procédé objet de l'invention est également remarquable en ce qu'il inclut un filtrage par égalisation-retard dans un domaine transformé hybride, comportant une étape supplémentaire de découpe en fréquence en sous-bandes supplémentaires, avec ou sans décimation.
Le procédé objet de l'invention est enfin remarquable en ce que pour convertir chaque filtre de modélisation en une valeur de gain respectivement de retard dans le domaine transformé, il consiste au moins à associer comme valeur de gain à chaque sous-bande une valeur réelle définie comme la moyenne du module du filtre de modélisation dans cette sous-bande et à associer comme valeur de retard à chaque sous-bande une valeur de retard correspondant au retard de réception entre l'oreille gauche et l'oreille droite pour différentes positions.
La présente invention a corrélativement pour objet un dispositif de spatialisation sonore d'une scène audio comportant un premier ensemble comprenant un nombre, supérieur ou égal à l'unité, de canaux audio codés spatialement sur un nombre de sous-bandes de fréquences déterminé, et décodés dans un domaine transformé, en un deuxième ensemble comportant un nombre supérieur ou égal à deux de canaux sonores de restitution dans le domaine temporel, à partir de filtres de modélisation de la propagation acoustique signaux audio du premier sous-ensemble de canaux. Conformément à l'invention ce dispositif est remarquable en ce que, pour chaque sous-bande fréquentielle d'un décodeur spatial dans le domaine transformé, ce dispositif comprend outre ce décodeur spatial :
- un module de filtrage par égalisation-retard du signal en sous-bande par application d'un gain respectivement d'un retard sur le signal en sous-bande, pour engendrer à partir de chacun des canaux audio- codés spatialement une composante égalisée et retardée d'une valeur de retard déterminée dans la sous-bande de fréquences considérée, - un module d'addition d'un sous-ensemble de composantes égalisées et retardées pour créer un nombre de signaux filtrés dans le domaine transformé correspondant au nombre du deuxième ensemble supérieur ou égal à deux des canaux sonores de restitution dans le domaine temporel,
- un module de synthèse de chacun des signaux filtrés dans le domaine transformé pour obtenir le deuxième ensemble comprenant un nombre supérieur ou égal à deux des canaux sonores de restitution dans le domaine temporel. Le procédé et le dispositif objets de l'invention trouvent application à l'industrie électronique des appareils audio et/ou vidéo à haute fidélité, à l'industrie des jeux audio-vidéo exécutés localement ou en ligne.
Ils seront mieux compris à la lecture de la description et à l'observation des dessins ci-après dans lesquels, outre les figures 1a à 1f relatives à l'art antérieur,
- la figure 2a représente un organigramme illustratif des étapes de mise en œuvre du procédé de spatialisation sonore objet de l'invention ;
- la figure 2b représente à titre illustratif, une variante de mise en œuvre du procédé objet de l'invention représenté en figure 2a, obtenu par création de sous-bandes supplémentaires, en l'absence de décimation ;
- la figure 2c représente à titre illustratif, une variante de mise en œuvre du procédé objet de l'invention représenté en figure 2a obtenu par création de sous-bandes supplémentaires, en présence de décimation ;
- la figure 3a représente, à titre illustratif, un étage, pour une sous- bande de fréquences d'un décodeur spatial, d'un dispositif de spatialisation sonore objets de l'invention ;
- la figure 3b représente, à titre illustratif, un détail de mise en œuvre d'un filtre par égalisation-retard permettant la mise en œuvre du dispositif objet de l'invention représenté en figure 3a ;
- la figure 4 représente à titre illustratif, un exemple de mise en œuvre du dispositif objet de l'invention dans lequel le calcul des filtres d'égalisation retard est délocalisé.
Une description plus détaillée du procédé de spatialisation sonore d'une scène audio conforme à l'objet de la présente invention sera maintenant donnée en liaison avec la figure 2a et les figures suivantes.
Le procédé objet de l'invention s'applique à une scène audio telle qu'une scène audio 3 D représentée par un premier ensemble comprenant un nombre N de canaux audio codés spatialement supérieur ou égal à l'unité, N > 1 , sur un nombre de sous-bandes de fréquences déterminé et décodé dans un domaine transformé.
Le domaine transformé s'entend d'un domaine fréquentiel transformé tel que domaine de Fourier, domaine PQMF ou de tout domaine hybride issu de ces derniers par création de sous-bandes de fréquences supplémentaires, soumises ou non à un processus de décimation temporel. En conséquence, les canaux audio codés spatialement constitutifs du premier ensemble N de canaux, sont représentés de manière non limitative par les canaux Fl, Fr, Sr, SI, C, Ife précédemment décrits dans la description et correspondant à un mode de décodage d'une scène audio 3 D dans le domaine transformé correspondant, ainsi que décrit précédemment dans la description. Ce mode n'est autre que le mode 5.1 précédemment mentionné.
En outre, ces signaux sont décodés dans le domaine transformé précité selon un nombre de sous-bandes déterminé propres au décodage, l'ensemble des sous-bandes étant noté k désigne le rang de la sous-bande considérée.
Le procédé objet de l'invention permet de transformer l'ensemble des canaux audio codés spatialement précédemment cités en un deuxième ensemble comportant un nombre, supérieur ou égal à deux, de canaux sonores de restitution dans le domaine temporel, les canaux sonores de restitution étant notés Bl et Br pour les canaux binauraux gauche respectivement droit, de manière non limitative dans le cadre de la figure 2a. On comprend, en particulier, qu'en lieu et place de deux canaux binauraux, le procédé objet de l'invention s'applique à tout nombre de canaux supérieur à deux, permettant par exemple la restitution sonore en temps réel de la scène audio 3D, ainsi que représenté et décrit dans la description en liaison avec la figure 1 b. Selon un aspect remarquable du procédé objet de l'invention, celui-ci est mis en œuvre à partir de filtres de modélisation de la propagation acoustique des signaux audio du premier ensemble de canaux audio codés spatialement, compte tenu d'une conversion sous forme d'au moins un gain et d'un retard applicables dans le domaine transformé, ainsi qu'il sera décrit ultérieurement dans la description. De manière non limitative, les filtres de modélisation seront désignés filtres HRTF dans la suite de la description.
La conversion précitée est notée pour chaque filtre HRTF considéré pour une sous-bande SBk de rang k à établir une valeur de gain gk et de retard dk correspondant, la conversion précédente étant alors notée, ainsi que représentée en figure 2a HRTF Ξ (gk.dk).
Compte tenu de la conversion précitée, le procédé objet de l'invention consiste, pour chaque sous-bande fréquentielle du domaine transformé de rang k, à effectuer un filtrage à l'étape A par égalisation-retard du signal en sous-bande par application d'un gain gk respectivement d'un retard dk sur le signal en sous-bande, pour engendrer à partir des canaux codés spatialement précités, c'est-à-dire les canaux Fl, C, Fr, Sr, SI et Ife, une composante égalisée et retardée d'une valeur de retard déterminée dans la sous-bande de fréquence SBk considérée de rang k.
Sur la figure 2a, l'opération de filtrage par égalisation-retard est notée de manière symbolique CEDkx= {FI, C, Fr, Sr, SI, lfe}(gkx, dkx).
Dans la relation symbolique précitée, FEBkx désigne chaque composante égalisée et retardée obtenue par application du gain gkx et du retard d^ sur chacun des canaux audio codés spatialement, c'est-à-dire les canaux Fl, C, Fr, Sr, SI, Ife. En conséquence et dans la relation symbolique précitée, x, pour la sous-bande de rang k correspondant, peut prendre en fait les valeurs Fl, C, Fr, Sr, SI, Ife. L'étape A est alors suivie dans le domaine transformé d'une étape B d'addition d'un sous-ensemble de composantes égalisées et retardées pour créer un nombre de signaux filtrés dans le domaine transformé correspondant au nombre N' du deuxième ensemble, supérieur ou égal à 2, de canaux sonores de restitution dans le domaine temporel.
A l'étape B de la figure 2a, l'opération d'addition est donnée par la relation symbolique :
F(FI, C, Fr, Sr, SI, Ife} = ICEDkx.
Dans la relation symbolique précitée, F(FI, C, Fr, Sr, SI, Ife} désigne le sous-ensemble des signaux filtrés dans le domaine transformé obtenu par sommation d'un sous-ensemble de composantes égalisées et retardées CEDkx.
A titre d'exemple non limitatif et pour fixer les idées, pour un premier ensemble comportant un nombre de canaux audio codés spatialement N = 6, correspondant à un mode 5.1 , le sous-ensemble de composantes égalisées et retardées peut consister à additionner cinq de ces composantes égalisées et retardées pour chaque oreille pour obtenir le nombre N' égal à 2 de signaux filtrés dans le domaine transformé, ainsi qu'il sera décrit de manière plus détaillée ultérieurement dans la description. L'étape d'addition B précitée est alors suivie d'une étape C de synthèse de chacun des signaux filtrés dans le domaine transformé par un filtre de synthèse pour obtenir le deuxième ensemble de nombre N' supérieur ou égal à deux de signaux sonores de restitution dans le domaine temporel.
A l'étape C de la figure 2a, l'opération correspondante de synthèse est représentée par la relation symbolique :
Bl, Br = Synth (F(FI, C, Fr, Sr, SI, Ife})
D'une manière générale, on indique que le procédé objet de l'invention peut être appliqué à toute scène 3D audio composée de N variant de 1 à l'infini de voies ou canaux audio codés de façon spatiale vers N' variant de 2 à l'infini de canaux sonores de restitution.
En ce qui concerne l'étape de sommation représentée à l'étape B de la figure 2a, on indique que celle-ci consiste de manière plus spécifique à additionner un sous-ensemble de composantes retardées de façon différente par les différents retards pour engendrer les N' composantes pour chaque sous-bande.
De manière plus spécifique, on indique que le filtrage par égalisation-retard du signal en sous-bande inclut au moins l'application d'un déphasage complété le cas échéant par un retard pur par mémorisation, pour l'une au moins des sous-bandes de fréquence.
La notion d'application d'un retard pur est symbolisée à l'étape A de la figure 2a par la relation gEx = 1 , laquelle représente l'absence d'égalisation pour l'ensemble des canaux audio d'indice x dans la sous- bande de rang k = E, la valeur 1 indiquant une transmission sans modification de l'amplitude de chacun des canaux audio codés spatialement.
Le domaine transformé peut, ainsi que mentionné précédemment dans la description, correspondre à un domaine transformé hybride ainsi qu'il sera décrit en liaison avec la figure 2b dans le cas où aucune décimation en fréquence n'est appliquée dans la sous-bande correspondante.
En référence à la figure 2b précitée, le filtrage par égalisation retard représenté à l'étape A de la figure 2a est alors exécuté en trois sous- étapes A1 , A2, A3 représentées à la figure 2b. Dans ces conditions, l'étape A comporte une étape supplémentaire de découpe en fréquence en sous-bandes supplémentaires sans décimation, pour augmenter le nombre de valeurs de gain appliquées et ainsi la précision en fréquence, suivie d'une étape de regroupement de sous- bandes supplémentaires, auxquelles ont été appliquées les valeurs de gain précitées.
Les opérations de découpe en fréquence puis de regroupement sont représentées aux sous-étapes Ai et A2 de la figure 2b.
L'étape des découpes en fréquence est représentée à la sous- étape Ai par la relation : HRTF Ξ {g^, dkz} *:f .
L'étape de regroupement est représentée à la sous-étape A2 par la relation : [GCEBkZ]1 2X = {FI, C, Fl, Sr, SI, Ife} (gkz)
A la sous-étape A1, on comprend que les valeurs de gain et de retard pour la sous-bande de rang k considérée sont subdivisées en Z valeurs de gain correspondantes, une valeur de gain gkz pour chaque sous- bande supplémentaire et à la sous-étape 12 on comprend que le regroupement des sous-bandes supplémentaires est effectué à partir des canaux audio codés correspondants pour l'indice x correspondant auquel a été appliqué la valeur de gain gkz dans la sous-bande supplémentaire considérée. Dans la relation précédente [GCEDkz] ^:f x désigne le regroupement des sous-bandes supplémentaires auxquelles ont été appliquées les valeurs de gain pour les sous-bandes supplémentaires considérées.
La sous-étape A2 est alors suivie d'une sous-étape A3 consistant à appliquer le retard aux sous-bandes supplémentaires regroupées et en particulier aux canaux audio codés spatialement d'indice x correspondant par l'intermédiaire du retard dkxde manière semblable à l'étape A de la figue 2a. L'opération correspondante est notée par la relation : CEDkzX = [GCEDkz] ::f x (dkx). En outre, le procédé objet de l'invention peut consister également à effectuer un filtrage par égalisation-retard dans un domaine transformé hybride comportant une étape supplémentaire de découpe de fréquence en sous-bandes supplémentaires avec décimation, ainsi que représentée en figure 2c. Dans cette hypothèse, l'étape A'i de la figure 2c est identique à l'étape A1 de la figure 2b, pour exécuter la création des sous-bandes supplémentaires avec décimation.
Dans cette hypothèse, l'opération de décimation à l'étape A1 de la figure 2c est exécutée dans le domaine temporel. L'étape A1 est alors suivie d'une étape A2 correspondant à un regroupement des sous-bandes supplémentaires auxquelles ont été appliquées les valeurs de gain précitées compte tenu de la décimation. L'étape A'2 de regroupement est elle-même précédée ou suivie de l'application du retard dkx ainsi représentée par la double flèche d'interversion des étapes A2 et A'3.
On comprend, en particulier, que lorsque l'application du retard est effectuée antérieurement au regroupement, le retard est appliqué directement sur les signaux des sous-bandes supplémentaires antérieurement au regroupement.
En ce qui concerne la conversion de chaque filtre HRTF en une valeur de gain et de retard dans le domaine transformé, cette opération peut consister, avantageusement, à associer, comme valeur de gain à chaque sous-bande de rang k, une valeur réelle définie comme la moyenne du module du filtre HRTF correspondant et à associer, comme valeur de retard à chaque sous-bande de rang k, une valeur de retard correspondant au retard de propagation entre l'oreille gauche et l'oreille droite d'un auditeur pour différentes positions.
Ainsi, à partir d'un filtre HRTF, il est possible de calculer de façon automatique les gains et les délais de retard appliqués en sous-bande. A partir de la résolution fréquentielle du banc de filtre HRTF, on associe à chacune des sous-bandes SBk une valeur de retard correspondant au retard de propagation entre l'oreille gauche et l'oreille droite d'un auditeur pour différentes positions.
Ainsi, à partir d'un filtre HRTF, on peut calculer de façon automatique les gains et les délais de retard à appliquer en sous-bande.
A partir de la résolution fréquentielle du banc de filtre, on associe à chacune des bandes une valeur réelle. A titre d'exemple non limitatif, il est possible à partir du module du filtre HRTF, de calculer, pour chaque sous- bande, la moyenne du module du filtre HRTF précité. Une telle opération est similaire à une analyse en bande d'octave ou de Bark des filtres HRTF. De même, on détermine le retard à appliquer pour les canaux indirects, c'est-à- dire les valeurs de retard qui sont applicables plus particulièrement aux canaux dont le retard n'est pas minimum. Il existe de nombreuses méthodes pour déterminer de manière automatique les retards interauraux encore désignés ITD pour « Interaural Time Différence » et qui correspondent aux retards entre l'oreille gauche et l'oreille droite, pour différentes positions de l'auditeur. On peut utiliser, à titre d'exemple non limitatif, la méthode du seuil décrite par S. Busson dans la thèse de doctorat de l'Université de la Méditerranée Est-Marseille II, 2006, intitulée « Individualisation d'indices acoustiques pour la synthèse binaurale ». Le principe des méthodes d'estimation du retard interaural de type seuil est de déterminer le temps d'arrivée, ou encore le retard initial de l'onde sur l'oreille droite Td et sur l'oreille gauche Tg. Le retard interaural est donné par la relation ITD seuil = Td - Tg.
La méthode la plus courante estime le temps d'arrivée comme l'instant où le filtre temporel HRIR dépasse un seuil donné. Par exemple le temps d'arrivée peut correspondre au temps pour lequel la réponse du filtre HRIR atteint 10 % de son maximum. Un exemple de mise en œuvre spécifique dans le domaine transformé PQMF sera maintenant donné ci-après.
D'une manière générale, on indique que l'application d'un gain dans le domaine PQMF complexe consiste à multiplier la valeur de chaque échantillon du signal en sous-bande, représenté par une valeur complexe, par la valeur de gain formée par un nombre réel.
En effet, il est bien connu que l'usage d'un domaine transformé
PQMF complexe, permet d'appliquer les gains en s'affranchissant des problèmes de repliement de spectre engendrés par le sous- échantillonnage inhérent aux bancs de filtres. Chaque sous-bande SBk de chaque canal se voit ainsi affectée d'un gain déterminé.
En outre, l'application d'un retard dans le domaine transformé PQMF consiste au moins, pour chaque échantillon du signal en sous-bande, représenté par une valeur complexe, à introduire une rotation dans le plan complexe par multiplication de cet échantillon par une valeur exponentielle complexe fonction du rang de la sous-bande considérée, du taux de sous- échantillonnage dans la sous-bande considérée et d'un paramètre de retard lié à la différence de retard interaural d'un auditeur. La rotation dans le plan complexe est alors suivie d'un retard temporel pur de l'échantillon après rotation. Ce retard temporel pur est une fonction de la différence du retard interaural d'un auditeur et du taux de sous échantillonnage dans la sous-bande considérée. De manière pratique, on indique que les retards précités sont appliqués sur les signaux résultants c'est-à-dire les signaux égalisés et en particulier sur les sous-ensembles de ces signaux ou canaux qui ne bénéficient pas d'une trajectoire directe.
En particulier, la rotation est effectuée sous la forme d'une multiplication complexe par une valeur exponentielle de la forme : exp (-j*pi*(k+ 0,5)*d/M) et par un retard pur implémenté par une ligne à retard, par exemple réalisant l'opération : y(k,n) = x(k, n-D) Dans les relations précédentes :
- exp est la fonction exponentielle ;
- j est tel que j*j = -1 ;
- k le rang de la sous-bande SBk considérée ;
- M est le taux de sous-échantillonnage dans la sous-bande considérée, M veut être pris égal à 64, par exemple ;
- y(k, n) est la valeur de l'échantillon de sortie après application du retard pur sur l'échantillon temporel de rang n de la sous-bande SBk de rang k, c'est-à-dire l'échantillon x (k,n) auquel est appliqué le retard B.
- d et D dans les relations précédentes sont tels qu'ils correspondent à l'application d'un retard de D*M + d dans le domaine temporel non sous- échantillonné. Le retard D*M + d correspond au retard interaural calculé précédemment, d peut prendre des valeurs négatives ce qui permet de simuler une avance de phase en lieu et place d'un retard.
L'opération ainsi réalisée induit une approximation qui est convenable pour l'effet recherché.
En terme d'opérations de calcul, le traitement mis en œuvre consiste donc à réaliser une multiplication complexe entre une exponentielle complexe et d'un échantillon en sous-bande formé par une valeur complexe.
Un retard éventuel, si le retard total à appliquer est supérieur à la valeur M, est à insérer, mais cette opération ne comporte pas d'opération arithmétique. Le procédé objet de l'invention peut également être mis en œuvre dans un domaine transformé hybride. Ce domaine transformé hybride est un domaine fréquentiel dans lequel les bandes PQMF sont avantageusement redécoupées par un banc de filtres décimé ou non.
Si le banc de filtres est décimé, la décimation s'entendant d'une décimation en temps, alors l'introduction d'un retard suit avantageusement la procédure incluant un retard pur et un déphaseur.
Si le banc de filtre n'est pas décimé, alors le retard peut n'être appliqué qu'une seule fois lors de la synthèse. Il est en effet inutile d'appliquer le même retard sur chacune des branches car la synthèse est une opération linéaire, sans sous-échantillonneur.
L'application des gains reste identique, ceux-ci étant simplement plus nombreux, ainsi que décrit précédemment en liaison avec la figure 2b par exemple, et permettent donc de suivre la découpe plus précise en fréquence. Un gain réel est alors appliqué par sous-bande supplémentaire. Enfin, selon une variante de mise en œuvre, l'on réitère le procédé selon l'invention pour au moins deux couples égalisation-retard et l'on somme les signaux obtenus pour obtenir les canaux sonores dans le domaine temporel.
Une description plus détaillée d'un dispositif de spatialisation sonore d'une scène audio comportant un premier ensemble comprenant un nombre supérieur ou égal à l'unité de canaux audio codés spatialement sur un nombre de sous-bandes de fréquence déterminé et décodé dans un domaine transformé, en un deuxième ensemble comprenant un nombre supérieur ou égal à 2 de canaux sonores de restitution dans le domaine temporel, conforme à l'objet de la présente invention, sera maintenant décrit en liaison avec les figures 3a et 3b.
Ainsi que mentionné précédemment, le dispositif objet de l'invention est basé sur le principe de la conversion sous forme d'au moins un gain et d'un retard applicable dans le domaine transformé de filtres de modélisation de la propagation acoustique des signaux audio du premier ensemble de canaux précité. Le dispositif objet de l'invention permet la spatialisation sonore d'une scène audio, telle qu'une scène audio 3D, en un deuxième ensemble comportant un nombre, supérieur ou égal à deux, de canaux sonores de restitution dans le domaine temporel.
Le dispositif objet de l'invention représenté en figure 3a concerne un étage de ce dispositif spécifique à chaque sous-bande SBk de rang k de décodage dans le domaine transformé.
On comprend en particulier que l'étage, pour chaque sous-bande de rang k représenté en figure 3a, est en fait répliqué pour chacune des sous-bandes pour constituer finalement le dispositif de spatialisation sonore conforme à l'objet de la présente invention. Par convention, l'étage représenté en figure 3a sera désigné ci- après dispositif de spatialisation sonore objet de l'invention.
En référence à la figure précitée, le dispositif objet de l'invention tel que représenté sur la figure 3a comporte, outre le décodeur spatial représenté, comportant les modules OTT0 à OTT4 correspondant sensiblement à un décodeur spatial SD de l'art antérieur tel que représenté en figure 1c, mais dans lequel on procède en outre, de manière connue en tant que telle de l'état de la technique, à une sommation du canal frontal C et du canal à fréquence basse Ife par un sommateur S, un module 1 de filtrage par égalisation-retard du signal en sous-bande par application d'un gain respectivement d'un retard sur le signal en sous-bande.
Sur la figure 3a, l'application d'un gain est représenté sur chacun des canaux audio codés spatialement, représentés par des amplificateurs 10 à 18, ces derniers engendrant une composante égalisée laquelle peut être soumise ou non à un retard par l'intermédiaire d'éléments de retard notés 1g à I 12 pour engendrer à partir de chacun des canaux audio codés spatialement une composante égalisée et retardée d'une valeur de retard déterminé dans la sous-bande de fréquence SBk. En référence à la figure 3a, les gains des amplificateurs 10 à 18 ont des valeurs arbitraires A, B, B,A> C, D, E1E, D respectivement. En outre les valeurs de retard appliquées par les modules de retard 19 à 1i2 ont pour valeurs Df, Bf, Ds, Ds. Sur la figure précitée, la structure des gains et retards introduits est symétrique. Une structure non symétrique peut être mise en œuvre sans sortir du cadre de l'objet de l'invention.
Le dispositif objet de l'invention comporte également un module 2 d'addition d'un sous-ensemble de composantes égalisées et retardées pour créer un nombre de signaux filtrés dans le domaine transformé correspondant au nombre N' du deuxième ensemble supérieur ou égal à deux de canaux sonores de restitution dans le domaine temporel.
Enfin le dispositif objet de l'invention comporte un module 3 de synthèse de chacun des signaux filtrés dans le domaine transformé pour obtenir le deuxième ensemble comprenant un nombre N' supérieur ou égal à deux de signaux sonores de restitution dans le domaine temporel. Le module de synthèse 3 comporte ainsi, dans le mode de réalisation de la figure 3a, un synthétiseur 30 et 3i lesquels permettent chacun de délivrer un signal sonore de restitution dans le domaine temporel Bi pou signal binaural gauche, respectivement Bn pour signal binaural droit. Les composantes égalisées et retardées dans le mode de réalisation de la figure 3a sont obtenues de la manière ci-après avec :
- A[k] désignant le gain des amplificateurs 10, I3 pour la sous-bande SBk de rang k,
- B[k] désigne le gain de l'amplificateur I11 I2 représenté en figure 3a, - C[k] désigne le gain de l'amplificateur 14,
- D[k] désigne le gain des amplificateurs 15 1β,
- E[K] désigne le gain des amplificateurs 16 17-
En ce qui concerne les canaux audio codés spatialement et en particulier ces canaux Fl, Fr, Clfe, SI et Sr pour la sous-bande SBk, on désigne par Fl[k][n], Fr[k][n], Fc[k][n], lfe[k][n], Sl[k][n], Sr[k][n], le enième échantillon de la sous-bande SBk. Ainsi chaque amplificateur, 10 à 18 délivre les composantes égalisées suivantes successivement : - A[k]*FI[k][n],
- B[k]*FI[k][n],
- B[k]*Fr[k][n],
- A[k]*Fr[k][n], - C[k]*Fc[k][n],
- D[k]*SI[k][n],
- E[k]*SI[k][n],
- E[k]*Sr[k][n],
- D[k]*Sr[k][n]. Les opérations précédentes, ainsi que mentionné précédemment dans la description, sont réalisées sous la forme d'une multiplication réelle agissant dans ce cas sur des nombres complexes.
Les retards introduits par les éléments de retard 1g, 1io, 1 n et I 12 sont appliqués sur les composantes égalisées précitées pour engendrer les composantes égalisées et retardées.
Dans l'exemple représenté en figure 3a, ces retards sont appliqués sur le sous-ensemble qui ne bénéficie pas d'une trajectoire directe. Ce sont, dans la description de la figure 3a, les signaux qui ont subi les multiplications par les gains B[k] et E[k] appliquées par les amplificateurs ou multiplicateurs 11 12 et 16 et 17.
Une description plus détaillée d'un filtre ou élément de filtrage par égalisation-retard constitué par exemple par un amplificateur multiplicateur '\ <\ et un élément retardateur 1g sera maintenant donnée en liaison avec la figure 3b. En ce qui concerne l'application du gain, on indique que l'élément de filtrage, correspondant, représenté en figure 3b, comporte un multiplicateur numérique, c'est-à-dire l'un des multiplicateurs ou amplificateurs 10 à 18 et représenté par la valeur de gain gkx à la figue 3b, ce multiplicateur permettant la multiplication de tout échantillon complexe de chaque canal audio codé d'indice x correspondant aux canaux Fl, Fr, Clfe,
SI, ou Sr par une valeur réelle, c'est-à-dire la valeur de gain précédemment mentionnée dans la description. En outre, l'élément de filtrage représenté en figure 3b comporte au moins un multiplicateur numérique complexe permettant d'introduire une rotation dans le plan complexe de tout échantillon du signal en sous-bande par une valeur exponentielle complexe, la valeur exp(-jç?(k, SSk)) où φ(k, SSk) désigne une valeur de phase fonction du taux de sous échantillonnage de la sous-bande considérée et du rang de la sous-bande considérée k.
Dans un mode de réalisation φ{k, SSk) = φ* (k + 0.5)*d/M .
Le multiplicateur numérique complexe est suivi d'une ligne à retard notée L.A.R. introduisant un retard pur de chaque échantillon après rotation, permettant d'introduire un retard temporel pur fonction de la différence du retard interaural d'un auditeur et du taux de sous- échantillonnage M dans la sous-bande SBk considérée.
Ainsi, la ligne à retard L.A.R. permet d'introduire le retard sur l'échantillon complexe après rotation de la forme y(k, n) = x(k, n-D). Enfin, on indique que les valeurs de d et D sont telles que ces valeurs correspondent à l'application d'un retard D*M+d dans le domaine temporel non échantillonné et que le retard D*M+d correspond au retard interaural précédemment mentionné.
Pour la mise en œuvre du dispositif objet de l'invention, tel que représenté en figure 3a, on peut observer que le signal Fr[k][n] est multiplié par le gain B[k] puis retardé, ce qui, conformément à l'un des aspects remarquable de l'objet de l'invention, revient à multiplier ce signal par un gain complexe. Le produit du gain B[k] et de l'exponentielle complexe peut être réalisé une fois pour toute évitant ainsi une opération complémentaire pour chaque échantillon Fr[k][n] successif. Les composantes égalisées et retardées gauches sont référencés L0 à L4 et droites Ro à R4 et représentées au dessin regroupées par les modules somateurs 20 respectivement vérifient alors les relations ci-après :
Tableau T
L0[k][n] = A[k] F1 [k][n]
R0[k][n] = B[k] F1 [k][n] retardé de Df échantillons
R1 [k][n] = A[k] Fr[k][n] L1 [k][n] = B[k] Fr[k][n] retardé de Df échantillons
L2[k][n] = R2[k][n]=C[k] (Fc[k][n]+1fe[k][n])
L3[k][n] = D[k] S1 [k][n]
R3[k][n] = E[k] S1 [k][n] retardé de Ds échantillons
R4[k][n] = D[k] Sr[k][n]
L4[k][n] = E[k] Sr[k][n] retardé de Ds échantillons
Pour obtenir les canaux sonores de restitution dans le domaine temporel, à savoir les canaux Bi gauche respectivement Bn droit représentés en figure 3a c'est-à-dire des signaux binauralisés dans le mode de réalisation de la figure 3a, on additionne pour chaque échantillon de rang n les composantes égalisées et retardées spatiales c'est-à-dire l'addition des composantes :
L0[k][n]+L1[k][n]+L2[k][n]+L3[k][n]+L4[k][n] pour le module sommateur 20, et R0[k][n]+R1 [k][n]+R2[k][n]+R3[k][n]+R4[k][n] pour le module sommateur 2-ι. Les signaux résultants délivrés par les modules de sommation 20 et 2i sont ensuite passés dans les bancs de filtres de synthèse 30 respectivement 3i afin d'obtenir les signaux binauralisés dans le domaine temporel Bi respectivement Bn.
Les signaux précités peuvent ensuite alimenter un convertisseur numérique-analogique, afin de permettre l'écoute des sons gauche Bi et droit Br sur un casque d'écoute audio par exemple.
L'opération de synthèse réalisée par les modules de synthèse 30 et 3i inclut, le cas échéant, l'opération de synthèse hybride telle que décrite précédemment dans la description. Le procédé objet de l'invention peut avantageusement consister à dissocier les opérations d'égalisation et de retard, lesquelles peuvent porter sur des sous-bandes de fréquence en nombre différent. En variante, l'égalisation peut par exemple être effectuée dans le domaine hybride et le retard dans le domaine PQMF. On comprend que le procédé et le dispositif objets de l'invention bien que décrits pour la binauralisation de six canaux vers un casque d'écoute peuvent également s'appliquer pour effectuer la transauralisation, c'est-à-dire la restitution d'un champ sonore 3D sur une paire de hauts parleurs ou pour convertir de façon peu complexe une représentation de N canaux audio ou sources sonores issus d'un décodeur spatial ou de plusieurs décodeurs monophoniques vers N' canaux audio disponibles au niveau de la restitution. Les opérations de filtrages peuvent alors être à multiplier le cas échéant.
A titre d'exemple complémentaire non limitatif, le procédé et le dispositif objets de l'invention peuvent être appliqués au cas d'un jeu 3D interactif dans les sons émis par les différents objets ou sources sonores, lesquels peuvent alors être spatialisés en fonction de leur position relative par rapport à l'auditeur. Des échantillons sonores sont alors compressés et stockés dans différents fichiers ou différentes zones mémoires. Pour être joués et spatialisés, ils sont partiellement décodés afin de rester dans le domaine codé et sont filtrés dans le domaine codé par des filtres binauraux adéquats de manière avantageuse en utilisant le procédé d'écrit conformément à l'objet de la présente invention.
En effet, en regroupant les opérations de décodage et de spatialisation, la complexité globale du processus est fortement réduite sans toutefois entraîner de perte de qualité.
L'invention couvre enfin un programme d'ordinateur comportant une suite d'instructions mémorisées sur un support de mémorisation pour exécution par un ordinateur ou un dispositif dédié de spatialisation sonore, lequel lors de cette exécution, exécute les étapes de filtrage d'addition et de synthèse telles que décrite en liaison avec les figures 2a à 2c et 3a, 3b précédemment dans la description. On comprend en particulier que les opérations représentées aux figures précitées peuvent avantageusement être mises en œuvre sur des échantillons numériques complexes par l'intermédiaire d'une unité centrale de traitement, d'une mémoire de travail et d'une mémoire de programme, non représentées au dessin de la figure 3a. Enfin, le calcul des gains et des retards constituant les filtres d'égalisation-retard peut être exécuté de manière externe au dispositif objet de l'invention représenté en figure 3a et 3b, ainsi qu'il sera décrit ci-après en liaison avec la figure 4.
En référence à la figure précitée, on considère une première unité de codage spatial et de codage à réduction de débit I, incluant un dispositif objet de l'invention tel que représenté en figure 3a, 3b, permettant d'opérer le codage spatial précité à partir d'une scène audio en mode 5.1 par exemple et la transmission audio codé, d'une part, et de paramètres spatiaux, d'autre part, vers une unité de décodage et de décodage spatial II.
Le calcul des filtres d'égalisation retard peut alors être effectué par une unité distincte III, laquelle à partir des filtres de modélisation, filtres HRTF, calcule les valeurs d'égalisation de gain et de retard et les transmet à l'unité I de codage spatial et à l'unité II de décodage spatial.
Le codage spatial peut ainsi prendre en compte les HRTF qui seront appliquées pour corriger ses paramètres spatiaux et améliorer le rendu 3D. De même le codeur à réduction de débit pourra se servir de ces HRTF pour mesurer les effets perceptifs d'une quantification en fréquence.
Côté décodage ce sont les HRTF transmises qui seront appliquées dans le décodeur spatial, et permettront le cas échéant de reconstruire les voies restituées.
Comme dans les exemples précédents, ce sont 2 voies à partir de 5 qui seront restituées, mais d'autres cas peuvent inclure la construction de 5 voies à partir de 3 comme illustré ci-dessus. Le procédé de décodage spatial procédera alors comme suit :
- projection des 3 canaux reçus sur un ensemble de canaux virtuels (supérieur aux 5 de sortie) en utilisant les informations spatiales (upmix) ; - réduction des canaux virtuels aux 5 canaux de sortie en utilisant les HRTF.
Si les HRTF ont été appliquées au codeur, alors on pourra éventuellement supprimer leur contribution avant upmix pour réaliser le schéma ci-dessus. Les HRTF après conversion sous leur forme gain / retard, peuvent être quantifiées de façon privilégiées sous la forme suivante : codage en différentiel de leurs valeurs puis quantification de leurs différences : si on appel G[k] les valeurs des gains de l'égaliseur, alors on transmettra les valeurs quantifiées : e[k]=G[k+1]-G[k], linéairement ou logarithmiquement. De manière plus spécifique en référence à la figure 4 précitée le processus mis en œuvre par le dispositif et le procédé objets de l'invention permet ainsi d'exécuter une spatialisation sonore d'une scène audio dans laquelle le premier ensemble comporte un nombre déterminé de canaux audio codés spatialement et, le deuxième ensemble comporte un nombre inférieur de canaux sonores de restitution dans le domaine temporel. Il permet en outre au décodage d'effectuer une transformation inverse d'un nombre de canaux audio codés spatialement vers un ensemble comportant un nombre supérieur ou égal de canaux sonores de restitution dans le domaine temporel.

Claims

REVENDICATIONS
1. Procédé de spatialisation sonore d'une scène audio comportant un premier ensemble, comportant un nombre, supérieur ou égal à l'unité, de canaux audio codés spatialement sur un nombre de sous- bandes de fréquences déterminé, et décodés dans un domaine transformé, en un deuxième ensemble comportant un nombre supérieur ou égal à deux de canaux sonores de restitution dans le domaine temporel, à partir de filtres de modélisation de la propagation acoustique des signaux audio dudit premier ensemble de canaux, caractérisé en ce que, pour chaque filtre de modélisation converti sous forme d'au moins un gain et d'un retard applicables dans ledit domaine transformé, ledit procédé inclut au moins, pour chaque sous-bande fréquentielle dudit domaine transformé :
- le filtrage par égalisation-retard du signal en sous-bande par application d'un gain respectivement d'un retard sur ledit signal en sous-bande, pour engendrer, à partir des canaux codés spatialement, une composante égalisée et retardée d'une valeur de retard déterminé dans la sous-bande de fréquences considérée ;
- l'addition d'un sous-ensemble de composantes égalisées et retardées, pour créer un nombre de signaux filtrés dans le domaine transformé correspondant au nombre dudit deuxième ensemble supérieur ou égal à deux de canaux sonores de restitution dans le domaine temporel ; - la synthèse de chacun des signaux filtrés dans le domaine transformé par un filtre de synthèse, pour obtenir ledit deuxième ensemble de nombre supérieur ou égal à deux de canaux sonores de restitution dans le domaine temporel.
2. Procédé selon la revendication 1 , caractérisé en ce que ledit filtrage par égalisation-retard du signal en sous-bande inclut au moins l'application d'un déphasage pour l'une au moins des sous-bandes de fréquences.
3. Procédé selon la revendication 2, caractérisé en ce que ledit filtrage par égalisation retard inclut en outre un retard pur par mémorisation pour l'une au moins des sous-bandes de fréquences.
4. Procédé selon l'une des revendications 1 à 3, caractérisé en ce que ledit filtrage par égalisation-retard dans un domaine transformé hybride, comporte une étape supplémentaire de découpe en fréquence en sous-bandes supplémentaires sans décimation, pour augmenter le nombre de valeurs de gain appliquées, suivie d'une étape de regroupement desdites sous-bandes supplémentaires auxquelles ont été appliquées lesdites valeurs de gain, puis d'application dudit retard.
5. Procédé selon l'une des revendications 1 à 3, caractérisé en ce que ledit filtrage par égalisation-retard dans un domaine transformé hybride comporte une étape supplémentaire de découpe en fréquence en sous-bandes supplémentaires avec décimation, pour augmenter le nombre de valeurs de gain appliquées, suivie d'une étape de regroupement desdites sous-bandes supplémentaires auxquelles ont été appliquées lesdites valeurs de gain, ladite étape de regroupement étant elle-même précédée ou suivie de l'application dudit retard.
6. Procédé selon l'une des revendications précédentes, caractérisé en ce que, pour convertir chaque filtre de modélisation en une valeur de gain respectivement de retard dans le domaine transformé, celui-ci consiste au moins à :
- associer comme valeur de gain à chaque sous-bande une valeur réelle définie comme la moyenne du module du filtre de modélisation ; - associer comme valeur de retard à chaque sous-bande une valeur de retard correspondant au retard de propagation entre l'oreille gauche et l'oreille droite pour différentes positions.
7. Procédé selon l'une des revendications 1 à 3 ou 6, à l'exclusion des revendications 4 ou 5, caractérisé en ce que l'application d'un gain dans le domaine PQMF consiste à multiplier la valeur de chaque échantillon du signal en sous-bande, représenté par une valeur complexe, par la valeur de gain formée par un nombre réel.
8. Procédé selon l'une des revendications 1 à 3 ou 6 ou 7, à l'exclusion des revendications 4 ou 5, caractérisé en ce que l'application d'un retard dans le domaine transformé PQMF consiste au moins, pour chaque échantillon du signal en sous-bande, représenté par une valeur complexe, à : - introduire une rotation dans le plan complexe par multiplication de cet échantillon par une valeur exponentielle complexe fonction du rang de la sous-bande considérée, du taux de sous échantillonnage dans la sous- bande considérée, et d'un paramètre de retard lié à la différence de retard interaural d'un auditeur ; - introduire un retard temporel pur de l'échantillon après rotation, ledit retard temporel pur étant une fonction de la différence du retard interaural d'un auditeur et du taux de sous-échantillonage dans la sous-bande considérée.
9. Procédé selon l'une des revendications 1 à 8, caractérisé en ce que pour une spatialisation sonore binaurale d'une scène audio dans laquelle le premier ensemble comporte un nombre de canaux audio codés spatialement égal à N=6, en mode 5.1 , ledit deuxième ensemble comporte deux canaux sonores de restitution dans le domaine temporel, pour une restitution par un casque d'écoute audio.
10. Procédé selon l'une des revendications 1 à 9, caractérisé en ce que l'on réitère le procédé pour au moins deux couples égalisation-retard et l'on somme les signaux obtenus pour obtenir les canaux sonores dans le domaine temporel.
11. Procédé selon l'une des revendications 1 à 9, caractérisé en ce que pour une spatialisation sonore d'une scène audio dans laquelle le premier ensemble comporte un nombre déterminé de canaux audio codés spatialement et de le deuxième ensemble comporte un nombre inférieur de canaux sonores de restitution dans le domaine temporel, ce procédé consiste, au décodage, à effectuer une transformation inverse d'un nombre de canaux audio codés spatialement vers un ensemble comportant un nombre supérieur ou égal de canaux sonores de restitution dans le domaine temporel.
12. Procédé selon l'une des revendications précédentes, caractérisé en ce que les valeurs de gain et de retard associées au filtre de modélisation sont transmises sous forme quantifiée.
13. Dispositif de spatialisation sonore d'une scène audio comportant un premier ensemble, comportant un nombre, supérieur ou égal à l'unité, de canaux audio codés spatialement sur un nombre de sous- bandes de fréquences déterminé, et décodés dans un domaine transformé, en un deuxième ensemble comportant un nombre supérieur ou égal à deux de canaux sonores de restitution dans le domaine temporel, à partir de filtres de modélisation de la propagation acoustique des signaux audio dudit premier ensemble de canaux, caractérisé en ce que, pour chaque sous- bande fréquentielle d'un décodeur spatial, dans le domaine transformé, ledit dispositif comprend, outre ce décodeur spatial :
- des moyens de filtrage par égalisation-retard du signal en sous-bande par application d'au moins un gain respectivement d'un retard sur ledit signal en sous-bande, pour engendrer, à partir de chacun des canaux audio codés spatialement une composante égalisée et retardée d'une valeur de retard déterminé dans la sous-bande de fréquences considérée ;
- des moyens d'addition d'un sous-ensemble de composantes égalisées et retardées, pour créer un nombre de signaux filtrés dans le domaine transformé correspondant au nombre dudit deuxième ensemble supérieur ou égal à deux de canaux sonores de restitution dans le domaine temporel ;
- des moyens de synthèse de chacun des signaux filtrés dans le domaine transformé, pour obtenir ledit deuxième ensemble comprenant un nombre supérieur ou égal à deux de signaux sonores de restitution dans le domaine temporel.
14. Dispositif selon la revendication 13, caractérisé en ce que lesdits moyens de filtrage par application d'un gain comportent un multiplicateur numérique de tout échantillon complexe de chaque canal audio codé spatialement par une valeur réelle.
15. Dispositif selon la revendication 13 ou 14, caractérisé en ce que lesdits moyens de filtrage par application d'un retard comportent au moins un multiplicateur numérique complexe, permettant d'introduire une rotation dans le plan complexe de tout échantillon du signal en sous-bande par une valeur exponentielle complexe, fonction du rang de la sous-bande considérée, du taux de sous-échantillonage dans la sous-bande considérée et d'un paramètre de retard lié à la différence de retard interaural d'un auditeur.
16. Dispositif selon la revendication 15, caractérisé en ce que lesdits moyens de filtrage comportent en outre une ligne à retard pur de chaque échantillon après rotation, permettant d'introduire un retard temporel pur fonction de la différence du retard interaural d'un auditeur et du taux de sous-échantillonnage dans la sous-bande considérée.
17. Programme d'ordinateur comportant une suite d'instructions mémorisées sur un support de mémorisation pour exécution par un ordinateur ou un dispositif dédié, caractérisé en ce que lors de cette exécution, ledit programme exécute les étapes de filtrage, d'addition et de synthèse selon l'une des revendications 1 à 12.
EP07731710A 2006-03-28 2007-03-08 Procede et dispositif de spatialisation sonore binaurale efficace dans le domaine transforme Active EP2000002B1 (fr)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PL07731710T PL2000002T3 (pl) 2006-03-28 2007-03-08 Sposób i urządzenie do efektywnego dwuusznego uprzestrzenniania dźwięku w dziedzinie transformowanej

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR0602685A FR2899423A1 (fr) 2006-03-28 2006-03-28 Procede et dispositif de spatialisation sonore binaurale efficace dans le domaine transforme.
PCT/FR2007/050894 WO2007110519A2 (fr) 2006-03-28 2007-03-08 Procede et dispositif de spatialisation sonore binaurale efficace dans le domaine transforme

Publications (2)

Publication Number Publication Date
EP2000002A2 true EP2000002A2 (fr) 2008-12-10
EP2000002B1 EP2000002B1 (fr) 2009-08-05

Family

ID=37649439

Family Applications (1)

Application Number Title Priority Date Filing Date
EP07731710A Active EP2000002B1 (fr) 2006-03-28 2007-03-08 Procede et dispositif de spatialisation sonore binaurale efficace dans le domaine transforme

Country Status (12)

Country Link
US (1) US8605909B2 (fr)
EP (1) EP2000002B1 (fr)
JP (1) JP5090436B2 (fr)
KR (1) KR101325644B1 (fr)
CN (1) CN101455095B (fr)
AT (1) ATE439013T1 (fr)
BR (1) BRPI0709276B1 (fr)
DE (1) DE602007001877D1 (fr)
ES (1) ES2330274T3 (fr)
FR (1) FR2899423A1 (fr)
PL (1) PL2000002T3 (fr)
WO (1) WO2007110519A2 (fr)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101218776B1 (ko) * 2006-01-11 2013-01-18 삼성전자주식회사 다운믹스된 신호로부터 멀티채널 신호 생성방법 및 그 기록매체
US8027479B2 (en) * 2006-06-02 2011-09-27 Coding Technologies Ab Binaural multi-channel decoder in the context of non-energy conserving upmix rules
EP2337380B8 (fr) * 2006-10-13 2020-02-26 Auro Technologies NV Procédé et encodeur pour combiner des ensembles de données numériques, procédé de décodage et décodeur pour ces ensembles de données numériques combinées et support d'enregistrement pour stocker cet ensemble de données numériques combinées
KR101464977B1 (ko) * 2007-10-01 2014-11-25 삼성전자주식회사 메모리 관리 방법, 및 멀티 채널 데이터의 복호화 방법 및장치
KR100954385B1 (ko) * 2007-12-18 2010-04-26 한국전자통신연구원 개인화된 머리전달함수를 이용한 3차원 오디오 신호 처리장치 및 그 방법과, 그를 이용한 고현장감 멀티미디어 재생시스템
FR2938947B1 (fr) * 2008-11-25 2012-08-17 A Volute Procede de traitement du signal, notamment audionumerique.
FR2969804A1 (fr) * 2010-12-23 2012-06-29 France Telecom Filtrage perfectionne dans le domaine transforme.
KR101828448B1 (ko) * 2012-07-27 2018-03-29 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 확성기-인클로져-마이크로폰 시스템 표현을 제공하기 위한 장치 및 방법
CN108806706B (zh) * 2013-01-15 2022-11-15 韩国电子通信研究院 处理信道信号的编码/解码装置及方法
CN104010264B (zh) * 2013-02-21 2016-03-30 中兴通讯股份有限公司 双声道音频信号处理的方法和装置
EP4120699A1 (fr) * 2013-09-17 2023-01-18 Wilus Institute of Standards and Technology Inc. Procédé et appareil de traitement de signaux multimédia
US9067135B2 (en) 2013-10-07 2015-06-30 Voyetra Turtle Beach, Inc. Method and system for dynamic control of game audio based on audio analysis
US10063982B2 (en) 2013-10-09 2018-08-28 Voyetra Turtle Beach, Inc. Method and system for a game headset with audio alerts based on audio track analysis
US9143878B2 (en) 2013-10-09 2015-09-22 Voyetra Turtle Beach, Inc. Method and system for headset with automatic source detection and volume control
US9338541B2 (en) 2013-10-09 2016-05-10 Voyetra Turtle Beach, Inc. Method and system for in-game visualization based on audio analysis
US9716958B2 (en) 2013-10-09 2017-07-25 Voyetra Turtle Beach, Inc. Method and system for surround sound processing in a headset
US8979658B1 (en) 2013-10-10 2015-03-17 Voyetra Turtle Beach, Inc. Dynamic adjustment of game controller sensitivity based on audio analysis
CN104681034A (zh) 2013-11-27 2015-06-03 杜比实验室特许公司 音频信号处理
JP6151866B2 (ja) * 2013-12-23 2017-06-21 ウィルス インスティテュート オブ スタンダーズ アンド テクノロジー インコーポレイティド オーディオ信号のフィルタ生成方法およびそのためのパラメータ化装置
EP3128766A4 (fr) * 2014-04-02 2018-01-03 Wilus Institute of Standards and Technology Inc. Procédé et dispositif de traitement de signal audio
US10142755B2 (en) * 2016-02-18 2018-11-27 Google Llc Signal processing methods and systems for rendering audio on virtual loudspeaker arrays
DE202017102729U1 (de) * 2016-02-18 2017-06-27 Google Inc. Signalverarbeitungssysteme zur Wiedergabe von Audiodaten auf virtuellen Lautsprecher-Arrays
CN106412793B (zh) * 2016-09-05 2018-06-12 中国科学院自动化研究所 基于球谐函数的头相关传输函数的稀疏建模方法和系统
US10313819B1 (en) * 2018-06-18 2019-06-04 Bose Corporation Phantom center image control
CN109166592B (zh) * 2018-08-08 2023-04-18 西北工业大学 基于生理参数的hrtf分频段线性回归方法
US11363402B2 (en) 2019-12-30 2022-06-14 Comhear Inc. Method for providing a spatialized soundfield
CN112437392B (zh) * 2020-12-10 2022-04-19 科大讯飞(苏州)科技有限公司 声场重建方法、装置、电子设备和存储介质

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2755081B2 (ja) * 1992-11-30 1998-05-20 日本ビクター株式会社 音像定位制御方法
JP2001306097A (ja) 2000-04-26 2001-11-02 Matsushita Electric Ind Co Ltd 音声符号化方式及び装置、音声復号化方式及び装置、並びに記録媒体
JP3624884B2 (ja) * 2001-12-28 2005-03-02 ヤマハ株式会社 音声データ処理装置
JP2003230198A (ja) * 2002-02-01 2003-08-15 Matsushita Electric Ind Co Ltd 音像定位制御装置
JP2004023486A (ja) * 2002-06-17 2004-01-22 Arnis Sound Technologies Co Ltd ヘッドホンによる再生音聴取における音像頭外定位方法、及び、そのための装置
BR0305555A (pt) 2002-07-16 2004-09-28 Koninkl Philips Electronics Nv Método e codificador para codificar um sinal de áudio, aparelho para fornecimento de um sinal de áudio, sinal de áudio codificado, meio de armazenamento, e, método e decodificador para decodificar um sinal de áudio codificado
FR2851879A1 (fr) * 2003-02-27 2004-09-03 France Telecom Procede de traitement de donnees sonores compressees, pour spatialisation.
CN1886780A (zh) * 2003-12-15 2006-12-27 法国电信 声音合成和空间化方法
US7805313B2 (en) * 2004-03-04 2010-09-28 Agere Systems Inc. Frequency-based coding of channels in parametric multi-channel coding systems
KR100644617B1 (ko) * 2004-06-16 2006-11-10 삼성전자주식회사 7.1 채널 오디오 재생 방법 및 장치
US7391870B2 (en) 2004-07-09 2008-06-24 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E V Apparatus and method for generating a multi-channel output signal
US7853022B2 (en) * 2004-10-28 2010-12-14 Thompson Jeffrey K Audio spatial environment engine
EP1994796A1 (fr) * 2006-03-15 2008-11-26 Dolby Laboratories Licensing Corporation Restitution binaurale utilisant des filtres de sous-bandes

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See references of WO2007110519A2 *

Also Published As

Publication number Publication date
CN101455095A (zh) 2009-06-10
BRPI0709276A2 (pt) 2011-07-12
US8605909B2 (en) 2013-12-10
KR101325644B1 (ko) 2013-11-06
JP5090436B2 (ja) 2012-12-05
PL2000002T3 (pl) 2010-01-29
EP2000002B1 (fr) 2009-08-05
FR2899423A1 (fr) 2007-10-05
KR20080109889A (ko) 2008-12-17
ES2330274T3 (es) 2009-12-07
WO2007110519A3 (fr) 2007-11-15
CN101455095B (zh) 2011-03-30
WO2007110519A2 (fr) 2007-10-04
ATE439013T1 (de) 2009-08-15
JP2009531905A (ja) 2009-09-03
DE602007001877D1 (de) 2009-09-17
US20090232317A1 (en) 2009-09-17
BRPI0709276B1 (pt) 2019-10-08

Similar Documents

Publication Publication Date Title
EP2000002B1 (fr) Procede et dispositif de spatialisation sonore binaurale efficace dans le domaine transforme
EP2042001B1 (fr) Spatialisation binaurale de donnees sonores encodees en compression
EP1600042B1 (fr) Procede de traitement de donnees sonores compressees, pour spatialisation
EP1992198B1 (fr) Optimisation d&#39;une spatialisation sonore binaurale a partir d&#39;un encodage multicanal
EP1999998B1 (fr) Procede de synthese binaurale prenant en compte un effet de salle
EP1563485B1 (fr) Procede de traitement de donnees sonores et dispositif d&#39;acquisition sonore mettant en oeuvre ce procede
WO1998047276A1 (fr) Procede d&#39;annulation d&#39;echo acoustique multi-voies et annuleur d&#39;echo acoustique multi-voies
EP1905003A2 (fr) Procede et appareil permettant de decoder un signal audio
WO2011045506A1 (fr) Traitement de donnees sonores encodees dans un domaine de sous-bandes
EP2005420A1 (fr) Dispositif et procede de codage par analyse en composante principale d&#39;un signal audio multi-canal
KR102660704B1 (ko) 스펙트럼적 직교 오디오 성분 처리
FR3065137A1 (fr) Procede de spatialisation sonore
US20160212564A1 (en) Apparatus and Method for Compressing a Set of N Binaural Room Impulse Responses
EP3025514B1 (fr) Spatialisation sonore avec effet de salle
EP1994526B1 (fr) Synthese et spatialisation sonores conjointes
EP3058564B1 (fr) Spatialisation sonore avec effet de salle, optimisee en complexite
EP3449643A1 (fr) Procédé et système de diffusion d&#39;un signal audio à 360°

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20080922

AK Designated contracting states

Kind code of ref document: A2

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LI LT LU LV MC MT NL PL PT RO SE SI SK TR

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LI LT LU LV MC MT NL PL PT RO SE SI SK TR

REG Reference to a national code

Ref country code: GB

Ref legal event code: FG4D

Free format text: NOT ENGLISH

REG Reference to a national code

Ref country code: CH

Ref legal event code: EP

REG Reference to a national code

Ref country code: IE

Ref legal event code: FG4D

REF Corresponds to:

Ref document number: 602007001877

Country of ref document: DE

Date of ref document: 20090917

Kind code of ref document: P

REG Reference to a national code

Ref country code: ES

Ref legal event code: FG2A

Ref document number: 2330274

Country of ref document: ES

Kind code of ref document: T3

LTIE Lt: invalidation of european patent or patent extension

Effective date: 20090805

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20090805

Ref country code: SE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20090805

Ref country code: AT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20090805

Ref country code: FI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20090805

Ref country code: IS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20091205

REG Reference to a national code

Ref country code: PL

Ref legal event code: T3

NLV1 Nl: lapsed or annulled due to failure to fulfill the requirements of art. 29p and 29m of the patents act
PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20090805

Ref country code: LV

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20090805

Ref country code: NL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20090805

REG Reference to a national code

Ref country code: IE

Ref legal event code: FD4D

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: BG

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20091105

Ref country code: PT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20091205

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: DK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20090805

Ref country code: EE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20090805

Ref country code: CZ

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20090805

Ref country code: RO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20090805

Ref country code: IE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20090805

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20090805

PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

26N No opposition filed

Effective date: 20100507

BERE Be: lapsed

Owner name: FRANCE TELECOM

Effective date: 20100331

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MC

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20100331

Ref country code: GR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20091106

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: BE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20100331

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20090805

PGRI Patent reinstated in contracting state [announced from national office to epo]

Ref country code: IT

Effective date: 20110501

PGRI Patent reinstated in contracting state [announced from national office to epo]

Ref country code: IT

Effective date: 20110501

REG Reference to a national code

Ref country code: CH

Ref legal event code: PL

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LI

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20110331

Ref country code: CH

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20110331

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CY

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20090805

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: HU

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20100206

Ref country code: LU

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20100308

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: TR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20090805

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 9

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 10

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 11

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 12

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: DE

Payment date: 20250218

Year of fee payment: 19

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: PL

Payment date: 20250225

Year of fee payment: 19

Ref country code: FR

Payment date: 20250219

Year of fee payment: 19

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: IT

Payment date: 20250218

Year of fee payment: 19

Ref country code: GB

Payment date: 20250221

Year of fee payment: 19

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: ES

Payment date: 20250401

Year of fee payment: 19