EP3025514A1 - Spatialisation sonore avec effet de salle - Google Patents

Spatialisation sonore avec effet de salle

Info

Publication number
EP3025514A1
EP3025514A1 EP14748239.2A EP14748239A EP3025514A1 EP 3025514 A1 EP3025514 A1 EP 3025514A1 EP 14748239 A EP14748239 A EP 14748239A EP 3025514 A1 EP3025514 A1 EP 3025514A1
Authority
EP
European Patent Office
Prior art keywords
input signals
transfer function
room effect
weighting
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
EP14748239.2A
Other languages
German (de)
English (en)
Other versions
EP3025514B1 (fr
Inventor
Grégory PALLONE
Marc Emerit
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Orange SA
Original Assignee
Orange SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Orange SA filed Critical Orange SA
Publication of EP3025514A1 publication Critical patent/EP3025514A1/fr
Application granted granted Critical
Publication of EP3025514B1 publication Critical patent/EP3025514B1/fr
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/305—Electronic adaptation of stereophonic audio signals to reverberation of the listening space
    • H04S7/306—For headphones
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S1/00—Two-channel systems
    • H04S1/002—Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution
    • H04S1/005—For headphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/03—Aspects of down-mixing multi-channel audio to configurations with lower numbers of playback channels, e.g. 7.1 -> 5.1
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/13—Aspects of volume control, not necessarily automatic, in stereophonic sound systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]

Definitions

  • the invention relates to the processing of sound data, and more particularly to the spatialization (called "3D rendering") of audio signals.
  • Such an operation is for example performed when decoding a coded 3D audio signal, represented on a number of channels, to a number of different channels, for example two, to allow the reproduction of the 3D audio effects on a headset. listening.
  • the invention also relates to the transmission and reproduction of multichannel audio signals and their conversion to a rendering device, transducer, imposed by the equipment of a user. This is for example the case for the reproduction of a 5.1 sound stage by an audio headset, or by a pair of loudspeakers.
  • the invention also relates to the rendering, in the context of a game or video recording, for example, of one or more sound samples stored in files, with a view to their spatialization.
  • the binauralization is based on the monophonic signal filtering by the transfer function between the desired position of the source and each of the two ears.
  • the binaural signal (two channels) obtained can then feed a headphone and provide the listener with a feeling of the source at the simulated position.
  • the term "binaural" refers to the reproduction of a sound signal with spatialization effects.
  • Each of the transfer functions simulating different positions can be measured in a deaf chamber, thus resulting in a set of HRTFs (for "Head Related Transfer Functions") in which no room effect is present.
  • BRIRs Binary Room Impulse Response
  • the set of BRIRs thus correspond to a set of transfer functions between a given position and the ears of a listener (real or artificial head) placed in a room.
  • the usual BRIR measurement technique consists of successively sending in each of the actual loudspeakers, positioned around a head (real or artificial) equipped with microphones in the ears, a test signal (for example a sweep signal, a sequence pseudo-random binary or white noise).
  • This test signal makes it possible, during a non-real-time processing, to reconstitute (generally by deconvolution) the impulse response between the position of the loudspeaker and each of the two ears.
  • the difference between a set of HRTF and BRIR lies mainly in the length of the impulse response, of the order of one millisecond for the HRTF, to the order of one second for the BRIRs.
  • the index 1 such that l £ [i. i-j refers to one of the L speakers.
  • L represents the number of FFTs to frequency transform the input signals (1 FFT per input signal)
  • the 2 represents the number of inverse FFTs to obtain the time binaural signal (2 inverse FFTs for both binaural channels)
  • the 6 indicates a coefficient of complexity per FFT
  • the second 2 indicates a zero stuffing necessary to avoid the problems due to the circular convolution
  • Fs indicates the size of each of the BRIRs
  • nBlocs represents the fact of use block processing, more realistic in an approach where latency should not be excessively high, and. represents multiplication.
  • the present invention improves the situation.
  • the present invention proposes for this purpose a sound spatialization method, in which at least one filtering, with summation, is applied to at least two input signals (1 (1), 1 (2), I (L)), the filtering comprising: applying at least one first room effect transfer function (A k (1), A k (2),..., A k (L)), this first transfer function being specific to each input signal, and the application of at least one second room effect transfer function (B mean k ), this second transfer function being common to all the input signals.
  • the method is such that it comprises a step of weighting at least one input signal with a weighting weight (W k (1)), said weighting weight being specific to each of the input signals.
  • the input signals correspond for example to the different channels of a multichannel signal.
  • Such a filtering can in particular deliver at least two output signals intended for restitution. spatialized (in binaural or transaural, or in ambiophonic restitution involving more than two output signals).
  • the filter delivers precisely two output signals, the first output signal being spatialized for the left ear and the second output signal being spatialized for the right ear. This makes possible the preservation of the degree of natural correlation that can exist between the left and right ears at low frequencies.
  • the physical properties (for example the energy or the correlation between the various transfer functions) of the transfer functions over certain time intervals make simplifications possible. At these intervals, the transfer functions can be approximated by an average filter.
  • At least one first transfer function specific to each input signal may be applied for intervals where it is not possible to make approximations.
  • At least one second transfer function approximated to an average filter may be applied for intervals where it is possible to make approximations.
  • the application of a single transfer function common to each of the input signals substantially reduces the number of calculations to be performed for the spatialization.
  • the complexity of this spatialization is therefore advantageously reduced.
  • This simplification thus advantageously reduces the processing time while minimizing the CPU or processors used for these calculations.
  • weighting weights specific to each of the input signals the energy differences between the different input signals can be taken into account even if the treatment applied to them is partly approximated by an average filter.
  • the first and second transfer functions are respectively representative of: direct sound propagation and first sound reflections of these propagations.
  • the method in the sense of the invention furthermore comprises: the application of first transfer functions respectively specific to the input signals, and the application of a second transfer function, identical for all the input signals, and resulting from an overall approximation of a diffuse sound field effect.
  • the complexity of the treatment is advantageously reduced by this approximation.
  • the influence of such an approximation on the quality of the processing is reduced because this approximation is related to the effects of diffuse sound field and not to direct sound propagation. These effects of diffuse sound field are indeed less sensitive to approximations.
  • the first sound reflections are typically a first succession of echoes of the sound wave. In an exemplary practical embodiment, it is considered that these first reflections are two in number, at most.
  • a preliminary step of constructing the first and second transfer functions from impulse responses incorporating a room effect comprises, for the construction of a first transfer function, the operations:
  • the start time of diffuse field presence is determined from predetermined criteria.
  • the detection of a monotonic decay of a spectral density of sound power in a given room can typically characterize the beginning of presence of the diffuse field, and hence give the moment of beginning of presence diffuse field.
  • the moment of beginning of presence can be determined by an estimate according to the characteristics of the room, for example simply from the volume of the room as will be seen later.
  • the start time of presence of the diffuse field occurs, for example, after N / 2 samples of the impulse response.
  • the presence start time is predetermined and therefore corresponds to a fixed value.
  • this value may correspond, for example, to the 2048th sample on 48000 samples of an impulse response incorporating a room effect.
  • the instant of onset of the presence of direct sound waves may correspond, for example, to the beginning of the time signal of an impulse response with room effect.
  • the second transfer function is constructed from a set of impulse response portions beginning temporally after the start time of the presence of the diffuse field.
  • the second transfer function can be determined from the characteristics of the room, or from predetermined standard filters.
  • the impulse responses incorporating a room effect are advantageously divided into two parts separated by a start of presence time.
  • Such a separation makes possible a treatment adapted to each of these parts.
  • a selection of the first samples (the first 2048) of an impulse response can be used to use it as the first transfer function in the filtering and then ignore the remaining samples (from 2048 to 48000 for example) or the average with those of other impulse responses.
  • the advantage of such an embodiment is then, particularly advantageously, to simplify the filtering calculations specific to the input signals, and to add a form of noise from the sound diffusion that can be calculated from the second halves impulse responses (in the form of an average, for example as will be seen later), or simply from a predetermined impulse response, estimated simply as a function of characteristics of the given room (its volume, the walls of the walls of the room). room, or others), or a standard room.
  • the second transfer function is given by applying a formula of the type: with k the index relating to an output signal, ⁇ E fl; Lj the index relating to an input signal,
  • L the number of input signals, normalized transfer method obtained from a set of impulse response portions beginning temporally after the start time of presence of the diffuse field.
  • the first and second transfer functions are derived from a plurality of binaural BRIR room impulse responses.
  • these first and second transfer functions are obtained from experimental values derived from measurement of propagations and reverberations in a given room.
  • the treatment is carried out from experimental data. Such data translate very precisely the room effects and thus guarantee a great realism of the rendering.
  • the first and second transfer functions are obtained from reference filters, synthesized for example with a network of curly delays.
  • truncation is applied at the beginning of the BRIRs.
  • the first samples of BRIR for which the application to the input signals has no influence are advantageously eliminated.
  • a BRIR start truncation compensation delay is applied. This compensation time makes it possible to compensate for the time offset introduced by the truncation.
  • truncation is applied at the end of BRIR.
  • the filtering comprises the application of at least one compensation delay corresponding to a time difference between the aforementioned instant of the start of direct sound waves and the start time of presence of diffuse field.
  • the first and second room effect transfer functions are applied parallel to the input signals.
  • at least one compensation delay is applied to the input signals filtered by the second transfer functions.
  • an energy compensation gain is applied to the weighting weights.
  • At least one input signal is applied, at least one energy compensation gain.
  • the output amplitude is advantageously normalized. This energy compensation gain makes it possible to respect the energy of the binauralized signals. It corrects the energy of the binauralized signals according to the degree of correlation of the input signals
  • the energy compensation gain is a function of the correlation between the input signals.
  • the correlation between signals is advantageously taken into account.
  • At least one output signal is given by applying a formula of the type:
  • W k i a weight weighting among the weighting weight, s - TDD Corres 0n p (j is the application period for compensation, which is multiplication, and where * is the convolution operator.
  • a decorrelation step is applied to the input signals prior to the application of the second transfer functions.
  • at least one output signal is thus obtained by applying a formula of the type:
  • I d (l) a decorrelated input signal among said input signals, the other values being those defined above.
  • the energy differences due to the energy differences between the correlated signal additions and the decorrelated signal additions can be taken into account.
  • the decorrelation is applied prior to filtering. Thus, it is possible to dispense with energy compensation steps during the filtering.
  • At least one output signal is obtained by applying a formula of the type: ⁇ .3 ⁇ 4- * o
  • G the determined energy compensation gain, the other values being those defined above.
  • G does not depend on 1 (1).
  • the weight for the weighting is given by applying a formula of the type: with k the index relating to an output signal, l € fl; Ij the index relating an input signal among the input signals, L the number of input signals, with S Bm k the energy of a transfer function with room effect among the second transfer functions with room effect, an energy relative to gain in normalization.
  • the invention also relates to a computer program comprising instructions for implementing the method described above.
  • the invention can be implemented by a sound spatialization device, comprising at least one summation filter applied to at least two input signals (1 (1), 1 (2), I (L)), the filter using: at least one first room effect transfer function (A k (1), A k (2), A k (L)), this first transfer function being specific to each input signal, and at least one second a room effect transfer function (B mean k ), this second transfer function being common to all the input signals.
  • the device is such that it comprises weighting modules for weighting at least one input signal with a weighting weight, said weighting weight being specific to each of the input signals.
  • Such a device can take the physical form of, for example, a processor and possibly a working memory, typically in a communication terminal.
  • the invention can also be implemented in a sound signal decoding module, as input signals, comprising the spatialization device described above.
  • FIG. 1 illustrates a method of spatialization of the FIG. 2 schematically illustrates the steps of a method in the sense of the invention, in an exemplary embodiment
  • FIG. 3 represents a BRIR binaural impulse response
  • FIG. 4 schematically illustrates the steps of FIG. a method in the sense of the invention, in an exemplary embodiment
  • - Figure 5 schematically illustrates the steps of a method in the sense of the invention, in an exemplary embodiment
  • Figure 6 schematically shows a device comprising means implementation of the method within the meaning of the invention.
  • a TER terminal-connected device for example a telephone, smartphone or other device, or a connected tablet, a computer connected, or others.
  • a device TER comprises reception means (typically an antenna) of audio signals Xc encoded in compression, a decoding device DECOD delivering decoded signals X ready to be processed by a spatialization device before the audio signals are returned (for example by in binaural on a CAS headset).
  • a spatialization device for example in the field of sub-bands
  • it may be advantageous to keep the partially decoded signals for example in the field of sub-bands
  • the spatialization processing is carried out in the same domain (frequency processing in the field of sub-bands by example).
  • the spatialization device is presented by a combination of elements: hardware typically comprising one or more CIR circuits cooperating with a working memory MEM and a processor PROC, and software, of which FIGS. are examples of flowcharts illustrating the general algorithm.
  • the cooperation between the hardware and software elements produces a technical effect providing in particular an economy of complexity of the spatialization for substantially the same audio rendering (same sensation for a listener), as will be seen below.
  • a data preparation is performed. This preparation is optional, the signals can be processed according to steps S22 and following without this pre-treatment.
  • this preparation consists in truncating each BRIR to ignore the inaudible samples at the beginning and at the end of the impulse response.
  • This preparation for the truncation at the beginning of the TRONC S impulse response, in step S211, consists in determining a start time of direct sound waves and can be implemented by the following steps:
  • a cumulative sum of the energies of each of the BRIR filters (1) is calculated. Typically, this energy is computed by a sum squared of the amplitudes of samples 1 to j, with j included in [1; J] with J the sample number of a BRIR filter.
  • the energy value of the maximum energy filter valMax (among the filters relating to the left ear and the right ear) is calculated.
  • the index for which the energy of each of the BRIR filters (l) exceeds a certain threshold in dB calculated with respect to valMax is calculated.
  • the truncation index iT retained for all BRIRs is the minimum index among all the indices of the BRIRs and is considered as the moment of beginning of direct sound waves.
  • the index iT obtained therefore corresponds to the number of samples to be ignored for each of the BRIRs. Abrupt truncation at the beginning of an impulse response with a rectangular window can lead to audible artifacts if it is applied in too much energy. It may therefore be preferable to apply a suitable input fade window, however if precautions have been taken in the selected threshold, this windowing becomes useless, because inaudible (just cut the inaudible signal).
  • the synchronism between BRIR makes it possible to apply a constant delay for all BRIRs for the sake of simplicity of implementation, even if an optimization of complexity is possible.
  • each BRIR to ignore the inaudible samples at the end of the impulse response TRONC E, in step S212 can be performed from steps similar to those described above, adapted to suit the end of the impulse response. Sudden truncation at the end of an impulse response with a rectangular window may lead to audible artifacts on pulse signals where the reverb tail may be audible. Thus, in one embodiment, a suitable output fade window is applied.
  • ISOL A / B synchronism isolation is performed.
  • This isolation in synchronism consists of separating, for each BRIR, the part “direct sound” and “first reflections” (or Direct, noted A) and the part “diffuse sound” (or Diffus, noted B).
  • the treatment to be performed on the "diffuse sound” part may advantageously be different from that to be performed on the "direct sound” part, since it is preferable to have a better quality of treatment on the "direct sound” part. Only on the "diffuse sound” part. This makes it possible to optimize the quality / complexity ratio.
  • Figure 3 shows the iDD partitioning index at the 2000 sample.
  • the left part of this iDD index corresponds to part A.
  • the right part of this iDD index corresponds to part B.
  • these two parts are isolated, without windowing, in order to undergo different treatments.
  • a windowing between the parts A (1) and B (1) is applied.
  • the iDD index may be specific to the room for which the BRIRs were determined. The calculation of this index may therefore depend on the spectral envelope, the correlation of the BRIRs or the echogram of these BRIRs.
  • iDD is a fixed value, typically 2000. In one variant, iDD varies, advantageously dynamically, depending on the environment from which the input signals are captured.
  • the output signal for the left (g) and right (d) ears, represented by O s' - & , is written as follows:
  • the sample indices selected for A and B may also consider frame lengths in the case of integration into an audio encoder. Indeed, typical frame sizes of 1024 samples can lead to a choice such that A makes 1024 and B makes 2048, making sure that B is a diffuse field area for all BRIRs. In particular, it may be interesting that the size of B is a multiple of the size of A because if the filtering is implemented in blocks of FFT, then the calculation of an FFT for A can be reused for B.
  • a diffuse field is characterized by the fact that it is statistically identical in all points of the room. Thus, its frequency response varies little depending on the speaker to simulate.
  • the present invention exploits this feature in order to replace all Diffus D (l) filters of all BRIRs with a single and only one "mean" B mean filter in order to greatly reduce the complexity due to multiple convolutions.
  • the value of the mean filter B mean is calculated.
  • this average filter can be obtained by averaging time samples. In a variant, it can be obtained by any other type of averaging such as averaging power spectral densities.
  • the energy of the average filter 3 ⁇ 4 " . can be measured directly from the filter built & MSA ? " ⁇ Alternatively, it can also be estimated by taking into account the assumption that Bnoim 3i filters" ⁇ i are uncorrelated. Indeed, in this case, as we sum unit energy signals, we have:
  • the energy can be calculated on all the samples corresponding to the diffuse field part.
  • step S23B2 the value of the weighting factor W S ⁇ a ( ⁇ ) is calculated.
  • a single weighting factor to be applied to the input signal is calculated, taking into account the standardizations of the Diffus filters and the average filter:
  • the L convolutions with the diffuse field portion are replaced by a single convolution with a mean filter, with a weighted sum of the input signal.
  • step S23B3 it is possible to calculate a gain G correcting the gain of the average filter & msa. Indeed, in the case of the convolution between the input signals and the unmatched filters, whatever the correlation values between the input signals, the filtering by decorrelated filters that are the B Si d ⁇ 1) leads to signals to be summed, which are also decorrelated. Conversely, in the case of the convolution between the input signals and the approximated average filter, the energy of the signal resulting from the summation of the filtered signals will depend on the correlation value existing between the input signals.
  • This case is equivalent to the previous one in the sense that the signals coming from the filtering are all decorrelated, thanks to the input signals in the first case, and thanks to the filters in the second case.
  • the gain Sf / f) can be estimated by a calculation of correlation between each of the signals. It can also be estimated by comparing the energies of the signals before and after summations. In this case, the gain G may vary dynamically over time, depending for example on correlations between the input signals, which vary themselves over time.
  • the constant gain G can then be applied offline to the weighting factors (thus 7777777 :), or to the -Bmean filter, which will avoid the application of an additional gain on the fly.
  • the processing of the multichannel signal by applying the Direct (A) and Diffus (B) filters for each of the ears is carried out as follows:
  • the S4A1 to S4AL is applied to the multichannel input signal effective filtering (eg direct convolution based -FFT) by the Direct filters (A), as described in the state of the art.
  • a signal 0 ° ' As a function of the relationships between the input signals, in particular as a function of their correlation, it is optionally possible to correct, in step S4B11, the gain of the average filter Bmsayi S / P by the application of the gain G to the output signals after summation of the signal signals.
  • input previously weighted steps M4B1 to M4BL.
  • the multichannel signal B at step S4B1 is applied efficiently by means of the mean diffuse filter B mean . This step takes place after summing the previously weighted input signals (steps M4B1 to M4BL).
  • a delay iDD is applied to the signal ⁇ ' ' "in order to compensate for the delay introduced during the step of isolating the signal B in step S4B2 .-
  • the signals ⁇ ⁇ "" and ⁇ T " are summed.
  • step S41 the input signal is applied with a delay iT corresponding to the inaudible samples deleted.
  • the signals are not only calculated for the left and right ears (indices g and d above) but for k playback devices (typically loudspeakers).
  • the gain G is applied prior to the summing of the input signals, that is to say during the weighting steps (steps M4B1 to M4BL).
  • a decorrelation is applied to the input signals.
  • the signals are decorrelated after convolution by the B mean filter regardless of the original correlations between input signals.
  • An efficient implementation of decorrelation (for example using a loopback network) can be used to avoid the use of expensive decorrelating filters.
  • the invention can find a direct application in the MPEG-H 3D Audio standard.
  • the Direct A signal is not approximated by an average filter.
  • an average filter of A it is possible to use an average filter of A to make the convolutions (steps S4A1 to S4AL) with the signals coming from the loudspeakers.
  • An embodiment has been described above based on the processing of multichannel content generated for L speakers.
  • the multichannel content can be generated by any type of audio source such as voice, a musical instrument, any noise, etc.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Stereophonic System (AREA)

Description

Spatialisation sonore avec effet de salle
L'invention est relative au traitement de données sonores, et plus particulièrement à la spatialisation (dite « rendu 3D ») de signaux audio.
Une telle opération est par exemple exécutée lors du décodage d'un signal audio 3D codé, représenté sur un certain nombre de canaux, vers un nombre de canaux différents, deux par exemple, pour permettre la restitution des effets 3D audio sur un casque d'écoute.
L'invention est également relative à la transmission et à la restitution de signaux audio multicanaux et à leur conversion vers un dispositif de restitution, transducteur, imposé par l'équipement d'un utilisateur. C'est par exemple le cas pour la restitution d'une scène sonore 5.1 par un casque d'écoute audio, ou par une paire de hauts parleurs.
L'invention est également relative à la restitution, dans le cadre d'un jeu ou enregistrement vidéo par exemple, d'un ou plusieurs échantillons sonores stockés dans des fichiers, en vue de leur spatialisation.
Dans le cas d'une source monophonique statique, la binauralisation est basée sur le filtrage du signal monophonique par la fonction de transfert entre la position désirée de la source et chacune des deux oreilles. Le signal binaural (deux canaux) obtenu peut alors alimenter un casque audio et fournir la sensation à l'auditeur d'une source à la position simulée. Ainsi, le terme « binaural » vise la restitution d'un signal sonore avec des effets de spatialisation.
Chacune des fonctions de transfert simulant différentes positions peuvent être mesurées en chambre sourde, aboutissant ainsi à un ensemble de HRTF (pour « Head Related Transfer Functions » ou « Fonctions de Transferts Relatives à la Tête ») dans lesquelles aucun effet de salle n'est présent.
Ces fonctions de transfert peuvent également être mesurées dans une salle « classique », aboutissant ainsi à un ensemble de BRIR (pour « Binaural Room Impulse Response » ou « Réponse Impulsionnelle Binaurale de salle») dans lesquelles l'effet de salle, ou réverbération, est présent. L'ensemble des BRIR correspondent donc à un ensemble de fonctions de transfert entre une position donnée et les oreilles d'un auditeur (réel ou tête artificielle) placé dans une salle.
La technique habituelle de mesure de BRIR consiste à envoyer successivement dans chacun des haut-parleurs réels, positionnés autour d'une tête (réelle ou artificielle) équipée de microphones dans les oreilles, un signal de test (par exemple un signal sweep, une séquence binaire pseudo- aléatoire ou un bruit blanc). Ce signal de test rend possible, lors d'un traitement hors temps réel, la reconstitution (généralement par déconvolution) de la réponse impulsionnelle entre la position du haut-parleur et chacune des deux oreilles. La différence entre un ensemble de HRTF et de BRIR se situe principalement dans la longueur de la réponse impulsionnelle, de l'ordre de la milliseconde pour les HRTF, à l'ordre de la seconde pour les BRIR.
Le filtrage étant basé sur la convolution entre le signal monophonique et la réponse impulsionnelle, la complexité pour effectuer une binauralisation avec des BRIR (contenant un effet de salle) est nettement plus élevée qu'avec des HRTF.
Il est possible par cette technique de simuler au casque ou sur un nombre limité de haut -parleurs une écoute d'un contenu multicanal (L canaux) généré par L haut-parleurs dans une salle. En effet, il suffit de considérer chacun des L haut-parleurs comme une source virtuelle positionnée idéalement par rapport à l'auditeur, de mesurer dans la salle à simuler les fonctions de transfert (pour les oreilles gauche et droite) de chacun de ces L haut -parleurs, puis d'appliquer à chacun des L signaux audio (censés alimenter les L haut-parleurs réels) les filtres BRIR correspondant aux haut-parleurs. Les signaux alimentant chacune des oreilles sont sommés pour fournir un signal binaural alimentant un casque audio. On note 1(1) (avec 1=[1,L]) le signal d'entrée censé alimenter les L haut -parleurs. On note BRIRg d(l), les BRIR de chacun des haut-parleurs pour chacune des deux oreilles, et on note Og d le signal binaural de sortie. La binauralisation du signal multicanal s'écrit donc :
Qs = ^ BRIR* {ï)
0 = T(î) * BRÏBd(ï) Où * représente l'opérateur de convolution.
Par la suite, l'indice 1 tel que l £ [i . i-j fait référence à un des L haut-parleurs. On a bien une BRIR pour un signal 1.
Ainsi, en référence à la figure 1, deux convolutions (une pour chaque oreille) sont présentes pour chaque haut-parleur (étapes SU à S IL). Pour L haut-parleurs, la binauralisation nécessite donc 2.L convolutions. On peut calculer la complexité Cconv dans le cas d'une implémentation rapide par bloc. Une implémentation rapide par bloc est par exemple donnée par une transformée de Fourier rapide (FFT pour « Fast Fourier Transform »). Le document « Submission and Evaluation Procédures for 3D Audio » (MPEG 3D Audio) précise une formule possible pour le calcul de Cconv : €Bt>m> = (L + 2}. (nBIocs). (e, log2(2Fs/ 7iSîo s})
Dans cette équation, L représente le nombre de FFT pour transformer en fréquence les signaux d'entrée (1 FFT par signal d'entrée), le 2 représente le nombre de FFT inverse pour obtenir le signal binaural temporel (2 FFT inverse pour les deux canaux du binaural), le 6 indique un coefficient de complexité par FFT, le second 2 indique un bourrage de zéros nécessaire pour éviter les problèmes dus à la convolution circulaire, Fs indique la taille de chacune des BRIR, et nBlocs représente le fait d'utiliser un traitement par bloc, plus réaliste dans une approche où la latence ne doit pas être excessivement élevée, et . représente la multiplication.
Ainsi pour utilisation typique avec nBlocs=10, Fs=48000, L=22, la complexité par échantillon de signal multicanal pour une convolution directe basée sur une FFT est de Cconv = 19049 multiplications-additions.
Cette complexité est trop élevée pour une implémentation réaliste à l'heure actuelle sur des processeurs courants (mobiles par exemple), il est donc nécessaire de diminuer cette complexité sans dégrader fortement le rendu de la binauralisation. Pour que la spatialisation soit de bonne qualité, la totalité du signal temporel des BRIR doit être appliqué.
La présente invention vient améliorer la situation.
Elle vise à diminuer fortement la complexité de la binauralisation d'un signal multicanal avec effet de salle tout en conservant au mieux la qualité audio.
La présente invention propose à cet effet un procédé de spatialisation sonore, dans lequel on applique au moins un filtrage, avec sommation, à au moins deux signaux d'entrée (1(1), 1(2), I(L)), le filtrage comportant: l'application d'au moins une première fonction de transfert à effet de salle (Ak(l), Ak(2), ..., Ak(L)), cette première fonction de transfert étant spécifique à chaque signal d'entrée, et l'application d'au moins une deuxième fonction de transfert à effet de salle (Bmean k), cette deuxième fonction de transfert étant commune à tous les signaux d'entrée. Le procédé est tel qu'il comporte une étape de pondération d'au moins un signal d'entrée par un poids de pondération (Wk{î)), ledit poids de pondération étant spécifique à chacun des signaux d'entrée. Les signaux d'entrée correspondent par exemple aux différents canaux d'un signal multicanal. Un tel filtrage peut en particulier délivrer au moins deux signaux de sortie destinés à une restitution spatialisée (en binaural ou en transaural, ou encore en restitution ambiophonique faisant intervenir plus de deux signaux de sortie). Dans un mode de réalisation particulier, le filtrage délivre précisément deux signaux de sortie, le premier signal de sortie étant spatialisé pour l'oreille gauche et le second signal de sortie étant spatialisé pour l'oreille droite. Cela rend notamment possible la conservation du degré de corrélation naturel qui peut exister entre les oreilles gauche et droite à basses fréquences.
Les propriétés physiques (par exemple l'énergie ou la corrélation entre les différentes fonctions de transfert) des fonctions de transfert sur certains intervalles temporels rendent possible des simplifications. Sur ces intervalles, on peut ainsi approximer les fonctions de transferts par un filtre moyen.
L'application des fonctions de transfert à effet de salle est donc avantageusement compartimentée sur ces intervalles. Au moins une première fonction de transfert spécifique à chaque signal d'entrée peut être appliquée pour les intervalles où il n'est pas possible de faire d'approximations. Au moins une deuxième fonction de transfert approximée à un filtre moyen peut être appliquée pour les intervalles où il est possible de faire des approximations.
L'application d'une seule fonction de transfert commune à chacun des signaux d'entrée réduit sensiblement le nombre de calcul à effectuer pour la spatialisation. La complexité de cette spatialisation est donc avantageusement réduite. Cette simplification réduit ainsi avantageusement le temps de traitement tout en sollicitant moins le ou les processeurs utilisés pour ces calculs. De plus, avec des poids de pondérations spécifique à chacun des signaux d'entrée, les écarts énergétiques entre les différents signaux d'entrées peuvent être pris en compte même si le traitement qui leur est appliqué est en partie approximé par un filtre moyen.
Dans un mode de réalisation particulier, les première et deuxième fonctions de transfert sont respectivement représentatives: - de propagations sonores directes et de premières réflexions sonores de ces propagations ; et
- d'un champ sonore diffus présent après ces premières réflexions, et le procédé au sens de l'invention comporte en outre: l'application de premières fonctions de transfert respectivement spécifiques aux signaux d'entrée, et - l'application d'une deuxième fonction de transfert, identique pour tous les signaux d'entrée, et résultant d'une approximation globale d'un effet de champ sonore diffus. Ainsi, la complexité du traitement est avantageusement réduite par cette approximation. De plus, l'influence d'une telle approximation sur la qualité du traitement est réduite car cette approximation est liée aux effets de champ sonore diffus et non aux propagations sonores directes. Ces effets de champ sonore diffus sont en effet moins sensibles à des approximations. Les premières réflexions sonores sont typiquement une première succession d'échos de l'onde sonore. Dans un exemple de réalisation concret, on considère que ces premières réflexions sont au nombre de deux, au plus.
Dans un autre mode de réalisation, une étape préalable de construction des première et deuxième fonctions de transfert à partir de réponses impulsionnelles incorporant un effet de salle, comporte, pour la construction d'une première fonction de transfert, les opérations:
- de détermination d'un instant de début de présence d'ondes sonores directes,
- de détermination d'un instant de début de présence du champ sonore diffus après les premières réflexions, et
- de sélection, dans une réponse impulsionnelle, d'une partie de la réponse qui s'étend temporellement entre l'instant de début de présence d'ondes sonores directes jusqu'à l'instant de début de présence de champ diffus, la partie de réponse sélectionnée correspondant à la première fonction de transfert.
Dans un mode de réalisation particulier, l'instant de début de présence de champ diffus est déterminé à partir de critères prédéterminés. Dans un exemple de réalisation possible, la détection d'une décroissance monotone d'une densité spectrale de puissance sonore dans une salle donnée peut typiquement caractériser le début de présence du champ diffus, et, de là, donner l'instant de début de présence du champ diffus.
Dans une variante, l'instant de début de présence peut être déterminé par une estimation en fonction des caractéristiques de la salle, par exemple simplement à partir du volume de la salle comme on le verra plus loin.
En variante, dans un exemple de réalisation plus simple, on peut considérer que si une réponse impulsionnelle s'étend sur N échantillons, alors l'instant de début de présence du champ diffus intervient par exemple après N/2 échantillons de la réponse impulsionnelle. Ainsi, l'instant de début de présence est prédéterminé et correspond donc à une valeur fixe. Typiquement, cette valeur peut correspondre par exemple au 2048eme échantillon sur 48000 échantillons d'une réponse impulsionnelle incorporant un effet de salle.
L'instant de début de présence d'ondes sonores directes, précité, peut correspondre par exemple au début du signal temporel d'une réponse impulsionnelle avec effet de salle. Dans un mode de réalisation complémentaire, la deuxième fonction de transfert est construite à partir d'un ensemble de parties de réponses impulsionnelles commençant temporellement après l'instant de début de présence du champ diffus.
Dans une variante, la deuxième fonction de transfert peut être déterminée à partir des caractéristiques de la salle, ou de filtres standards prédéterminées.
Ainsi, les réponses impulsionnelles incorporant un effet de salle sont avantageusement compartimentées en deux parties séparées par un instant de début de présence. Une telle séparation rend possible un traitement adapté à chacune de ces parties. On peut prendre par exemple une sélection des premiers échantillons (les 2048 premiers) d'une réponse impulsionnelle pour l'utiliser en tant que première fonction de transfert dans le filtrage et ignorer alors les échantillons restants (de 2048 à 48000 par exemple) ou les moyenner avec ceux d'autres réponses impulsionnelles.
L'intérêt d'une telle réalisation est alors, de façon particulièrement avantageuse, de simplifier les calculs de filtrage spécifiques aux signaux d'entrée, et de rajouter une forme de bruit issu de la diffusion sonore qui peut être calculé à partir des secondes moitiés de réponses impulsionnelles (sous forme de moyenne par exemple comme on le verra plus loin), ou encore simplement à partir d'une réponse impulsionnelle prédéterminée, estimée simplement en fonction de caractéristiques de la salle donnée (son volume, les revêtements des parois de la salle, ou autres), ou d'une salle standard.
Dans une autre variante, la deuxième fonction de transfert est donnée par application d'une formule du type : avec k l'indice relatif à un signal de sortie, ί E fl; Lj l'indice relatif à un signal d'entrée,
L le nombre de signaux d'entrée, de transfert normalisée obtenue à partir d'un ensemble de parties de réponses impulsionnelles commençant temporellement après l'instant de début de présence du champ diffus.
Dans un mode de réalisation, les première et deuxième fonctions de transfert sont obtenues à partir d'une pluralité de réponses impulsionnelles binaurales de salle BRIR. Dans un autre mode de réalisation, ces première et deuxième fonctions de transfert sont obtenues à partir de valeurs expérimentales issues de mesure de propagations et réverbérations dans une salle donnée. Ainsi, le traitement est effectué à partir de données expérimentales. De telles données traduisent très précisément les effets de salle et garantissent donc un grand réalisme du rendu.
Dans un autre mode de réalisation, les première et deuxième fonctions de transfert sont obtenues à partir de filtres de référence, synthétisés par exemple avec un réseau de retards bouclés.
Dans un mode de réalisation, on applique une troncature au début des BRIR. Ainsi, les premiers échantillons de BRIR pour lesquels l'application aux signaux d'entrée n'a pas d'influence sont avantageusement supprimés.
Dans un autre mode de réalisation particulier, on applique un délai de compensation de troncature de début de BRIR. Ce délai de compensation permet de compenser le décalage temporel introduit par la troncature.
Dans un autre mode de réalisation, on applique une troncature en fin de BRIR. Ainsi, les derniers échantillons de BRIR pour lesquels l'application aux signaux d'entrée n'a pas d'influence sont avantageusement supprimés.
Dans un mode de réalisation, le filtrage comporte l'application d'au moins un délai de compensation correspondant à un écart temporel entre l'instant précité de début d'ondes sonores directes et l'instant de début de présence de champ diffus. Ainsi, les retards pouvant être introduits par l'application de fonctions de transfert temporellement décalées sont avantageusement compensés.
Dans un autre mode de réalisation, les première et deuxième fonctions de transfert à effet de salle sont appliquées parallèlement aux signaux d'entrée. De plus, au moins un délai de compensation est appliqué aux signaux d'entrée filtrés par les deuxièmes fonctions de transfert. Ainsi, un traitement simultané de ces deux fonctions de transfert est possible pour chacun des signaux d'entrée. Un tel traitement réduit avantageusement le temps de traitement pour la mise en œuvre de la présente invention.
Dans un mode de réalisation particulier, un gain de compensation d'énergie est appliqué aux poids de pondération. On applique ainsi à au moins un signal d'entrée, au moins un gain de compensation d'énergie. Ainsi, l'amplitude de sortie est avantageusement normalisée. Ce gain de compensation d'énergie permet de respecter l'énergie des signaux binauralisés. Il permet de corriger l'énergie des signaux binauralisés selon le degré de corrélation des signaux d'entrée
Dans un mode de réalisation particulier, le gain de compensation d'énergie est fonction de la corrélation entre les signaux d'entrée. Ainsi, la corrélation entre signaux est avantageusement prise en compte.
Dans un mode de réalisation, au moins un signal de sortie est donné par application d'une formule du type :
avec k l'indice relatif à un signal de sortie,
0 k un signal de sortie,
1 £ fî ; Ij l'indice relatif un signal d'entrée parmi les signaux d'entrée, L le nombre de signaux d'entrée,
1(1) un signal d'entrée parmi les signaux d'entrée,
Ak{î) une fonction de transfert avec effet de salle parmi les premières fonctions de transfert avec effet de salle,
¾s fonction de transfert avec effet de salle parmi les deuxièmes fonctions de transfert avec effet de salle,
Wk ï) un poids de pondération parmi les poids de pondération, s - tDD correSp0n(j a l'application du délai de compensation, où . est la multiplication, et où * est l'opérateur de convolution.
Dans un autre mode de réalisation, une étape de décorrélation est appliquée aux signaux d'entrée préalablement à l'application des deuxièmes fonctions de transfert. Dans ce mode de réalisation, au moins un signal de sortie est donc obtenu par application d'une formule du type :
avée Id(l) un signal d'entrée décorrélé parmi lesdits signaux d'entrée, les autres valeurs étant celles définies ci-avant. Ainsi, les écarts d'énergies dus aux différences énergétiques entre les additions de signaux corrélés et les additions de signaux décorrélés peuvent être pris en compte. Dans un mode de réalisation particulier, la décorrélation est appliquée préalablement au filtrage. Ainsi, on peut s'affranchir d'étapes de compensation d'énergie pendant le filtrage.
Dans un mode de réalisation, au moins un signal de sortie est obtenu par application d'une formule du type : Λ.¾— * o
avec G(I(1)) le gain de compensation d'énergie déterminé, les autres valeurs étant celles définies ci-avant. Dans une variante, G ne dépend pas de 1(1).
Dans un mode de réalisation, le poids pour la pondération est donné par application d'une formule du type : avec k l'indice relatif à un signal de sortie, l€ fl ; Ij l'indice relatif un signal d'entrée parmi les signaux d'entrée, L le nombre de signaux d'entrée, avec SBm k l'énergie d'une fonction de transfert avec effet de salle parmi les deuxièmes fonctions de transfert avec effet de salle, une énergie relative au gain en normalisation.
L'invention vise aussi un programme informatique comportant des instructions pour la mise en œuvre du procédé décrit ci-avant.
L'invention peut être mise en œuvre par un dispositif de spatialisation sonore, comportant au moins un filtre avec sommation appliqué à au moins deux signaux d'entrée (1(1), 1(2), I(L)), le filtre utilisant: au moins une première fonction de transfert à effet de salle (Ak(l), Ak(2), Ak(L)), cette première fonction de transfert étant spécifique à chaque signal d'entrée, et au moins une deuxième fonction de transfert à effet de salle (Bmean k), cette deuxième fonction de transfert étant commune à tous les signaux d'entrée. Le dispositif est tel qu'il comporte des modules de pondération pour pondérer au moins un signal d'entrée par un poids de pondération, ledit poids de pondération étant spécifique à chacun des signaux d'entrée.
Un tel dispositif peut prendre la forme matérielle par exemple d'un processeur et éventuellement d'une mémoire de travail, typiquement dans un terminal de communication. L'invention peut également être mise en œuvre dans un module de décodage de signaux sonores, en tant que signaux d'entrée, comportant le dispositif de spatialisation décrit ci-avant.
D'autres avantages et caractéristiques de l'invention apparaîtront à la lecture de la description détaillée ci-après d'exemples de réalisation de l'invention et à l'examen des dessins sur lesquels : la figure 1 illustre un procédé de spatialisation de l'art antérieur, - la figure 2 illustre schématiquement les étapes d'un procédé au sens de l'invention, dans un exemple de réalisation, la figure 3 représente une réponse impulsionnelle binaurale de salle BRIR, la figure 4 illustre schématiquement les étapes d'un procédé au sens de l'invention, dans un exemple de réalisation, - la figure 5 illustre schématiquement les étapes d'un procédé au sens de l'invention, dans un exemple de réalisation, la figure 6 représente schématiquement un dispositif comportant des moyens de mise en œuvre du procédé au sens de l'invention.
On se réfère à la figure 6 pour illustrer tout d'abord un contexte possible de mise en œuvre de la présente invention dans un dispositif de type terminal connecté TER (par exemple un téléphone, smartphone ou autre, ou encore une tablette connectée, un ordinateur connecté, ou autres). Un tel dispositif TER comporte des moyens de réception (une antenne typiquement) de signaux audio Xc codés en compression, un dispositif de décodage DECOD délivrant des signaux décodés X prêts à être traités par un dispositif de spatialisation avant la restitution des signaux audio (par exemple par en binaural sur un casque à oreillettes CAS). Bien entendu, dans certains cas, il peut être avantageux de garder les signaux partiellement décodés (par exemple dans le domaine des sous- bandes) si le traitement de spatialisation est effectué dans le même domaine (traitement fréquentiel dans le domaine des sous -bandes par exemple). En référence encore à la figure 6, le dispositif de spatialisation se présente par une combinaison d'éléments : hardware comportant typiquement un ou plusieurs circuits CIR coopérant avec une mémoire de travail MEM et un processeur PROC, et software, dont les figures 2 et 4 sont des exemples d'organigrammes en illustrant l'algorithme général.
Ici, la coopération entre les éléments hardware et software produit un effet technique procurant notamment une économie de complexité de la spatialisation pour sensiblement un même rendu audio (même sensation pour un auditeur), comme on le verra plus loin.
On se réfère maintenant à la figure 2 pour décrire un traitement au sens de l'invention, ainsi mis en œuvre par des moyens informatiques.
Dans une première étape S21, une préparation des données est effectuée. Cette préparation est optionnelle, les signaux peuvent être traités selon les étapes S22 et suivantes sans ce pré-traitement.
En particulier, cette préparation consiste à effectuer une troncature de chaque BRIR pour ignorer les échantillons inaudibles au début et à la fin de la réponse impulsionnelle.
Cette préparation, pour la troncature en début de réponse impulsionnelle TRONC S, à l'étape S211 , consiste à déterminer un instant de début d'ondes sonores directes et peut-être mis en œuvre par les étapes suivantes :
- Une somme cumulée des énergies de chacun des filtres BRIR(l) est calculée. Typiquement, cette énergie est calculée par une somme au carré des amplitudes des échantillons 1 à j, avec j compris dans [1 ; J] avec J le nombre d'échantillon d'un filtre BRIR.
- La valeur d'énergie du filtre d'énergie maximum valMax (parmi les filtres relatifs à l'oreille gauche et à l'oreille droite) est calculée.
- Pour chacun des haut-parleurs 1, on calcule l'indice pour lequel l'énergie de chacun des filtres BRIR(l) dépasse un certain seuil en dB calculé par rapport à valMax (e.g. valMax-50dB). - L'indice de troncature iT retenu pour toutes les BRIR est l'indice minimum parmi tous les indices des BRIR et il est considéré comme l'instant de début d'ondes sonores directes.
L'indice iT obtenu correspond donc au nombre d'échantillons à ignorer pour chacune des BRIR. Une troncature brutale en début de réponse impulsionnelle avec une fenêtre rectangulaire peut mener à des artefacts audibles si elle est appliquée dans une partie trop énergétique. Il peut donc être préférable d'appliquer une fenêtre de fondu d'entrée adaptée, cependant si des précautions ont été prises dans le seuil choisi, ce fenêtrage devient inutile, car inaudible (on coupe juste du signal inaudible).
Le synchronisme entre BRIR rend possible l'application d'un délai constant pour toutes les BRIR dans un souci de simplicité d'implémentation, même si une optimisation de complexité est possible.
La troncature de chaque BRIR pour ignorer les échantillons inaudibles à la fin de la réponse impulsionnelle TRONC E, à l'étape S212, peut être réalisée à partir d'étape similaires à celles décrites ci-avant, adaptées pour convenir à la fin de la réponse impulsionnelle. Une troncature brutale en fin de réponse impulsionnelle avec une fenêtre rectangulaire peut mener à des artefacts audibles sur des signaux impulsionnels où la queue de réverbération peut se révéler audible. Ainsi, dans un mode de réalisation, on applique une fenêtre de fondu de sortie adaptée.
A l'étape 22, une isolation en synchronisme ISOL A/B est effectuée. Cette isolation en synchronisme consiste à séparer, pour chaque BRIR, la partie « son direct » et « premières réflexions » (ou Direct, noté A) et de la partie « son diffus » (ou Diffus, noté B). En effet, le traitement à effectuer sur la partie « son diffus » peut avantageusement être différent de celui à effectuer sur la partie « son direct » dans la mesure où il est préférable d'avoir une meilleure qualité de traitement sur la partie « son direct » que sur la partie « son diffus ». Ceci rend possible une optimisation du rapport qualité/complexité.
En particulier, pour réaliser l'isolation en synchronisme, on détermine un index « iDD » d'échantillon unique et commun à toutes les BRIR (d'où le terme « synchronisme ») à partir duquel on considère que le reste de la réponse impulsionnelle correspond à un champ diffus. On partitionne donc les réponses impulsionnelles BRIR(l) en deux : A(l) et B(l), où la concaténation des deux correspond à BRIR(l).
La figure 3 montre l'index de partitionnement iDD à l'échantillon 2000. La partie à gauche de cet indice iDD correspond à la partie A. La partie à droite de cet indice iDD correspond à la partie B. Dans un mode de réalisation, ces deux parties sont isolées, sans fenêtrage, afin de subir des traitements différents. Dans une variante, un fenêtrage entre les parties A(l) et B(l) est appliqué.
L'indice iDD peut-être spécifique à la salle pour laquelle les BRIR ont été déterminés. Le calcul de cet indice peut donc dépendre de l'enveloppe spectrale, de la corrélation des BRIR ou encore de l'échogramme de ces BRIR. Par exemple, iDD peut être déterminé par une formule du type iDD = f VsaUs avec Vsaiie le volume de la salle de mesure.
Dans un mode de réalisation, iDD est une valeur fixe, typiquement 2000. Dans une variante, iDD varie, avantageusement de manière dynamique, en fonction de l'environnement à partir duquel les signaux d'entrée sont capturés. Le signal de sortie pour les oreilles gauche (g) et droite (d), représenté par Os'- &, s'écrit donc :
{i) + z
1=1 où z~t ii D correspond au délai de iDD échantillons.
L'application de ce délai aux signaux est effectuée en stockant les valeurs calculées pour ∑†=iHj) * S*/ e(l) dans une mémoire temporaire (par exemple dans un buffer) et en les restituant au moment voulu.
Dans un mode de réalisation, les index d'échantillons choisis pour A et B peuvent également tenir compte des longueurs de trames dans le cas d'intégration dans un codeur audio. En effet, des tailles typiques de trames de 1024 échantillons peut mener à un choix tel que A fasse 1024 et B fasse 2048, en s'assurant que B est bien une zone de champ diffus pour toutes les BRIR. En particulier, il peut être intéressant que la taille de B soit un multiple de la taille de A car si le filtrage est implémenté par blocs de FFT, alors le calcul d'une FFT pour A peut être réutilisé pour B.
Un champ diffus se caractérise par le fait qu'il est statistiquement identique en tous les points de la salle. Ainsi, sa réponse en fréquence varie peu en fonction du haut-parleur à simuler. La présente invention exploite cette caractéristique dans le but de remplacer tous les filtres Diffus D(l) de toutes les BRIR par un seul et unique filtre « moyen » Bmean afin de diminuer fortement la complexité due aux convolutions multiples. Pour cela, on peut modifier la partie champ diffus B à l'étape S23B, toujours en référence à la figure 2. A l'étape S23B 1 , on calcule la valeur du filtre moyen Bmean. D'abord, il est extrêmement rare que le système complet soit calibré idéalement, on peut donc appliquer un gain de pondération qui sera reporté dans le signal d'entrée afin d'effectuer une unique convolution par oreille pour la partie champs diffus. On décompose donc les BRIR en des filtres normalisés en énergie, et on reporte le gain de normalisation le signal d'entrée :
avec B-fLQvws*1 où EssM(Q représente l'énergie de BS*!S-{1).
Ensuite, on approxime S^^^ ^ij) par un seul et unique filtre moyen -5meaR a-"^ qui n'est plus fonction du haut-parleur 1, mais qu'il est possible de normaliser également en énergie :
avec _ ± γ-> # &,e f?
Dans un mode de réalisation, ce filtre moyen peut être obtenu par moyennage des échantillons temporels. Dans une variante, il peut être obtenu par tout autre type de moyennage comme par exemple un moyennage des densités spectrales de puissance.
Dans un mode de réalisation, l'énergie du filtre moyen ¾„. peut être mesurée directement à partir du filtre construit &MSA? "' \ Dans une variante, il peut également être estimé en prenant en compte l'hypothèse que les filtres Bnoim3i"~i sont décorrélés. En effet, dans ce cas, comme on somme des signaux d'énergie unitaire, on a :
L'énergie peut être calculée sur l'ensemble des échantillons correspondants à la partie champ diffus. A l'étape S23B2, on calcule la valeur du facteur de pondération WS}a(ï). Un seul facteur de pondération à appliquer au signal d'entrée est calculé, prenant en compte les normalisations des filtres Diffus et du filtre moyen:
Le filtre moyen étant constant, il peut sortir de la somme :
Ainsi, les L convolutions avec la partie champ diffus sont remplacées par une seule convolution avec un filtre moyen, moyennant une somme pondérée du signal d'entrée.
A l'étape S23B3, on peut optionnellement calculer un gain G corrigeant le gain du filtre moyen &msa En effet, dans le cas de la convolution entre les signaux d'entrée et les filtres non approximés, quelles que soient les valeurs de corrélation entre les signaux d'entrée, le filtrage par des filtres décorrélés que sont les BSi d{l) mène à des signaux à sommer qui sont alors eux aussi décorrélés. A l'inverse, dans le cas de la convolution entre les signaux d'entrée et le filtre moyen approximé, l'énergie du signal issu de la sommation des signaux filtrés va dépendre de la valeur de corrélation existant entre les signaux d'entrée.
Par exemple,
* si tous les signaux d'entrée 1(1) sont identiques et d'énergie unitaire, et que les filtres B(l) sont tous décorrélés (puisque champs diffus) et d'énergie unitaire, on a : tous les signaux d'entrée 1 1 sont décorrélés et d'éner ie unitaire, et ue les filtres B l sont tous d'énergie unitaire, mai
= énergie (
énergie
Car les énergies des signaux décorrélés s'ajoutent.
Ce cas est équivalent au précédent dans le sens où les signaux issus du filtrage sont tous décorrélés, grâce aux signaux d'entrée dans le premier cas, et grâce aux filtres dans le second cas.
tous les signaux d'entrée 1(1) sont identiques et d'énergie unitaire, et que les filtres B(l) sont tous d'énergie unitaire, mais remplacés par des filtres identiques , on a:
énergie {
ergie
Car les énergies des signaux identiques s'ajoutent en quadrature (car leurs amplitudes s'ajoutent). Ainsi, si deux haut-parleurs sont actifs simultanément, alimentés par des signaux décorrélés, alors aucun gain n'est apporté en appliquant les étapes S23B1 et S23B2 par rapport à la méthode classique. si deux haut-parleurs sont actifs simultanément, alimentés par des signaux identiques, alors un gain de WAog^il? fL) = 10, lo§ie(22/2) = 3&lâ.B est apporté en appliquant les étapes S23B1 et S23B2 par rapport à la méthode classique. si trois haut-parleurs sont actifs simultanément, alimentés par des signaux identiques, alors un gain de lQ., Îo§m(L2/L) = 10. log (3z/3)— 4 7dB est apporté en appliquant les étapes S23B 1 et S23B2 par rapport à la méthode classique.
Les cas évoqués ci-avant correspondent aux cas extrêmes de signaux identiques ou décorrélés. Ces cas sont toutefois réalistes : une source positionnée au milieu de deux haut-parleurs, virtuels ou réels, fournira un signal identique à ces deux haut-parleurs (par exemple avec une technique de type VBAP, pour « Vector base amplitude panning »). Dans le cas d'un positionnement dans un système 3D, les 3 haut -parleurs peuvent recevoir le même signal au même niveau.
Ainsi, on peut appliquer une compensation afin de respecter l'énergie des signaux binauralisés.
Idéalement, ce gain de compensation G sera déterminé en fonction du signal d'entrée (soit G(I(1))) et sera appliqué à la somme des signaux d'entrée pondérés : c = ,7(0
1=1
Le gain Sf /f ) } peut être estimé par un calcul de corrélation entre chacun des signaux. Il peut également être estimé en comparant les énergies des signaux avant et après sommations. Dans ce cas, le gain G peut varier dynamiquement au cours du temps, en fonction par exemple des corrélations entre les signaux d'entrée, qui varient eux-mêmes au cours du temps.
Dans un mode de réalisation simplifié, il est possible de fixer un gain constant, par exemple G =—3dB = i0_J' - :. ce qui évitera d'avoir à effectuer une estimation de corrélation qui peut être coûteuse. Le gain constant G peut alors être appliqué hors ligne aux facteurs de pondération (donnant ainsi 7777777:), ou au filtre -Bmean , ce qui évitera l'application d'un gain supplémentaire au vol.
Une fois les fonctions de transfert A et B isolées et les filtres B^^^^ (optionnellement les poids W&>'ail) et G) calculés, on applique ces fonctions de transfert et ces filtres aux signaux d'entrée.
Dans un premier mode de réalisation, décrit en référence à la figure 4, le traitement du signal multicanal par application des filtres Direct (A) et Diffus (B) pour chacune des oreilles est effectué de la manière suivante :
On applique (étapes S4A1 à S4AL) au signal multicanal d'entrée un filtrage efficace (par exemple convolution directe basée -FFT) par les filtres Direct (A), comme décrit dans l'état de l'art. On obtient un signal 0°' En fonction des relations entre les signaux d'entrée, notamment en fonction de leur corrélation, on peut optionnellement corriger à l'étape S4B11 le gain du filtre moyen BmsayiS/ Par application du gain G aux signaux de sortie après sommation des signaux d'entrée préalablement pondérés (étapes M4B1 à M4BL). - On applique au signal multicanal B à l'étape S4B1 un filtrage efficace par le filtre Diffus moyen Bmean. Cette étape a bien lieu après sommation des signaux d'entrée préalablement pondérés (étapes M4B1 à M4BL). On obtient le signal Ô*''" .
On applique au signal Ô ''" un délai iDD afin de compenser le retard introduit lors de l'étape d'isolation du signal B à l'étape S4B2. - Les signaux Ô^"" et Ô T " sont sommés.
Si une troncature éliminant les échantillons inaudibles au début des réponses impulsionnelles a été réalisée, alors on applique à l'étape S41 au signal d'entrée un délai iT correspondant aux échantillons inaudibles supprimés.
Dans une variante, en référence à la figure 5, les signaux ne sont pas seulement calculés pour les oreilles gauches et droites (indices g et d ci-avant) mais pour k dispositifs de restitution (typiquement des haut -parleurs).
Dans un second mode de réalisation, on applique le gain G préalablement à la sommation des signaux d'entrée, c'est-à-dire pendant les étapes de pondération (étapes M4B1 à M4BL).
Dans un troisième mode de réalisation, on applique une décorrélation aux signaux d'entrée. Ainsi, les signaux sont décorrélés après convolution par le filtre Bmean quelles que soient les corrélations d'origine entre signaux d'entrée. On peut utiliser une implémentation efficace de décorrélation (par exemple en utilisant un réseau de retards bouclés) afin d'éviter l'utilisation de filtres de décorrélation coûteux.
Ainsi, en supposant de manière réaliste que des BRIR de longueur 48000 échantillons peuvent être : tronquées entre l'échantillon 150 et l'échantillon 3222 par la technique décrite à l'étape S21, décomposées en deux parties : champ direct A de 1024 échantillons, et champ diffus B de 2048 échantillons, par la technique décrite à l'étape S22, alors la complexité de binauralisation peut être approximativement donnée par :
Cinv = CinvA + CinvB = (L+2).(6.1og2(2.NA)) + (L+2).(6.1og2(2.NB))
Avec NA et NB les tailles en échantillons de A et B
Ainsi pour nBlocs=10, Fs=48000, L=22, NA=1024 et NB=2048, la complexité par échantillon de signal multicanal pour une convolution basée-FFT est de Cconv = 3312 multiplications-additions.
Ce résultat est cependant logiquement à comparer à une solution simple implémentant seulement la troncature, soit pour nBlocs=10, Fs=3072, L=22 :
Ctronc = (L+2).(nBlocs).(6.1og2(2.Fs/ nBlocs)) = 13339
Il existe donc un facteur 19049/3312=5.75 de complexité entre l'état de l'art et la présente invention, et encore un facteur 13339/3312=4 de complexité entre l'état de l'art bénéficiant de la troncature et la présente invention.
Si la taille de B est un multiple de la taille de A, alors si le filtrage est implémenté par blocs de FFT, le calcul d'une FFT pour A peut être réutilisé pour B. On a donc besoin de L FFT sur NA points, qui serviront à la fois au filtrage par A et par B, deux FFT inverse sur NA points pour obtenir le signal binaural temporel, et la multiplication des spectres en fréquence.
Dans ce cas, la complexité peut être approximée (les additions sont négligées, (L+1) correspond à la multiplication des spectres, L pour A et 1 pour B) par :
Cinv2 = (L+2).(6.1og2(2.NA)) + (L+1) = 1607
Avec cette approche, on gagne encore un facteur 2, et donc un facteur 12 et 8 par rapport à l'état de l'art non tronquée et tronquée.
L'invention peut trouver une application directe dans la norme MPEG-H 3D Audio.
Bien entendu, la présente invention ne se limite pas à la forme de réalisation décrite ci-avant ; elle s'étend à d'autres variantes.
Ainsi par exemple, on a décrit ci-avant un mode de réalisation dans lequel le signal Direct A n'est pas approximé par un filtre moyen. Bien entendu, on peut utiliser filtre moyen de A pour faire les convolutions (étapes S4A1 à S4AL) avec les signaux issus des haut-parleurs. On a décrit ci-avant un mode de réalisation basé sur le traitement d'un contenu multicanal généré pour L haut-parleurs. Bien sûr, le contenu multicanal peut-être généré par tout type de source audio comme par exemple la voix, un instrument de musique, un bruit quelconque, etc.
On a décrit ci-avant un mode de réalisation basé sur des formules s 'appliquant dans un certain domaine de calcul (par exemple domaine transformé). Bien sûr, la présente invention ne se limite pas à ces formules et ces formules peuvent être modifiées pour être applicables dans d'autres domaines de calcul (par exemple domaine temporel, domaine fréquentiel, domaine temps- fréquence, etc.).
On a décrit ci-avant un mode de réalisation basé sur des valeurs de BRIR déterminées dans une salle. Bien sûr, on peut mettre en œuvre la présente invention pour tout type d'environnement extérieur (par exemple salle de concert, plein air, etc.).
On a décrit ci-avant un mode de réalisation basé sur l'application de deux fonctions de transfert. Bien sûr, on peut mettre en œuvre la présente invention avec plus de deux fonctions de transfert. Par exemple, on peut isoler en synchronisme une partie relative aux sons émis directement, une partie relative aux premières réflexions et une partie relative aux sons diffus.

Claims

REVENDICATIONS
1. Procédé de spatialisation sonore, dans lequel on applique au moins un filtrage, avec sommation, à au moins deux signaux d'entrée (1(1), 1(2), ..., I(L)), le filtrage comportant: - l'application d'au moins une première fonction de transfert à effet de salle (Ak(l), Ak(2),
..., Ak(L)), ladite première fonction de transfert étant spécifique à chaque signal d'entrée, et l'application d'au moins une deuxième fonction de transfert à effet de salle (Bmean k), ladite deuxième fonction de transfert étant commune à tous les signaux d'entrée, caractérisé en ce que le procédé comporte une étape de pondération d'au moins un signal d'entrée par un poids de pondération (Ït ¾( )), ledit poids de pondération étant spécifique à chacun des signaux d'entrée.
2. Procédé selon la revendication 1 , caractérisé en ce que lesdites première et deuxième fonctions de transfert sont respectivement représentatives: - de propagations sonores directes et de premières réflexions sonores desdites propagations ; et
- d'un champ sonore diffus présent après lesdites premières réflexions, et en ce qu'il comporte : l'application de premières fonctions de transfert respectivement spécifiques aux signaux d'entrée, et - l'application d'une deuxième fonction de transfert, identique pour tous les signaux d'entrée, et résultant d'une approximation globale d'un effet de champ sonore diffus.
3. Procédé selon la revendication 2, caractérisé en ce qu'il comporte une étape préalable de construction desdites première et deuxième fonctions de transfert à partir de réponses impulsionnelles incorporant un effet de salle, ladite étape préalable comportant, pour la construction d'une première fonction de transfert, les opérations:
- de détermination d'un instant de début de présence d'ondes sonores directes, - de détermination d'un instant de début de présence dudit champ sonore diffus après les premières réflexions, et
- de sélection, dans une réponse impulsionnelle, d'une partie de la réponse qui s'étend temporellement entre ledit instant de début de présence d'ondes sonores directes jusqu' audit instant de début de présence de champ diffus, ladite partie de réponse sélectionnée correspondant à ladite première fonction de transfert.
4. Procédé selon revendication 3, caractérisé en ce que la deuxième fonction de transfert est construite à partir d'un ensemble de parties de réponses impulsionnelles commençant temporellement après ledit instant de début de présence du champ diffus.
5. Procédé selon l'une des revendications 3 ou 4, dans lequel ladite deuxième fonction de transfert est donnée par application d'une formule du type : avec k l'indice relatif à un signal de sortie, £ fl; Lj l'indice relatif à un signal d'entrée, L le nombre de signaux d'entrée, fonction de transfert normalisée obtenue à partir d'un ensemble de parties de réponses impulsionnelles commençant temporellement après ledit instant de début de présence du champ diffus.
6. Procédé selon l'une des revendications 3 à 5, caractérisé en ce que ledit filtrage comporte l'application d'au moins un délai de compensation correspondant à un écart temporel entre ledit instant de début d'ondes sonores directes et ledit instant de début de présence de champ diffus.
7. Procédé selon la revendication 6, caractérisé en ce que lesdites première et deuxième fonctions de transfert à effet de salle sont appliquées parallèlement auxdits signaux d'entrée et en ce que ledit au moins un délai de compensation est appliqué aux signaux d'entrée filtrés par lesdites deuxièmes fonctions de transfert.
8. Procédé selon la revendication 1, caractérisé en ce qu'un gain de compensation d'énergie (G) est appliqué aux poids de pondération
9. Procédé selon la revendication 1, caractérisé en ce qu'au moins un signal de sortie dudit procédé est donné par application d'une formule du type :
avec k l'indice relatif à un signal de sortie, Q k un signal de sortie, ί G |l ; J l'indice relatif un signal d'entrée parmi lesdits signaux d'entrée,
L le nombre de signaux d'entrée,
1(1) un signal d'entrée parmi lesdits signaux d'entrée,
Âx{t) une fonction de transfert avec effet de salle parmi lesdites premières fonctions de transfert avec effet de salle,
S} jS£,H une fonction de transfert avec effet de salle parmi lesdites deuxièmes fonctions de transfert avec effet de salle,
Wk(î) un poids de pondération parmi lesdits poids de pondération, îD_,' correSp0nci a l'application dudit délai de compensation, où . est la multiplication, et où * est l'opérateur de convolution.
10. Procédé selon la revendication 1, caractérisé en ce qu'il comprend une étape de décorrélation des signaux d'entrée, préalablement à l'application des deuxièmes fonctions de transfert et en ce qu'au moins un signal de sortie dudit procédé est donné par application d'une formule du type :
avec k l'indice relatif à un signal de sortie, Qk un signal de sortie, l £ fl ; L\ l'indice relatif un signal d'entrée parmi lesdits signaux d'entrée,
L le nombre de signaux d'entrée,
1(1) un signal d'entrée parmi lesdits signaux d'entrée,
Id(l) un signal d'entrée décorrélé parmi lesdits signaux d'entrée,
- ,Sr(.) une fonction de transfert avec effet de salle parmi lesdites premières fonctions de transfert avec effet de salle,
¾rasa?! une fonction de transfert avec effet de salle parmi lesdites deuxièmes fonctions de transfert avec effet de salle,
Wk (!) un poids de pondération parmi lesdits poids de pondération, ζ~ ι Ώ ϋ correspond à l'application dudit délai de compensation, où . est la multiplication, et où * est l'opérateur de convolution.
11. Procédé selon la revendication 1, caractérisé en ce qu'il comprend une étape de détermination d'un gain de compensation d'énergie en fonction des signaux d'entrée et en ce qu'au moins un signal de sortie est donné par application d'une formule du type : avec k l'indice relatif à un signal de sortie, 0 un signal de sortie, ί E [1; £J l'indice relatif un signal d'entrée parmi lesdits signaux d'entrée,
L le nombre de signaux d'entrée,
1(1) un signal d'entrée parmi lesdits signaux d'entrée,
G(I(1)) ledit gain de compensation d'énergie déterminé,
.4 H une fonction de transfert avec effet de salle parmi lesdites premières fonctions de transfert avec effet de salle, i? e»une fonction de transfert avec effet de salle parmi lesdites deuxièmes fonctions de transfert avec effet de salle, un poids de pondération parmi lesdits poids de pondération, z-iDD correSp0nci a l'application dudit délai de compensation, où . est la multiplication, et où * est l'opérateur de convolution.
12. Procédé selon l'une des revendications 1 à 11, caractérisé en ce que ledit poids est donné par application d'une formule du type : avec k l'indice relatif à un signal de sortie, l E fi; Lj l'indice relatif un signal d'entrée parmi lesdits signaux d'entrée,
L le nombre de signaux d'entrée, avec l'énergie d'une fonction de transfert avec effet de salle parmi lesdites deuxièmes fonctions de transfert avec effet de salle, Sg& s¾ une énergie relative au gain en normalisation.
13. Programme informatique comportant des instructions pour la mise en œuvre du procédé selon l'une des revendications 1 à 12, lorsque ces instructions sont exécutées par un processeur.
14. Dispositif de spatialisation sonore, comportant au moins un filtre avec sommation appliqué à au moins deux signaux d'entrée (1(1), 1(2), I(L)), le filtre utilisant: au moins une première fonction de transfert à effet de salle (Ak(l), Ak(2), ..., Ak(L)), ladite première fonction de transfert étant spécifique à chaque signal d'entrée, - et au moins une deuxième fonction de transfert à effet de salle (Bmean k), ladite deuxième fonction de transfert étant commune à tous les signaux d'entrée, caractérisé en ce qu'il comporte des modules de pondération (M4B1, M4B2, M4BL) pour pondérer au moins un signal d'entrée par un poids de pondération (H ¾ ( )), ledit poids de pondération étant spécifique à chacun des signaux d'entrée.
15. Module de décodage de signaux sonores, comportant un dispositif de spatialisation selon la revendication 14, desdits signaux sonores en tant que signaux d'entrée.
EP14748239.2A 2013-07-24 2014-07-04 Spatialisation sonore avec effet de salle Active EP3025514B1 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1357299A FR3009158A1 (fr) 2013-07-24 2013-07-24 Spatialisation sonore avec effet de salle
PCT/FR2014/051728 WO2015011359A1 (fr) 2013-07-24 2014-07-04 Spatialisation sonore avec effet de salle

Publications (2)

Publication Number Publication Date
EP3025514A1 true EP3025514A1 (fr) 2016-06-01
EP3025514B1 EP3025514B1 (fr) 2019-09-11

Family

ID=49876752

Family Applications (1)

Application Number Title Priority Date Filing Date
EP14748239.2A Active EP3025514B1 (fr) 2013-07-24 2014-07-04 Spatialisation sonore avec effet de salle

Country Status (8)

Country Link
US (1) US9848274B2 (fr)
EP (1) EP3025514B1 (fr)
JP (1) JP6486351B2 (fr)
KR (2) KR102206572B1 (fr)
CN (1) CN105684465B (fr)
ES (1) ES2754245T3 (fr)
FR (1) FR3009158A1 (fr)
WO (1) WO2015011359A1 (fr)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3001701B1 (fr) * 2014-09-24 2018-11-14 Harman Becker Automotive Systems GmbH Systèmes et procédés de reproduction audio
US10187740B2 (en) * 2016-09-23 2019-01-22 Apple Inc. Producing headphone driver signals in a digital audio signal processing binaural rendering environment
JP1640846S (fr) * 2018-10-16 2019-09-09
CN109584892A (zh) * 2018-11-29 2019-04-05 网易（杭州）网络有限公司 音效模拟方法、装置、介质及电子设备
KR20250141507A (ko) * 2024-03-20 2025-09-29 삼성전자주식회사 무선 환경 내에서 전력소모 감소를 위한 전자 장치, 방법, 및 컴퓨터 판독 가능 저장 매체

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2851879A1 (fr) * 2003-02-27 2004-09-03 France Telecom Procede de traitement de donnees sonores compressees, pour spatialisation.
GB0419346D0 (en) * 2004-09-01 2004-09-29 Smyth Stephen M F Method and apparatus for improved headphone virtualisation
JP2006279588A (ja) * 2005-03-29 2006-10-12 Yamaha Corp 多地点通信会議用端末
EP1927265A2 (fr) * 2005-09-13 2008-06-04 Koninklijke Philips Electronics N.V. Procede et dispositif de generation d'un son tridimensionnel
KR101562379B1 (ko) * 2005-09-13 2015-10-22 코닌클리케 필립스 엔.브이. 공간 디코더 유닛 및 한 쌍의 바이노럴 출력 채널들을 생성하기 위한 방법
JP2010118978A (ja) * 2008-11-14 2010-05-27 Victor Co Of Japan Ltd 音像定位制御装置および音像定位制御方法
US9431987B2 (en) * 2013-06-04 2016-08-30 Sony Interactive Entertainment America Llc Sound synthesis with fixed partition size convolution of audio signals

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See references of WO2015011359A1 *

Also Published As

Publication number Publication date
KR102310859B1 (ko) 2021-10-12
US9848274B2 (en) 2017-12-19
KR20210008952A (ko) 2021-01-25
KR20160034942A (ko) 2016-03-30
JP2016527815A (ja) 2016-09-08
CN105684465A (zh) 2016-06-15
US20160174013A1 (en) 2016-06-16
JP6486351B2 (ja) 2019-03-20
WO2015011359A1 (fr) 2015-01-29
CN105684465B (zh) 2018-06-12
FR3009158A1 (fr) 2015-01-30
KR102206572B1 (ko) 2021-01-22
EP3025514B1 (fr) 2019-09-11
ES2754245T3 (es) 2020-04-16

Similar Documents

Publication Publication Date Title
EP1992198B1 (fr) Optimisation d'une spatialisation sonore binaurale a partir d'un encodage multicanal
EP1600042B1 (fr) Procede de traitement de donnees sonores compressees, pour spatialisation
EP1999998B1 (fr) Procede de synthese binaurale prenant en compte un effet de salle
CN101454825B (zh) 用于提取和改变音频输入信号的混响内容的方法和装置
CN101455095B (zh) 在变换域中用于有效的双耳声音空间化的方法和装置
EP2319037B1 (fr) Reconstruction de données audio multicanal
EP2005420A1 (fr) Dispositif et procede de codage par analyse en composante principale d'un signal audio multi-canal
FR2852779A1 (fr) Procede pour traiter un signal electrique de son
EP3025514B1 (fr) Spatialisation sonore avec effet de salle
EP3400599B1 (fr) Encodeur ambisonique ameliore d'une source sonore a pluralite de reflexions
FR3065137A1 (fr) Procede de spatialisation sonore
FR3009121A1 (fr) Procede de suppression de la reverberation tardive d'un signal sonore
EP3559947A1 (fr) Traitement en sous-bandes d'un contenu ambisonique réel pour un décodage perfectionné
JP7453997B2 (ja) ＤｉｒＡＣベースの空間オーディオ符号化のためのパケット損失隠蔽
EP4184505B1 (fr) Spatialisation sonore avec effet de salle, optimisee en complexite
EP1994526B1 (fr) Synthese et spatialisation sonores conjointes
EP4042418B1 (fr) Détermination de corrections à appliquer a un signal audio multicanal, codage et décodage associés

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20160107

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20180322

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: GRANT OF PATENT IS INTENDED

INTG Intention to grant announced

Effective date: 20190416

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE PATENT HAS BEEN GRANTED

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

REG Reference to a national code

Ref country code: GB

Ref legal event code: FG4D

Free format text: NOT ENGLISH

REG Reference to a national code

Ref country code: CH

Ref legal event code: EP

REG Reference to a national code

Ref country code: AT

Ref legal event code: REF

Ref document number: 1180058

Country of ref document: AT

Kind code of ref document: T

Effective date: 20190915

REG Reference to a national code

Ref country code: DE

Ref legal event code: R096

Ref document number: 602014053445

Country of ref document: DE

Ref country code: IE

Ref legal event code: FG4D

Free format text: LANGUAGE OF EP DOCUMENT: FRENCH

REG Reference to a national code

Ref country code: NL

Ref legal event code: MP

Effective date: 20190911

REG Reference to a national code

Ref country code: LT

Ref legal event code: MG4D

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: BG

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20191211

Ref country code: SE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190911

Ref country code: NO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20191211

Ref country code: FI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190911

Ref country code: LT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190911

Ref country code: HR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190911

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: AL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190911

Ref country code: LV

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190911

Ref country code: GR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20191212

Ref country code: RS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190911

REG Reference to a national code

Ref country code: AT

Ref legal event code: MK05

Ref document number: 1180058

Country of ref document: AT

Kind code of ref document: T

Effective date: 20190911

REG Reference to a national code

Ref country code: ES

Ref legal event code: FG2A

Ref document number: 2754245

Country of ref document: ES

Kind code of ref document: T3

Effective date: 20200416

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: PT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200113

Ref country code: PL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190911

Ref country code: EE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190911

Ref country code: AT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190911

Ref country code: NL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190911

Ref country code: RO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190911

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200224

Ref country code: CZ

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190911

Ref country code: SK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190911

Ref country code: SM

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190911

REG Reference to a national code

Ref country code: DE

Ref legal event code: R097

Ref document number: 602014053445

Country of ref document: DE

RAP2 Party data changed (patent owner data changed or rights of a patent transferred)

Owner name: ORANGE

PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

PG2D Information on lapse in contracting state deleted

Ref country code: IS

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: DK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190911

Ref country code: IS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200112

26N No opposition filed

Effective date: 20200615

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190911

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MC

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190911

REG Reference to a national code

Ref country code: CH

Ref legal event code: PL

REG Reference to a national code

Ref country code: BE

Ref legal event code: MM

Effective date: 20200731

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LU

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20200704

Ref country code: IE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20200704

Ref country code: LI

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20200731

Ref country code: CH

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20200731

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: BE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20200731

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: TR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190911

Ref country code: MT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190911

Ref country code: CY

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190911

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190911

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: GB

Payment date: 20250619

Year of fee payment: 12

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: FR

Payment date: 20250619

Year of fee payment: 12

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: ES

Payment date: 20250801

Year of fee payment: 12

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: DE

Payment date: 20250620

Year of fee payment: 12

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: IT

Payment date: 20250619

Year of fee payment: 12