EP3058564A1 - Spatialisation sonore avec effet de salle, optimisee en complexite - Google Patents

Spatialisation sonore avec effet de salle, optimisee en complexite

Info

Publication number
EP3058564A1
EP3058564A1 EP14796814.3A EP14796814A EP3058564A1 EP 3058564 A1 EP3058564 A1 EP 3058564A1 EP 14796814 A EP14796814 A EP 14796814A EP 3058564 A1 EP3058564 A1 EP 3058564A1
Authority
EP
European Patent Office
Prior art keywords
frequency
signal
transfer function
room
sound
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
EP14796814.3A
Other languages
German (de)
English (en)
Other versions
EP3058564B1 (fr
Inventor
Grégory PALLONE
Marc Emerit
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Orange SA
Original Assignee
Orange SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Orange SA filed Critical Orange SA
Priority to EP22211949.7A priority Critical patent/EP4184505B1/fr
Publication of EP3058564A1 publication Critical patent/EP3058564A1/fr
Application granted granted Critical
Publication of EP3058564B1 publication Critical patent/EP3058564B1/fr
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/307—Frequency adjustment, e.g. tone control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/305—Electronic adaptation of stereophonic audio signals to reverberation of the listening space
    • H04S7/306—For headphones
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K15/00—Acoustics not otherwise provided for
    • G10K15/08—Arrangements for producing a reverberation or echo sound
    • G10K15/12—Arrangements for producing a reverberation or echo sound using electronic time-delay networks
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/01—Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/07—Synergistic effects of band splitting and sub-band processing

Definitions

  • the present invention relates to a sound spatialization with room effect.
  • the invention finds an advantageous but non-limiting application to a processing of sound signals respectively coming from L channels associated with virtual loudspeakers (for example in a multichannel representation, or in a surround representation, of the sound to be reproduced), for a spatialized reproduction on real loudspeakers (for example two headsets of a headset in binaural restitution, or two separate speakers in transaural restitution).
  • L channels associated with virtual loudspeakers for example in a multichannel representation, or in a surround representation, of the sound to be reproduced
  • real loudspeakers for example two headsets of a headset in binaural restitution, or two separate speakers in transaural restitution.
  • the signal of one of these channels can be processed to have a first contribution on the left atrium and a second contribution on the right atrium, binaural restitution, applying in particular a transfer function with effect of room for each of these contributions.
  • the application of these room effect transfer functions thus contributes to offering the listener a feeling of immersion, practically allowing him to "locate in space” the virtual speaker associated with this channel.
  • a room effect transfer function is applied to each sound signal of a corresponding channel, in the time domain in the form of a BRIR type impulse response (for "Binaural Room Impulse Response "or” Binaural Impulse Room Response ").
  • this transfer function BRIR is constructed as the combination:
  • a second transfer function global, common to all signals and characterized in particular a diffuse field, whose presence usually occurs in a room after a certain time, typically after the first reflections of a sound wave.
  • Such an embodiment advantageously makes it possible to apply a treatment common to all the signals, which corresponds, in a physical reality, to a "mixture" of the waves acoustic as and reverberations, so beyond a given duration (characterizing a beginning of presence of the diffuse field).
  • Such an embodiment then makes it possible to reduce the complexity of spatialization processing with room effect on several initial channels.
  • the channel signals are received in encoded form by a decoder in compression.
  • This decoder sends the signals of the channels, once decoded, to a spatialization module for a sound reproduction with room effect, on two speakers. It is then appropriate for this spatialization step (which follows the decoding of the received signals) to be of reduced processing complexity so as not to delay the overall set of decoding and spatialization steps on reception of the signals before restitution.
  • the present invention improves the situation.
  • the invention proposes to reduce the complexity of the application of the room effect transfer function, in particular by reducing this complexity in the spectral domain.
  • the convolution by a transfer function becomes a multiplication of spectral components of the signal on the one hand, and a filter representing the transfer function on the other hand ( Figure 1 commented in detail later). ).
  • the invention then starts from the advantageous observation that, after a direct propagation, a sound wave tends to attenuate in the high frequencies due to progressive reflections on surfaces (walls typically, the listener's face, etc.) absorbing. the wave especially in the high frequencies.
  • the air itself absorbs the spectral components of the highest frequencies of sound during its propagation. This phenomenon is all the more increased for example for the diffuse sound field, for which it is not necessary to have a frequency representation for very high frequencies (for example, higher than a frequency in a range of 5 to 15 kHz ).
  • the invention thus aims at a sound spatialization method, comprising the application of at least one room effect transfer function to at least one sound signal, said application being used to multiply, in the spectral domain, the spectral components of the signal sound by the spectral components of a filter corresponding to the aforementioned transfer function.
  • Each spectral component of the filter comprises a temporal evolution in a time-frequency representation (as detailed below with reference to FIG. 3).
  • these spectral components of the filter are ignored, for the aforementioned component multiplications, beyond a threshold frequency and after at least one given instant in said time-frequency representation.
  • the spectral components of the filter are taken into account up to a cutoff frequency which can be chosen for example between 5 and 15 kHz (depending on the room effect to be applied and / or the signal to spatialize, as described below). Beyond the cutoff frequency, the multiplication is not even performed, which mathematically amounts to the same as multiplying the signal by zero.
  • This given instant typically represents the moment when a sound wave begins to undergo reverberations (by successive reflections, or, even later, from a presence of a diffuse sound field).
  • the transfer function takes into account reverberations in the room effect (taking into account, for example, a diffuse sound field)
  • the instant given above can be chosen as a function of such reverberations.
  • the instant given above may be posterior, in the room effect, to a direct sound propagation with first reflections, and then correspond to a beginning of presence of diffuse sound field.
  • provision may be made in which the aforementioned threshold frequency decreases as a function of time in said time-frequency representation.
  • the signal may be provided, for example, to preserve the spectral components present in the signal, in the multiplication of the components, for a first block, and then to ignore them at the same time. beyond a first threshold frequency for a second block following the first block, then ignoring them beyond a second threshold frequency for a third block following the second block, etc., the second threshold frequency being more bass than the first.
  • the spectral components of the filter can be ignored, for the multiplication of the components:
  • the second threshold frequency being lower than the first threshold frequency
  • the given block mentioned above may include, for example, samples located temporally at times that correspond to times when a sound wave has undergone one or more reflections, with even a beginning of presence of diffuse sound field.
  • the block that follows this given block may include, for example, samples located temporally after or from a beginning of presence of diffuse sound field.
  • Such an embodiment makes it possible, for example, to limit possibly audible signal limiting artifacts in the high frequencies for reverberations, this realization being accomplished progressively over several blocks. It also makes it possible to consider several forms of transfer functions (denoted hereinafter B i (m), m being a block index) characterizing a diffuse sound field. Indeed, it is possible, for example, to apply a transfer function B k mean to a given given block, and to apply a temporally progressive (fade out) breaking window to this transfer function B for the block that follows, to "finish" the presence of the diffuse sound field.
  • B i m
  • m being a block index
  • W K (I) being a weighting weight chosen, and 6 ⁇ J (i)), a predetermined energy compensation gain,
  • DD ⁇ being a delay application, counted in number of sample blocks, corresponding to a time difference between a sound emission in a room corresponding to the room effect, and a beginning of diffuse field presence in this room. room, the index m corresponding to a number of blocks of samples of duration corresponding to this delay, M being the total number of blocks that a transfer function lasts in a time-frequency representation,
  • a multiplication calculation limitation beyond a first threshold frequency as soon as the first sample block or blocks, as a function of the characteristics of the signal (for example its sampling frequency, or the most frequent frequency). high represented in the spectral components of the signal) or as a function of the applied spatialization characteristics (with for example a limitation of the high frequency components for a contra-lateral acoustic path as detailed below).
  • the signal resulting from the reverberations does not normally comprise spectral components of higher frequency than the initial signal.
  • the aforementioned threshold frequency can not be greater than this highest frequency.
  • the highest frequency spectral component information in the sound signal is obtained, and the aforementioned threshold frequency is selected as the minimum of a predetermined threshold frequency (for example between 5 and 15 kHz) and said highest frequency.
  • the highest frequency spectral component information may be provided by the decoder.
  • the spatialization is carried out with a module capable of supporting different signal formats, especially in terms of the sampling frequency of such signals, the highest frequency, mentioned above, can not be greater than half of the sampling frequency, and thus the threshold frequency for the implementation of the invention may be further selected according to this sampling frequency.
  • the sound signal is spatialized on at least first and second virtual speakers, respectively associated with a first and a second channel, respectively first and second room effect transfer functions are applied to these first and second channels respectively.
  • channels as explained above in introduction (for example by adapting signals on surround channels to move to a binaural or transaural restitution).
  • one of the first and second transfer functions applies an ipsi-lateral acoustic path effect
  • the other of the first and second transfer functions applies a contra-lateral acoustic path effect
  • This "screening" frequency is explained by the fact that for a contra-lateral path between a virtual loudspeaker and an ear of the listener, the listener's head masks the acoustic path and absorbs the acoustic tones. More acute acoustic wave (thus eliminates the spectral components associated with the highest frequencies of the acoustic wave).
  • the aforementioned threshold frequency for the transfer function applying a contra-lateral path effect, can be chosen as a minimum of a predetermined threshold frequency (for example chosen between 5 and 15 kHz) and this screening frequency.
  • a predetermined threshold frequency for example chosen between 5 and 15 kHz
  • This embodiment is advantageous for being applied already for the first block of samples.
  • it does not exclude the possibility of increasing again the threshold frequency for the next block to simulate a first reflection on a wall situated opposite the considered ear, this first reflection being received at this ear by a path ipsilateral.
  • the cutoff frequency can be chosen to be common to all the signals, in one possible embodiment, after a given instant which corresponds, for example, to the presence of the diffuse field.
  • each transfer function applied to a signal comprises:
  • the instant given above may be common to all the signals and correspond for example to a beginning of presence of diffuse sound field.
  • the signals comprise successive blocks of samples, of the same size between signals
  • at least one given instant is provided for limiting the consideration of the frequency components up to a cut-off frequency, this given instant being located temporally at the beginning of a different block of a first block in a succession of blocks. This given moment therefore intervenes after a direct propagation, and at the time of sound reflections or of presence of diffuse field.
  • FIG. 5 also illustrating, in an exemplary embodiment, a possible algorithm of a computer program that would execute a processor of a spatialization module operating the method within the meaning of the invention.
  • the present invention also aims, in general, a computer program comprising instructions for implementing the method above, when they are executed by a processor.
  • the present invention also aims at a sound spatialization module, comprising calculation means for applying at least one room effect transfer function to at least one input sound signal, said application being used to multiply, in the spectral domain, spectral components of the sound signal by the spectral components of a filter corresponding to said transfer function, each spectral component of the filter comprising a temporal evolution in a time-frequency representation.
  • these calculation means are configured to ignore said spectral components of the filter for said multiplications of components, beyond a threshold frequency and after at least a given time in said time-frequency representation.
  • the sound spatialization module receiving a plurality of input signals, delivers at least two output signals, the calculation means being configured to apply a room effect transfer function, at each input signal, each of said output signals being given by applying a formula of the type:
  • O k being an output signal
  • k being the index relating to an output signal
  • a k ⁇ 1) being a room effect transfer function specific to an input signal
  • J3 ⁇ 4 SG5S (m) being a global transfer function, with room effect, common to the input signals
  • z ⁇ ⁇ lDD TM being a delay application, counted in number of sample blocks, corresponding to a time difference between a sound emission in a room corresponding to the room effect, and a beginning of diffuse field presence in this room. room, the index m corresponding to a number of blocks of samples of duration corresponding to this delay, M being the total number of blocks that a transfer function lasts in a time-frequency representation,
  • This module can be integrated into a decoding device in compression, or more generally in a rendering system.
  • the latter comprises in the example shown an input interface IN for receiving the decoded signals, as well as calculation means such as a processor PROC and a working memory MEM cooperating with the IN / OUT interfaces to spatialize the signals. (/) and output from the output interface OUT only two signals O d and O 8 for feeding the respective ear cups of a CAS helmet.
  • Figure 1 illustrates a general embodiment of the method according to the invention
  • FIG. 2 illustrates an example of application of the method according to an embodiment where the transfer functions are in the form of a combination of two transfer functions, one of which is applied with a delay on the signal to be processed;
  • FIG. 3 represents an example of a time-frequency representation of a transfer function with cutoff frequencies (or "threshold frequencies” mentioned above) that vary in particular as a function of time;
  • FIG. 4 illustrates a flowchart corresponding to a possible general algorithm of the computer program within the meaning of the invention
  • FIG. 5 represents a particular embodiment resulting from the mode represented in FIG.
  • FIG. 6 illustrates an exemplary spatialization module within the meaning of the invention
  • Figure 7 schematically illustrates the virtual loudspeakers and the room effect to apply an appropriate transfer function, with imitation of the components frequency of this transfer function to an appropriate cutoff frequency.
  • a plurality of virtual speakers surround, in the example shown, the head TE of a listener.
  • Each of the virtual speakers HPV is initially powered by a signal ⁇ 1) with 'G [1. ⁇ i] for example previously decoded as indicated above with reference to Figure 6.
  • the arrangement of the virtual speakers can concern a multichannel or also a surround representation of the signals 1 (1) to be processed in order to render them spatially together with a room effect on a CAS headset (FIG. 6)
  • the maximum frequency F c d (0) of a filter representing the transfer function specific to the right ear can be lower than the frequency maximum F c 8 (0) of a filter representing the transfer function specific to the left ear.
  • a designer of such a filter can thus limit the components of his filter for the right ear up to the cut-off frequency F c d (0) (corresponding to a head-catching frequency) even though the signal to be processed I (/) may have higher spectral components and up to at the frequency F c 8 (0) at least.
  • a filter designer representing these transfer functions can provide for limiting the filter components for the right ear to the cutoff frequency F c d (1) and for the left ear to the cutoff frequency F c 8 (l).
  • F c d (1) the cutoff frequency
  • F c 8 (l) the cutoff frequency
  • a filter designer representing these transfer functions can provide for limiting the filter components for the right ear to the cutoff frequency F c d (2) and for the left ear to the cutoff frequency F C 8 (2).
  • L input signals 1 (1), 1 (2), I (L) are transformed in the frequency domain, respectively at the steps TF11, TF12, TF1L.
  • input signals may already be available in frequency form (for example at the decoder).
  • step BA11 a complete impulse response of spatialization (typically type B I for "Binaural Room Impulse Response") in time form corresponding to the signal 1 (1) of the channel 1 is stored.
  • this impulse response is converted into frequency form to obtain a corresponding filter in the spectral domain.
  • the filter is stored in its spectral form to avoid repeating the calculation of the transform.
  • This filter is then multiplied by the frequency-domain input signal of channel 1 (which is tantamount to convol ution in the time domain). We therefore have the signal spatialized for the signal 1 (1) of the channel 1.
  • the same operations are performed for the other L-1 channels.
  • We thus have a total of L spatialized channels. These channels are then summed to obtain a single output signal representing the L channels, and one goes back to the time domain at the step ITF11, to deliver one of the signals O k (with k d, g) feeding an atrium. .
  • a similar treatment is performed for the other atrium.
  • the L spatialized channels are not accessible independently before summation: the single output signal is constructed by summing up each channel spatially with the previous output signal. These operations are performed for each output signal O k to be constructed.
  • the L input signals may typically correspond to the L channels of multichannel audio content intended to power speakers ("virtual").
  • the L input signals can, for example, correspond to the L ambiophonic signals of an audio content in ambiophonic representation.
  • FIG. 2 illustrating an implementation in the sense of the invention, the principle of a spatialization of L channels as shown in FIG. 1 is taken again. Nevertheless, the presentation of FIG. 2 is simplified in this respect.
  • L input signals 1 (1), 1 (2), I (L) are transformed in the frequency domain in step S21.
  • such input signals may alternatively already be available in frequency form.
  • an impulse response A k (/) of spatialization typically of type BI
  • This impulse response A k (/) is incomplete in the representation of FIG.
  • this impulse response may already be available in frequency form.
  • the components of this filter are then multiplied by the spectral signal of the corresponding channel 1 (/).
  • This multiplication is parameterized (as indicated below with reference to FIG. 4) so that certain frequency components are ignored, within the meaning of the invention. Typically, the highest frequency components will be ignored to limit computational complexity.
  • the multiplication of the components limited to a cut-off frequency is indicated by the sign:
  • a cut-off frequency f cA ( i) from which the frequency components are ignored is defined (for example the maximum frequency represented in the channel signal l (/), or half of its sampling frequency).
  • the summation is performed in a particular way, because it takes into account a delay on the channels to characterize the reverberations (reflections and diffuse field), as detailed below.
  • the L spatialized channels are not accessible independently before summation: the single output signal is constructed by summing each channel spatially with the previous output signal.
  • step S24 an incomplete impulse response B k m (/) of spatialization (typically of type BI) corresponding to the signal I (/) of the channel / is transformed in the spectral domain to obtain a frequency filter.
  • this impulse response may alternatively already be available in frequency form.
  • this filter B k m (/) is then multiplied by the signal I (/) of the channel /.
  • the cutoff frequencies are different for this second time block. As shown with reference to FIG. 3, measurements show that the high frequencies are more attenuated in the distant time blocks (corresponding to diffuse sounds and to multiple reverberations). The cutoff frequencies for these remote blocks may therefore be lower than for the first blocks. However, the lower the cutoff frequency, the more the number of operations is limited. Thus, the complexity of the calculations is advantageously reduced.
  • the same operations are performed for the L channels and the multiplication operations of the filter are repeated on the progressively delayed spectral signals by summing the contributions at the repetitive step S25 for each delay m until obtaining a single signal representing the L channels on the set M of the time blocks m considered.
  • the single output signal is constructed by summing each spatial channel with the previous output signal as will now be seen with reference to FIG. 4.
  • step S26 we go back to the time domain in step S26 to obtain an output signal for feeding one of the headsets of the helmet.
  • step S40 the output signal S is initialized to 0.
  • This output signal is expressed in the frequency domain. It has a limited size longer than the cutoff frequency fc (/). For example, this signal is set to [0; fs (/) / 2], fs (/) being the sampling frequency of this signal I (/).
  • a first count variable / is also initialized to 1. This first count variable identifies one of the channel 1 (1), 1 (2), ..., 1 (/), ..., 1 (L) signals. on the time block [0; Nl] for the right ear.
  • a second count variable j is initialized to 0. This second count variable identifies a frequency component of a signal I (/) on the time block [0; Nl] for the right ear.
  • step S42 the coefficient c BR! R (j; /) is stored in memory. This coefficient corresponds to the frequency component j of the filter BI (/) on the time block [0; Nl] for the right ear. Similarly, the coefficient c, (j; /) is stored. This coefficient corresponds to the frequency component j of the signal I (/) on the time block [0; Nl] for the right ear. Thus, the coefficients c BR
  • the frequency corresponding to the variable j is lower (for example strictly) at the cut-off frequency fc (/).
  • This cutoff frequency corresponds to the cutoff frequency of the signal I (/) for the time block [0; N-1] for the right ear. If the frequency j is less than the cutoff frequency fc (/), go to step S44.
  • step S44 a value MULT (j) corresponding to the multiplication of the coefficients is calculated; /) and q (j; /). These coefficients are well multiplied term by term because they correspond to the same frequency component j (for the same channel, on the same block and for the same ear).
  • this value MULT (j) is incremented to the signal S at the position of the frequency j.
  • a stepwise construction of a signal S which comprises (at the end of the loop of length fc (/)) all the frequency components up to the cut-off frequency fc (/) (for this signal l (/) on the block [0; N-1] and for a right ear).
  • a buffer initially zero up to the cutoff frequency to successively build the signal S.
  • each multiplication MULT (j) of coefficients is added step by step to the signal S under construction.
  • step S46 the variable j is incremented and it is resumed at step S42. If the variable j is greater (for example or equal to) the cutoff frequency fc (/), the test T48 is passed. Thus, the signal S has been filled over the interval [0; fc (/)].
  • this signal can be set to an interval greater than [0; fc (/)] (for example [0; fs (/) / 2]).
  • this signal was initialized to 0 over its entire definition range. Therefore, it is null on the rest of the interval that has not been filled (for example [fc (/); fs (/) / 2]). The complexity is therefore improved here because steps of filling the signal S have not been performed, which reduces the number of calculations required.
  • test T48 it is verified that the count variable / corresponding to the signal l (/) of the channel / is lower (for example strictly) to the number L of channels. If the variable / is less than or equal to L, the variable / in step S49 is incremented and the method is repeated in step S41. If the variable / is greater than L, the signal S corresponding to the spatialized signal for the time block [0; N-1] for the right ear is available in step S50.
  • This signal S corresponding to the time block [0; N-1] is then summed to the other signals generated in a similar way for other time blocks [N; 2N-1], [2N; 3N-1], etc. (and for which an appropriate delay has been applied in accordance with the above DBD step of Fig. 2, for example).
  • a filter is applied in the frequency domain corresponding to a transfer function common to all the input signals I (/), representing the diffuse field, with a cut-off frequency fc in the multiplication of the spectral components which is the minimum between:
  • the maximum frequency f max represented in each input signal (for example its sampling frequency or the maximum frequency whose spectral component is not zero, this value being usually given by a decoder in compression).
  • this low-pass filter is not applied to the audio signal, but to the BRIR filter (which is itself convoluted to the audio signal) which is already composed of multiple reflections; the artifacts produced will therefore, at worst, be perceived as additional reflections of the original BRIR filter, and in practice rarely perceptible.
  • FIG. 5 illustrates a complete algorithmic form of the processing, in accordance with the formula giving an output node O k as shown above:
  • the weights W k (/) and the gains G (l (/)) can be set to 1.
  • the gains G (l (/)) are not shown in FIG. to read this figure as an integration of the gains at the weights 1 / W k (/).
  • these two parameters are determined, fixed and multiplied one by one once and for all.

Abstract

L'invention concerne une spatialisation sonore, avec l'application d'au moins une fonction de transfert à effet de salle à au moins un signal sonore. Cette application revient à multiplier, dans le domaine spectral, des composantes spectrales du signal sonore par les composantes spectrales d'un filtre correspondant à la fonction de transfert, chaque composante spectrale du filtre comportant une évolution temporelle dans une représentation temps-fréquence. En particulier, les composantes spectrales du filtre sont ignorées, pour les multiplications de composantes précitées, au-delà d'une fréquence seuil (Fc d(l), Fc g(l), Fcd(2), Fc g(2)) et après au moins un instant donné (m=l, m=2) dans cette représentation temps-fréquence.

Description

Spatialisation sonore avec effet de salle, optimisée en complexité
La présente invention concerne une spatialisation sonore avec effet de salle.
L'invention trouve une application avantageuse mais non limitative à un traitement de signaux sonores respectivement issus de L canaux associés à des haut-parleurs virtuels (par exemple dans une représentation multicanale, ou encore dans une représentation ambiophonique, du son à restituer), pour une restitution spatialisée sur des haut-parleurs réels (par exemple deux oreillettes d'un casque en restitution binaurale, ou deux haut- parleurs séparés en restitution transaurale).
Par exemple, le signal de l'un de ces canaux peut être traité pour avoir une première contribution sur l'oreillette gauche et une deuxième contribution sur l'oreillette droite, en restitution binaurale, en appliquant en particulier une fonction de transfert avec effet de salle à chacune de ces contributions. L'application de ces fonctions de transfert à effet de salle contribue alors à offrir à l'auditeur un sentiment d'immersion lui permettant pratiquement de « situer dans l'espace» le haut-parleur virtuel associé à ce canal.
Dans une réalisation particulière, décrite notamment dans le document F 1357299, on applique une fonction de transfert avec effet de salle à chaque signal sonore d'un canal correspondant, dans le domaine temporel sous la forme de réponse impulsionnelle de type BRIR (pour « Binaural Room Impulse Response » ou « Réponse Impulsionnelle Binaurale de salle »). En particulier, dans ce document, incorporé ici par référence, on construit cette fonction de transfert BRIR comme la combinaison :
d'une première fonction de transfert, propre à chaq ue signal, et
d'une deuxième fonction de transfert, globale, commune à tous les signaux et caractérisant en particulier un champ diffus, dont la présence advient habituellement dans une salle après un certain temps, typiquement après les premières réflexions d'une onde sonore.
Une telle réalisation permet avantageusement d'appliquer un traitement commun à tous les signaux, ce qui correspond, dans une réalité physique, à un « mélange » des ondes acoustiques au fur et à mesure des réverbérations, donc au-delà d'une durée donnée (caractérisant un début de présence du champ diffus). Une telle réalisation permet alors de réduire la complexité des traitements de spatialisation avec effet de salle sur plusieurs canaux initiaux.
Néanmoins, dans des modules de spatialisation intervenant en amont de la restitution, on cherche encore à réduire autant que possible la complexité des traitements de spatialisation. En effet, par exemple (mais non limitativement), les signaux des canaux sont reçus sous forme encodée, par un décodeur en compression. Ce décodeur envoie les signaux des canaux, une fois décodés, à un module de spatialisation pour une restitution sonore avec effet de salle, sur deux haut-parleurs. Il convient alors que cette étape de spatialisation (qui suit le décodage des signaux reçus) soit de complexité de traitement réduite pour ne pas retarder l'ensemble global des étapes de décodage et de spatialisation à la réception des signaux avant restitution.
La présente invention vient améliorer la situation.
L'invention propose à cet effet de réduire la complexité de l'application de la fonction de transfert à effet de salle, en réduisant en particulier cette complexité dans le domaine spectral. En effet, dans le domaine spectral, la convolution par une fonction de transfert devient une multiplication de composantes spectrales du signal d'une part, et d'un filtre représentant la fonction de transfert d'autre part (figure 1 commentée en détails plus loin).
L'invention part alors du constat avantageux selon lequel, après une propagation directe, une onde sonore tend à s'atténuer dans les hautes fréquences du fait des réflexions progressives sur des surfaces (murs typiquement, visage de l'auditeur, etc.) absorbant l'onde en particulier dans les hautes fréquences. En outre, l'air lui-même absorbe les composantes spectrales des fréquences les plus élevées du son pendant sa propagation. Ce phénomène est d'autant plus accru par exemple pour le champ sonore diffus, pour lequel il n'est pas nécessaire d'avoir une représentation fréquentielle pour des fréquences très élevées (par exemple supérieures à une fréquence dans une gamme de 5 à 15 kHz). Ainsi, il est possible de réduire la complexité du traitement de l'application de la fonction de transfert avec effet de salle, dans le domaine spectral, en ne tenant simplement pas compte, pour effectuer les multipl ications de composantes spectrales précitées, des composantes associées à des fréquences supérieures à une fréquence de coupure prédéterminée (par exemple supérieures à 5 à 15 kHz).
L'invention vise alors un procédé de spatialisation sonore, comportant l'application d'au moins une fonction de transfert à effet de salle à au moins un signal sonore, ladite application revenant à multiplier, dans le domaine spectral, des composantes spectrales du signal sonore par les composantes spectrales d'un filtre correspondant à la fonction de transfert précitée. Chaque composante spectrale du filtre comporte une évolution temporelle dans une représentation temps-fréquence (comme détaillé plus loin en référence à la figure 3).
En particulier, ces composantes spectrales du filtre sont ignorées, pour les multiplications de composantes précitées, au-delà d'une fréquence seuil et après au moins un instant donné dans ladite représentation temps-fréquence. Ainsi, après cet instant donné, les composantes spectrales du filtre sont prises en compte jusqu'à une fréquence de coupure qui peut être choisie par exemple entre 5 et 15 kHz (en fonction de l'effet de salle à appliquer et/ou du signal à spatialiser, comme décrit ci-après). Au-delà de la fréquence de coupure, la multiplication n'est même pas effectuée, ce qui mathématiquement revient au même que de multiplier le signal par zéro.
Cet instant donné représente typiquement le moment où une onde sonore commence à subir des réverbérations (par réflexions successives, ou, plus tard encore, à partir d'une présence d'un champ sonore diffus). Ainsi, en termes généraux, dans une réalisation où la fonction de transfert tient compte de réverbérations dans l'effet de salle (avec prise en compte par exemple d'un champ sonore diffus), l'instant donné précité peut être choisi en fonction de telles réverbérations. Par exemple, l'instant donné précité peut être postérieur, dans l'effet de salle, à une propagation sonore directe avec des premières réflexions, et correspondre alors à un début de présence de champ sonore diffus. En outre, on peut prévoir une réalisation dans laquelle la fréquence seuil précitée diminue en fonction du temps dans ladite représentation temps-fréquence. Par exemple, si le signal est échantillonné sur plusieurs blocs successifs, il peut être prévu, à titre d'exemple, de conserver les composantes spectrales présentes dans le signal, dans la multiplication des composantes, pour un premier bloc, puis de les ignorer au-delà d'une première fréquence seuil pour un deuxième bloc qui suit le premier bloc, puis de les ignorer au-delà d'une deuxième fréquence seuil pour un troisième bloc qui suit le deuxième bloc, etc., la deuxième fréquence seuil étant plus basse que la première.
Ainsi, en termes plus génériques, dans une réalisation où le signal est échantillonné sur plusieurs blocs successifs, les composantes spectrales du filtre peuvent être ignorées, pour la multiplication des composantes :
- au-delà d'une première fréquence seuil pour un bloc donné,
- puis, au-delà d'une deuxième fréquence seuil, pour un bloc qui suit le bloc donné, la deuxième fréquence seuil étant plus basse que la première fréquence seuil.
Le bloc donné précité peut inclure par exemple des échantillons situés temporellement à des instants qui correspondent à des moments où une onde sonore a subi une ou plusieurs réflexions, avec même un début de présence de champ sonore diffus. Le bloc q ui suit ce bloc donné (immédiatement ou quelques blocs plus tard) peut inclure par exemple des échantillons situés temporellement après ou à partir d'un début de présence de champ sonore diffus.
Une telle réalisation permet par exemple de limiter des artéfacts éventuellement audibles de limitation de signal dans les hautes fréquences pour les réverbérations, cette réalisation étant accomplie progressivement sur plusieurs blocs. Elle permet aussi de considérer plusieurs formes de fonctions de transfert (notées ci-après B^ei {m), m étant un indice de bloc) caractérisant un champ sonore diffus. En effet, il est possible par exemple d'appliquer une fonction de transfert Bk mean à un bloc donné précité, et d'appliquer une fenêtre de coupure temporellement progressive (de type « fade out ») à cette fonction de transfert B pour le bloc qui suit, pour « terminer » la présence du champ sonore diffus. Dans une forme de réalisation où le procédé est mis en œuvre par un module de spatialisation sonore recevant une pluralité de signaux d'entrée et délivrant au moins deux signaux de sortie, pour délivrer chaque signal de sortie, on applique une fonction de transfert à effet de salle, à chaque signal d'entrée,
chacun desdits signaux de sortie étant donné par application d'une formule du type :
Qk étant un signal de sortie, et k étant l'indice relatif à un signal de sortie,
si £ étant l'indice relatif à un signal d'entrée parmi lesdits signaux d'entrée, L étant le nombre de signaux d'entrée, et 1(0 étant un signal d'entrée parmi lesdits signaux d'entrée,
Α " étant une fonction de transfert avec effet de salle spécifique à un signal d'entrée, ¾eaîï(m) etant u ne fonction de transfert globale, avec effet de salle, commune aux signaux d'entrée,
WK(I) étant un poids de pondération choisi, et 6{J(i) ), un gain de compensation d'énergie prédéterminé,
∑—,DD∞ etant une application de délai, compté en nombre de blocs d'échantillons, correspondant à un écart temporel entre une émission sonore dans une salle correspondant à l'effet de salle, et un début de présence de champ diffus dans cette salle, l'indice m correspondant à un nombre de blocs d'échantillons de durée correspondant à ce délai, M étant le nombre total de blocs que dure une fonction de transfert dans une représentation temps-fréquence,
le signe « . » désignant la multiplication,
le signe « *fe, .f*( » désignant l'opérateur de convolution sur un nombre de fréquences limité et allant d'une plus basse fréquence à une fréquence maximale f" ' (Î) qui est fonction au moins du signal d'entrée d'indice l, et le signe « ,^.¾f )^ » désignant l'opérateur de convolution sur un nombre de fréquences limité et allant d'une plus basse fréquence à une fréquence _f*{m) qui est fonction du bloc d'échantillons d'indice m.
Cette réalisation sera décrite en détails plus loin en référence aux figures 2 et 5, notamment.
On peut aussi appliquer une limitation de calculs de multiplications au-delà d'une première fréquence seuil, dès le ou les premiers blocs d'échantillons, en fonction des caractéristiques du signal (par exemple sa fréquence d'échantillonnage, ou la fréquence la plus élevée représentée dans les composantes spectrales du signal) ou en fonction des caractéristiques de spatialisation appliquée (avec par exemple une limitation des composantes de hautes fréquences pour un trajet acoustique contra-latéral comme détaillé plus loin).
Dans ce cas, le signal issu des réverbérations (après réflexions ou dans le champ diffus) ne comporte pas, normalement, de composantes spectrales de fréquence plus élevée que le signal initial. Ainsi, la fréquence seuil précitée ne peut pas être plus grande que cette fréquence la plus élevée.
Ainsi, en termes plus génériques, dans une forme de réalisation, on obtient une information de composante spectrale de fréquence la plus élevée dans le signal sonore, et la fréquence seuil précitée est choisie comme étant le minimum parmi une fréquence seuil prédéterminée (par exemple entre 5 et 15 kHz) et ladite fréquence la plus élevée.
Typiquement, dans une réalisation où le signal sonore est issu d'un décodeur en compression, l'information de composante spectrale de fréquence la plus élevée peut être fournie par le décodeur.
De même, si la spatialisation est réalisée auprès d'un module capable de supporter différents formats de signaux, notamment en termes de fréquence d'échantillonnage de tels signaux, la fréquence la plus élevée, précitée, ne peut pas être supérieure à la moitié de la fréquence d'échantillonnage, et, ainsi, la fréquence seuil pour la mise en œuvre de l'invention peut être choisie en outre en fonction de cette fréquence d'échantillonnage. Dans une réalisation où le signal sonore est spatialisé sur au moins des premier et deuxième haut-parleurs virtuels, associés respectivement à un premier et un deuxième canal, on applique respectivement des première et deuxième fonctions de transfert avec effet de salle sur ces premier et deuxième canaux, comme expliqué ci-avant en introduction (par exemple en adaptant des signaux sur des canaux ambiophoniques pour passer à une restitution binaurale ou transaurale). En particulier, dans le cas où l'une des première et deuxième fonctions de transfert applique un effet de trajet acoustique ipsi-latéral, tandis que l'autre des première et deuxième fonctions de transfert applique un effet de trajet acoustique contra-latéral, on peut prévoir une élimination des composantes spectrales du signal sonore au-delà d'une fréquence d'écrantage donnée. Cette fréquence « d'écrantage » s'explique par le fait que pour un trajet contra-latéral entre un haut-parleur virtuel et une oreille considérée de l'auditeur, la tête de l'auditeur masque le trajet acoustique et absorbe les tonalités les plus aigùes de l'onde acoustiques (donc élimine les composantes spectrales associées aux fréquences les plus élevées de l'onde acoustique). Ainsi, la fréquence seuil précitée, pour la fonction de transfert appliquant un effet de trajet contra-latéral, peut être choisie comme un minimum parmi une fréquence seuil prédéterminée (par exemple choisie entre 5 et 15kHz) et cette fréquence d'écrantage. Cette réalisation est avantageuse pour être appliquée déjà pour le premier bloc d'échantillons. En revanche, elle n'exclut pas la possibilité d'augmenter à nouveau la fréquence seuil pour le bloc suivant pour simuler une première réflexion sur un mur situé en regard de l'oreille considérée, cette première réflexion étant reçue à cette oreille par un trajet ipsi-latéral.
On comprendra en tout état de cause que la fréquence de coupure peut être choisie commune à tous les signaux, dans une réalisation possible, après un instant donné qui correspond par exemple à la présence du champ diffus.
Ainsi, la réalisation décrite dans le document F 1357299 introduit plus haut peut être avantageuse dans le contexte de l'invention, et en particulier si chaque fonction de transfert appliquée à un signal comporte :
- une fonction de transfert spécifique à ce signal, additionnée à - une fonction de transfert globale, commune à tous les signaux, et représentative d'une présence de champ diffus,
alors l'instant donné précité peut être commun à l'ensemble des signaux et correspondre par exemple à un début de présence de champ sonore diffus.
Dans une réalisation où les signaux comportent des blocs successifs d'échantillons, de mêmes tailles entre signaux, on prévoit au moins un instant donné pour la limitation de la prise en compte des composantes fréquentielles jusqu'à une fréquence de coupure, cet instant donné étant situé temporellement au début d'un bloc différent d'un premier bloc dans une succession de blocs. Cet instant donné intervient donc après une propagation directe, et au moment de réflexions sonores ou de présence de champ diffus.
Cette réalisation sera détaillée plus loin en référence à la figure 5, illustrant aussi, dans un exemple de réalisation, un possible algorithme d'un programme informatique qu'exécuterait un processeur d'un module de spatialisation opérant le procédé au sens de l'invention. A ce titre, la présente invention vise aussi, de façon générale, un programme informatique comportant des instructions pour la mise en œuvre du procédé ci-avant, lorsqu'elles sont exécutées par un processeur.
La présente invention vise aussi un module de spatialisation sonore, comportant des moyens de calcul pour appliquer au moins une fonction de transfert à effet de salle à au moins un signal sonore d'entrée, ladite application revenant à multiplier, dans le domaine spectral, des composantes spectrales du signal sonore par les composantes spectrales d'un filtre correspondant à ladite fonction de transfert, chaque composante spectrale du filtre comportant une évolution temporelle dans une représentation temps-fréquence. En particulier, ces moyens de calcul sont configurés pour ignorer lesdites composantes spectrales du filtre pour lesdites multiplications de composantes, au-delà d'une fréquence seuil et après au moins un instant donné dans ladite représentation temps-fréquence.
Le module de spatialisation sonore recevant une pluralité de signaux d'entrée, délivre au moins deux signaux de sortie, les moyens de calcul étant configurés pour appliquer une fonction de transfert à effet de salle, à chaque signal d'entrée, chacun desdits signaux de sortie étant donné par application d'une formule du type :
Ok étant un signal de sortie, et k étant l'indice relatif à un signal de sortie,
,· 6 i'î L], étant l'indice relatif à un signal d'entrée parmi lesdits signaux d'entrée, L étant le nombre de signaux d'entrée, et /(!) étant un signal d'entrée parmi lesdits signaux d'entrée,
Ak{l) étant une fonction de transfert avec effet de salle spécifique à un signal d'entrée, J¾SG5S(m) étant une fonction de transfert globale, avec effet de salle, commune aux signaux d'entrée,
Wfe{!) étant un poids de pondération choisi, et £Τ(/( ), un gain de compensation d'énergie prédéterminé,
z ■ ~lDD™ étant une application de délai, compté en nombre de blocs d'échantillons, correspondant à un écart temporel entre une émission sonore dans une salle correspondant à l'effet de salle, et un début de présence de champ diffus dans cette salle, l'indice m correspondant à un nombre de blocs d'échantillons de durée correspondant à ce délai, M étant le nombre total de blocs que dure une fonction de transfert dans une représentation temps-fréquence,
le signe « . » désignant la multiplication,
le signe « ¾, ,fk(,i » désignant l'opérateur de convolution sur un nombre de fréquences limité et allant d'une plus basse fréquence à une fréquence maximale fk(Î) qui est fonction au moins du signal d'entrée d'indice , et
le signe « *ji5, .f*{m$ » désignant l'opérateur de convolution sur un nombre de fréquences limité et allant d'une plus basse fréquence à une fréquence f (m) qui est fonction du bloc d'échantillons d'indice . Ce module peut être intégré dans un dispositif de décodage en compression, ou plus généralement dans un système de restitution.
On a représenté sur la figure 6 un tel module de spatialisation SPAT, ainsi qu'un dispositif de décodage DECOD qui reçoit d'un réseau RES, dans l'exemple représenté, des signaux codés en compression l'(/) (avec I = 1,...,L) et les décode avant restitution en transmettant les signaux décodés l(/) (avec I = 1,...,L) au module de spatialisation. Ce dernier comprend dans l'exemple représenté une interface d'entrée IN pour recevoir les signaux décodés, ainsi que des moyens de calculs tels qu'un processeur PROC et une mémoire de travail MEM coopérant avec les interfaces IN/OUT pour spatialiser les signaux l(/) et délivrer par l'interface de sortie OUT uniquement deux signaux Od et O8 destinés à alimenter les oreillettes respectives d'un casque CAS.
D'autres caractéristiques et avantages de l'invention apparaîtront à l'examen de la description détaillée ci-après, et des dessins annexés sur lesquels :
la figure 1 illustre une réalisation générale du procédé selon l'invention ;
la figure 2 illustre un exemple d'application du procédé selon un mode de réalisation où les fonctions de transfert sont sous la forme d'une combinaison de deux fonctions de transfert dont l'une est appliquée avec un retard sur le signal à traiter ;
la figure 3 représente un exemple de représentation temps-fréquence d'une fonction de transfert avec des fréquences de coupure (ou « fréquences seuils » précitées) variables notamment en fonction du temps ;
la figure 4 illustre un organigramme correspondant à un algorithme général possible du programme informatique au sens de l'invention,
la figure 5 représente une réalisation particulière issue du mode représenté sur la figure
2, mais sur plus de deux blocs temporels successifs, avec une évolution de la fonction de transfert S¾.Sj2¾(m) représentant le champ diffus, en fonction des blocs m ;
la figure 6 illustre un exemple de module de spatialisation au sens de l'invention ;
la figure 7 illustre schématiquement les haut-parleurs virtuels et l'effet de salle pour appliquer une fonction de transfert appropriée, avec l imitation des composantes fréquentielles de cette fonction de transfert jusqu'à une fréquence de coupure appropriée.
Avant de décrire la figure 1 et le principe général de l'invention, on se réfère à la figure 7 pour expliquer les phénomènes physiques qui sous-tendent la présente invention.
Une pluralité de haut-parleurs virtuels entourent, dans l'exemple représenté, la tête TE d'un auditeur. Chacun des haut-parleurs virtuels HPV est alimenté initialement par un signal î{Î) avec ' G [1.· i] par exemple précédemment décodé comme indiqué ci-avant en référence à la figure 6. La disposition des haut-parleurs virtuels peut concerner une représentation multicanale ou aussi ambiophonique des signaux 1(1} à traiter pour les restituer ensemble de façon spatialisée avec un effet de salle sur un casque à oreillettes CAS (figure 6). A cet effet, on applique habituellement à chaque signal une fonction de transfert à effet de salle pour chaque signal d'oreillette à délivrer Ok, avec k = d (pour droite), g (pour gauche). Ainsi, en référence à la figure 7, on considère pour chaque haut-parleur virtuel HPV le trajet acoustique (ipsi-latéral TIL dans l'exemple représenté) du haut-parleur HPV à l'oreille gauche OG, ainsi que le trajet acoustique (contra-latéral TCL dans l'exemple représenté) du haut- parleur HPV à l'oreille droite OD, ainsi que des réflexions sur les murs MUR (trajet RIL), et finalement un champ diffus après plusieurs réflexions. A chaque réflexion, il est considéré que l'onde acoustique s'atténue dans les fréquences les plus élevées.
Ainsi, en référence à la figure 3 relative à une représentation temps-fréquence d'une fonction de transfert adaptée pour le haut-parleur virtuel HPV représenté sur la figure 7, il apparaît déjà que la tête de l'auditeur masque naturellement le trajet contra-latéral et les fréquences les plus élevées à considérer pour la fonction de transfert propre à l'oreille droite OD sont plus basses que celles à considérer pour la fonction de transfert propre à l'oreille gauche OG (qui est en regard du haut-parleur virtuel HPV selon un trajet ipsi-latéral). Ainsi, en considérant un premier bloc de temps de 0 à N-l, noté m=0, la fréquence maximale Fc d(0) d'un filtre représentant la fonction de transfert propre à l'oreille droite peut être plus basse que la fréquence maximale Fc 8(0) d'un filtre représentant la fonction de transfert propre à l'oreille gauche. Un concepteur de tel filtre peut ainsi limiter les composantes de son filtre pour l'oreille droite jusqu'à la fréquence de coupure Fc d(0) (correspondant à une fréquence d'écrantage de la tête) quand bien même le signal à traiter l(/) peut avoir des composantes spectrales supérieures et jusqu'à la fréquence Fc 8(0) au moins.
Ensuite, après des réflexions, l'onde acoustique tend à s'atténuer dans les fréquences élevées, ce qui est bien respecté par la représentation temps-fréquence de la fonction de transfert pour l'oreille gauche, comme pour l'oreille droite, pour les instants N à 2N-1, correspondant au bloc suivant noté m=l. Ainsi, un concepteur de filtres représentant ces fonctions de transfert peut prévoir de limiter les composantes des filtres pour l'oreille droite jusqu'à la fréquence de coupure Fc d(l) et pour l'oreille gauche jusqu'à la fréquence de coupure Fc 8(l). Dans un mode de réalisation illustré en particulier sur la figure 5, on peut considérer que dans le bloc m=l, la fonction de transfert caractérise typiquement un champ diffus pour l'oreille droite comme pour l'oreille gauche, et, ainsi, il peut être établi (possiblement mais non limitativement) que Fc d(l)=Fc 8(l).
Ensuite, en présence de champ diffus avec atténuation globale du son (« fade out »), l'onde acoustique tend à s'atténuer davantage dans les fréquences élevées, ce qui est bien respecté encore par la représentation temps-fréquence de la fonction de transfert pour l'oreille gauche, comme pour l'oreille droite, sur la figure 3, pour les instants 2N à 3N-1, correspondant au bloc noté m=2. Ainsi, un concepteur de filtres représentant ces fonctions de transfert peut prévoir de limiter les composantes des filtres pour l'oreille droite jusqu'à la fréquence de coupure Fc d(2) et pour l'oreille gauche jusqu'à la fréquence de coupure Fc 8(2).
On relèvera que des blocs plus courts permettraient de faire varier plus finement la plus haute fréquence à considérer par exemple pour tenir compte d'une première réflexion RIL pour laquelle la fréquence la plus haute augmente pour l'oreille droite (traits pointillés autour de Fc d(0) dans la figure 3) dans les premiers instants du bloc m=0.
Ainsi, on retiendra qu'il est possible de ne pas prendre en compte toutes les composantes spectrales d'un filtre représentant une fonction de transfert, en particulier au-delà d'une fréquence de coupure Fc. Dès lors, il est avantageux de traiter l'application de la fonction de transfert, dans le domaine spectral. En effet, la convolution d'un signal l(/) par une fonction de transfert devient, dans le domaine spectral, une multiplication des composantes spectrales du signal l(/) par les composantes spectrales du filtre représentant la fonction de transfert dans le domaine spectral, et, en particulier, cette multiplication peut être opérée jusqu'à une fréquence de coupure seulement, qui est fonction d'un bloc donné, par exemple, et du signal à traiter.
Ainsi, en référence à la figure 1, L signaux d'entrée 1(1), 1(2), I(L) sont transformés dans le domaine fréquentiel, respectivement aux étapes TF11, TF12, TF1L. En variante, de tels signaux d'entrée peuvent déjà être disponibles sous forme fréquentielle (par exemple auprès du décodeur).
A l'étape BA11, une réponse impulsionnelle complète de spatialisation (typiquement de type B I pour « Binaural Room Impulse Response ») sous forme temporelle correspondant au signal 1( 1) du canal 1 est mise en mémoire. A l'étape TFA11, on transforme cette réponse impulsionnelle sous forme fréquentielle pour obtenir un filtre correspondant dans le domaine spectral. Dans un mode de réalisation avantageux, le filtre est stocké sous sa forme spectrale pour éviter de répéter le calcul de la transformée. On multiplie ensuite ce filtre au signal d'entrée sous forme fréquentielle du canal 1 (ce qu i équivaut à une convol ution dans le domaine temporel). On dispose donc du signal spatialisé pour le signal 1(1) du canal 1.
On effectue les mêmes opérations pour les L-1 autres canaux. On dispose ainsi au total de L canaux spatialisés. Ces canaux sont ensuite sommés pour obtenir un unique signal de sortie représentant les L canaux, et on repasse dans le domaine temporel à l'étape ITF11, pour délivrer l'un des signaux Ok (avec k=d,g) alimentant une oreillette. Un traitement analogue est réalisé pour l'autre oreillette. Dans un mode de réalisation décrit en détails plus loin en référence aux figures 2 et 5, les L canaux spatialisés ne sont pas accessibles indépendamment avant sommation : l'unique signal de sortie est construit en sommant au fur et à mesure chaque canal spatialisé avec le signal de sortie précédent. On effectue ces opérations pour chaque signal de sortie Ok à construire. Typiquement, s'il s'agit d'un restitution binaurale, ces étapes sont effectuées deux fois, une fois pour le signal de sortie destiné à alimenter une oreillette gauche d'un casque d'écoute et une fois pour le signal de sortie destiné à alimenter l'oreillette droite du casque. Ainsi, on obtient finalement deux signaux spatialisés Od et O8 correspondant chacun à une oreille.
Les L signaux d'entrée peuvent correspondre typiquement aux L canaux d'un contenu audio multicanal censé alimenter des haut-parleurs (« virtuels »). Les L signaux d'entrée peuvent par exemple correspondre aux L signaux ambiophoniques d'un contenu audio en représentation ambiophonique.
En référence maintenant à la figure 2 illustrant une mise en œuvre au sens de l'invention, on reprend le principe d'une spatialisation de L canaux comme présenté sur la figure 1. Néanmoins, la présentation de la figure 2 est simpl ifiée en ce que les L signaux d'entrée sont réunis en une seule voie l(/). Ainsi, L signaux d'entrées 1( 1), 1(2), I(L) sont transformés dans le domaine fréquentiel à l'étape S21. Comme indiqué précédemment, de tels signaux d'entrée peuvent en variante être déjà disponibles sous forme fréquentielle. A l'étape S22, une réponse impulsionnelle Ak(/) de spatialisation (typiquement de type B I ) correspondant au signal l(/) du canal / est transformée dans le domaine spectral pour obtenir un filtre fréquentiel. Cette réponse impulsionnelle Ak(/) est incomplète dans la représentation de la figure 2 car elle correspond à un premier bloc temporel d'échantillons m=0. Comme indiqué précédemment, cette réponse impulsionnelle peut être déjà disponible sous forme fréquentielle. On multiplie ensuite les composantes de ce filtre au signal spectral du canal correspondant l(/). Cette multiplication est paramétrée (comme indiq ué ci-dessous en référence à la figure 4) pour que certaines composantes fréquentielles soient ignorées, au sens de l'invention. Typiquement, les composantes fréquentielles les plus élevées seront ignorées pour limiter la complexité des calculs. Sur les figures 2 et 5, on note alors la multiplication des composantes limitée à une fréquence de coupure par le signe : __EÈ^
Une fréquence de coupure fcA(i) à partir de laquelle les composantes fréquentielles sont ignorées est définie (par exemple la fréquence maximale représentée dans le signal du canal l(/), ou la moitié de sa fréquence d'échantillonnage). En outre, cette fréquence de coupure est spécifique à chaque filtre et pour chaque bloc (elle diminue par exemple pour les blocs m=l, m=2). Comme les filtres sont ici spécifiques à chaque signal d'entrée et à chaque oreille, une fréquence de coupure est spécifique à un signal d'entrée, à une oreille (donc un signal de sortie) et à un bloc temporel.
On dispose alors du signal spatialisé pour le canal / pour ce premier bloc temporel. On effectue ces opérations pour tous les L canaux : / = 1,...,L. On dispose ainsi de L canaux spatialisés. Ces canaux sont ensuite sommés à l'étape S23 pour obtenir un unique signal représentant les L canaux sur le premier bloc temporel.
En pratique, la sommation est réalisée de façon particulière, car elle tient compte d'un retard sur les canaux pour caractériser les réverbérations (réflexions et champ diffus), comme détaillé ci-après. En effet, dans un mode de réalisation, les L canaux spatialisés ne sont pas accessibles indépendamment avant sommation : l'unique signal de sortie est construit en sommant au fur et à mesure chaque canal spatialisé avec le signal de sortie précédent. A cet effet, à l'étape DBD, on retarde les signaux d'entrée l(/) d'un certain délai donné par z"lDD m propre à chaque bloc m=l, M. On remarque que pour le premier bloc, le retard m est nul. Dans le cas d'une représentation fréquentielle, ce délai correspond généralement à la taille d'une trame de signal traité pour le premier bloc, et s'interprète comme le fait de prendre le bloc d'entrée précédent dans sa forme fréquentielle.
A l'étape S24, une réponse impulsionnelle Bk m(/) incomplète de spatialisation (typiquement de type B I ) correspondant au signal l(/) du canal / est transformée dans le domaine spectral pour obtenir un filtre fréq uentiel. Cette réponse impulsionnelle Bk m(/) est incomplète car elle correspond à un second bloc temporel d'échantillons (puis à un troisième bloc et ainsi de suite, pour m=l, M). Comme indiqué précédemment, cette réponse impulsionnelle peut en variante être déjà disponible sous forme fréquentielle. En appliquant le principe décrit dans le document FR1357299, il est possible de réduire la complexité du traitement en posant Bk m(l)= ... = Bk m(/) = ... = Bk m(L)= Bk mean(m) et de ne faire dépendre finalement cette fonction de transfert que du bloc m considéré (champ diffus principal, ou champ diffus secondaire avec atténuation « fade out ») et de l'oreille k. De même, le champ diffus ne dépend pas des canaux et il est possible de fixer la fréquence de coupure fc comme étant identique pour chaque canal (mais qui peut diminuer encore d'un bloc au suivant, comme on l'a vu précédemment en référence à la figure 3). Cette réalisation est présentée sur la figure 5.
En référence à nouveau à la figure 2, on multiplie ensuite ce filtre Bk m(/) au signal l(/) du canal /. Les fréquences de coupure sont différentes pour ce second bloc temporel. Comme présenté en référence à la figure 3, des mesures montrent que les hautes fréquences sont plus atténuées dans les blocs temporels éloignés (correspondants à des sons diffus et aux réverbérations multiples). Les fréquences de coupure pour ces blocs éloignés peuvent donc être plus faibles que pour les premiers blocs. Or, plus la fréquence de coupure est faible, plus le nombre d'opérations est limité. Ainsi, la complexité des calculs est avantageusement réduite.
On effectue les mêmes opérations pour les L canaux et on répète les opérations de multiplication du filtre sur les signaux spectraux progressivement retardés en sommant les contributions à l'étape S25 réitérée pour chaque retard m jusqu'à obtenir un unique signal représentant les L canaux sur l'ensemble M des blocs temporels m considérés. L'unique signal de sortie est construit en sommant au fur et à mesure chaque canal spatialisé avec le signal de sortie précédent comme on le verra maintenant en référence à la figure 4.
Enfin, on repasse dans le domaine temporel à l'étape S26 pour obtenir un signal de sortie destiné à alimenter l'une des oreillettes du casque.
En référence à la figure 4, on décrit maintenant un procédé de spatialisation pour un bloc temporel donné (par exemple pour le bloc représentant le champ sonore direct à valeurs dans l'intervalle temporel [0 ; N-l]) et pour un signal correspondant, par exemple, à l'oreille droite. Bien sûr, le même procédé est appliqué pour le signal correspond à l'oreille gauche. La distinction entre les deux oreilles est introduite par l'application de filtres spécifiques à chacune de ces oreilles. A l'étape S40, le signal de sortie S est initialisé à 0. Ce signal de sortie s'exprime dans le domaine fréquentiel. Il possède une taille limitée d'une longueur supérieure à la fréquence de coupure fc(/). Par exemple, ce signal est défini sur [0 ; fs(/)/2], fs(/) étant la fréquence d'échantillonnage de ce signal l(/). Une première variable de comptage / est également initialisée à 1. Cette première variable de comptage identifie un des signaux de canal 1(1), 1(2), ... , l(/), ... , l(L) sur le bloc temporel [0 ; N-l] pour l'oreille droite. A l'étape S41, une deuxième variable de comptage j est initialisée à 0. Cette seconde variable de comptage identifie une composante fréquentielle d'un signal l(/) sur le bloc temporel [0 ; N-l] pour l'oreille droite.
A l'étape S42, le coefficient cBR!R(j ; /) est mis en mémoire. Ce coefficient correspond à la composante fréquentielle j du filtre B I (/) sur le bloc temporel [0 ; N-l] pour l'oreille droite. De même, le coefficient c,(j ; /) est mis en mémoire. Ce coefficient correspond à la composante fréquentielle j du signal l(/) sur le bloc temporel [0 ; N-l] pour l'oreille droite. Ainsi, les coefficients cBR|R(j ; /) et qfj ; /) correspondent à la même composante fréquentielle (identifiée par la variable j) et pourront ainsi être ultérieurement multipliés terme à terme (étape S44).
Au test T47, on vérifie que la fréquence correspondant à la variable j est inférieure (par exemple strictement) à la fréquence de coupure fc(/). Cette fréquence de coupure correspond à la fréquence de coupure du signal l(/) pour le bloc temporel [0 ; N-l] pour l'oreille droite. Si la fréquence j est inférieure à la fréquence de coupure fc(/), on passe à l'étape S44.
A l'étape S44, on calcul une valeur MULT(j) correspondant à la multiplication des coefficients ; /) et q(j ; /). Ces coefficients sont bien multipliés terme à terme car ils correspondent à la même composante fréquentielle j (pour un même canal, sur un même bloc et pour une même oreille).
A l'étape S45, on incrémente cette valeur MULT(j) au signal S à la position de la fréquence j. Ainsi, on procède à une construction pas à pas d'un signal S qui comprend (à la fin de la boucle de longueur fc(/)) l'ensemble des composantes fréquentielles jusqu'à la fréquence de coupure fc(/) (pour ce signal l(/) sur le bloc [0 ; N-1] et pour une oreille droite). Comme au début de la boucle de la figure 4, on a déjà toutes les composantes initialisées à 0, à la fin de la boucle, on a finalement rempli un buffer (initialement nul) jusqu'à la fréquence de coupure pour construire successivement le signal S. Ainsi, chaque multiplication MULT(j) de coefficients est ajoutée pas à pas au signal S en construction.
A l'étape S46, on incrémente la variable j et on reprend à l'étape S42. Si la variable j est supérieure (par exemple ou égale) à la fréquence de coupure fc(/), on passe au test T48. Ainsi, on a rempli le signal S sur l'intervalle [0 ; fc(/)].
Comme précisé ci-avant, ce signal peut être défini sur un intervalle plus grand que [0 ; fc(/)] (par exemple [0 ; fs(/)/2]). De plus, ce signal avait été initialisé à 0 sur la totalité de son intervalle de définition. Dès lors, il est nul sur le reste de l'intervalle qui n'a pas été rempli (par exemple [fc(/) ; fs(/)/2]). La complexité est donc ici améliorée car des étapes de remplissage du signal S n'ont pas été effectuées, ce qui réduit le nombre de calculs nécessaires.
Au test T48, on vérifie que la variable de comptage / correspondant au signal l(/) du canal / est inférieure (par exemple strictement) au nombre L de canaux. Si la variable / est inférieure ou égale à L, on incrémente la variable / à l'étape S49 et on reprend le procédé à l'étape S41. Si la variable / est supérieure à L, le signal S correspondant au signal spatialisé pour le bloc temporel [0 ; N-1] pour l'oreille droite est dispon ible à l'étape S50.
Ce signal S correspondant au bloc temporel [0 ; N-1] est ensuite sommé aux autres signaux générés de manière similaire pour d'autres blocs temporels [N ; 2N-1], [2N ; 3N-1], etc., (et pour lesquels un retard approprié a été appliqué conformément à l'étape DBD ci-avant de la figure 2 par exemple). Typiquement, pour construire le bloc [N ; 2N-1], on applique dans le domaine fréquentiel un filtre correspondant à une fonction de transfert commune à tous les signaux d'entrée l(/), représentant le champ diffus, avec une fréquence de coupure fc dans la multiplication des composantes spectrales qui correspond au minimu m entre :
- une fréquence maximale de champ diffus Fc (diffus) comme illustrée sur la figure 3 décrite ci-avant (choisie par exemple entre 10 à 15 kHz pour le bloc m=l et entre 5 à 10 kHz pour le bloc m=2), et
- la fréquence maximale fmax représentée dans chaque signal d'entrée (par exemple sa fréquence d'échantillonnage ou la fréquence maximale dont la composante spectrale n'est pas nulle, cette valeur étant habituellement donnée par un décodeur en compression).
Il est à noter que la multiplication fréquentielle en s'arrêtant à une fréquence de coupure donnée (ce qui revient mathématiquement à multiplier par 0 au-delà) n'est pas triviale pour l'homme de l'art. En effet, dans un contexte de filtrage d'un signal audio, ce type de filtre passe-bas très violent apporte généralement des artefacts audibles (dits « d'aliasing »), dus à des phénomènes d'écho ou de pré-écho provenant du repliement temporel généré par la convolution circulaire, qu'il est généralement désirable d'éviter. Or, dans le contexte de l'invention, ce filtre passe-bas n'est pas appliqué au signal audio, mais au filtre BRIR (qui est lui-même convolué au signal audio) qui est déjà composé de multiples réflexions ; les artefacts produits seront donc, au pire, perçus comme des réflexions supplémentaires du filtre BRIR d'origine, et en pratique rarement perceptibles. Il est toutefois possible d'atténuer néanmoins ces artefacts en modifiant légèrement les fréquences du filtre précédant la fréquence de coupure (par exemple par atténuation douce par application d'une demi- fenêtre de Hanning (type fade out)).
De manière générale, en référence à la figure 4, on remarquera que deux opérations sont effectuées dans une même instance de boucle (typiquement un coup d'horloge) : la multiplication MULT(k) et son ajout au signal S de sortie. Ceci permet notamment d'implémenter ce procédé sur des processeurs qui ont la possibilité d'effectuer plusieurs opérations sur une même instance de boucle (typiquement un coup d'horloge) et de réduire ainsi le temps nécessaire aux calculs. On a illustré sur la figure 5 une forme algorithmique complète du traitement, conforme à la formule donnant un si nal de sortie Ok résentée ci-avant :
Comme indiqué ci-avant les pondérations Wk(/) et les gains G(l(/)) peuvent être fixés à 1. On n'a pas représenté sur la figure 5 les gains G(l(/)) car il convient de lire cette figure comme une intégration des gains aux poids 1/Wk(/). D'ailleurs, à la conception des filtres, ces deux paramètres sont déterminés, fixés et multipliés l'un à l'autre une fois pour toutes.

Claims

REVENDICATIONS
1. Procédé de spatialisation sonore, comportant l'application d'au moins une fonction de transfert à effet de salle à au moins un signal sonore, ladite application revenant à multiplier, dans le domaine spectral, des composantes spectrales du signal sonore par les composantes spectrales d'un filtre correspondant à ladite fonction de transfert, chaque composante spectrale du filtre comportant une évolution temporelle dans une représentation temps-fréquence,
procédé dans lequel lesdites composantes spectrales du filtre sont ignorées, pour lesdites multiplications de composantes, au-delà d'une fréquence seuil et après au moins un instant donné dans ladite représentation temps-fréquence et dans lequel, pour une mise en œuvre par un module de spatialisation sonore recevant une pluralité de signaux d'entrée et délivrant au moins deux signaux de sortie, pour délivrer chaque signal de sortie, on applique une fonction de transfert à effet de salle, à chaque signal d'entrée, chacun desdits signaux de sortie étant donné par application d'une formule du type :
0¾ étant un signal de sortie, et k étant l'indice relatif à un signal de sortie,
l £ il; £], étant l'indice relatif à un signal d'entrée parmi lesdits signaux d'entrée, L étant le nombre de signaux d'entrée, et II . étant un signal d'entrée parmi lesdits signaux d'entrée,
Âk{l) étant une fonction de transfert avec effet de salle spécifique à un signal d'entrée, -¾esfî(?îï) étant une fonction de transfert globale, avec effet de salle, commune aux signaux d'entrée,
Wk{l) étant un poids de pondération choisi, et G{i{l)j, un gain de compensation d'énergie prédéterminé, ∑—,ππ etant une application de délai, compté en nombre de blocs d'échantillons, correspondant à un écart temporel entre une émission sonore dans une salle correspondant à l'effet de salle, et un début de présence de champ diffus dans cette salle, l'indice m correspondant à un nombre de blocs d'échantillons de durée correspondant à ce délai, M étant le nombre total de blocs que dure une fonction de transfert dans une représentation temps-fréquence,
le signe « . » désignant la multiplication,
le signe « Γ4-ι $ » désignant l'opérateur de convolution sur un nombre de fréquences limité et allant d'une plus basse fréquence à une fréquence maximale /* {!) qui est fonction au moins du signal d'entrée d'indice l, et
le signe « , #.¾^.¾; » désignant l'opérateur de convolution sur un nombre de fréquences limité et allant d'une plus basse fréquence à une fréquence fk im) qui est fonction du bloc d'échantillons d'indice m.
2. Procédé selon la revendication 1, dans lequel la fréquence seuil diminue en fonction du temps dans ladite représentation temps-fréquence.
3. Procédé selon l'une des revendications précédentes, dans lequel on obtient une information de composante spectrale de fréquence la plus élevée dans le signal sonore, et dans lequel ladite fréquence seuil est un minimum parmi une fréquence seuil prédéterminée et ladite fréquence la plus élevée.
4. Procédé selon la revendications, dans lequel le signal sonore est issu d'un décodeur en compression et l'information de composante spectrale de fréquence la plus élevée est fournie par le décodeur.
5. Procédé selon l'une des revendications 3 et 4, dans lequel le signal sonore est échantillonné à une fréquence d'échantillonnage donnée, ladite fréquence seuil étant choisie en fonction de ladite fréquence d'échantillonnage.
6. Procédé selon l'une des revendications précédentes, dans lequel le signal sonore est spatialisé sur au moins un premier et un deuxième haut-parleurs virtuels associés respectivement à un premier et un deuxième canal, et on applique respectivement des première et deuxième fonctions de transfert avec effet de salle sur lesdits premier et deuxième canaux,
l'une des première et deuxième fonctions de transfert appliquant un effet de trajet acoustique ipsi-latéral, et l'autre des première et deuxième fonctions de transfert appliquant un effet de trajet acoustique contra-latéral avec une élimination des composantes spectrales du signal sonore au-delà d'une fréquence d'écrantage donnée,
et dans lequel ladite fréquence seuil pour la fonction de transfert appliquant un effet de trajet contra-latéral est un minimum parmi une fréquence seuil prédéterminée et ladite fréquence d'écrantage.
7. Procédé selon la revendication 1, dans lequel les signaux comportent des blocs successifs d'échantillons, de mêmes tailles entre signaux, et dans lequel ledit au moins un instant donné est situé temporellement au début d'un bloc distinct d'un premier bloc dans une succession de blocs.
8. Programme informatique, comportant des instructions pour la mise en œuvre du procédé selon l'une des revendications précédentes, lorsqu'elles sont exécutées par un processeur.
9. Module de spatialisation sonore, comportant des moyens de calcul pour appliquer au moins une fonction de transfert à effet de salle à au moins un signal sonore d'entrée, ladite application revenant à multiplier, dans le domaine spectral, des composantes spectrales du signal sonore par les composantes spectrales d'un filtre correspondant à ladite fonction de transfert, chaque composante spectrale du filtre comportant une évolution temporelle dans une représentation temps-fréquence,
caractérisé en ce que les moyens de calcul sont configurés pour ignorer lesdites composantes spectrales du filtre pour lesdites multiplications de composantes, au- delà d'une fréquence seuil et après au moins un instant donné dans ladite représentation temps-fréquence et en ce que le module de spatialisation sonore recevant une pluralité de signaux d'entrée, délivre au moins deux signaux de sortie, les moyens de calcul étant configurés pour appliquer une fonction de transfert à effet de salle, à chaque signal d'entrée, chacun desdits signaux de sortie étant donné par application d'une formule du type :
Qk étant un signal de sortie, et k étant l'indice relatif à un signal de sortie,
si £ étant l'indice relatif à un signal d'entrée parmi lesdits signaux d'entrée, L étant le nombre de signaux d'entrée, et 1(0 étant un signal d'entrée parmi lesdits signaux d'entrée,
Α " étant une fonction de transfert avec effet de salle spécifique à un signal d'entrée, ¾eaîï(m) etant u ne fonction de transfert globale, avec effet de salle, commune aux signaux d'entrée,
WK(I) étant un poids de pondération choisi, et 6{J(i) ), un gain de compensation d'énergie prédéterminé,
∑—,DD∞ etant une application de délai, compté en nombre de blocs d'échantillons, correspondant à un écart temporel entre une émission sonore dans une salle correspondant à l'effet de salle, et un début de présence de champ diffus dans cette salle, l'indice m correspondant à un nombre de blocs d'échantillons de durée correspondant à ce délai, M étant le nombre total de blocs que dure une fonction de transfert dans une représentation temps-fréquence,
le signe « . » désignant la multiplication,
le signe « *fe, .f*( » désignant l'opérateur de convolution sur un nombre de fréquences limité et allant d'une plus basse fréquence à une fréquence maximale f" ' (Î) qui est fonction au moins du signal d'entrée d'indice l, et le signe « ^ ^¾BS^ » désignant l'opérateur de convolution sur un nombre de fréquences limité et allant d'une plus basse fréquence à une fréquence fk {m) qui est fonction du bloc d'échantillons d'indice tn.
EP14796814.3A 2013-10-18 2014-10-14 Spatialisation sonore avec effet de salle, optimisee en complexite Active EP3058564B1 (fr)

Priority Applications (1)

Application Number Priority Date Filing Date Title
EP22211949.7A EP4184505B1 (fr) 2013-10-18 2014-10-14 Spatialisation sonore avec effet de salle, optimisee en complexite

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1360185A FR3012247A1 (fr) 2013-10-18 2013-10-18 Spatialisation sonore avec effet de salle, optimisee en complexite
PCT/FR2014/052617 WO2015055946A1 (fr) 2013-10-18 2014-10-14 Spatialisation sonore avec effet de salle, optimisee en complexite

Related Child Applications (2)

Application Number Title Priority Date Filing Date
EP22211949.7A Division EP4184505B1 (fr) 2013-10-18 2014-10-14 Spatialisation sonore avec effet de salle, optimisee en complexite
EP22211949.7A Division-Into EP4184505B1 (fr) 2013-10-18 2014-10-14 Spatialisation sonore avec effet de salle, optimisee en complexite

Publications (2)

Publication Number Publication Date
EP3058564A1 true EP3058564A1 (fr) 2016-08-24
EP3058564B1 EP3058564B1 (fr) 2023-07-26

Family

ID=50069081

Family Applications (2)

Application Number Title Priority Date Filing Date
EP14796814.3A Active EP3058564B1 (fr) 2013-10-18 2014-10-14 Spatialisation sonore avec effet de salle, optimisee en complexite
EP22211949.7A Active EP4184505B1 (fr) 2013-10-18 2014-10-14 Spatialisation sonore avec effet de salle, optimisee en complexite

Family Applications After (1)

Application Number Title Priority Date Filing Date
EP22211949.7A Active EP4184505B1 (fr) 2013-10-18 2014-10-14 Spatialisation sonore avec effet de salle, optimisee en complexite

Country Status (8)

Country Link
US (1) US9641953B2 (fr)
EP (2) EP3058564B1 (fr)
JP (1) JP6518661B2 (fr)
KR (1) KR102156650B1 (fr)
CN (1) CN105706162B (fr)
ES (1) ES2959534T3 (fr)
FR (1) FR3012247A1 (fr)
WO (1) WO2015055946A1 (fr)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB201609089D0 (en) * 2016-05-24 2016-07-06 Smyth Stephen M F Improving the sound quality of virtualisation
CN110428802B (zh) * 2019-08-09 2023-08-08 广州酷狗计算机科技有限公司 声音混响方法、装置、计算机设备及计算机存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7835535B1 (en) * 2005-02-28 2010-11-16 Texas Instruments Incorporated Virtualizer with cross-talk cancellation and reverb
EP2840811A1 (fr) * 2013-07-22 2015-02-25 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Procédé de traitement d'un signal audio, unité de traitement de signal, rendu binaural, codeur et décodeur audio

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR1357299A (fr) 1962-05-16 1964-04-03 Ampoule pour phares de véhicules automobiles
US5917917A (en) * 1996-09-13 1999-06-29 Crystal Semiconductor Corporation Reduced-memory reverberation simulator in a sound synthesizer
JP4627880B2 (ja) * 1997-09-16 2011-02-09 ドルビー ラボラトリーズ ライセンシング コーポレイション リスナーの周囲にある音源の空間的ひろがり感を増強するためのステレオヘッドホンデバイス内でのフィルタ効果の利用
EP1072089B1 (fr) * 1998-03-25 2011-03-09 Dolby Laboratories Licensing Corp. Procede et appareil de traitement de signaux audio
US20080085008A1 (en) * 2006-10-04 2008-04-10 Earl Corban Vickers Frequency Domain Reverberation Method and Device
TWI475896B (zh) * 2008-09-25 2015-03-01 Dolby Lab Licensing Corp 單音相容性及揚聲器相容性之立體聲濾波器
US8976972B2 (en) * 2009-10-12 2015-03-10 Orange Processing of sound data encoded in a sub-band domain
EP2503800B1 (fr) * 2011-03-24 2018-09-19 Harman Becker Automotive Systems GmbH Système d'ambiophonie constant spatialement

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7835535B1 (en) * 2005-02-28 2010-11-16 Texas Instruments Incorporated Virtualizer with cross-talk cancellation and reverb
EP2840811A1 (fr) * 2013-07-22 2015-02-25 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Procédé de traitement d'un signal audio, unité de traitement de signal, rendu binaural, codeur et décodeur audio

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of WO2015055946A1 *

Also Published As

Publication number Publication date
CN105706162B (zh) 2019-06-11
WO2015055946A1 (fr) 2015-04-23
EP4184505A1 (fr) 2023-05-24
JP6518661B2 (ja) 2019-05-22
KR20160073394A (ko) 2016-06-24
US9641953B2 (en) 2017-05-02
EP4184505B1 (fr) 2024-02-28
US20160269850A1 (en) 2016-09-15
FR3012247A1 (fr) 2015-04-24
EP3058564B1 (fr) 2023-07-26
ES2959534T3 (es) 2024-02-26
CN105706162A (zh) 2016-06-22
JP2016537866A (ja) 2016-12-01
KR102156650B1 (ko) 2020-09-16

Similar Documents

Publication Publication Date Title
US7487097B2 (en) Advanced processing based on a complex-exponential-modulated filterbank and adaptive time signalling methods
EP1992198B1 (fr) Optimisation d'une spatialisation sonore binaurale a partir d'un encodage multicanal
EP2000002B1 (fr) Procede et dispositif de spatialisation sonore binaurale efficace dans le domaine transforme
FR2899424A1 (fr) Procede de synthese binaurale prenant en compte un effet de salle
FR2847376A1 (fr) Procede de traitement de donnees sonores et dispositif d'acquisition sonore mettant en oeuvre ce procede
WO2013189199A1 (fr) Procédé et dispositif de déréverbération de parole monocanal
JP6843992B2 (ja) 相関分離フィルタの適応制御のための方法および装置
US8280062B2 (en) Sound corrector, sound measurement device, sound reproducer, sound correction method, and sound measurement method
WO2004086818A1 (fr) Procede pour traiter un signal electrique de son
JP2012524304A (ja) マルチチャネル信号のチャネル遅延パラメータを調整する方法及び装置
US20160212564A1 (en) Apparatus and Method for Compressing a Set of N Binaural Room Impulse Responses
EP3025514B1 (fr) Spatialisation sonore avec effet de salle
EP4184505B1 (fr) Spatialisation sonore avec effet de salle, optimisee en complexite
WO2014203496A1 (fr) Appareil de traitement de signal audio et procédé de traitement de signal audio
CN109791773A (zh) 音频信号的主频率处理
WO2022216542A1 (fr) Domaine technique d'atténuation multibande de signaux audio
FR3136072A1 (fr) Procédé de traitement de signal
CN117912485A (zh) 语音频带扩展方法、降噪音频设备以及存储介质
CN116997960A (zh) 音频信号技术领域的多频带闪避
FR2943867A1 (fr) Traitement d'egalisation de composantes spatiales d'un signal audio 3d

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20160413

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

RIN1 Information on inventor provided before grant (corrected)

Inventor name: EMERIT, MARC

Inventor name: PALLONE, GREGORY

DAX Request for extension of the european patent (deleted)
RAP1 Party data changed (applicant data changed or rights of an application transferred)

Owner name: ORANGE

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20210315

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

RAP3 Party data changed (applicant data changed or rights of an application transferred)

Owner name: ORANGE

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: GRANT OF PATENT IS INTENDED

INTG Intention to grant announced

Effective date: 20221107

GRAJ Information related to disapproval of communication of intention to grant by the applicant or resumption of examination proceedings by the epo deleted

Free format text: ORIGINAL CODE: EPIDOSDIGR1

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

INTC Intention to grant announced (deleted)
GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: GRANT OF PATENT IS INTENDED

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

INTG Intention to grant announced

Effective date: 20230330

GRAF Information related to payment of grant fee modified

Free format text: ORIGINAL CODE: EPIDOSCIGR3

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE PATENT HAS BEEN GRANTED

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

REG Reference to a national code

Ref country code: CH

Ref legal event code: EP

REG Reference to a national code

Ref country code: DE

Ref legal event code: R096

Ref document number: 602014087760

Country of ref document: DE

REG Reference to a national code

Ref country code: IE

Ref legal event code: FG4D

Free format text: LANGUAGE OF EP DOCUMENT: FRENCH

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: MC

Payment date: 20230922

Year of fee payment: 10

Ref country code: LU

Payment date: 20230920

Year of fee payment: 10

Ref country code: GB

Payment date: 20230920

Year of fee payment: 10

REG Reference to a national code

Ref country code: LT

Ref legal event code: MG9D

REG Reference to a national code

Ref country code: NL

Ref legal event code: MP

Effective date: 20230726

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: FR

Payment date: 20230920

Year of fee payment: 10

Ref country code: BE

Payment date: 20230920

Year of fee payment: 10

REG Reference to a national code

Ref country code: AT

Ref legal event code: MK05

Ref document number: 1592882

Country of ref document: AT

Kind code of ref document: T

Effective date: 20230726

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: NL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230726

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: GR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20231027

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: ES

Payment date: 20231102

Year of fee payment: 10

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20231126

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230726

Ref country code: RS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230726

Ref country code: PT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20231127

Ref country code: NO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20231026

Ref country code: LV

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230726

Ref country code: LT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230726

Ref country code: IS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20231126

Ref country code: HR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230726

Ref country code: GR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20231027

Ref country code: FI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230726

Ref country code: AT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230726

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: IT

Payment date: 20230927

Year of fee payment: 10

Ref country code: DE

Payment date: 20230920

Year of fee payment: 10

Ref country code: CH

Payment date: 20231102

Year of fee payment: 10

REG Reference to a national code

Ref country code: ES

Ref legal event code: FG2A

Ref document number: 2959534

Country of ref document: ES

Kind code of ref document: T3

Effective date: 20240226

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: PL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230726

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SM

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230726

Ref country code: RO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230726

Ref country code: EE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230726

Ref country code: DK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230726

Ref country code: CZ

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230726

Ref country code: SK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20230726