EP0559530A1 - Procédé et système de spatialisation artificielle de signaux audio-numériques - Google Patents

Procédé et système de spatialisation artificielle de signaux audio-numériques Download PDF

Info

Publication number
EP0559530A1
EP0559530A1 EP93400503A EP93400503A EP0559530A1 EP 0559530 A1 EP0559530 A1 EP 0559530A1 EP 93400503 A EP93400503 A EP 93400503A EP 93400503 A EP93400503 A EP 93400503A EP 0559530 A1 EP0559530 A1 EP 0559530A1
Authority
EP
European Patent Office
Prior art keywords
delay
signals
delayed
module
elementary
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
EP93400503A
Other languages
German (de)
English (en)
Other versions
EP0559530B1 (fr
Inventor
Jean-Marc Jot
Antoine Chaigne
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Orange SA
Original Assignee
France Telecom SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by France Telecom SA filed Critical France Telecom SA
Publication of EP0559530A1 publication Critical patent/EP0559530A1/fr
Application granted granted Critical
Publication of EP0559530B1 publication Critical patent/EP0559530B1/fr
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • H04S7/305Electronic adaptation of stereophonic audio signals to reverberation of the listening space
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S1/00Two-channel systems
    • H04S1/007Two-channel systems in which the audio signals are in digital form

Definitions

  • the present invention relates to a method and a system for artificial spatialization of audio-digital signals.
  • Artificial reverberators are used in the music and film industry to superimpose a room effect on recordings made in the studio, or even to modify the acoustic properties of a listening room.
  • the response to an impulse sound excitation from a listening room shows, as shown in FIG. La, that the typical echogram includes the direct sound followed by the first echoes or early echoes temporally locatable by ear, then finally a continuum perceived on the contrary as a sound trail.
  • This sound trail called late reverberation is characteristic of the listening room itself, because it is, as a first approximation, independent of the relative positions and the extent of the sources and listeners, which is not the case for the first echoes.
  • a reverberator usually comprises, as shown in FIG. 1b, an FIR filter (digital filter with finite impulse response) simulating the first echoes, and a reverberant filter, formed by a recursive network of digital delays and capable of reproducing the characteristic properties of late reverberation.
  • FIR filter digital filter with finite impulse response
  • the basic elementary structures of the majority of commercial reverberators consist in the use of filters, known as comb filters and all-pass filters. These filters are widely known in the state of the art.
  • the comb filter has a drawback, in the frequency domain, coming from the periodicities of its spectral response resulting in a coloration perceived as a metallic stamp. The same applies to the all-pass filter when the input signal is not stationary, as in the case of speech and music signals.
  • the two aforementioned filters also have the drawback, in the time domain, of having a low density of echoes of their impulse response, which causes the phenomenon known as rolling (flutter) in the transients.
  • MR SCHROEDER proposed to use in cascade a parallel association of comb filters, called sum of combs, and a series association of all-pass filters, as shown in Figure 1c, confer publication "Natural sounding artificial reverberation", J. Audio.Eng.Soc. 10 (3): 219-223, 1962.
  • the assignment to each comb of the same reverberation time Tr implies a choice of the loop gain gi linked to the duration of the delay mi.
  • M.R. SCHROEDER proposed to associate a serial all-pass filter in cascade with the sum of combs.
  • the all-pass filter makes it possible to increase the density of echoes without appreciably modifying the timbre of the reverberation, defined by the comb filters associated in parallel.
  • Another object of the present invention is also a method and a system for artificial spatialization of an audio-digital signal making it possible to satisfy both the criteria of modal density in the spectral domain and of temporal density of the echoes.
  • Another object of the present invention is to allow, both at the level of the method and of the artificial spatialization system object of the invention, a separate control of the reverberation time, of the spectral envelope of the response of the simulated hearing room and the modal density, in fact reflecting the size of the simulated hearing room.
  • Another object of the present invention is also a method and a system for artificial spatialization of an audio-digital signal, both mono and stereophonic, allowing in the latter case a control of the directions of origin of the early echoes.
  • Another object of the present invention is finally a method and a system of artificial spatialization simultaneous of several sources, with controls of each early echo and clarity for each of the sources.
  • the method and the system of artificial spatialization in real time of an audio-digital signal x (k) to generate a spatialized audio-digital signal y (k) consists in, respectively allows to carry out, starting from elementary signals xi (k ) replicates the digital audio signal a plurality of different delays to generate a plurality of delayed elementary signals and a linear combination between the delayed elementary signals to obtain a plurality of combined delayed elementary signals, at least one of each of the combined delayed elementary signals being added to at least one elementary signal xi (k) prior to the delay thereof.
  • the delayed elementary signals are subjected to a weighted summation with the audio-digital signal x (k) to generate the spatialized audio-digital signal y (k).
  • the audio-digital signal is denoted x (k), this signal consisting of a series of samples of an encoded audio-digital signal.
  • the audio-digital signal x (k) is duplicated into elementary signals xi (k) obtained from the audio-digital signal by corresponding weighting bi adapted.
  • the elementary signals xi (k) are each subjected to a different delay to generate a plurality of delayed elementary signals.
  • Each delayed elementary signal is denoted seri and corresponds to the elementary signal xi (k) considered.
  • a linear combination between the delayed elementary signals, seri is carried out in order to obtain a plurality of combined delayed elementary signals, denoted serci .
  • serci a plurality of combined delayed elementary signals
  • the weighted summation is, a first part, represented by the application to each delayed elementary signal seri a corresponding weighting coefficient, noted above, and summation of all the delayed elementary signals, seri , and, on the other hand, summation of the set to the weighted audio-digital signal x (k) to which the weighting coefficient d has been applied to generate the spatialized audio-digital signal y (k).
  • the method which is the subject of the present invention consists, in order to simulate a phenomenon of late reverberation, in accordance with a particularly advantageous aspect thereof, in effecting the above-mentioned linear combination by unitary looping.
  • unitary looping means a looping for which the plurality of combined delayed elementary signals, serci , has the same energy as the delayed elementary signals, seri , ie ⁇ seri 2 - ⁇ serci 2.
  • the method which is the subject of the invention consists in carrying out, with each different delay, an attenuation, denoted Hi ( ⁇ ), of the delayed elementary signal, seri , this attenuation being a function of the audio pulse ⁇ above.
  • this attenuation is a decreasing monotonic function of the reverberation time Tr ( ⁇ ) the simulation of which is desired and proportional to each delay.
  • ⁇ i defined as the absorbing delay
  • ⁇ i actually designates the value of each delay increased by the phase delay provided by the corresponding attenuation Hi ( ⁇ ), ⁇ i denoting the sum of all the absorbing delays.
  • This phase delay is in fact negligible compared to the value of each delay and will therefore be considered as such in the following description.
  • z ⁇ 1 represents the unit delay operator and D (z) is defined by:
  • a first constraint can be imposed, that is to say an identical decay time for all the resonance modes.
  • the transfer matrix A is unitary, that is to say in the case where the plurality of combined delayed elementary signals, serci , has the same energy as the delayed elementary signals, seri , all the aforementioned poles are on the unit circle of the complex plane.
  • the modulus of each of the poles then being equal to unity, the decay time is infinite for each of the associated resonance modes, and the impulse response can be represented by a sum of unshocked sinusoids.
  • the modal density is always equal to the total duration of the delays.
  • the process which is the subject of the present invention then consists in varying the reverberation time, while respecting the identical modulus constraint for all the poles. Such a variation is obtained by assigning an attenuation ki to each of the previously mentioned delays.
  • T is the audio digital signal sampling period, ⁇ being expressed in dB.
  • the equality constraint of the pole module is respected when, from a reference filter, as defined above, an attenuation is assigned to each delay, which is proportional to the duration of it.
  • the proportionality factor ⁇ is linked to the reverberation time Tr by equation (6) previously mentioned.
  • the method which is the subject of the present invention thus allows the control of the simulated reverberation time, this control being valid whatever the structure of the reference filter, and also guarantees the absence of parasitic colorations in the presence of transient signals.
  • the insertion of absorbent filters has the effect of modifying the spectral envelope of the response finally obtained, because, confer [JOT, CHAIGNE, 91], the energy of each resonance mode is proportional to the decay time thereof.
  • the spectral balance of the response thus obtained is obtained by the spectral correction t (z), this spectral correction being inversely proportional to the reverberation time Tr ( ⁇ ) in the frequency range of the digital audio signal processed.
  • the impulse response of the process which is the subject of the present invention is temporally dilated by a homothety. of ratio ⁇ , but the average energy of the reverberated signal, in any given frequency band, is not modified.
  • Such a multiplication in fact simulates a homothety of ratio ⁇ on the dimensions of the simulated hearing room, and has the effect of modifying the frequencies resonance while multiplying the reverberation time by ⁇ at any frequency. Dividing the reverberation time by ⁇ to bring it back to the initial situation has the effect of dividing the energy of the spatialized signal by the same quantity ⁇ .
  • the correction spectral t (z) checks the relation (2) previously mentioned in the description.
  • the loopback transfer matrices verifying the above-mentioned relation (8) thus make it possible to obtain a maximum echo density for a given number N of delays with, however, a minimal calculation cost, that is to say 2.N additions -multiplications as shown in Figure 2c.
  • the total duration of the delays being fixed by the size of the room for which the reverberation must be simulated, the number N of delays determines the time necessary for the temporal density of the echoes to be built in the impulse response.
  • each elementary signal seri delayed is reduced by the sum weighted by the ratio 2 / N of the delayed elementary signals.
  • each elementary signal xi (k) is added for example to a delayed elementary signal, seri , the resulting sum being subjected to the corresponding delay ⁇ i, absorbing delay, and all the delayed elementary signals being summed for give the sum of the delayed elementary signals, this sum being reinjected after weighting by the coefficient -2 / N to the audio-digital input signal x (k).
  • this consists in carrying out a time shift t1, ti, tN, of the instants of arrival at the level of the looping of the elementary signals, this temporal offset of the instants of arrival thus having the effect of causing a separation of the elementary signals due to the aforementioned offset.
  • the elementary signals denoted for example xi (k) are then shifted in time by the difference of two successive shift instants.
  • the method which is the subject of the present invention as shown in FIG. 2d consists, with the elementary signals xi (k) now being offset, choosing an offset difference between the largest and the smallest of the arrival instants, symbolized by t1 and tN in FIG. 2d, less than the smallest value of the absorbent delays ⁇ i previously mentioned.
  • Controlling the clarity and direction of source of echoes from monophonic sources in such a situation is particularly advantageous, in particular in the case where these monophonic sources are other than source elements of the corresponding stereophonic recording, ie that is to say that the aforementioned monophonic sources are elements of the source of the stereophonic signals subjected to the spatialization process in accordance with the object of the present invention.
  • Such a situation may be encountered, in particular, during the recording or retransmission of a stereophonic recording of a concert given by a symphonic orchestra in which one or more concerting instruments, and in particular the playing of these, want to be highlighted.
  • the shifted elementary monophonic signals are then injected into the looping applied to the stereophonic signals subjected to the reverberation process simulated by summing, before looping, to the delayed elementary stereophonic signals.
  • the system which is the subject of the present invention comprises delay channels, denoted Vi, each consisting for example successively of a multiplier element, denoted 1i, a summing element, 2i, a retarding element , 3i, and a multiplier element, 5i, in cascade, each delay channel being connected to a summing element, denoted 6i, bearing the reference of the index of the corresponding delay channel, except possibly with regard to the delay of order 1, V1.
  • the audio-digital signal x (k) is thus duplicated into elementary signals xi (k) feeding each delay channel, Vi, and a summing element 9 allows, after weighting of the audio-digital signal, x (k), by an element multiplier 8 to deliver the spatialized signal y (k), the summing element further receiving the weighted sum of the delayed elementary signals, seri , delivered by each delay channel, Vi, this weighted sum being further submitted, via from the spectral correction element 7, to a spectral correction verifying the relation (2) previously mentioned in the description.
  • each delay element, 3i contained in each delay channel, Vi, there is associated an absorbent element, denoted 4i, whose transfer function causes a Hi attenuation ( ⁇ ) of each delayed elementary signal, this attenuation being a monotonic decreasing function of the reverberation time Tr ( ⁇ ) and proportional to each delay generated by each corresponding delay element 3i.
  • the artificial spatialization system which is the subject of the present invention as shown in FIG. 3a constitutes a reverberant filter formed by a reference filter, as mentioned previously in the description, in which inserted, for each attenuation channel Vi, an attenuation function by the element 4i, under the conditions of relation to the reverberation time Tr (..) and to the delay, noted z -mi , as previously mentioned in the description.
  • the reference filter is entirely characterized by the durations of the delays z -mi , the coefficients bi, ci having been defined, which can be chosen to be irrational with one another so as to avoid overlapping echoes, and such that their sum is proportional to a dimension characteristic of the phenomenon of the room to be simulated.
  • loop transfer transfer matrices thus retained make it possible to produce loopings which are characterized by the fact that the input of each delay, that is to say each summing element 2i, receives the output signal of another delay, by a bijective correspondence, reduced by the sum multiplied by 2 / N of the output signals of the N delays.
  • This class of loopback matrices and the corresponding loopbacks make it possible to maximize the echo density, and are in fact distinguished from each other only by the choice of the matrix JN in the above-mentioned relation (8).
  • the monophonic reverberators as shown in FIG. 3b and 3c can, if necessary, cause a parasitic echo whose arrival date corresponds to the sum of the durations of the absorbent delays ⁇ i.
  • the amplitude of this parasitic echo decreases when the number N of delays increases and this echo merges into the reverberation when N> 12.
  • this parasitic echo is not present at the output of each of the N absorbent delays 34i, but arises from the interference between these signals.
  • FIGS. 3d and 3e allow the abovementioned interference phenomenon to be eliminated, by splitting and placing in phase opposition, at the input or at the output of the reverberant filter of the input, respectively output, split signals.
  • the elementary signals are split into elementary signals of odd rank x2p-1 (k), even x2p (k), and put in phase opposition by means of a first summing element, 22a, respectively second subtractor element, 22b, corresponding, the corresponding delayed elementary signals being of course summed by the corresponding summing elements 6i and the reinjection weighted by the multiplier element 23 being carried out at the first, 22a, respectively second, 22b, summing element , respectively subtractor.
  • the summation of the above-mentioned signals of even rank, respectively odd, respectively, is carried out by the summing elements 6 1a , of odd rank, respectively 6 2a of even rank, and the loopback is carried out by means of an additional summing output element split 6 1b , respectively 6 2b , the summing element 6 1b receiving the signals delivered by the summing element 6 1a , respectively 6 2a , and delivering the sum signal to the multiplying element 23, while the subtracting element 6 2b receives the signals delivered by the summing element 6 1a , respectively 6 2a , and delivers the spatialized audio-digital signal y (k).
  • the system which is the subject of the present invention makes it possible to avoid any phenomenon of coloration of the reverberated signal.
  • the system which is the subject of the present invention comprises a module for processing the first echoes, noted 20, and the reverberant filter proper, noted 30, which corresponds substantially to the reverberant filter. shown in Figure 3a.
  • the module of the first echoes 20 makes it possible to control the instants of arrival ti independently of the delay times of the reverberant filter proper.
  • the role of the coefficients bi of the multiplier elements 1i of the first echo module 20 is slightly modified compared to the case of FIG. 3a.
  • the absorbent delay values ⁇ i caused by the absorbent delay elements 34i can then be chosen taking into account the values ti of the arrival times as already mentioned in connection with FIG. 2d.
  • the reference filters of FIGS. 3a and 4 are strictly equivalent, but in the presence of the attenuation elements 4i, the two systems differ in the fact that in FIG.
  • system which is the subject of the present invention is not limited to the sole processing of monophonic audio-digital signals.
  • the reverberant filter proper 30 of FIG. 5a is arranged so that it comprises a plurality of N delay channels, divided into N / 2 delay channels relative to the left channel, and making it possible to generate successively N / 2 left elementary signals, denoted xi (k) g, then analogously to the reverberant filter shown in FIG. 3a or 4, N / 2 left delayed elementary signals, seri g.
  • each echo module synthesizes N / 2 stereophonic echoes of which the amplitude, the date of arrival and the direction of provenance are controlled.
  • the direction of origin of each echo is defined by the time and energy difference between the left and right channels.
  • the first echo assigned to each source plays the role of direct sound for this source.
  • gain adjustment multiplier elements g bear the reference 24d, 24g, these elements allowing adjustment of the corresponding gain, in order to avoid possible saturation phenomena.
  • FIG. 5c there is shown the system object of the present invention in which the looping of the reverberant filter itself is carried out, for example, as shown in Figure 3c, the subdivision between channel delay, Vi, of even rank, respectively odd, that is to say at the output of each absorbing delay of even or odd rank corresponding to reconstruct the right channels, respectively left, of the stereo output signal.
  • the stereophonic input signal has not been shown, so as not to overload the drawing, but corresponds substantially to that of FIG. 3c.
  • the corresponding reverberation filter is controlled by 4 completely independent parameters: size of the hearing room defined by a characteristic dimension thereof, reverberation time Tr ( ⁇ ) at low frequencies, ratio Tr at high frequencies / Tr at low frequencies , and cutoff frequency of the reverberated signal.
  • the reverberant filter proper was produced using digital calculation means comprising a DSP 56000 calculator receiving the stereophonic source signal at input and a calculator element of the same type producing the control modules for the first echoes of Figure 5c, for example.
  • This second calculator element allows the signals from several mono sources to be read and transmits the channels of the echo bus to the reverberant filter. Note that even if the number of monophonic sources is greater, four echo modules are sufficient for realistic spatialization. Note that the monophonic sources are then divided into four groups, each of which is assigned to an echo module.
  • the relation 13 in fact constitutes an approximation of the relation 16.
  • the family of reverberant filters constituting the spatialization systems of an audio-digital signal object of the present invention considerably improves the quality of the reverberation compared to the known structure, known as in sum of combs. It allows in particular to quickly obtain a high density of echoes in the temporal response for a number N of reduced delays.
  • 8 delays are sufficient, that is to say 8 delay channels, where 40 comb filters would be necessary.
  • the simulation of a large room requires that the modal density, therefore the sum of the durations of the absorbing delays ⁇ i, be of the order of one second. It is therefore advisable to increase the number of delays to at least 12, in order to increase the echo density at the start of the time response.
  • the real-time simulation of the reverberation in all cases can be carried out by means of the computing capacity of a DSP 56000 microcomputer and that in particular this type of calculator allows, in the case of the simultaneous spatialization of several monophonic sources, to process 4 monophonic sources if the number of channels of the echo BUS is 12.
  • This embodiment makes it possible, for example, to separately control for each source the amplitude, the instant of arrival and the direction of provenance of the direct sound and the first 5 reflections.
  • the use of 3 DSP 56000 type computers makes it possible to spatialize 6 monophonic sources by controlling for each the first 8 echoes.
  • FIGS. 7a, 7b and 7c A particularly advantageous use of a system which is the subject of the present invention will now be described in conjunction with FIGS. 7a, 7b and 7c.
  • the absolute values of the coefficients aji can take only two absolute values. Indeed, N of them have the absolute value 1- (2 / N), and all the others have the absolute value 2 / N. Consequently, when the number N of delays becomes large, a small number of loopback paths is preponderant compared to the others. This has the effect of delaying the moment when, in the impulse response, all the echoes have similar amplitudes. As a result, the temporal density is perceived as insufficient at the start of the impulse response, although the theoretical echo density is high.
  • a PN is a unit matrix, because product of a block-diagonal matrix formed by the unit matrices Aj, and of a permutation matrix noted JPN. This permutation corresponds to the exchange of the indices i and j in the numbering of the delays ⁇ ji, it is such that if all the matrices Aj are equal to the same matrix A, then the matrix A PN can be written:
  • the looping matrix AB PN then appears as a matrix obtained by unitary assembly of unitary blocks, this looping matrix AB PN being designated by "unitary matrix by blocks”.
  • this consists in choosing the matrices Aj and Bi within the family defined by the preceding relation (8).
  • each of the P loopings defined by the matrices Aj can be carried out in 2.N operations
  • each of the N interleaving defined by the matrices Bi can be carried out in 2.P operations, for a total of 4.NP operations for make a reverberant filter including NP delays.
  • a reverberant filter consisting of N.P delays is obtained, as described above, by association in parallel and interleaving of the loops of P reverberant filters each consisting of N delays.
  • the P starting reverberant filters are identical to that of FIG. 3b and the interlacing of the P loopings is itself carried out as the looping of FIG. 3b.
  • Fig. 7c shows that the reverberant filter thus produced can also be seen as the paralleling of N reverberant filters with P inputs and P outputs, the assembly being "looped back" on itself as shown in FIG. 3b.
  • the total number of additions-multiplications necessary for the loopback and the calculation of the output signal y (k) is approximately equal to 4.N.P.
  • the looping matrices Aj and the interleaving matrices Bi are all equal to the matrix: where, to simplify the writing, the signs + and - signify +1 and -1 respectively.
  • the looping matrix, denoted AA16, of the reverberant filter with 16 delays thus produced is unitary by blocks, and all of its coefficients have the same value.
  • the particularly efficient character of the method and of the system which are the subject of the present invention results in particular from the independence between the control of the aforementioned parameters, this independence being essential from the perceptual point of view, but also in order to allow the simulation of spatialization in a real room from measurements made in it.

Abstract

L'invention concerne un procédé et un système de spatialisation artificielle de signaux audio-numériques x(k). Ils consistent à ou permettent d'effectuer sur des signaux élémentaires xi(k), répliques du signal audio-numérique des retards différents engendrant des signaux élémentaires retardés (seri) sommés après pondération au signal x(k) pour engendrer le signal audio-numérique spatialisé y(k). Une pluralité de combinaisons linéaires des signaux (seri) en signaux élémentaires retardés combinés (serci) est sommée aux signaux élémentaires xi(k). Afin de simuler une réverbération tardive, les combinaisons linéaires sont effectuées par un bouclage unitaire, et avec chaque retard est effectuée une atténuation hi(ω), fonction monotone décroissante du temps de réverbération Tr(ω) à simuler et proportionnelle au retard. Une correction spectrale avant sommation pondérée vérifiant la relation : |t(e<jω>)|² = ((Στi) / (Tr(ω))) est effectuée, τi désignant la valeur de chaque retard augmentée du retard de phase dû à l'atténuation. <IMAGE>

Description

  • La présente invention est relative à un procédé et à un système de spatialisation artificielle de signaux audio-numériques. Les réverbérateurs artificiels sont utilisés dans l'industrie musicale et cinématographique, pour superposer un effet de salle aux enregistrements réalisés en studio, ou encore de façon à modifier les propriétés acoustiques d'une salle d'écoute.
  • Un rapport récent établi par A. DECOVILLE publié par l'Ecole Nationale des Télécommunications 46 rue Barrault Paris, Rapport n° 90 SIG 005, 1990, a montré qu'en ce qui concerne les réalisations industrielles des réverbérateurs, on peut distinguer les générateurs d'effets spéciaux, sans référence particulière à l'acoustique d'une salle ou à la perception auditive de l'espace, des systèmes réverbérateurs proprement dits qui visent à reproduire de façon convaincante l'acoustique d'une ou d'un type de salle et dont les paramètres de réglage sont liés aux caractéristiques physiques des lieux clos.
  • En ce qui concerne les réverbérateurs proprement dits, la réponse à une excitation sonore impulsionnelle d'une salle d'écoute montre, ainsi que représenté en figure la, que l'échogramme type comprend le son direct suivi des premiers échos ou échos précoces temporellement repérables par l'oreille, puis enfin un continuum perçu au contraire comme une traînée sonore. Cette traînée sonore appelée reverbération tardive est caractéristique de la salle d'écoute elle-même, car elle est, en première approximation, indépendante des positions relatives et de l'étendue des sources et des auditeurs, ce qui n'est pas le cas pour les premiers échos.
  • D'une manière classique, une simulation réaliste de l'effet d'espace devant inclure les premiers échos et la réverbération tardive, un réverbérateur comporte habituellement, ainsi que représenté en figure 1b, un filtre FIR (filtre numérique à réponse impulsionnelle finie) simulant les premiers échos, et un filtre réverbérant, formé par un réseau récursif de retards numériques et capable de reproduire les propriétés caractéristiques de la réverbération tardive.
  • Plus précisément, les structures élémentaires de base de la majorité des réverbérateurs du commerce consistent en l'utilisation de filtres, dits filtre en peigne et filtre passe-tout. Ces filtres sont largement connus de l'état de la technique. Le filtre en peigne présente un inconvénient, dans le domaine fréquentiel, provenant des périodicités de sa réponse spectrale entraînant une coloration perçue comme un timbre métallique. Il en est de même pour le filtre passe-tout lorsque le signal d'entrée n'est pas stationnaire, comme dans le cas des signaux de parole et de la musique.
  • Les deux filtres précités ont en outre pour inconvénient, dans le domaine temporel, de présenter une faible densité d'échos de leur réponse impulsionnelle, ce qui provoque le phénomène connu sous le nom de roulement (flutter) dans les transitoires.
  • Afin d'éliminer le phénomène de coloration et d'augmenter la densité d'échos, M.R. SCHROEDER a proposé d'utiliser en cascade une association parallèle de filtres en peigne, dite somme de peignes, et une association série de filtres passe-tout, ainsi que représenté en figure 1c, confer publication "Natural sounding artificial reverberation", J. Audio.Eng.Soc. 10(3):219-223, 1962. Pour un filtre en peigne, le temps de réverbération Tr est donné par la relation : 20.log₁₀(gi) mi.T = -60 Tr
    Figure imgb0001

    où, pour une cellule de rang i,
    gi désigne le gain de boucle de rang i,
    mi la durée de retards exprimée en nombre entier de périodes d'échantillonnage T.
  • Pour une somme de peignes, l'affectation à chaque peigne d'un même temps de réverbération Tr implique un choix du gain de boucle gi lié à la durée du retard mi.
  • Un tel choix implique pour chaque cellule de rang i γ = gi1/mi, γ désignant le module des pôles correspondant.
  • Confer la publication de J.M.JOT et A.CHAIGNE "Digital delay networks for designing artificial reverberators", Proc. 90th A.E.S. Convention, Paris 1991, preprint 3030 (E-2) ci-après désignée [JOT, CHAIGNE, 91]. L'inter-prétation des conditions précitées, afin qu'aucun mode particulier ne soit audible pendant la réverbération tardive, ce qui correspondrait à une coloration non désirée, est donc que tous les modes de résonance du filtre réverbérant doivent posséder la même constante de temps d'atténuation. Pour N filtres en peigne en parallèle, la densité modale, nombre de modes de résonance par Hz, s'écrit :
    Figure imgb0002

    τi étant la durée du retard de la cellule de rang i en secondes, et la densité d'écho confer [JOT, CHAIGNE, 91]
    Figure imgb0003
  • Pour des durées τi suffisamment voisines, le nombre N de filtres en peignes s'écrit : N = Df Dt.
    Figure imgb0004
  • Afin de conserver un nombre N raisonnable de cellules élémentaires, M.R. SCHROEDER a proposé d'associer un filtre passe-tout série en cascade avec la somme de peignes. Le filtre passe-tout permet d'augmenter la densité d'échos sans modifier sensiblement le timbre de la réverbération, défini par les filtres en peignes associés en parallèle.
  • Bien qu'une telle solution permette de déterminer, pour l'ensemble, le temps de réverbération, elle ne permet pas de tenir compte des résonances des filtres passe-tout et aucune étude n'a permis de montrer comment éviter les défauts de sonorité du filtre passe-tout série et de déterminer le nombre de cellules passe-tout, leurs valeurs de retard ou de gain de boucle pour obtenir une densité d'échos donnée, le choix des paramètres des filtres passe-tout restant essentiellement empirique.
  • Dans les salles d'audition réelles, les phénomènes physiques d'absorption des sons font que l'amortissement des ondes sonores est fonction de la fréquence. Le réverbérateur tel que représenté en figure 1c a fait l'objet d'une adaptation par le remplacement de chaque gain de boucle gi par un filtre passe-bas IIR, filtre à réponse impulsionnelle infinie, de façon à simuler l'absorption du son dans l'air. Confer J.A. MOORER "About this reverberation business", Computer Music Journal 3(2):13-18, 1979.
  • Une telle méthode ne permet ni de prendre en compte l'absorption du son par les parois de la salle, l'absorption due à l'air étant le plus souvent négligeable, ni de contrôler, dans le calcul des coefficients des filtres, la variation du temps de réverbération en fonction de la fréquence. Cette technique entraîne aussi l'interdépendance des réglages du temps de réverbération et de l'énergie du signal réverbéré en fonction de la fréquence. Ce problème n'est pas résolu pour la structure somme de peignes de la figure 1c.
  • Une autre approche permettant de multiplier le nombre d'échos dans la réponse du filtre réverbérant, l'approche multi-canaux, a été proposée. Celle-ci, consistant à ajouter des canaux de bouclage reliant les différents retards, permet d'augmenter progressivement la densité d'échos dans la réponse impulsionnelle, comme dans le cas des salles réelles.
  • STAUTNER et PUCKETTE, dans l'article "Designing multi-channel reverberators", Computer Music Journal 6(1), 1982, ont proposé la structure représentée en figure 1d. Ces auteurs, s'étant limités à l'étude de la stabilité de la structure précitée, proposent cependant un mode de réalisation particulier à quatre canaux utilisant une matrice de transfert de bouclage de la forme
    Figure imgb0005
  • Dans ce mode de réalisation, la densité d'écho n'est pas maximale, en raison de la nullité de certains coefficients de transfert, et l'utilisation du seul paramètre de gain g pour contrôler le temps de réverbération revient à affecter une atténuation identique à tous les retards, sans tenir compte de leurs durées. En outre, de même que dans le cas du filtre somme de peignes, correspondant au cas où la matrice A est diagonale, ce choix présente le risque que tous les modes de résonance n'aient pas un temps de décroissance identique, ce qui ne garantit pas l'absence de coloration des transitoires.
  • Plus récemment, un modèle général, tel que représenté en figure 1e, a été proposé confer [JOT, CHAIGNE, 91]. Ce modèle comprend essentiellement un filtre de référence constitué en fait par un filtre réverbérant dont tous les pôles sont de module unité, un temps de réverbération infini étant ainsi obtenu à toute fréquence. Une telle situation s'obtient lorsque la matrice de bouclage A est unitaire quand les retards sont dépourvus d'atténuation. L'article précédemment cité [JOT, CHAIGNE, 91] a pour objet principal l'étude des conditions d'obtention des contraintes précitées pour le filtre de référence, l'introduction d'atténuations ayant tout au plus été envisagée, dans cet article, dans le but de contrôler le temps de réverbération de filtres en peigne.
  • La présente invention a, au contraire, pour objet un procédé et un système de spatialisation artificielle d'un signal audio-numérique permettant de faire varier le temps de réverbération simulé, en fonction de la fréquence du signal sonore, tout en respectant la contrainte de module identique de tous les pôles pour le filtre de référence.
  • Un autre objet de la présente invention est en outre un procédé et un système de spatialisation artificielle d'un signal audio-numérique permettant de satisfaire à la fois à des critères de densité modale dans le domaine spectral et de densité temporelle des échos.
  • Un autre objet de la présente invention, l'objet précédent étant satisfait, est de permettre, tant au niveau du procédé que du système de spatialisation artificielle objet de l'invention, un contrôle séparé du temps de réverbération, de l'enveloppe spectrale de la réponse de la salle d'audition simulée et de la densité modale, traduisant en fait la taille de la salle d'audition simulée.
  • Un autre objet de la présente invention est également un procédé et un système de spatialisation artificielle d'un signal audio-numérique permettant de contrôler les instants d'arrivée et les amplitudes des échos précoces tout en préservant le timbre de la réverbération tardive, par l'absence de tout risque d'introduction de coloration du signal réverbéré.
  • Un autre objet de la présente invention est également un procédé et un système de spatialisation artificielle d'un signal audio-numérique permettant un contrôle de la clarté, définie comme le rapport entre l'énergie des échos précoces et celle de la réverbération tardive.
  • Un autre objet de la présente invention est également un procédé et un système de spatialisation artificielle d'un signal audio-numérique tant mono- que stéréophonique, permettant dans ce dernier cas un contrôle des directions de provenance des échos précoces.
  • Un autre objet de la présente invention est enfin un procédé et un système de spatialisation artificielle simultanée de plusieurs sources, avec contrôles de chaque écho précoce et de la clarté pour chacune des sources.
  • Le procédé et le système de spatialisation artificielle en temps réel d'un signal audio-numérique x(k) pour engendrer un signal audio-numérique spatialisé y(k) consiste à, respectivement permet de, effectuer à partir de signaux élémentaire xi(k) répliques du signal audio-numérique une pluralité de retards différents pour engendrer une pluralité de signaux élémentaires retardés et une combinaison linéaire entre les signaux élémentaires retardés pour obtenir une pluralité de signaux élémentaires retardés combinés, un au moins de chacun des signaux élémentaires retardés combinés étant additionné à au moins un signal élémentaire xi(k) préalablement au retard de celui-ci. Les signaux élémentaires retardés sont soumis à une sommation pondérée avec le signal audio-numérique x(k) pour engendrer le signal audio-numérique spatialisé y(k). Ils sont remarquables en ce que, dans le but de simuler un phénomène de réverbération tardive, ils consistent à, respectivement permettent de, effectuer la combinaison linéaire précitée par un bouclage unitaire, pour lequel la pluralité de signaux élémentaires retardés combinés possède la même énergie que les signaux élémentaires retardés, et, avec chaque retard différent, effectuer une atténuation Hi(ω) du signal élémentaire retardé correspondant fonction de la fréquence audio, cette atténuation étant une fonction monotone décroissante du temps de réverbération et proportionnelle à chaque retard, puis, avant sommation pondérée des signaux élémentaires retardés avec le signal audio-numérique x(k), effectuer une correction spectrale vérifiant la relation : |t(e )|² = Σ τi TR(ω),
    Figure imgb0006

    où τi, défini comme le retard absorbant, désigne la valeur de chaque retard augmentée du retard de phase apporté du fait de l'atténuation correspondante Hi(ω), Στi désignant la somme de tous les retards absorbants.
  • Le procédé et le système de spatialisation artificielle en temps réel d'un signal audio-numérique trouvent application dans le domaine technique du traitement de signal audio-numérique plus particulièrement à l'industrie de la production de phonogrammes et/ou de vidéogrammes.
  • Une description plus détaillée du procédé et du système de spatialisation artificielle en temps réel d'un signal audio-numérique pour engendrer un signal audio-numérique spatialisé objets de la présente invention sera donnée ci-après dans la description et les dessins dans lesquels, outre les figures la à le de l'art antérieur,
    • la figure 2a représente, sous forme de diagramme illustratif, les étapes permettant la mise en oeuvre du procédé objet de la présente invention,
    • la figure 2b représente, sous forme de diagramme illustratif, une première variante de mise en oeuvre du procédé objet de l'invention tel que représenté en figure 2a,
    • la figure 2c représente, sous forme de diagramme illustratif, une autre variante de mise en oeuvre du procédé objet de l'invention tel que représenté en figure 2a,
    • la figure 2d représente, sous forme de diagramme illustratif, une variante de mise en oeuvre du procédé objet de l'invention plus particulièrement destinée à assurer un contrôle des premiers échos, sans pour autant provoquer un phénomène de coloration de la réverbération tardive simulée,
    • la figure 2e représente une variante de mise en oeuvre du procédé selon l'invention illustré en figure 2d plus particulièrement adaptée pour engendrer un signal spatialisé stéréophonique et permettre à la fois la spatialisation simultanée de sources monophoniques et le contrôle de la clarté de celles-ci,
    • la figure 3a représente, sous forme de blocs fonctionnels, un système de spatialisation artificielle en temps réel d'un signal audio-numérique conforme à l'objet de la présente invention pour un signal audio-numérique monophonique,
    • les figures 3b, 3c, 3d, 3e et 3f représentent, sous forme de schémas blocs, des variantes de réalisation du système objet de l'invention tel que représenté en figure 3a,
    • la figure 4 représente, sous forme de blocs fonctionnels, la structure générale d'un système conforme à l'objet de la présente invention constituant un filtre réverbérant permettant le contrôle des premiers échos, sans affecter le timbre de la réverbération tardive simulée, pour un signal audio-numérique monophonique,
    • la figure 5a représente la structure d'un système conforme à l'objet de la présente invention, tel que représenté en figure 4, plus particulièrement d'un filtre réverbérant pour enregistrement ou transmission d'un signal audio-numérique stéréophonique, permettant la spatialisation simultanée de plusieurs sources monophoniques,
    • les figures 5b et 5c représentent une variante d'exécution simplifiée du système selon l'invention représenté en figure 5a,
    • la figure 5d représente un mode de réalisation d'un module de correction spectrale et d'un élément d'atténuation d'une voie de retard dans le système conforme à l'objet de l'invention,
    • les figures 6a et 6b représentent différents échogrammes relatifs à un filtre réverbérant monophonique simulant la réverbération tardive provoquée par 6a 1), structure somme de peignes, 6a 2), structure selon la figure 3e pour N=8, respectivement 6b 1), structure somme de peignes, et 6b 2), structure représentée en figure 3b, pour N=12,
    • les figures 7a, 7b, 7c représentent un mode de réalisation d'un système conforme à l'objet de la présente invention dans lequel une pluralité de P filtres réverbérants sont utilisés en parallèle, un entrelaçage des bouclages ainsi réalisés étant en outre réalisé au moyen d'une pluralité de N matrices unitaires de dimension PxP.
  • Une description plus détaillée du procédé de spatialisation artificielle en temps réel d'un signal audio-numérique objet de la présente invention sera donnée tout d'abord en liaison avec la figure 2a.
  • Selon la figure précitée, le signal audio-numérique est noté x(k), ce signal consistant en une suite d'échantillons d'un signal audio-numérique codé.
  • Selon le procédé objet de la présente invention, le signal audio-numérique x(k) est dupliqué en signaux élémentaires xi(k) obtenus à partir du signal audio-numérique par pondération correspondante bi adaptée. Les signaux élémentaires xi(k) sont soumis chacun à un retard différent pour engendrer une pluralité de signaux élémentaires retardés. Sur la figure 2a, on notera que le retard pour le signal élémentaire xi(k) est noté Z-mi, notation dans laquelle Z représente, selon la notation complexe, la variable e, expression dans laquelle ω représente la pulsation, ω = 2πfT, f étant la fréquence audio considérée, T la période d'échantillonnage, et mi le coefficient de retard pour le signal élémentaire xi(k) considéré. Chaque signal élémentaire retardé est noté seri et correspond au signal élémentaire xi(k) considéré.
  • Selon une autre caractéristique du procédé objet de l'invention, une combinaison linéaire entre les signaux élémentaires retardés, seri, est effectuée pour obtenir une pluralité de signaux élémentaires retardés combinés, notés serci. On notera que la combinaison linéaire précitée est de la forme :
    Figure imgb0007
  • Selon un autre aspect avantageux du procédé objet de la présente invention, un au moins de chacun des signaux élémentaires retardés combinés, serci, est additionné à au moins un signal élémentaire xi(k) préalablement au retard de celui-ci. En outre, les signaux élémentaires retardés, seri, sont soumis à une sommation pondérée avec le signal audio-numérique x(k) pour engendrer le signal audio-numérique spatialisé, noté y(k). On notera que sur la figure 2a, la sommation pondérée est, d'une première part, représentée par l'application à chaque signal seri élémentaire retardé d'un coefficient de pondération correspondant, noté ci, puis sommation de tous les signaux élémentaires retardés, seri, et, d'une deuxième part, sommation de l'ensemble au signal audio-numérique pondéré x(k) auquel a été appliqué le coefficient de pondération d pour engendrer le signal audio-numérique spatialisé y(k).
  • En outre, le procédé objet de la présente invention consiste, afin de simuler un phénomène de réverbération tardive, conformément à un aspect particulièrement avantageux de celui-ci, à effectuer la combinaison linéaire précitée par un bouclage unitaire. Par bouclage unitaire, on entend un bouclage pour lequel la pluralité de signaux élémentaires retardés combinés, serci, possède la même énergie que les signaux élémentaires retardés, seri, soit Σseri² - Σserci². En outre, ainsi que représenté également sur la figure 2a, le procédé objet de l'invention consiste à effectuer, avec chaque retard différent, une atténuation, notée Hi(ω), du signal élémentaire retardé, seri, cette atténuation étant fonction de la pulsation audio ω précitée. Selon un aspect particulièrement avantageux du procédé objet de la présente invention, cette atténuation est une fonction monotone décroissante du temps de réverbération Tr(ω) dont la simulation est souhaitée et proportionnelle à chaque retard.
  • Enfin, on notera, ainsi que représenté sur la figure 2a, que le procédé consiste également à effectuer, avant sommation pondérée des signaux élémentaires retardés, avec le signal audio-numérique x(k) une correction spectrale, notée t(e), vérifiant la relation : |t(e )|² = Σ τi TR(ω)
    Figure imgb0008
  • Dans cette relation, τi, défini comme le retard absorbant, désigne en fait la valeur de chaque retard augmentée du retard de phase apporté par l'atténuation correspondante Hi(ω), Στi désignant la somme de tous les retards absorbants. Ce retard de phase est en fait négligeable par rapport à la valeur de chaque retard et sera donc considéré comme tel dans la suite de la description.
  • Le principe du procédé objet de la présente invention, tel que schématisé en figure 2a, repose sur une extension du traitement proposé par STAUTNER et PUCKETTE dans le document "Designing multichannel reverberators". Computer Music Journal, 6(1), 1982". On notera que le procédé objet de la présente invention possède un degré de généralité supplémentaire par rapport au traitement mis en oeuvre précédemment.
  • Suite à une étude théorique menée par les inventeurs de la présente invention, la fonction de transfert entre le signal audio-numérique, x(k), et le signal spatialisé y(k) a permis de montrer que les pôles de la matrice de transfert précitée sont les solutions complexes de l'équation caractéristique : det[A-D(z⁻¹)] = 0.
    Figure imgb0009
  • Dans la relation précitée, z⁻¹ représente l'opérateur de retard unité et D(z) est défini par :
    Figure imgb0010
  • Pour l'étude de la fonction de transfert entre le signal audio-numérique x(k) et le signal audio-numérique spatialisé y(k), on pourra se reporter à la publication [JOT, CHAIGNE, 91].
  • Selon l'étude théorique précitée et la référence précédemment mentionnée, une première contrainte peut être imposée, c'est-à-dire un temps de décroissance identique pour tous les modes de résonance.
  • La solution de la résolution de la relation (3) précitée se ramène alors à trouver les matrices A et D, matrices de transfert, telles que les solutions de cette équation, ou pôles du système, aient toutes le même module.
  • Dans le cas où la matrice de transfert A est unitaire, c'est-à-dire dans le cas où la pluralité de signaux élémentaires retardés combinés, serci, possède la même énergie que les signaux élémentaires retardés, seri, tous les pôles précités sont sur le cercle unité du plan complexe. Le module de chacun des pôles étant alors égal à l'unité, le temps de décroissance est infini pour chacun des modes de résonance associés, et la réponse impulsionnelle peut être représentée par une somme de sinusoïdes non amorties. En outre, la densité modale est toujours égale à la durée totale des retards.
  • Le procédé objet de la présente invention consiste alors à faire varier le temps de réverbération, tout en respectant la contrainte de module identique pour tous les pôles. Une telle variation est obtenue en affectant une atténuation ki à chacun des retards précédemment mentionnés.
  • Pour une matrice de transfert A, correspondant en fait à une matrice neutre, formant filtre de référence d'une somme de peignes, les atténuations ki peuvent alors être choisies de façon à vérifier la relation : ki = γ mi
    Figure imgb0011
  • L'opération précitée revient à remplacer la variable z par z/γ dans l'expression de la matrice D(z). Quelle que soit la matrice A, tous les pôles du système sont donc multipliés par la quantité γ. Pour une matrice A unitaire, γ n'est autre que le module des pôles et le temps de réverbération Tr est modifié et vérifie la relation : Γ = 20.log₁₀(γ) = -60.T/Tr.
    Figure imgb0012
  • Dans cette relation, on rappelle que T est la période d'échantillonnage du signal audio-numérique, Γ étant exprimé en dB.
  • Conformément au procédé objet de la présente invention, la contrainte d'égalité du module des pôles est respectée lorsque, à partir d'un filtre de référence, tel que défini précédemment, on affecte à chaque retard une atténuation, laquelle est proportionnelle à la durée de celui-ci. Le facteur de proportionnalité Γ est lié au temps de réverbération Tr par l'équation (6) précédemment mentionnée.
  • Conformément à un aspect du procédé objet de la présente invention, l'obtention d'une courbe de variation donnée du temps de réverbération en fonction de la fréquence est obtenue lorsque le module d'un pôle du système réalisant la combinaison linéaire précitée, à la pulsation ω donnée, est fixé par la valeur du temps de réverbération Tr(ω) souhaitée à la pulsation précitée suivant la relation (6) précédemment mentionnée. L'effet de la relation (5) est alors de forcer les pôles à se placer non plus sur un cercle centré en z = 0, mais sur une courbe spécifiée par la variation Tr(ω) souhaitée.
  • La contrainte précitée sur le lieu des pôles conduit à un résultat optimal sur le plan perceptif dans la réponse à des sons transitoires. Elle garantit en effet que deux modes aux fréquences de résonance voisines ont des temps de décroissance aussi proches que le permet la loi de variation du temps de réverbération choisi par l'utilisateur, ce qui évite la prédominance d'un nombre réduit de modes dans l'extinction du signal réverbéré.
  • Le procédé objet de la présente invention permet ainsi le contrôle du temps de réverbération simulé, ce contrôle étant valable quelle que soit la structure du filtre de référence, et garantit également l'absence de colorations parasites en présence de signaux transitoires.
  • Ainsi que mentionné précédemment, le procédé objet de la présente invention consiste alors à affecter à chaque retard une atténuation dépendant de la fréquence au moyen d'un filtre absorbant de fonction de transfert hi(z) ainsi que mentionné en figure 2a.
  • La réponse en fréquence de chaque filtre absorbant est donnée par la relation exprimant l'atténuation en décibels : Hi(ω) = 20.log₁₀|hi(e )| = -60.T Tr(ω) . ( mi- arg[hi(e )] ω )
    Figure imgb0013
  • Dans la relation précitée, arg[hi(e)]/ω représente le retard de phase du filtre absorbant. En raison du lien étroit existant entre chaque retard et le filtre absorbant qui lui est associé, le retard absorbant est défini ainsi que décrit précédemment.
  • D'une manière plus spécifique, on notera que l'insertion des filtres absorbants a pour effet de modifier l'enveloppe spectrale de la réponse finalement obtenue, car, confer [JOT, CHAIGNE, 91], l'énergie de chaque mode de résonance est proportionnelle au temps de décroissance de celui-ci.
  • Conformément à un aspect particulièrement avantageux du procédé objet de la présente invention, l'équilibre spectral de la réponse ainsi obtenue est obtenu par la correction spectrale t(z), cette correction spectrale étant inversement proportionnelle au temps de réverbération Tr(ω) dans le domaine de fréquence du signal audio-numérique traité.
  • On notera en outre que, lorsque les durées des retards sont toutes multipliées par un même coefficient α donné, en l'absence de toute modification des atténuations des filtres absorbants, la réponse impulsionnelle du procédé objet de la présente invention est dilatée temporellement par une homothétie de rapport α, mais l'énergie moyenne du signal réverbéré, dans toute bande de fréquence donnée, n'est pas modifiée. Une telle multiplication simule en fait une homothétie de rapport α sur les dimensions de la salle d'audition simulée, et a pour effet de modifier les fréquences de résonance tout en multipliant le temps de réverbération par α à toute fréquence. La division du temps de réverbération par α pour ramener celui-ci à la situation initiale a pour effet une division par la même quantité α de l'énergie du signal spatialisé.
  • Ainsi, afin de pouvoir contrôler indépendamment le temps de réverbération, l'enveloppe spectrale du signal réverbéré, signal audio-numérique spatialisé y(k), et la taille de la pièce d'audition associée à la durée totale Στi des retards, la correction spectrale t(z) vérifie la relation (2) précédemment mentionnée dans la description.
  • Une description plus détaillée de la mise en oeuvre du procédé objet de la présente invention sera maintenant donnée en liaison avec les figures 2b puis 2c.
  • Dans un tel cas, ainsi que représenté en figure 2b, le bouclage unitaire précédemment mentionné peut être réalisé au moyen d'une matrice de transfert de bouclage, notée AN, ce bouclage vérifiant la relation : AN = JN - 2 N .UN T .UN
    Figure imgb0014
  • Dans la relation précitée :
  • AN
    est la matrice de transfert du bouclage de dimension NxN de coefficients de transfert aij,
    JN
    est une matrice de transfert obtenue par permutation des lignes ou des colonnes de la matrice de transfert neutre IN de dimension NxN,
    UNT
    est le vecteur colonne transposé du vecteur ligne UN de dimension N, où UN = [1, 1..., 1,1].
  • La raison du choix de la matrice de transfert AN vérifiant la relation précédemment mentionnée est que l'introduction de la matrice UNT.UN permet d'effectuer la multiplication du vecteur formé par tous les seri par cette dernière matrice simplement, en additionnant les composantes de ce vecteur. Ainsi, pour cette dernière matrice, la contribution du bouclage au signal d'entrée de chaque retard n'est autre que la somme des signaux de sortie seri de tous les retards, somme qui peut aussi être utilisée comme signal réverbéré comme le montrera la figure 2c.
  • La matrice de transfert de bouclage, notée AN, doit satisfaire les critères suivants :
    • être unitaire : les vecteurs colonnes de la matrice AN devant former une base orthonormée,
    • permettre une réduction du coût de calcul,
    • rendre maximum la densité d'écho de la réponse impulsionnelle, la matrice de transfert de bouclage AN devant donc avoir le moins possible de coefficients nuls.
  • La relation (8) précédemment citée vérifiée par la matrice de transfert de bouclage AN permet de satisfaire aux critères précédemment mentionnés.
  • Le caractère unitaire de la matrice de transfert de bouclage AN est garanti lorsque la matrice JN est obtenue par permutation des lignes ou des colonnes de la matrice neutre IN de dimension N, ou si certaines lignes ou colonnes de AN sont remplacées par leurs opposées.
  • On notera que le fait de remplacer la colonne i de la matrice de transfert de bouclage AN par son opposée équivaut à insérer une opposition de phase à la sortie du retard i, tandis que la même opération sur la ligne j revient à insérer une opposition de phase à l'entrée du retard j. Plus généralement, on indiquera que le caractère unitaire du bouclage est conservé lorsque un ou plusieurs retards sont remplacés par des systèmes eux-mêmes unitaires, c'est-à-dire passe-tout.
  • Les matrices de transfert de bouclage vérifiant la relation (8) précitée permettent ainsi d'obtenir une densité d'écho maximale pour un nombre N de retards donné avec toutefois un coût de calcul minimal, c'est-à-dire 2.N additions-multiplications comme le montrera la figure 2c. La durée totale des retards étant fixée par la taille de la salle pour laquelle la réverbération doit être simulée, le nombre N de retards détermine le temps nécessaire pour que la densité temporelle des échos se construise dans la réponse impulsionnelle.
  • Conformément à la figure 2c, dans un mode de réalisation pratique, et tel que, pour une pluralité de N signaux élémentaires retardés, chaque signal étant noté seri, celui-ci consiste à réinjecter selon une correspondance bijective à l'entrée de rang i de chaque retard d'un signal élémentaire retardé, les retards absorbants correspondants étant notés τi sur la figure 2c, un signal élémentaire retardé de rang j quelconque. Ainsi, chaque signal élémentaire retardé de rang i, seri, doit-il être réinjecté à l'entrée d'un signal élémentaire xj(k), à condition que l'injection d'une sortie i sur une entrée j ne soit réalisée qu'une fois pour chaque entrée et chaque sortie.
  • En outre, dans cette opération, chaque signal élémentaire retardé seri, est diminué de la somme pondérée par le rapport 2/N des signaux élémentaires retardés. Ainsi, sur la figure 2c, chaque signal élémentaire xi(k) est additionné par exemple à un signal élémentaire retardé, seri, la somme résultante étant soumise au retard τi correspondant, retard absorbant, et l'ensemble des signaux élémentaires retardés étant sommé pour donner la somme des signaux élémentaires retardés,
    Figure imgb0015

    cette somme étant réinjectée après pondération par le coefficient -2/N au signal audio-numérique d'entrée x(k).
  • Une description plus détaillée de la mise en oeuvre du procédé objet de la présente invention, en vue de contrôler les dates d'arrivée et les amplitudes des échos précoces, sans pour autant introduire un phénomène de coloration du signal réverbéré ou spatialisé, sera donnée en liaison avec la figure 2d.
  • Selon la figure précitée, celui-ci consiste à effectuer un décalage temporel t1, ti, tN, des instants d'arrivée au niveau du bouclage des signaux élémentaires, ce décalage temporel des instants d'arrivée ayant pour effet ainsi de provoquer une séparation des signaux élémentaires du fait du décalage précité. Bien entendu, les signaux élémentaires, notés par exemple xi(k), sont alors décalés en temps de la différence de deux instants de décalage successifs.
  • En outre, le procédé objet de la présente invention tel que représenté en figure 2d consiste, les signaux élémentaires xi(k) étant maintenant décalés, à choisir un écart de décalage entre le plus grand et le plus petit des instants d'arrivée, symbolisés par t1 et tN sur la figure 2d, inférieur à la plus petite valeur des retards absorbants τi précédemment mentionnés. Ainsi, ce choix permet de constituer les signaux élémentaires décalés en une pluralité d'échos précoces, antérieurs à la réverbération tardive simulée, les signaux élémentaires décalés xi(k) étant bien entendu injectés en aval de chaque retard absorbant correspondant τi, ce qui permet, grâce au choix du décalage temporel précité, d'injecter les signaux élémentaires décalés xi(k) et de les transmettre comme premiers échos antérieurement à la transmission des signaux correspondant au processus de traitement par filtrage réverbérant, ainsi que représenté en figure 2d. On notera bien sûr que le processus de contrôle des premiers échos par le décalage temporel précité permet également de contrôler non seulement les instants d'arrivée ti, mais les amplitudes de ces derniers par les coefficients bi indépendamment des durées τi des retards absorbants du processus de filtrage réverbérant.
  • Le principe du procédé objet de la présente invention tel que représenté en figure 2d se distingue des procédés comparables de l'art antérieur décrits notamment par STAUTNER et PUCKETTE sur les points suivants :
    • les dates d'arrivée des échos d'ordre 1 ou premiers échos ne sont pas limitées par les durées de retard absorbant τi,
    • le procédé selon l'invention n'introduit pas de filtrage à réponse impulsionnelle finie, filtrage FIR, susceptible d'imposer une coloration préjudiciable à la réverbération tardive simulée, bien que cette dernière soit rendue ainsi dépendante du jeu d'échos précoces choisis par l'utilisateur, ce qui s'avèrera particulièrement utile afin d'assurer la spatialisation simultanée de plusieurs sources sonores.
  • Ce second point s'explique en particulier en considérant la réponse impulsionnelle lors du processus de filtrage conforme au procédé selon l'invention. Si la durée totale des retards Στi, retards absorbants, est suffisante, de l'ordre de la seconde, la densité modale est telle que cette réponse est perçue comme un bruit blanc stationnaire une fois passé le temps nécessaire pour que la densité d'échos se stabilise.
  • On vérifie d'ailleurs expérimentalement que cette réponse impulsionnelle peut être considérée comme une somme de bruits blancs élémentaires associés chacun à un couple bi, cj, ces réponses élémentaires étant des bruits blancs pseudo-aléatoires décorrélés entre eux. Il en résulte que le choix des coefficients bi et ci de pondération tels que représentés en figure 2d, bien qu'ils modifient la répartition de l'énergie selon les modes de résonance, n'a pas d'effet perceptible sur le timbre de la réverbération tardive, ni non plus le choix des décalages ti.
  • Une variante particulièrement avantageuse du procédé objet de la présente invention sera maintenant décrite en liaison avec la figure 2e, dans le cas où un contrôle séparé de la clarté et des directions de provenance d'échos précoces de sources monophoniques dans une transmission stéréophonique soumise au procédé de spatialisation objet de la présente invention, est réalisé.
  • D'une manière générale, on considérera un enregistrement ou la transmission d'un enregistrement de signaux audio-numériques stéréophoniques, soumis au procédé de spatialisation objet de la présente invention au moyen d'un filtrage réverbérant, ainsi que représenté en figure 2e.
  • Le contrôle de la clarté et de la direction de provenance d'échos de sources monophoniques dans une telle situation est particulièrement avantageux, notamment dans le cas où ces sources monophoniques ne sont autres que des éléments de source de l'enregistrement stéréophonique correspondant, c'est-à-dire que les sources monophoniques précitées sont des éléments de la source des signaux stéréophoniques soumis au procédé de spatialisation conforme à l'objet de la présente invention. Une telle situation peut se rencontrer, notamment, lors d'un enregistrement ou de la retransmission d'un enregistrement stéréophonique d'un concert donné par un orchestre symphonique dans lequel un ou plusieurs instruments concertants, et en particulier le jeu de ceux-ci, veulent être mis en évidence.
  • Dans un tel cas, le procédé objet de la présente invention consiste à soumettre chaque signal monophonique, noté source mono 1 respectivement mono 2 à titre d'exemple sur la figure 2e, à un processus de décalage temporel des instants d'arrivée de ce signal pour engendrer, de même que dans le cas de la figure 2d, une pluralité de N signaux monophoniques élémentaires décalés correspondants, de façon à constituer les signaux monophoniques élémentaires décalés en une pluralité d'échos d'ordre 1 correspondants.
  • Les signaux monophoniques élémentaires décalés sont alors injectés dans le bouclage appliqué aux signaux stéréophoniques soumis au processus de réverbération simulé par sommation, avant bouclage, aux signaux stéréophoniques élémentaires retardés.
  • Le procédé objet de l'invention tel que décrit en liaison avec la figure 2e permet ainsi d'affecter à chaque source un effet de salle distinct, les différences entre les réponses impulsionnelles affectées aux différentes sources se caractérisant de la manière ci-après :
    • distribution d'échos précoces spécifiques pour chaque source,
    • valeur de clarté spécifique pour chaque source,
    • réverbération tardive simulée prenant en compte la séparation spatiale entre les sources, les contributions des différentes sources à la réverbération tardive étant décorrélées entre elles.
  • Il permet également de préserver l'indépendance entre le contrôle des échos précoces et le contrôle de la réverbération tardive en évitant, en particulier, que le contrôle des échos précoces ne provoque une coloration de la réverbération tardive.
  • Une description plus détaillée d'un système de spatialisation artificielle en temps réel d'un signal audio-numérique conforme à l'objet de la présente invention sera maintenant donnée en liaison avec la figure 3a.
  • Sur la figure précitée, les mêmes symboles relatifs aux signaux représentent les mêmes signaux que dans le cas de la figure 2a relative au procédé objet de la présente invention.
  • Ainsi qu'on l'observera sur la figure 3a, le système objet de la présente invention comprend des voies de retard, notées Vi, consistant chacune par exemple successivement en un élément multiplicateur, noté 1i, un élément sommateur, 2i, un élément retardateur, 3i, et un élément multiplicateur, 5i, en cascade, chaque voie de retard étant raccordée à un élément sommateur, noté 6i, portant la référence de l'indice de la voie de retard correspondante, sauf éventuellement en ce qui concerne la voie de retard d'ordre 1, V1. Bien entendu, pour un système à N voies, le bouclage est assuré au moyen d'une matrice de transfert de bouclage 10, formé par la matrice AN précédemment mentionnée dans la description, celle-ci étant constituée par un réseau d'éléments multiplicateurs et additionneurs permettant de délivrer les signaux élémentaires retardés combinés, serci, le bouclage étant assuré au niveau de chaque sommateur, 2i, de chaque voie de retard. Le signal audio-numérique x(k) est ainsi dupliqué en signaux élémentaires xi(k) alimentant chaque voie de retard, Vi, et un élément sommateur 9 permet, après pondération du signal audio-numérique, x(k), par un élément multiplicateur 8 de délivrer le signal spatialisé y(k), l'élément sommateur recevant en outre la somme pondérée des signaux élémentaires retardés, seri, délivrés par chaque voie de retard, Vi, cette somme pondérée étant en outre soumise, par l'intermédiaire de l'élément de correction spectrale 7, à une correction spectrale vérifiant la relation (2) précédemment mentionnée dans la description.
  • En outre, conformément à un aspect particulièrement avantageux du système objet de la présente invention, à chaque élément de retard, 3i, contenu dans chaque voie de retard, Vi, est associé un élément absorbant, noté 4i, dont la fonction de transfert provoque une atténuation Hi(ω) de chaque signal élémentaire retardé, cette atténuation étant fonction monotone décroissante du temps de réverbération Tr(ω) et proportionnelle à chaque retard engendré par chaque élément de retard 3i correspondant.
  • Ainsi que décrit précédemment dans la description, on notera pour la suite que chaque élément de retard 3i associé à chaque élément d'atténuation 4i est noté symboliquement, ainsi que représenté en figure 3a, 34i. Ainsi, chaque référence 34i, avec i ε [1,N] est telle que le retard finalement apporté τi est défini comme le retard absorbant, ainsi que mentionné précédemment dans la description.
  • On notera que d'une manière plus générale, le système de spatialisation artificielle objet de la présente invention tel que représentée en figure 3a constitue un filtre réverbérant formé d'un filtre de référence, ainsi que mentionné précédemment dans la description, dans lequel a été insérée, pour chaque voie d'atténuation Vi, une fonction d'atténuation par l'élément 4i, dans les conditions de relation au temps de réverbération Tr(..) et au retard, noté z-mi, ainsi que précédemment mentionné dans la description.
  • On indique que le filtre de référence est entièrement caractérisé par les durées des retards z-mi, les coefficients bi, ci ayant été définis, lesquelles peuvent être choisies irrationnelles entre elles de façon à éviter les superpositions d'échos, et telles que leur somme est proportionnelle à une dimension caractéristique du phénomène de la salle à simuler.
  • La structure du filtre réverbérant représenté en figure 3a est alors définie par les vecteurs b = {bi} et c = {ci} de dimension N, et bien entendu par la matrice de transfert de bouclage A de dimension NxN, les composantes des vecteurs précités correspondant aux valeurs de gain des éléments multiplicateurs 1i, respectivement 5i, le coefficient d définissant la valeur de gain de l'élément multiplicateur 8.
  • On notera en fait que les éléments multiplicateurs 1i, 5i ou 8, les éléments sommateurs 2i, 6i, ou les éléments multiplicateurs et les éléments sommateurs constitutifs du réseau formant la matrice de transfert 10, la matrice A, de dimension NxN, peuvent bien entendu être réalisés soit par des circuits numériques de calcul correspondants, soit bien entendu, de préférence, par des modules de programme permettant d'appliquer aux échantillons des différents signaux précédemment cités les opérations arithmétiques correspondantes. Dans ce dernier cas, les calculs peuvent avantageusement être conduits au moyen d'un ou plusieurs processeurs de calculs, par exemple, des microprocesseurs DSP 56000 commercialisés par la société MOTOROLA, dont des indications correspondantes seront données ultérieurement dans la description.
  • On rappelle que les matrices A, notées AN, satisfaisant à la relation (8) précédemment mentionnée dans la description permettent d'obtenir une densité d'écho maximale pour un nombre N de retards donnés avec un coût de calcul minimal, en nombre d'éléments multiplicateurs ou additionneurs nécessaires à la réalisation du bouclage.
  • Les matrices de transfert de bouclage ainsi retenues permettent de réaliser des bouclages qui se caractérisent par le fait que l'entrée de chaque retard, c'est-à-dire chaque élément sommateur 2i, reçoit le signal de sortie d'un autre retard, par une correspondance bijective, diminué de la somme multipliée par 2/N des signaux de sortie des N retards. Cette classe de matrices de bouclage et les bouclages correspondants permettent de maximaliser la densité d'écho, et ne se distinguent en fait les uns des autres que par le choix de la matrice JN jans la relation (8) précitée.
  • Une description plus détaillée de bouclages et donc de circuits correspondants réalisés conformément à l'objet du système selon l'invention et satisfaisant aux conditions précitées, c'est-à-dire bouclage réalisé par le choix de différentes matrices JN dans la relation (8) précédemment mentionnée, sera donnée en liaison avec les figures 3b à 3f ci-après.
  • Un premier choix peut consister à prendre JN = IN, matrice neutre.
  • Le filtre réverbérant ainsi réalisé est représenté en figure 3b, et apparaît comme un filtre somme de peignes dans lequel la sortie du filtre a été rebouclée sur l'entrée au moyen d'un élément multiplicateur 23 de gain -2/N. On reconnaît sur la figure 3b précitée un élément sommateur d'entrée 22 permettant d'assurer le rebouclage précité ainsi que les différents éléments 2i sommateurs, retard absorbant 34i de valeur τi, et sommateurs 6i, permettant d'assurer le bouclage de l'ensemble. Bien entendu, la valeur du gain de l'élément de multiplication 23 peut être, soit -2/N lorsque les sommateurs 22 ou 2i assurent une sommation positive, soit la valeur 2/N lorsque les éléments sommateurs 22 ou 2i sont des éléments sommateurs algébriques, le bouclage étant effectué sur une entrée de soustraction.
  • Dans le cas, au contraire, où la matrice JN est obtenue par permutation circulaire vers la gauche des colonnes de la matrice neutre, IN, on obtient successivement comme matrice de transfert du bouclage AN, pour N > 2,
    Figure imgb0016
  • Sur la figure 3c, on a ainsi représenté un mode de réalisation permettant d'obtenir le bouclage précité dans lequel la matrice de transfert du bouclage AN vérifie la relation (9) précédente. Le système objet de la présente invention, tel que représenté en figure 3c, constitue un filtre réverbérant, monophonique, remarquable en ce qu'il utilise une boucle principale formée sensiblement par les différentes voies de retard Vi reliées en cascade, les valeurs d'éléments de multiplication et donc de gain bi et ci n'ayant pas été représentées car ayant été prises égales à 1, de façon que les retards absorbants τi se trouvent reliés en série par l'intermédiaire des éléments sommateurs 2i correspondants, le bouclage étant réalisé par l'élément multiplicateur 23 par l'intermédiaire de l'élément sommateur d'entrée 22, lequel permet une réinjection du signal somme résultant x(k)-2/N.(y(k)) au niveau de chacun des éléments sommateurs 2i, les sorties de chaque retard absorbant 34i, les signaux seri, étant sommées par l'intermédiaire d'une pluralité d'éléments sommateurs 6i mis en cascade pour délivrer le signal audio-numérique spatialisé y(k).
  • Les réverbérateurs monophoniques tels que représentés en figure 3b et 3c peuvent, le cas échéant, provoquer un écho parasite dont la date d'arrivée correspond à la somme des durées des retards absorbants Στi. L'amplitude de cet écho parasite décroît lorsque le nombre N de retards augmente et cet écho se fond dans la réverbération lorsque N > 12. Lorsqu'il est audible, cet écho parasite n'est pas présent en sortie de chacun des N retards absorbants 34i, mais naît de l'interférence entre ces signaux.
  • Les modes de réalisation représentés en figures 3d et 3e permettent la suppression du phénomène d'interférence précité, par dédoublement et mise en opposition de phase, en entrée ou en sortie du filtre réverbérant des signaux d'entrée, respectivement de sortie, dédoublés.
  • Ainsi, sur la figure 3d, les signaux élémentaires sont dédoublés en signaux élémentaires de rang impair x2p-1(k), pairs x2p(k), et mis en opposition de phases par l'intermédiaire d'un premier élément sommateur, 22a, respectivement deuxième élément soustracteur, 22b, correspondant, les signaux élémentaires retardés correspondants étant bien entendu sommés par les éléments sommateurs 6i correspondants et la réinjection pondérée par l'élément mutliplicateur 23 étant effectuée au niveau du premier, 22a, respectivement deuxième, 22b, élément sommateur, respectivement soustracteur. Dans la figure 3e au contraire, les signaux élémentaires d'entrée, xi(k), sont maintenus sans dédoublement alors que le dédoublement est effectué au niveau des signaux élémentaires retardés, seri, avec i=2p pour les signaux de rang pair, ou 2p-1 pour les signaux de rang impair. La sommation des signaux de rang pair, respectivement impair, précités est effectuée par les éléments sommateurs 61a, de rang impair, respectivement 62a de rang pair, et le bouclage est effectué par l'intermédiaire d'un élément sommateur supplémentaire de sortie dédoublé 61b, respectivement 62b, l'élément sommateur 61b recevant les signaux délivrés par l'élément sommateur 61a, respectivement 62a, et délivrant le signal somme à l'élément multiplicateur 23, alors que l'élément soustracteur 62b reçoit les signaux délivrés par l'élément sommateur 61a, respectivement 62a, et délivre le signal audio-numérique spatialisé y(k).
  • Enfin, sur la figure 3f, on a représenté une disposition analogue à celle de la figure 3c, dans laquelle, afin de supprimer l'interférence précédemment mentionnée, le circuit de sortie, c'est-à-dire le circuit délivrant le signal audio-numérique spatialisé, y(k), est subdivisé en deux circuits relatifs aux signaux élémentaires retardés de rang pair, respectivement de rang impair, de manière analogue au circuit de sortie de la figure 3e, les éléments sommateurs correspondants étant notés 6N-1b, respectivement élément soustracteur 6Nb, et jouant le rôle des éléments sommateurs, respectivement soustracteurs, 61b, 62b, de la figure 3e.
  • Une description plus détaillée d'un système objet de la présente invention, permettant la spatialisation d'un signal audio-numérique dans lequel la position de la source sonore dans la salle simulée est prise en compte, par le biais du contrôle des N premiers échos, sera donnée en liaison avec la figure 4.
  • Le système objet de la présente invention permet d'éviter tout phénomène de coloration du signal réverbéré.
  • Ainsi qu'on le remarquera à l'observation de la figure 4, le système objet de la présente invention comprend un module de traitement des premiers échos, noté 20, et le filtre réverbérant proprement dit, noté 30, lequel correspond sensiblement au filtre réverbérant représenté en figure 3a.
  • Alors que dans la figure 3a, par exemple, chacune des voies de retard de rang i est telle que le module retardateur 3i de coefficient de retard mi et le module atténuateur 4i forment un module de retard absorbant 34i placé par exemple en aval du module sommateur de la voie de retard, module sommateur 2i correspondant, on pourra constater que sur la figure 4, le module de retard absorbant 34i est au contraire placé en amont du module sommateur 2i de la voie de retard Vi correspondant.
  • Ainsi qu'on le remarquera en outre à l'observation de la figure 4, les signaux élémentaires xi(k) sont délivrés après pondération par les modules multiplicateurs 1i, de coefficient de multiplication bi, par l'intermédiaire d'un module de retard, noté 201, sur la figure 4. Le module de retard 201 permet de retarder les instants ti d'arrivée des signaux élémentaires correspondants pour, en fait, constituer des signaux élémentaires décalés en une pluralité d'échos d'ordre 1 antérieurs à la réverbération tardive simulée. Le module 20 et les coefficients multiplicateurs bi des éléments multiplicateurs 1i constituent un module de traitement des premiers échos interconnectés au filtre réverbérant 30 proprement dit. On rappellera que le module des premiers échos 20 permet de contrôler les instants d'arrivée ti indépendamment des durées de retard du filtre réverbérant proprement dit. Le rôle des coefficients bi des éléments multiplicateurs 1i du module de premiers échos 20 est légèrement modifié par rapport au cas de la figure 3a. Les valeurs de retards absorbants τi provoqués par les éléments de retard absorbant 34i peuvent alors être choisies compte tenu des valeurs ti des instants d'arrivée ainsi que déjà mentionné en liaison avec la figure 2d. Dans le cas où les délais de retard ti sont identiques aux retards absorbants τi, les filtres de référence des figures 3a et 4 sont strictement équivalents, mais en présence des éléments d'atténuation 4i, les deux systèmes diffèrent par le fait que sur la figure 4, les échos d'ordre 1, c'est-à-dire les premiers échos, ne subissent pas les filtrages absorbants. Le système tel que représenté en figure 4, muni de son module de traitement des premiers échos, permet d'éviter tout phénomène de coloration de la réverbération tardive, quelle que soit la distribution d'échos précoces choisie.
  • Le système de spatialisation d'un signal audio-numérique objet de l'invention tel que précédemment décrit en liaison avec les figures 3a à 3f et 4 constitue essentiellement un filtre réverbérant monophonique.
  • Toutefois, le système objet de la présente invention n'est pas limité au seul traitement des signaux audio-numériques monophoniques.
  • Une description plus détaillée d'un système de spatialisation d'un signal audio-numérique stéréophonique sera maintenant décrit conformément à l'objet de la présente invention en relation avec les figures 5a, 5b et 5c.
  • En particulier, dans le cas de la figure 5a, le mode de réalisation présenté permet en fait d'assurer un contrôle de la clarté et des directions de provenance des échos précoces pour chaque source monophonique, lesquelles bien entendu de manière non limitative peuvent être constitutrices de sources d'un enregistrement ou d'une transmission d'un enregistrement stéréophonique. Dans ce dernier cas, le dispositif objet de la présente invention tel que représenté en figure 5a permet alors de contrôler la clarté et la direction de provenance des échos associés à chaque source monophonique correspondante, de manière à simuler une situation où les sources sont à des positions différentes dans une même salle.
  • Ainsi qu'on le remarquera à l'observation de la figure 5a, le système objet de la présente invention comprend alors essentiellement un filtre réverbérant proprement dit 30, lequel a été représenté de manière purement illustrative identique à celui de la figure 4, et un ou plusieurs modules de traitement des premiers échos, ces modules de traitement des premiers échos étant référencés 20₁, 20₂, et étant chacun relatifs à une première source mono 1 respectivement deuxième source mono 2, par exemple. Il est bien entendu qu'une pluralité de sources monophoniques peut être utilisée. On notera que de manière identique au mode de réalisation de la figure 4, chaque module de traitement des premiers échos comprend un élément retardateur 201 des instants d'arrivée ti, pour constituer les signaux de premiers échos. Cet élément retardateur peut être réalisé, soit au moyen d'un circuit de retard numérique, soit plus simplement au moyen d'un système de mémoire vive adressable séquentiellement, les échantillons d'entrée du signal audio-numérique x(k) mémorisés étant lus successivement en décalage du retard de décalage des instants d'arrivée ti. Les signaux élémentaires décalés formant les échos d'ordre 1 correspondants pour les signaux mono 1, mono 2, sont ensuite pondérés par les coefficients multiplicateurs bi des éléments multiplicateurs 1i correspondants, et ces signaux, après réglage par l'intermédiaire d'un élément multiplicateur 27₁, respectivement 27₂, appliquant à chaque signal élémentaire un gain identique r1, respectivement r2, sont injectés sur un BUS d'échos, lequel permet l'injection des premiers échos correspondants au niveau de l'entrée de la matrice de transfert de bouclage 10 du filtre réverbérant proprement dit, 30. On notera que les signaux de premiers échos correspondants sont injectés sur le BUS d'écho par l'intermédiaire d'éléments sommateurs de type classique 28₁, 28₂, puis au niveau de l'entrée de la matrice 10 du filtre réverbérant proprement dit, par des éléments sommateurs notés 29i sur la figure 5a.
  • En ce qui concerne le filtre réverbérant proprement dit, 30, celui-ci reçoit en entrée un signal source stéréo gauche, respectivement droit, transmis sur une voie gauche et sur une voie droite. On notera que, le filtre réverbérant proprement dit 30 de la figure 5a est agencé de façon que celui-ci comprenne une pluralité de N voies de retard, réparties en N/2 voies de retard relatives à la voie gauche, et permettant d'engendrer successivement N/2 signaux élémentaires gauches, notés xi(k)g, puis de manière analogue au filtre réverbérant représenté en figure 3a ou 4, N/2 signaux élémentaires retardés gauches, serig. Le filtre réverbérant proprement dit 30 de la figure 5a comprend également N/2 voies de retard relatives à la voie droite, et permettent d'engendrer successivement également N/2 signaux élémentaires droits, xi(k)d, puis bien sûr N/2 signaux élémentaires retardés droits, serid. En outre, des éléments sommateurs 26d des N/2 signaux élémentaires retardés droits, serid, et respectivement gauche 26g des signaux élémentaires retardés gauches, serig, sont prévus pour effectuer les sommations respectives de ces signaux, ces éléments sommateurs précités étant suivis d'un module de correction spectrale droite, respectivement gauche, et d'un module de filtrage passe-bas gauche et droit. Le module de correction spectrale droit et gauche est noté 7d, respectivement 7g, et peut être constitué de la même manière que dans le cas des figures 3a et 4.
  • On notera que le signal de sortie du filtre réverbérant proprement dit, c'est-à-dire en sortie de l'élément correcteur de réponse spectrale 7g ou 7d, possède une enveloppe spectrale plate, laquelle peut être corrigée par un filtre dont la réponse est celle d'un module de filtrage passe-bas, pour la voie gauche et droite. Le filtre passe-bas correspondant de fonction de transfert s(z) est noté 11 et est bien sûr relié à un BUS de sortie permettant l'écoute ou l'enregistrement du signal audio-numérique spatialisé stéréophonique correspondant.
  • On notera en outre ainsi que représenté en figure 5a que les signaux des premiers échos délivrés par les modules de premiers échos 20₁ ou 20₂ sont également injectés directement sur le BUS de sortie, indépendamment du signal issu du filtre réverbérant de façon à permettre le contrôle de la clarté pour chaque source MONOi grâce aux valeurs de gain ri des éléments multiplicateurs 27i.
  • D'une manière générale, on notera que le système objet de la présente invention tel que représenté en figure 5a permet un contrôle des directions de provenance des échos précoces réalisé en regroupant les échos au niveau du système de commandes, non représenté sur la figure 5a, par paires d'échos gauche et droit. Si le nombre N de retards du filtre réverbérant proprement dit 30 est pair, chaque module écho synthétise N/2 échos stéréophoniques dont on contrôle l'amplitude, la date d'arrivée et la direction de provenance. La direction de provenance de chaque écho est définie par l'écart temporel et énergétique entre les canaux gauche et droit.
  • Pour une écoute stéréophonique au casque, par exemple, le procédé objet de la présente invention tel qu'illustré en figure 5a, permet d'attribuer à chaque écho précoce une direction de provenance quelconque dans le demi-plan vertical supérieur délimité par l'axe des oreilles, alors que pour une écoute sur haut-parleur dans la disposition stéréophonique conventionnelle, des tests ont confirmé que le procédé selon l'invention permet au contraire de simuler toutes les directions de provenance dans le demi-plan horizontal frontal délimité par ce même axe, à condition d'utiliser un système à compensation du trajet sonore de chaque haut-parleur vers l'oreille opposée.
  • Sur la figure 5a, le premier écho affecté à chaque source joue le rôle du son direct pour cette source.
  • Sur la figure 5b, on a représenté un mode de réalisation particulier d'un filtre réverbérant proprement dit 30 dans une application stéréophonique dans le cas où le filtre réverbérant proprement dit correspond au mode de réalisation du bouclage de la figure 3b, ce filtre réverbérant correspondant en une subdivision des N voies de retard pour la prise en compte des voies gauche et droite de l'émission stéréophonique. Sur la figure 5b, on notera que les différents éléments dupliqués en fonction de la parité du rang de la voie de retard portent les indices 2p-1 pour des voies de retard de rang impair et 2p pour les voies de retard de rang pair. L'élément sommateur 22 de la figure 3b est remplacé par un élément sommateur pour la voie droite, respectivement gauche, portant les références 25d et 25g. L'élément sommateur 6₁ de la figure 3b est remplacé par les éléments sommateurs 26d et 26g correspondants pour les voies droite et gauche. Enfin, on notera que des éléments multiplicateurs de réglage de gain g portent la référence 24d, 24g, ces éléments permettant un réglage du gain correspondant, afin d'éviter les phénomènes éventuels de saturation.
  • En figure 5c, on a représenté le système objet de la présente invention dans lequel le bouclage du filtre réverbérant proprement dit 30 est réalisé, par exemple, ainsi que représenté en figure 3c, la subdivision entre voie de retard, Vi, de rang pair, respectivement impair, c'est-à-dire au niveau de la sortie de chaque retard absorbant de rang pair ou impair correspondant permettant de reconstituer les voies droite, respectivement gauche, du signal stéréophonique de sortie. Sur la figure 5c, le signal stéréophonique d'entrée n'a pas été représenté, afin de ne pas surcharger le dessin, mais correspond sensiblement à celui de la figure 3c.
  • En ce qui concerne la réalisation pratique d'un système spatialisateur conforme à l'objet de la présente invention tel que représenté par exemple en application stéréophonique en figures 5a, 5b ou 5c, on notera que la définition du filtre réverbérant proprement dit stéréophonique peut être réalisée en deux étapes indépendantes :
    • retards absorbants et filtre correcteur :
      • . filtre absorbant de type IIR du premier ordre, ce qui fournit deux paramètres indépendants pour le réglage du temps de réverbération.
      • . Dans ce cas, on montre que l'équilibre spectral du signal réverbéré peut être maintenu au moyen du filtre correcteur t(z) de type FIR du premier ordre vérifiant la relation (2) précédemment mentionnée dans la description. Un filtrage passe-bas réalisé par le filtre 11 permet d'améliorer le réalisme de la réverbération, ce filtre étant réalisé par un filtre du second ordre. Ce filtre 11 permet de réaliser le contrôle de l'enveloppe spectrale de la réverbération.
    • structure du filtre de référence : les bouclages choisis sont des bouclages unitaires tels que représentés par exemple en figures 3b à 3e.
  • Le filtre réverbérant correspondant est commandé par 4 paramètres totalement indépendants : taille de la salle d'audition définie par une dimension caractéristique de celle-ci, temps de réverbération Tr(ω) aux basses fréquences, rapport Tr aux hautes fréquences/Tr aux basses fréquences, et fréquence de coupure du signal réverbéré.
  • Dans un mode de réalisation pratique, le filtre réverbérant proprement dit était réalisé à l'aide de moyens de calculs numériques comportant un calculateur DSP 56000 recevant le signal source stéréophonique en entrée et d'un élément calculateur de même type réalisant les modules de contrôle des premiers échos de la figure 5c, par exemple. Ce deuxième élément calculateur permet de lire les signaux de plusieurs sources mono et transmet au filtre réverbérant les canaux du BUS écho. On notera que même si le nombre de sources monophoniques est supérieur, quatre modules échos suffisent pour une spatialisation réaliste. On notera que les sources monophoniques sont alors réparties en quatre groupes dont chacun est attribué à un module écho.
  • En ce qui concerne la définition et la réalisation du filtre correcteur de fonction de transfert t(z) et du filtre absorbant de fonction de transfert hi(z), ceux-ci, conformément à l'objet de la présente invention, peuvent être réalisés ainsi que représenté en figure 5d.
  • Ainsi, sur la figure précitée, les différents paramètres mentionnés vérifient les relations : hi(z) = ki.δki(z) où δki(z) = 1-βi 1-βi.z⁻¹
    Figure imgb0017
    Ki = 20.log₁₀(ki)
    Figure imgb0018
    Ki = -60.τi/Tr(0) où τi = mi.T
    Figure imgb0019
    βi = Ki. 1n(10) 40 .(1- 1 α ) où α = Tr(π) Tr(0)
    Figure imgb0020
    t(z) = g. 1-β.z⁻¹ 1-β avec g = Στi Tr(0)
    Figure imgb0021
    β = 1- α 1+ α avec α = Tr(π) Tr(0)
    Figure imgb0022
    βi = 1 - 2 1+ki( 1-1/α ) avec α = Tr(π) Tr(0)
    Figure imgb0023
  • La relation 13 constitue en fait une approximation de la relation 16.
  • En figures 6a et 6b, on a représenté respectivement les échogrammes de filtres réverbérants mono simulant une salle de taille moyenne, c'est-à-dire pour N = 8 voies de retard, respectivement en : 1) lors de l'utilisation d'une structure somme de peignes de l'art antérieur, et 2) lors de l'utilisation d'un filtre réverbérant tel que représenté en figure 3e, et respectivement en figure 6b, au point 1), des échogrammes de filtre réverbérant mono simulant une salle de grande taille N = 12 voies de retard, relativement à une structure somme de peignes de l'art antérieur, et au point 2), relativement à la structure de filtre réverbérant de la figure 3b.
  • On peut en particulier constater que la famille de filtres réverbérants constitutifs des systèmes de spatialisation d'un signal audio-numérique objet de la présente invention améliore considérablement la qualité de la réverbération par rapport à la structure connue, dite en somme de peignes. Elle permet en particulier d'obtenir rapidement une grande densité d'échos dans la reponse temporelle pour un nombre N de retards réduits. En pratique, pour simuler la réverbération d'une salle typique au temps de réverbération de l'ordre de une seconde, 8 retards suffisent, c'est-à-dire 8 voies de retard, là où 40 filtres en peigne seraient nécessaires. La simulation d'une salle de grande taille nécessite que la densité modale, donc la somme des durées des retards absorbants τi, soit de l'ordre d'une seconde. Il est alors judicieux de porter le nombre de retards à 12 au moins, afin d'augmenter la densité d'écho au début de la réponse temporelle.
  • On notera enfin que la simulation en temps réel de la réverbération dans tous les cas peut être réalisée au moyen de la capacité de calcul d'un micro-calculateur DSP 56000 et qu'en particulier ce type de calculateur permet, dans le cas de la spatialisation simultanée de plusieurs sources monophoniques, de traiter 4 sources monophoniques si le nombre de canaux du BUS écho est de 12. Ce mode de réalisation permet par exemple de contrôler séparément pour chaque source l'amplitude, l'instant d'arrivée et la direction de provenance du son direct et des 5 premières réflexions. Bien entendu, il est possible de prolonger le BUS écho de façon à traiter d'autres sources au moyen d'un autre calculateur de même type supplémentaire. Ainsi, pour un BUS écho à 16 canaux, l'utilisation de 3 calculateurs de type DSP 56000 permet de spatialiser 6 sources monophoniques en contrôlant pour chacune les 8 premiers échos.
  • Une utilisation particulièrement avantageuse d'un système objet de la présente invention sera maintenant décrite en liaison avec les figures 7a, 7b et 7c.
  • Dans les matrices de bouclage définies par la relation (8), les valeurs absolues des coefficients aji ne peuvent prendre que deux valeurs absolues. En effet, N d'entre eux ont pour valeur absolue 1-(2/N), et tous les autres ont pour valeur absolue 2/N. Par conséquent, lorsque le nombre N de retards devient grand, un petit nombre de trajets de bouclage est prépondérant par rapport aux autres. Ceci a pour effet de retarder le moment où, dans la réponse impulsionnelle, tous les échos ont des amplitudes voisines. Il en résulte que la densité temporelle est perçue comme insuffisante dans le début de la réponse impulsionnelle, bien que la densité d'échos théorique soit élevée.
  • L'inconvénient précité peut être supprimé tout en tirant parti des avantages que présentent, sur le plan du coût de calcul, les matrices unitaires définies précédemment par la relation (8), tout en maximisant la densité temporelle effectivement perçue dès le début de la réponse impulsionnelle. Dans ce but, ainsi qu'illustré par les figures 7a, 7b, lorsque le nombre de retards est relativement grand (au moins égal à 12), il est avantageux, selon l'invention,
    • d'utiliser en parallèle P filtres réverbérants comprenant N retards chacun, dont les matrices de bouclages unitaires et de dimension NxN sont notées Aj, cet agencement comprenant ainsi N.P retards, notés τji, où j=1..P et i=1..N,
    • d'entrelacer les P bouclages ainsi constitués, au moyen de N matrices unitaires de dimension PxP, notées Bi, ainsi que représenté sur les figures 7a et 7b, pour constituer un filtre réverbérant unique.
  • On remarquera que le bouclage ainsi réalisé est identique pour ces deux figures, car la seule différence réside dans l'emplacement des matrices d'entrelacement Bi par rapport à la contribution du signal d'entrée x(k), au sein du bouclage de chacun des P filtres réverbérants de départ.
  • En l'absence d'entrelacement, ou bien lorsque toutes les matrices Bi sont égales à la matrice neutre IP, la matrice de bouclage, notée APN, de l'ensemble s'écrit :
    Figure imgb0024
  • APN est une matrice unitaire, car produit d'une matrice bloc-diagonale formée par les matrices unitaires Aj, et d'une matrice de permutation notée JPN. Cette permutation correspond à l'échange des indices i et j dans la numérotation des retards τji, elle est telle que si toutes les matrices Aj sont égales à la même matrice A, alors la matrice APN peut s'écrire :
    Figure imgb0025
  • En présence des matrice d'entrelacement Bi, la matrice de bouclage du système d'ensemble reste unitaire et devient :
    Figure imgb0026
  • Dans le cas particulier où toutes les matrices Aj sont identiques, ABPN peut s'écrire :
    Figure imgb0027
  • Le matrice de bouclage ABPN apparaît alors comme une matrice obtenue par assemblage unitaire de blocs unitaires, cette matrice de bouclage ABPN étant désignée par "matrice unitaire par blocs".
  • Selon un mode de réalisation avantageux, celui-ci consiste à choisir les matrices Aj et Bi au sein de la famille définie par la relation (8) précédente. Dans ce cas, chacun des P bouclages définis par les matrices Aj peut être réalisé en 2.N opérations, et chacun des N entrelacements définis par les matrices Bi peut être réalisé en 2.P opérations, soit un total de 4.N.P opérations pour réaliser un filtre réverbérant comprenant N.P retards. Ce coût est le double de celui d'une réalisation utilisant simplement une matrice de dimension (N.P)x(N.P) choisie dans la famille définie par la relation (8) précitée, mais le choix d'une matrice "unitaire par blocs" conduit à des coefficients de bouclage d'ordres de grandeur voisins, ce qui améliore très sensiblement la densité temporelle perçue dans le début de la réponse impulsionnelle du filtre réverbérant unique ainsi réalisé.
  • Un mode de réalisation particulièrement intéressant, dont un exemple est décrit ci-après, est la réalisation d'un filtre réverbérant comprenant 16 retards, dans le cas où N = P = 4. Dans ce cas, la relation (8) conduit à des matrices Aj et Bi qui, à une permutation de lignes ou de colonnes près, sont toutes égales à la matrice :
    Figure imgb0028
  • Ceci conduit, pour le système d'ensemble, à une matrice unitaire par blocs de dimensions 16x16 qui est particulièrement avantageuse car tous ses coefficients ont la même valeur absolue.
  • Ainsi que décrit en fig. 7c, un filtre réverbérant constitué de N.P retards est obtenu, ainsi que décrit précédemment, par association en parallèle et entrelacement des bouclages de P filtres réverbérants constitués chacun de N retards. Dans cet exemple, les P filtres réverbérants de départ sont identiques à celui de la fig. 3b et l'entrelacement des P bouclages est lui-même réalisé comme le bouclage de la fig. 3b.
  • La fig. 7c montre que le filtre réverbérant ainsi réalisé peut également être vu comme la mise en parallèle de N filtres réverbérants à P entrées et P sorties, l'ensemble étant "rebouclé" sur lui-même ainsi que représenté sur la fig. 3b. On peut vérifier sur la figure précitée que le nombre total d'additions-multiplications nécessaire pour le bouclage et le calcul du signal de sortie y(k) est égal approximativement à 4.N.P.
  • Dans le cas particulier où N = P = 4, les matrices de bouclage Aj et les matrices d'entrelacement Bi sont toutes égales à la matrice :
    Figure imgb0029

    où, pour simplifier l'écriture, les signes + et - signifient respectivement +1 et -1. La matrice de bouclage, notée AA₁₆, du filtre réverbérant à 16 retards ainsi réalisé est unitaire par blocs, et tous ses coefficients ont même valeur.
    Figure imgb0030
  • On a ainsi décrit un procédé et un système de spatialisation artificielle en temps réel d'un signal audio-numérique particulièrement performant dans la mesure où le procédé et le système objets de l'invention permettent à un utilisateur de contrôler séparément le temps de réverbération variant avec la fréquence, l'enveloppe spectrale de la réponse de la salle effectivement simulée, ainsi que la densité modale traduisant la taille de la salle simulée et pour chaque source sonore l'instant d'arrivée, l'amplitude et la direction de provenance de chaque écho précoce, ainsi que la clarté. Le caractère particulièrement performant du procédé et du système objets de la présente invention résulte en particulier de l'indépendance entre le contrôle des paramètres précités, cette indépendance étant indispensable du point de vue perceptif, mais également afin de permettre la simulation de la spatialisation dans une salle réelle à partir de mesures effectuées dans celle-ci.

Claims (14)

1) Procédé de spatialisation artificielle en temps réel d'un signal audio-numérique x(k) pour engendrer un signal audio-numérique spatialisé y(k), consistant à effectuer sur ce signal, à partir de signaux élémentaires xi(k) répliques du signal audio-numérique, une pluralité de retards différents pour engendrer une pluralité de signaux élémentaires retardés (seri) et une combinaison linéaire entre les signaux élémentaires retardés pour obtenir une pluralité de signaux élémentaires retardés combinés (serci), un au moins de chacun desdits signaux élémentaires retardés combinés étant additionné à au moins un signal élémentaire xi(k) préalablement au retard de celui-ci et un au moins de chacun des signaux élémentaires retardés (seri) étant soumis à une sommation pondérée avec ledit signal audio-numérique x(k) pour engendrer ledit signal audio-numérique spatialisé y(k), procédé consistant, afin de simuler un phénomène de réverbération tardive :
- à effectuer ladite combinaison linéaire par un bouclage unitaire, pour lequel la pluralité de signaux élémentaires retardés combinés (serci) possède la même énergie que lesdits signaux élémentaires retardés (seri),
- à effectuer, avec chaque retard différent, une atténuation Hi(ω) du signal élémentaire retardé (seri), fonction de la fréquence audio (ω), cette atténuation étant une fonction monotone décroissante du temps de réverbération Tr(ω) et proportionnelle à chaque retard,
- à effectuer, avant sommation pondérée desdits signaux élémentaires retardés avec ledit signal audio-numérique x(k), une correction spectrale t(z) vérifiant la relation: |t(e )| = Στi Tr(ω)
Figure imgb0031
où τi, défini comme le retard absorbant, désigne la valeur de chaque retard, Στi désignant la somme de tous les retards absorbants.
2) Procédé selon la revendication 1, dans lequel ledit bouclage unitaire vérifie la relation : AN = JN - 2 N .UN T .UN
Figure imgb0032
AN   est la matrice de transfert du bouclage de dimension NxN de coefficients de transfert aij,
JN   est une matrice de transfert obtenue par permutation des lignes ou des colonnes de la matrice de transfert neutre IN de dimension NxN,
UNT   est le vecteur colonne transposé du vecteur ligne UN de dimension N, UN = [1, 1..., 1].
3) Procédé selon la revendication 2, dans lequel ledit bouclage unitaire, pour une pluralité de N signaux élémentaires retardés, consiste à réinjecter, selon une correspondance bijective, à l'entrée de chaque retard d'un signal élémentaire retardé de rang i un signal élémentaire retardé de rang j, diminué de la somme, pondérée par le rapport 2/N, des signaux élémentaires retardés.
4) Procédé selon la revendication 1 dans lequel, en vue de contrôler les instants d'arrivée et des amplitudes des échos précoces sans provoquer de phénomène de coloration du signal réverbéré ou spatialisé, celui-ci consiste, en outre :
- à effectuer un décalage temporel t1,...,ti,...,tN des instants d'arrivée, au niveau dudit bouclage desdits signaux élémentaires,
- à choisir un écart de décalage, entre le plus grand et le plus petit des instants d'arrivée, inférieur à la plus petite valeur desdits retards absorbants τi, de façon à constituer lesdits signaux élémentaires décalés en une pluralité d'échos d'ordre 1 antérieurs à la réverbération tardive simulée.
5) Procédé selon la revendication 4 dans lequel, en vue d'effectuer une spatialisation simultanée de plusieurs sources monophoniques dans une transmission stéréophonique, soumise au procédé de spatialisation et à un processus de réverbération simulée, celui-ci consiste :
- à soumettre chaque signal monophonique à un processus de décalage temporel des instants d'arrivée de ce signal, pour engendrer une pluralité de N signaux monophoniques élémentaires décalés, de façon à constituer lesdits signaux monophoniques élémentaires décalés en une pluralité d'échos d'ordre 1 correspondants,
- à injecter, dans le bouclage appliqué aux signaux stéréophoniques soumis au processus de réverbération simulée, par sommation avant bouclage auxdits signaux élémentaires retardés, lesdits signaux monophoniques élémentaires décalés.
6) Système de spatialisation artificielle en temps réel d'un signal audio-numérique x(k) permettant d'engendrer un signal audio-numérique spatialisé y(k) comportant des moyens de retard d'une pluralité de signaux élémentaires xi(k) répliques du signal audio-numérique x(k), délivrant une pluralité de signaux élémentaires retardés, de retard différent, et des moyens additionneurs par combinaison linéaire de ces signaux élémentaires retardés délivrant une pluralité de signaux élémentaires retardés combinés, des moyens sommateurs d'un signal élémentaire retardé combiné à un des signaux élémentaires xi(k), préalablement au retard de celui-ci, des moyens de sommation pondérée desdits signaux élémentaires retardés et du signal audio-numérique x(k) pour engendrer ledit signal audio-numérique spatialisé y(k), système dans lequel les moyens additionneurs constituent un bouclage unitaire, pour lequel la pluralité de signaux élémentaires retardés combinés possède la même énergie que les signaux élémentaires retardés, ledit système comportant, en outre, d'une part, des moyens d'atténuation Hi(ω) de chaque signal élémentaire retardé, en fonction de la pulsation audio (ω), ladite atténuation étant une fonction monotone décroissante du temps de réverbération Tr(ω), et proportionnelle à chaque retard, et, d'autre part, des moyens de correction spectrale t(z) de la somme des signaux élémentaires retardés, préalablement à leur sommation pondérée au signal audio-numérique x(k), ladite correction spectrale vérifiant la relation : |t(e )|² = Στi Tr(ω)
Figure imgb0033
où τi, défini comme le retard absorbant, désigne la valeur de chaque retard, Στi désigne la somme de tous les retards absorbants, ledit système constituant un filtre réverbérant.
7) Système selon la revendication 6, dans lequel lesdits moyens de réinjection sont formés par :
- une pluralité de N voies de retard reliées en parallèle par des modules sommateurs, chaque voie de retard de rang i comportant au moins successivement, un module multiplicateur (bi), un module sommateur de bouclage, un module retardateur de coefficient de retard (mi), un module atténuateur de fonction de transfert hi(ω), un module multiplicateur (ci),
- une voie de transfert du signal audio-numérique comportant en cascade un module multiplicateur (d) et un module sommateur, la sortie du module sommateur de liaison en parallèle desdites voies de retard étant reliée au module sommateur de la voie de transfert par le module de correction spectrale t(z),
- une matrice de transfert de bouclage de dimensions NxN, de coefficients de transfert aij, une colonne de la matrice de transfert étant reliée en sortie d'un module atténuateur de rang déterminé et une ligne de la matrice de transfert étant reliée à un module sommateur de rang correspondant d'une voie de retard et délivrant à celui-ci un signal élémentaire retardé combiné, combinaison linéaire des signaux élémentaires retardés,
Figure imgb0034
ladite matrice de transfert (AN) vérifiant la relation AN = JN - 2 N .UN T .UN,
Figure imgb0035
dans laquelle,
JN   est une matrice obtenue par permutation des lignes ou des colonnes de la matrice de transfert neutre IN, de dimension NxN,
UNT   est le vecteur colonne transposé du vecteur ligne de dimension N, UN [1, 1..., 1].
8) Système selon la revendication 7, dans lequel lesdits moyens additionneurs par combinaison linéaire, pour une pluralité de N signaux élémentaires retardés, sont formés par :
- des moyens de réinjection selon une correspondance bijective, à l'entrée de rang i desdits moyens retardateurs, d'un signal élémentaire retardé de rang j diminué de la somme pondérée par le rapport 2/N des signaux élémentaires retardés.
9) Système selon la revendication 8 précédente, caractérisé en ce que pour chacune des voies de retard de rang i, le module retardateur de coefficient de retard mi et le module atténuateur hi(z) forment un module de retard absorbant (τi), ledit module de retard absorbant (τi) étant placé en aval du module sommateur de ladite voie de retard ou en amont de celui-ci sur la voie d'entrée de chaque signal élémentaire retardé combiné.
10) Système selon la revendication 9, dans lequel chaque module de retard absorbant τi étant placé en amont du module sommateur de la voie de retard correspondante, lesdits signaux élémentaires xi(k) sont délivrés après pondération par les modules multiplicateurs bi par l'intermédiaire d'un module de retard des instants (ti) d'arrivée décalés temporellement, ce qui permet de constituer lesdits signaux élementaires décalés en une pluralité d'échos d'ordre 1 antérieurs à la réverbération tardive simulée, lesdits coefficients multiplicateurs (bi) et ledit module de retard constituant un module de traitement des premiers échos interconnecté au filtre réverbérant.
11) Système selon la revendication 6 dans lequel, en vue de réaliser un filtre réverbérant pour un signal audio-numérique stéréophonique transmis sur une voie gauche et sur une voie droite, celui-ci comprend :
- une pluralité de N voies de retard réparties, d'une part, en N/2 voies de retard relatives à la voie gauche et permettant d'engendrer successivement N/2 signaux élémentaires gauches xi(k)g, puis N/2 signaux élémentaires retardés gauches, serig, et d'autre part, en N/2 voies de retard relatives à la voie droite et permettant d'engendrer successivement N/2 signaux élémentaires droits xi(k)d, puis N/2 signaux élémentaires retardés droits, serid,
- des moyens sommateurs des N/2 signaux élémentaires retardés droits, serd, respectivement gauches, serg, suivis d'un module de correction spectrale droite, respectivement gauche et d'un module de filtrage passe-bas gauche et droit,
- une matrice de transfert de bouclage de dimension NxN, N/2 colonnes de la matrice de transfert de bouclage étant reliées aux N/2 voies de retard transmettant les N/2 signaux élémentaires retardés droits et les N/2 autres colonnes de la matrice de transfert de bouclage étant reliées aux N/2 autres voies de retard transmettant les N/2 signaux élémentaires retardés gauches, N/2 lignes de la matrice de transfert de bouclage étant reliées chacune au module sommateur d'une voie de retard transmettant les N/2 signaux élémentaires droits xi(k)d et les N/2 autres lignes de la matrice de transfert de bouclage étant reliées chacune au module sommateur d'une voie de retard transmettant les N/2 signaux élémentaires gauches xi(k)g.
12) Système de spatialisation artificielle en temps réel d'un signal audio-numérique selon la revendication 6, ce système étant utilisé pour simuler un phénomène de réverbération d'un signal audio-numérique monophonique ou stéréophonique.
13) Système de spatialisation artificielle en temps réel d'un signal audio-numérique stéréophonique en vue d'assurer un contrôle de la clarté et des directions de provenance des premiers échos de sources monophoniques selon la revendication 12, dans lequel sont associés:
- un filtre réverbérant pour ledit signal audio-numérique stéréophonique,
- une pluralité de modules de traitement des premiers échos, à chaque module de traitement des premiers échos étant associé une ou plusieurs sources monophoniques, chaque module de traitement des premiers échos délivrant des signaux élémentaires décalés à l'entrée du module sommateur de chaque voie de retard, droite ou gauche, par l'intermédiaire d'une liaison de type BUS correspondante.
14) Système de spatialisation artificielle en temps réel selon la revendication 12, consistant pour un nombre de retards relativement grand :
- à utiliser en parallèle P filtres réverbérants pour réaliser P bouclages, chaque bouclage comprenant N retards, et une matrice de bouclage unitaire Aj, j ε [1, P] de dimension NxN, lesdits P filtres reverbérants comprenant ainsi NxP retards absorbants τji, i ε [1, N],
- à entrelacer les P bouclages ainsi réalisés au moyen de N matrices unitaires Bi, de dimension PxP, pour former un filtre réverbérant unique, ce qui permet d'augmenter la densité temporelle d'échos perçue dans le début de la réponse impulsionnelle dudit filtre réverbérant unique.
EP93400503A 1992-03-03 1993-02-26 Procédé et système de spatialisation artificielle de signaux audio-numériques Expired - Lifetime EP0559530B1 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR9202528 1992-03-03
FR9202528A FR2688371B1 (fr) 1992-03-03 1992-03-03 Procede et systeme de spatialisation artificielle de signaux audio-numeriques.

Publications (2)

Publication Number Publication Date
EP0559530A1 true EP0559530A1 (fr) 1993-09-08
EP0559530B1 EP0559530B1 (fr) 1997-08-06

Family

ID=9427296

Family Applications (1)

Application Number Title Priority Date Filing Date
EP93400503A Expired - Lifetime EP0559530B1 (fr) 1992-03-03 1993-02-26 Procédé et système de spatialisation artificielle de signaux audio-numériques

Country Status (5)

Country Link
US (1) US5491754A (fr)
EP (1) EP0559530B1 (fr)
JP (1) JP3496953B2 (fr)
DE (1) DE69312765T2 (fr)
FR (1) FR2688371B1 (fr)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1999013683A1 (fr) * 1997-09-09 1999-03-18 Robert Bosch Gmbh Procede et dispositif pour restituer un signal acoustique stereophonique
DE19634155B4 (de) * 1995-08-25 2010-11-18 France Telecom Verfahren zur Simulation der akustischen Qualität eines Raumes und damit verbundener Audio-Digitaler Prozessor
CN112201267A (zh) * 2020-09-07 2021-01-08 北京达佳互联信息技术有限公司 一种音频处理方法、装置、电子设备及存储介质

Families Citing this family (67)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2688371B1 (fr) 1992-03-03 1997-05-23 France Telecom Procede et systeme de spatialisation artificielle de signaux audio-numeriques.
US5774560A (en) * 1996-05-30 1998-06-30 Industrial Technology Research Institute Digital acoustic reverberation filter network
DE19733300C2 (de) * 1997-08-01 2001-04-19 Joachim Hecht Verfahren zur elektronischen Nachbildung der Übertragungseigenschaften eines ein Band-Echohall-Gerät umfassendes Klang-Effekt-Gerätes mittels eines programmgesteuerten digitalen oder analogen Signalprozessors
JP4627880B2 (ja) * 1997-09-16 2011-02-09 ドルビー ラボラトリーズ ライセンシング コーポレイション リスナーの周囲にある音源の空間的ひろがり感を増強するためのステレオヘッドホンデバイス内でのフィルタ効果の利用
US6091824A (en) * 1997-09-26 2000-07-18 Crystal Semiconductor Corporation Reduced-memory early reflection and reverberation simulator and method
JP3397116B2 (ja) * 1998-01-27 2003-04-14 ヤマハ株式会社 音響効果付与装置
EP1072089B1 (fr) 1998-03-25 2011-03-09 Dolby Laboratories Licensing Corp. Procede et appareil de traitement de signaux audio
JP3374765B2 (ja) * 1998-09-22 2003-02-10 ヤマハ株式会社 ディジタルエコー回路
SE521024C2 (sv) * 1999-03-08 2003-09-23 Ericsson Telefon Ab L M Metod och anordning för att separera en blandning av källsignaler
US6665409B1 (en) * 1999-04-12 2003-12-16 Cirrus Logic, Inc. Methods for surround sound simulation and circuits and systems using the same
AU7538000A (en) 1999-09-29 2001-04-30 1... Limited Method and apparatus to direct sound
US6978027B1 (en) * 2000-04-11 2005-12-20 Creative Technology Ltd. Reverberation processor for interactive audio applications
EP1312162B1 (fr) * 2000-08-14 2005-01-12 Clear Audio Ltd. Systeme d'amelioration de la qualite de signaux vocaux
US7062337B1 (en) * 2000-08-22 2006-06-13 Blesser Barry A Artificial ambiance processing system
US7149314B2 (en) * 2000-12-04 2006-12-12 Creative Technology Ltd Reverberation processor based on absorbent all-pass filters
WO2002078388A2 (fr) * 2001-03-27 2002-10-03 1... Limited Procede et appareil permettant de creer un champ acoustique
JP3671876B2 (ja) * 2001-06-29 2005-07-13 ヤマハ株式会社 楽音発生装置
FI20012313A (fi) * 2001-11-26 2003-05-27 Genelec Oy Menetelmä matalataajuista ääntä muokkaavan modaalisen ekvalisaattorin suunnittelemiseksi
US7240001B2 (en) 2001-12-14 2007-07-03 Microsoft Corporation Quality improvement techniques in an audio encoder
EP1500084B1 (fr) * 2002-04-22 2008-01-23 Koninklijke Philips Electronics N.V. Representation parametrique d'un signal audio spatial
GB0301093D0 (en) * 2003-01-17 2003-02-19 1 Ltd Set-up method for array-type sound systems
GB0304126D0 (en) * 2003-02-24 2003-03-26 1 Ltd Sound beam loudspeaker system
GB0321676D0 (en) * 2003-09-16 2003-10-15 1 Ltd Digital loudspeaker
US8422693B1 (en) 2003-09-29 2013-04-16 Hrl Laboratories, Llc Geo-coded spatialized audio in vehicles
TWI246866B (en) * 2004-01-09 2006-01-01 Mediatek Inc Method and device for digital audio signal processing
US7460990B2 (en) * 2004-01-23 2008-12-02 Microsoft Corporation Efficient coding of digital media spectral data using wide-sense perceptual similarity
JP2005215250A (ja) * 2004-01-29 2005-08-11 Pioneer Electronic Corp 音場制御システム及び音場制御方法
WO2006003957A1 (fr) * 2004-06-30 2006-01-12 Pioneer Corporation Dispositif de réglage de réverbération, procédé de réglage de réverbération, programme de réglage de réverbération, support d’enregistrement contenant le programme, et système de correction de champ sonore
GB0415626D0 (en) * 2004-07-13 2004-08-18 1 Ltd Directional microphone
GB0415625D0 (en) * 2004-07-13 2004-08-18 1 Ltd Miniature surround-sound loudspeaker
US20070269071A1 (en) * 2004-08-10 2007-11-22 1...Limited Non-Planar Transducer Arrays
DE102004051057A1 (de) * 2004-10-19 2006-04-27 Micronas Gmbh Verfahren bzw. Schaltung zum Generieren von Nachhall für ein Tonsignal
DE102005010057A1 (de) * 2005-03-04 2006-09-07 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Erzeugen eines codierten Stereo-Signals eines Audiostücks oder Audiodatenstroms
GB0514361D0 (en) * 2005-07-12 2005-08-17 1 Ltd Compact surround sound effects system
US8340304B2 (en) * 2005-10-01 2012-12-25 Samsung Electronics Co., Ltd. Method and apparatus to generate spatial sound
JP4916754B2 (ja) * 2006-04-04 2012-04-18 三菱電機株式会社 残響付加装置及び残響付加プログラム
US8180067B2 (en) * 2006-04-28 2012-05-15 Harman International Industries, Incorporated System for selectively extracting components of an audio input signal
US8488796B2 (en) * 2006-08-08 2013-07-16 Creative Technology Ltd 3D audio renderer
US8036767B2 (en) 2006-09-20 2011-10-11 Harman International Industries, Incorporated System for extracting and changing the reverberant content of an audio input signal
US8670570B2 (en) * 2006-11-07 2014-03-11 Stmicroelectronics Asia Pacific Pte., Ltd. Environmental effects generator for digital audio signals
US8705757B1 (en) * 2007-02-23 2014-04-22 Sony Computer Entertainment America, Inc. Computationally efficient multi-resonator reverberation
US20080273708A1 (en) * 2007-05-03 2008-11-06 Telefonaktiebolaget L M Ericsson (Publ) Early Reflection Method for Enhanced Externalization
US8046214B2 (en) * 2007-06-22 2011-10-25 Microsoft Corporation Low complexity decoder for complex transform coding of multi-channel sound
US7885819B2 (en) 2007-06-29 2011-02-08 Microsoft Corporation Bitstream syntax for multi-process audio decoding
US8204240B2 (en) * 2007-06-30 2012-06-19 Neunaber Brian C Apparatus and method for artificial reverberation
KR100899836B1 (ko) 2007-08-24 2009-05-27 광주과학기술원 실내 충격응답 모델링 방법 및 장치
US8249883B2 (en) * 2007-10-26 2012-08-21 Microsoft Corporation Channel extension coding for multi-channel source
CN101661746B (zh) * 2008-08-29 2013-08-21 三星电子株式会社 数字音频混响器和数字音频混响方法
US8891756B2 (en) 2008-10-30 2014-11-18 Certicom Corp. Collision-resistant elliptic curve hash functions
KR101546849B1 (ko) * 2009-01-05 2015-08-24 삼성전자주식회사 주파수 영역에서의 음장효과 생성 방법 및 장치
JP5400225B2 (ja) * 2009-10-05 2014-01-29 ハーマン インターナショナル インダストリーズ インコーポレイテッド オーディオ信号の空間的抽出のためのシステム
ES2405990T3 (es) * 2009-10-21 2013-06-04 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Reverberador y método para reverberar una señal de audio
JP5307770B2 (ja) 2010-07-09 2013-10-02 シャープ株式会社 音声信号処理装置、方法、プログラム、及び記録媒体
US11488574B2 (en) 2013-12-02 2022-11-01 Jonathan Stuart Abel Method and system for implementing a modal processor
US10019980B1 (en) * 2015-07-02 2018-07-10 Jonathan Abel Distortion and pitch processing using a modal reverberator architecture
US11087733B1 (en) 2013-12-02 2021-08-10 Jonathan Stuart Abel Method and system for designing a modal filter for a desired reverberation
US9805704B1 (en) 2013-12-02 2017-10-31 Jonathan S. Abel Method and system for artificial reverberation using modal decomposition
JP6511775B2 (ja) * 2014-11-04 2019-05-15 ヤマハ株式会社 残響音付加装置
EP3018918A1 (fr) * 2014-11-07 2016-05-11 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Appareil et procédé pour générer des signaux de sortie en fonction d'un signal de source audio, système de reproduction acoustique et signal de haut-parleur
CN108369494B (zh) * 2015-10-28 2021-08-27 Dts(英属维尔京群岛)有限公司 音频信号的频谱校正
KR102633727B1 (ko) 2017-10-17 2024-02-05 매직 립, 인코포레이티드 혼합 현실 공간 오디오
US10559295B1 (en) 2017-12-08 2020-02-11 Jonathan S. Abel Artificial reverberator room size control
CN111713091A (zh) 2018-02-15 2020-09-25 奇跃公司 混合现实虚拟混响
US10779082B2 (en) 2018-05-30 2020-09-15 Magic Leap, Inc. Index scheming for filter parameters
JP7208365B2 (ja) * 2018-09-18 2023-01-18 ホアウェイ・テクノロジーズ・カンパニー・リミテッド 仮想3dオーディオを現実の室内に適応させる装置及び方法
JP7446420B2 (ja) 2019-10-25 2024-03-08 マジック リープ, インコーポレイテッド 反響フィンガプリント推定
CN113316077A (zh) * 2021-06-27 2021-08-27 高小翎 语音声源空间音效三维逼真生成系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4218585A (en) * 1979-04-05 1980-08-19 Carver R W Dimensional sound producing apparatus and method
WO1985001177A1 (fr) * 1983-09-07 1985-03-14 Polyak Gabor Procede et appareil permettant de realiser des effets sonores spatiaux
US4731835A (en) * 1984-11-19 1988-03-15 Nippon Gakki Seizo Kabushiki Kaisha Reverberation tone generating apparatus

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4803731A (en) * 1983-08-31 1989-02-07 Yamaha Corporation Reverbation imparting device
FR2688371B1 (fr) 1992-03-03 1997-05-23 France Telecom Procede et systeme de spatialisation artificielle de signaux audio-numeriques.

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4218585A (en) * 1979-04-05 1980-08-19 Carver R W Dimensional sound producing apparatus and method
WO1985001177A1 (fr) * 1983-09-07 1985-03-14 Polyak Gabor Procede et appareil permettant de realiser des effets sonores spatiaux
US4731835A (en) * 1984-11-19 1988-03-15 Nippon Gakki Seizo Kabushiki Kaisha Reverberation tone generating apparatus

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
90TH AUDIO ENGINEERING SOCIETY CONVENTION, PREPRINT 3030, Février 1991, NEW YORK, US J-M JOT ET AL. 'Digital delay networks for designing artificial reverberators' *
COMPUTER MUSIC JOURNAL vol. 3, no. 2, 1979, MENLO PARK, US pages 13 - 28 J MOORER 'About this reverberation business' *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19634155B4 (de) * 1995-08-25 2010-11-18 France Telecom Verfahren zur Simulation der akustischen Qualität eines Raumes und damit verbundener Audio-Digitaler Prozessor
WO1999013683A1 (fr) * 1997-09-09 1999-03-18 Robert Bosch Gmbh Procede et dispositif pour restituer un signal acoustique stereophonique
US6584202B1 (en) 1997-09-09 2003-06-24 Robert Bosch Gmbh Method and device for reproducing a stereophonic audiosignal
CN112201267A (zh) * 2020-09-07 2021-01-08 北京达佳互联信息技术有限公司 一种音频处理方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
JPH0643890A (ja) 1994-02-18
FR2688371B1 (fr) 1997-05-23
DE69312765T2 (de) 1998-02-19
US5491754A (en) 1996-02-13
JP3496953B2 (ja) 2004-02-16
EP0559530B1 (fr) 1997-08-06
FR2688371A1 (fr) 1993-09-10
DE69312765D1 (de) 1997-09-11

Similar Documents

Publication Publication Date Title
EP0559530B1 (fr) Procédé et système de spatialisation artificielle de signaux audio-numériques
Valimaki et al. Fifty years of artificial reverberation
US7613305B2 (en) Method for treating an electric sound signal
EP1992198B1 (fr) Optimisation d&#39;une spatialisation sonore binaurale a partir d&#39;un encodage multicanal
FR2738099A1 (fr) Procede de simulation de la qualite acoustique d&#39;une salle et processeur audio-numerique associe
CN102334348B (zh) 转换器及转换音频信号的方法
KR100739691B1 (ko) 음장 효과 재생을 위한 사운드 초기 반사음 재생 장치 및방법
EP1695335A1 (fr) Procede de synthese et de spatialisation sonores
EP1658755B1 (fr) Systeme de spatialisation de sources sonores
EP1886535A1 (fr) Procede pour produire une pluralite de signaux temporels
JP2022101630A (ja) 空間オーディオ信号のクロストーク処理のためのスペクトル欠陥補償
EP3400599B1 (fr) Encodeur ambisonique ameliore d&#39;une source sonore a pluralite de reflexions
US20070074621A1 (en) Method and apparatus to generate spatial sound
EP1815715A1 (fr) Dispositif et procede pour la production de son virtuel 3d par asymetrie, et support d&#39;enregistrement a programme pour la mise en oeuvre du procede
FR3065137A1 (fr) Procede de spatialisation sonore
TWI245258B (en) Method and related apparatus for generating audio reverberation effect
EP1994526B1 (fr) Synthese et spatialisation sonores conjointes
FR3009158A1 (fr) Spatialisation sonore avec effet de salle
FR2890280A1 (fr) Procede de filtrage numerique et de compensation pour lineariser la courbe de reponse d&#39;une enceinte acoustique et moyens mis en oeuvre
EP3058564B1 (fr) Spatialisation sonore avec effet de salle, optimisee en complexite
JP3172715B2 (ja) 擬似残響可聴信号を生成するための方法およびシステム
EP2987339B1 (fr) Procédé de restitution sonore d&#39;un signal numérique audio
WO2005096268A2 (fr) Procede de traitement de donnees sonores, en particulier en contexte ambiophonique
JP4263869B2 (ja) 残響付与装置、残響付与方法、プログラムおよび記録媒体
JP3671756B2 (ja) 音場再生装置

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): DE GB

17P Request for examination filed

Effective date: 19930807

17Q First examination report despatched

Effective date: 19960201

GRAG Despatch of communication of intention to grant

Free format text: ORIGINAL CODE: EPIDOS AGRA

GRAH Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOS IGRA

GRAH Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOS IGRA

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): DE GB

GBT Gb: translation of ep patent filed (gb section 77(6)(a)/1977)

Effective date: 19970808

REF Corresponds to:

Ref document number: 69312765

Country of ref document: DE

Date of ref document: 19970911

PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

26N No opposition filed
REG Reference to a national code

Ref country code: GB

Ref legal event code: IF02

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: DE

Payment date: 20120123

Year of fee payment: 20

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: GB

Payment date: 20120131

Year of fee payment: 20

REG Reference to a national code

Ref country code: DE

Ref legal event code: R071

Ref document number: 69312765

Country of ref document: DE

REG Reference to a national code

Ref country code: GB

Ref legal event code: PE20

Expiry date: 20130225

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: DE

Free format text: LAPSE BECAUSE OF EXPIRATION OF PROTECTION

Effective date: 20130227

Ref country code: GB

Free format text: LAPSE BECAUSE OF EXPIRATION OF PROTECTION

Effective date: 20130225