EP1518441A1 - Vorrichtung und verfahren zum unterdrücken einer rückkopplung - Google Patents

Vorrichtung und verfahren zum unterdrücken einer rückkopplung

Info

Publication number
EP1518441A1
EP1518441A1 EP03811364A EP03811364A EP1518441A1 EP 1518441 A1 EP1518441 A1 EP 1518441A1 EP 03811364 A EP03811364 A EP 03811364A EP 03811364 A EP03811364 A EP 03811364A EP 1518441 A1 EP1518441 A1 EP 1518441A1
Authority
EP
European Patent Office
Prior art keywords
signal
microphone
loudspeaker
embedding
signals
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
EP03811364A
Other languages
English (en)
French (fr)
Other versions
EP1518441B1 (de
Inventor
Thomas Sporer
Christian Neubauer
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Original Assignee
Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV filed Critical Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Publication of EP1518441A1 publication Critical patent/EP1518441A1/de
Application granted granted Critical
Publication of EP1518441B1 publication Critical patent/EP1518441B1/de
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/45—Prevention of acoustic reaction, i.e. acoustic oscillatory feedback
    • H04R25/453—Prevention of acoustic reaction, i.e. acoustic oscillatory feedback electronically
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/02—Circuits for transducers, loudspeakers or microphones for preventing acoustic reaction, i.e. acoustic oscillatory feedback

Definitions

  • the present invention relates to audio playback systems and in particular also to audio playback systems in live environments.
  • Known feedback suppression techniques mix audible feedback tones into the microphone and use filters to suppress incoming feedback.
  • Alternative feedback suppression techniques use a so-called pitch shifting technique to shift the feedback into inaudible parts of the spectrum so that stable feedback tones are avoided.
  • the first solution requires a short feedback to trigger suppression
  • the other solution sometimes produces a strange tone, e.g. making singing and voicing difficult for artists.
  • the object of the present invention is to provide an improved concept for suppressing feedback.
  • the present invention is based on the finding that effective feedback suppression can be achieved in that a microphone signal, which is a superimposition of a useful signal and a feedback signal originating from one loudspeaker or several loudspeakers, is processed before the mixing or amplification so that the feedback portion from the microphone signal is subtracted so that only the useful signal remains after the subtraction.
  • the feedback signal component is preferred consistently removed from the microphone signal. To do this, it is necessary to determine the feedback signal component synthetically on the microphone.
  • a marking operation is carried out for this purpose in such a way that the signal which is emitted by the loudspeaker can be recognized. This is achieved in that either in the microphone signal after subtraction or in the microphone signal before subtraction or in the signal after mixing and amplification, that is, in the z.
  • a device for determining a property of a transmission channel from the loudspeaker to the microphone or directly for a feedback loop from a microphone back to itself using the received microphone signal which is a superimposition of the feedback signal and the useful signal and using the known test signal that has been embedded.
  • a preferred procedure for determining the property of the transmission channel in the environment between the loudspeaker and the microphone is to carry out a cross-correlation between the microphone signal and the test signal.
  • the cross correlation for example, directly provides the impulse response of the channel between the loudspeaker and the observed microphone.
  • Alternative channel determination methods can also be used.
  • a filter which filters the loudspeaker signal in order to obtain a filtered loudspeaker signal.
  • the time-variant channel from the loudspeaker to the microphone is “simulated” to a certain extent in order to synthetically calculate the feedback signal fed into the microphone so that it is available to the subtraction device.
  • the present invention performs optimal feedback cancellation when the channel changes only slowly. This is very often the case with concerts, given the movements caused by human artists. Even if an artist makes a very fast movement, this fast movement does not last very long, such that a short, fast movement is followed by a slower movement or even a pause.
  • the system according to the invention is able not only to suppress feedback at the beginning of the "transient", but also during the transient, to the effect that any feedback that may have already started can be suppressed, ie subtracted, while it is still in progress ,
  • the test signal is a pseudo noise sequence that can be generated easily, quickly and inexpensively with little effort, for example using feedback shift registers, and if such a shift register is made available at several locations, it can be reproduced easily.
  • a plurality of shift register devices which are to generate such a pseudo random sequence can be initialized with the same starting value or “seed”. It is known that pseudo-noise sequences look noisy, but usually have a relatively long period. The noisy appearance of a pseudo-noise sequence is expressed in the frequency domain when the pseudo-noise signal has a white spectrum, such that all frequencies are equally strong.
  • this white pseudo-noise signal can be mixed in immediately if it is ensured that the level of the mixed-in pseudo-noise signal is relatively low and does not lead to audible interference, or leads to only slight audible interference.
  • test signal regardless of whether it is a pseudo-noise signal or not, using a microphone signal which is preferably free from the feedback component or by using an amplified microphone signal, i.e. the Loudspeaker signal to evaluate derived psychoacoustic masking threshold.
  • a microphone signal which is preferably free from the feedback component or by using an amplified microphone signal, i.e. the Loudspeaker signal to evaluate derived psychoacoustic masking threshold.
  • test signal evaluated in this way to the microphone signal or to the loudspeaker signal leads to the fact that the embedded test signal will not be audible to the listener, so that the listener is not aware of the feedback suppression procedure which is constantly running.
  • a test signal with the highest possible energy in the loudspeaker signal is desirable for effective suppression, that is to say for the most accurate possible determination of the impulse response of the channel between the loudspeaker and the microphone, that is to say for the exact simulation of the feedback component.
  • the maximum energy is achieved without loss of audio quality if the test signal is a pseudo-noise signal, that is to say extends over the entire relevant frequency range, and is weighted psycho-acoustically in such a way that it is below the marking threshold of the loudspeaker signal.
  • test signal In signal portions of the loudspeaker signal with a high masking effect, the test signal is therefore represented with a high energy, while in signal portions of the loudspeaker signal with a low masking effect, for example in tonal audio portions, the test signal is represented with relatively little or no energy, in that no audio quality integration eats for the listener.
  • the present invention is particularly suitable for multichannel environments in which there are a number of microphones and a number of loudspeakers.
  • the use of different test signals embedded in the individual microphone signals, which are preferably orthogonal to one another, and the use of a cross-correlation device for the determination of each relevant channel mean that the optimum feedback component can be calculated for each microphone. This results in flexible feedback suppression that is precisely adapted to the individual microphone signals, since each channel is simulated individually.
  • the computing power for channel determination can preferably be borrowed using a cross-correlation.
  • a typical amplifier system e.g. a PA system
  • a mixer of considerable size and cost in which setting some digital signal processors for calculating the channel characteristics and suppressing the feedback components will not be significant in view of the total cost of the system.
  • the present invention brings about an efficient feedback suppression without negative consequences for the listeners on the one hand and in particular also for the artists on the other hand with typically almost negligible costs in relation to the overall system.
  • Particular emphasis is placed on ensuring that the artists are not disturbed in their artistic expression, in such a way that they B. hear "tuned” audible feedback suppression tones or that in the case of pitch shifting the signals perceived by the artist have a different pitch when they were sung by the artist, for example.
  • pitch shifting will already suffice for this known feedback suppression, these are nevertheless annoyances for the artist, which should restrict his artistic expression.
  • it is precisely the artist who ultimately decides which system must be provided for him.
  • the test signal can be embedded directly in the loudspeaker signals, ie before the analog / digital conversion and acoustic reproduction.
  • the adaptation to the psychoacoustic properties of the loudspeaker signal will be best, since the psychoacoustic model of the loudspeaker signal will be immediately meaningful for what a viewer hears or not.
  • Embedding in the loudspeaker signal also has the advantage that transmission functions from each loudspeaker to each microphone can be simulated individually and used for feedback suppression.
  • This alternative according to the invention leads to better sound quality for the listener, but requires higher computing power in that if, for example, three microphones and three loudspeakers are present, nine different transmission channels are already determined with regard to the properties, have to be simulated with typically FIR filters and used for subtraction , before actually subtracting the total feedback tion signal an addition of the three individual simulated feedback signals supplied in the case described by three loudspeakers must be carried out.
  • Another alternative of the present invention is to embed the test signal in the modified microphone signal, that is to say after the subtraction, that is to say before the microphone signals are mixed and amplified in order to obtain an embedding signal.
  • the embedding signal is used simultaneously to be filtered and to supply the filtered signal to the subtraction device.
  • the psychoacoustic model is preferably calculated here on the basis of the modified microphone signal in order to maintain the masking threshold for optimal embedding.
  • the information about the psychoacoustic masking threshold can, however, also be derived from the individual loudspeaker signals and fed to the corresponding embedding device, which lies before the mixing / amplification, so that there is better control of the test signal.
  • the test signal should on the one hand not be audible and on the other hand should be available with the highest possible energy. If a psychoacoustic model is derived from a signal that does not correspond directly to the loudspeaker signal, but only corresponds approximately, the energy of the embedded test signal is kept below the psychoacoustic masking threshold by a certain safety distance, which prevents the deterioration of the audio quality, but does so a poorer signal / noise ratio in the transmission channel determination and thus could lead to poorer feedback suppression.
  • test signal can be inserted into the microphone signal before the feedback component subtraction. If the feedback component is calculated accurately, the embedded test signal will survive the feedback component subtraction relatively "undamaged” such that this case can be viewed similarly to the case where the test signal is already embedded in the modified microphone signal.
  • Fig.la a preferred embodiment of the present invention in a multi-channel environment with embedding on the microphone side;
  • Fig.lb an alternative embodiment of the feedback suppression concept according to the invention with embedding on the microphone side;
  • FIG. 4 shows a schematic summary of the procedure for calculating an impulse response of the transmission channel shown in FIG. 3 using a cross correlation.
  • Fig.l shows a preferred embodiment of the present invention in a multi-channel setting, in which a plurality of microphones 10, 11, 12 and a plurality of speakers 13, 14, 15 are arranged.
  • a signal processing device 16 Arranged between the microphones on the microphone side and the loudspeakers on the loudspeaker side is a signal processing device 16, which is any sound system which, among other things, also mixes or amplifies the sound signal which is fed in by the microphones can.
  • Signals from the three speakers 13, 14, 15 are superimposed on each microphone and form a feedback signal fi (t) for each microphone.
  • the loudspeaker signals of the loudspeakers 13, 14, 15 are transmitted via a free-space transmission channel 17, which can be defined such that a first transmission channel hi is defined from the three loudspeakers to the first microphone, that a second from the three loudspeakers to the second microphone 11 Transmission channel h 2 is defined that a third transmission channel h 3 is defined from the three loudspeakers to the third microphone 12.
  • a test signal is embedded in a modified microphone signal using an embedding device 20, 21, 22 in order to obtain a respective embedding signal for each microphone channel at the output of the device 21, 21 or 22.
  • a first test signal pi is embedded in the modified microphone signal of the first microphone 10 in order to obtain a first embedding signal.
  • a second test signal p 2 is embedded in the modified microphone of the signal of the second microphone 11 in order to obtain a second embedding signal.
  • a third test signal p is embedded in the modified microphone signal of the third microphone 12 in order to obtain a third embedding signal.
  • a subtractor 30, 31, 32 is also assigned to each microphone.
  • the subtracting device is designed to subtract a simulated feedback component, which in the ideal case is equal to the feedback component fi (t) received by a microphone, from the microphone signal.
  • a modified microphone signal is thus present at the output of the respective subtracting device 30, 31, 32, which corresponds to the original useful signal s ⁇ (t), s 2 (t) or s 3 (t).
  • each microphone is assigned its own channel simulation filter 40, 41, 42, the first simulation filter 40 being designed to have the same channel impulse response h 1 (t) as is shown in block 17, the one in FIG Representation in block 17 is associated not only with the free space channel, but also with the transfer function through the mixing / amplification block 16.
  • the simulated channel impulse response also already includes the necessary delay.
  • the second channel simulation filter 41 is designed to have the same channel impulse response h 2 (t) as is outlined in block 17 (including mixing / amplification).
  • the third simulation filter 42 is designed to have the same channel impulse response h 3 (t) as is indicated in block 17 (including mixing / amplification).
  • the channel impulse responses for setting the simulation filter 40, 41, 42 are determined in respective devices 50, 51, 52 for determining a property of a transmission channel.
  • the first device 50 for determining receives the test signal which has been fed into the modified microphone signal of the microphone 10.
  • the second device 51 for determining this Test signal p 2 which has been used in the device 21 for embedding.
  • the device 52 for determining the third microphone receives the same test signal p 3 that has been fed into the modified microphone signal of the third microphone.
  • the three test signals p x , p 2 , p 3 are each pseudo-noise sequences which are orthogonal to one another, so that they are carried out in the devices 50, 51, 52 for determining Cross correlation with the respective test signal pi, p 2 , p 3 can be distinguished from the modified microphone signals provided with the other test signals and thus the loudspeaker signals emitted.
  • a cross correlation e.g. of the microphone signal of the first microphone 10 with the pseudo-noise sequence pi will result in the modified microphone signals provided with the pseudo-noise sequences being correlated out by the second and third microphones, so that only the actually from the first microphone signal subtracting feedback portion that is problematic in generating feedback is subtracted.
  • feedback signals from the other two microphones 11, 12 are not critical here, since such feedback signals are in the signal processing path that from the first microphone leads to the three speakers 13, 14, 15, are not critical with regard to the generation of feedback.
  • the embedding signal of this microphone channel is also used and filtered for the filter parameter calculation for each microphone channel.
  • the filter 40 for generating the filtered signal to be supplied to the device 30 becomes the embedding signal Output of the device 20 supplied.
  • the filter 41 is fed with the embedding signal from the device 21.
  • the filter 42 is fed with the embedding signal from the device 22.
  • FIG. 1 a only subtracts the signal which is problematic for feedback.
  • the (earlier) signal from the first microphone, which (later) is coupled in again is problematic for feedback via the first microphone. In this case, it does not matter from which speaker (s) the first microphone signal is reproduced.
  • the channel calculated by correlating the first microphone signal with the first test signal corresponds to a "feedback loop", ie a loop from the microphone, via the mixing / amplification, one or more speakers and the free space channel back to the microphone (including the transmission characteristic of the microphone actually used)
  • a feedback loop ie a loop from the microphone, via the mixing / amplification, one or more speakers and the free space channel back to the microphone (including the transmission characteristic of the microphone actually used)
  • the impulse response hi determined “automatically” also includes the delay that occurred in the feedback loop, so that no further precautions need to be taken for this.
  • the situation is transparent in that the psychoacoustic masking threshold of the signal fed into the embedding device can be used for spectral coloring.
  • a loudspeaker signal could also be fed back and fed into the filter.
  • the assignment in such a way that the loudspeaker signal 13 is filtered and returned to the first microphone 10 is in principle arbitrary. If the dominant assignment of the first microphone is rather to the loudspeaker 2, the loudspeaker signal of the loudspeaker 14 would be fed back to the first microphone via the simulation filter 40.
  • the assignment of the loudspeaker signals to the microphones can thus only be seen as an example in FIG. 1 a and can also vary from time to time depending on the mixture in the signal processing device 16.
  • FIG. 1b to FIG. La differs from the embodiment shown in FIG. La in that loudspeaker signals are fed back and not embedding signals, and in that the signals from the various loudspeakers 13, 14, 15 are in one Summation device 23 are added up, and that the loudspeaker sum signal is then filtered with the corresponding different simulation filters 40, 41, 42 in order to generate the three synthesized feedback components which are fed to the corresponding subtraction devices 30, 31, 32, as described in FIG Fig. Lb is shown.
  • the loudspeaker signals of all the loudspeakers overlap in the transmission channel 17 and lead, for example, to a resulting feedback signal f (t) which consists of signal portions of the first, second and third loudspeakers modified by a correspondingly definable transmission function.
  • a first transmission function hi is defined for the transmission of the sum signal of the three loudspeakers, which are superimposed in the free space transmission channel, to the first microphone.
  • a transfer function h 2 is defined for the transmission of the sum signal to the second microphone 11 and finally a resultant transfer function h 3 is defined for the transmission of the sum signal to the third microphone 12.
  • transfer functions hi, h 2 , h 3 are again determined in the devices 50, 51, 52, preferably by cross-correlation with the corresponding pseudo-Neuseh sequence pi, p 2 or p 3 assigned to a specific microphone.
  • the design of the subtraction devices 30, 31, 32, the embedding devices 20, 21, 22 and the simulated onsfilter 40, 41, 42 is designed as in the embodiment described with reference to FIG.
  • the test signal is not embedded on the microphone side, but on the loudspeaker side.
  • nxm different channels can be defined, where n is a number of speakers greater than or equal to 1, and m is a number of microphones greater than or equal to 1.
  • the channel from the second loudspeaker 14 to the first microphone 10 By correlating the output signal of the first microphone 10 using the second pseudo-noise sequence p 2 , the channel from the second loudspeaker 14 to the first microphone 10, which is denoted by h 2 , can be calculated. Analogously, by correlating the microphone signal of the first microphone 10 with the third pseudo-noise sequence p 3, the channel from the loudspeaker LS3 to the first microphone Ml, which is denoted by h 3 , can be simulated.
  • the same procedure can be followed for the output signals of the microphones 11 and 12 as is indicated by means of the devices 50, 51, 52 for the determination.
  • the devices 50, 51, 52 are thus able to calculate a separate channel transmission function for the channel from each loudspeaker to each microphone, with which each individual loudspeaker signal can be folded, which takes place in the simulation filters 40, 41, 42, to then, for example, within the subtraction device 30, 31 or 30 or in an upstream block from the three channel output signals for each microphone to calculate the resulting feedback component by addition in order to arrive at a resulting feedback component.
  • This is then from the feedback signal fed into a respective microphone fi (t) subtracted to arrive at a modified microphone signal for each microphone in which each channel has been selectively taken into account.
  • a device 50 for determining can be implemented completely in parallel in order to calculate the channel impulse responses hu, h ⁇ 2 and h ⁇ 3 at the same time.
  • the corresponding device could, however, also be implemented in series, in which case an intermediate memory is preferred with a view to optimum temporal synchronism of the three channels hu, h i2 , h i3 with one another.
  • the filter devices 40, 41, 42 can be designed in series or in parallel, a parallel design providing the best results, such that a separate simulation filter is provided for each possible channel of the channels possible in FIG. 2, such that the filter device 40, for example, actually comprises three individual simulation filters whose filter coefficients are set using the corresponding channel impulse response hu, h ⁇ 2 , h i3 .
  • the addition of the three simulated feedback components from each loudspeaker into a resulting feedback component could therefore also take place in the filter device 40 immediately after the calculation of the corresponding impulse responses and the folding of the loudspeaker signals with these impulse responses.
  • FIG. 2 just as in the exemplary embodiments shown in FIGS.
  • the three test signals p lf p, p 3 should be as orthogonal as possible to one another. This condition can be achieved simply and safely using pseudo-noise sequences, and this property is not lost by psychoacoustic filtering of the test signals before embedding.
  • a speaker signal is the signal that a listener actually hears.
  • the embedding can therefore best be carried out if the loudspeaker signals are used to calculate the psychoacoustic masking thresholds.
  • a psychoacoustic model could also be calculated on the basis of the respective loudspeaker signals 13, 14, 15 and used for embedding in the corresponding microphone signals in the devices 20, 21 and 22.
  • amplifications that take place between a microphone and a loudspeaker in the device 16 can easily be taken into account.
  • the mixing in the mixer 16 is deterministic, it is preferred in such a case to set a psychoacoustic masking threshold corresponding to that Mixing process to calculate simulated signal to obtain a loudspeaker signal in which, if the loudspeaker signal is the combination of several microphone signals, the test signals of several microphones are embedded to different degrees or to the same extent, the test signals, however, taken as a whole essentially the psychoacoustic masking threshold of a loudspeaker signal follow, so that an embedding with maximum energy is achieved, while at the same time no or only negligibly small audio quality losses are brought about.
  • a discrete-time test signal p (t) is applied to the channel.
  • the channel outputs a received signal y (t) which, as is known, corresponds to the convolution of the input signal and with the channel impulse response.
  • a matrix notation is used.
  • a channel impulse response with only two values h 0 and hi is assumed without restricting the generality.
  • the channel impulse response h 0 , hi can be written as a channel impulse response matrix H (t), which has the band structure shown in FIG. 4, the remaining elements of the matrix being filled with zeros.
  • the excitation signal p (t) is written as a vector, it being assumed here that the excitation signal has only three samples p 0 , pi, p 2 without restricting the generality.
  • the convolution shown in FIG. 3 corresponds to the matrix-vector multiplication shown in FIG. 4, so that a vector y results for the output signal.
  • the cross correlation can be written as the expected value E ⁇ ... ⁇ of the multiplication of the output signal y (t) by the conjugate-complex-transposed excitation signal p * ⁇ .
  • the expected value is calculated as a limit for N against infinity over that in FIG. 5 shown summation of individual products for different excitation signals p ⁇ .
  • the multiplication and subsequent summation results in the cross-correlation matrix, which is shown at the top left in FIG. 4, the same being weighted with the effective value of the excitation signal p, which is represented by ⁇ p 2 .
  • the first line of the channel impulse response matrix is taken, for example, whereupon the individual components are divided by ⁇ p 2 in order to directly obtain the individual components of the channel impulse response ho, hi.
  • the spectral coloring can be represented by digital filtering, the filter being described by a filter coefficient matrix Q.
  • the correlation matrix H also results on the output side, but is now still weighted with the expected value over Q x Q H.
  • the cross-correlation concept for calculating the impulse response is an iterative concept, as can be seen from the summation approach for the expected value shown in FIG. 4.
  • the first multiplication of the reaction signal by the conjugate-complex-transposed excitation signal already provides a first, very rough estimate for the channel impulse response, which becomes better and better with each further multiplication and summation.
  • the entire matrix H (t) is calculated by the iterative summation approach, it turns out that the elements of the Band matrix H (t) gradually approaches zero, while in the middle, ie the band of the matrix, the coefficients of the channel impulse response h (t) remain and assume certain values.
  • B. calculate a row of the matrix H (t) in order to obtain the entire channel impulse response.
  • the concept according to the invention is not limited to the procedure for calculating the cross-correlation described with reference to FIG. 4. All other methods for calculating the cross-correlation between a measurement signal and a reaction signal can also be used. Other methods of determining an impulse response instead of cross correlation can also be used.
  • the length of the pseudo-noise sequences used should depend on the expected impulse response of the channel under consideration. For larger acoustic environments, impulse responses with a length of a few seconds are conceivable. This fact must be taken into account by selecting an appropriate length of the pseudo-noise sequences for correlation.
  • the method according to the invention can be implemented in hardware or in software.
  • the implementation can take place on a digital storage medium, in particular a floppy disk or CD with electronically readable control signals, which can interact with a programmable computer system in such a way that the method is carried out.
  • the invention thus also consists in a computer program product with program code stored on a machine-readable carrier for carrying out the method according to the invention when the computer program product runs on a computer.
  • the invention can thus be considered a Computer program can be implemented with a program code for performing the method when the computer program runs on a computer.
  • test signal must not necessarily be embedded in the modified microphone signal or the loudspeaker signal, but that the test signal can also be embedded in the microphone signal in front of the corresponding subtraction device, although the test signal is embedded after the subtraction device is preferred.
  • the embedded test signal by subtracting an incorrectly matching feedback component and the like. U. could be damaged, which should lead to a further complication of the channel simulation by the devices 50, 51, 52.
  • an inaudible broadband signal is thus embedded in each microphone signal.
  • this signal is adaptively adapted to the recorded sound, a psychoacoustic model being able to be used, which in principle can be arbitrary and can be calculated based on time domain data or also based on frequency domain data.
  • a pseudo-noise sequence is preferred as the broadband signal, since with such a sequence an orthogonality between several sequences can easily be achieved.
  • the recorded signal is compared to the pseudo-noise signal before embedding and used to calculate the acoustic properties of all loudspeakers for the corresponding microphone.
  • a cross-correlation is preferred as the comparison operation, which, if the iterative algorithm shown in FIG. 4 is used, can be computed without any time-consuming computation with any scalable accuracy.
  • the scalability provides in particular the possibility of providing a quick but coarser calculation for specific situations, for example for a rock group with a lot of movement on the stage, while for other application scenarios, such as a rock group where the artists are static, e.g. scaling to a larger number of iteration values could be carried out since the individual channels are less time-variant
  • an inverse filter is created to suppress unwanted components.
  • the inverse filter is implemented by the simulation filter and the corresponding assigned subtraction devices.
  • the use of microphone signals enables spectrally shaped PNS signals to be stored so that interference with original sound signals is avoided and that a psychoacoustic model for calculating the spectral shaping only has to be calculated once and not in the corresponding device for determining it again must be calculated.
  • a unique PNS signal is embedded in the signal from each speaker. This method of embedding on the speaker side enables the measurement of a path from each speaker to each microphone.
  • a suppression filter is used, separately for each speaker, which results in better sound quality, but at the expense of higher computing costs, which, however, should not be particularly important in view of the total cost of medium to large sound systems.

Landscapes

  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Neurosurgery (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Soundproofing, Sound Blocking, And Sound Damping (AREA)
  • Paper (AREA)
  • Electrical Discharge Machining, Electrochemical Machining, And Combined Machining (AREA)

Description

Vorrichtung und Verfahren zum Unterdrücken einer Rückkopplung
Beschreibung
Die vorliegende Erfindung bezieht sich auf Audiowiedergabesysteme und insbesondere auch auf Audiowiedergabesysteme in Live-Ümgebungen .
In typischen Rockkonzerten existiert eine hohe Dynamik dahin gehend, daß sich z.B. der Sänger auf der Bühne sehr viel bewegt. Dasselbe trifft oftmals für den Gitarristen zu. Andererseits sind jedoch die Lautsprecher in einer sol- chen Vorführungsumgebung statisch angeordnet. Daher bleibt es nicht aus, daß der Sänger samt seines Mikrophons, wie auch z.B. der Gitarrist samt seines an der Gitarre angebrachten Mikrophons manchmal etwas näher an Lautsprecher gerät und manchmal etwas weiter von Lautsprechern weg ange- ordnet ist. Während der Fall unproblematisch ist, in dem ein Mikrophon von einem Lautsprecher weit entfernt ist, ist der Fall, in dem ein Mikrophon sehr nahe an einem Lautsprecher angeordnet ist, sehr problematisch. Nachdem in dem Signalpfad vom Mikrophon zum Lautsprecher eine hohe Ver- Stärkung vorhanden ist, führt eine Einkopplung des Lautsprechersignals in das Mikrophon dazu, daß das Mikrophon/Lautsprecher-System zu schwingen beginnt. Eine solche Schwingung äußert sich als Rückkopplung bei einer bestimmten Frequenz. Sie tritt immer dann auf, wenn die Amplitu- den- und die Phasenbedingung erfüllt ist. Die spezielle Phasenbedingung, die aktuell am besten erfüllt ist, legt die Frequenz fest, die typischerweise relativ hoch ist, so daß sich eine Rückkopplung als lautes Pfeifen bemerkbar macht. Dieses Pfeifen ist nicht nur für die Zuhörer unange- nehm, sondern auch für die Künstler. Signaltheoretisch ausgedrückt existiert ein stark zeitlich variabler Kanal von einem oder mehreren Lautsprechern zu einem oder mehreren Mikrophonen.
Bekannte Rückkopplungsunterdrückungstechniken mischen hörbare Rückkopplungstöne in das Mikrophon ein und verwenden Filter, um eine angehende Rückkopplung zu unterdrücken.
Alternative Rückkopplungsunterdrückungstechniken verwenden eine sogenannte Pitch-Shifting-Technik, um die Rückkopplung in unhörbare Teile des Spektrums zu verschieben, so daß stabile Rückkopplungstöne vermieden werden.
Während die erste Lösung eine kurze Rückkopplung benötigt, um eine Unterdrückung auszulösen, bewirkt die andere Lösung in manchen Fällen einen seltsamen Ton, der z.B. das Singen und Intonieren für Artisten schwierig macht.
Insbesondere in Mehrkanalsystemen sind die beiden genannten Rückkopplungsunterdrückungslösungen sehr problematisch wenn nicht gar undurchführbar.
Die Aufgabe der vorliegenden Erfindung besteht darin, ein verbessertes Konzept zum Unterdrücken einer Rückkopplung zu schaffen.
Diese Aufgabe wird durch eine Vorrichtung nach Patentanspruch 1, ein Verfahren nach Patentanspruch 10 oder ein Computerprogramm nach Patentanspruch 11 gelöst.
Der vorliegenden Erfindung liegt die Erkenntnis zugrunde, daß eine wirksame Rückkopplungsunterdrückung dadurch erreicht werden kann, daß ein Mikrophonsignal, das eine Überlagerung eines Nutzsignals und eines von einem Lautsprecher oder mehreren Lautsprechern stammenden Rückkopplungssignals ist, vor der Mischung bzw. Verstärkung dahin gehend verarbeitet wird, daß der Rückkopplungsanteil von dem Mikrophon- signal subtrahiert wird, so daß nach der Subtraktion lediglich das Nutzsignal verbleibt.
Unabhängig davon, ob die Rückkopplungssignalkomponente im Falle eines ungünstigen Kanals, also wenn sich das Mikrophon sehr nahe am Lautsprecher befindet, groß ist oder im Falle eines günstigen Kanals, also wenn das Mikrophon relativ weit vom Lautsprecher entfernt ist, klein ist, wird die Rückkopplungssignalkomponente vorzugsweise durchgehend von dem Mikrophonsignal entfernt. Hierzu ist es nötig, die Rückkopplungssignalkomponente am Mikrophon synthetisch zu bestimmen.
Erfindungsgemäß wird hierzu eine Markierungsoperation dahin gehend vorgenommen, daß das Signal, das von dem Lautsprecher ausgestrahlt wird, erkannt werden kann. Dies wird dadurch erreicht, daß entweder in das Mikrophonsignal nach der Subtraktion oder in das Mikrophonsignal vor der Subtraktion oder in das Signal nach Mischung und Verstärkung, also in das z. B. noch digital vorliegende Wiedergabesignal für einen Lautsprecher, ein Testsignal eingebettet wird.
Ferner wird gemäß der vorliegenden Erfindung eine Einrichtung zum Ermitteln einer Eigenschaft eines Übertragungska- nals von dem Lautsprecher zu dem Mikrophon bzw. direkt für einen Rückkopplungsumlauf von einem Mikrophon wieder zu sich selbst zurück unter Verwendung des empfangenen Mikrophonsignals, das eine Überlagerung des Rückkopplungssignals und des Nutzsignals ist, und unter Verwendung des bekannten Testsignals, das eingebettet worden ist, eingesetzt.
Eine bevorzugte Vorgehensweise zur Ermittlung der Eigenschaft des Übertragungskanals in der Umgebung zwischen dem Lautsprecher und dem Mikrophon besteht darin, eine Kreuz- korrelation zwischen dem Mikrophonsignal und dem Testsignal durchzuführen. Die Kreuzkorrelation beispielsweise liefert direkt die Impulsantwort des Kanals zwischen dem betrachte- ten Lautsprecher und dem betrachteten Mikrophon. Alternative Kanalbestimmungsverfahren sind ebenfalls einsetzbar.
Unter Verwendung der ermittelten Eigenschaft des Übertra- gungskanals wird ein Filter eingestellt, der das Lautsprechersignal filtert, um ein gefiltertes Lautsprechersignal zu erhalten. In anderen Worten ausgedrückt wird der zeitva- riante Kanal vom Lautsprecher zum Mikrophon gewissermaßen „simuliert", um das in das Mikrophon eingespeiste Rückkopp- lungssignal synthetisch zu berechnen, so daß es für die Subtraktionseinrichtung bereitsteht .
Die vorliegende Erfindung führt eine optimale Rückkopplungsunterdrückung durch, wenn der Kanal sich lediglich langsam ändert. Dies ist bei Konzerten in Anbetracht der durch menschliche Artisten bewirkten Bewegungen sehr oft der Fall. Auch wenn ein Künstler eine sehr schnelle Bewegung durchführt, so dauert diese schnelle Bewegung nicht besonders lang, derart, daß auf eine kurze schnelle Bewe- gung wieder eine langsamere Bewegung oder sogar eine Pause folgt. Das erfindungsgemäße System ist in der Lage, eine Rückkopplung nicht nur neu am Anfang des „Einschwingens" zu unterdrücken, sondern auch während des Einschwingens, dahin gehend, daß eine möglicherweise bereits begonnene Rückkopp- lung noch im Entstehen wieder unterdrückt, d.h. heraussubtrahiert, werden kann.
Andererseits führt eine schnelle Bewegung oftmals auch dazu, daß sich der Kanal wieder zum „Guten" ändert, so daß sich das Mikrophon wieder vom Kanal etwas weiter entfernt, was wiederum dazu führt, daß eine vielleicht im Entstehen befindliche Rückkopplung auch ohne Rückkopplungsunterdrückung wieder abflaut. Die Anforderung an einen zeitlich konstanten Kanal ist bei dem Unterdrückungskonzept der vor- liegenden Erfindung daher sehr gering.
Bei dem bevorzugten Ausführungsbeispiel der vorliegenden Erfindung ist das Testsignal eine Pseudorauschsequenz, die mit geringem Aufwand beispielsweise unter Verwendung rückgekoppelter Schieberegister leicht, schnell und preisgünstig erzeugt werden kann und, wenn ein solches Schieberegister an mehreren Stellen zur Verfügung gestellt wird, ohne weiteres reproduzierbar ist. Insbesondere können mehrere Schieberegistereinrichtungen, die eine solche Pseudozu- fallsfolge erzeugen sollen, mit dem gleichen Startwert oder "Keim" initialisiert werden. Es ist bekannt, daß Pseudo- Noise-Folgen rauschartig aussehen, jedoch eine üblicherwei- se relativ große Periodendauer haben. Das rauschhafte Aussehen einer Pseudo-Noise-Folge äußert sich im Frequenzbereich betrachtet dadurch, daß das Pseudo-Rausch-Signal ein weißes Spektrum hat, derart, daß alle Frequenzen gleichermaßen stark vorkommen. Wenn die Dynamik des Mikrophonsig- nals einigermaßen bekannt ist, so kann dieses weiße Pseudo- Noise-Signal unmittelbar eingemischt werden, wenn sichergestellt wird, daß der Pegel des eingemischten Pseudo-Noise- Signals relativ klein ist und nicht zu hörbaren Störungen führt, bzw. zu lediglich geringfügigen hörbaren Störungen führt.
Um die Wirksamkeit der Rückkopplungsunterdrückung, d.h. die Kanalsimulation zu verbessern, wird es bevorzugt, das Testsignal, unabhängig davon, ob es ein Pseudo-Noise-Signal ist oder nicht, unter Verwendung einer vorzugsweise aus dem bereits um seinen Rückkopplungsanteil befreiten Mikrophonsignal oder unter Verwendung einer aus dem verstärkten Mikrophonsignal, also dem Lautsprechersignal, abgeleiteten psy- choakustischen Maskierungsschwelle zu bewerten.
Eine Addition des solchermaßen bewerteten Testsignals zum Mikrophonsignal bzw. zum Lautsprechersignal führt dazu, daß das eingebettete Testsignal für den Zuhörer nicht hörbar sein wird, so daß der Zuhörer von der ständig laufenden Rückkopplungsunterdrückungsprozedur nichts merkt.
Anders ausgedrückt, hat in diesem Fall die Rückkopplungsunterdrückung keine negativen Konsequenzen hinsichtlich der vo Zuschauer wahrgenommenen Wiedergabequalität. Andererseits ist für eine wirksame Unterdrückung, also für eine möglichst genaue Bestimmung der Impulsantwort des Kanals zwischen dem Lautsprecher und dem Mikrophon, also zur ge- nauen Simulation des Rückkopplungsanteils, ein Testsignal mit möglichst hoher Energie im Lautsprechersignal erstrebenswert. Die maximale Energie wird ohne Einbußen hinsichtlich der Audioqualität dann erreicht, wenn das Testsignal ein Pseudo-Noise-Signal ist, also sich über den gesamten relevanten Frequenzbereich erstreckt, und derart psycho- akustisch gewichtet ist, daß es unter der Markierungsschwelle des Lautsprechersignals ist. In Signalanteilen des Lautsprechersignals mit hoher Maskierungswirkung ist das Testsignal daher mit einer hohen Energie vertreten, während in Signalanteilen des Lautsprechersignals mit geringer Maskierungswirkung, beispielsweise in tonalen Audioanteilen, das Testsignal mit relativ wenig oder gar keiner Energie vertreten ist, dahin gehend, daß keine Audioqualitätseinbu- ßen für den Zuhörer entstehen.
An dieser Stelle sei angemerkt, daß in dem Fall, in dem das Mikrophon nicht unmittelbar vor dem Lautsprecher ist, eher laute Lautsprechersignalpassagen problematisch sind. Aufgrund der Tatsache, daß in solchen lauten Lautsprecherpas- sagen normalerweise die akustischen Maskierungsschwelle relativ hoch ist, ist in solchen problematischen Lautsprechersignalanteilen auch eine beträchtliche Testsignalenergie enthalten, was unmittelbar dazu führt, daß die Kanalbestimmung und damit die Rückkopplungsunterdrückung genauer und damit wirkungsvoller stattfindet. Das für die vorliegende Erfindung bevorzugte Konzept der Verwendung von Pseu- do-Noise-Testsignal in Verbindung einer psychoakustischen Gewichtung bzw. Färbung des Pseudo-Neuseh-Testsignals führt somit dazu, daß genau in dem Fall, in dem eine gut funktio- nierende Rückkopplungsunterdrückung gebraucht wird, als im Falle lauter Signale, auch eine gute Kanalbestimmung mit hohem Signal/Rausch-Verhältnis durchgeführt werden kann. Die in einem solchen Fall dringend benötigte gute Rückkopp- lungsunterdrückung wird erfindungsgemäß auch bereitgestellt.
Die vorliegende Erfindung eignet sich besonders für Mehrka- nal-Umgebungen, bei denen mehrere Mikrophone und mehrere Lautsprecher vorhanden sind. Die Verwendung von in die einzelnen Mikrophonsignale eingebetteten unterschiedlichen Testsignalen, die vorzugsweise zueinander orthogonal sind, und die Verwendung einer Kreuzkorrelationseinrichtung für die Bestimmung jedes relevanten Kanals führen dazu, daß für jedes Mikrophon der optimale Rückkopplungsanteil berechnet werden kann. Damit findet eine flexible und an die einzelnen Mikrophonsignale genau angepaßte Rückkopplungsunterdrückung statt, da jeder Kanal einzeln simuliert wird.
Es ist zu sehen, daß für den Fall, bei dem mehrere Mikrophone und mehrere Lautsprecher an verschiedenen Orten vorgesehen sind, die Rechenleistung zur Kanalbestimmung vorzugsweise unter Verwendung einer Kreuzkorrelation beträcht- lieh werden kann. Dies ist jedoch nicht weiter problematisch, da eine typische Verstärkeranlage, wie z.B. ein PA- System, ein Mischpult mit beträchtlichen Ausmaßen und beträchtlichen Kosten umfaßt, wobei in einem solchen Setting einige digitale Signalprozessoren zum Berechnen der Kanal- eigenschaften und zum Unterdrücken der Rückkopplungsanteile im Hinblick auf die Gesamtkosten der Anlage nicht wesentlich ins Gewicht fallen werden.
Andererseits bewirkt die vorliegende Erfindung eine effi- ziente Rückkopplungsunterdrückung ohne negative Konsequenzen für die Zuhörer einerseits und insbesondere auch für die Artisten andererseits mit typischerweise nahezu ver- nachläßigbaren Kosten bezogen auf das Gesamtsystem. Insbesondere wird Wert gelegt darauf, daß die Artisten nicht in ihrem künstlerischen Ausdruck gestört werden, derart, daß sie z. B. "eingetunte" hörbare Rückkopplungsunterdrü- ckungstöne hören oder daß im Falle eines Pitch-Shifting die von dem Artisten wahrgenommenen Signale eine andere Tonhöhe haben als sie vom Artisten beispielsweise gesungen worden sind. Obgleich zu dieser bekannten Rückkopplungsunterdrückung bereits Nuancen hinsichtlich der Tonhöhenverschiebung ausreichen werden, sind dies dennoch Belästigungen für den Künstler, die ihn in seinem künstlerischen Ausdruck einschränken dürften. Andererseits ist es jedoch gerade der Künstler, der letztendlich bestimmt, welche Anlage für ihn bereitgestellt werden muß. Eine Marktakzeptanz des erfindungsgemäßen Konzepts ist daher zu erwarten, da das erfin- dungsgemäße Rückkopplungsunterdrückungskonzept den Artisten nicht weiter belästigt und ihm sogar eine maximale Bewegungsfreiheit gestattet, so daß er ohne unerwünschte Rückkopplungstöne befürchten zu müssen, den gesamten Bühnenraum zum künstlerischen Ausdruck benutzen kann, unabhängig da- von, ob er in die Nähe einer Rückkopplungs-gefährdeten Lautsprecherkomponente kommt oder nicht .
Je nach Ausführungsform kann das Testsignal unmittelbar in die Lautsprechersignale, also vor der Analog/Digital- Wandlung und akustischen Wiedergabe, eingebettet werden. In diesem Fall wird die Anpassung an die psychoakustischen Eigenschaften des Lautsprechersignals am besten sein, da das psychoakustische Modell des Lautsprechersignals unmittelbar dafür aussagekräftig sein wird, was ein Zuschauer hört oder nicht.
Eine Einbettung im Lautsprechersignal hat ferner den Vorteil, daß tatsächlich Übertragungsfunktionen von jedem Lautsprecher zu jedem Mikrophon einzeln simuliert und zur Rückkopplungsunterdrückung eingesetzt werden können. Diese erfindungsgemäße Alternative führt zu einer besseren Tonqualität für den Zuhörer, erfordert jedoch höhere Rechenleistungen dahingehend, daß wenn beispielsweise drei Mikrophone und drei Lautsprecher vorhanden sind, bereits neun unterschiedliche Übertragungskanäle hinsichtlich der Eigenschaften bestimmt, mit typischerweise FIR-Filtern nachgebildet und zur Subtraktion eingesetzt werden müssen, wobei vor der tatsächlichen Subtraktion des insgesamten Rückkopp- lungssignals noch eine Addition der im beschriebenen Fall von drei Lautsprechern gelieferten drei einzelnen simulierten Rückkopplungssignale durchgeführt werden muß.
Eine andere Alternative der vorliegenden Erfindung besteht darin, das Testsignal in das modifizierte Mikrophonsignal, also nach der Subtraktion einzubetten, also noch bevor die Mikrophonsignale gemischt und verstärkt werden, um ein Einbettungssignal zu erhalten. Das Einbettungssignal wird gleichzeitig dazu verwendet, um gefiltert zu werden und um das gefilterte Signal der Subtraktionseinrichtung zuzuführen. Das psychoakustische Modell wird hier vorzugsweise auf der Basis des modifizierten Mikrophonsignals gerechnet, um die Maskierungsschwelle zum optimalen Einbetten zu erhal- ten.
Die Informationen über die psychoakustische Maskierungsschwelle können jedoch auch von den einzelnen Lautsprechersignalen abgeleitet und der entsprechenden Einbettungsein- richtung, die vor der Mischung/Verstärkung liegt, zugeführt werden, so daß sich eine bessere Kontrolle des Testsignals ergibt.
Wie es ausgeführt worden ist, soll das Testsignal einer- seits nicht hörbar sein und andererseits mit möglichst hoher Energie vorhanden sein. Wird ein psychoakustisches Model von einem Signal abgeleitet, das dem Lautsprechersignal nicht unmittelbar entspricht, sondern nur näherungsweise entspricht, so wird die Energie des eingebetteten Testsig- nals um einen bestimmten Sicherheitsabstand unterhalb der psychoakustischen Maskierungsschwelle gehalten, was zwar die Verschlechterung der Audioqualität unterbindet, jedoch zu einem schlechteren Signal/Rausch-Verhältnis bei der Ü- bertragungskanalbesti mung und damit zu einer schlechteren Rückkopplungsunterdrückung führen könnte.
Andererseits sind in diesem Fall nicht so viele Kanäle zu berechnen, so daß diese Alternative rechenzeitärmer ausge- bildet werden kann und somit insbesondere bei kleineren Wiedergabeanlagen oder Minimal-Wiedergabeanlagen preisgünstig eingesetzt werden kann.
Wieder alternativ kann das Testsignal in das Mikrophonsignal vor der Rückkopplungsanteil-Subtraktion eingefügt werden. Wenn der Rückkopplungsanteil genau berechnet wird, so wird das eingebettete Testsignal die Rückkopplungsanteil- Subtraktion relativ "unbeschadet" überstehen, derart, daß dieser Fall ähnlich zu dem Fall betrachtet werden kann, bei dem das Testsignal bereits in das modifizierte Mikrophonsignal eingebettet wird.
Bevorzugte Ausführungsbeispiele der vorliegenden Erfindung werden nachfolgend bezugnehmend auf die beiliegenden Zeichnungen detailliert erläutert. Es zeigen:
Fig.la eine bevorzugte Ausführungsform der vorliegenden Erfindung in einer Mehrkanalumgebung mit Einbettung auf der Mikrophonseite;
Fig.lb eine alternative Ausführungsform des erfindungsgemäßen Rückkopplungsunterdrückungskon- zepts mit Einbettung auf der Mikrophonseite;
Fig.2 eine alternative Ausführungsform der vorliegenden Erfindung mit Einbettung auf der LautSprecherseite;
Fig.3 ein Prinzipdiagramm eines Übertragungskanals; und
Fig.4 eine schematische Zusammenfassung der Vorgehensweise zur Berechnung einer Impulsantwort des in Fig.3 gezeigten Übertragungskanals unter Verwendung einer Kreuzkorrelation. Fig.l zeigt ein bevorzugtes Ausführungsbeispiel der vorliegenden Erfindung in einem Mehrkanal-Setting, bei dem mehrere Mikrophone 10, 11, 12 sowie mehrere Lautsprecher 13, 14, 15 angeordnet sind. Zwischen den Mikrophonen auf der Mikro- phonseite und den Lautsprechern auf der Lautsprecherseite ist eine Signalverarbeitungs-Vorrichtung 16 angeordnet, die irgend eine Sound-Anlage ist, die neben anderen Dingen auch eine Mischung oder Verstärkung des Tonsignals, das von den Mikrophonen eingespeist wird, durchführen kann.
Signale von den drei Lautsprechern 13, 14, 15 überlagern sich an jedem Mikrophon und bilden ein Rückkopplungssignal fi(t) für jedes Mikrophon. Die Lautsprechersignale der Lautsprecher 13, 14, 15 werden über einen Freiraum- Übertragungskanal 17 übertragen, der derart definiert werden kann, daß von den drei Lautsprechern zum ersten Mikrophon ein erster Übertragungskanal hi definiert wird, daß von den drei Lautsprechern zum zweiten Mikrophon 11 ein zweiter Übertragungskanal h2 definiert wird, daß von den drei Lautsprechern zum dritten Mikrophon 12 ein dritter Ü- bertragungskanal h3 definiert wird.
Bei dem in Fig.la gezeigten Ausführungsbeispiel wird in ein modifiziertes Mikrophonsignal jeweils ein Testsignal unter Verwendung einer Einbettungseinrichtung 20, 21, 22 eingebettet, um für jeden Mikrophonkanal am Ausgang der Einrichtung 21, 21 bzw. 22 ein jeweiliges Einbettungssignal zu erhalten. Insbesondere wird in das modifizierte Mikrophonsignal des ersten Mikrophons 10 ein erstes Testsignal pi ein- gebettet, um ein erstes Einbettungssignal zu erhalten. In das modifizierte Mikrophon des Signals des zweiten Mikrophons 11 wird ein zweites Testsignal p2 eingebettet, um ein zweites Einbettungssignal zu erhalten. Schließlich wird in das modifizierte Mikrophonsignal des dritten Mikrophons 12 ein drittes Testsignal p eingebettet, um ein drittes Einbettungssignal zu erhalten. Um von einem Mikrophonsignal am Ausgang des jeweiligen Mikrophons 10, 11, 12 zu einem jeweiligen modi izierten Mikrophonsignal zu kommen, ist ferner jedem Mikrophon eine Subtrahiereinrichtung 30, 31, 32 zugeordnet. Die Subtrahier- einrichtung ist ausgebildet, um einen simulierten Rückkopplungsanteil, der im idealen Fall gleich dem von einem Mikrophon empfangenen Rückkopplungsanteil fi(t) ist, von dem Mikrophonsignal zu subtrahieren. Damit ist im idealen Fall am Ausgang der jeweiligen Subtrahiereinrichtung 30, 31, 32 ein modifiziertes Mikrophonsignal vorhanden, das dem ursprünglichen Nutzsignal sι(t), s2(t) bzw. s3(t) entspricht.
Zur Simulation der Rückkopplungsanteile ist jedem Mikrophon ein eigenes Kanalsimulationsfilter 40, 41, 42 zugeordnet, wobei das erste Simulationsfilter 40 ausgebildet ist, um die gleiche Kanalimpulsantwort hι(t) zu haben, wie sie im Block 17 dargestellt ist, wobei in Fig. lb der Darstellung im Block 17 nicht nur der Freiraumkanal zugeordnet ist, sondern auch die Übertragungsfunktion durch den Block Mi- schung/Verstärkung 16. An dieser Stelle sei ferner drauf hingewiesen, daß die simulierte Kanalimpulsantwort ferner auch bereits die nötige Verzögerung umfaßt.
Analog ist das zweite Kanalsimulationsfilter 41 ausgebil- det, um dieselbe Kanalimpulsantwort h2(t) zu haben, wie sie im Block 17 (einschließlich Mischung/Verstärkung) skizziert ist. Schließlich ist das dritte Simulationsfilter 42 ausgebildet, um dieselbe Kanalimpulsantwort h3(t) zu haben, wie sie im Block 17 (einschließlich Mischung/Verstärkung) ange- deutet ist.
Die Kanalimpulsantworten zum Einstellen der Simulationsfilter 40, 41, 42 werden in jeweiligen Einrichtungen 50, 51, 52 zum Ermitteln einer Eigenschaft eines Übertragungskanals ermittelt. Hierzu erhält die erste Einrichtung 50 zum Ermitteln das Testsignal, das in das modifizierte Mikrophonsignal des Mikrophons 10 eingespeist worden ist. Analog hierzu erhält die zweite Einrichtung 51 zum Ermitteln das Testsignal p2, das in der Einrichtung 21 zum Einbetten verwendet worden ist. Schließlich erhält die Einrichtung 52 zum Ermitteln für das dritte Mikrophon dasselbe Testsignal p3, das in das modifizierte Mikrophonsignal des dritten Mikrophons eingespeist worden ist.
Bei einem bevorzugten Ausführungsbeispiel der vorliegenden Erfindung sind die drei Testsignale px, p2, p3 jeweils Pseu- do-Noise-Sequenzen, die zueinander orthogonal sind, so daß sie durch eine in den Einrichtungen 50, '51, 52 zum Ermitteln durchgeführte Kreuzkorrelation mit dem jeweiligen Testsignal pi, p2, p3 von den mit den anderen Testsignalen versehenen modifizierten Mikrophonsignalen und damit ausgestrahlten Lautsprechersignalen unterschieden werden können.
Eine Kreuzkorrelation z.B. des Mikrophonsignals des ersten Mikrophons 10 mit der Pseudo-Noise-Folge pi wird dazu führen, daß die mit den Pseudo-Noise-Folgen versehenen modifizierten Mikrophonsignale vom zweiten und vom dritten Mikro- phon herauskorreliert werden, so daß lediglich der tatsächlich vom ersten Mikrophonsignal zu subtrahierende Rückkopplungsanteil, der problematisch hinsichtlich der Erzeugung einer Rückkopplung ist, subtrahiert wird. Es sei darauf hingewiesen, daß typischerweise, wenn in der Einrichtung 16 nicht erhebliche Mikrophon/Lautsprecher-Zuordnungsveränderungen in kurzen Zeitabständen durchgeführt werden, Rückkopplungssignale von den beiden anderen Mikrophonen 11, 12 hier unkritisch sind, da solche Rückkopplungssignale in dem Signalverarbeitungspfad, der vom ersten Mikrophon zu den drei Lautsprechern 13, 14, 15 führt, hinsichtlich einer Rückkopplungserzeugung unkritisch sind.
Bei dem in Fig. la gezeigten Ausführungsbeispiel der vorliegenden Erfindung wird ferner zur Filterparameterberech- nung für jeden Mikrophonkanal das Einbettungssignal dieses Mikrophonkanals verwendet und gefiltert. Insbesondere wird dem Filter 40 zum Erzeugen des gefilterten Signals, das der Einrichtung 30 zuzuführen ist, das Einbettungssignal am Ausgang der Einrichtung 20 zugeführt. Entsprechend wird das Filter 41 mit dem Einbettungssignal aus der Einrichtung 21 gespeist. Darüber hinaus wird das Filter 42 mit dem Einbettungssignal aus der Einrichtung 22 gespeist.
An dieser Stelle sei darauf hingewiesen, daß die in Fig. la gezeigte Ausführungsform lediglich das Signal subtrahiert, das für ein Rückkopplung problematisch ist. Insofern problematisch für ein Rückkopplung über das erste Mikrophon ist nur das (frühere) Signal aus dem ersten Mikrophon, das (später) wieder eingekoppelt wird. So ist es in diesem Fall egal, von welchem(n) Lautsprecher (n) das erste Mikrophonsignal wiedergegeben wird. Der durch Korrelation des ersten Mikrophonsignals mit dem ersten Testsignal berechnete Kanal entspricht einem „Rückkopplungsumlauf", also einem Umlauf vom Mikrophon, über die Mischung/Verstärkung, einen bzw. mehrere Lautsprecher und den Freiraumkanal zurück zum Mikrophon (einschließlich der Übertragungscharakteristik des tatsächlich verwendeten Mikrophons) . Ferner sei darauf hin- gewiesen, daß die ermittelte Impulsantwort hi „automatisch" auch die in dem Rückkopplungsumlauf aufgetretene Verzögerung beinhaltet, so daß hierfür keine weiteren Vorkehrungen getroffen werden müssen. Ferner ist in diesem Fall die Situation dahingehend transparent, daß zur spektralen Färbung die psychoakustische Maskierungsschwelle des in die Einbettungseinrichtung eingespeisten Signals herangezogen werden kann.
Alternativ könnte auch ein Lautsprechersignal zurückgeführt werden und in das Filter eingespeist werden. Je nach hauptsächlicher Abbildung eines Mikrophons auf einen Lautsprecher ist die Zuordnung derart, daß das Lautsprechersignal 13 gefiltert und zum ersten Mikrophon 10 zurückgeführt wird, prinzipiell beliebig. Wenn die dominante Zuordnung des ersten Mikrophons eher zum Lautsprecher 2 ist, so würde das Lautsprechersignal des Lautsprecher 14 über das Simulationsfilter 40 zum ersten Mikrophon zurückgeführt werden. Die Zuordnung der Lautsprechersignale zu den Mikrophonen ist somit in Fig. la lediglich beispielhaft zu sehen und kann auch von Zeit zu Zeit je nach Mischung in der Signalverarbeitungsvorrichtung 16 variieren.
Das in Fig. lb gezeigte zu Fig. la alternative Ausführungsbeispiel der vorliegenden Erfindung unterscheidet sich von dem in Fig. la gezeigten Ausführungsbeispiel dahingehend, daß Lautsprechersignale zurückgeführt werden, und nicht Einbettungssignale, und daß die Signale der verschiedenen Lautsprecher 13, 14, 15 in einer Summationseinrichtung 23 aufsummiert werden, und daß dann das Lautsprecher- Summensignal mit den entsprechenden unterschiedlichen Simulationsfiltern 40, 41, 42 gefiltert wird, um die drei synthetisierten Rückkopplungsanteile zu erzeugen, die den ent- sprechenden Subtraktionseinrichtungen 30, 31, 32 zugeführt werden, wie es in Fig. lb gezeigt ist. Bei diesem Ausführungsbeispiel wird davon ausgegangen, daß sich im Übertragungskanal 17 die Lautsprechersignale sämtlicher Lautsprecher überlagern und zu beispielsweise einem resultierenden Rückkopplungssignal fι(t) führen, das aus Signalanteilen des ersten, zweiten und dritten Lautsprechers modifiziert um eine entsprechend definierbare Übertragungsfunktion besteht. Für die Übertragung des Summensignals der drei Lautsprecher, die sich im Freiraumübertragungskanal überlagern, zum ersten Mikrophon wird eine erste Übertragungsfunktion hi definiert. Für die Übertragung des Summensignals zum zweiten Mikrophon 11 wird eine Übertragungsfunktion h2 definiert und schließlich wird für die Übertragung des Summensignals zum dritten Mikrophon 12 eine resultierende Ü- bertragungsfunktion h3 definiert.
Diese Übertragungsfunktionen hi, h2, h3 werden in den Einrichtungen 50, 51, 52 wieder vorzugsweise durch Kreuzkorrelation mit der entsprechenden, einem bestimmten Mikrophon zugeordneten Pseudo-Neuseh-Folge pi, p2 bzw. p3 ermittelt. Die Ausführung der Subtraktionseinrichtungen 30, 31, 32, der Einbettungseinrichtungen 20, 21, 22 sowie der Simulati- onsfilter 40, 41, 42 ist wie in dem anhand von Fig. la beschriebenen Ausführungsbeispiel gestaltet.
Nachfolgend wird auf das in Fig. 2 schematisch dargestellte weitere Ausführungsbeispiel eingegangen. Im Unterschied zu den in Fig. la und lb gezeigten Ausführungsbeispielen findet die Einbettung des Testsignals nicht auf der Mikrophonseite, sondern auf der LautSprecherseite statt. Damit können nicht nur drei verschiedene Kanäle, sondern n x m ver- schiedene Kanäle definiert werden, wobei n eine Anzahl der Lautsprecher größer oder gleich 1 ist, und wobei m eine Anzahl der Mikrophone größer oder gleich 1 ist. Durch Korre- lieren des Ausgangssignals des ersten Mikrophons 10 mit dem ersten Testsignal pi kann der Kanal vom Lautsprecher 1 zum ersten Mikrophon Ml berechnet werden, der mit hu bezeichnet ist. Durch Korrelieren des Ausgangssignals des ersten Mikrophons 10 unter Verwendung der zweiten Pseudo-Noise- Sequenz p2 kann der Kanal vom zweiten Lautsprecher 14 zum ersten Mikrophon 10, der mit hι2 bezeichnet ist, berechnet werden. Analog hierzu kann durch Korrelation des Mikrophonsignals des ersten Mikrophons 10 mit der dritten Pseudo- Noise-Sequenz p3 der Kanal vom Lautsprecher LS3 zum ersten Mikrophon Ml simuliert werden, der mit hι3 bezeichnet ist.
Analog hierzu kann für die Ausgangssignale der Mikrophone 11 und 12 vorgegangen werden, wie es anhand der Einrichtungen 50, 51, 52 zum Ermitteln angedeutet ist. Die Einrichtungen 50, 51, 52 sind somit in der Lage, für den Kanal von jedem Lautsprecher zu jedem Mikrophon eine eigene Kanal- Übertragungsfunktion zu berechnen, mit der jedes einzelne Lautsprechersignal gefaltet werden kann, was in den Simulationsfiltern 40, 41, 42 stattfindet, um dann z.B. innerhalb der Subtraktionseinrichtung 30, 31 bzw. 30 oder in einem vorgeschalteten Block aus den drei Kanalausgangssignalen für jedes Mikrophon den resultierenden Rückkopplungsanteil durch Addition zu berechnen, um zu einem resultierenden Rückkopplungsanteil zu kommen. Dies wird dann von dem in ein jeweiliges Mikrophon eingespeisten Rückkopplungssignal fi(t) subtrahiert, um zu einem modifizierten Mikrophonsignal für jedes Mikrophon zu gelangen, bei dem jeder Kanal selektiv berücksichtigt worden ist.
Je nach Ausführungsform kann eine Einrichtung 50 zum Ermitteln vollständig parallel ausgeführt sein, um gewissermaßen gleichzeitig die Kanalimpulsantworten hu, hχ2 und hχ3 zu berechnen. Die entsprechende Einrichtung könnte jedoch auch seriell ausgeführt sein, wobei dann im Hinblick auf eine optimale zeitliche Synchronität der drei Kanäle hu, hi2, hi3 untereinander ein Zwischenspeicher bevorzugt wird. Unter Inkaufnahme eines gewissen Fehlers könnte jedoch auf eine solche Zwischenspeicherung verzichtet werden, derart, daß die drei zueinander gehörigen Impulsantworten von jedem der Lautsprecher 13, 14, 15 zu dem ersten Mikrophon 10 zwar nicht auf denselben Zeitraum, sondern auf aufeinanderfolgende Zeiträume bezogen sind, was jedoch dann unschädlich ist, wenn sich die Signale in einer Umgebung nicht all zu schnell ändern, und zwar bezogen auf die zur Korrelation benötigte Zeit.
Ebenso können die Filtereinrichtungen 40, 41, 42 seriell oder parallel ausgeführt sein, wobei eine parallele Ausführung die besten Ergebnisse liefert, derart, daß für jeden möglichen Kanal der in Fig. 2 möglichen Kanäle ein eigenes einzelnes Simulationsfilter vorgesehen wird, derart, daß die Filtereinrichtung 40 beispielsweise eigentlich drei einzelne Simulationsfilter umfaßt, deren Filterkoeffizienten unter Verwendung der entsprechenden Kanalimpulsantwort hu, hι2, hi3 eingestellt werden. Die Aufaddition der drei simulierten Rückkopplungsanteile von jedem Lautsprecher in einen resultierenden Rückkopplungsanteil könnte daher auch in der Filtereinrichtung 40 unmittelbar im Anschluß an die Berechnung der entsprechenden Impulsantworten und die Fal- tung der Lautsprechersignale mit diesen Impulsantworten vonstatten gehen. Bei dem in Fig. 2 gezeigten Ausführungsbeispiel sollte ebenso wie bei dem in den Fig. la und lb gezeigten Ausführungsbeispielen die drei Testsignale plf p, p3 möglichst gut orthogonal zueinander sein. Diese Bedingung ist durch Pseudo-Noise-Sequenzen einfach und sicher zu erreichen, wobei diese Eigenschaft auch nicht durch eine psychoakustische Filterung der Testsignale vor dem Einbet- ten verlorengeht.
Bei dem in Fig. 2 gezeigten Ausführungsbeispiel sei angemerkt, daß ein Lautsprechersignal das Signal ist, das ein Zuhörer tatsächlich hört. Im Hinblick auf eine nicht- hörbare Einbettung der Testsignale in die Lautsprechersignale wird die Einbettung daher am besten durchgeführt werden können, wenn die Lautsprechersignale zur Berechnung der psychoakustischen Maskierungsschwellen herangezogen werden.
So könnte auch bei dem in Fig. lb gezeigten Ausführungsbeispiel ein psychoakustisches Modell auf der Basis der jeweiligen Lautsprechersignale 13, 14, 15 berechnet werden und zum Einbetten in die entsprechenden Mikrophonsignale in den Einrichtungen 20, 21 bzw. 22 herangezogen werden. So können im psychoakustischen Modell ohne weiteres Verstärkungen berücksichtigt werden, die zwischen einem Mikrophon und einem Lautsprecher in der Einrichtung 16 stattfinden. Wird jedoch in der Einrichtung 16 z.B. im Falle eines Mischvorgangs eine erhebliche Addition/Subtraktion bzw. sonstige Verarbei- tung der Mikrophonsignale durchgeführt, so daß ein Lautsprechersignal nicht nur im wesentlichen das Ausgangssignal eines einzigen Mikrophons wiedergibt, sondern Ausgangssignale mehrerer Mikrophone wiedergibt, so wird eine Einbettung eines Testsignals unter Verwendung der psychoakusti- sehen Maskierungsschwelle ungenauer. Dies liegt daran, daß einerseits nicht unmittelbar ein einziges Lautsprechersignal zur Berechnung der psychoakustischen Maskierungsschwelle hergenommen werden kann, und andererseits auch nicht unmittelbar ein Mikrophon zur Berechnung der psychoakusti- sehen Maskierungsschwelle hergenommen werden kann. Nachdem die Mischung im Mischpult 16 jedoch deterministisch erfolgt, wird es in einem solchen Fall bevorzugt, eine psychoakustische Maskierungsschwelle eines entsprechend dem Mischvorgang nachgebildeten Signals zu berechnen, um ein Lautsprechersignal zu erhalten, in dem, wenn das Lautsprechersignal die Kombination mehrerer Mikrophonsignale ist, die Testsignale mehrerer Mikrophone unterschiedlich stark oder gleich stark eingebettet sind, wobei die Testsignale, insgesamt gesehen jedoch der psychoakustischen Maskierungsschwelle eines Lautsprechersignals im wesentlichen folgen, so daß eine Einbettung mit maximaler Energie erreicht wird, während gleichzeitig keine oder nur vernachlässigbar kleine Audioqualitätseinbußen bewirkt werden.
Nachfolgend wird zusammengefaßt, wie die Impulsantwort h(t) eines Kanals durch Kreuzkorrelation bestimmt wird. Hierzu wird der Kanal mit einem zeitdiskreten Testsignal p(t) be- aufschlagt. Der Kanal gibt ausgangsseitig ein Empfangssignal y(t) aus, das, wie es bekannt ist, der Faltung des Eingangssignals und mit der Kanalimpulsantwort entspricht. Zur nachfolgenden Erläuterung einer Vorgehensweise zur Bestimmung der Kreuzkorrelation anhand von Fig. 4 wird auf eine Matrixschreibweise übergegangen. Beispielhaft wird eine Kanalimpulsantwort mit lediglich zwei Werten h0 und hi ohne Einschränkung der Allgemeinheit angenommen. Die Kanalimpulsantwort h0, hi kann als Kanalimpulsantwortmatrix H(t) geschrieben werden, die die in Fig. 4 gezeigte Bandstruktur hat, wobei die restlichen Elemente der Matrix mit Nullen aufgefüllt werden. Darüber hinaus wird das Anregungssignal p(t) als Vektor geschrieben, wobei hier angenommen wird, daß das Anregungssignal ohne Einschränkung der Allgemeinheit lediglich drei Samples p0, pi, p2 hat.
Es kann gezeigt werden, daß die in Fig. 3 dargestellte Faltung der in Fig. 4 dargestellten Matrix-Vektor- Multiplikation entspricht, so daß sich ein Vektor y für das Ausgangssignal ergibt. Die Kreuzkorrelation kann als Erwar- tungswert E{ ... } der Multiplikation des Ausgangssignals y(t) mit dem konjugiert-komplex-transponierten Anregungssignal p*τ geschrieben werden. Der Erwartungswert berechnet sich als Grenzwert für N gegen unendlich über die in Fig. 5 dargestellte Aufsummation von einzelnen Produkten für verschiedene Anregungssignale p^. Die Multiplikation und anschließende Aufsummation ergibt die Kreuzkorrelationsmatrix, die in Fig. 4 links oben dargestellt ist, wobei die- selbe gewichtet mit dem Effektivwert des Anregungssignals p ist, der mit σp 2 dargestellt ist. Zum unmittelbaren Erhalten der Kanalimpulsantwort h(t) wird beispielsweise die erste Zeile der Kanalimpulsantwortmatrix genommen, woraufhin die einzelnen Komponenten durch σp 2 geteilt werden, um unmittelbar die einzelnen Komponenten der Kanalimpulsantwort ho, hi zu erhalten.
Wird anstatt eines weißen Anregungssignals p(t) ein spektral gefärbtes Anregungssignal verwendet, so kann die spekt- rale Färbung durch eine digitale Filterung dargestellt werden, wobei das Filter durch eine Filterkoeffizientenmatrix Q beschrieben wird. In der in Fig. 4 in der letzten Zeile dargestellten Gleichung ergibt sich ebenfalls ausgangsseitig die Korrelationsmatrix H, nun jedoch noch gewichtet mit dem Erwartungswert über Q x QH. Durch Division der einzelnen Impulsantwortkoeffizienten h0, hi durch den Erwartungswert über Q x QH, also durch Berücksichtigung des Färbungsfilters beispielsweise in der Einrichtung 50 zum Ermitteln einer Eigenschaft des Übertragungskanals von Fig. la, lb oder 2 kann unmittelbar die Kanalimpulsantwort hinsichtlich ihrer einzelnen Komponenten bestimmt werden.
Es sei darauf hingewiesen, daß das Kreuzkorrelationskonzept zum Berechnen der Impulsantwort ein iteratives Konzept ist, wie es aus dem in Fig. 4 dargestellten Summationsansatz für den Erwartungswert ersichtlich ist. Die erste Multiplikation des Reaktionssignals mit dem konjugiert-komplex- transponierten Anregungssignal liefert bereits einen ersten noch sehr groben Schätzwert für die Kanalimpulsantwort, der mit jeder weiteren Multiplikation und Aufsummation immer besser wird. Wird die gesamte Matrix H(t) durch den iterativen Summationsansatz berechnet, so stellt sich heraus, daß die in Fig. 4 links oben zu Null gesetzten Elemente der Bandmatrix H(t) nach und nach gegen Null gehen, während in der Mitte, also dem Band der Matrix, die Koeffizienten der Kanalimpulsantwort h(t) verbleiben und bestimmte Werte annehmen. Noch einmal sei darauf hingewiesen, daß es nicht erforderlich ist, die gesamte Matrix zu berechnen. Es genügt, lediglich z. B. eine Zeile der Matrix H(t) zu berechnen, um die gesamte Kanalimpulsantwort zu erhalten.
An dieser Stelle sei darauf hingewiesen, daß das erfin- dungsgemäße Konzept nicht auf die anhand von Fig. 4 beschriebene Vorgehensweise zur Berechnung der Kreuzkorrelation beschränkt ist. Sämtlichen anderen Verfahren zum Berechnen der Kreuzkorrelation zwischen einem Meßsignal und einem Reaktionssignal sind ebenfalls einsetzbar. Andere Verfahren zur Bestimmung einer Impulsantwort anstelle der Kreuzkorrelation können ebenfalls verwendet werden.
An dieser Stelle sei darauf hingewiesen, daß die verwendeten Pseudo-Noise-Sequenzen hinsichtlich ihrer Länge abhän- gig von der zu erwartenden Impulsantwort des betrachteten Kanals dimensioniert sein sollten. So sind für größere a- kustische Umgebungen durchaus Impulsantworten mit der Länge von einigen wenigen Sekunden denkbar. Dieser Tatsache muß durch Auswahl einer entsprechenden Länge der Pseudo-Noise- Sequenzen zur Korrelation Rechnung getragen werden.
Abhängig von den Gegebenheiten kann das erfindungsgemäße Verfahren in Hardware oder in Software implementiert werden. Die Implementierung kann auf einem digitalen Speicher- medium, insbesondere einer Diskette oder CD mit elektronisch auslesbaren Steuersignalen erfolgen, die so mit einem programmierbaren Computersystem zusammenwirken können, daß das Verfahren ausgeführt wird. Allgemein besteht die Erfindung somit auch in einem Computerprogrammprodukt mit auf einem maschinenlesbaren Träger gespeicherten Programmcode zur Durchführung des erfindungsgemäßen Verfahrens, wenn das Computerprogrammprodukt auf einem Rechner abläuft. In anderen Worten ausgedrückt kann die Erfindung somit als ein Computerprogramm mit einem Programmcode zur Durchführung des Verfahrens realisiert werden, wenn das Computerprogramm auf einem Computer abläuft.
An dieser Stelle sei noch einmal darauf hingewiesen, daß das erfindungsgemäße Konzept für beliebige Anzahlen von Mikrophonen und beliebige Anzahlen von Lautsprechern eingesetzt werden kann. Dies bedeutet selbstverständlich auch, daß das erfindungsgemäße Konzept bereits für einen Laut- Sprecher und ein Mikrophon vorteilhaft eingesetzt werden kann. Dies ergibt sich unmittelbar aus den Fig. la, lb und 2, wenn das zweite und das dritte Mikrophon 11, 12 sowie der zweite und der dritte Lautsprecher 14, 15 ignoriert werden und ebenfalls die von diesen Signalen angesprochenen Blöcke weggedacht werden.
An dieser Stelle sei ferner darauf hingewiesen, daß die Einbettung des Testsignals nicht unbedingt in das modifizierte Mikrophonsignal oder das Lautsprechersignal zu er- folgen hat, sondern daß auch eine Einbettung des Testsignals in das Mikrophonsignal vor der entsprechenden Subtraktionseinrichtung erfolgen kann, obgleich das Einbetten des Testsignals nach der Subtraktionseinrichtung bevorzugt wird. Dies liegt daran, daß im Falle einer nicht so günsti- gen Kanalimpulsantwortberechnung und damit im Falle eines nicht besonders präzise synthetisierten Rückkopplungsanteils das eingebettete Testsignal durch die Subtraktion eines nicht genau passenden Rückkopplungsanteils u. U. beschädigt werden könnte, was zu einer weiteren Erschwerung der Kanalsimulation durch die Einrichtungen 50, 51, 52 führen dürfte.
Bei bevorzugten Ausführungsbeispielen der vorliegenden Erfindung in einem Mehrkanal-Setting wird somit in jedes Mik- rophonsignal ein nicht-hörbares Breitbandsignal eingebettet. Dieses Signal wird hinsichtlich seiner spektralen Einhüllenden adaptiv an den aufgezeichneten Ton angepaßt, wobei ein psychoakustisches Modell eingesetzt werden kann, welches prinzipiell beliebig sein darf und basierend auf Zeitbereichsdaten oder aber auch basierend auf Frequenzbereichsdaten berechnet werden kann. Als Breitbandsignal wird eine Pseudo-Rausch-Sequenz bevorzugt, da bei einer solchen Sequenz eine Orthogonalität zwischen mehreren Sequenzen ohne weiteres erreicht werden kann.
Für jedes Mikrophon wird das aufgezeichnete Signal vor dem Einbetten mit dem Pseudo-Rausch-Signal verglichen und ver- wendet, um die akustischen Eigenschaften von allen Lautsprechern zu dem entsprechenden Mikrophon zu berechnen. Als Vergleichsoperation wird eine Kreuzkorrelation bevorzugt, die, wenn der in Fig. 4 dargestellte iterative Algorithmus eingesetzt wird, Rechenzeit-unaufwendig mit einer beliebig skalierbaren Genauigkeit berechnet werden kann. Die Skalierbarkeit liefert insbesondere die Möglichkeit, für spe- zielJLe___j3ituationen eine schnelle, jedoch gröbere Berechnung vorzusehen, beispielsweise bei einer Rockgruppe, bei der sehr viel Bewegung auf der Bühne herrscht, während für an- dere Anwendungsszenarien, wie z.B. eine Rockgruppe, bei der die Artisten e/her statisch sind, z.B. eine Skalierung hin zu einer größeren Anzahl von Iterationswerten durchgeführt werden könnte, da die einzelnen Kanäle weniger zeitvariant
Unter Verwendung eines entsprechenden Kanals wird ein in- verses Filter angelegt, um unerwünschte Komponenten zu unterdrücken. Das inverse Filter wird gemäß der vorliegenden Erfindung durch die Simulationsfilter und die entsprechen- den zugeordneten Subtraktionseinrichtungen realisiert. Die Verwendung von Mikrophonsignalen ermöglicht eine Speicherung von spektral geformten PNS-Signalen, so daß eine Interferenz mit ursprünglichen Schallsignalen vermieden wird, und daß ein psychoakustisches Modell zur Berechnung der spektralen Formung lediglich einmal berechnet werden muß, und nicht in der entsprechenden Einrichtung zum Ermitteln noch einmal berechnet werden muß. Alternativ wird, wie es anhand von Fig. 2 dargestellt worden ist, ein eindeutiges PNS-Signal in das Signal von jedem Lautsprecher eingebettet. Diese Vorgehensweise der Einbettung auf Lautsprecherseite ermöglicht die Messung eines Pfades von jedem Lautsprecher zu jedem Mikrophon. Ein Unterdrückungsfilter wird verwendet, und zwar separat für jeden Lautsprecher, wodurch eine bessere Tonqualität erreicht wird, jedoch auf Kosten höheren Rechenaufwands, der jedoch im Hinblick auf die Gesamtkosten von mittleren bis größeren Tonanlagen nicht besonders ins Gewicht fallen dürfte.

Claims

Patentansprüche
1. Vorrichtung zum Unterdrücken einer Rückkopplung in einer Umgebung, in der sich ein Mikrophon (10) und ein Lautsprecher (13) befinden, mit folgenden Merkmalen:
einer Einrichtung (20) zum Einbetten eines Testsignals in ein Lautsprechersignal, ein Mikrophonsignal oder ein modifiziertes Mikrophonsignal, um ein Einbettungs- signal zu erhalten, wobei das Mikrophonsignal von dem Mikrophon ausgegeben wird, und wobei das Lautsprechersignal in den Lautsprecher eingegeben wird;
einer Einrichtung (50) zum Ermitteln einer Eigenschaft eines Übertragungskanals in der Umgebung zwischen dem Lautsprecher (13) und dem Mikrophon (10) unter Verwendung des Testsignals und des Mikrophonsignals;
einem Filter (40) zum Filtern des Lautsprechersignals oder des Einbettungssignals, um ein gefiltertes Signal zu erhalten, wobei das Filter einstellbar ist, um hinsichtlich seiner Filtercharakteristik ansprechend auf die Einrichtung (50) zum Ermitteln an die Eigenschaft des Übertragungskanals angepaßt zu werden; und
einer Einrichtung (30) zum Subtrahieren des gefilterten Signals von dem Mikrophonsignal, um das modifizierte Mikrophonsignal zu erhalten, in dem eine Rückkopplung reduziert ist.
2. Vorrichtung nach Anspruch 1, bei der die Einrichtung
(20) zum Einbetten ausgebildet ist, um das Testsignal unter Verwendung einer psychoakustischen Maskierungsschwelle spektral zu färben, so daß das eingebettete Signal im wesentlichen unhörbar ist.
3. Vorrichtung nach Anspruch 1 oder 2, bei der das Testsignal ein Pseudo-Noise-Signal ist.
4. Vorrichtung nach einem der vorhergehenden Ansprüche, bei der die Einrichtung zum Ermitteln ausgebildet ist, um eine Kreuzkorrelation unter Verwendung des Testsig- nals und des Mikrophonsignals durchzuführen, um eine Kanalimpulsantwort als Eigenschaft des Übertragungskanals zu berechnen.
5. Vorrichtung nach Anspruch 4, bei der die Einrichtung (30) zum Subtrahieren angepaßt ist, um im Zeitbereich eine abtastwertweise Subtraktion durchzuführen.
6. Vorrichtung nach Anspruch 4 oder 5, bei der das Filter
(40) ein digitales Filter ist, dessen Koeffizienten so einstellbar sind, daß eine Impulsantwort des Filters der Kanalimpulsantwort innerhalb einer vorbestimmten Abweichungsschwelle entspricht.
7. Vorrichtung nach einem der vorhergehenden Ansprüche,
bei der mehrere Mikrophonsignale von mehreren Mikrophonen (10, 11, 12) zuführbar sind,
bei der für jedes Mikrophonsignal eine eigene Einrich- tung zum Einbetten (20, 21, 22) eines Testsignals vorgesehen ist,
bei der jede Einrichtung zum Einbetten (20, 21, 22) mit einem unterschiedlichen Testsignal gespeist wird, um aus jedem Mikrophonsignal ein eigenes Einbettungssignal zu erzeugen, wobei die Testsignale zueinander innerhalb einer Abweichungsschwelle orthogonal sind;
bei der für jedes Mikrophonsignal eine Einrichtung (50, 51, 52) zum Ermitteln vorgesehen ist, die jeweils ausgebildet ist, -um eine Kanalimpulsantwort eines Kanals von einem Mikrophon über einen oder mehrere Laut- Sprecher wieder zurück zu dem Mikrophon zu ermitteln, und
bei der für jedes Mikrophonsignal ein eigenes Filter (40, 41, 42) vorgesehen ist, um das Einbettungssignal zu filtern, um ein gefiltertes Signal zu erhalten,- und um das gefilterte Signal einer Einrichtung zum Subtrahieren (30, 31, 32) für dieses Mikrophonsignal zuzuführen.
Vorrichtung nach einem der Ansprüche 1 bis 6,
bei der eine Mehrzahl von Lautsprechern (13, 14, 15) und eine Mehrzahl von Mikrophonen (10, 11, 12) vorge- sehen sind,
bei der für jedes Mikrophonsignal eine eigene Einrichtung (20, 21, 22) zum Einbetten des Testsignals in das modifizierte Mikrophonsignal vorgesehen ist,
bei der jede Einrichtung (20, 21, 22) zum Einbetten mit einem anderen Testsignal gespeist wird, wobei die Testsignale zueinander orthogonal sind,
bei der für jedes Mikrophonsignal eine eigene Einrich-- tung (50, 51, 52) zum Ermitteln vorgesehen ist, die jeweils ausgebildet ist, um eine Kanalimpulsantwort auf der Basis von einer Summe (23) von Signalen der Lautsprecher zu den entsprechenden Mikrophonen (10, 11, 12) und unter Verwendung eines für dieses Mikrophon zugeordneten Testsignals zu erhalten, und
bei der für jedes Mikrophonsignal vorgesehen ist, die Summe der Lautsprechersignale mit dem Filter zu fil- tern, das eine Impulsantwort hat, die unter Verwendung des Testsignals, das einem betrachteten Mikrophonsignal zugeordnet ist, bestimmt worden ist, und einer Einrichtung (30) zum Subtrahieren für dieses Mikrophonsignal zuzuführen.
9. Vorrichtung nach einem der Ansprüche 1 bis 6,
bei der eine Mehrzahl von Lautsprechern (13, 14, 15) und eine Mehrzahl von Mikrophonen (10, 11, 12) vorhanden sind,
bei der für jedes Mikrophonsignal eine eigene Einrichtung (20, 21, 22) zum Einbetten eines Testsignals in ein jeweiliges Lautsprechersignal vorgesehen ist,
bei der jede Einrichtung (20, 21, 22) zum Einbetten mit einem anderen Testsignal gespeist wird, wobei die Testsignale zueinander innerhalb einer Abweichungs- schwelle orthogonal sind;
bei der für jedes Mikrophonsignal eine Einrichtung (50, 51, 52) zum Ermitteln vorgesehen ist, die jeweils ausgebildet ist, um Kanalimpulsantworten für Kanäle von jedem Lautsprecher zu dem Mikrophon zu berechnen, wobei für einen Kanal von einem Lautsprecher zu einem Mikrophon das Testsignal, das in das Lautsprechersig- nal für den Lautsprecher eingebettet worden ist, verwendet wird, und
bei der für jedes Mikrophonsignal eine Anzahl von Filtern vorgesehen ist, die gleich einer Anzahl von Laut- Sprechern ist, um für ein Mikrophonsignal jedes Lautsprechersignal mit einem entsprechenden Filter zu filtern, und um gefilterte Lautsprechersignale von jedem Lautsprecher zu summieren, um ein resultierendes synthetisiertes Rückkopplungssignal zu erhalten, und um das resultierende synthetisierte Rückkopplungssignal zu einer Einrichtung (30) zum Subtrahieren für dieses Mikrophonsignal zuzuführen.
10. Vorrichtung nach einem der vorhergehenden Ansprüche, die ferner folgendes Merkmal aufweist:
eine Einrichtung (16) zum Umsetzen von einer oder von mehreren modifizierten Mikrophonsignalen in eines oder mehrere Signale, aus denen die Lautsprechersignale abgeleitet werden.
11. Vorrichtung nach Anspruch 10, bei der die Einrichtung (16) zum Umsetzen ausgebildet ist, um eine Mischung und/oder eine Verstärkung der modifizierten Mikrophonsignale durchzuführen.
12. Vorrichtung nach Anspruch 1, bei der die Einrichtung zum Einbetten eines Testsignals ausgebildet ist, um das Testsignal in das Lautsprechersignal einzubetten, und
bei der die Einrichtung (20) zum Einbetten ferner aus- gebildet ist, um eine Einbettung unter Verwendung einer psychoakustischen Maskierungsschwelle des Lautsprechersignals durchzuführen.
13. Vorrichtung nach Anspruch 1, bei der die Einrichtung (20) zum Einbetten ausgebildet ist, um das Testsignal in das modifizierte Mikrophonsignal einzubetten, und
bei der die Einrichtung (20) zum Einbetten ferner ausgebildet ist, um das Testsignal vor dem Einbetten mit einer psychoakustischen Maskierungsschwelle des Mikrophonsignals zu bewerten.
14. Vorrichtung nach Anspruch 1, bei der eine Mehrzahl von Mikrophonen und eine Mehrzahl von Lautsprechern vor- handen sind, bei der ferner eine Mischeinrichtung (16) zum Mischen von zwei oder mehreren modifizierten Mikrophonsignalen vorhanden ist, um eines oder mehrere Lautsprechersignale zu erzeugen, und bei der die Einrichtung (20) zum Einbetten ausgebildet ist, um eine Einbettung mehrerer Testsignale in mehrere Mikrophonsignale derart durchzuführen, daß sich ei- ne resultierende Energie der eingebetteten Testsignale unter Berücksichtigung der Mischung ergibt, so daß die resultierende Energie der eingebetteten Testsignale in einem Signal für einen Lautsprecher unterhalb einer psychoakustischen Maskierungsschwelle eines Lautspre- chersignals für diesen Lautsprecher ist.
15. Verfahren zum Unterdrücken einer Rückkopplung in einer Umgebung, in der sich ein Mikrophon (10) und ein Lautsprecher (13) befinden, mit folgenden Schritten:
Einbetten (20) eines Testsignals in ein Lautsprechersignal, ein Mikrophonsignal oder ein modifiziertes Mikrophonsignal, um ein Einbettungssignal zu erhalten, wobei das Mikrophonsignal von dem Mikrophon ausgegeben wird, und wobei das Lautsprechersignal in den Lautsprecher .eingegeben wird;
Ermitteln (50) einer Eigenschaft eines Übertragungskanals in der Umgebung zwischen dem Lautsprecher (13) und dem Mikrophon (10) unter Verwendung des TestSignals und des Mikrophonsignals;
Filtern (40) des Lautsprechersignals oder des Einbettungssignals, um ein gefiltertes Signal zu erhalten, wobei das Filter einstellbar ist, um hinsichtlich seiner Filtercharakteristik durch die Eigenschaft des Ü- bertragungskanals angepaßt zu werden; und
Subtrahieren (30) des gefilterten Signals von dem Mik- rophonsignal, um das modifizierte Mikrophonsignal zu erhalten, in dem eine Rückkopplung reduziert ist
6. Computer-Programm mit einem Programmcode, der, wenn er auf einem Computer ausgeführt wird, das Verfahren gemäß Patentanspruch 15 bewirkt.
EP03811364A 2002-11-21 2003-11-06 Vorrichtung und verfahren zum unterdrücken einer rückkopplung Expired - Lifetime EP1518441B1 (de)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE10254407A DE10254407B4 (de) 2002-11-21 2002-11-21 Vorrichtung und Verfahren zum Unterdrücken einer Rückkopplung
DE10254407 2002-11-21
PCT/EP2003/012437 WO2004047484A1 (de) 2002-11-21 2003-11-06 Vorrichtung und verfahren zum unterdrücken einer rückkopplung

Publications (2)

Publication Number Publication Date
EP1518441A1 true EP1518441A1 (de) 2005-03-30
EP1518441B1 EP1518441B1 (de) 2006-01-04

Family

ID=32318607

Family Applications (1)

Application Number Title Priority Date Filing Date
EP03811364A Expired - Lifetime EP1518441B1 (de) 2002-11-21 2003-11-06 Vorrichtung und verfahren zum unterdrücken einer rückkopplung

Country Status (6)

Country Link
EP (1) EP1518441B1 (de)
AT (1) ATE315323T1 (de)
AU (1) AU2003276271A1 (de)
DE (2) DE10254407B4 (de)
HK (1) HK1072522A1 (de)
WO (1) WO2004047484A1 (de)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4215015B2 (ja) * 2005-03-18 2009-01-28 ヤマハ株式会社 ハウリングキャンセラ及びこれを備えた拡声装置
ES2349723T3 (es) 2005-06-09 2011-01-10 Koninklijke Philips Electronics N.V. Procedimiento y sistema para determinar distancias entre altavoces.
DE102005028742B3 (de) * 2005-06-21 2006-09-21 Siemens Audiologische Technik Gmbh Hörhilfegerät mit Mitteln zur Rückkopplungskompensation und Verfahren zur Rückkopplungsunterdrückung
BR112015023897B1 (pt) * 2013-03-19 2021-12-21 Koninklijke Philips N.V. Aparelho para determinar uma posição de um microfone, método para determinar uma posição de um microfone
CN113747336B (zh) * 2021-08-27 2023-01-10 音曼（北京）科技有限公司 基于音频处理器在不同空间中调音适配声场的方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS55105494A (en) * 1979-02-06 1980-08-13 Mitsubishi Electric Corp Loudspeaking device
JPS58200690A (ja) * 1982-05-18 1983-11-22 Nippon Telegr & Teleph Corp <Ntt> ハウリング防止回路
GB8919591D0 (en) * 1989-08-30 1989-10-11 Gn Davavox As Hearing aid having compensation for acoustic feedback
CA2100015A1 (en) * 1992-07-29 1994-01-30 Resound Corporation Auditory prosthesis with user-controlled feedback cancellation
DK0930801T3 (da) * 1998-01-14 2009-02-23 Bernafon Ag Kredslöb og fremgangsmåde til adaptiv undertrykkelse af akustisk tilbagekobling
US6347148B1 (en) * 1998-04-16 2002-02-12 Dspfactory Ltd. Method and apparatus for feedback reduction in acoustic systems, particularly in hearing aids
DE19933317C2 (de) * 1999-07-16 2002-07-04 Bayerische Motoren Werke Ag Verfahren und Vorrichtung zur Ermittlung der akustischen Raumeigenschaften insbesondere eines Fahrgastraumes in einem Kraftfahrzeug
US6434247B1 (en) * 1999-07-30 2002-08-13 Gn Resound A/S Feedback cancellation apparatus and methods utilizing adaptive reference filter mechanisms

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See references of WO2004047484A1 *

Also Published As

Publication number Publication date
EP1518441B1 (de) 2006-01-04
HK1072522A1 (en) 2005-08-26
DE10254407B4 (de) 2006-01-26
ATE315323T1 (de) 2006-02-15
DE50302143D1 (de) 2006-03-30
AU2003276271A1 (en) 2004-06-15
WO2004047484A1 (de) 2004-06-03
DE10254407A1 (de) 2004-06-17

Similar Documents

Publication Publication Date Title
DE69804478T2 (de) Verfahren und vorrichtung zur codierung und decodierung mehrere tonkanäle mit geringer bitrate
DE69726262T2 (de) Tonaufnahme- und -wiedergabesysteme
DE102007048973B4 (de) Vorrichtung und Verfahren zum Erzeugen eines Multikanalsignals mit einer Sprachsignalverarbeitung
DE102006050068B4 (de) Vorrichtung und Verfahren zum Erzeugen eines Umgebungssignals aus einem Audiosignal, Vorrichtung und Verfahren zum Ableiten eines Mehrkanal-Audiosignals aus einem Audiosignal und Computerprogramm
DE69312765T2 (de) Verfahren und Vorrichtung für künstliche Raumklangeffekte von digitalen Audiosignalen
DE69827911T2 (de) Verfahren und einrichtung zur mehrkanaligen kompensation eines akustischen echos
DE69230308T2 (de) Transformationsverarbeitungsgerät und -verfahren und Medium zum Speichern komprimierter Digitaldaten
DE69832595T2 (de) Mehrweg-audiodekoder
DE4328620C1 (de) Verfahren zur Simulation eines Raum- und/oder Klangeindrucks
DE602005005186T2 (de) Verfahren und system zur schallquellen-trennung
DE69908463T2 (de) Verfahren und Einrichtung zur mehrkanaligen Kompensation eines akustischen Echos
EP2005421B1 (de) Vorrichtung und verfahren zum erzeugen eines umgebungssignals
DE2720984C3 (de) Elektrische Anordnung für die Steigerung des Raumeffekts bei einer Tonwiedergabe
DE102018127071B3 (de) Audiosignalverarbeitung mit akustischer Echounterdrückung
EP1143416A2 (de) Geräuschunterdrückung im Zeitbereich
WO2005046194A1 (de) Vorrichtung und verfahren zum verarbeiten eines eingangssignals
DE112007003683B4 (de) Echounterdrückungssystem, Echounterdrückungsverfahren, Klangausgabevorrichtung, Audiosystem, Navigationssystem und mobiles Objekt
EP1280138A1 (de) Verfahren zur Analyse von Audiosignalen
DE3040896C2 (de) Schaltungsanordnung zur Erzeugung und Aufbereitung stereophoner Signale aus einem monophonen Signal
EP1518441B1 (de) Vorrichtung und verfahren zum unterdrücken einer rückkopplung
DE2649525A1 (de) Tonwiedergabesystem
DE102020100131A1 (de) Verfahren zur Verarbeitung eines Mehrkanal-Audiosignals
EP1130577B1 (de) Verfahren zur Rekonstruktion tieffrequenter Sprachanteile aus mittelhohen Frequenzanteilen
DE102016125886B4 (de) Vorrichtung und Verfahren zur effizienten Berechnung einer Auralisation
DE102019126509A1 (de) Verbesserung der subjektiven bass-wahrnehmung eines audiosignals mit hilfe höherer harmonischer

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20050127

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LI LU MC NL PT RO SE SI SK TR

AX Request for extension of the european patent

Extension state: AL LT LV MK

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

RBV Designated contracting states (corrected)

Designated state(s): AT CH DE FR GB LI NL

REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1072522

Country of ref document: HK

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): AT CH DE FR GB LI NL

REG Reference to a national code

Ref country code: GB

Ref legal event code: FG4D

Free format text: NOT ENGLISH

REG Reference to a national code

Ref country code: CH

Ref legal event code: EP

REF Corresponds to:

Ref document number: 50302143

Country of ref document: DE

Date of ref document: 20060330

Kind code of ref document: P

GBT Gb: translation of ep patent filed (gb section 77(6)(a)/1977)

Effective date: 20060315

REG Reference to a national code

Ref country code: HK

Ref legal event code: GR

Ref document number: 1072522

Country of ref document: HK

ET Fr: translation filed
PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

26N No opposition filed

Effective date: 20061005

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: AT

Payment date: 20091120

Year of fee payment: 7

Ref country code: CH

Payment date: 20091124

Year of fee payment: 7

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: NL

Payment date: 20091123

Year of fee payment: 7

REG Reference to a national code

Ref country code: NL

Ref legal event code: V1

Effective date: 20110601

REG Reference to a national code

Ref country code: CH

Ref legal event code: PL

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LI

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20101130

Ref country code: CH

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20101130

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: NL

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20110601

Ref country code: AT

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20101106

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 13

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 14

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 15

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: FR

Payment date: 20171124

Year of fee payment: 15

Ref country code: DE

Payment date: 20171124

Year of fee payment: 15

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: GB

Payment date: 20171124

Year of fee payment: 15

REG Reference to a national code

Ref country code: DE

Ref legal event code: R119

Ref document number: 50302143

Country of ref document: DE

GBPC Gb: european patent ceased through non-payment of renewal fee

Effective date: 20181106

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: FR

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20181130

Ref country code: DE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20190601

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: GB

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20181106