EP2754151A1 - Device, method and electro-acoustic system for prolonging the reverberation period - Google Patents

Device, method and electro-acoustic system for prolonging the reverberation period

Info

Publication number
EP2754151A1
EP2754151A1 EP12756411.0A EP12756411A EP2754151A1 EP 2754151 A1 EP2754151 A1 EP 2754151A1 EP 12756411 A EP12756411 A EP 12756411A EP 2754151 A1 EP2754151 A1 EP 2754151A1
Authority
EP
European Patent Office
Prior art keywords
virtual
wave field
field synthesis
synthesis information
walls
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
EP12756411.0A
Other languages
German (de)
French (fr)
Other versions
EP2754151B1 (en
EP2754151B2 (en
Inventor
René RODIGAST
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Original Assignee
Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=47710586&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=EP2754151(A1) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV filed Critical Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Publication of EP2754151A1 publication Critical patent/EP2754151A1/en
Publication of EP2754151B1 publication Critical patent/EP2754151B1/en
Application granted granted Critical
Publication of EP2754151B2 publication Critical patent/EP2754151B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K15/00Acoustics not otherwise provided for
    • G10K15/08Arrangements for producing a reverberation or echo sound
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K15/00Acoustics not otherwise provided for
    • G10K15/08Arrangements for producing a reverberation or echo sound
    • G10K15/12Arrangements for producing a reverberation or echo sound using electronic time-delay networks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2420/00Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/13Application of wave-field synthesis in stereophonic audio systems

Definitions

  • the present invention relates to a device, a method and an electroacoustic system for reverberation time extension.
  • a room is not optimal for different applications from an acoustic point of view. So a musical performance usually requires some reverb to sound good. On the other hand, speakers are sometimes incomprehensible when the room is too reverberant. An adjustment of the reverberation time with the help of a public address system is therefore useful.
  • electroacoustic systems for reverberation time extension can be used. Such systems can either be e.g. be retrofitted into an existing concert hall. Likewise, however, it may be useful to begin with the construction and construction of corresponding buildings and halls, e.g. in trade fair construction, to provide an electroacoustic system for reverberation time extension and to include it in the planning of the building. Also in the context of audio playback for entertainment purposes, a reverberation time extension may be desirable.
  • Wave Field Synthesis was researched at the TU Delft and first presented in the late 1980s (Berkhout, AJ, de Vries, D .; Vogel, P .: Acoustic Control by Wave-field Synthesis JASA 93, 1993).
  • Applied to the acoustics can be simulated by a large number of speakers, which are arranged side by side (a so-called speaker array), any shape of an incoming wavefront.
  • the audio signals of each speaker must be fed with a time delay and amplitude scaling so that the radiated sound fields of each speaker properly overlap.
  • the contribution to each speaker is calculated separately for each source and the resulting signals added together.
  • reflections can also be reproduced as additional sources via the loudspeaker array. The cost of the calculation therefore depends heavily on the number of sound sources, the reflection characteristics of the recording room and the number of speakers.
  • the advantage of this technique is in particular that a natural spatial sound impression over a large area of the playback room is possible.
  • the direction and distance of sound sources are reproduced very accurately.
  • virtual sound sources can even be positioned between the real speaker array and the listener.
  • wave field synthesis is based on the principle of Huygens, according to which wavefronts can be formed and built up by superimposing elementary waves. After mathematically exact theoretical description, infinitely many sources in infinitely small distance would have to be used for the generation of the elementary waves. Practically, however, many speakers are finally used at a finite distance from each other. Each of these speakers is driven according to the WFS principle with an audio signal from a virtual source having a particular delay and a certain level. Levels and delays are usually different for all speakers.
  • a wave field synthesis system operates on the Huygens principle and reconstructs a given waveform, for example, of a virtual source located at a certain distance from a listener by a plurality of single waves.
  • the wave-field synthesis algorithm thus obtains information about the actual position of a single loudspeaker from the loudspeaker array and then calculates a component signal for this single loudspeaker that this loudspeaker ultimately has to emit, so that the listener can superimpose the loudspeaker signal from one loudspeaker to the loudspeaker signals from the other active loudspeaker Speaker performs a reconstruction in that the listener has the impression that he is not "sonicated" by many individual speakers, but only from a single speaker at the position of the virtual source.
  • each virtual source for each loudspeaker that is, the component signal of the first virtual source for the first loudspeaker, the second virtual source for the first loudspeaker, etc.
  • the contribution from each virtual source for each loudspeaker is calculated to then add up the component signals finally get the actual speaker signal.
  • superimposing the loudspeaker signals of all the active loudspeakers on the listener would mean that the listener does not feel that he is being sonicated by a large array of loudspeakers, but that the sound he hears is merely from three sound sources positioned at specific positions, which are equal to the virtual sources.
  • the calculation of the component signals usually takes place in practice by applying a delay and a scaling factor to the audio source assigned to a virtual source, depending on the position of the virtual source and position of the loudspeaker, at a specific point in time in order to obtain a delayed and / or scaled audio signal To obtain a virtual source that represents the speaker signal immediately if only one virtual source is present, or that contributes to addition of other component signals for the considered speaker from other virtual sources then to the speaker signal for the considered speaker.
  • Typical wave field synthesis algorithms operate regardless of how many speakers are present in the speaker array.
  • the underlying theory of Wave Field Synthesis is that any sound field can be accurately reconstructed by an infinite number of individual speakers, with the individual individual speakers arranged infinitely close to each other. In practice, however, neither the infinite number nor the infinitely close arrangement will be realized. Instead, there are a limited number of speakers, which are also arranged at certain predetermined distances from each other. Thus, in real systems, only an approximation to the actual waveform that would occur if the virtual source were actually present, would be a real source.
  • Wave field synthesis devices are also capable of replicating several different types of sources.
  • a prominent source form is the point source, where the level decreases proportionally 1 / r, where r is the distance between a listener and the position of the virtual source.
  • Another source form is a source that emits plane waves.
  • the level remains constant regardless of the distance to the listener, since plane waves can be generated by point sources, which are arranged at an infinite distance.
  • the object of the present invention is therefore to provide improved concepts for devices, methods and electroacoustic systems for reverberation time extension.
  • the object of the present invention is achieved by a device according to claim 1, a method according to claim 12, a computer program according to claim 13, an electroacoustic system according to claim 14 and a method according to claim 15.
  • the invention provides a device for reverberation time extension.
  • the apparatus comprises a wave field synthesis information calculation module and a signal processor for generating a plurality of audio output signals for a plurality of loud speakers based on a plurality of audio input signals, and based on the wave field synthesis information, the audio signals being received from a plurality of microphones.
  • the device comprises an operating unit for determining a virtual position of one or more virtual walls.
  • the wave field synthesis information calculation module is configured to calculate the wave field synthesis information based on the virtual position of the one or more virtual walls.
  • the virtual position can be set by the operating unit for at least one of the virtual walls.
  • an apparatus and method for generating an acoustic spatial magnification is provided, wherein distributed microphones detect relevant sound sources and the acoustic environment and reproduce this with respect to fixed or dynamic virtual source positions via a wave field synthesis system.
  • the invention is based on the concept that the virtual sources are generated in an algorithm based on wave field synthesis.
  • the invention describes a method in which by means of distributed microphones in the room to be sounded, the acoustics of the room is detected with the sources to be amplified and a AD converter Processing system is supplied.
  • the processing system may consist of software in which the signal is first processed via filters, and then processed in a wave field synthesis algorithm to an object-based sound source, which in turn is processed via filters, to then be played over a wave field synthesis system.
  • the detected room signals can now be positioned as desired and can be moved as "virtual walls", thus creating individual room geometries
  • the recorded room signals are typically represented as plane waves and thus correspond to the acoustic effect of a wall Virtual wall can not only be moved, but also be changed in your angle and thus directly influences the reflection patterns of the sound sources.
  • the wave field synthesis information calculation module is configured to calculate delay values and amplitude factor values as wave field synthesis information.
  • the delay value indicates the delay by which one of the audio input signals is delayed at one of the speakers.
  • the amplitude factor value indicates by what factor the amplitude of one of the audio input signals is modified to obtain a modified signal output on one of the speakers.
  • the wave field synthesis information calculation module may be configured to calculate a delay value and an amplitude factor value for each speaker-virtual wall pair at a time, wherein a speaker-virtual wall pair, a pair of one of the speakers, and a speaker the virtual walls is.
  • the wave field synthesis information calculation module is configured to provide the delay value and the amplitude factor value for a speaker-virtual wall pair based on the distance from the speaker and the virtual wall of the speaker-virtual wall pair to calculate.
  • the wave field synthesis information calculation module may be configured to set the delay value of a speaker virtual wall pair the larger the distance between the speaker and the virtual wall. Further, the wave field synthesis information calculation module may be configured to set the amplitude factor value of a speaker-virtual wall pair the smaller the distance between the speaker and the virtual wall.
  • the operating unit is designed such that at least one of the virtual walls is displaceable from a first virtual position to a second virtual position, so that the virtual wall can be displaced in any desired parallel position relative to its first position. Furthermore, the operating unit can be designed such that at least one of the virtual walls is displaceable from a first virtual position to a second virtual position, so that the virtual wall can be displaced in any rotationally opposite its first position.
  • the operating unit is designed so that the virtual position can be set by the operating unit for all of the virtual walls.
  • the operating unit can be designed so that each of the virtual walls can be displaced from a first virtual position to a second virtual position. so that each virtual wall is arbitrarily parallel and rotatable relative to its first position.
  • the reverberation time extension apparatus may comprise a parametric filter for filtering resonant frequencies.
  • an electroacoustic reverberation time extension system comprising a plurality of microphones, a reverberation time extension apparatus according to any one of the above-described embodiments, and a loudspeaker array of a plurality of loud speakers.
  • the plurality of microphones are configured to generate a plurality of audio input signals fed to the reverberation time extension apparatus, and wherein the plurality of loudspeakers of the loudspeaker array are adapted to receive and feed the audio output signals from the reverberation time extension apparatus Play audio output signals.
  • FIG. 1 shows a block diagram of a device for reverberation time extension according to an embodiment
  • FIG. 10 is a block diagram showing the interaction of a wave field synthesis information calculation module and a signal processor
  • FIG. 3 illustrates an electroacoustic WFS system for reverberation time extension, illustrating another embodiment of an electroacoustic WFS system, illustrating a middle conference room (5mxl 8xl 5m) Featuring 5 ceiling microphones, 40 ceiling loudspeakers, and a recirculating horizontal band of conventional loudspeakers in a reduced WFS arrangement according to one embodiment
  • the invention features an array of loudspeakers, virtual walls, and microphones according to one embodiment, and shows an array of loudspeakers and a virtual loudspeaker Wall according to another embodiment.
  • the apparatus comprises a wave field synthesis information calculation module 1 10.
  • the apparatus further comprises a signal processor 120 for generating a plurality of audio output signals y ls y 2 , y n for a plurality of loud speakers (not shown) based on a plurality of audio input signals si, s 2 , s n picked up by a plurality of microphones (not shown) and based on the wave field synthesis information.
  • the device comprises an operating unit 130 for determining a virtual position of one or more virtual walls.
  • the wave field synthesis information calculation module 10 is configured to calculate the wave field synthesis information WS mf based on the virtual position of the one or more virtual walls.
  • the wave field synthesis information calculation module 110 and the signal processor 120 may be implemented in one module (a wave field synthesis module). Referring now to Figure 2, an embodiment of the interaction of the wave field synthesis information calculation module and the signal processor is set forth. In Fig. 2, the wave field synthesis information calculation module 210 and the signal processor 220 are shown by dashed lines.
  • the wave field synthesis information calculation module 210 and the signal processor 220 have a highly parallel construction in that, starting from the audio signal supplied to the signal processor for each virtual wall (a virtual source) and from the position information for the corresponding virtual wall (virtual source), which has received the wave field synthesis information calculation module 210 from an operation unit, first, delay information (delay information) Vi and amplitude factors (scaling factors) SF; calculated from the position information and the position of the currently considered loudspeaker, e.g. B. the speaker with the ordinal number j, so LS j depend.
  • delay information delay information
  • amplitude factors scaling factors
  • a delay information Vj and a scaling factor SF due to the position information of a virtual source (virtual wall) and the location of the considered loudspeaker j is done by known algorithms implemented in devices 300, 302, 304, 306.
  • FIG. 2 also shows, as it were, a "flash shot" at time t A for the individual component signals
  • the individual component signals are then summed by a summer 320 at nodes to determine the discrete value for the current time t A of the loudspeaker signal loudspeaker j which can then be fed to the speaker for output.
  • a value valid on the basis of a delay information (delay delay) and a scaling with an amplitude factor (scaling factor) at a current instant is calculated, after which all the component signals for a loudspeaker due to the various virtual walls (virtual sources) are summed up.
  • delay delay delay information
  • scaling factor scaling with an amplitude factor
  • FIG. 3 illustrates an electroacoustic WFS system for reverberation time extension according to an exemplary embodiment.
  • four microphones 350 Im are installed uniformly suspended in a room from the ceiling.
  • the microphone signals are processed in a WFS algorithm 360 to a virtual source, which is reproduced as a plane wave via a WFS sound system 370 in the same room.
  • the WFS system includes a user interface for moving the 4 microphone sources. With this control unit, the 4 microphone signals are detected and pulled outwards. The result is an acoustic enlargement of the room.
  • the wave field synthesis module 360 comprises a wave field synthesis information calculation module according to the embodiment of FIG. 1 and a signal processor according to the embodiment of FIG. 1.
  • the operation unit 375 is an operation unit according to the embodiment of FIG.
  • unit 355 in FIG. 3 represents a filter that serves to filter resonant frequencies.
  • a sound wave output at one of the speakers 370 is resumed by the microphones 350 and re-considered in the generation of the later audio signal output via the speakers.
  • filter 355 can be used to suppress these resonances.
  • filter 365 may be a conventional filter used, for example, to adapt the speakers.
  • 4 illustrates another embodiment of an electroacoustic WFS system.
  • the signals of the ceiling microphones are processed in a central processing unit and processed after filtering in a matrix to virtual sources, which is played back after level adjustment, control of the spatial proportion and speaker filtering as virtual sound sources via a WFS array and evenly distributed ceiling speakers.
  • microphones 41 1, 412 input audio input signals to microphone preamplifiers 416, 417.
  • the microphone 41 1 is a microphone which is close to a sound source, e.g. located at a lectern.
  • the microphone 412 is a room microphone located in the room but farther from the sound source than the microphone 41 1. Typically, multiple room microphones and / or multiple microphones are used close to the sound source.
  • Microphone preamplifiers 416, 417 amplify the audio input signals received from the microphones 411, 412 to obtain pre-amplified audio input signals.
  • the microphone preamplifiers 416, 417 may be conventional microphone preamplifiers.
  • the preamplified audio input signals are fed to an analog-to-digital converter 420, which converts the audio input signals, which are initially in analog form, into digital audio signals.
  • the analog-to-digital converter 420 may be a conventional analog-to-digital converter.
  • the analog-to-digital converter 420 feeds the digital audio signals into the absorption filter 425.
  • Absorption filter 425 performs filtering to match the wall material.
  • absorption filter 425 filters such that when highly reflective walls are to be replicated, the digital audio signals pass absorption filter 425 almost unfiltered.
  • absorption filter 425 in one embodiment filters the digital audio signals to a great extent.
  • Filter 430 is a filter for feedback compensation and sound adjustment. If a signal is reproduced by a loudspeaker, the sound waves of this signal are in turn detected by the microphone and this leads to a feedback. In one embodiment, filter 430 may be used to provide this feedback entirely or partially compensate.
  • Filter 430 can be used for sound adjustment.
  • the feedback compensation and / or the sound adjustment may be performed in a conventional manner.
  • the system in FIG. 4 comprises a central operating unit 435 and a module for calculating wave field synthesis information 440.
  • the central operating unit 435 may correspond to the operating unit in FIG. 1. 4 may be provided with a GUI ("Graphical User Interface")
  • the wave field synthesis information calculation module 440 may correspond to the wave field synthesis information calculation module of FIG.
  • the wave field synthesis information calculation module 440 passes the calculated wave field synthesis parameters to module 445.
  • These wave field synthesis parameters may be e.g. to handle delay values and amplitude values, such as amplitude factor values.
  • Module 445 builds a delay amplitude matrix from the values passed by module 440.
  • the delay amplitude matrix may include a delay value and an amplitude factor value for a particular point in time for each speaker-virtual wall pair.
  • Module 445 performs audio scaling based on the wavelet field sync parameters obtained from the wave field synthesis information calculation module 440. For example, if a delay value and an amplitude factor value were obtained for a loudspeaker-virtual wall pair, the signal originating from the virtual wall (eg, apparently reflected from the virtual wall) will be the received delay value is delayed, and the amplitude factor value obtained by module 440 is modified to the amplitude of the signal to be output by the amplitude factor value, for example by multiplying the amplitude factor value by the amplitude of the signal to be output.
  • filter 450 filters the module 445 modified audio signals to achieve speaker matching.
  • the audio signals are modified to adjust the overall volume. This can be done in the usual way.
  • the ratio of volume proportion to original signal is adjusted. In one embodiment, for example, the ratio of audio signals generated from audio signals of room microphones were adjusted to audio signals that were generated from audio signals of microphones near the lectern, for example by adjusting the amplitudes of the respective signals.
  • the modified digital audio signals are then fed to a digital-to-analog converter 465 which converts the modified digital audio signals to analog audio output signals.
  • the analog audio output signals are then amplified by power amplifiers 471, 472 and output from loudspeakers 481, 482.
  • the audio signals are output from either WFS-10 loudspeakers 481 or ceiling loudspeakers 482. It is understood that in a real system a variety of WFS speakers and / or ceiling speakers can be used.
  • Fig. 5 shows a medium conference room (5mxl 8xl5m), with 5 ceiling microphones
  • the signals of the ceiling microphones 511, 512, 513, 514, 515 are processed in a central processing unit and processed after filtering in a matrix to virtual sources, which after level adjustment, control of the space proportion and 0 speaker filtering as virtual sound sources 521, 522, 523 , 524, 525 is replayed via a WFS array and evenly distributed ceiling speakers.
  • the structure is shown in FIG. 4.
  • the microphone signals are represented by the respectively opposite virtual sources in order to avoid feedback.
  • the input branch of the matrix also contains a filter unit which takes account of 5 different spatial materials in order to incorporate various absorption and reflection parameters into the space to be reverberated.
  • the detected microphone signals are reproduced in freely positionable sources as described imaged and acted upon by the existing room characteristics again captured by the microphone, which leads to a regeneration of the room acoustics.
  • Fig. 6 illustrates a basic concept of certain embodiments. Shown is a speaker array comprising, as shown in FIG. 6, 12 speakers 611, 612, 613. In actual embodiments, the number of loudspeakers will often be significantly larger, e.g. 60, 100, 200, 300 or more speakers. Also shown are four virtual walls 621, 622, 623, 624. In the following, the speaker 61 1 and the virtual wall 621 will be considered in greater detail. These form a speaker-virtual wall pair (61 1, 621). Also, any other combination of one of the speakers and one of the virtual walls forms a speaker-virtual wall pair. The distance between the speaker and the virtual wall is indicated by an arrow d. In Fig.
  • a plurality of microphones 631, 632, 633 are also provided.
  • a microphone 631 generates an audio signal by recording sound waves to be reproduced through the speaker 61 1.
  • the signal reproduced by the loudspeaker 61 1 should correspond to a reflection of the sound waves recorded by the microphone 631 on the virtual wall 621.
  • the signal picked up by the microphone may only be reproduced with a time delay by the loudspeaker 611, which depends on the distance between the loudspeaker and the virtual wall: the greater the distance between virtual wall 621 and loudspeaker 61 1, the larger the time delay, ie the delay value with which the signal recorded by the microphone 631 is to be reproduced on the loudspeaker 61 1.
  • FIG. 6 shows, by the broken line 629, a displacement of the virtual wall 621, wherein the distance of the virtual wall from the loudspeaker 61 1 increases from d to 2 d. The delay value will increase accordingly.
  • Calculate delay (d + c) * pi, where d is the distance between the loudspeaker and the virtual wall of the speaker-virtual wall pair, c is a constant value, and pi is a proportionality constant greater than 0.
  • d is the distance between the loudspeaker and the virtual wall of the speaker-virtual wall pair
  • c is a constant value
  • pi is a proportionality constant greater than 0.
  • the larger the distance between the virtual wall and the loudspeaker the smaller is the amplitude factor to choose in an embodiment, since the amplitude of a real sound source becomes smaller the farther away from a sound source, the virtual sound source here being the represents a virtual wall that seems to reflect a sound wave.
  • the amplitude factor is the factor with which the amplitude of one of the output signals is to be modified in order to obtain a modified signal to be output at one of the loudspeakers.
  • the amplitude factor can be calculated according to the formula:
  • Amplitude factor [1 / (d + h)] * p 2
  • d is the distance between the speaker and the virtual wall of the speaker-virtual wall pair
  • h is a constant value
  • p 2 is a proportional constant greater 0 is.
  • the proportionality constant p 2 and is chosen so that the amplitude factor always assumes a value greater than 0 and less than 1.
  • an increase in the delay value can bring about a reverberation time extension.
  • FIG. 7 shows another embodiment in which the current position 729 of the virtual wall is changed such that the current position 729 of the virtual wall has been rotatably changed from its old position 721.
  • the distance of the old position of the virtual wall of speaker 71 1 is indicated by arrow e
  • the distance of the new position of the virtual wall from the speaker 71 1 is shown by arrow f.
  • a computer program or signal according to the invention can be stored on a digital storage medium or can be transmitted on a transmission medium be such as a wireless transmission medium or a wired transmission medium, such as the Internet.
  • embodiments of the invention may be implemented in hardware or in software.
  • the implementation may be done using a digital storage medium, such as a digital storage medium. a floppy disk, a DVD, a CD, a ROM, a PROM, an EPROM, an EEPROM, or a FLASH memory which stores electronically readable control signals that cooperate (or are able to work together) with a programmable computer system so that the appropriate procedure is carried out.
  • a digital storage medium such as a digital storage medium. a floppy disk, a DVD, a CD, a ROM, a PROM, an EPROM, an EEPROM, or a FLASH memory which stores electronically readable control signals that cooperate (or are able to work together) with a programmable computer system so that the appropriate procedure is carried out.
  • Some embodiments according to the invention comprise a non-transitory data carrier having electronically readable control signals capable of cooperating with a programmable computer system to perform one of the methods described herein.
  • embodiments of the present invention may be implemented as a computer program product having program code, wherein the program code is operative to perform one of the methods when the computer program product is executed on a computer.
  • the program code may e.g. be stored on a machine-readable carrier.
  • inventions include the computer program for executing one of the methods described herein stored on a machine readable carrier.
  • an embodiment of the method according to the invention is therefore a computer program with a program code for carrying out one of the methods described herein when the computer program is executed on a computer.
  • a further exemplary embodiment of the method according to the invention is therefore a data carrier (or a digital storage medium or a computer-readable medium) which has recorded thereon the computer program for carrying out one of the methods described herein.
  • a further embodiment of the method according to the invention is therefore a data stream or a series of signals representing the computer program for carrying out one of the methods described herein.
  • the data stream or the Signal series can be configured, for example, to be transmitted via a data communication connection, eg via the Internet.
  • processing means e.g. a computer, or programmable logic device configured or adapted to perform one of the methods described herein.
  • Another embodiment includes a computer on which the computer program is installed to perform one of the methods described herein.
  • a programmable logic device e.g., a field programmable gate array
  • a field programmable gate array may cooperate with a microprocessor to perform any of the methods described herein.
  • the methods are preferably performed by any hardware device.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Stereophonic System (AREA)
  • Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)

Abstract

A device for prolonging the reverberation period is provided. The device comprises a module (110) for calculating wave field synthesis information, and a signal processor (120) for generating a plurality of audio output signals for a plurality of loudspeakers based on the audio input signals received by a plurality of microphones, and based on the wave field synthesis information. The device also comprises an operating unit (130) for determining a virtual position of one or more virtual walls. The module (110) for calculating wave field information is designed to calculate the wave field synthesis information based on the virtual position of the one or more virtual walls. Further, the virtual position can be adjusted by the operating unit (130) for at least one of the virtual walls.

Description

Vorrichtung, Verfahren und Elektroakustisches System zur  Apparatus, method and electroacoustic system for
Nachhallzeitverlängerung  Reverberation time extension
Beschreibung description
Die vorliegende Erfindung betrifft eine Vorrichtung ein Verfahren und ein elektroakustisches System zur Nachhallzeitverlängerung. The present invention relates to a device, a method and an electroacoustic system for reverberation time extension.
Ein Raum ist aus akustischer Sicht nicht optimal für verschiedene Anwendungen. So verlangt eine musikalische Darbietung normalerweise etwas Hall um gut zu klingen. Andererseits sind Sprecher teilweise unverständlich, wenn der Raum zu hallig ist. Eine Anpassung der Nachhallzeit mit Hilfe einer Beschallungsanlage ist deshalb sinnvoll. A room is not optimal for different applications from an acoustic point of view. So a musical performance usually requires some reverb to sound good. On the other hand, speakers are sometimes incomprehensible when the room is too reverberant. An adjustment of the reverberation time with the help of a public address system is therefore useful.
So werden zum Beispiel in Theatern, Kongresszentren, Planetarien, Seminarräumen, Multifunktionsräumen für unterschiedliche Anlässe unterschiedliche akustische Bedingungen erforderlich sein und insbesondere unterschiedliche Anforderungen an die Nachhallzeit benötigt. Zur Beeinflussung der Nachhallzeit können dabei elektroakustische Systeme zur Nachhallzeitverlängerung eingesetzt werden. Solche Systeme können entweder z.B. in eine bereits existierende Konzerthalle nachträglich eingebaut werden. Ebenso kann es jedoch sinnvoll sein, bereits bei Konstruktion und Bau entsprechender Gebäude und Hallen, z.B. beim Messebau, ein elektroakustisches System zur Nachhallzeitverlängerung vorzusehen und in die Gebäudeplanung mit einzubeziehen. Auch im Rahmen von Audio-Wiedergaben für Entertainmentzwecke kann eine Nachhallzeitverlängerung wünschenswert sein. For example, in theaters, congress centers, planetariums, seminar rooms, multifunctional rooms, different acoustic conditions will be required for different occasions, and in particular, different reverberation time requirements will be required. To influence the reverberation time, electroacoustic systems for reverberation time extension can be used. Such systems can either be e.g. be retrofitted into an existing concert hall. Likewise, however, it may be useful to begin with the construction and construction of corresponding buildings and halls, e.g. in trade fair construction, to provide an electroacoustic system for reverberation time extension and to include it in the planning of the building. Also in the context of audio playback for entertainment purposes, a reverberation time extension may be desirable.
Im Folgenden wird die Technik der Wellenfeldsynthese näher erläutert. Die Wellenfeldsynthese (WFS; WFS = Wave-Field Synthesis) wurde an der TU Delft erforscht und erstmals in den späten 80er-Jahren vorgestellt (Berkhout, A.J.; de Vries, D.; Vogel, P.: Acoustic control by Wave-field Synthesis. JASA 93, 1993). In the following, the technique of wave field synthesis is explained in more detail. Wave Field Synthesis (WFS) was researched at the TU Delft and first presented in the late 1980s (Berkhout, AJ, de Vries, D .; Vogel, P .: Acoustic Control by Wave-field Synthesis JASA 93, 1993).
Infolge der enormen Anforderungen dieser Methode an Rechnerleistung und Übertragungsraten wurde die Wellenfeldsynthese bis jetzt nur selten in der Praxis angewendet. Erst die Fortschritte in den Bereichen der Mikroprozessortechnik und der Audiocodierung gestatten heute den Einsatz dieser Technologie in konkreten Anwendungen. Erste Produkte im professionellen Bereich werden nächstes Jahr erwartet. Die Grundidee von WFS basiert auf der Anwendung des Huygens' sehen Prinzips der Wellentheorie: Due to the enormous demands of this method on computer performance and transmission rates, wave field synthesis has rarely been used in practice. Only the advances in the areas of microprocessor technology and audio coding allow today the use of this technology in concrete applications. The first professional products are expected next year. The basic idea of WFS is based on the application of the Huygens' principle of wave theory:
Jeder Punkt, der von einer Welle erfasst wird, ist Ausgangspunkt einer Elementarwelle, die sich kugelförmig bzw. kreisförmig ausbreitet. Angewandt auf die Akustik kann durch eine große Anzahl von Lautsprechern, die nebeneinander angeordnet sind (einem so genannten Lautsprecherarray), jede beliebige Form einer einlaufenden Wellenfront nachgebildet werden. Im einfachsten Fall, einer einzelnen wiederzugebenden Punktquelle und einer linearen Anordnung der Lautsprecher, müssen die Audiosignale eines jeden Lautsprechers mit einer Zeitverzögerung und Amplitudenskalierung so gespeist werden, dass sich die abgestrahlten Klangfelder der einzelnen Lautsprecher richtig überlagern. Bei mehreren Schallquellen wird für jede Quelle der Beitrag zu jedem Lautsprecher getrennt berechnet und die resultierenden Signale addiert. In einem Raum mit reflektierenden Wänden können auch Reflexionen als zusätzliche Quellen über das Lautsprecherarray wiedergegeben werden. Der Aufwand bei der Berechnung hängt daher stark von der Anzahl der Schallquellen, den Reflexionseigenschaften des Aufnahmeraums und der Anzahl der Lautsprecher ab. Every point, which is detected by a wave, is the starting point of an elementary wave, which spreads in a spherical or circular manner. Applied to the acoustics can be simulated by a large number of speakers, which are arranged side by side (a so-called speaker array), any shape of an incoming wavefront. In the simplest case, a single point source to be reproduced and a linear arrangement of the speakers, the audio signals of each speaker must be fed with a time delay and amplitude scaling so that the radiated sound fields of each speaker properly overlap. With multiple sound sources, the contribution to each speaker is calculated separately for each source and the resulting signals added together. In a room with reflective walls, reflections can also be reproduced as additional sources via the loudspeaker array. The cost of the calculation therefore depends heavily on the number of sound sources, the reflection characteristics of the recording room and the number of speakers.
Der Vorteil dieser Technik liegt im Besonderen darin, dass ein natürlicher räumlicher Klangeindruck über einen großen Bereich des Wiedergaberaums möglich ist. Im Gegensatz zu den bekannten Techniken werden Richtung und Entfernung von Schallquellen sehr exakt wiedergegeben. In beschränktem Maße können virtuelle Schallquellen sogar zwischen dem realen Lautsprecherarray und dem Hörer positioniert werden. The advantage of this technique is in particular that a natural spatial sound impression over a large area of the playback room is possible. In contrast to the known techniques, the direction and distance of sound sources are reproduced very accurately. To a limited extent, virtual sound sources can even be positioned between the real speaker array and the listener.
Durch die Technik der Wellenfeldsynthese (WFS) lässt sich somit ein guter räumlicher Klang für eine großen Hörerbereich erzielen. Wie oben ausgeführt, basiert die Wellenfeldsynthese auf dem Prinzip von Huygens, nach welchem sich Wellenfronten durch Überlagerung von Elementarwellen formen und aufbauen lassen. Nach mathematisch exakter theoretischer Beschreibung müssten unendlich viele Quellen in unendlich kleinem Abstand für die Erzeugung der Elementarwellen genutzt werden. Praktisch werden jedoch endlich viele Lautsprecher in einem endlich kleinen Abstand zueinander genutzt. Jeder dieser Lautsprecher wird gemäß dem WFS-Prinzip mit einem Audiosignal von einer virtuellen Quelle, das ein bestimmtes Delay und einen bestimmten Pegel hat, angesteuert. Pegel und Delays sind in der Regel für alle Lautsprecher unterschiedlich. Wie oben ausgeführt, arbeitet ein Wellenfeldsynthesesystem auf der Basis des Huygens- Prinzips und rekonstruiert eine gegebene Wellenform beispielsweise einer virtuellen Quelle, die in einem bestimmten Abstand zu einem Hörer angeordnet ist durch eine Vielzahl von Einzelwellen. Der Wellenfeldsynthesealgorithmus erhält somit Informationen über die tatsächliche Position eines Einzellautsprechers aus dem Lautsprecherarray, um dann für diesen Einzellautsprecher ein Komponentensignal zu berechnen, das dieser Lautsprecher dann letztendlich abstrahlen muss, damit beim Zuhörer eine Überlagerung des Lautsprechersignals von dem einen Lautsprecher mit den Lautsprechersignalen der anderen aktiven Lautsprecher eine Rekonstruktion dahingehend durchführt, dass der Hörer den Eindruck hat, dass er nicht von vielen Einzellautsprechern„beschallt" wird, sondern lediglich von einem einzigen Lautsprecher an der Position der virtuellen Quelle. The technique of wave field synthesis (WFS) can thus achieve a good spatial sound for a large listener area. As stated above, wave field synthesis is based on the principle of Huygens, according to which wavefronts can be formed and built up by superimposing elementary waves. After mathematically exact theoretical description, infinitely many sources in infinitely small distance would have to be used for the generation of the elementary waves. Practically, however, many speakers are finally used at a finite distance from each other. Each of these speakers is driven according to the WFS principle with an audio signal from a virtual source having a particular delay and a certain level. Levels and delays are usually different for all speakers. As stated above, a wave field synthesis system operates on the Huygens principle and reconstructs a given waveform, for example, of a virtual source located at a certain distance from a listener by a plurality of single waves. The wave-field synthesis algorithm thus obtains information about the actual position of a single loudspeaker from the loudspeaker array and then calculates a component signal for this single loudspeaker that this loudspeaker ultimately has to emit, so that the listener can superimpose the loudspeaker signal from one loudspeaker to the loudspeaker signals from the other active loudspeaker Speaker performs a reconstruction in that the listener has the impression that he is not "sonicated" by many individual speakers, but only from a single speaker at the position of the virtual source.
Für mehrere virtuelle Quellen in einem Wellenfeldsynthesesetting wird der Beitrag von jeder virtuellen Quelle für jeden Lautsprecher, also das Komponentensignal der ersten virtuellen Quelle für den ersten Lautsprecher, der zweiten virtuellen Quelle für den ersten Lautsprecher, etc. berechnet, um dann die Komponentensignale aufzuaddieren, um schließlich das tatsächliche Lautsprechersignal zu erhalten. Im Falle von beispielsweise drei virtuellen Quellen würde die Überlagerung der Lautsprechersignale aller aktiven Lautsprecher beim Hörer dazu führen, dass der Hörer nicht den Eindruck hat, dass er von einem großen Array von Lautsprechern beschallt wird, sondern dass der Schall, den er hört, lediglich von drei an speziellen Positionen positionierten Schallquellen kommt, die gleich den virtuellen Quellen sind. For multiple virtual sources in a wave-field synthesis setting, the contribution from each virtual source for each loudspeaker, that is, the component signal of the first virtual source for the first loudspeaker, the second virtual source for the first loudspeaker, etc., is calculated to then add up the component signals finally get the actual speaker signal. In the case of, for example, three virtual sources, superimposing the loudspeaker signals of all the active loudspeakers on the listener would mean that the listener does not feel that he is being sonicated by a large array of loudspeakers, but that the sound he hears is merely from three sound sources positioned at specific positions, which are equal to the virtual sources.
Die Berechnung der Komponentensignale erfolgt in der Praxis meist dadurch, dass das einer virtuellen Quelle zugeordnete Audiosignal je nach Position der virtuellen Quelle und Position des Lautsprechers zu einem bestimmten Zeitpunkt mit einer Verzögerung und einem Skalierungsfaktor beaufschlagt wird, um ein verzögertes und/oder skaliertes Audiosignal der virtuellen Quelle zu erhalten, das das Lautsprechersignal unmittelbar darstellt, wenn nur eine virtuellen Quelle vorhanden ist, oder dass nach Addition mit weiteren Komponentensignalen für den betrachteten Lautsprecher von anderen virtuellen Quellen dann zum Lautsprechersignal für den betrachteten Lautsprecher beiträgt. The calculation of the component signals usually takes place in practice by applying a delay and a scaling factor to the audio source assigned to a virtual source, depending on the position of the virtual source and position of the loudspeaker, at a specific point in time in order to obtain a delayed and / or scaled audio signal To obtain a virtual source that represents the speaker signal immediately if only one virtual source is present, or that contributes to addition of other component signals for the considered speaker from other virtual sources then to the speaker signal for the considered speaker.
Typische Wellenfeldsynthesealgorithmen arbeiten unabhängig davon, wie viele Lautsprecher im Lautsprecherarray vorhanden sind. Die der Wellenfeldsynthese zugrundeliegende Theorie besteht darin, dass jedes beliebige Schallfeld durch eine unendlich hohe Anzahl von Einzellautsprechern exakt rekonstruiert werden kann, wobei die einzelnen Einzellautsprecher unendlich nahe zueinander angeordnet sind. In der Praxis kann jedoch weder die unendlich hohe Anzahl noch die unendlich nahe Anordnung realisiert werden. Stattdessen existiert eine begrenzte Anzahl von Lautsprechern, die zudem in bestimmten vorgegebenen Abständen zueinander angeordnet sind. Damit wird in realen Systemen immer nur eine Annäherung an die tatsächliche Wellenform erreicht, die stattfinden würde, wenn die virtuelle Quelle tatsächlich vorhanden wäre, also eine reale Quelle sein würde. Typical wave field synthesis algorithms operate regardless of how many speakers are present in the speaker array. The underlying theory of Wave Field Synthesis is that any sound field can be accurately reconstructed by an infinite number of individual speakers, with the individual individual speakers arranged infinitely close to each other. In practice, however, neither the infinite number nor the infinitely close arrangement will be realized. Instead, there are a limited number of speakers, which are also arranged at certain predetermined distances from each other. Thus, in real systems, only an approximation to the actual waveform that would occur if the virtual source were actually present, would be a real source.
Wellenfeldsyntheseeinrichtungen sind ferner in der Lage, mehrere verschiedene Quellenarten nachzubilden. Eine prominente Quellenform ist die Punktquelle, bei der der Pegel proportional 1/r abnimmt, wobei r der Abstand zwischen einem Zuhörer und der Position der virtuellen Quelle ist. Eine andere Quellenform ist eine Quelle, die ebene Wellen aussendet. Hier bleibt der Pegel unabhängig von der Entfernung zum Hörer konstant, da ebene Wellen durch Punktquellen erzeugt werden können, die in einem unendlichen Abstand angeordnet sind. Nach dem obigen Exkurs zu existierenden Wellenfeldsyntheseeinrichtungen widmen wir uns nun den aus dem Stand der Technik bekannten Systemen zur Nachhallzeitverlängerung: Wave field synthesis devices are also capable of replicating several different types of sources. A prominent source form is the point source, where the level decreases proportionally 1 / r, where r is the distance between a listener and the position of the virtual source. Another source form is a source that emits plane waves. Here, the level remains constant regardless of the distance to the listener, since plane waves can be generated by point sources, which are arranged at an infinite distance. Following the above excursus on existing wave field synthesizers, we now turn to the prior art systems for reverberation time extension:
In US005109419A beschreibt Griesinger ein elektroakustisches System zur Nachhallzeitverlängerung in dem verschiedene Schallquellen über Mikrofon oder Direkteingang erfasst und über eine Reverbmatrix künstlich verhallt werden. Die Ausgangssignale dieses Systems werden an verteilte Lautsprecher gegeben und erzeugen so einen künstlichen Nachhall im Raum. Ebenso beschreibt Poletti in„Reverberators for use in wide band assisted reverberation Systems" US000000039189E ein elektroakustisches System zur Nachhallzeitverlängerung basierend auf der Erfassung von Raumsignalen und Verarbeitung dieser in einer Delaymatrix welche wiederum eine Anzahl an Lautsprecher ansteuert. In US005142586A wird von Berkhout ein Ansatz beschrieben in dem ein in einem Raum aufgenommenes Signal gefaltet und über ein rekonstruiertes Wellenfeld wiedergegeben wird. In US005109419A Griesinger describes an electroacoustic system for reverberation time extension in which various sound sources are detected via microphone or direct input and artificially reverberated via a Reverbmatrix. The output signals of this system are given to distributed speakers and thus create an artificial reverberation in the room. Similarly, Poletti describes in "Reverberators for use in wide band assisted reverberation systems" US000000039189E an electroacoustic system for reverberation time extension based on the detection of spatial signals and processing them in a delay matrix which in turn drives a number of loudspeakers. "US005142586A describes an approach by Berkhout a signal recorded in a room is folded and reproduced via a reconstructed wave field.
In der Patentliteratur gibt es weitere verschiedene Systeme zur Nachhallzeitverlängerung wie bspw. US 3614320 A und WO 2006092995 AI . Keines der Systeme ermöglicht jedoch eine flexible, dynamische Anpassung an unterschiedliche und wechselnde akustische Bedingungen und Wünsche der Nutzer zur Nachhallzeitverlängerung. Die Aufgabe der vorliegenden Erfindung ist daher die Bereitstellung verbesserter Konzepte für Vorrichtungen, Verfahren und elektroakustische Systeme zur Nachhallzeitverlängerung. Die Aufgabe der vorliegenden Erfindung wird durch eine Vorrichtung nach Anspruch 1 , ein Verfahren nach Anspruch 12, ein Computerprogramm nach Anspruch 13, ein elektroakustisches System nach Anspruch 14 und ein Verfahren nach Anspruch 15 gelöst. In the patent literature, there are other various systems for reverberation time extension such as, for example, US 3614320 A and WO 2006092995 AI. However, none of the systems enables flexible, dynamic adaptation to different and changing acoustic conditions and users' wishes for reverberation time extension. The object of the present invention is therefore to provide improved concepts for devices, methods and electroacoustic systems for reverberation time extension. The object of the present invention is achieved by a device according to claim 1, a method according to claim 12, a computer program according to claim 13, an electroacoustic system according to claim 14 and a method according to claim 15.
Die Erfindung stellt eine Vorrichtung zur Nachhallzeitverlängerung bereit. Die Vorrichtung umfasst ein Modul zur Berechnung von Wellenfeldsyntheseinformation und einen Signalprozessor zur Erzeugung einer Mehrzahl von Audioausgangssignalen für eine Mehrzahl von Lautsprechern basierend auf einer Mehrzahl von Audioeingangssignalen, und basierend auf der Wellenfeldsyntheseinformation, wobei die Audiosignale von einer Mehrzahl von Mikrofonen aufgenommen wurden. Ferner umfasst die Vorrichtung eine Bedieneinheit zur Festlegung einer virtuellen Position ein oder mehrerer virtueller Wände. Das Modul zur Berechnung von Wellenfeldsyntheseinformation ist dafür ausgelegt, die Wellenfeldsyntheseinformation basierend auf der virtuellen Position der ein oder mehreren virtuellen Wände zu berechnen. Des Weiteren ist für wenigstens eine der virtuellen Wände die virtuelle Position durch die Bedieneinheit einstellbar. The invention provides a device for reverberation time extension. The apparatus comprises a wave field synthesis information calculation module and a signal processor for generating a plurality of audio output signals for a plurality of loud speakers based on a plurality of audio input signals, and based on the wave field synthesis information, the audio signals being received from a plurality of microphones. Furthermore, the device comprises an operating unit for determining a virtual position of one or more virtual walls. The wave field synthesis information calculation module is configured to calculate the wave field synthesis information based on the virtual position of the one or more virtual walls. Furthermore, the virtual position can be set by the operating unit for at least one of the virtual walls.
Indem man die virtuellen Wände nach außen verschiebt, erzielt man somit eine akustische Raumvergrößerung. Die akustische Raumvergrößerung wird zudem durch einen regenerativen Effekt erzielt, der darin besteht, dass die über Lautsprecher ausgegebenen generierten Audioausgangssignale wieder von den Mikrofonen aufgenommen werden und somit in die Generierung der Audioausgangssignale zu einem späteren Zeitpunkt eingehen. Es wird somit eine Vorrichtung und ein Verfahren zur Erzeugung einer akustischen Raumvergrößerung bereitgestellt, wobei verteilte Mikrofone relevante Schallquellen und das akustische Umfeld erfassen und dies bezogen auf feste oder dynamische virtuelle Quellpositionen über ein Wellenfeldsynthesesystem wiedergeben. Die Erfindung basiert auf dem Konzept, dass die virtuellen Quellen in einem Algorithmus erzeugt werden, welcher auf Wellenfeldsynthese beruht. Dabei beschreibt die Erfindung ein Verfahren bei dem mittels verteilter Mikrofone im zu beschallenden Raum die Akustik des Raumes mit den zu verstärkenden Quellen erfasst wird und über AD Wandler einem Prozessing System zugeführt wird. Das Prozessing System kann dabei aus einer Software bestehen, in der das Signal zuerst über Filter verarbeitet wird, und danach in einem Wellenfeldsynthese Algorithmus zu einer objektbasierten Schallquelle verarbeitet wird, welche wiederum über Filter verarbeitet wird, um dann über ein Wellenfeldsynthesesystem ausgespielt zu werden. Durch die Möglichkeiten der Wellenfeldsynthese können die erfassten Raumsignale nun beliebig positioniert werden und können als„virtuelle Wände" beliebig verschoben werden. Dadurch können individuelle Raumgeometrien erzeugt werden. Die aufgenommenen Raumsignale werden typischerweise als ebene Wellen dargestellt und entsprechen damit der akustischen Wirkung einer Wand. Diese virtuelle Wand kann nicht nur verschoben, sondern auch in Ihrem Winkel geändert werden und beeinflusst damit direkt die Reflexionsmuster der Schallquellen. By shifting the virtual walls to the outside, one thus achieves an acoustic spatial enlargement. The acoustic amplification is also achieved by a regenerative effect, which consists in that the output via speakers generated audio output signals are picked up again by the microphones and thus enter into the generation of the audio output signals at a later date. Thus, an apparatus and method for generating an acoustic spatial magnification is provided, wherein distributed microphones detect relevant sound sources and the acoustic environment and reproduce this with respect to fixed or dynamic virtual source positions via a wave field synthesis system. The invention is based on the concept that the virtual sources are generated in an algorithm based on wave field synthesis. In this case, the invention describes a method in which by means of distributed microphones in the room to be sounded, the acoustics of the room is detected with the sources to be amplified and a AD converter Processing system is supplied. The processing system may consist of software in which the signal is first processed via filters, and then processed in a wave field synthesis algorithm to an object-based sound source, which in turn is processed via filters, to then be played over a wave field synthesis system. Due to the possibilities of wave field synthesis, the detected room signals can now be positioned as desired and can be moved as "virtual walls", thus creating individual room geometries The recorded room signals are typically represented as plane waves and thus correspond to the acoustic effect of a wall Virtual wall can not only be moved, but also be changed in your angle and thus directly influences the reflection patterns of the sound sources.
In einer Ausführungsform ist das Modul zur Berechnung von Wellenfeldsyntheseinformation dafür ausgelegt, Delay- Werte und Amplitudenfaktor- Werte als Wellenfeldsyntheseinformation zu berechnen. Der Delay-Wert gibt dabei die Verzögerung an, um die eines der Audioeingangssignale verzögert an einem der Lautsprecher wiedergegeben wird. Der Amplitudenfaktor- Wert gibt an, um welchem Faktor die Amplitude eines der Audioeingangssignale modifiziert wird, um ein modifiziertes Signal zu erhalten, das an einem der Lautsprecher ausgegeben wird. In one embodiment, the wave field synthesis information calculation module is configured to calculate delay values and amplitude factor values as wave field synthesis information. The delay value indicates the delay by which one of the audio input signals is delayed at one of the speakers. The amplitude factor value indicates by what factor the amplitude of one of the audio input signals is modified to obtain a modified signal output on one of the speakers.
Ferner kann das Modul zur Berechnung von Wellenfeldsyntheseinformation dafür ausgelegt sein, zu jedem Lautsprecher-virtuelle Wand-Paar für einen Zeitpunkt einen Delay-Wert und einen Amplitudenfaktor-Wert zu berechnen, wobei ein Lautsprechervirtuelle Wand-Paar, ein Paar aus einem der Lautsprecher und einer der virtuellen Wände ist. Further, the wave field synthesis information calculation module may be configured to calculate a delay value and an amplitude factor value for each speaker-virtual wall pair at a time, wherein a speaker-virtual wall pair, a pair of one of the speakers, and a speaker the virtual walls is.
In einer weiteren Ausführungsform ist das Modul zur Berechnung von Wellenfeldsyntheseinformation dafür ausgelegt, den Delay-Wert und den Amplitudenfaktor-Wert für ein Lautsprecher-virtuelle Wand-Paar basierend auf dem Abstand von dem Lautsprecher und der virtuellen Wand des Lautsprecher- virtuelle Wand- Paares zu berechnen. In another embodiment, the wave field synthesis information calculation module is configured to provide the delay value and the amplitude factor value for a speaker-virtual wall pair based on the distance from the speaker and the virtual wall of the speaker-virtual wall pair to calculate.
Des Weiteren kann das Modul zur Berechnung von Wellenfeldsyntheseinformation dafür ausgelegt sein, den Delay-Wert eines Lautsprecher-virtuelle Wand-Paares umso größer festzusetzen, je größer der Abstand zwischen dem Lautsprecher und der virtuellen Wand ist. Ferner kann das Modul zur Berechnung von Wellenfeldsyntheseinformation dafür ausgelegt sein, den Amplitudenfaktor-Wert eines Lautsprecher-virtuelle Wand-Paares umso kleiner festzusetzen, je größer der Abstand zwischen dem Lautsprecher und der virtuellen Wand ist. Further, the wave field synthesis information calculation module may be configured to set the delay value of a speaker virtual wall pair the larger the distance between the speaker and the virtual wall. Further, the wave field synthesis information calculation module may be configured to set the amplitude factor value of a speaker-virtual wall pair the smaller the distance between the speaker and the virtual wall.
In einer weiteren Ausffihrungsform ist die Bedieneinheit dafür ausgelegt, dass wenigstens eine der virtuellen Wände aus einer ersten virtuellen Position in eine zweite virtuelle Position verschiebbar ist, so dass die virtuelle Wand beliebig parallel gegenüber ihrer ersten Position verschiebbar ist. Ferner kann die Bedieneinheit dafür ausgelegt sein, dass wenigstens eine der virtuellen Wände aus einer ersten virtuellen Position in eine zweite virtuelle Position verschiebbar ist, so dass die virtuelle Wand beliebig drehbar gegenüber ihrer ersten Position verschiebbar ist. In a further embodiment, the operating unit is designed such that at least one of the virtual walls is displaceable from a first virtual position to a second virtual position, so that the virtual wall can be displaced in any desired parallel position relative to its first position. Furthermore, the operating unit can be designed such that at least one of the virtual walls is displaceable from a first virtual position to a second virtual position, so that the virtual wall can be displaced in any rotationally opposite its first position.
In einer weiteren Ausfuhrungsform ist die Bedieneinheit dafür ausgelegt, dass für alle der virtuellen Wände die virtuelle Position durch die Bedieneinheit einstellbar ist Die Bedieneinheit kann dabei dafür ausgelegt sein, dass jede der virtuellen Wände aus einer ersten virtuellen Position in eine zweite virtuelle Position verschiebbar ist, so dass jede virtuelle Wand beliebig parallel und drehbar gegenüber ihrer ersten Position verschiebbar ist. In a further embodiment, the operating unit is designed so that the virtual position can be set by the operating unit for all of the virtual walls. The operating unit can be designed so that each of the virtual walls can be displaced from a first virtual position to a second virtual position. so that each virtual wall is arbitrarily parallel and rotatable relative to its first position.
In einer weiteren Ausffihrungsform, kann die Vorrichtung zur Nachhhallzeitverlängerung ein parametrisches Filter zur Filterung von Resonanzfrequenzen umfassen. In a further embodiment, the reverberation time extension apparatus may comprise a parametric filter for filtering resonant frequencies.
Ferner wird ein elektroakustisches System zur Nachhallzeitverlängerung bereitgestellt, dass eine Mehrzahl von Mikrofonen, eine Vorrichtung zur Nachhallzeitverlängerung nach einer der oben beschriebenen Ausffihrungsformen und ein Lautsprecherarray aus einer Mehrzahl von Lautsprechern umfasst. Die Mehrzahl von Mikrofonen ist dabei dafür ausgelegt, eine Mehrzahl von Audioeingangssignalen zu erzeugen, die in die Vorrichtung zur Nachhallzeitverlängerung eingespeist werden, und wobei die Mehrzahl von Lautsprechern des Lautsprecherarrays dafür ausgelegt sind, die Audioausgangssignale von der Vorrichtung zur Nachhallzeitverlängerung eingespeist zu bekommen und die eingespeisten Audioausgangssignale wiederzugeben. Further, there is provided an electroacoustic reverberation time extension system comprising a plurality of microphones, a reverberation time extension apparatus according to any one of the above-described embodiments, and a loudspeaker array of a plurality of loud speakers. The plurality of microphones are configured to generate a plurality of audio input signals fed to the reverberation time extension apparatus, and wherein the plurality of loudspeakers of the loudspeaker array are adapted to receive and feed the audio output signals from the reverberation time extension apparatus Play audio output signals.
Bevorzugte Ausführungsbeispiele der Erfindung werden nachfolgend Bezug nehmend auf die beiliegenden Zeichnungen erläutert. Preferred embodiments of the invention will be explained below with reference to the accompanying drawings.
Fig. 1 stellt ein Blockschaltbild einer Vorrichtung zur Nachhallzeitverlängerung gemäß einem Ausführungsbeispiel dar, stellt ein Blockschaltbild dar, das das Zusammenwirken eines Moduls zur Berechnung von Wellenfeldsyntheseinformation und eines Signalprozessors zeigt, stellt ein elektroakustisches WFS System zur Nachhallzeitverlängerung gemäß einem Ausführungsbeispiel dar, illustriert ein weiteres Ausführungsbeispiel eines elektroakustischen WFS Systems, stellt einen mittleren Konferenzraum (5mxl 8xl 5m) dar, der mit 5 Deckenmikrofonen, 40 Deckenlautsprechern und einem umlaufenden horizontalen Band aus konventionellen Lautsprechern in einer reduzierten WFS Anordnung gemäß einer Ausführungsform ausgestattet ist, zeigt eine Anordnung von Lautsprechern, virtuellen Wänden und Mikrofonen gemäß einem Ausführungsbeispiel, und zeigt eine Anordnung von Lautsprechern und einer virtuellen Wand gemäß einem weiteren Ausführungsbeispiel. 1 shows a block diagram of a device for reverberation time extension according to an embodiment, FIG. 10 is a block diagram showing the interaction of a wave field synthesis information calculation module and a signal processor; FIG. 3 illustrates an electroacoustic WFS system for reverberation time extension, illustrating another embodiment of an electroacoustic WFS system, illustrating a middle conference room (5mxl 8xl 5m) Featuring 5 ceiling microphones, 40 ceiling loudspeakers, and a recirculating horizontal band of conventional loudspeakers in a reduced WFS arrangement according to one embodiment, the invention features an array of loudspeakers, virtual walls, and microphones according to one embodiment, and shows an array of loudspeakers and a virtual loudspeaker Wall according to another embodiment.
Fig. 1 zeigt eine Vorrichtung zur Nachhallzeitverlängerung gemäß einer Ausführungsform. Die Vorrichtung umfasst ein Modul zur Berechnung von Wellenfeldsyntheseinformation 1 10. Des Weiteren umfasst die Vorrichtung einen Signalprozessor 120 zur Erzeugung einer Mehrzahl von Audioausgangssignalen yl s y2, yn für eine Mehrzahl von Lautsprechern (nicht gezeigt) basierend auf einer Mehrzahl von Audioeingangssignalen si, s2, sn, die von einer Mehrzahl von Mikrofonen (nicht gezeigt) aufgenommen wurden, und basierend auf der Wellenfeldsyntheseinformation. Ferner umfasst die Vorrichtung eine Bedieneinheit 130 zur Festlegung einer virtuellen Position ein oder mehrerer virtueller Wände. Das Modul zur Berechnung von Wellenfeldsyntheseinformation 1 10 ist dabei dafür ausgelegt, die Wellenfeldsyntheseinformation WSmf basierend auf der virtuellen Position der ein oder mehreren virtuellen Wände zu berechnen. Dabei ist für wenigstens eine der virtuellen Wände ihre virtuelle Position durch die Bedieneinheit einstellbar. In einer Ausführungsform können das Modul zur Berechnung von Wellenfeldsyntheseinformation 110 und der Signalprozessor 120 in einem Modul (einem Wellenfeldsynthesemodul) realisiert sein. Nachfolgend wird Bezug nehmend auf Fig. 2 eine Ausgestaltung des Zusammenwirkens des Modul zur Berechnung von Wellenfeldsyntheseinformation und des Signalprozessors dargelegt. In Fig. 2 werden das Modul zur Berechnung von Wellenfeldsyntheseinformation 210 und der Signalprozessor 220 durch gestrichelte Linien dargestellt. 1 shows a device for reverberation time extension according to an embodiment. The apparatus comprises a wave field synthesis information calculation module 1 10. The apparatus further comprises a signal processor 120 for generating a plurality of audio output signals y ls y 2 , y n for a plurality of loud speakers (not shown) based on a plurality of audio input signals si, s 2 , s n picked up by a plurality of microphones (not shown) and based on the wave field synthesis information. Furthermore, the device comprises an operating unit 130 for determining a virtual position of one or more virtual walls. The wave field synthesis information calculation module 10 is configured to calculate the wave field synthesis information WS mf based on the virtual position of the one or more virtual walls. In this case, its virtual position can be set by the operating unit for at least one of the virtual walls. In one embodiment, the wave field synthesis information calculation module 110 and the signal processor 120 may be implemented in one module (a wave field synthesis module). Referring now to Figure 2, an embodiment of the interaction of the wave field synthesis information calculation module and the signal processor is set forth. In Fig. 2, the wave field synthesis information calculation module 210 and the signal processor 220 are shown by dashed lines.
Das Modul zur Berechnung von Wellenfeldsyntheseinformation 210 und der Signalprozessor 220 haben einen stark parallelen Aufbau dahingehend, dass ausgehend von dem dem Signalprozessor zugeführten Audiosignal für jede virtuelle Wand (eine virtuelle Quelle) und ausgehend von den Positionsinformationen für die entsprechende virtuelle Wand (virtuelle Quelle), die das Modul zur Berechnung von Wellenfeldsyntheseinformation 210 von einer Bedieneinheit erhalten hat, zunächst Delay- Information (Verzögerangsinformationen) Vi sowie Amplitudenfaktoren (Skalierungsfaktoren) SF; berechnet werden, die von den Positionsinformationen und der Position des gerade betrachteten Lautsprechers, z. B. dem Lautsprecher mit der Ordnungsnummer j, also LSj, abhängen. Die Berechnung einer Verzögerangsinformation Vj sowie eines Skalierungsfaktors SF; aufgrund der Positionsinformationen einer virtuellen Quelle (virtuellen Wand) und der Lage des betrachteten Lautsprechers j geschieht durch bekannte Algorithmen, die in Einrichtungen 300, 302, 304, 306 implementiert sind. Auf der Basis der Verzögerangsinformationen Vi(t) und SFj(t) sowie auf der Basis des der einzelnen virtuellen Quelle zugeordneten Audiosignals ASj(t) wird für einen aktuellen Zeitpunkt tA ein diskreter Wert AWi(tA) für das Komponentensignal Ky in einem letztendlich erhaltenen Lautsprechersignal berechnet. Dies erfolgt durch Einrichtungen, 310, 312, 314, 316, wie sie in Fig. 2 schematisch dargestellt sind. Fig. 2 zeigt ferner gewissermaßen eine „Blitzlichtaufnahme" zum Zeitpunkt tA für die einzelnen Komponentensignale. Die einzelnen Komponentensignale werden dann durch einen Summierer 320 in Knotenpunkten zusammengefasst, um den diskreten Wert für den aktuellen Zeitpunkt tA des Lautsprechersignals für den Lautsprecher j zu ermitteln, der dann für den Ausgang dem Lautsprecher zugeführt werden kann. The wave field synthesis information calculation module 210 and the signal processor 220 have a highly parallel construction in that, starting from the audio signal supplied to the signal processor for each virtual wall (a virtual source) and from the position information for the corresponding virtual wall (virtual source), which has received the wave field synthesis information calculation module 210 from an operation unit, first, delay information (delay information) Vi and amplitude factors (scaling factors) SF; calculated from the position information and the position of the currently considered loudspeaker, e.g. B. the speaker with the ordinal number j, so LS j depend. The calculation of a delay information Vj and a scaling factor SF; due to the position information of a virtual source (virtual wall) and the location of the considered loudspeaker j is done by known algorithms implemented in devices 300, 302, 304, 306. On the basis of the delay information Vi (t) and SFj (t) and on the basis of the individual virtual source associated audio signal ASj (t) is for a current time t A, a discrete value AWi (t A ) for the component signal K y in an ultimately obtained loudspeaker signal. This is done by means 310, 312, 314, 316, as shown schematically in FIG. Fig. 2 also shows, as it were, a "flash shot" at time t A for the individual component signals The individual component signals are then summed by a summer 320 at nodes to determine the discrete value for the current time t A of the loudspeaker signal loudspeaker j which can then be fed to the speaker for output.
Wie es aus Fig. 2 ersichtlich ist, wird zunächst für jede virtuelle Quelle einzeln ein aufgrund einer Delay-Information (Verzögerang) und einer Skalierung mit einem Amplitudenfaktor (Skalierungsfaktor) zu einem aktuellen Zeitpunkt gültiger Wert berechnet, wonach sämtliche Komponentensignale für einen Lautsprecher aufgrund der verschiedenen virtuellen Wände (virtuellen Quellen) summiert werden. Wäre beispielsweise nur eine virtuelle Quelle vorhanden, so würde der Summierer entfallen, und das am Ausgang des Summierers in Fig. 2 anliegende Signal würde z. B. dem Signal entsprechen, das von der Einrichtung 310 ausgegeben wird, wenn die virtuelle Quelle 1 die einzige virtuelle Quelle ist. As can be seen in FIG. 2, first, for each virtual source, a value valid on the basis of a delay information (delay delay) and a scaling with an amplitude factor (scaling factor) at a current instant is calculated, after which all the component signals for a loudspeaker due to the various virtual walls (virtual sources) are summed up. For example, if only one virtual source were present, the summer would be omitted and the signal applied to the output of the summer in FIG. B. the signal output from the device 310 when the virtual source 1 is the only virtual source.
An dieser Stelle sei darauf hingewiesen, dass an dem jeweiligen Ausgang der Wert eines Lautsprechersignals erhalten wird, das eine Überlagerung der Komponentensignale für diesen Lautsprecher aufgrund der verschiedenen virtuellen Quellen 1 , 2, 3, n ist. Eine solche Anordnung wäre prinzipiell für jeden Lautsprecher vorgesehen, es sei denn, dass, was aus praktischen Gründen bevorzugt wird, immer z. B. 2, 4 oder 8 zusammenliegende Lautsprecher mit demselben Lautsprechersignal angesteuert werden. It should be noted at this point that the value of a loudspeaker signal which is a superimposition of the component signals for this loudspeaker due to the various virtual sources 1, 2, 3, n is obtained at the respective output. Such an arrangement would be provided in principle for each speaker, unless that is preferred for practical reasons, always z. B. 2, 4 or 8 speakers are driven together with the same speaker signal.
Fig. 3 stellt ein elektroakustisches WFS System zur Nachhallzeitverlängerung gemäß einem Ausführungsbeispiel dar. FIG. 3 illustrates an electroacoustic WFS system for reverberation time extension according to an exemplary embodiment.
Gemäß dem Ausführungsbeispiel von Fig. 3 sind in einem Raum gleichmäßig vier Mikrofone 350 Im abgependelt von der Decke installiert. Die Mikrofonsignale werden in einem WFS Algorithmus 360 zu einer virtuellen Quelle verarbeitet, welche als ebene Welle über ein WFS Beschallungssystem 370 im selben Raum wiedergegeben wird. Das WFS System beinhaltet eine Bedienoberfläche zum Bewegen der 4 Mikrofonquellen. Mit dieser Bedieneinheit werden die 4 Mikrofonsignale erfasst und nach außen gezogen. Das Ergebnis ist eine akustische Vergrößerung des Raumes. According to the embodiment of FIG. 3, four microphones 350 Im are installed uniformly suspended in a room from the ceiling. The microphone signals are processed in a WFS algorithm 360 to a virtual source, which is reproduced as a plane wave via a WFS sound system 370 in the same room. The WFS system includes a user interface for moving the 4 microphone sources. With this control unit, the 4 microphone signals are detected and pulled outwards. The result is an acoustic enlargement of the room.
Somit können nun beliebig große Räume erzeugt werden. Durch die Positionierung der virtuellen Wände ändert sich die Nachhallzeit des Raumes bezogen auf die Position und Anordnung (Winkel) der Wände. Thus, arbitrarily large rooms can now be created. The positioning of the virtual walls changes the reverberation time of the room in relation to the position and arrangement (angle) of the walls.
In einem Ausführungsbeispiel umfasst das Wellenfeldsynthesemodul 360 ein Modul zur Berechnung von Wellenfeldsyntheseinformation gemäß der Ausführungsform von Fig. 1 und einen Signalprozessor gemäß der Ausföhrungsform von Fig. 1. In einer Ausführungsform ist die Bedieneinheit 375 eine Bedieneinheit gemäß der Ausführungsform von Fig. 1. In one embodiment, the wave field synthesis module 360 comprises a wave field synthesis information calculation module according to the embodiment of FIG. 1 and a signal processor according to the embodiment of FIG. 1. In one embodiment, the operation unit 375 is an operation unit according to the embodiment of FIG.
Nach einer Ausführungsform stellt Einheit 355 in Fig. 3 ein Filter dar, das zur Filterung von Resonanzfrequenzen dient. Eine an einem der Lautsprecher 370 ausgegebene Schallwelle wird von den Mikrofonen 350 wieder aufgenommen und bei der Erzeugung der späteren Audiosignalausgabe über die Lautsprecher abermals berücksichtigt. Um dabei auftretende unerwünschte Resonanzen zu vermeiden, kann Filter 355 dabei zur Unterdrückung dieser Resonanzen eingesetzt werden. Bei Filter 365 kann es sich nach einer Ausführungsform um einen herkömmlichen Filter handeln, der zum Beispiel zur Anpassung der Lautsprecher dient. Fig. 4 illustriert ein weiteres Ausführungsbeispiel eines elektroakustischen WFS Systems. Die Signale der Deckenmikrofone werden in einer zentralen Prozessing Einheit verarbeitet und nach Filterung in einer Matrix zu virtuellen Quellen verarbeitet, welche nach Pegelanpassung, Regelung des Raumanteiles und Lautsprecher Filterung als virtuelle Schallquellen über ein WFS Array und gleichmäßig verteilte Deckenlautsprecher wieder ausgespielt wird. In one embodiment, unit 355 in FIG. 3 represents a filter that serves to filter resonant frequencies. A sound wave output at one of the speakers 370 is resumed by the microphones 350 and re-considered in the generation of the later audio signal output via the speakers. In order to avoid unwanted resonances occurring during this process, filter 355 can be used to suppress these resonances. In one embodiment, filter 365 may be a conventional filter used, for example, to adapt the speakers. 4 illustrates another embodiment of an electroacoustic WFS system. The signals of the ceiling microphones are processed in a central processing unit and processed after filtering in a matrix to virtual sources, which is played back after level adjustment, control of the spatial proportion and speaker filtering as virtual sound sources via a WFS array and evenly distributed ceiling speakers.
In Fig. 4 speisen Mikrofone 41 1 , 412 Audioeingangssignale in Mikrofon- Vorverstärker 416, 417 ein. Bei dem Mikrofon 41 1 handelt es sich um ein Mikrofon, das sich nah an einer Schallquelle, z.B. einem Rednerpult befindet. Bei dem Mikrofon 412 handelt es sich um ein Raummikrofon, das sich im Raum, aber entfernter von der Schallquelle als das Mikrofon 41 1 befindet. Üblicherweise werden mehrere Raummikrofone und/oder mehrere Mikrofone nah an der Schallquelle eingesetzt. In Fig. 4, microphones 41 1, 412 input audio input signals to microphone preamplifiers 416, 417. The microphone 41 1 is a microphone which is close to a sound source, e.g. located at a lectern. The microphone 412 is a room microphone located in the room but farther from the sound source than the microphone 41 1. Typically, multiple room microphones and / or multiple microphones are used close to the sound source.
Mikrofon- Vorverstärker 416, 417 verstärken die von den Mikrofonen 411, 412 empfangenen Audioeingangssignale, um vorverstärkte Audioeingangssignale zu erhalten. Bei den Mikrofon- Vorverstärkern 416, 417 kann es sich um übliche Mikrofon- Vorverstärker handeln. Die vorverstärkten Audioeingangssignale werden in einen Analog- Digital-Wandler 420 eingespeist, der die Audioeingangssignale, die sich zunächst in analoger Form befinden, in digitale Audiosignale umwandelt. Bei dem Analog-Digital- Wandler 420 kann es sich um einen üblichen Analog-Digital-Wandler handeln. Microphone preamplifiers 416, 417 amplify the audio input signals received from the microphones 411, 412 to obtain pre-amplified audio input signals. The microphone preamplifiers 416, 417 may be conventional microphone preamplifiers. The preamplified audio input signals are fed to an analog-to-digital converter 420, which converts the audio input signals, which are initially in analog form, into digital audio signals. The analog-to-digital converter 420 may be a conventional analog-to-digital converter.
Der Analog-Digital-Wandler 420 speist die digitalen Audiosignale in Absorptionsfilter 425 ein. Absorptionsfilter 425 führt eine Filterung durch, die der Anpassung an das Wandmaterial dient. In einer Ausführungsform, filtert Absorptionsfilter 425 derart, dass, wenn stark reflektierende Wände nachgebildet werden sollen, die digitalen Audiosignale Absorptionsfilter 425 nahezu ungefiltert passieren. Sollen hingegen stark dämpfende Wände nachgebildet werden, so filtert Absorptionsfilter 425 in einer Ausführungsform die digitalen Audiosignale in starkem Maße. Filter 430 ist ein Filter zur Feedback-Kompensation und Klangeinstellung. Wird durch einen Lautsprecher ein Signal wiedergegeben, so werden die Schallwellen dieses Signals wiederum vom Mikrofon erfasst und es kommt hierdurch zu einem Feedback. In einer Ausführungsform kann Filter 430 dafür eingesetzt werden, dieses Feedback ganz oder teilweise zu kompensieren. Außerdem kann Filter 430 zur Klangeinstellung verwendet werden. In einer Ausführungsform kann die Feedbackkompensation und/oder die Klangeinstellung in herkömmlicher Weise durchgeführt werden. Des Weiteren umfasst das System in Fig. 4 eine zentrale Bedieneinheit 435 und ein Modul zur Berechnung von Wellenfeldsyntheseinformation 440. Dabei kann die zentrale Bedieneinheit 435 der Bedieneinheit in Fig. 1 entsprechen. Die zentrale Bedieneinheit in Fig. 4 kann mit einer GUI („Graphical User Interface" = grafische Benutzeroberfläche) ausgestattet sein. Das Modul zur Berechnung von Wellenfeldsyntheseinformation 440 kann dem Modul zur Berechnung von Wellenfeldsyntheseinformation aus Fig. 1 entsprechen. The analog-to-digital converter 420 feeds the digital audio signals into the absorption filter 425. Absorption filter 425 performs filtering to match the wall material. In one embodiment, absorption filter 425 filters such that when highly reflective walls are to be replicated, the digital audio signals pass absorption filter 425 almost unfiltered. On the other hand, if strongly attenuating walls are to be simulated, absorption filter 425 in one embodiment filters the digital audio signals to a great extent. Filter 430 is a filter for feedback compensation and sound adjustment. If a signal is reproduced by a loudspeaker, the sound waves of this signal are in turn detected by the microphone and this leads to a feedback. In one embodiment, filter 430 may be used to provide this feedback entirely or partially compensate. In addition, Filter 430 can be used for sound adjustment. In one embodiment, the feedback compensation and / or the sound adjustment may be performed in a conventional manner. Furthermore, the system in FIG. 4 comprises a central operating unit 435 and a module for calculating wave field synthesis information 440. The central operating unit 435 may correspond to the operating unit in FIG. 1. 4 may be provided with a GUI ("Graphical User Interface") The wave field synthesis information calculation module 440 may correspond to the wave field synthesis information calculation module of FIG.
Das Modul zur Berechnung von Wellenfeldsyntheseinformation 440 übergibt Modul 445 die berechneten Wellenfeldsynthese-Parameter. Bei diesen Wellenfeldsynthese-Parametern kann es sich z.B. um Delay-Werte und Amplitudenwerte, wie zum Beispiel Amplitudenfaktor- Werte handeln. The wave field synthesis information calculation module 440 passes the calculated wave field synthesis parameters to module 445. These wave field synthesis parameters may be e.g. to handle delay values and amplitude values, such as amplitude factor values.
Modul 445 baut aus den von Modul 440 übergebenen Werten eine Delay-Amplituden- Matrix auf. In einer Ausführungsform kann die Delay-Amplituden-Matrix beispielsweise für jedes Lautsprecher-virtuelle Wand-Paar einen Delay-Wert und einen Amplitudenfaktor- Wert für einen bestimmten Zeitpunkt enthalten. Module 445 builds a delay amplitude matrix from the values passed by module 440. For example, in one embodiment, the delay amplitude matrix may include a delay value and an amplitude factor value for a particular point in time for each speaker-virtual wall pair.
Modul 445 führt basierend auf den von dem Modul zur Berechnung von Wellenfeldsyntheseinformation 440 erhaltenen Welllenfeldsynfhese-Parametern eine Audioskalierung durch. Wurden zum Beispiel für ein Lautsprecher-virtuelle Wand-Paar ein Delay-Wert und ein Amplitudenfaktor- Wert erhalten, so wird beispielsweise das Signal, das von der virtuellen Wand ausgeht (z.B. scheinbar von der virtuellen Wand reflektiert wird) um den erhaltenen Delay-Wert verzögert, und der von Modul 440 erhaltene Amplitudenfaktor- Wert wird auf die Amplitude des auszugebenden Signals durch den Amplitudenfaktor-Wert modifiziert, zum Beispiel durch Multiplikation des Amplitudenfaktor-Werts mit der Amplitude des auszugebenden Signals. Module 445 performs audio scaling based on the wavelet field sync parameters obtained from the wave field synthesis information calculation module 440. For example, if a delay value and an amplitude factor value were obtained for a loudspeaker-virtual wall pair, the signal originating from the virtual wall (eg, apparently reflected from the virtual wall) will be the received delay value is delayed, and the amplitude factor value obtained by module 440 is modified to the amplitude of the signal to be output by the amplitude factor value, for example by multiplying the amplitude factor value by the amplitude of the signal to be output.
Nachfolgend filtert Filter 450 die von Modul 445 modifizierten Audiosignale, um eine Lautsprecheranpassung zu erzielen. In einem Master-Gain-Modul 455 werden die Audiosignale modifiziert, um die Gesamtlautstärke einzustellen. Dies kann auf übliche Weise geschehen. In einem Gain-Raumanteil-Modul 460 erfolgt eine Einstellung des Verhältnisses Raumanteil zu Original-Signal. In einer Ausfuhrungsform kann zum Beispiel das Verhältnis von Audiosignalen, die aus Audiosignalen von Raummikrofonen erzeugt wurden, zu Audiosignalen die aus Audiosignalen von Mikrofonen nahe am Rednerpult erzeugt wurden, eingestellt werden, indem beispielsweise die Amplituden der jeweiligen Signale angepasst werden. Subsequently, filter 450 filters the module 445 modified audio signals to achieve speaker matching. In a master gain module 455, the audio signals are modified to adjust the overall volume. This can be done in the usual way. In a gain-space-share module 460, the ratio of volume proportion to original signal is adjusted. In one embodiment, for example, the ratio of audio signals generated from audio signals of room microphones were adjusted to audio signals that were generated from audio signals of microphones near the lectern, for example by adjusting the amplitudes of the respective signals.
5 Die modifizierten digitalen Audiosignale werden dann in einen Digital-Analog-Wandler 465 eingespeist, der die modifizierten digitalen Audiosignale in analoge Audioausgangssignale umwandelt. Die analogen Audioausgangssignale werden dann von Lei stungs Verstärkern 471 , 472 verstärkt und von Lautsprechern 481, 482 ausgegeben. In der Ausführungsform von Fig. 4 werden die Audiosignale entweder von WFS- 10 Lautsprechern 481 oder von Deckenlautsprechern 482 ausgegeben. Es versteht sich, dass in einem realen System eine Vielzahl von WFS-Lautsprechern und/oder Deckenlautsprechern eingesetzt werden kann. The modified digital audio signals are then fed to a digital-to-analog converter 465 which converts the modified digital audio signals to analog audio output signals. The analog audio output signals are then amplified by power amplifiers 471, 472 and output from loudspeakers 481, 482. In the embodiment of FIG. 4, the audio signals are output from either WFS-10 loudspeakers 481 or ceiling loudspeakers 482. It is understood that in a real system a variety of WFS speakers and / or ceiling speakers can be used.
Fig. 5 zeigt einen mittleren Konferenzraum (5mxl 8xl5m), der mit 5 DeckenmikrofonenFig. 5 shows a medium conference room (5mxl 8xl5m), with 5 ceiling microphones
15 51 1, 512, 513, 514, 515, 40 Deckenlautsprechern und einem umlaufenden horizontalen Band aus konventionellen Lautsprechern in einer reduzierten WFS Anordnung 530 ausgestattet ist. Die Signale der Deckenmikrofone 511 , 512, 513, 514, 515 werden in einer zentralen Prozessing Einheit verarbeitet und nach Filterung in einer Matrix zu virtuellen Quellen verarbeitet, welche nach Pegelanpassung, Regelung des Raumanteiles und 0 Lautsprecher Filterung als virtuelle Schallquellen 521 , 522, 523, 524, 525 über ein WFS Array und gleichmäßig verteilte Deckenlautsprecher wieder ausgespielt wird. Die Struktur zeigt Figur 4. Dabei werden die Mikrofonsignale durch die jeweils gegenüberliegenden virtuellen Quellen dargestellt, um Feedbacks zu vermeiden. Durch die Verwendung einer flexiblen Matrix und der Möglichkeit beliebige Eingänge (Mikrofoneingänge/Line In) als 5 virtuelle Schallquellen 521 , 522, 523, 524, 525 darzustellen, werden auch direkt mikrofonierte Signale in die Raumsimulation übernommen und infolge Ihrer Positionierung ebenfalls zur Darstellung in einem künstlich nachhallverlängerten Raum verwendet. Diese Signale müssen jedoch als wenig regenerativ angesehen werden, da sie kaum Raumanteile enthalten. Es können weitere Mikrofone hinzugefügt werden, um so 0 eine komplexe Verteilung von Reflexionen zu erfassen und wiederzugeben. Ebenso ist die Darstellung von virtuellen Schallquellen 521, 522, 523, 524, 525 an der Decke möglich, was als wesentliche Qualitätsanforderung bei der Darstellung eines realen Raumes anzusehen ist. Im Eingangszweig der Matrix befindet sich neben einer Filtereinheit mit schmalbandigen Filtern zur Feedbackunterdrückung weiterhin eine Filtereinheit welche 5 unterschiedliche Raummaterial en berücksichtigt, um so verschiedene Absorptions- und Reflexionsparameter in den zu verhallenden Raum einfließen zu lassen. Die erfassten Mikrofonsignale werden, wie beschrieben, in freipositionierbaren Quellen wieder abgebildet und mit den vorhandenen Raumeigenschaften beaufschlagt wieder vom Mikrofon erfasst, was zu einer Regeneration der Raumakustik führt. 15 51 1, 512, 513, 514, 515, 40 ceiling loudspeakers and a circulating horizontal band of conventional loudspeakers in a reduced WFS arrangement 530. The signals of the ceiling microphones 511, 512, 513, 514, 515 are processed in a central processing unit and processed after filtering in a matrix to virtual sources, which after level adjustment, control of the space proportion and 0 speaker filtering as virtual sound sources 521, 522, 523 , 524, 525 is replayed via a WFS array and evenly distributed ceiling speakers. The structure is shown in FIG. 4. The microphone signals are represented by the respectively opposite virtual sources in order to avoid feedback. Through the use of a flexible matrix and the ability to represent any inputs (microphone inputs / line in) as 5 virtual sound sources 521, 522, 523, 524, 525, also directly microphones are taken into the room simulation and as a result of their positioning also for display in one artificially reverberated room used. However, these signals must be considered as little regenerative, since they contain little space. Additional microphones can be added to capture and reproduce a complex distribution of reflections. Likewise, the representation of virtual sound sources 521, 522, 523, 524, 525 on the ceiling is possible, which is to be regarded as an essential quality requirement in the representation of a real room. In addition to a filter unit with narrow-band filters for feedback suppression, the input branch of the matrix also contains a filter unit which takes account of 5 different spatial materials in order to incorporate various absorption and reflection parameters into the space to be reverberated. The detected microphone signals are reproduced in freely positionable sources as described imaged and acted upon by the existing room characteristics again captured by the microphone, which leads to a regeneration of the room acoustics.
Fig. 6 illustriert ein grundsätzliches Konzept bestimmter Ausführungsbeispiele. Dargestellt ist ein Lautsprecher-Array, das, wie in Fig. 6 gezeigt, 12 Lautsprecher 611 , 612, 613 umfasst. In realen Ausfürungsformen wird die Anzahl der Lautsprecher oftmals deutlich größer sein und z.B. 60, 100, 200, 300 oder mehr Lautsprecher umfassen. Dargestellt sind außerdem vier virtuelle Wände 621 , 622, 623, 624. Im Folgenden wird der Lautsprecher 61 1 und die virtuelle Wand 621 näher betrachtet. Diese bilden ein Lautsprecher- virtuelle Wand-Paar (61 1 , 621). Auch jede beliebige andere Kombination aus einem der Lautsprecher und einer der virtuellen Wände bildet ein Lautsprecher-virtuelle Wand-Paar. Der Abstand zwischen dem Lautsprecher und der virtuellen Wand wird durch einen Pfeil d gekennzeichnet. In Fig. 6 ist außerdem eine Mehrzahl von Mikrofonen 631, 632, 633 vorgesehen. Der Einfachheit halber wird angenommen, dass ein Mikrophon 631 durch Aufnahme von Schallwellen ein Audiosignal erzeugt, das über den Lautsprecher 61 1 wiedergegeben werden soll. Dabei soll das von Lautsprecher 61 1 wiedergegebene Signal einer Reflexion der von dem Mikrofon 631 aufgenommenen Schallwellen an der virtuellen Wand 621 entsprechen. Dies bedeutet, dass das vom Mikrophon aufgenommene Signal erst mit einer zeitlichen Verzögerung durch den Lautsprecher 611 wiedergegeben werden darf, der von dem Abstand von Lautsprecher und virtueller Wand abhängt: Je größer der Abstand zwischen virtueller Wand 621 und Lautsprecher 61 1 , umso größer wird die zeitliche Verzögerung, d.h. der Delay-Wert, mit dem das vom Mikrofon 631 aufgenommene Signal am Lautsprecher 61 1 wiederzugeben ist. Fig. 6 zeigt durch die gestrichelte Linie 629 eine Verschiebung der virtuellen Wand 621, wobei sich der Abstand der virtuellen Wand vom Lautsprecher 61 1 von d auf 2d erhöht. Der Delay-Wert wird entsprechend größer. Fig. 6 illustrates a basic concept of certain embodiments. Shown is a speaker array comprising, as shown in FIG. 6, 12 speakers 611, 612, 613. In actual embodiments, the number of loudspeakers will often be significantly larger, e.g. 60, 100, 200, 300 or more speakers. Also shown are four virtual walls 621, 622, 623, 624. In the following, the speaker 61 1 and the virtual wall 621 will be considered in greater detail. These form a speaker-virtual wall pair (61 1, 621). Also, any other combination of one of the speakers and one of the virtual walls forms a speaker-virtual wall pair. The distance between the speaker and the virtual wall is indicated by an arrow d. In Fig. 6, a plurality of microphones 631, 632, 633 are also provided. For the sake of simplicity, it is assumed that a microphone 631 generates an audio signal by recording sound waves to be reproduced through the speaker 61 1. In this case, the signal reproduced by the loudspeaker 61 1 should correspond to a reflection of the sound waves recorded by the microphone 631 on the virtual wall 621. This means that the signal picked up by the microphone may only be reproduced with a time delay by the loudspeaker 611, which depends on the distance between the loudspeaker and the virtual wall: the greater the distance between virtual wall 621 and loudspeaker 61 1, the larger the time delay, ie the delay value with which the signal recorded by the microphone 631 is to be reproduced on the loudspeaker 61 1. FIG. 6 shows, by the broken line 629, a displacement of the virtual wall 621, wherein the distance of the virtual wall from the loudspeaker 61 1 increases from d to 2 d. The delay value will increase accordingly.
In einer speziellen Ausführungsform kann man den Delay-Wert nach der Formel: In a specific embodiment, one may use the delay value according to the formula:
Delay = (d + c) * pi berechnen, wobei d der Abstand zwischen dem Lautsprecher und der virtuellen Wand des Lautsprecher-virtuelle Wand-Paares ist, c ein konstanter Wert ist, und pi eine Proportionalitätskonstante größer 0 ist. Der Delay-Wert wird somit umso größer, je größer der Abstand zwischen Lautsprecher und virtueller Wand ist. Je größer der Abstand zwischen virtueller Wand und Lautsprecher wird, desto kleiner ist in einer Ausführungsfonri auch der Amplitudenfaktor zu wählen, da auch die Amplitude einer realen Schallquelle umso kleiner wird, je weiter man sich von einer Schallquelle entfernt befindet, wobei die virtuelle Schallquelle hier die virtuelle Wand darstellt, die scheinbar eine Schallwelle reflektiert. Der Amplitudenfaktor ist dabei der Faktor, mit dem die Amplitude eines der Ausgangssignale zu modifizieren ist, um ein modifiziertes Signal zu erhalten, das an einem der Lautsprecher auszugeben ist. Calculate delay = (d + c) * pi, where d is the distance between the loudspeaker and the virtual wall of the speaker-virtual wall pair, c is a constant value, and pi is a proportionality constant greater than 0. The greater the distance between the speaker and the virtual wall, the greater the delay value becomes. The larger the distance between the virtual wall and the loudspeaker, the smaller is the amplitude factor to choose in an embodiment, since the amplitude of a real sound source becomes smaller the farther away from a sound source, the virtual sound source here being the represents a virtual wall that seems to reflect a sound wave. The amplitude factor is the factor with which the amplitude of one of the output signals is to be modified in order to obtain a modified signal to be output at one of the loudspeakers.
In einer speziellen Ausführungsform kann man den Amplitudenfaktor nach der Formel: In a specific embodiment, the amplitude factor can be calculated according to the formula:
Amplituden-Faktor = [1 / (d+h)] * p2 berechnen, wobei d der Abstand zwischen dem Lautsprecher und der virtuellen Wand des Lautsprecher-virtuelle Wand-Paares ist, h ein konstanter Wert ist, und p2 eine Proportionalitätskonstante größer 0 ist. In bevorzugten Ausfuhrungsformen wird die Proportionalitätskonstante p2 und so gewählt, dass der Amplitudenfaktor immer einen Wert größer 0 und kleiner 1 annimmt. Amplitude factor = [1 / (d + h)] * p 2 where d is the distance between the speaker and the virtual wall of the speaker-virtual wall pair, h is a constant value, and p 2 is a proportional constant greater 0 is. In preferred embodiments, the proportionality constant p 2 and is chosen so that the amplitude factor always assumes a value greater than 0 and less than 1.
Grundsätzlich lässt sich durch eine Vergrößerung des Delay-Werts eine Nachhallzeitverlängerung herbeiführen. In principle, an increase in the delay value can bring about a reverberation time extension.
Fig. 7 zeigt eine weitere Ausführungsform, bei der die aktuelle Position 729 der virtuellen Wand derart geändert wird, dass die aktuelle Position 729 der virtuellen Wand drehbar gegenüber ihrer alten Position 721 verändert wurde. Der Abstand der alten Position der virtuellen Wand von Lautsprecher 71 1 ist durch Pfeil e, der Abstand der neuen Position der virtuellen Wand von dem Lautsprecher 71 1 ist durch Pfeil f dargestellt. FIG. 7 shows another embodiment in which the current position 729 of the virtual wall is changed such that the current position 729 of the virtual wall has been rotatably changed from its old position 721. The distance of the old position of the virtual wall of speaker 71 1 is indicated by arrow e, the distance of the new position of the virtual wall from the speaker 71 1 is shown by arrow f.
Obwohl einige Aspekte im Kontext einer Vorrichtung beschrieben wurden, ist es offensichtlich, dass diese Aspekte auch eine Beschreibung des entsprechenden Verfahrens darstellen, wobei ein Block oder eine Vorrichtung einem Verfahrensschritt oder einem Merkmal eines Verfahrensschrittes entspricht. Analog stellen Aspekte, die in dem Kontext eines Verfahrensschrittes beschrieben wurden, auch eine Beschreibung eines entsprechenden Blocks oder Elements oder Merkmals einer entsprechenden Vorrichtung dar. Although some aspects have been described in the context of a device, it is apparent that these aspects also constitute a description of the corresponding method, wherein a block or device corresponds to a method step or feature of a method step. Similarly, aspects described in the context of a method step also represent a description of a corresponding block or element or feature of a corresponding device.
Ein erfmdungsgemäßes Computerprogramm oder Signal kann auf einem digitalen Speichermedium gespeichert sein oder kann auf einem Übertragungsmedium übertragen werden, wie z.B. einem drahtlosen Übertragungsmedium oder einem verdrahteten Übertragungsmedium, wie z.B. dem Internet. A computer program or signal according to the invention can be stored on a digital storage medium or can be transmitted on a transmission medium be such as a wireless transmission medium or a wired transmission medium, such as the Internet.
Abhängig von bestimmten Implementierungsanforderungen können Ausführungsbeispiele der Erfindung in Hardware oder in Software implementiert sein. Die Implementierung kann unter Verwendung eines digitalen Speichermediums erfolgen, wie z.B. einer Diskette, einer DVD, einer CD, einem ROM, einem PROM, einem EPROM, einem EEPROM oder einem FLASH-Speicher, auf dem elektronisch lesbare Steuersignale gespeichert sind, die mit einem programmierbaren Computersystem derart zusammenarbeiten (oder in der Lage sind, zusammenzuarbeiten), so dass das entsprechende Verfahren ausgeführt wird. Depending on certain implementation requirements, embodiments of the invention may be implemented in hardware or in software. The implementation may be done using a digital storage medium, such as a digital storage medium. a floppy disk, a DVD, a CD, a ROM, a PROM, an EPROM, an EEPROM, or a FLASH memory which stores electronically readable control signals that cooperate (or are able to work together) with a programmable computer system so that the appropriate procedure is carried out.
Einige Ausführungsbeispiele gemäß der Erfindung weisen einen nicht vorübergehenden Datenträger mit elektronisch lesbaren Steuersignalen auf, die in der Lage sind, mit einem programmierbaren Computersystem derart zusammenzuarbeiten, dass eines der hierin beschriebenen Verfahren ausgeführt wird. Some embodiments according to the invention comprise a non-transitory data carrier having electronically readable control signals capable of cooperating with a programmable computer system to perform one of the methods described herein.
Im Allgemeinen können Ausführungsbeispiele der vorliegenden Erfindung als ein Computerprogrammprodukt mit einem Programmcode implementiert sein, wobei der Programmcode wirksam ist zum Ausführen von einem der Verfahren, wenn das Computerprogrammprodukt auf einem Computer ausgeführt wird. Der Programmcode kann z.B. auf einem maschinenlesbaren Träger gespeichert sein. In general, embodiments of the present invention may be implemented as a computer program product having program code, wherein the program code is operative to perform one of the methods when the computer program product is executed on a computer. The program code may e.g. be stored on a machine-readable carrier.
Andere Ausführungsbeispiele weisen das Computerprogramm zum Ausführen von einem der hierin beschriebenen Verfahren auf, gespeichert auf einem maschinenlesbaren Träger. Other embodiments include the computer program for executing one of the methods described herein stored on a machine readable carrier.
Anders ausgedrückt ist ein Ausführungsbeispiel des erfindungsgemäßen Verfahrens daher ein Computerprogramm mit einem Programmcode zum Ausführen von einem der hierin beschriebenen Verfahren, wenn das Computerprogramm auf einem Computer ausgeführt wird. In other words, an embodiment of the method according to the invention is therefore a computer program with a program code for carrying out one of the methods described herein when the computer program is executed on a computer.
Ein weiteres Ausfuhrungsbeispiel der erfindungsgemäßen Verfahren ist daher ein Datenträger (oder ein digitales Speichermedium oder ein computerlesbares Medium), der aufgezeichnet auf demselben das Computerprogramm zum Ausführen von einem der hierin beschriebenen Verfahren aufweist. A further exemplary embodiment of the method according to the invention is therefore a data carrier (or a digital storage medium or a computer-readable medium) which has recorded thereon the computer program for carrying out one of the methods described herein.
Ein weiteres Ausführungsbeispiel des erfindungsgemäßen Verfahrens ist daher ein Datenstrom oder eine Reihe aus Signalen, die das Computerprogramm darstellen zum Ausführen von einem der hierin beschriebenen Verfahren. Der Datenstrom oder die Signalreihe können z.B. konfiguriert sein, um über eine Datenkommunikationsverbindung übertragen zu werden, z.B. über das Internet. A further embodiment of the method according to the invention is therefore a data stream or a series of signals representing the computer program for carrying out one of the methods described herein. The data stream or the Signal series can be configured, for example, to be transmitted via a data communication connection, eg via the Internet.
Ein weiteres Ausführungsbeispiel weist eine Verarbeitungseinrichtung auf, z.B. einen Computer, oder eine programmierbare Logikvorrichtung, die zum Ausführen von einem der hierin beschriebenen Verfahren konfiguriert oder angepasst ist. Another embodiment comprises processing means, e.g. a computer, or programmable logic device configured or adapted to perform one of the methods described herein.
Ein weiteres Ausführangsbeispiel weist einen Computer auf, auf dem das Computerprogramm zum Ausführen von einem der hierin beschriebenen Verfahren installiert ist. Another embodiment includes a computer on which the computer program is installed to perform one of the methods described herein.
Bei einigen Ausführungsbeispielen kann eine programmierbare Logikvorrichtung (z.B. ein feldprogrammierbares Gate-Array) verwendet werden, um einige oder alle der Funktionalitäten der hierin beschriebenen Verfahren auszuführen. Bei einigen Ausführungsbeispielen kann ein feldprogrammierbares Gate-Array mit einem Mikroprozessor zusammenarbeiten, um eines der hierin beschriebenen Verfahren auszuführen. Im Allgemeinen werden die Verfahren vorzugsweise durch jegliche Hardware- Vorrichtung ausgeführt. Die oben beschriebenen Ausführungsbeispiele stellen lediglich eine Veranschaulichung der Prinzipien der vorliegenden Erfindung dar. Es versteht sich, dass Modifikationen und Variationen der hierin beschriebenen Anordnungen und Einzelheiten anderen Fachleuten einleuchten werden. Deshalb ist beabsichtigt, dass die Erfindung lediglich durch den Schutzumfang der nachstehenden Patentansprüche und nicht durch die spezifischen Einzelheiten, die anhand der Beschreibung und der Erläuterung der Ausführungsbeispiele hierin präsentiert wurden, beschränkt sei. In some embodiments, a programmable logic device (e.g., a field programmable gate array) may be used to perform some or all of the functionality of the methods described herein. In some embodiments, a field programmable gate array may cooperate with a microprocessor to perform any of the methods described herein. In general, the methods are preferably performed by any hardware device. The embodiments described above are merely illustrative of the principles of the present invention. It will be understood that modifications and variations of the arrangements and details described herein will be apparent to others of ordinary skill in the art. Therefore, it is intended that the invention be limited only by the scope of the appended claims and not by the specific details presented in the description and explanation of the embodiments herein.

Claims

Ansprüche claims
1. Vorrichtung zur Nachhallzeitverlängerung, umfassend: ein Modul (1 10) zur Berechnung von Wellenfeldsyntheseinformation, einen Signalprozessor (120) zur Erzeugung einer Mehrzahl von Audioausgangssignalen für eine Mehrzahl von Lautsprechern basierend auf einer Mehrzahl von Audioeingangssignalen, die von einer Mehrzahl von Mikrofonen aufgenommen wurden, und basierend auf der Wellenfeldsyntheseinformation, und eine Bedieneinheit (130) zur Festlegung einer virtuellen Position ein oder mehrerer virtueller Wände, wobei das Modul (1 10) zur Berechnung von Wellenfeldsyntheseinformation dafür ausgelegt ist, die Wellenfeldsyntheseinformation basierend auf der virtuellen Position der ein oder mehreren virtuellen Wände zu berechnen, und wobei für wenigstens eine der virtuellen Wände die virtuelle Position durch die Bedieneinheit (130) einstellbar ist. A reverberation time extension apparatus comprising: a wave field synthesis information calculating module (1 10); a signal processor (120) for generating a plurality of audio output signals for a plurality of loudspeakers based on a plurality of audio input signals picked up by a plurality of microphones and based on the wave field synthesis information, and a manipulation unit (130) for determining a virtual position of one or more virtual walls, wherein the wave field synthesis information calculation module (110) is adapted for generating the wave field synthesis information based on the virtual position of the one or more virtual walls, and wherein for at least one of the virtual walls, the virtual position is adjustable by the operating unit (130).
2. Vorrichtung nach Anspruch 1 , wobei das Modul (110) zur Berechnung von Wellenfeldsyntheseinformation dafür ausgelegt ist, Delay-Werte und Amplitudenfaktor- Werte als Wellenfeldsyntheseinformation zu berechnen, wobei der Delay-Wert die Verzögerung angibt, um die eines der Audioeingangssignale verzögert an einem der Lautsprecher wiedergegeben wird, und wobei der Amplitudenfaktor angibt, um welchem Faktor die Amplitude eines der Audioeingangssignale modifiziert wird, um ein modifiziertes Signal zu erhalten, das an einem der Lautsprecher ausgegeben wird. The apparatus of claim 1, wherein the wave field synthesis information calculation module (110) is adapted to calculate delay values and amplitude factor values as wave field synthesis information, the delay value indicating the delay to delay one of the audio input signals at one the loudspeaker is reproduced, and wherein the amplitude factor indicates by what factor the amplitude of one of the audio input signals is modified to obtain a modified signal output at one of the loudspeakers.
3. Vorrichtung nach Anspruch 2, wobei das Modul (1 10) zur Berechnung von Wellenfeldsyntheseinformation dafür ausgelegt ist, zu jedem Lautsprecher- virtuelle Wand-Paar für einen Zeitpunkt einen Delay-Wert und einen Amplitudenfaktor- Wert zu berechnen, wobei ein Lautsprecher-virtuelle Wand-Paar, ein Paar aus einem der Lautsprecher und einer der virtuellen Wände ist. The apparatus of claim 2, wherein the wave field synthesis information calculation module (110) is adapted to calculate a delay value and an amplitude factor value for each loudspeaker-virtual wall pair for a time, one loudspeaker virtual Wall pair, a pair of one of the speakers and one of the virtual walls is.
4. Vorrichtung nach Anspruch 3, wobei das Modul (1 10) zur Berechnung von Wellenfeldsyntheseinformation dafür ausgelegt ist, den Delay-Wert und den Amplitudenfaktor- Wert für ein Lautsprecher-virtuelle Wand-Paar basierend auf dem Abstand von dem Lautsprecher und der virtuellen Wand des Lautsprecher- virtuelle Wand-Paares zu berechnen. The apparatus of claim 3, wherein the wave field synthesis information calculation module (110) is adapted to calculate the delay value and the amplitude factor value for a speaker-virtual wall pair based on the distance from the speaker and the virtual wall of the speaker-virtual wall pair.
5. Vorrichtung nach Anspruch 3 oder 4, wobei das Modul (1 10) zur Berechnung von Wellenfeldsyntheseinformation dafür ausgelegt ist, den Delay-Wert eines Lautsprecher- virtuelle Wand-Paares umso größer festzusetzen, je größer der Abstand zwischen dem Lautsprecher und der virtuellen Wand ist. 5. The apparatus of claim 3 or 4, wherein the module (1 10) for calculating wave field synthesis information is adapted to set the delay value of a speaker virtual wall pair the larger, the greater the distance between the speaker and the virtual wall is.
6. Vorrichtung nach einem der Ansprüche 3 bis 5, wobei das Modul (1 10) zur Berechnung von Wellenfeldsyntheseinformation dafür ausgelegt ist, den Amplituden-Wert eines Lautsprecher-virtuelle Wand-Paares umso kleiner festzusetzen, je größer der Abstand zwischen dem Lautsprecher und der virtuellen6. Device according to one of claims 3 to 5, wherein the module (1 10) for calculating wave field synthesis information is designed to set the amplitude value of a speaker-virtual wall pair the smaller, the greater the distance between the speaker and the virtual
Wand ist. Wall is.
7. Vorrichtung nach einem der vorherigen Ansprüche, wobei die Bedieneinheit (130) dafür ausgelegt ist, dass wenigstens eine der virtuellen Wände aus einer ersten virtuellen Position in eine zweite virtuelle Position verschiebbar ist, so dass die virtuelle Wand beliebig parallel gegenüber ihrer ersten Position verschiebbar ist. 7. Device according to one of the preceding claims, wherein the operating unit (130) is adapted for that at least one of the virtual walls from a first virtual position to a second virtual position is displaceable, so that the virtual wall displaceable in any direction parallel to its first position is.
8. Vorrichtung nach einem der vorherigen Ansprüche, wobei die Bedieneinheit (130) dafür ausgelegt ist, dass wenigstens eine der virtuellen Wände aus einer ersten virtuellen Position in eine zweite virtuelle Position verschiebbar ist, so dass die virtuelle Wand beliebig drehbar gegenüber ihrer ersten Position verschiebbar ist. 8. Device according to one of the preceding claims, wherein the operating unit (130) is adapted for that at least one of the virtual walls from a first virtual position to a second virtual position is displaceable, so that the virtual wall displaceable rotatable relative to its first position is.
9. Vorrichtung nach einem der vorherigen Ansprüche, wobei für alle der virtuellen Wände die virtuelle Position durch die Bedieneinheit (130) einstellbar ist. 9. Device according to one of the preceding claims, wherein for all of the virtual walls, the virtual position by the operating unit (130) is adjustable.
10. Vorrichtung nach einem der vorherigen Ansprüche, wobei die Bedieneinheit (130) dafür ausgelegt ist, dass jede der virtuellen Wände aus einer ersten virtuellen Position in eine zweite virtuelle Position verschiebbar ist, so dass jede virtuelle Wand beliebig parallel und drehbar gegenüber ihrer ersten Position verschiebbar ist. 10. The device of claim 1, wherein the operating unit is configured such that each of the virtual walls is displaceable from a first virtual position to a second virtual position such that each virtual wall is arbitrarily parallel and rotatable relative to its first position is displaceable.
1 1. Vorrichtung nach einem der vorherigen Ansprüche, wobei die Vorrichtung des Weiteren ein parametrisches Filter umfasst zur Filterung von Resonanzfrequenzen. A device according to any one of the preceding claims, wherein the device further comprises a parametric filter for filtering resonance frequencies.
12. Verfahren zur Nachhallzeitverlängerung, umfassend: 12. A method of reverberation time extension, comprising:
Festlegung einer virtuellen Position ein oder mehrerer virtueller Wände, Definition of a virtual position of one or more virtual walls,
Empfangen einer Mehrzahl von Audioeingangssignalen, die von einer Mehrzahl von Mikrofonen aufgenommen wurden, Receiving a plurality of audio input signals received from a plurality of microphones,
Berechnung von Wellenfeldsyntheseinformation, und Calculation of wave field synthesis information, and
Erzeugung einer Mehrzahl von Audioausgangssignalen für eine Mehrzahl von Lautsprechern basierend auf den Audioeingangssignalen und basierend auf der Wellenfeldsyntheseinformation, wobei die Wellenfeldsyntheseinfonxiation basierend auf der virtuellen Position der ein oder mehreren virtuellen Wände berechnet wird, und wobei für wenigstens eine der virtuellen Wände die virtuelle Position einstellbar ist. Generating a plurality of audio outputs for a plurality of loudspeakers based on the audio input signals and based on the wavefield synthesis information, wherein the wavefield synthesis conversation is calculated based on the virtual position of the one or more virtual walls, and wherein for at least one of the virtual walls the virtual position is adjustable ,
13. Computerprogramm mit einem Programmcode zum Ausführen des Verfahrens gemäß Patentanspruch 12, wenn das Computerprogramm auf einem Rechner abläuft. 13. Computer program with a program code for carrying out the method according to claim 12, when the computer program runs on a computer.
14. Elektroakustisches System zur Nachhallzeitverlängerung, umfassend: eine Mehrzahl von Mikrofonen (350; 41 1 , 412), eine Vorrichtung zur Nachhallzeitverlängerung nach einem der Ansprüche 1 bis 12, und ein Lautsprecherarray umfassend eine Mehrzahl von Lautsprechern (370; 481 , 482), wobei die Mehrzahl von Mikrofonen (350; 41 1 , 412) dafür ausgelegt sind, eine Mehrzahl von Audioeingangssignalen zu erzeugen, die in die Vorrichtung zur Nachhallzeitverlängerung eingespeist werden, und wobei die Mehrzahl von Lautsprechern (370; 481 , 482) des Lautsprecherarrays dafür ausgelegt sind, die Audioausgangssignale von der Vorrichtung zur Nachhallzeitverlängerung eingespeist zu bekommen und die eingespeisten Audioausgangssignale wiederzugeben. 14. An electroacoustic reverberation time extension system comprising: a plurality of microphones (350, 41 1, 412), a reverberation time extension apparatus according to any one of claims 1 to 12, and a loudspeaker array comprising a plurality of loud speakers (370, 481, 482); wherein the plurality of microphones (350; 41 1, 412) are adapted to generate a plurality of audio input signals fed to the reverberation time extension apparatus, and wherein the plurality of loudspeakers (370; 481, 482) of the loudspeaker array are arranged therefor are the audio output signals from the reverberation time extension device fed and play the input audio output signals.
Verfahren zur Nachhallzeitverlängerung mittels eines elektroakustischen Systems, umfassend: A method for reverberation time extension by means of an electroacoustic system, comprising:
Festlegung einer virtuellen Position ein oder mehrerer virtueller Wände, Definition of a virtual position of one or more virtual walls,
Erzeugung einer Mehrzahl von Audioeingangssignalen, die von einer Mehrzahl von Mikrofonen aufgenommen wurden, Generating a plurality of audio input signals received from a plurality of microphones,
Berechnung von Wellenfeldsyntheseinformation, Calculation of wave field synthesis information,
Erzeugung einer Mehrzahl von Audioausgangssignalen für eine Mehrzahl von Lautsprechern basierend auf den Audioeingangssignalen und basierend auf der Wellenfeldsyntheseinformation, und Generating a plurality of audio outputs for a plurality of loudspeakers based on the audio input signals and based on the wave field synthesis information, and
Ausgabe der Audioausgangssignale mittels eines Lautsprecherarrays umfassend eine Mehrzahl von Lautsprechern, wobei die Wellenfeldsyntheseinformation basierend auf der virtuellen Position der ein oder mehreren virtuellen Wände berechnet wird, und wobei für wenigstens eine der virtuellen Wände die virtuelle Position einstellbar ist. Outputting the audio output signals by means of a loudspeaker array comprising a plurality of loudspeakers, the wavefield synthesis information being calculated based on the virtual position of the one or more virtual walls, and wherein for at least one of the virtual walls the virtual position is adjustable.
EP12756411.0A 2011-09-07 2012-08-23 Device, method and electro-acoustic system for prolonging a reverberation period Active EP2754151B2 (en)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201161531899P 2011-09-07 2011-09-07
DE102011082310A DE102011082310A1 (en) 2011-09-07 2011-09-07 Apparatus, method and electroacoustic system for reverberation time extension
PCT/EP2012/066392 WO2013034444A1 (en) 2011-09-07 2012-08-23 Device, method and electro-acoustic system for prolonging the reverberation period

Publications (3)

Publication Number Publication Date
EP2754151A1 true EP2754151A1 (en) 2014-07-16
EP2754151B1 EP2754151B1 (en) 2016-01-06
EP2754151B2 EP2754151B2 (en) 2018-10-31

Family

ID=47710586

Family Applications (1)

Application Number Title Priority Date Filing Date
EP12756411.0A Active EP2754151B2 (en) 2011-09-07 2012-08-23 Device, method and electro-acoustic system for prolonging a reverberation period

Country Status (6)

Country Link
US (1) US9355632B2 (en)
EP (1) EP2754151B2 (en)
JP (1) JP5995973B2 (en)
CN (1) CN103907151B (en)
DE (1) DE102011082310A1 (en)
WO (1) WO2013034444A1 (en)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2777301B1 (en) 2011-11-10 2015-08-12 SonicEmotion AG Method for practical implementations of sound field reproduction based on surface integrals in three dimensions
US9875756B2 (en) * 2014-12-16 2018-01-23 Psyx Research, Inc. System and method for artifact masking
CN107281753B (en) * 2017-06-21 2020-10-23 网易(杭州)网络有限公司 Scene sound effect reverberation control method and device, storage medium and electronic equipment
CN109195062B (en) * 2018-09-21 2020-10-02 歌尔科技有限公司 Method and system for expanding sound field of audio equipment and audio equipment
US20230011357A1 (en) * 2019-12-13 2023-01-12 Sony Group Corporation Signal processing device, signal processing method, and program
CN113965842A (en) * 2021-12-01 2022-01-21 费迪曼逊多媒体科技(上海)有限公司 Variable acoustic home theater sound system based on WFS wave field synthesis technology
DE102022129642A1 (en) * 2022-11-09 2024-05-16 Holoplot Gmbh Method for direction-dependent correction of the frequency response of sound wave fronts

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3614320A (en) 1968-12-13 1971-10-19 Rca Corp Stereophonic sound enhancement system with reverberation chamber
NL8800745A (en) 1988-03-24 1989-10-16 Augustinus Johannes Berkhout METHOD AND APPARATUS FOR CREATING A VARIABLE ACOUSTICS IN A ROOM
JPH07107212B2 (en) 1989-08-10 1995-11-15 東レエンジニアリング株式会社 Yarn splicing method for spinning machines
JP2569872B2 (en) * 1990-03-02 1997-01-08 ヤマハ株式会社 Sound field control device
US5109419A (en) 1990-05-18 1992-04-28 Lexicon, Inc. Electroacoustic system
WO1995010831A1 (en) 1993-10-15 1995-04-20 Industrial Research Limited Improvements in reverberators for use in wide band assisted reverberation systems
JP3722335B2 (en) * 1998-02-17 2005-11-30 ヤマハ株式会社 Reverberation equipment
DE10254404B4 (en) 2002-11-21 2004-11-18 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio reproduction system and method for reproducing an audio signal
DE10254470B4 (en) * 2002-11-21 2006-01-26 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for determining an impulse response and apparatus and method for presenting an audio piece
DE10321986B4 (en) 2003-05-15 2005-07-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for level correcting in a wave field synthesis system
DE10328335B4 (en) * 2003-06-24 2005-07-21 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Wavefield syntactic device and method for driving an array of loud speakers
DE102004002532A1 (en) 2004-01-17 2005-09-22 Helmut Oellers Audio sound reproduction system used a frontal matrix wave field sythesis process to generate a realistic output
JP2006004099A (en) 2004-06-16 2006-01-05 Hitachi Ltd Method, device and program for reusing program
US8023662B2 (en) * 2004-07-05 2011-09-20 Pioneer Corporation Reverberation adjusting apparatus, reverberation correcting method, and sound reproducing system
US7643640B2 (en) * 2004-10-13 2010-01-05 Bose Corporation System and method for designing sound systems
DE102004057500B3 (en) 2004-11-29 2006-06-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Device and method for controlling a sound system and public address system
DE102005008366A1 (en) * 2005-02-23 2006-08-24 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Device for driving wave-field synthesis rendering device with audio objects, has unit for supplying scene description defining time sequence of audio objects
WO2006092995A1 (en) 2005-03-01 2006-09-08 Pioneer Corporation Acoustic reproduction device
DE102005027978A1 (en) 2005-06-16 2006-12-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for generating a loudspeaker signal due to a randomly occurring audio source
JP4894422B2 (en) * 2006-09-06 2012-03-14 ヤマハ株式会社 Sound generator
US8483395B2 (en) * 2007-05-04 2013-07-09 Electronics And Telecommunications Research Institute Sound field reproduction apparatus and method for reproducing reflections
JP5338053B2 (en) * 2007-09-11 2013-11-13 ソニー株式会社 Wavefront synthesis signal conversion apparatus and wavefront synthesis signal conversion method
US20110188342A1 (en) 2008-03-20 2011-08-04 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Device and method for acoustic display
JP5199915B2 (en) * 2009-02-18 2013-05-15 キヤノン株式会社 Sound field correction method and sound field correction apparatus
JP4883197B2 (en) * 2010-02-15 2012-02-22 ソニー株式会社 Audio signal processing method, sound field reproduction system

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See references of WO2013034444A1 *

Also Published As

Publication number Publication date
EP2754151B1 (en) 2016-01-06
US9355632B2 (en) 2016-05-31
JP5995973B2 (en) 2016-09-21
WO2013034444A1 (en) 2013-03-14
CN103907151A (en) 2014-07-02
US20140185817A1 (en) 2014-07-03
DE102011082310A1 (en) 2013-03-07
EP2754151B2 (en) 2018-10-31
JP2014529251A (en) 2014-10-30
CN103907151B (en) 2016-08-24

Similar Documents

Publication Publication Date Title
EP2754151B2 (en) Device, method and electro-acoustic system for prolonging a reverberation period
EP1671516B1 (en) Device and method for producing a low-frequency channel
DE10328335B4 (en) Wavefield syntactic device and method for driving an array of loud speakers
EP1872620B9 (en) Apparatus and method for controlling a plurality of loudspeakers by means of a graphic user interface
DE10321986B4 (en) Apparatus and method for level correcting in a wave field synthesis system
EP1782658B1 (en) Device and method for controlling a plurality of loudspeakers by means of a dsp
EP3005732B1 (en) Device and method for spatially selective audio playback
DE10254404B4 (en) Audio reproduction system and method for reproducing an audio signal
EP1972181B1 (en) Device and method for simulating wfs systems and compensating sound-influencing wfs characteristics
DE102006053919A1 (en) Apparatus and method for generating a number of speaker signals for a speaker array defining a playback space
EP1880577B1 (en) Device and method for generating a loudspeaker signal based on a randomly occurring audio source
EP3005737A2 (en) Mixing desk, sound signal generator, method and computer program for providing a sound signal
EP1606975B1 (en) Device and method for calculating a discrete value of a component in a loudspeaker signal
DE10254470A1 (en) Apparatus and method for determining an impulse response and apparatus and method for presenting an audio piece
WO2024099733A1 (en) Method for the direction-dependent correction of the frequency response of sound wavefronts
EP1900250B1 (en) Electroacoustic method

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20140226

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAX Request for extension of the european patent (deleted)
GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

INTG Intention to grant announced

Effective date: 20150630

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

REG Reference to a national code

Ref country code: GB

Ref legal event code: FG4D

Free format text: NOT ENGLISH

REG Reference to a national code

Ref country code: CH

Ref legal event code: EP

REG Reference to a national code

Ref country code: IE

Ref legal event code: FG4D

Free format text: LANGUAGE OF EP DOCUMENT: GERMAN

REG Reference to a national code

Ref country code: AT

Ref legal event code: REF

Ref document number: 769446

Country of ref document: AT

Kind code of ref document: T

Effective date: 20160215

REG Reference to a national code

Ref country code: DE

Ref legal event code: R096

Ref document number: 502012005671

Country of ref document: DE

REG Reference to a national code

Ref country code: CH

Ref legal event code: NV

Representative=s name: BOVARD AG, CH

REG Reference to a national code

Ref country code: LT

Ref legal event code: MG4D

REG Reference to a national code

Ref country code: NL

Ref legal event code: MP

Effective date: 20160106

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: NL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160106

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160106

Ref country code: ES

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160106

Ref country code: HR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160106

Ref country code: NO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160406

Ref country code: GR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160407

Ref country code: FI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160106

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 5

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: PL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160106

Ref country code: SE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160106

Ref country code: IS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160506

Ref country code: RS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160106

Ref country code: LT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160106

Ref country code: LV

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160106

Ref country code: PT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160506

REG Reference to a national code

Ref country code: DE

Ref legal event code: R026

Ref document number: 502012005671

Country of ref document: DE

PLBI Opposition filed

Free format text: ORIGINAL CODE: 0009260

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: DK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160106

Ref country code: EE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160106

PLAX Notice of opposition and request to file observation + time limit sent

Free format text: ORIGINAL CODE: EPIDOSNOBS2

26 Opposition filed

Opponent name: DOSTERSCHILL, PETER

Effective date: 20161006

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SM

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160106

Ref country code: CZ

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160106

Ref country code: RO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160106

Ref country code: SK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160106

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: BE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20160831

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160106

Ref country code: BG

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160406

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MC

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160106

PLBB Reply of patent proprietor to notice(s) of opposition received

Free format text: ORIGINAL CODE: EPIDOSNOBS3

REG Reference to a national code

Ref country code: IE

Ref legal event code: MM4A

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20160823

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 6

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LU

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20160823

PLAB Opposition data, opponent's data or that of the opponent's representative modified

Free format text: ORIGINAL CODE: 0009299OPPO

R26 Opposition filed (corrected)

Opponent name: DOSTERSCHILL, PETER

Effective date: 20161006

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: HU

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT; INVALID AB INITIO

Effective date: 20120823

APAH Appeal reference modified

Free format text: ORIGINAL CODE: EPIDOSCREFNO

APBM Appeal reference recorded

Free format text: ORIGINAL CODE: EPIDOSNREFNO

APBP Date of receipt of notice of appeal recorded

Free format text: ORIGINAL CODE: EPIDOSNNOA2O

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160106

Ref country code: CY

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160106

Ref country code: MK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160106

APBU Appeal procedure closed

Free format text: ORIGINAL CODE: EPIDOSNNOA9O

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 7

PUAH Patent maintained in amended form

Free format text: ORIGINAL CODE: 0009272

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: PATENT MAINTAINED AS AMENDED

REG Reference to a national code

Ref country code: CH

Ref legal event code: AELC

27A Patent maintained in amended form

Effective date: 20181031

AK Designated contracting states

Kind code of ref document: B2

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: AL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160106

Ref country code: TR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160106

REG Reference to a national code

Ref country code: DE

Ref legal event code: R102

Ref document number: 502012005671

Country of ref document: DE

P01 Opt-out of the competence of the unified patent court (upc) registered

Effective date: 20230524

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: GB

Payment date: 20230824

Year of fee payment: 12

Ref country code: CH

Payment date: 20230902

Year of fee payment: 12

Ref country code: AT

Payment date: 20230818

Year of fee payment: 12

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: FR

Payment date: 20230821

Year of fee payment: 12

Ref country code: DE

Payment date: 20230822

Year of fee payment: 12