EP1880577A1 - Vorrichtung und verfahren zum erzeugen eines lautsprechersignals aufgrund einer zufällig auftretenden audioquelle - Google Patents

Vorrichtung und verfahren zum erzeugen eines lautsprechersignals aufgrund einer zufällig auftretenden audioquelle

Info

Publication number
EP1880577A1
EP1880577A1 EP06754040A EP06754040A EP1880577A1 EP 1880577 A1 EP1880577 A1 EP 1880577A1 EP 06754040 A EP06754040 A EP 06754040A EP 06754040 A EP06754040 A EP 06754040A EP 1880577 A1 EP1880577 A1 EP 1880577A1
Authority
EP
European Patent Office
Prior art keywords
impulse response
loudspeaker
generator
audio
positions
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
EP06754040A
Other languages
English (en)
French (fr)
Other versions
EP1880577B1 (de
Inventor
Michael Beckinger
René RODIGAST
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Original Assignee
Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV filed Critical Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Publication of EP1880577A1 publication Critical patent/EP1880577A1/de
Application granted granted Critical
Publication of EP1880577B1 publication Critical patent/EP1880577B1/de
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/13—Application of wave-field synthesis in stereophonic audio systems

Definitions

  • the present invention relates to audio signal processing, and more particularly to audio signal processing in systems having a plurality of loud speakers, such as wave field synthesis systems.
  • Fig. 4 shows a typical wave field synthesis scenario.
  • the heart of the wave field synthesis system is the wave field synthesis renderer 400, which generates its own loudspeaker signal for each of the individual loudspeakers 401, which group around a reproduction environment. More specifically, between the wave field synthesis renderer 400 and each speaker, there is thus a speaker channel on which the speaker signal for that speaker is transmitted from the wave field synthesis renderer 400.
  • the wave field synthesis renderer 400 is supplied with control data, which is typically arranged in a control file 402.
  • the control file may comprise a list of audio objects, each audio object having a virtual position and an audio signal associated therewith.
  • the virtual position is the location that a listener in the playback environment will locate.
  • a film screen is arranged, it is not only an optical spatial scenario but also a tonal spatial scenario generated for the viewer.
  • all loudspeaker channels are supplied with loudspeaker signals which are produced by the same audio signal for a source, such as an actor or z. As an approaching train derived. All these speaker signals differ but more or less by their scaling and their delay of the input signal.
  • the scaling and delay for each loudspeaker signal is generated by the Wave Field Synthesis Algorithm, which operates on the Hugy's principle. As is known, the principle is based on being able to generate any arbitrary waveform through a large number of spherical waves.
  • the wave-field synthesis renderer will perform the procedure described above for each individual audio object and then accumulate the individual before the loudspeaker signals are transmitted to the individual loudspeakers via the loudspeaker channels Perform component signals. For example, when viewing the speaker 403 located at a particular speaker position that is known, the wave field synthesis renderer will generate for each audio object a component signal to be played by the speaker 403. Then, when all the component signals are calculated for a timing for the speaker 403, the individual component signals are simply added up to obtain the combined component signal for the speaker channel going from the wave field synthesis renderer 400 to the speaker 403. If, on the other hand, only one source is active for the loudspeaker 403 at a time, the summation can of course be omitted.
  • the wave-field synthesis renderer 400 has practical limitations. So, given the facts The fact that the whole wave field synthesis concept is in any case relatively computationally intensive can only process a certain number of individual sources at the same time.
  • a typical maximum number of sources to be processed simultaneously is 32 sources. This number of 32 sources is sufficient for typical scenes, such as dialogues. However, this number is much too small when certain events occur, such as a rainy sound that is made up of a very large number of different different sound events.
  • a single sound event is the sound that a raindrop produces when it falls on a particular surface.
  • a disadvantage of this concept is that even there particle positions can not be generated, but only directions with respect to a listener can be used by stereo panning between two loudspeakers adjacent to the impact position of the droplet. Again, no optimal rain sound is generated for the listener.
  • the object of the present invention is to provide a concept for generating a loudspeaker signal which enables a higher quality reproduction of an audio source to be presented at different positions at different times in an audio scene.
  • the present invention is based on the finding that both the position and the time at which an audio source should occur in an audio scene can be generated synthetically.
  • a single impulse response is generated for each position.
  • the single-pulse response represents the image of the audio source, which is located at a certain position, to a loudspeaker or a loudspeaker signal.
  • the individual generated individual impulse response information are combined in the correct time, that is, depending on the time of occurrence associated with the onset positions, to obtain combination impulse response information for a loudspeaker channel.
  • the audio signal describing the audio source is then filtered using the combination impulse response information to finally obtain the speaker signal for the speaker channel, this speaker signal representing the audio source.
  • the loudspeaker channel loudspeaker signal represents the total signal that exists due to the audio signal that has occurred at various times in which the individual events of the occurrence of the raindrop in the reproduction room are uniquely located by determined virtual positions.
  • spatially distributed particles can be reproduced in a high repetition rate and in real time for large spaces.
  • sound sources can occur simultaneously at different points in the room and simulated simultaneously.
  • a high number of input channels is required according to the invention, since the signals are generated due to the individual sources within the wave field synthesis renderer.
  • a single audio object which comprises the raindrop audio signal is sufficient.
  • the number of more or less simultaneously occurring raindrops arranged at different virtual positions manifests itself only how many individual impulse responses are generated and combined.
  • the concept according to the invention leads to a considerable reduction in the computation time in comparison with the case in which a separate virtual source is created on a separate virtual source for each audio object - len position z. B. is provided via a control file a wave field synthesis renderer. Due to the summary of the individual impulse responses according to the invention, an arbitrarily high number of raindrops at different positions does not lead to a correspondingly large number of convolutions, but only results in a single convolution of a (large) impulse response with the audio signal representing the audio source (the raindrop) , This too is one reason why the concept according to the invention can be carried out very computationally efficiently.
  • any primary sound source is reproduced as often as desired virtually via wave field synthesis over an arbitrarily large listening surface.
  • the required computing power is many times lower than with current field-of-field synthesis algorithms.
  • a generation of parameters such as mean particle density per time, two-dimensional position in space, three-dimensional position in space, individual filtering of each particle by means of impulse response is performed by means of a random number generator.
  • the concept according to the invention can also be used favorably for X.Y multichannel surround format.
  • the raindrop falls on a piece of wood or on a sheet of metal, which of course results in different noises.
  • FIG. 2a shows a schematic representation of three different impulse responses for the audio source at different positions and different points in time
  • 2b shows a schematic representation of the individual impulse responses arranged with respect to the delays and of a combined impulse response generated by summation
  • FIG. 2c is a schematic illustration of the filtering of the audio signal for the audio source using a filter represented by the combined impulse response to obtain the loudspeaker signal for a loudspeaker channel;
  • FIG. 3 shows a block diagram of the device according to the invention according to a preferred embodiment of the present invention.
  • FIG. 4 is a schematic block diagram of a typical field-synthesis scenario.
  • Fig. 1 shows an overview diagram of a device according to the invention for generating a loudspeaker signal at an output 10 for a loudspeaker channel, which is associated with a loudspeaker (such as 403), which in a Playback environment is attachable to a speaker position of a plurality of speaker positions.
  • the preferred embodiment of the inventive apparatus shown in FIG. 1 includes means 12 for providing an audio signal for an audio source to occur at various locations and at different times in an audio scene.
  • the means for providing the audio signal is typically a storage medium on which an audio signal, e.g. As an incident raindrop or a sound of another particle, such as an approaching or departing spaceship z.
  • this audio signal for the audio source is once preferably permanently stored within the wave field synthesis renderer, such as a renderer 400 of FIG. 4, and therefore need not be supplied via the control file.
  • the audio signal can also be fed to the renderer via the control file.
  • the means 12 for providing the audio signal would be a control file together with associated readout / transmission means.
  • the device according to the invention further comprises a position generator for providing a plurality of positions at which the audio source is to occur.
  • the position generator 14 is configured to, when viewing FIG. 4, generate virtual positions that may be within or outside the playback environment. Assuming that at the top of the playback environment in Fig. 4 z. For example, if there is a screen on which a movie is projected, the virtual positions may of course also be behind the screen or in front of the screen.
  • the position generator 14 may be designed to hold arbitrary (x, y) positions within o to deliver the outside of the playback environment.
  • a z-position component can also be generated, that is to say whether the listener is to locate a source above or, if appropriate, even below itself.
  • the position generator is configured to provide arbitrary positions in the replay environment or outside the replay environment, or only positions in a particular screen, depending on the implementation of a single impulse response generator 16 described below. The generation of positions only within a certain raster is advantageous when a look-up table is used in the individual impulse response generator 16 which will be described below in order to generate at least a part or the complete single-impulse response.
  • a position rounding to the raster can take place either at the output of the position generator 14 or at the input of the individual impulse response generator 16.
  • arbitrary finely resolved positions can be processed by the single impulse response generator to calculate the single impulse responses without further position rounding / quantization.
  • the position generator 14 receives area information or volume information for the three-dimensional case, which indicate in which area positions are to be generated. In other words, the surface information defines an area perpendicular to the canvas, within which rain should fall.
  • the position generator 14 would be controlled by the area information to generate virtual positions x, y only in the front half where it is supposed to rain.
  • the device further comprises a time generator 18 for providing times of occurrence at which the audio source should occur, wherein a time assigned to a position generated by the position generator 14.
  • a time generator 18 for providing times of occurrence at which the audio source should occur, wherein a time assigned to a position generated by the position generator 14.
  • the time generator 18 is controlled by a density parameter, which, just like the area information for the position generator 14, is supplied by a parameter controller 19.
  • the time generator 18 thus receives as parameter the time density, ie the number of occurrence events of the audio source per time interval.
  • the time density for a time interval of, for example, 10 seconds controls how many raindrops, for example, 1,000 raindrops, should occur per second.
  • the time generator 18 is designed to deliver within such a time interval the time points Ti predetermined by the time density. As shown by a dashed line 17, it is also preferable to supply the time density information not only the timing generator 18 but also the position generator 14, so that the position generator always sitions the required amount of Po ⁇ "eject", which then by the However, it is not absolutely necessary that the density information be supplied to the position generator, which is unnecessary if the position generator is sufficiently fast Positions ejects and caches these positions so that they are supplied to the single impulse response generator 16 as needed, ie in association with time points or controlled by the temporal density information.
  • the single-pulse response generator 16 is configured to generate single-pulse response information for each position of the plurality of speaker channel locations.
  • the single-pulse response generator operates based on position and based on information about the speaker channel that is involved.
  • the loudspeaker signal for the left lower loudspeaker of the scenario in Fig. 4 will look different from the upper right loudspeaker of the scenario in Fig. 4.
  • the single-pulse response generator 16 will also be configured to account for the position information generated by the position generator.
  • the single impulse response generator will compute and express as "impulse response" a particular loudspeaker of the many loudspeakers that determine the replay environment of Fig. 4, such that when all loudspeakers "play" simultaneously, a user has the impression in that a raindrop at the position x, y, which has been generated by the position generator, has hit a certain surface.
  • the apparatus according to the invention further comprises a pulse response combiner for combining the single-pulse response information according to the times of occurrence to obtain combination-impulse response information for the speaker channel.
  • the Impulsantwortkombinierer is designed to ensure that many occurrences of the audio source ⁇ have occurred, and that these are the correct time, namely bined controlled by the time information with each other com-.
  • the preferred type of combination is an addition. However, weighted additions / subtractions can also be performed if certain effects are to be achieved. However, a preferred simple addition of the individual impulse responses IAi, taking into account the times of occurrence generated by the time generator 18.
  • the combination impulse response information generated by the impulse response combiner 20 is supplied to a filter (or filter device) 21 as well as the audio signal at the output of the device 12.
  • the filter 21 is a filter with adjustable impulse response, so with adjustable filter characteristic. While the audio signal at the output of the device 12 will typically be short, the combined impulse response output by the impulse response combiner 20 will be relatively long and vary widely. In principle, the combined impulse response can be arbitrarily long, depending on how long the effect generator is running. For example, if it runs for 30 minutes for a rain that lasts 30 minutes, then the length of the combined impulse response will also be of this order of magnitude.
  • the loudspeaker signal is obtained which, depending on the audio scene, is already the actual loudspeaker signal played by the loudspeaker, or which, if additional audio objects are reproduced by this loudspeaker, is a loudspeaker signal which can be reproduced with is added to a different loudspeaker signal for this loudspeaker to produce an overall loudspeaker signal, as will be explained later with reference to FIG.
  • the filter 21 is therefore formed exclusively to the audio signal using the combination of filtering tions pulse response information to obtain the speaker signal for the speaker channel, the NEN the occurrence of the audio source to the various positio ⁇ and at different times for specific speaker channel represents.
  • FIG. 2a Three individual impulse response information IA1, IA2, IA3 are shown in FIG. 2a.
  • Each of the three impulse responses additionally has a certain delay, ie a time lag or "memory", which the channel described by this impulse response has Delay of the first impulse response IAl is 1, while the delays of the second and third 2 and 3.
  • Fig. 2b the three impulse responses are shifted in time, taking into account their individual delays, and it can be seen that the impulse response IA3 is delayed by two delay pulses.
  • Fig. 2b the example shown in Fig.
  • the temporally correctly arranged single impulse responses are summed to obtain the result, ie the combination impulse response information.
  • values of the individual impulse responses located at the same time are added together and, if appropriate, subjected to a weighting factor before the addition or after the addition.
  • FIGS. 2a and 2b are only schematic.
  • the correct timing arrangement does not necessarily have to be executed directly in a processor's register memory before the summation occurs. Instead, it is preferable to subject the individual impulse responses immediately prior to the addition to temporal shift operations according to the delays and the required times of occurrence.
  • Fig. 2c shows the operation performed by the adjustable impulse response filter 21.
  • the combined impulse response in the uppermost field of Fig. 2c is convolved with the audio signal in the middle field of Fig. 2c to finally obtain the loudspeaker signal for a loudspeaker channel.
  • the convolution can take place either directly in the time domain as convolution.
  • both the impulse response and the audio signal may be transformed into the frequency domain such that the convolution results in a multiplication of the frequency domain representation of the audio signal and the frequency domain representation of the combined impulse response, which is now the transfer function.
  • the parameter control 19 is configured to To provide area information as a concrete area preferably in rectangular form.
  • a length 1 and a width b of a surface and a center M of this surface are provided. This can be used to indicate the area in the playback room, which raindrops should fall on, for example, so that either the entire playback room or only part of the playback environment is "rained" with rain
  • a particulate filter control signal F is supplied which is used in the block of position dependent filtering described later to produce a decorrelation between the raindrops, resulting in that the overall impression does not become synthetic. But realistically, especially since of course not all raindrops sound the same but differ within certain limits with respect to their sound, but according to the invention only one particle audio signal is provided for a certain period of time Differences in sound occur.
  • surface properties E are still supplied by the parameter control 19, which are likewise used in the position-dependent filtering in order, for. B. to signal that a raindrop falls on a wooden surface, on a metal surface or on a water surface, so on matter with different properties.
  • the random number generator 14 corresponds to the position generator 14 of FIG. 1, and preferably comprises as well as the time ⁇ controller 18 a real or pseudo-random generator to generate both the individual positions as well as the individual time points controlled by the surface parameters and the density parameter. Is dependent of a x generated by the event generator to ⁇ position, in which y in Fig. 3 of the preferred embodiment of the present invention has gone into a wave field synthesis parameter database.
  • a wave field synthesis parameter database an input value, namely position x, y, is assigned a set of single-pulse response information, each single-pulse response information of that set of single-pulse response information being provided to a speaker channel.
  • This pair of scale and delay represents the simplest form of single-pulse response information provided by the single-pulse response generator 16.
  • the impulse response represented by scale and delay has only a single value, namely at the time given by delay, and with an amplitude given by scale.
  • a further table in the block in addition to the access to the wave field synthesis parameter database 16a.
  • a "right" impulse response is output with more than one value that can model the tone color of the drop, so that a drop falling on a tin roof will have a different impulse response (IR) in block 16b get as a drop, which falls due to its position not on a tin roof but, for example, on a water surface.
  • the block "position-dependent filtering" 16b is thus a set of N filter impulse responses (Filter IR) output, again for each of the individual speakers.
  • a multiplication block 16c one multiplication then takes place per loudspeaker channel.
  • the impulse response represented by scale and delay is multiplied by the filter impulse response generated for the same loudspeaker channel in block 16b.
  • this multiplication has been performed for each of the N loudspeaker channels, one obtains a set of N single-pulse responses for each particle position, so for each raindrop, as shown in a block 16d.
  • a further or combined impulse response may be provided by which the sound of a raindrop is always slightly modified depending on the position but randomly generated. This ensures that not all raindrops that fall on a tin roof sound exactly the same, but that each or at least some of the raindrops sound different, in order to be more just to nature, in which all raindrops are not identical (but similar) listen.
  • the wave field synthesis algorithm results in low-pass filtering that can be perceived by a listener. It is therefore preferred to perform a predistortion in the filter impulse response in such a way that a preference of the high frequencies takes place such that, when the low-pass effect of the wave field synthesis algorithm occurs, the predistortion is compensated as precisely as possible.
  • the impulse response combiner 20 which is to be provided for each speaker channel, then calculates the combination impulse response for each loudspeaker channel and uses it for filtering in the filter 21 for each loudspeaker channel.
  • each loudspeaker channel such as the loudspeaker channel 1 (block 21 in FIG. 3)
  • the loudspeaker signal for this loudspeaker channel is present.
  • the representation of an adder 30 shown in FIG. 3 is to be understood symbolically.
  • N adders exist for each loudspeaker channel to represent the loudspeaker signal computed by a block 21 with a corresponding loudspeaker signal of another particulate generator 31 having different characteristics and of course also a loudspeaker signal for an audio object as represented by the control file 402 of FIG is to combine.
  • Such a loudspeaker signal is generated by a conventional wave field synthesis device 32.
  • the conventional wave-field synthesizer 32 could include a renderer 400 and a control file 402 as shown in FIG. After adding the individual loudspeaker signals for a loudspeaker channel, the resulting loudspeaker signal for this loudspeaker channel (block 33) can then be found at the output of an adder 30, which can then be transmitted to a loudspeaker such as the loudspeaker 403 of FIG. 4.
  • the random generator 14 With the help of the parameters from the parameter control, the random generator 14 thus generates positions at which particles are to occur. By the connected timer 18, the frequency of occurring particles is controlled.
  • the timing controller 18 serves as a time reference for the random number generator 14 and the impulse response generators 16a, 16b.
  • the wave field synthesis parameters scaling and delay are generated for each loudspeaker from a precalculated database (16a).
  • a filter impulse response corresponding to the position of the particle is generated, with the generation of the filter impulse response being optional in block 16b.
  • the filter impulse response (FIR filter) and the scaling are multiplied vectorially in block 16c. Taking into account the delay, the multiplied, ie scaled filter impulse response is then to some extent "inserted" into the impulse response of the impulse response generator 20.
  • this insertion into the impulse response of the impulse response generator is based on both the delay generated by block 16a and the particle's onset time, such as the start time, mid time, or end time the z. B. a raindrop is "active".
  • the filter impulse response provided by block 16b may also be processed equally with respect to the delay. Since the impulse response provided by block 16a has only one value, this processing simply results in the impulse response output by block 16b being shifted by the value of the delay. This shifting can either take place before insertion in block 20, or the insertion in block 20 can take place in consideration of this delay, which is preferred for reasons of computing time.
  • the impulse response generator 20 is a time buffer configured to sum up the generated impulse responses of the particles along with delays.
  • the timing is further adapted to always pass blocks having a predetermined block length of this time buffer to the FFT convolution in block 21 for each speaker channel. It is preferred to use an FFT convolution, that is a fast convolution based on the Fast Fourier Transform, for the filtering by means of the filter 21.
  • the FFT convolution fills the ever-changing impulse responses with a non-time-varying particle, namely the audio signal supplied from the particle audio signal block 12. For each pulse from the impulse response generator, a particle signal thus arises at the respective time in the FFT convolution. Since the FFT convolution is a block-oriented convolution, the particle audio signal can be switched with each block. Here it is preferred to compromise between the required computing power on the one hand and the rate of change of the particle audio signal on the other hand. The computing power of the FFT convolution is reduced with larger block sizes, on the other hand, the particle audio signal can only be switched with a larger delay, namely a block. Switching between particles audio signals for example, would be reasonable when switching from snow to rain, or when switching from rain to hail, or if, for example gen of a light rain with "small” drop in a harder Re ⁇ switched with "big” drop becomes.
  • the output signals of the FFT folds for each speaker channel can use the standard loudspeaker signals, as shown in Fig. 3 at 30, and of course also with at ⁇ whose particle generators are summed for each each speaker channel, and finally, the resulted animal end loudspeaker signal for a speaker channel.
  • the concept according to the invention is advantageous in that a true-to-nature spatial reproduction of frequently occurring sound objects over large listening ranges can be achieved in real time with the aid of a comparatively less computation-intensive computation method.
  • a particle audio signal can be duplicated per algorithm described. Due to the built-in position-dependent filtering, it is further preferred to achieve an alienation of the particle. Furthermore, different algorithms can be used in parallel to generate different particles, thus creating an efficient and lifelike sound scenario.
  • the inventive concept can be used both as an effect device for wave field synthesis systems and for any surround reproduction systems.
  • the three-dimensional system replaces the area information with volume information. Positions are then three-dimensional space positions. The particle density then becomes a particle size / (time 'volume)
  • the concept according to the invention is not limited to wave field systems of two-dimensional nature.
  • Real three-dimensional systems such as Ambisonics can also be controlled with modified coefficients (scale, delay, filter impulse response) in the single impulse response generator 16 (FIG. 1).
  • "Half" two-dimensional systems such as all X.
  • Y formats can also be about changing coefficients ⁇ be controlled.
  • the FFT convolution in the tunable impulse response filter device 21 can be made computationally favorable with all existing optimization techniques (half block length, blockwise decomposition of the impulse response). Examples For example, reference is made to William H. Press, et al., "Numerical Receipts in C,” 1998, Cambridge University Press.
  • the method according to the invention can be implemented in hardware or in software.
  • the implementation may be on a digital storage medium, in particular a floppy disk or CD with electronically readable control signals, which may interact with a programmable computer system such that the method is performed.
  • the invention thus also consists in a computer program product with a program code stored on a machine-readable carrier for carrying out the method when the computer program product runs on a computer.
  • the invention can thus be realized as a computer program with a program code for carrying out the method when the computer program runs on a computer.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Stereophonic System (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

Ein Partikelgenerator zum Erzeugen eines Lautsprechersignals für einen Lautsprecherkanal in einer Multikanal- Wiedergabeumgebung umfasst einen Positionsgenerator (14) zum Bereitstellen einer Mehrzahl von Positionen, an denen eine Audioquelle auftreten soll, sowie einen Zeitgenerator (18) zum Bereitstellen von Auftrittszeiten, zu denen die Audioquelle auftreten soll, wobei einer Position eine Zeit zugeordnet ist. Ferner ist ein Einzelimpulsantwortgenerator (16) zum Erzeugen von Einzelimpulsantwortinformationen für jede Position der Mehrzahl von Positionen vorgesehen. Eine Kombinationsimpulsantwort wird durch einen Impulsantwortkombinierer (20) zum Kombinieren der Einzelimpulsantwortinformationen gemäß den Auftrittszeitpunkten gebildet. Diese Gesamtimpulsantwort wird schließlich dazu verwendet, um ein Filter (21) einzustellen, mit dem schließlich das Audiosignal gefiltert wird.

Description

Vorrichtung und Verfahren zum Erzeugen eines Lautsprechersignals aufgrund einer zufällig auftretenden Audioquelle
Beschreibung
Die vorliegende Erfindung bezieht sich auf die Audiosignal- Verarbeitung und insbesondere auf die Audiosignalverarbeitung bei Systemen mit einer Vielzahl von Lautsprechern, wie beispielsweise Wellenfeldsynthese-Systemen .
Fig. 4 zeigt ein typisches Wellenfeldsynthese-Szenario. Herzstück des Wellenfeldsynthese-Systems ist der Wellen- feldsynthese-Renderer 400, der für jeden der einzelnen Lautsprecher 401, die sich um eine Wiedergabeumgebung herum gruppieren, ein eigenes Lautsprechersignal erzeugt. Im Einzelnen existiert zwischen dem Wellenfeldsynthese-Renderer 400 und jedem Lautsprecher somit ein Lautsprecherkanal, auf dem das Lautsprechersignal für diesen Lautsprecher von dem Wellenfeldsynthese-Renderer 400 übertragen wird. Eingangs- seitig wird der Wellenfeldsynthese-Renderer 400 von Steuerdaten versorgt, die typischerweise in einer Steuerdatei 402 angeordnet sind. Die Steuerdatei kann eine Liste von Audioobjekten umfassen, wobei jedem Audioobjekt eine virtuelle Position sowie ein Audiosignal zugeordnet ist. Die virtuelle Position ist die Position, die ein Zuhörer, der sich in der Wiedergabeumgebung befindet, lokalisieren wird.
Wenn in der Wiedergabeumgebung z. B. eine Filmleinwand angeordnet ist, so wird für den Zuschauer nicht nur ein optisches räumliches Szenario sondern auch ein klangliches räumliches Szenario erzeugt. Hierzu werden alle Lautspre- cherkanäle mit Lautsprechersignalen versorgt, die von demselben Audiosignal für eine Quelle, wie beispielsweise einen Schauspieler oder z. B. einen herannahenden Zug, abgeleitet sind. Alle diese Lautsprechersignale unterscheiden sich jedoch mehr oder weniger stark durch ihre Skalierung und ihr Delay des Eingangssignals. Die Skalierung und das Delay für die einzelnen Lautsprechersignale wird durch den Wellenfeldsynthese-Algorithmus erzeugt, der nach dem Hugy- en ' sehen Prinzip arbeitet. Wie es bekannt ist, basiert das Prinzip darauf, dass man jede beliebige Wellenform durch eine große Anzahl von Kugelwellen erzeugen kann. Indem die einzelnen Lautsprecher, die die einzelnen „Kugelwellen" liefern, mit dem gleichen Signal, jedoch mit unterschiedli- eher Skalierung und unterschiedlichem Delay beaufschlagt angesteuert werden, hat man dann, wenn man sich in der Wiedergabeumgebung befindet, den Eindruck einer einzigen Schallquelle, die sich nunmehr an der virtuellen Position befindet.
Treten mehrere Audioquellen zu einem Zeitpunkt gleichzeitig auf, jedoch an unterschiedlichen virtuellen Positionen, so wird der Wellenfeldsynthese-Renderer das oben beschriebene Prozedere für jedes einzelne Audioobjekt durchführen und dann, bevor die Lautsprechersignale über die Lautsprecherkanäle zu den einzelnen Lautsprechern übertragen werden, eine Aufsummation der einzelnen Komponentensignale durchführen. Wenn beispielsweise der Lautsprecher 403 betrachtet wird, der sich an einer bestimmten Lautsprecherposition be- findet, die bekannt ist, wird der Wellenfeldsynthese- Renderer für jedes Audioobjekt ein Komponentensignal erzeugen, das von dem Lautsprecher 403 abgespielt werden soll. Dann, wenn alle Komponentensignale für einen Zeitpunkt für den Lautsprecher 403 berechnet sind, werden die einzelnen Komponentensignale einfach aufaddiert, um das gemeinsame bzw. kombinierte Komponentensignal für den Lautsprecherkanal, der vom Wellenfeldsynthese-Renderer 400 zum Lautsprecher 403 geht, zu erhalten. Ist dagegen nur eine Quelle zu einem Zeitpunkt für den Lautsprecher 403 aktiv, so kann die Aufsummation natürlich entfallen.
Typischerweise hat der Wellenfeldsynthese-Renderer 400 praktische Begrenzungen. So wird er in Anbetracht der Tat- sache, dass das ganze Wellenfeldsynthese-Konzept ohnehin relativ rechenzeitintensiv ist, nur eine bestimmte Anzahl von einzelnen Quellen gleichzeitig verarbeiten können. Eine typische maximale Anzahl von gleichzeitig zu verarbeitenden Quellen liegt bei 32 Quellen. Diese Anzahl von 32 Quellen ist für typischen Szenen, wie beispielsweise Dialoge ausreichend. Allerdings ist diese Zahl viel zu gering, wenn bestimmte Ereignisse auftreten, wie beispielsweise ein Regengeräusch, das sich aus einer sehr großen Anzahl von ein- zelnen unterschiedlichen Klangereignissen zusammensetzt. Ein einzelnes Klangereignis ist nämlich das Geräusch, das ein Regentropfen erzeugt, wenn er auf eine bestimmte Oberfläche fällt.
Es ist ohne weiteres ersichtlich, dass 32 Regentropfen noch kein realistisches Regengeräusch erzeugen, wenn die 32 Regentropfen lokalisiert als einzelne Audioquellen modelliert werden würden.
Daher wurde bisher bei solchen zufälligen Prozessen, die viele Geräuschquellen umfassen, die einzeln nicht verarbeitet werden können, ein insgesamtes Regengeräusch erzeugt und z. B. gleichmäßig in alle Lautsprecherkanäle eingemischt. Allerdings führt dies dazu, dass das Hörerlebnis darunter leidet, dass im Gegensatz zur sonstigen Schallkulisse, die räumlich lokalisiert wahrgenommen werden kann, dies beim Regengeräusch nicht so ist.
Im AES Convention Paper „Generation of highly immersive at- mospheres for Wave Field Synthesis reproduction", A. Wag¬ ner, u. a., 116. Convention, 8.-11. May, Berlin, Deutschland, und in einer ähnlichen Diplomarbeit mit dem Titel „Entwicklung eines Systems zur Erstellung immersiver akustischer Atmosphären für die Wiedergabe mittels Klangfeld- synthese", von A. Walther und A. Wagner, 16. November 2004, werden immersive Atmosphären unter Verwendung von mit speziellen Mikrophonanordnungen aufgezeichneten Geräuschen erzeugt. Die Fachveröffentlichung „Computational Real-Time Sound Synthesis of Rain", S. J. Miklavcic, u. a., Proceedings of the Seventh International Conference on Digital Audio Ef- fects (DAFx '04), Neapel, Italien, 5. bis 8. Oktober 2004, bezieht sich auf die Echtzeitschallsynthese für Computerspiele unter Verwendung einer physikalischen Modellierung des Auftreffens von Regentropfen auf feste Oberflächen oder auf Wasser. Für eine Multi-Lautsprecher-Tonwiedergabe eines Systems mit fünf Lautsprechern, von denen zwei hinter dem Zuhörer, zwei vor dem Zuhörer und ein Lautsprecher in der Mitte vor dem Zuhörer positioniert sind, wird eine Aufschlagzone eines Regentropfens, die um den Zuhörer symmetrisch positioniert ist, in Kreissektoren aufgeteit, die ge- maß den Lautsprechern definiert sind. Unter Verwendung einer Zufallsverteilungsfunktion wird ein Tropfenaufschlag simuliert, indem der Sektor des Aufschlags bestimmt wird. Hierauf wird der Schalldruck des Aufschlags zwischen den zwei benachbarten Lautsprechern verteilt und darauf basie- rend ein Schallsignal für diese beiden Lautsprecher erzeugt.
Nachteilig an diesem Konzept ist, dass auch dort keine Partikelpositionen erzeugt werden können, sondern nur Richtun- gen bezüglich eines Zuhörers durch ein Stereo-Panning zwischen zwei der Auftreffposition des Tropfens benachbarten Lautsprechern einsetzbar ist. Wieder wird für den Zuhörer kein optimales Regengeräusch erzeugt.
Die Aufgabe der vorliegenden Erfindung besteht darin, ein Konzept zum Erzeugen eines Lautsprechersignals zu schaffen, durch das eine höher qualitative Wiedergabe einer Audioquelle ermöglicht wird, die an verschiedenen Positionen zu verschiedenen Zeiten in einer Audioszene auftreten soll.
Diese Aufgabe wird durch eine Vorrichtung gemäß Patentanspruch 1, ein Verfahren gemäß Patentanspruch 12 oder ein Computer-Programm gemäß Patentanspruch 13 gelöst. Der vorliegenden Erfindung liegt die Erkenntnis zugrunde, dass sowohl die Position als auch die Zeit, zu der eine Audioquelle in einer Audioszene auftreten soll, synthetisch erzeugt werden können. Abhängig von solchen synthetisch erzeugten Positionen und Zeiten wird erfindungsgemäß für jede Position eine Einzelimpulsantwort erzeugt. Insbesondere gibt die Einzelimpulsantwort die Abbildung der Audioquelle, die an einer bestimmten Position angeordnet ist, auf einen Lautsprecher bzw. ein Lautsprechersignal wieder. Hierauf werden die einzelnen erzeugten Einzel- Impulsantwortinformationen zeitrichtig, also abhängig von den Auftrittszeitpunkten, die den Auftrittspositionen zugeordnet sind, kombiniert, um Kombinations-Impulsantwort- Informationen für einen Lautsprecherkanal zu erhalten. Hierauf wird dann das Audiosignal, das die Audioquelle beschreibt, unter Verwendung der Kombinations-Impulsantwort- Informationen gefiltert, um schließlich das Lautsprechersignal für den Lautsprecherkanal zu erhalten, wobei dieses Lautsprechersignal die Audioquelle darstellt.
Im Gegensatz zu dem Audiosignal, das die Audioquelle unmittelbar darstellt, das also eine Aufzeichnung eines solchen einzelnen Ereignisses ist, wie beispielsweise eines auf- schlagenden Regentropfens, stellt das Lautsprechersignal für den Lautsprecherkanal das Gesamtsignal dar, das aufgrund des mehrfach zu bestimmten Zeitpunkten aufgetretenen Audiosignals existiert, wobei die einzelnen Ereignisse des Auftretens des Regentropfens im Wiedergaberaum eindeutig durch determinierte virtuelle Positionen lokalisiert sind.
Damit wird eine naturgetreue Regenkulisse innerhalb des Wiedergaberaums erzeugt, von der der Benutzer denkt, dass sie nicht nur entfernt irgendwo an der Leinwand oder hinter der Leinwand stattfindet, sondern von der der Zuhörer den Eindruck hat, dass er im wahrsten Sinn des Wortes „im Regen steht". Im Gegensatz zum Stand der Technik, bei dem typischerweise Impulsantworten stationär oder nur sehr langsam veränderlich sind, während das durch ein Filter, der durch die Impulsantwort bestimmt wird, gefilterte Audiosignal sehr stark veränderlich ist, wird erfindungsgemäß genau der andere Weg gegangen. So wird nur ein einziges typischerweise sehr kurzes Audiosignal genommen, das durch ein Filter gefiltert wird, welches durch eine typischerweise sehr lange Impulsantwort, die sich sehr stark zeitlich ändert, be- schrieben wird. Es wird also ein Filter erzeugt, das auch bei sehr großen Verzögerungen signifikante Impulsantwort- Werte hat, da diese Werte letztendlich einen Regentropfen- Aufschlag beispielsweise bestimmen, der zu einem bestimmten späte (re)n Zeitpunkt stattfindet.
Erfindungsgemäß wird also erreicht, dass insbesondere für große Räume ein einhüllender Effekt mittels zufällig auftretender Partikel, also z. B. kurzzeitig auftretender Schallquellen wie Regentropfen, erreicht wird. Ohne Hard- ware-Begrenzungen eines Wellenfeldsynthese-Renderers, der z. B. nur 32 Kanäle gleichzeitig rendern kann, kann erfindungsgemäß eine beliebige Häufigkeit der einzelnen Schallobjekte, wie beispielsweise Regentropfen, erzeugt werden.
Erfindungsgemäß können daher räumlich verteilte Partikel mit großer Wiederholrate und für große Räume in Echtzeit wiedergegeben werden. So können erfindungsgemäß Schallquellen gleichzeitig an unterschiedlichen Punkten im Raum auftreten und gleichzeitig simuliert werden. Insbesondere für große Räume mit einer dichten Belegung von Schallquellen wird erfindungsgemäß eine hohe Anzahl von Eingangskanälen benötigt, da die Signale aufgrund der einzelnen Quellen innerhalb des Wellenfeldsynthese-Renderers erzeugt werden. Für eine beliebig große Anzahl von Regentropfen beispiels- weise genügt ein einziges Audioobjekt, das das Audiosignal des Regentropfens umfasst. Die Anzahl der an verschiedenen virtuellen Positionen angeordneten mehr oder weniger gleichzeitig auftretenden Regentropfen äußert sich nur dar- an, wie viel einzelne Impulsantworten generiert und kombiniert werden.
Da die Erzeugung der einzelnen Impulsantworten jedoch ge- nauso wie die Kombination der einzelnen Impulsantworten re- chenzeiteffizient gestaltet werden können, führt das erfindungsgemäße Konzept zu einer erheblichen Rechenzeitverringerung im Vergleich zu dem Fall, bei dem für jedes Audioobjekt eine eigene virtuelle Quelle an einer eigenen virtuel- len Position z. B. über eine Steuerdatei einem Wellenfeld- synthese-Renderer bereitgestellt wird. Aufgrund der erfindungsgemäßen Zusammenfassung der einzelnen Impulsantworten führt eine beliebig hohe Anzahl von Regentropfen an verschiedenen Positionen nicht zu einer entsprechend großen Anzahl von Faltungen, sondern führt nur zu einer einzigen Faltung einer (großen) Impulsantwort mit dem Audiosignal, das die Audioquelle (den Regentropfen) darstellt. Auch dies ist ein Grund dafür, dass das erfindungsgemäße Konzept sehr rechenzeiteffizient ausführbar ist.
Erfindungsgemäß wird daher mit Hilfe eines neuartigen Algorithmus eine beliebige Primärschallquelle beliebig häufig virtuell über Wellenfeldsynthese über eine beliebig große Hörfläche wiedergegeben. Die benötigte Rechenleistung ist dabei um ein Vielfaches geringer als bei derzeitigen WeI- lenfeldsynthese-Algorithmen.
Vorzugsweise wird mittels eines Zufallszahlengenerators eine Erzeugung von Parametern wie mittlere Partikeldichte pro Zeit, zweidimensionale Position im Raum, dreidimensionale Position im Raum, individuelle Filterung jedes Partikels mittels Impulsantwort vorgenommen. Auch für X. Y-Multikanal- Surroundformat kann das erfindungsgemäße Konzept günstig eingesetzt werden.
Ferner wird es bevorzugt, mit Hilfe der Impulsantwort z. B. den Klang des Partikels, beispielsweise Regentropfen, zu verändern bzw. eine physikalische Eigenschaft zu simulie- ren, wie beispielsweise dass der Regentropfen auf ein Holz oder auf ein Blech fällt, was natürlich unterschiedliche Geräusche zur Folge hat.
Bevorzugte Ausführungsbeispiele der vorliegenden Erfindung werden nachfolgend Bezug nehmend auf die beiliegenden Zeichnungen detailliert erläutert. Es zeigen:
Fig. 1 ein schematisches Blockschaltbild des erfindungs- gemäßen Konzepts;
Fig. 2a eine schematische Darstellung von drei verschiedenen Impulsantworten für die Audioquelle an verschiedenen Positionen und verschiedenen Zeitpunk- ten;
Fig. 2b eine schematische Darstellung der zeitlich bezüglich der Verzögerungen angeordneten Einzelimpulsantworten und einer durch Aufsummation erzeugten kombinierten Impulsantwort;
Fig. 2c eine schematische Darstellung des Filterns des Audiosignals für die Audioquelle unter Verwendung eines Filters, das durch die kombinierte Impuls- antwort dargestellt ist, um das Lautsprechersignal für einen Lautsprecherkanal zu erhalten;
Fig. 3 ein Blockschaltbild der erfindungsgemäßen Vorrichtung gemäß einem bevorzugten Ausführungsbei- spiel der vorliegenden Erfindung; und
Fig. 4 ein Prinzipblockschaltbild eines typischen WeI- lenfeldsynthese-Szenarios .
Fig. 1 zeigt ein Übersichtsdiagramm einer erfindungsgemäßen Vorrichtung zum Erzeugen eines Lautsprechersignals an einem Ausgang 10 für einen Lautsprecherkanal, der einem Lautsprecher (wie beispielsweise 403) zugeordnet ist, der in einer Wiedergabeumgebung an einer Lautsprecherposition einer Mehrzahl von Lautsprecherpositionen anbringbar ist. Im Einzelnen umfasst die in Fig. 1 gezeigte bevorzugte Ausführungsform der erfindungsgemäßen Vorrichtung eine Einrich- tung 12 zum Liefern eines Audiosignals für eine Audioquelle, die an verschiedenen Positionen und zu verschiedenen Zeiten in einer Audioszene auftreten soll. Die Einrichtung zum Liefern des Audiosignals ist typischerweise ein Speichermedium, auf dem ein Audiosignal, das z. B. einen auf- treffenden Regentropfen oder ein Geräusch eines anderen Partikels, wie beispielsweise ein sich näherndes oder sich entfernendes Raumschiff z. B. für ein Weltraum- Computerspiel, ein Hufschlag eines Pferdes oder eines Rindes in einer Pferde-/Rinderherde, etc. ist. Erfindungsgemäß wird dieses Audiosignal für die Audioquelle einmal vorzugsweise innerhalb des Wellenfeldsynthese-Renderers, wie beispielsweise eines Renderers 400 von Fig. 4, fest abgespeichert und braucht daher nicht über die Steuerdatei zugeführt werden. Natürlich kann das Audiosignal auch über die Steuerdatei dem Renderer zugeführt werden. In diesem Fall wäre die Einrichtung 12 zum Liefern des Audiosignals eine Steuerdatei samt zugeordneter Auslese- /Übertragungseinrichtung.
Die erfindungsgemäße Vorrichtung umfasst ferner einen Positionsgenerator zum Bereitstellen einer Mehrzahl von Positionen, an denen die Audioquelle auftreten soll. Der Positionsgenerator 14 ist ausgebildet, um, wenn Fig. 4 betrachtet wird, virtuelle Positionen zu generieren, die sich inner- halb oder außerhalb der Wiedergabeumgebung befinden können. Wenn davon ausgegangen wird, dass sich am oberen Ende der Wiedergabeumgebung in Fig. 4 z. B. eine Leinwand befindet, auf die ein Film projiziert wird, so können die virtuellen Positionen selbstverständlich auch hinter der Leinwand oder vor der Leinwand sein.
Je nach Implementierung kann der Positionsgenerator 14 ausgebildet sein, um beliebige (x, y) -Positionen innerhalb o- der außerhalb der Wiedergabeumgebung zu liefern. Alternativ oder zusätzlich kann, je nach Ausführung des Lautsprecher- arrays auch eine z-Positions-Komponente erzeugt werden, also ob der Zuhörer eine Quelle über sich oder gegebenenfalls sogar unter sich lokalisieren soll. Des weiteren ist der Positionsgenerator ausgebildet, um je nach Implementierung eines nachfolgend beschriebenen Einzelimpulsantwortgenerators 16 beliebige Positionen in der Wiedergabeumgebung oder außerhalb der Wiedergabeumgebung zu liefern, oder nur Posi- tionen in einem bestimmten Raster. Die Erzeugung von Positionen nur innerhalb eines bestimmten Rasters ist dann vorteilhaft, wenn in dem nachfolgend noch beschriebenen Einzelimpulsantwortgenerator 16 eine Nachschlagtabelle eingesetzt wird, um zumindest einen Teil oder auch die komplette Einzelimpulsantwort zu erzeugen. Wird dagegen eine kontinuierliche Positionserzeugung durch den Positionsgenerator 14 vorgenommen, so kann entweder am Ausgang des Positionsgenerators 14 oder am Eingang des Einzelimpulsantwortgenerators 16 eine Positions-Rundung auf das Raster stattfinden. Al- ternativ können auch beliebig fein aufgelöste Positionen durch den Einzelimpulsantwortgenerator verarbeitet werden, um ohne weitere Positions-Rundungen/Quantisierungen die Einzelimpulsantworten zu berechnen. Eingangsseitig erhält der Positionsgenerator 14 Flächeninformationen oder VoIu- meninformationen für den dreidimensionalen Fall, die anzeigen, in welchem Bereich Positionen erzeugt werden sollen. In anderen Worten ausgedrückt definieren die Flächeninformationen eine typischerweise zur Leinwand senkrecht stehende Fläche, innerhalb derer Regen fallen soll. So könnte beispielsweise der Wunsch bestehen, einen Regen derart zu simulieren, dass die vordere Hälfte der Wiedergabeumgebung, also die vordere Hälfte der Zuschauer unter einem Blechdach angeordnet ist, während die hintere Hälfte der Zuschauer gewissermaßen „im Regen" sitzt. Hierzu würde der Positions- generator in der gesamten Wiedergabeumgebung Positionen erzeugen können, da es in der gesamten Wiedergabeumgebung regnet. Ist die Anforderung jedoch derart, dass z. B. nur in der vorderen Hälfte der Wiedergabeumgebung ein Regen stattfinden soll, während es in der hinteren Hälfte aus irgendwelchen Gründen nicht regnen soll, so würde der Positionsgenerator 14 durch die Flächeninformationen gesteuert werden, um nur in der vorderen Hälfte, wo es regnen soll, virtuelle Positionen x, y zu erzeugen.
Die erfindungsgemäße Vorrichtung umfasst ferner einen Zeitgenerator 18 zum Bereitstellen von Auftrittszeiten, zu denen die Audioquelle auftreten soll, wobei einer Position, die vom Positionsgenerator 14 erzeugt wird, eine Zeit zugeordnet ist. Es existieren somit einander zugeordnete Paare Pi, Ti, wobei Pi eine Position mit der Nummer i darstellt, während Ti eine Zeit mit der Nummer i darstellt, zu der die Position Pi aktiv sein soll. Vorzugsweise wird der Zeitge- nerator 18 von einem Dichteparameter gesteuert, welcher e- benso wie die Flächeninformationen für den Positionsgenerator 14 von einer Parametersteuerung 19 geliefert wird. Der Zeitgenerator 18 erhält als Parameter somit die zeitliche Dichte, also die Anzahl von Auftrittsereignissen der Audio- quelle pro Zeitintervall. In anderen Worten ausgedrückt steuert die zeitliche Dichte für ein Zeitintervall von beispielsweise 10 Sekunden, wie viel Regentropfen, nämlich beispielsweise 1.000 Regentropfen, pro Sekunde auftreten sollen. Eine kleinere zeitliche Dichte führt zu weniger Tropfen, während eine größere zeitliche Dichte zu mehr Tropfen pro einem festen Zeitintervall führt. Der Zeitgenerator 18 ist ausgebildet, um innerhalb eines solchen Zeitintervalls die durch die zeitliche Dichte vorgegebenen Zeitpunkte Ti zu liefern. Wie es durch eine gestrichelte Leitung 17 dargestellt ist, wird es auch bevorzugt, die zeitliche Dichteinformation nicht nur dem Zeitgenerator 18 sondern auch dem Positionsgenerator 14 zuzuführen, damit der Positionsgenerator immer die erforderliche Menge an Po¬ sitionen „auswirft", denen dann die durch den Zeitgenerator 18 erzeugten Zeiten zugeordnet werden können. Es ist jedoch nicht unbedingt erforderlich, dass die Dichteinformationen dem Positionsgenerator zugeführt werden. Dies ist dann entbehrlich, wenn der Positionsgenerator ausreichend schnell Positionen auswirft und diese Positionen zwischenspeichert, damit sie bei Bedarf, also in Zuordnung zu Zeitpunkten bzw. gesteuert von der zeitlichen Dichteinformation dem Einzelimpulsantwortgenerator 16 zugeführt werden.
Allgemein ist der Einzelimpulsantwortgenerator 16 ausgebildet, um Einzelimpulsantwortinformationen für jede Position der Mehrzahl von Positionen für einen Lautsprecherkanal zu erzeugen. Insbesondere arbeitet der Einzelimpulsantwortge- nerator basierend auf der Position und basierend auf Informationen über den Lautsprecherkanal, um den es geht. So ist es klar, dass das Lautsprechersignal für den linken unteren Lautsprecher des Szenarios in Fig. 4 anders als für den rechten oberen Lautsprecher des Szenarios in Fig. 4 ausse- hen wird. Ferner wird der Einzelimpulsantwortgenerator 16 auch ausgebildet sein, um die Positionsinformation, die vom Positionsgenerator erzeugt worden ist, zu berücksichtigen. Der Einzelimpulsantwortgenerator wird also den „Anteil", den ein bestimmter Lautsprecher der vielen Lautsprecher, die die Wiedergabeumgebung von Fig. 4 bestimmen, berechnen und als Impulsantwort ausdrücken, derart, dass dann, wenn alle Lautsprecher gleichzeitig „spielen", ein Benutzer den Eindruck hat, dass ein Regentropfen an der Position x, y, die durch den Positionsgenerator erzeugt worden ist, auf eine bestimmte Oberfläche aufgetroffen ist.
Die erfindungsgemäße Vorrichtung umfasst ferner einen Im- pulsantwortkombinierer zum Kombinieren der Einzelimpulsantwortinformationen gemäß den Auftrittszeiten, um Kombinati- ons-Impulsantwortinformationen für den Lautsprecherkanal zu erhalten. Der Impulsantwortkombinierer ist ausgebildet, um sicherzustellen, dass viele Auftrittsereignisse der Audio¬ quelle aufgetreten sind, und dass diese zeitrichtig, nämlich gesteuert durch die Zeitinformationen miteinander kom- biniert werden. Die bevorzugte Art der Kombination ist eine Addition. Jedoch können auch gewichtete Additionen/Subtraktionen durchgeführt werden, wenn bestimmte Effekte erzielt werden sollen. Bevorzugt wird jedoch eine einfache Aufaddition der einzelnen Impulsantworten IAi, und zwar unter Berücksichtigung der von dem Zeitgenerator 18 erzeugten Auftrittszeiten.
Die von dem Impulsantwortkombinierer 20 erzeugten Kombina- tions-Impulsantwortinformationen werden schließlich genauso wie das Audiosignal am Ausgang der Einrichtung 12 einem Filter (bzw. einer Filtervorrichtung) 21 zugeführt. Das Filter 21 ist ein Filter mit einstellbarer Impulsantwort, also mit einstellbarer Filtercharakteristik. Während das Audiosignal am Ausgang der Einrichtung 12 typischerweise kurz sein wird, wird die kombinierte Impulsantwort, die durch den Impulsantwortkombinierer 20 ausgegeben wird, relativ lang sein und stark variieren. Prinzipiell kann die kombinierte Impulsantwort beliebig lang sein, abhängig davon, wie lange der Effektgenerator läuft. Läuft er beispielsweise 30 Minuten für einen Regen, der 30 Minuten dauert, so wird die Länge der kombinierten Impulsantwort ebenfalls in dieser Größenordnung sein.
Auf jeden Fall wird am Ausgang des Filters 21 das Lautsprechersignal erhalten, das je nach Audioszene bereits das tatsächliche Lautsprechersignal ist, das von dem Lautsprecher abgespielt wird, oder das, wenn zusätzliche Audioob- jekte von diesem Lautsprecher wiedergegeben werden, ein Lautsprechersignal ist, das mit einem anderen Lautsprechersignal für diesen Lautsprecher aufaddiert wird, um ein Gesamtlautsprechersignal zu erzeugen, wie es später noch anhand von Fig. 3 erläutert wird. Das Filter 21 ist also aus- gebildet, um das Audiosignal unter Verwendung der Kombina- tions-Impulsantwortinformationen zu filtern, um das Lautsprechersignal für den Lautsprecherkanal zu erhalten, das das Auftreten der Audioquelle an den verschiedenen Positio¬ nen und zu den verschiedenen Zeiten für einen bestimmten Lautsprecherkanal darstellt.
Nachfolgend wird anhand von Fig. 2a bis 2c die Funktionalität des Impulsantwortkombinierers 20 dargestellt. Lediglich beispielhaft sind in Fig. 2a drei Einzelimpulsantwortinformationen IAl, IA2, IA3 dargestellt. Jede der drei Impulsantworten hat zusätzlich noch eine bestimmte Delay, also eine zeitliche Verzögerung bzw. ein „Gedächtnis", das der Kanal hat, der durch diese Impulsantwort beschrieben wird. Die Delay der ersten Impulsantwort IAl beträgt 1, während die Delays der zweiten und dritten Impulsantwort IA2 und IA3 gleich 2 bzw. 3 sind. Nunmehr werden, wie es in Fig. 2b ersichtlich ist, die drei Impulsantworten unter Berücksich- tigung ihrer einzelnen Delays zeitlich verschoben angeordnet. Es ist zu sehen, dass die Impulsantwort IA3 um zwei Delay-Einheiten bezüglich der Impulsantwort IAl verschoben ist. Das in Fig. 2a gezeigte Beispiel beschreibt den Fall, bei dem die Auftrittszeitpunkte Tl, Ti identisch sind, und zwar den Zeitpunkt T = O betreffend. Würde jedoch z. B. der Auftrittszeitpunkt T3 um drei Zeiteinheiten nach hinten bezüglich der Auftrittszeitpunkte der beiden anderen Impulsantworten verschoben sein, so würde die Impulsantwort IA3 erst zum Zeitpunkt 6 im oberen Teilbild von Fig. 2b star- ten.
Hierauf werden die zeitlich korrekt angeordneten Einzelimpulsantworten aufsummiert, um das Ergebnis, also die Kombi- nations-Impulsantwortinformationen zu erhalten. Insbesonde- re werden zu gleichen Zeitpunkten befindliche Werte der einzelnen Impulsantworten addiert und gegebenenfalls vor der Addition oder nach der Addition einer Gewichtung mit einem Gewichtungsfaktor unterzogen.
An dieser Stelle sei darauf hingewiesen, dass die Darstellung in den Fig. 2a und 2b nur schematisch ist. So muss die zeitliche korrekte Anordnung nicht unbedingt direkt in einem Registerspeicher eines Prozessors ausgeführt werden, bevor die Aufsummation stattfindet. Statt dessen wird es bevorzugt, die einzelnen Impulsantworten unmittelbar vor der Aufaddition zeitlichen Verschiebungsoperationen gemäß den Delays und den erforderlichen Auftrittszeitpunkten zu unterziehen. Fig. 2c zeigt schließlich die Operation, die durch das Filter 21 mit einstellbarer Impulsantwort durchgeführt wird. Insbesondere wird die kombinierte Impulsantwort im obersten Teilbild von Fig. 2c mit dem Audiosignal im mittleren Teilbild von Fig. 2c gefaltet, um schließlich das Lautsprechersignal für einen Lautsprecherkanal zu erhalten. Die Faltung kann entweder unmittelbar im Zeitbereich als Faltung stattfinden. Alternativ können sowohl die Impulsantwort als auch das Audiosignal in den Frequenzbereich transformiert werden, sodass aus der Faltung eine Multiplikation der Frequenzbereichsdarstellung des Audiosignals und der Frequenzbereichsdarstellung der kombinierten Impulsantwort, die nunmehr die Übertragungsfunktion ist, wird.
Je nach Implementierung können auch andere typischerweise blockorientierte Faltungs-Algorithmen, wie beispielsweise die FFT-Faltung eingesetzt werden. Hierbei ist günstig, dass die Kombinations-Impulsantwort immer blockweise er- zeugt wird. So ist zu sehen, dass ohne weiteres bereits der Abschnitt der kombinierten Impulsantwort von den Zeiten 1 bis 4 bereits verwendet werden kann, während spätere Abschnitte zu späteren Zeiten gerade berechnet werden. Damit wird sichergestellt, dass das erfindungsgemäße Konzept re- lativ verzögerungsarm und damit mit einem begrenzten Aufwand an Pufferspeicher implementierbar ist.
Nachfolgend wird Bezug nehmend auf Fig. 3 auf bevorzugte Implementierungen des erfindungsgemäßen Konzepts eingegan- gen, und zwar insbesondere auf die Erzeugung der Lautsprechersignale für nicht nur einen Lautsprecherkanal, sondern für viele Lautsprecherkanäle, wobei darauf hingewiesen wird, dass die Erzeugung eines Lautsprechersignals für einen Lautsprecherkanal prinzipiell für alle anderen Laut- sprecherkanäle gleich abläuft.
Bei dem in Fig. 3 gezeigten bevorzugten Ausführungsbeispiel der Erfindung ist die Parametersteuerung 19 ausgebildet, um Flächeninformationen als konkrete Fläche vorzugsweise in rechteckiger Form zu liefern. So werden eine Länge 1 und eine Breite b einer Fläche sowie ein Mittelpunkt M dieser Fläche bereitgestellt. Damit kann die Fläche im Wiedergabe- räum, auf die beispielsweise die Regentropfen fallen sollen, angegeben werden, und zwar dahingehend, dass entweder der gesamte Wiedergaberaum oder nur ein Teil der Wiedergabeumgebung mit Regen „beregnet" werden soll. Ferner wird eine Partikeldichte angegeben, also die Anzahl der Partikel pro einem Zeitfenster. Darüber hinaus wird ein Partikelfiltersteuersignal F geliefert, das bei dem noch später beschriebenen Block der positionsabhängigen Filterung eingesetzt wird, um eine Dekorrelation zwischen den Regentropfen zu erzeugen. Dies führt dazu, dass der insgesamte Eindruck nicht synthetisch wird, sondern realistisch wird, zumal natürlich nicht alle Regentropfen gleich klingen sondern in gewissen Grenzen bezüglich ihres Klangs voneinander abweichen. Allerdings wird erfindungsgemäß nur ein Partikelaudiosignal für eine bestimmte Zeitdauer bereitgestellt. Das Partikelfilter stellt jedoch sicher, dass unter diesen eigentlich gleichen Regentropfen Unterschiede im Klang auftreten.
Schließlich werden von der Parametersteuerung 19 noch Flä- cheneigenschaften E geliefert, die ebenfalls bei der positionsabhängigen Filterung eingesetzt werden, um z. B. zu signalisieren, dass ein Regentropfen auf eine Holzoberfläche, auf eine Blechoberfläche oder auf eine Wasseroberfläche, also auf Materien mit verschiedenen Eigenschaften fällt.
Der Zufallsgenerator 14 entspricht dem Positionsgenerator 14 von Fig. 1 und umfasst vorzugsweise ebenso wie die Zeit¬ steuerung 18 einen echten oder Pseudozufallsgenerator, um sowohl die einzelnen Positionen als auch die einzelnen Zeitpunkte gesteuert durch den Flächenparameter und den Dichteparameter zu erzeugen. Abhängig von einer vom Zu¬ fallsgenerator erzeugten Position x, y wird bei dem in Fig. 3 gezeigten bevorzugten Ausführungsbeispiel der vorliegenden Erfindung in eine Wellenfeldsynthese-Parameter- Datenbank gegangen. In dieser Wellenfeldsynthese-Parameter- Datenbank ist einem Eingangswert, nämlich der Position x, y, ein Satz von Einzelimpulsantwortinformationen zugeordnet, wobei jede Einzelimpulsantwortinformation dieses Satzes von Einzelimpulsantwortinformationen für einen Lautsprecherkanal vorgesehen ist. Für jeden einer Anzahl von N Lautsprechern bzw. für jede einer Anzahl von N Lautspre- chergruppen werden nunmehr ein Skalierungswert (Scale) und eine Verzögerung (Delay) geliefert. Dieses Paar aus Scale und Delay stellt die einfachste Form der Einzelimpulsantwortinformationen dar, die durch den Einzelimpulsantwortgenerator 16 geliefert werden. Die Impulsantwort, die durch Scale und Delay dargestellt ist, hat nur einen einzigen Wert, nämlich zum Zeitpunkt der durch Delay gegeben ist, und mit einer Amplitude, die durch Scale gegeben ist.
Es wird jedoch bevorzugt, neben dem Zugriff auf die Wellen- feldsynthese-Parameter-Datenbank 16a auch eine weitere Tabelle im Block (positionsabhängige Filterung 16b) zu verwenden. Abhängig von der Position x, y wird eine „richtige" Impulsantwort mit mehr als einem Wert ausgegeben, die die Klangfarbe des Tropfens modellieren kann. So wird ein Trop- fen, der auf ein Blechdach fällt, eine andere Impulsantwort (IR) im Block 16b bekommen als ein Tropfen, der aufgrund seiner Position nicht auf ein Blechdach sondern z. B. auf eine Wasserfläche fällt. Durch den Block „positionsabhängige Filterung" 16b wird also ein Satz von N Filter- Impulsantworten (Filter-IR) ausgegeben, und zwar wieder für jeden der einzelnen Lautsprecher. In einem Multiplikationsblock 16c findet dann eine Multiplikation pro Lautsprecherkanal statt. Insbesondere wird die durch Scale und Delay dargestellte Impulsantwort mit der für denselben Lautspre- cherkanal im Block 16b erzeugten Filter-Impulsantwort multipliziert. Wenn diese Multiplikation für jeden der N Lautsprecherkanäle durchgeführt worden ist, erhält man einen Satz von N Einzelimpulsantworten für jede Partikelposition, also für jeden Regentropfen, wie es in einem Block 16d dargestellt ist.
Durch den Block 16b können ferner weitere Funktionalitäten implementiert werden. Zusätzlich zur Bereitstellung eines positionsabhängigen Filters, das die Klangfarbe des Regentropfens berücksichtigt, kann ferner eine weitere oder kombinierte Impulsantwort bereitgestellt werden, durch die abhängig von der Position, jedoch zufällig generiert, der Klang eines Regentropfens immer etwas modifiziert wird. Damit wird sichergestellt, dass sich nicht alle Regentropfen, die auf ein Blechdach fallen, genau gleich anhören, sondern dass sich jeder bzw. wenigstens einige der Regentropfen unterschiedlich anhören, um somit der Natur gerechter zu wer- den, bei der sich alle Regentropfen nicht identisch (aber ähnlich) anhören.
Des weiteren wird es bevorzugt, in der durch den Block 16b bereitgestellten Impulsantwort auch das Tiefpass-Artefakt der Wellenfeldsynthese zu berücksichtigen. So hat sich herausgestellt, dass der Wellenfeldsynthese-Algorithmus dazu führt, dass eine Tiefpassfilterung stattfindet, die durch eine Zuhörer wahrgenommen werden kann. Es wird daher bevorzugt, in der Filter-Impulsantwort bereits eine Vorverzer- rung durchzuführen, derart, dass eine Bevorzugung der hohen Frequenzen stattfindet, derart, dass dann, wenn der Tiefpasseffekt des Wellenfeldsynthese-Algorithmus auftritt, die Vorverzerrung möglichst genau kompensiert ist.
Für die Impulsantworten für die N Lautsprecher pro Parti¬ kelposition, die im Block 16d ermittelt worden sind, wird dieses Prozedere für andere Partikelpositionen wiederholt, sodass, wie es bereits anhand von Fig. 2a dargestellt wor¬ den ist, nunmehr für jede Partikelposition eine Filter- Impulsantwort vorhanden ist, die bereits mit dem Skalie¬ rungswert (Scale), der durch den Block 16a geliefert wird, skaliert ist, und der die Verzögerung (Delay) zugeordnet ist, wie es anhand von Fig. 2a bereits erläutert worden ist .
Durch den Impulsantwortkombinierer 20, der für jeden Laut- sprecherkanal vorzusehen ist, wird dann für jeden Lautsprecherkanal die Kombinations-Impulsantwort berechnet und für jeden Lautsprecherkanal zum Filtern im Filter 21 verwendet.
Am Ausgang jedes Lautsprecherkanals, wie beispielsweise des Lautsprecherkanals 1 (Block 21 in Fig. 3) liegt dann das Lautsprechersignal für diesen Lautsprecherkanal vor. Insofern ist die in Fig. 3 gezeigte Darstellung eines Addierers 30 symbolisch zu verstehen. In der Tat existieren N Addierer, um für jeden Lautsprecherkanal das durch einen Block 21 berechnete Lautsprechersignal mit einem entsprechenden Lautsprechersignal eines anderen Partikelgenerators 31 mit anderen Eigenschaften und natürlich auch mit einem Lautsprechersignal für ein Audioobjekt, wie es durch das Steuerfile 402 von Fig. 4 dargestellt ist, zu kombinieren. Ein solches Lautsprechersignal wird durch eine herkömmliche Wellenfeldsyntheseanordnung 32 generiert. Die herkömmliche Wellenfeldsynthesevorrichtung 32 könnte beispielsweise einen Renderer 400 und einer Steuerdatei 402, wie sie in Fig. 4 dargestellt worden sind, umfassen. Am Ausgang eines Ad- dierers 30 findet sich dann nach einer Addition der einzelnen Lautsprechersignale für einen Lautsprecherkanal das resultierende Lautsprechersignal für diesen Lautsprecherkanal (Block 33) , das dann zu einem Lautsprecher, wie beispielsweise dem Lautsprecher 403 von Fig. 4, übermittelt werden kann.
Mit Hilfe der Parameter aus der Parametersteuerung erzeugt der Zufallsgenerator 14 somit Positionen, an denen Partikel auftreten sollen. Durch die angeschlossene Zeitsteuerung 18 wird die Häufigkeit der auftretenden Partikel gesteuert. Die Zeitsteuerung 18 dient als Zeitreferenz für den Zufallsgenerator 14 und die Impulsantwortgeneratoren 16a, 16b. Mit der Partikelposition aus dem Zufallsgenerator 14 werden zum einen die Wellenfeldsyntheseparameter Skalierung und Verzögerung für jeden Lautsprecher aus einer vorberechneten Datenbank (16a) erzeugt. Zum anderen wird eine Filterimpulsantwort entsprechend der Position des Partikels erzeugt, wobei die Erzeugung der Filterimpulsantwort in Block 16b optional ist. Die Filterimpulsantwort (FIR- Filter) und die Skalierung werden in Block 16c vektoriell multipliziert. Unter Berücksichtigung der Verzögerung wird dann die multiplizierte, also skalierte Filterimpulsantwort gewissermaßen in die Impulsantwort des Impulsantwortgenerators 20 „eingefügt".
Es sei darauf hingewiesen, dass diese Einfügung in die Impulsantwort des Impulsantwortgenerators sowohl basierend auf der Delay, die durch den Block 16a erzeugt wird, als auch basierend auf einer Auftrittszeit des Partikels, wie beispielsweise dem Anfangszeitpunkt, einem mittleren Zeitpunkt oder einem Endzeitpunkt erfolgt, zu dem z. B. ein Regentropfen „aktiv" ist.
Alternativ kann die Filter-Impulsantwort, die durch den Block 16b geliefert wird, auch gleich im Hinblick auf die Delay verarbeitet werden. Da die Impulsantwort, die durch den Block 16a geliefert wird, nur einen Wert hat, führt diese Verarbeitung einfach dazu, dass die Impulsantwort, die durch den Block 16b ausgegeben wird, um den Wert der Delay verschoben wird. Dieses Verschieben kann entweder bereits vor dem Einfügen im Block 20 stattfinden, oder die Einfügung in dem Block 20 kann unter Berücksichtigung die- ser Delay erfolgen, was aus Rechenzeitgründen bevorzugt wird.
Bei einem bevorzugten Ausführungsbeispiel der vorliegenden Erfindung ist der Impulsantwortgenerator 20 ein Zeitpuffer, der ausgebildet ist, um die generierten Impulsantworten der Partikel samt Verzögerungen aufzusummieren. Die Zeitsteuerung ist ferner ausgebildet, um immer Blöcke mit einer vorbestimmten Blocklänge dieses Zeitpuffers an die FFT-Faltung im Block 21 für jeden Lautsprecherkanal weiterzugeben. Es wird bevorzugt, für die Filterung mittels des Filters 21 eine FFT-Faltung zu verwenden, also eine schnelle Faltung, die auf der Fast Fourier Transform basiert.
Die FFT-Faltung faltet die sich ständig ändernden Impuls- antworten mit einem sich zeitlich nicht ändernden Partikel, nämlich mit dem Audiosignal, das aus dem Block Partikel- Audiosignal 12 geliefert wird. Für jeden Impuls aus dem Impulsantwortgenerator entsteht also zu dem jeweiligen Zeitpunkt in der FFT-Faltung ein Partikelsignal. Da die FFT- Faltung eine blockorientierte Faltung ist, kann das Partikelaudiosignal mit jedem Block umgeschaltet werden. Hier wird es bevorzugt, einen Kompromiss einzugehen zwischen benötigter Rechenleistung einerseits und Änderungsgeschwindigkeit des Partikelaudiosignals andererseits. Die Rechen- leistung der FFT-Faltung verringert sich mit größeren Blockgrößen, andererseits kann das Partikelaudiosignal nur mit einer größeren Verzögerung, nämlich einem Block, umgeschaltet werden. Eine Umschaltung zwischen Partikelaudiosignalen wäre beispielsweise dann vernünftig, wenn von Schnee auf Regen umgeschaltet wird, oder wenn von Regen auf Hagel umgeschaltet wird, oder wenn beispielsweise von einem leichten Regen mit „kleinen" Tropfen auf einen härteren Re¬ gen mit „großen" Tropfen umgeschaltet wird.
Die Ausgangssignale der FFT-Faltungen für jeden Lautsprecherkanal können mit den Standard-Lautsprechersignalen, wie es in Fig. 3 bei 30 gezeigt ist, und natürlich auch mit an¬ deren Partikelgeneratoren für jeweils jeden einzelnen Lautsprecherkanal aufsummiert werden, um schließlich das resul- tierende Lautsprechersignal für einen Lautsprecherkanal zu erhalten. Das erfindungsgemäße Konzept ist dahingehend vorteilhaft, dass eine naturgetreue räumliche Wiedergabe von häufig auftretenden Schallobjekten über große Hörbereiche in Echtzeit mit Hilfe eines vergleichsweise nicht sehr rechenintensiven Rechenverfahrens erreicht werden kann.
Ferner kann ein Partikelaudiosignal pro beschriebenem Algorithmus vervielfältigt werden. Durch die eingebaute positionsabhängige Filterung wird es ferner bevorzugt, auch eine Verfremdung des Partikels zu erzielen. Ferner können verschiedene Algorithmen parallel genutzt werden, um unterschiedliche Partikel zu generieren, sodass ein effizientes und naturgetreues Schallszenario erzeugt wird.
Das erfindungsgemäße Konzept kann sowohl als Effektgerät für Wellenfeldsynthese-Systeme als auch für beliebige Sur- round-Wiedergabesysteme eingesetzt werden.
Abweichend von dem vorstehend beschriebenen zweidimensiona- len System wird es für das dreidimensionale System bevorzugt, die flächeninformationen durch Volumeninformationen zu ersetzen. Positionen sind dann dreidimensionale Raumpositionen. Die Partikeldichte wird dann zu einer Größe Partikel/ (Zeit ' Volumen)
Das erfindungsgemäße Konzept ist ferner nicht auf Wellen- feldsysteme zweidimensionaler Natur beschränkt. Auch echte dreidimensionale Systeme wie Ambisonics können mit veränderten Koeffizienten (Scale, Delay, Filter-Impulsantwort) im Einzelimpulsantwortgenerator 16 (Fig. 1) angesteuert werden. „Halbe" zweidimensionale Systeme wie sämtliche X. Y- Formate können ebenso über veränderte Koeffizienten ange¬ steuert werden.
Die FFT-Faltung in der Filtervorrichtung mit einstellbarer Impulsantwort 21 (Fig. 1) kann mit allen existierenden Optimierungsverfahren (halbe Blocklänge, blockweise Zerlegung der Impulsantwort) rechengünstig gestaltet werden. Bei- spielsweise wird auf William H. Press, et al., „Numerical Receipts in C", 1998, Cambridge University Press, verwiesen.
Abhängig von den Gegebenheiten kann das erfindungsgemäße Verfahren in Hardware oder in Software implementiert werden. Die Implementierung kann auf einem digitalen Speichermedium, insbesondere einer Diskette oder CD mit elektronisch auslesbaren Steuersignalen erfolgen, die so mit einem programmierbaren Computersystem zusammenwirken können, dass das Verfahren ausgeführt wird. Allgemein besteht die Erfindung somit auch in einem Computer-Programm-Produkt mit einem auf einem maschinenlesbaren Träger gespeicherten Programmcode zur Durchführung des Verfahrens, wenn das Compu- ter-Programm-Produkt auf einem Rechner abläuft. In anderen Worten ausgedrückt kann die Erfindung somit als ein Computer-Programm mit einem Programmcode zur Durchführung des Verfahrens realisiert werden, wenn das Computer-Programm auf einem Computer abläuft.

Claims

Patentansprüche
Vorrichtung zum Erzeugen eines Lautsprechersignals für einen Lautsprecherkanal, der einem Lautsprecher zugeordnet ist, der in einer Wiedergabeumgebung an einer Lautsprecherposition einer Mehrzahl von Lautsprecherpositionen anbringbar ist, mit folgenden Merkmalen:
einer Einrichtung (129 zum Liefern eines Audiosignals für eine Audioquelle, die an verschiedenen Positionen und zu verschiedenen Zeiten in einer Audioszene auftreten soll;
einem Positionsgenerator (14) zum Bereitstellen einer Mehrzahl von Positionen, an denen die Audioquelle auftreten soll;
einem Zeitgenerator (18) zum Bereitstellen von Auftrittszeiten, zu denen die Audioquelle auftreten soll, wobei einer Position eine Zeit zugeordnet ist;
einem Einzelimpulsantwortgenerator (16) zum Erzeugen von Einzelimpulsantwortinformationen für jede Position der Mehrzahl von Positionen für einen Lautsprecherkanal basierend auf den Positionen und Informationen ü- ber den LautSprecherkanal;
einem Impulsantwortkombinierer (20) zum Kombinieren der Einzelimpulsantwortinformationen gemäß den Auftrittszeiten, um Kombinationsimpulsantwortinformatio- nen für den Lautsprecherkanal zu erhalten; und
ein Filter (21) zum Filtern des Audiosignals unter Verwendung der Kombinationsimpulsantwortinformationen, um ein Lautsprechersignal für den Lautsprecherkanal zu erhalten, das die Audioquelle, die an verschiedenen Positionen und zu verschiedenen Zeiten in der Audioszene auftritt, darstellt.
2. Vorrichtung nach Anspruch 1, bei der der Positionsge- nerator (14) einen Zufallsgenerator umfasst, um zufällige Positionen aus einem Vorrat an möglichen Positionen zu liefern.
3. Vorrichtung nach Anspruch 1 oder 2, bei der der Zeit- generator (18) ausgebildet ist, um die Auftrittszeiten abhängig von einer vorgegebenen Partikeldichte einzustellen, so dass in einem Zeitfenster eine durch die Partikeldichte vorgegebene Menge von Auftrittszeiten bereitgestellt wird.
4. Vorrichtung nach Anspruch 3, bei der der Einzelimpulsantwortgenerator (16) ausgebildet ist, um auf eine vorbestimmte Tabelle zuzugreifen und abhängig von der Position und dem Lautsprecherkanal die Einzelimpuls- antwortinformationen zu ermitteln.
5. Vorrichtung nach einem der vorhergehenden Ansprüche,
bei der der Einzelimpulsantwortgenerator (16) ausge- bildet ist, um einen Skalierungsfaktor und eine Verzögerung zu liefern, welche von der Position abhängen.
6. Vorrichtung nach einem der vorhergehenden Ansprüche, bei der der Einzelimpulsantwortgenerator (16) ausge- bildet ist,
um einen Skalierungsfaktor und eine Verzögerung basie¬ rend auf einer Position zu ermitteln,
um eine zusätzliche Impulsantwort, die einem Auftreten der Audioquelle zugeordnet ist, zu ermitteln (16b), und um die zusätzliche Impulsantwort mit dem Skalierungsfaktor zu gewichten (16c), um die Einzelimpulsantwortinformationen zu erhalten.
7. Vorrichtung nach einem der vorhergehenden Ansprüche,
bei der der Impulsantwortkombinierer (20) ausgebildet ist, um abhängig von den Auftrittszeiten die Einzelimpulsantwortinformationen zeitlich verschoben aufzuad- dieren, um Kombinationsimpulsantwortinformationen zu erhalten.
8. Vorrichtung nach Anspruch 6, bei der der Impulsantwortkombinierer ausgebildet ist, um abhängig von den Auftrittszeiten und der Verzögerung die Einzelimpulsantwortinformationen zeitlich verschoben aufzuaddieren, um die Kombinationsimpulsantwortinformationen zu erhalten.
9. Vorrichtung nach Anspruch 6,
bei der der Einzelimpulsantwortgenerator (16) ausgebildet ist, um die zusätzliche Impulsantwort abhängig von der Position zu wählen (16b) .
10. Vorrichtung nach einem der vorhergehenden Ansprüche,
bei der die Einrichtung (12) zum Liefern ausgebildet ist, um ein Audiosignal für eine Audioquelle zu lie- fern, die in einer Audioszene zufällig oder quasizufällig auftritt.
11. Vorrichtung nach einem der vorhergehenden Ansprüche, die ferner folgende Merkmale aufweist:
eine Einrichtung (32) zum Erzeugen eines Komponentensignals für ein Audioobjekt basierend auf einer virtuellen Position, einem Audiosignal, das der Audioquelle zugeordnet ist, und auf Informationen über den Lautsprecherkanal; und
einem Überlagerer (30) zum Überlagern des Komponenten- Signals und des Lautsprechersignals, um ein Gesamtlautsprechersignal für den Lautsprecherkanal zu erhalten.
12. Verfahren zum Erzeugen eines Lautsprechersignals für einen Lautsprecherkanal, der einem Lautsprecher zugeordnet ist, der in einer Wiedergabeumgebung an einer Lautsprecherposition einer Mehrzahl von Lautsprecherpositionen anbringbar ist, mit folgenden Schritten:
Liefern (12) eines Audiosignals für eine Audioquelle, die an verschiedenen Positionen und zu verschiedenen Zeiten in einer Audioszene auftreten soll;
Bereitstellen (14) einer Mehrzahl von Positionen, an denen die Audioquelle auftreten soll;
Bereitstellen (18) von Auftrittszeiten, zu denen die Audioquelle auftreten soll, wobei einer Position eine Zeit zugeordnet ist;
Erzeugen (16) von Einzelimpulsantwortinformationen für jede Position der Mehrzahl von Positionen für einen Lautsprecherkanal basierend auf den Positionen und Informationen über den Lautsprecherkanal;
Kombinieren (20) der Einzelimpulsantwortinformationen gemäß den Auftrittszeiten, um Kombinationsimpulsant- wortinformationen für den Lautsprecherkanal zu erhalten; und
Filtern (21) des Audiosignals unter Verwendung der Kombinationsimpulsantwortinformationen, um ein Lautsprechersignal für den Lautsprecherkanal zu erhalten, das die Audioquelle, die an verschiedenen Positionen und zu verschiedenen Zeiten in der Audioszene auftritt, darstellt.
13. Computer-Programm mit einem Programmcode zum Durchführen des Verfahrens gemäß Patentanspruch 12, wenn das Computer-Programm auf einem Rechner abläuft.
EP06754040A 2005-06-16 2006-06-01 Vorrichtung und verfahren zum erzeugen eines lautsprechersignals aufgrund einer zufällig auftretenden audioquelle Expired - Fee Related EP1880577B1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102005027978A DE102005027978A1 (de) 2005-06-16 2005-06-16 Vorrichtung und Verfahren zum Erzeugen eines Lautsprechersignals aufgrund einer zufällig auftretenden Audioquelle
PCT/EP2006/005233 WO2006133812A1 (de) 2005-06-16 2006-06-01 Vorrichtung und verfahren zum erzeugen eines lautsprechersignals aufgrund einer zufällig auftretenden audioquelle

Publications (2)

Publication Number Publication Date
EP1880577A1 true EP1880577A1 (de) 2008-01-23
EP1880577B1 EP1880577B1 (de) 2009-10-21

Family

ID=36791607

Family Applications (1)

Application Number Title Priority Date Filing Date
EP06754040A Expired - Fee Related EP1880577B1 (de) 2005-06-16 2006-06-01 Vorrichtung und verfahren zum erzeugen eines lautsprechersignals aufgrund einer zufällig auftretenden audioquelle

Country Status (6)

Country Link
US (1) US8090126B2 (de)
EP (1) EP1880577B1 (de)
JP (1) JP4553963B2 (de)
CN (1) CN100589656C (de)
DE (2) DE102005027978A1 (de)
WO (1) WO2006133812A1 (de)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102005033239A1 (de) * 2005-07-15 2007-01-25 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Steuern einer Mehrzahl von Lautsprechern mittels einer graphischen Benutzerschnittstelle
JP4736094B2 (ja) * 2007-01-18 2011-07-27 独立行政法人産業技術総合研究所 音データ生成装置およびプログラム
US8620003B2 (en) * 2008-01-07 2013-12-31 Robert Katz Embedded audio system in distributed acoustic sources
CN104869335B (zh) * 2010-03-23 2018-09-11 杜比实验室特许公司 用于局域化感知音频的技术
US9124968B2 (en) * 2010-10-21 2015-09-01 Acoustic 3D Holdings Limited Acoustic diffusion generator with wells and fluted fins
DE102011082310A1 (de) 2011-09-07 2013-03-07 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung, Verfahren und elektroakustisches System zur Nachhallzeitverlängerung
JP6254864B2 (ja) * 2014-02-05 2017-12-27 日本放送協会 複数音源配置装置、複数音源配置方法
US11010409B1 (en) * 2016-03-29 2021-05-18 EMC IP Holding Company LLC Multi-streaming with synthetic replication
GB201719854D0 (en) * 2017-11-29 2018-01-10 Univ London Queen Mary Sound effect synthesis
US10764701B2 (en) 2018-07-30 2020-09-01 Plantronics, Inc. Spatial audio system for playing location-aware dynamic content

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6728664B1 (en) * 1999-12-22 2004-04-27 Hesham Fouad Synthesis of sonic environments
US7167571B2 (en) * 2002-03-04 2007-01-23 Lenovo Singapore Pte. Ltd Automatic audio adjustment system based upon a user's auditory profile
DE10321980B4 (de) * 2003-05-15 2005-10-06 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Berechnen eines diskreten Werts einer Komponente in einem Lautsprechersignal
DE10328335B4 (de) * 2003-06-24 2005-07-21 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Wellenfeldsyntesevorrichtung und Verfahren zum Treiben eines Arrays von Lautsprechern
DE10344638A1 (de) * 2003-08-04 2005-03-10 Fraunhofer Ges Forschung Vorrichtung und Verfahren zum Erzeugen, Speichern oder Bearbeiten einer Audiodarstellung einer Audioszene

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See references of WO2006133812A1 *

Also Published As

Publication number Publication date
DE102005027978A1 (de) 2006-12-28
US8090126B2 (en) 2012-01-03
WO2006133812A1 (de) 2006-12-21
JP2008547255A (ja) 2008-12-25
CN101199235A (zh) 2008-06-11
DE502006005193D1 (de) 2009-12-03
CN100589656C (zh) 2010-02-10
JP4553963B2 (ja) 2010-09-29
US20080181438A1 (en) 2008-07-31
EP1880577B1 (de) 2009-10-21

Similar Documents

Publication Publication Date Title
EP1880577B1 (de) Vorrichtung und verfahren zum erzeugen eines lautsprechersignals aufgrund einer zufällig auftretenden audioquelle
DE10328335B4 (de) Wellenfeldsyntesevorrichtung und Verfahren zum Treiben eines Arrays von Lautsprechern
EP2080411B1 (de) Vorrichtung und Verfahren zum Erzeugen einer Anzahl von Lautsprechersignalen für ein Lautsprecher-Array, das einen Wiedergaberaum definiert
EP3005732B1 (de) Vorrichtung und verfahren zur raumselektiven audiowiedergabe
DE10254404B4 (de) Audiowiedergabesystem und Verfahren zum Wiedergeben eines Audiosignals
WO2007062840A1 (de) Verfahren zur aufnahme einer tonquelle mit zeitlich variabler richtcharakteristik und zur wiedergabe
WO2005060307A1 (de) Vorrichtung und verfahren zum erzeugen eines tieftonkanals
WO2004103024A1 (de) Vorrichtung zum pegel-korrigieren in einem wellenfeldsynthesesystem
DE10321980B4 (de) Vorrichtung und Verfahren zum Berechnen eines diskreten Werts einer Komponente in einem Lautsprechersignal
EP2754151B2 (de) Vorrichtung, verfahren und elektroakustisches system zur nachhallzeitverlängerung
DE102005001395B4 (de) Verfahren und Vorrichtung zur Transformation des frühen Schallfeldes
DE102012017296A1 (de) Erzeugung von Mehrkanalton aus Stereo-Audiosignalen
DE10254470A1 (de) Vorrichtung und Verfahren zum Bestimmen einer Impulsantwort und Vorrichtung und Verfahren zum Vorführen eines Audiostücks
EP0040739B1 (de) Vorrichtung für die Wiedergabe einer Tonaufnahme über Kopfhörer
DE102011108788A1 (de) Verfahren zur Verarbeitung eines Audiosignals, Audiowiedergabesystem und Verarbeitungseinheit zur Bearbeitung von Audiosignalen
EP1900250B1 (de) Elektroakustisches verfahren
CH704501B1 (de) Verfahren zur Wiedergabe von auf einem Datenträger gespeicherten Audiodaten und entsprechende Vorrichtung.

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20071212

RBV Designated contracting states (corrected)

Designated state(s): DE FR GB

17Q First examination report despatched

Effective date: 20080418

RIN1 Information on inventor provided before grant (corrected)

Inventor name: RODIGAST, RENE

Inventor name: BECKINGER, MICHAEL

RBV Designated contracting states (corrected)

Designated state(s): DE FR GB

DAX Request for extension of the european patent (deleted)
GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): DE FR GB

REG Reference to a national code

Ref country code: GB

Ref legal event code: FG4D

Free format text: NOT ENGLISH

REF Corresponds to:

Ref document number: 502006005193

Country of ref document: DE

Date of ref document: 20091203

Kind code of ref document: P

PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

26N No opposition filed

Effective date: 20100722

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 11

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 12

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 13

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: FR

Payment date: 20190625

Year of fee payment: 14

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: GB

Payment date: 20190624

Year of fee payment: 14

Ref country code: DE

Payment date: 20190624

Year of fee payment: 14

REG Reference to a national code

Ref country code: DE

Ref legal event code: R119

Ref document number: 502006005193

Country of ref document: DE

GBPC Gb: european patent ceased through non-payment of renewal fee

Effective date: 20200601

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: FR

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20200630

Ref country code: GB

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20200601

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: DE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20210101