EP1844627A1 - Vorrichtung und verfahren zum simulieren eines wellenfeldsynthese-systems - Google Patents

Vorrichtung und verfahren zum simulieren eines wellenfeldsynthese-systems

Info

Publication number
EP1844627A1
EP1844627A1 EP06707014A EP06707014A EP1844627A1 EP 1844627 A1 EP1844627 A1 EP 1844627A1 EP 06707014 A EP06707014 A EP 06707014A EP 06707014 A EP06707014 A EP 06707014A EP 1844627 A1 EP1844627 A1 EP 1844627A1
Authority
EP
European Patent Office
Prior art keywords
audio
wave field
field synthesis
output condition
simulating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
EP06707014A
Other languages
English (en)
French (fr)
Other versions
EP1844627B1 (de
Inventor
Katrin Reichelt
Gabriel Gatzsche
Frank Melchior
Sandra Brix
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Original Assignee
Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV filed Critical Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Publication of EP1844627A1 publication Critical patent/EP1844627A1/de
Application granted granted Critical
Publication of EP1844627B1 publication Critical patent/EP1844627B1/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/13—Application of wave-field synthesis in stereophonic audio systems

Definitions

  • the present invention relates to the wave field synthesis technique, and more particularly to tools for creating audio scene descriptions and for verifying audio scene descriptions, respectively.
  • V5FS Wave Field Synthesis
  • Applied to the acoustics can be simulated by a large number of speakers, which are arranged side by side (a so-called speaker array), any shape of an incoming wavefront.
  • a so-called speaker array any shape of an incoming wavefront.
  • the audio signals of each speaker must be fed with a time delay and amplitude scaling so that the radiated sound fields of each speaker properly overlap.
  • the contribution to each speaker is calculated separately for each source and the resulting signals added together. If the sources to be reproduced are in a room with reflecting walls, reflections must also be reproduced as additional sources via the loudspeaker array. The effort in the calculation therefore depends heavily on the number of sound sources, the reflection characteristics of the recording room and the number of speakers.
  • the advantage of this technique is in particular that a natural spatial sound impression over a large area of the playback room is possible.
  • the direction and distance of sound sources are reproduced very accurately.
  • virtual sound sources can even be positioned between the real speaker array and the listener.
  • wavefield synthesis works well for environments whose characteristics are known, irregularities occur when the texture changes, or when wave field synthesis is performed based on environmental conditions that do not match the actual nature of the environment.
  • An environmental condition can be described by the impulse response of the environment.
  • the space compensation using wavefield synthesis would be to first determine the reflection of that wall to determine when a sound signal reflected from the wall will return to the loudspeaker and what amplitude this will be has reflected sound signal. If the reflection from this wall is undesirable, the wavefield synthesis offers the possibility of eliminating the reflection from this wall by impressing the loudspeaker with a signal of inverse phase with the reflection signal in addition to the original audio signal, so that the trailing one Compensating wave extinguishes the reflection wave in such a way that the reflection from this wall in the environment which is sought, is eliminated. This can be done by first computing the impulse response of the environment and determining the nature and position of the wall based on the impulse response of that environment, the wall being interpreted as a source of mirrors, that is, a sound source reflecting an incident sound.
  • Wave field synthesis thus allows a correct mapping of virtual sound sources over a large playback area. At the same time it offers the sound engineer and sound engineer new technical and creative potential in the creation of even complex soundscapes.
  • Wave field synthesis (WFS or sound field synthesis), as developed at the end of the 1980s at the TU Delft, represents a holographic approach to sound reproduction. The basis for this is the Kirchhoff-Helmholtz integral. This states that any sound fields within a closed volume can be generated by means of a distribution of monopole and dipole sound sources (loudspeaker arrays) on the surface of this volume.
  • a synthesis signal for each loudspeaker of the loudspeaker array is calculated from an audio signal which emits a virtual source at a virtual position, the synthesis signals being such in terms of amplitude and phase, that a wave resulting from the superposition of the individual sound waves output by the loudspeakers present in the loudspeaker array corresponds to the wave which would originate from the virtual source at the virtual position, if this virtual source is at the virtual position would be a real source with a real position.
  • the computation of the synthesis signals is performed for each virtual source at each virtual location, typically resulting in one virtual source in multiple speaker synthesis signals. Seen from a loudspeaker, this loudspeaker thus receives several synthesis signals, which go back to different virtual sources. A superimposition of these sources, which is possible due to the linear superposition principle, then gives the reproduced signal actually emitted by the speaker.
  • the quality of the audio playback increases with the number of speakers provided. This means that the audio playback quality becomes better and more realistic as more loudspeakers are present in the loudspeaker array (s).
  • the finished and analog-to-digital converted display signals for the individual loudspeakers could, for example, be transmitted via two-wire lines from the wave field synthesis central unit to the individual loudspeakers.
  • the wave field synthesis central unit could always be made only for a special reproduction room or for a reproduction with a fixed number of loudspeakers.
  • German Patent DE 10254404 B4 discloses a system as shown in FIG.
  • One part is the central wave field synthesis module 10.
  • the other part is composed of individual speaker modules 12a, 12b, 12c, 12d, 12e which are connected to actual physical speakers 14a, 14b, 14c, 14d, 14e as shown in FIG. 1 is shown.
  • the number of speakers 14a-14e is in the range above 50 and typically well above 100. If each loudspeaker is assigned its own loudspeaker module, the corresponding number of loudspeaker modules is also required. Depending on the application, however, it is preferred to address a small group of adjacent loudspeakers from a loudspeaker module.
  • a loudspeaker module which is for example connected to four loudspeakers, feeds the four loudspeakers with the same playback signal, or if corresponding different synthesis signals are calculated for the four loudspeakers, so that such a loudspeaker module actually consists of several individual speaker modules, but which are physically combined in one unit.
  • each transmission link 16a-16e being coupled to the central wave field synthesis module and to a separate loudspeaker module.
  • a serial transmission format that provides a high data rate such as a so-called Firewire transmission format or a USB data format.
  • Data transfer rates in excess of 100 megabits per second are advantageous.
  • the data stream which is transmitted from the wave field synthesis module 10 to a loudspeaker module is thus correspondingly formatted according to the selected data format in the wave field synthesis module and provided with synchronization information which is provided in conventional serial data formats.
  • This synchronization information is extracted from the data stream by the individual loudspeaker modules and used to control the individual loudspeaker modules in terms of their reproduction, ie ultimately to the analog-to-digital conversion for obtaining the analogue loudspeaker signal and the intended sampling (re- sampling) to synchronize.
  • the central wavefield synthesis module operates as a master, and all loudspeaker modules operate as clients, with the individual datastreams receiving the same synchronization information from the central module 10 over the various links 16a-16e.
  • the described concept already provides considerable flexibility with regard to a wave field synthesis system which can be scaled for various applications.
  • the central wave field synthesis module which performs the actual main rendering, which thus calculates the individual synthesis signals for the speakers, depending on the positions of the virtual sources and depending on the speaker positions
  • the "post-rendering”, ie the application of the synthesis signals with channel transfer functions, etc. already executed decentralized and thus already the necessary data transfer capacity between the central renderer module and the individual speakers Modules have been reduced by selection of synthesis signals with a smaller energy than a certain threshold energy, but all virtual sources must be rendered so to speak for all speaker modules, so converted into synthesis signals, the Ausselekom only after the rende ring takes place.
  • the known wave field synthesis concept uses a scene description in which the individual audio objects are defined together such that, using the data in the scene description and the audio data for the individual virtual sources, the complete scene is rendered by a renderer Arrangement can be processed.
  • For each audio object it is exactly defined where the audio object has to start and where the audio object ends.
  • exactly the position of the virtual source is indicated at which the virtual source should be, which is to be entered into the wave field synthesis rendering device, so that for each speaker the corresponding synthesis signals are generated.
  • an impression is made as if a sound source were located at a position in the playback room. is positioned outside the playback space defined by the source location of the virtual source.
  • a disadvantage of the concept described is the fact that it is relatively rigid, in particular when creating the audio scene descriptions. For example, a sound engineer will create an audio scene just for a particular wave field synthesizer, knowing exactly the situation in the playback room and creating the audio scene description to run smoothly on the well-defined wavefield synthesis system known to the producer.
  • the sound engineer will consider the maximum capacity of the wave field synthesis rendering device as well as wave field requirements in the rendering room already when creating the audio scene description. For example, if a renderer has a maximum capacity of 32 audio sources to process, the sound engineer will already be careful to edit the audio scene description so that no more than 32 sources can be processed simultaneously.
  • An audio scene description is thus obtained as a sequence of audio objects, each audio object being a virtual one Position and a start time, an end time o- and a duration includes.
  • a disadvantage of this concept is that the sound engineer, who creates the audio scene description, must concentrate on boundary conditions of the wave field synthesis system, which actually have nothing to do with the creative side of the audio scene. It would therefore be desirable to whom the sound engineer could concentrate solely on the creative aspects without having to consider a particular wave field synthesis system on which his audi scene is to run.
  • Another disadvantage of the described concept is that when an audio scene description from a wave field synthesis system having a particular first behavior for which the audio scene description has been designed is to be made on another wave field synthesis system having a second behavior for which the audio scene has not been designed ,
  • the audio scene description becomes the second system only in terms of performance of the first system and do not exhaust the additional efficiency of the second system.
  • the second system also refers to a z.
  • larger reproduction space can no longer ensure at certain points that the wavefronts of two virtual sources, such as bass guitar and lead guitar, arrive almost simultaneously.
  • the object of the present invention is to provide a concept for simulating a wave field synthesis system by which an audio scene description can be efficiently examined for a particular wave field synthesis system and related potentially occurring errors. This object is achieved by a device for simulating a wave field synthesis system according to claim 1 or a method for simulating a wave field synthesis system according to claim 15 or a computer program according to claim 16.
  • the present invention is based on the finding that, in addition to an audio scene description which defines a temporal sequence of audio objects, output conditions are also provided either within the audio scene description or separately from the audio scene description, and then the behavior of the wave field synthesis system on which an audio scene description should run, simulate. Based on the simulated behavior of the wave field synthesis system and on the basis of the output conditions, it can then be checked whether the simulated behavior of the wave field synthesis system fulfills the output condition or not.
  • This concept makes it easy to simulate an audio scene description for another wave field synthesis system and to account for system independent general output conditions for the other wave field synthesis system without the sound designer of the audio scene description dealing with such "secular" things of actual reality
  • the inventive concept determines whether the audio scene description, the universal, ie has not been written for a particular system, can run on a specific system, if and where appropriate in the playback room problems occur.
  • the processor can simulate the behavior of the wave field synthesis system almost in real time and verify it on the basis of the given output condition.
  • the output condition may refer to hardware aspects of the wave field synthesis system, such as a maximum processing capability of the renderer device, or to sound field specific things in the rendering room, such as having wavefronts of two virtual sources perceived within a maximum time difference. or that level differences between two virtual sources at all points or at least at certain points in the playback room must be in a predetermined corridor.
  • the hardware-specific output conditions it is preferable not to include them in the audio scene description due to the flexibility and compatibility requirements, but to provide them externally to the checking device.
  • a creator of an audio scene description ensures that at least minimum sound impression requirements are met, but that some flexibility remains in wave field synthesis rendering so that an audio scene description can not be played back only with optimal quality on a single wave field synthesis system. but on different wavefield synthesis systems by allowing the author's flexibility through intelligent post-processing of the audio Scene description, which is preferably carried out by machine, is advantageously exploited.
  • the present invention serves as a tool to verify whether output conditions of an audio scene description can be satisfied by a wave field synthesis system. If violations of output conditions occur, the inventive concept in the preferred embodiment will inform the user about which virtual sources are problematic, where in the playback room violations of the output conditions occur and at what time. Thus, it can be judged whether an audio scene description easily runs on any wave field synthesis system or whether the audio scene description needs to be rewritten due to serious violations of the output conditions, or if violations of the output conditions occur, but they are not so serious as to actually describe the audio scene would have to manipulate.
  • 1a is a block diagram of a device according to the invention for simulating a wave field synthesis system
  • FIG. 1b shows a specific implementation of the device for simulating according to FIG.
  • Fig. Ic is a flowchart illustrating the processes in an output condition defining a property between two virtual sources
  • Fig. Id is a schematic representation of a playback room and problem areas in a preferred Embodiment of the present invention in which landing times of sound fields in the output condition are included;
  • FIG. 2 shows an exemplary audio object
  • each audio object is assigned a header with the current time data and position data
  • Fig. 6 is a schematic representation of a known wave field synthesis concept
  • FIG. 7 shows a further illustration of a known wave field synthesis concept.
  • FIG. 1 a shows a schematic representation of a device according to the invention for simulating a wave field synthesis system with a reproduction space in which one or more loudspeaker arrays and a wave field synthesis rendering device coupled to the loudspeaker array can be attached.
  • the inventive apparatus comprises means 1 for providing an audio scene description defining a temporal sequence of audio objects, wherein an audio object comprises an audio file for a virtual source or a reference to the audio file and information about a source location of the virtual source.
  • the audio files may either be contained directly in the audio scene description 1 or may be identifiable by references to audio files in an audio file database 2 and fed to a device 3 for simulating the behavior of the wave field synthesis system.
  • the audio files are controlled via a control line Ia or supplied to the simulation device 2 via a line Ib in which the source positions are also contained. If, on the other hand, the files are supplied directly from the audio file database 2 to the device 3 for simulating the behavior of the wave field synthesis system, then a line 3a will be active, which is shown in dashed lines in FIG.
  • the device 3 for simulating the wave field synthesis system is designed to use information about the wave field synthesis system, and then, on the output side, to supply the simulated behavior of the wave field synthesis system to a device 4 for checking the output condition.
  • the device 4 is designed to check whether the simulated behavior of the wave field synthesis system fulfills the output condition or not.
  • the device 4 for checking receives an output condition via an input line 4a, wherein the output condition is supplied either ex ⁇ tern the device 4.
  • the output condition may also consist of the audio scene description stam ⁇ men, as shown by a broken line 4b.
  • the first case ie in which the output condition is supplied externally, is preferred when the Ausgabebedin ⁇ supply a related to the wave field synthesis system Hard ⁇ ware-technical condition, such as a maxi- mum transmission capacity of a data connection or - a bottleneck the total processing - a maximum computational capacity of a renderer, or, in - multi-renderer systems, a single renderer module.
  • Hard ⁇ ware-technical condition such as a maxi- mum transmission capacity of a data connection or - a bottleneck the total processing - a maximum computational capacity of a renderer, or, in - multi-renderer systems, a single renderer module.
  • Renderers generate synthesis signals from the audio files using information about the speakers and using information about the source locations of the virtual sources, that is, for each of the many sounds. Speaker own signal, the synthesis signals have mutually different phase and amplitude ratios, so that the many speakers according to the theory of wave field synthesis create a common wavefront that propagates in the playback room.
  • ty ⁇ European renderer modules are limited in their capacity, such as to a maximum capacity of 32 gleichzei ⁇ tig virtual sources to be processed. Such an output condition, namely that a maximum of 32 sources may be processed by a renderer at a time, could for example be provided to the device 4 for checking the output condition.
  • output conditions relate to the sound field in the playback room.
  • output conditions define a sound field or characteristic of a sound field in the playback room.
  • the wave field synthesis system simulating means 3 is configured to simulate the sound field in the reproducing room using information about an arrangement of the one or more speaker arrays in the reproducing room and using the audio data.
  • the means 4 for checking in this case is arranged to check whether or not the simulated sound field satisfies the output condition in the reproduction room.
  • the means 4 will be arranged to provide a display, such as an optical display, telling the user whether the dispensing condition is not met, completely satisfied, or only partially fulfilled.
  • the device 4 is also designed to check to z. B., as shown with reference to FIG. Id to identify problem areas in the playback room (WGR), where z. B. a wavefront output condition is not met. Based on this information, a user of the simulation tool can then decide whether he accepts the partial violation or not, or whether he takes certain measures to achieve a lesser violation of the output conditions, etc.
  • FIG. 1b shows a preferred implementation of the device 3 for simulating a wave field synthesis system.
  • the device 3 comprises a wave field synthesis rendering device 3 b, which is required anyway for a wave field synthesis system, in order to obtain from the scene description, the audio files, the information about loudspeaker positions or, if appropriate further information about the z. B. acoustics of the playback room, etc. Synthesis signals to be generated, which are then supplied to a speaker simulator 3 c.
  • the loudspeaker simulator is designed to detect a sound field in the reproduction room, preferably at each position of interest in the reproduction room. With reference to the procedure which will be described below with reference to FIG. 1c, it can then be determined for each searched point in the reproduction room whether a problem has arisen or not.
  • step 5c on the basis of the first Wavefront calculated for the first virtual source and based on the second wavefront for the second virtual source a property to be simulated.
  • this property will be a property that must be satisfied between two particular virtual sources, such as a level difference, a runtime difference, etc.
  • step 5d which property is calculated in step 5c depends on the output condition, since of course only information needs to be simulated, which should also be compared with output conditions. The actual comparison of the calculated property, ie the result of step 5c, with the output condition takes place in a step 5d.
  • step 5e not only can it be indicated whether a condition is not satisfied, but also where in the playback room such a condition is not met. Furthermore, in the exemplary embodiment shown in FIG. 1c, the problematic virtual sources can also be identified (FIG. 5f).
  • An output condition which is considered in Fig. 1, defines a sound propagation time with respect to audio data.
  • this condition becomes particularly with the in FIG. Id room surrounded by four loudspeaker arrays LSAl, LSA2, LSA3, LSA4, then, if the sources according to the audio scene description are positioned very far apart from each other, not be fulfilled for each point in the playback room.
  • FIG. Id Problem zones identified by the concept according to the invention are shown in FIG. Id in the reproduction room.
  • the producer has positioned the guitar and bass at a distance of 100 m.
  • issue price dingung a maximum propagation time difference of 10 m for the whole reproduction room, so a period of 10 m ge ⁇ divided by the speed of sound, predefined.
  • performance bottlenecks and quality holes can be predicted. This is achieved by virtue of the fact that central data management is preferred, ie that both the scene description and the audio files are stored in an intelligent database, and furthermore that a device 3 for simulating the wave field synthesis system is provided, which is a more or less accurate simulation of the wave field synthesis system. This eliminates costly manual testing and artificially limiting system performance to a level considered to be performance and quality assured.
  • a relative definition of the audio objects relative to each other and, in particular, a positioning which is variable within a time span or spatial range is preferred, as will be described with reference to FIG.
  • the relative positioning or arrangement of audio objects / audio files provides a practical way to define output conditions that preferably relate to a property of two virtual objects, that is, something relative as well.
  • a database is still used to reuse such assignments / issuing conditions.
  • both relative and variable constraints are used to test the violation of certain sound requirements on different systems.
  • a test mechanism then checks the existing display area imposed by the wave field synthesis loudspeaker array for whether there are any positions which the issue condition is violated. Preferably, furthermore, the author of the sound scene is informed about this violation.
  • the simulation device according to the invention can provide a pure indication of the situation of the output condition, ie whether or not it is injured and, where applicable, where it is injured and where not.
  • the simulation device according to the invention is designed to not only identify the problematic virtual sources, for example, but also to propose solutions to a processor. For example, using the example of the sound propaganda references, one solution would be to position the guitar and bass at those virtual positions that are only at a distance that is small enough that the wavefronts throughout the playback room are actually within the required output conditions Arrive difference.
  • the simulation device can use an iterative approach in which the sources are moved closer and closer to one another in a certain step size, in order then to see whether the output condition is now satisfied at previously problematic points in the reproduction space. So the "cost function" will be whether there are fewer issue condition violation points than in the previous iteration run.
  • the device according to the invention comprises a device for manipulating an audio object if the audio object violates the output condition.
  • This manipulation can thus consist in an iterative manipulation in order to propose a positioning for the user.
  • the concept according to the invention with this manipulation device can also be used in wave-field synthesis processing in order to use a scene description to adapt it to the actual system Create schedule.
  • This implementation is particularly preferred when the audio objects are not fixed in terms of time and place, but with time and place a time span or local space is specified in which the audio object manipulation device without further request to the sound engineer, automatically manipulate the audio objects ⁇ , According to the invention in such a real-time simulation / treatment will of course ensure that the terms of issue of a time span or location span will not last more ver ⁇ within half a shift.
  • the apparatus of the present invention may also operate off-line by writing from an audio scene description by audio object manipulation a schedule file based on the simulation results for different output conditions, which may then be rendered in a wavefield synthesis system instead of the original audio scene description.
  • the advantage of this implementation is that the audio file has been written without the intervention of the sound engineer, ie without the time and financial resources of a producer.
  • an audio object should specify the audio file that effectively represents the audio content of a virtual source.
  • the audio object does not need to include the audio file, but may have an index pointing to a defined location in a database where the actual audio file is stored.
  • an audio object preferably comprises an identification of the virtual source, which may be, for example, a source number or a meaningful file name, etc.
  • the audio object specifies a start and / or end time the virtual source, ie the audio file. Specifying only a time period for the start means that the actual starting point of the rendering of this file by the renderer can be changed within the time span. In addition, if a time limit is specified for the end, this also means that the end can also be varied within the time span, which, depending on the implementation, will generally lead to a variation of the audio file also in terms of its length.
  • any implementations are possible, such as: For example, a definition of the start / end time of an audio file so that although the starting point may be moved, but in no case the length may be changed, so that automatically the end of the audio file is also moved. However, especially for noise, it is preferred to also keep the end variable, since it is typically not problematic whether z. For example, a wind noise starts sooner or later, or ends slightly earlier or later. Further specifications are possible or desired depending on the implementation, such as a specification, that although the starting point may be varied, but not the end point, etc.
  • an audio object further comprises a location span for the position. So it will be irrelevant for certain audio objects, whether they z. B. come from the front left or front center, or if they are shifted by a (small) angle with respect to a reference point in the playback room.
  • audio objects, especially from the noise area which can be positioned at any position and thus have a maximum spatial range, for example, by a code for "arbitrary" or by no code (implicit) in the Audio object can be specified.
  • An audio object may include other information, such as an indication of the nature of the virtual Source, that is, whether the virtual source must be a point source for sound waves, or whether it must be a source of plane waves, or whether it must be a source that generates sources of any wavefront, provided the renderers Modules are able to handle such information.
  • FIG. 3 shows, by way of example, a schematic representation of a scene description, in which the time sequence of different audio objects AO1,... AOn + 1 is shown.
  • attention is drawn to the audio object A03, for which a period of time, as shown in FIG. 3, is defined.
  • a period of time as shown in FIG. 3
  • both the start point and the end point of the audio object A03 in FIG. 3 can be shifted by the time period.
  • the definition of the audio object A03 is that the length must not be changed, but this can be set variably from audio object to audio object.
  • a scene description is used that has relative indications.
  • the flexibility is increased by the fact that the beginning of the audio object AO2 is no longer given in an absolute time, but in a relative period of time to the audio object AO1.
  • a relative description of the location information is preferred, so not that an audio object is to be arranged at a certain position xy in the playback room, but z.
  • B. is a vector offset to another audio object or to a reference object.
  • the time span information or location span information can be recorded very efficiently, namely simply in that the time span is set such that it expresses that the audio object A03 z. B. in a period between two minutes and two minutes and 20 seconds after the start of the audio object AOl can begin.
  • the audio object manipulation device achieves a transfer of these relative and variable definitions into an absolute spatial and temporal order.
  • This order represents the output schedule obtained at the output 6a of the system shown in FIG. 1 and defines how the renderer module in particular is addressed in the wave field synthesis system.
  • the schedule is thus an output schedule that arranges the audio data according to the output conditions.
  • FIG. 4 shows a data stream which is transmitted from left to right according to FIG. 4, that is to say from the audio object manipulation device 3 of FIG. 1 to one or more wave field synthesis renderers of the wave field system 0 of FIG the data stream for each audio object in the embodiment shown in Fig. 4, first a header H, in which the position information and the time information are, and downstream of an audio file for the specific audio object, in Fig. 4 with AOl for the first audio object, AO2 for the second audio object, etc. is designated.
  • a wave field synthesis renderer then receives the data stream and detects z. B. to an existing and agreed synchronization information that now comes a header. Based on another synchronization information, the renderer then recognizes that the header is now over. Alternatively, a fixed length in bits can be agreed for each Haeder.
  • the audio renderer After receiving the header, in the preferred embodiment of the present invention shown in FIG. 4, the audio renderer automatically knows that the subsequent audio file, ie, e.g. B. AOl, to the audio object, so to the Source location identified in the header.
  • the subsequent audio file ie, e.g. B. AOl
  • FIG. 4 shows a serial data transmission to a field-synthesis synthesizer.
  • the renderer requires an input buffer preceded by a data stream reader to parse the data stream.
  • the data stream reader will then interpret the header and store the associated audio data so that when an audio object is to render, the renderer reads out the correct audio file and location from the input buffer.
  • Other data for the data stream are of course possible.
  • a separate transmission of both the time / location information and the actual audio data may be used.
  • the present invention is thus based on an object-oriented approach, that is to say that the individual virtual sources are understood as objects which are distinguished by an audio file and a virtual position in space and possibly by the manner of the source, ie whether they are a point source for sound waves or a source for plane waves or a source for differently shaped sources.
  • the calculation of the wave fields is very compute-time intensive and the capacities of the hardware used, such as sound cards and computers, in conjunction with the efficiency of the calculation. bounding algorithms. Even the best equipped PC-based solution thus quickly reaches its limits in the calculation of wave field synthesis when many sophisticated sound events are to be displayed simultaneously. Thus, the capacity limit of the software and hardware used dictates the limitation on the number of virtual sources in the mixdown and playback.
  • FIG. 6 shows such a limited in its known wavefield synthesis concept including an authoring tool 60, a control renderer module 62, and an audio server 64, wherein the control renderer module is configured to be a speaker array 66 to supply data so that the speaker array 66 generates a desired wavefront 68 by superimposing the individual waves of the individual speakers 70.
  • the authoring tool 60 allows the user to create scenes, edit and control the wave field synthesis based system.
  • a scene consists of information about the individual virtual audio sources as well as the audio data.
  • the properties of the audio sources and the references to the audio data are stored in an XML scene file.
  • the audio data itself is stored on the audio server 64 and transmitted from there to the renderer module.
  • the renderer module receives the control data from the authoring tool so that the control renderer module 62, which is centrally executed, can generate the synthesis signals for the individual loudspeakers.
  • the concept shown in Figure 6 is described in "Authoring System for Wave Field Synthesis", F. Melchior, T. Röder, S. Brix, S. Wabnik and C. Riegel, AES Convention Paper, 115th AES Assembly, 10. October 2003, New York.
  • each renderer is supplied with the same audio data, regardless of whether the renderer needs this data for playback or not because of the limited number of speakers assigned to it. Since each of the current computers is capable of calculating 32 audio sources, this represents the limit for the system. On the other hand, the number of sources that can be changed in the overall system should be increased significantly and efficiently. This is one of the essential requirements for complex applications, such as movies, scenes with immersive atmospheres, such as rain or applause or other complex audio scenes.
  • a reduction of redundant data transfer operations and data processing operations in a wave field synthesis multi-renderer system is achieved, which leads to an increase in the computing capacity or the number of simultaneously computable audio sources.
  • the audio server is extended by the data output device, which is able to determine which renderer needs which audio and metadata.
  • the data output device possibly supported by the data manager, requires a plurality of information in a preferred embodiment. This information is first the audio data, then the source and position data of the sources, and finally the configuration of the renderers, ie information about the connected loudspeakers and their positions and their capacity.
  • an output schedule is generated by the data output device with a temporal and spatial arrangement of the audio objects. From the spatial arrangement, the time schedule and the renderer configuration, the data management module then calculates which source for which renderers are of relevance at a particular time.
  • FIG. 5 A preferred overall concept is shown in FIG. 5.
  • the database 22 is provided with the data output unit. direction 24 supplemented, wherein the data output device is also referred to as a scheduler.
  • This scheduler then generates at its outputs 20a, 20b, 20c for the various renderers 50 the renderer input signals in order to power the corresponding loudspeakers of the loudspeaker arrays.
  • the scheduler 24 is preferably also supported by a storage manager 52 in order to configure the database 42 by means of a RAID system and corresponding data organization specifications.
  • a data generator 54 On the input side is a data generator 54, which may be a sound engineer or an audio engineer, for example. to model or describe an audio scene object-oriented. In this case, he provides a scene description that includes corresponding output conditions 56, which are then optionally stored in the database 22 together with audio data after a transformation 58.
  • the audio data may be manipulated and updated using an insert / update tool 59.
  • the method according to the invention can be implemented in hardware or in software.
  • the implementation may be on a digital storage medium, particularly a floppy disk or CD, with electronically readable control signals that may interact with a programmable computer system to perform the method.
  • the invention thus also exists in a computer program product with a program code stored on a machine-readable carrier for carrying out the method when the computer program product runs on a computer.
  • the invention can thus be realized as a computer program with a program code for carrying out the method when the computer program runs on a computer.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Stereophonic System (AREA)
  • Waveguide Switches, Polarizers, And Phase Shifters (AREA)
  • Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)

Description

Vorrichtung und Verfahren zum Simulieren eines Wellenfeld- synthese-Systems
Beschreibung
Die vorliegende Erfindung bezieht sich auf die Wellenfeld- synthese-Technik und insbesondere auf Werkzeuge zum Erstellen von Audioszenenbeschreibungen bzw. zum Verifizieren von Audioszenenbeschreibungen.
Es besteht ein steigender Bedarf an neuen Technologien und innovativen Produkten im Bereich der Unterhaltungselektronik. Dabei ist es eine wichtige Voraussetzung für den Er- folg neuer multimedialer Systeme, optimale Funktionalitäten bzw. Fähigkeiten anzubieten. Erreicht wird das durch den Einsatz digitaler Technologien und insbesondere der Computertechnik. Beispiele hierfür sind die Applikationen, die einen verbesserten realitätsnahen audiovisuellen Eindruck bieten. Bei bisherigen Audiosystemen liegt ein wesentlicher Schwachpunkt in der Qualität der räumlichen Schallwiedergabe von natürlichen, aber auch von virtuellen Umgebungen.
Verfahren zur mehrkanaligen Lautsprecherwiedergabe von Au- diosignalen sind seit vielen Jahren bekannt und standardisiert. Alle üblichen Techniken besitzen den Nachteil, dass sowohl der Aufstellungsort der Lautsprecher als auch die Position des Hörers dem Übertragungsformat bereits eingeprägt sind. Bei falscher Anordnung der Lautsprecher im Be- zug auf den Hörer leidet die Audioqualität deutlich. Ein optimaler Klang ist nur in einem kleinen Bereich des Wiedergaberaums,, dem so genannten Sweet Spot, möglich.
Ein besserer natürlicher Raumeindruck sowie eine stärkere Einhüllung bei der Audiowiedergabe kann mit Hilfe einer neuen Technologie erreicht werden. Die Grundlagen dieser Technologie, die so genannte Wellenfeldsynthese (V5FS; V3FS = Wave-Field Synthesis) , wurden an der TU DeIft erforscht und erstmals in den späten 80er-Jahren vorgestellt (Berkhout, A. J.; de Vries, D.; Vogel, P.: Acoustic control by Wave- field Synthesis. JASA 93, 1993).
Infolge der enormen Anforderungen dieser Methode an Rechnerleistung und Übertragungsraten wurde die Wellenfeldsyn- these bis jetzt nur selten in der Praxis angewendet. Erst die Fortschritte in den Bereichen der Mikroprozessortechnik und der Audiocodierung gestatten heute den Einsatz dieser Technologie in konkreten Anwendungen. Erste Produkte im professionellen Bereich werden nächstes Jahr erwartet. In wenigen Jahren sollen auch erste Wellenfeldsynthese- Anwendungen für den Konsumerbereich auf den Markt kommen.
Die Grundidee von WFS basiert auf der Anwendung des Huy- gens' sehen Prinzips der Wellentheorie:
Jeder Punkt, der von einer Welle erfasst wird, ist Ausgangspunkt einer Elementarwelle, die sich kugelförmig bzw. kreisförmig ausbreitet.
Angewandt auf die Akustik kann durch eine große Anzahl von Lautsprechern, die nebeneinander angeordnet sind (einem so genannten Lautsprecherarray) , jede beliebige Form einer einlaufenden Wellenfront nachgebildet werden. Im einfachsten Fall, einer einzelnen wiederzugebenden Punktquelle und einer linearen Anordnung der Lautsprecher, müssen die Audiosignale eines jeden Lautsprechers mit einer Zeitverzögerung und Amplitudenskalierung so gespeist werden, dass sich die abgestrahlten Klangfelder der einzelnen Lautsprecher richtig überlagern. Bei mehreren Schallquellen wird für jede Quelle der Beitrag zu jedem Lautsprecher getrennt berechnet und die resultierenden Signale addiert. Befinden sich die wiederzugebenden Quellen in einem Raum mit reflek- tierenden Wänden, dann müssen auch Reflexionen als zusätzliche Quellen über das Lautsprecherarray wiedergegeben werden. Der Aufwand bei der Berechnung hängt daher stark von der Anzahl der Schallquellen, den Reflexionseigenschaften des Aufnahmeraums und der Anzahl der Lautsprecher ab.
Der Vorteil dieser Technik liegt im Besonderen darin, dass ein natürlicher räumlicher Klangeindruck über einen großen Bereich des Wiedergaberaums möglich ist. Im Gegensatz zu den bekannten Techniken werden Richtung und Entfernung von Schallquellen sehr exakt wiedergegeben. In beschränktem Maße können virtuelle Schallquellen sogar zwischen dem realen Lautsprecherarray und dem Hörer positioniert werden.
Obgleich die Wellenfeldsynthese für Umgebungen gut funktioniert, deren Beschaffenheiten bekannt sind, treten doch Unregelmäßigkeiten auf, wenn sich die Beschaffenheit ändert bzw. wenn die Wellenfeldsynthese auf der Basis einer Umgebungsbeschaffenheit ausgeführt wird, die nicht mit der tatsächlichen Beschaffenheit der Umgebung übereinstimmt.
Eine Umgebungsbeschaffenheit kann durch die Impulsantwort der Umgebung beschrieben werden.
Dies wird anhand des nachfolgenden Beispiels näher dargelegt. Es wird davon ausgegangen, dass ein Lautsprecher ein Schallsignal gegen eine Wand aussendet, deren Reflexion un- erwünscht ist. Für dieses einfache Beispiel würde die Raumkompensation unter Verwendung der Wellenfeldsynthese darin bestehen, dass zunächst die Reflexion dieser Wand bestimmt wird, um zu ermitteln, wann ein Schallsignal, das von der Wand reflektiert worden ist, wieder beim Lautsprecher an- kommt, und welche Amplitude dieses reflektierte Schallsignal hat. Wenn die Reflexion von dieser Wand unerwünscht ist, so besteht mit der Wellenfeldsynthese die Möglichkeit, die Reflexion von dieser Wand zu eliminieren, indem dem Lautsprecher ein zu dem Reflexionssignal gegenphasiges Sig- nal mit entsprechender Amplitude zusätzlich zum ursprünglichen Audiosignal eingeprägt wird, so dass die hinlaufende Kompensationswelle die Reflexionswelle auslöscht, derart, dass die Reflexion von dieser Wand in der Umgebung, die be- trachtet wird, eliminiert ist. Dies kann dadurch geschehen, dass zunächst die Impulsantwort der Umgebung berechnet wird und auf der Basis der Impulsantwort dieser Umgebung die Beschaffenheit und Position der Wand bestimmt wird, wobei die Wand als Spiegelquelle interpretiert wird, also als Schallquelle, die einen einfallenden Schall reflektiert.
Wird zunächst die Impulsantwort dieser Umgebung gemessen und wird dann das Kompensationssignal berechnet, das dem Audiosignal überlagert dem Lautsprecher eingeprägt werden muss, so wird eine Aufhebung der Reflexion von dieser Wand stattfinden, derart, dass ein Hörer in dieser Umgebung schallmäßig den Eindruck hat, dass diese Wand überhaupt nicht existiert.
Entscheidend für eine optimale Kompensation der reflektierten Welle ist jedoch, dass die Impulsantwort des Raums genau bestimmt wird, damit keine Über- oder Unterkompensation auftritt.
Die Wellenfeldsynthese ermöglicht somit eine korrekte Abbildung von virtuellen Schallquellen über einen großen Wiedergabebereich. Gleichzeitig bietet sie dem Tonmeister und Toningenieur neues technisches und kreatives Potential bei der Erstellung auch komplexer Klanglandschaften. Die Wellenfeldsynthese (WFS oder auch Schallfeldsynthese) , wie sie Ende der 80-er Jahre an der TU Delft entwickelt wurde, stellt einen holographischen Ansatz der Schallwiedergabe dar. Als Grundlage hierfür dient das Kirchhoff-Helmholtz- Integral. Dieses besagt, dass beliebige Schallfelder innerhalb eines geschlossenen Volumens mittels einer Verteilung von Monopol- und Dipolschallquellen (Lautsprecherarrays) auf der Oberfläche dieses Volumens erzeugt werden können.
Bei der Wellenfeldsynthese wird aus einem Audiosignal, das eine virtuelle Quelle an einer virtuellen Position aussendet, eine Synthesesignal für jeden Lautsprecher des Lautsprecherarrays berechnet, wobei die Synthesesignale derart hinsichtlich Amplitude und Phase gestaltet sind, dass eine Welle, die sich aus der Überlagerung der einzelnen durch die im Lautsprecherarray vorhandenen Lautsprecher ausgegebenen Schallwelle ergibt, der Welle entspricht, die von der virtuellen Quelle an der virtuellen Position herrühren würde, wenn diese virtuelle Quelle an der virtuellen Position eine reale Quelle mit einer realen Position wäre.
Typischerweise sind mehrere virtuelle Quellen an verschie- denen virtuellen Positionen vorhanden. Die Berechnung der Synthesesignale wird für jede virtuelle Quelle an jeder virtuellen Position durchgeführt, so dass typischerweise eine virtuelle Quelle in Synthesesignalen für mehrere Lautsprecher resultiert. Von einem Lautsprecher aus betrachtet empfängt dieser Lautsprecher somit mehrere Synthesesignale, die auf verschiedene virtuelle Quellen zurückgehen. Eine Überlagerung dieser Quellen, die aufgrund des linearen Superpositionsprinzips möglich ist, ergibt dann das von dem Lautsprecher tatsächlich ausgesendete Wiedergabesignal.
Die Möglichkeiten der Wellenfeldsynthese können um so besser ausgeschöpft werden, je größer die Lautsprecherarrays sind, d. h. um so mehr einzelne Lautsprecher bereitgestellt werden. Damit steigt jedoch auch die Rechenleistung, die eine Wellenfeldsyntheseeinheit vollbringen muss, da typischerweise auch Kanalinformationen berücksichtigt werden müssen. Dies bedeutet im einzelnen, dass von jeder virtuellen Quelle zu jedem Lautsprecher prinzipiell ein eigener Übertragungskanal vorhanden ist, und dass prinzipiell der Fall vorhanden sein kann, dass jede virtuelle Quelle zu einem Synthesesignal für jeden Lautsprecher führt, bzw. dass jeder Lautsprecher eine Anzahl von Synthesesignalen erhält, die gleich der Anzahl von virtuellen Quellen ist.
Wenn insbesondere bei Kinoanwendungen die Möglichkeiten der Wellenfeldsynthese dahingehend ausgeschöpft werden sollen, dass die virtuellen Quellen auch beweglich sein können, so ist zu erkennen, dass aufgrund der Berechnung der Synthese- Signale, der Berechnung der Kanalinformationen und der Erzeugung der Wiedergabesignale durch Kombination der Kanalinformationen und der Synthesesignale ganz erhebliche Rechenleistungen zu bewältigen sind.
Darüber hinaus sei an dieser Stelle angemerkt, dass die Qualität der Audiowiedergabe mit der Anzahl der zur Verfügung gestellten Lautsprecher steigt. Dies bedeutet, dass die Audiowiedergabequalität um so besser und realistischer wird, um so mehr Lautsprecher in dem bzw. den Lautsprecher- arrays vorhanden sind.
Im obigen Szenario könnten die fertig gerenderten und ana- log-digital-gewandelten Wiedergabesignale für die einzelnen Lautsprecher beispielsweise über Zweidrahtleitungen von der Wellenfeldsynthese-Zentraleinheit zu den einzelnen Lautsprechern übertragen werden. Dies hätte zwar den Vorteil, dass nahezu sichergestellt ist, dass alle Lautsprecher synchron arbeiten, so dass hier zu Synchronisationszwecken keine weiteren Maßnahmen erforderlich wären. Andererseits könnte die Wellenfeldsynthese-Zentraleinheit immer nur für einen speziellen Wiedergaberaum bzw. für eine Wiedergabe mit einer festgelegten Anzahl von Lautsprechern hergestellt werden. Dies bedeutet, dass für jeden Wiedergaberaum eine eigene Wellenfeldsynthese-Zentraleinheit gefertigt werden müsste, die ein erhebliches Maß an Rechenleistung zu vollbringen hat, da die Berechnung der Audiowiedergabesignale insbesondere im Hinblick auf viele Lautsprecher bzw. viele virtuelle Quellen zumindest teilweise parallel und in Echt- zeit erfolgen muss.
Das Deutsche Patent DE 10254404 B4 offenbart ein System, wie es in Fig. 7 dargestellt ist. Ein Teil ist das zentrale Wellenfeldsynthesemodul 10. Der andere Teil setzt sich aus einzelnen Lautsprechermodulen 12a, 12b, 12c, 12d, 12e zusammen, die mit tatsächlichen physikalischen Lautsprechern 14a, 14b, 14c, 14d, 14e derart verbunden sind, wie es in Fig. 1 gezeigt ist. Es sei darauf hingewiesen, dass die An- zahl der Lautsprecher 14a-14e bei typischen Anwendungen im Bereich über 50 und typischerweise sogar deutlich über 100 liegt. Wird jedem Lautsprecher ein eigenes Lautsprechermodul zugeordnet, so wird auch die entsprechende Anzahl von Lautsprecher-Modulen benötigt. Je nach Anwendung wird es jedoch bevorzugt, von einem Lautsprecher-Modul aus eine kleine Gruppe von nebeneinander liegenden Lautsprechern anzusprechen. In diesem Zusammenhang ist es beliebig, ob ein Lautsprecher-Modul, das mit vier Lautsprechern beispiels- weise verbunden ist, die vier Lautsprecher mit demselben Wiedergabesignal speist, oder ob für die vier Lautsprecher entsprechende unterschiedliche Synthesesignale berechnet werden, so dass ein solches Lautsprecher-Modul eigentlich aus mehreren einzelnen Lautsprecher-Modulen besteht, die jedoch physikalisch in einer Einheit zusammengefasst sind.
Zwischen dem Wellenfeldsynthesemodul 10 und jedem einzelnen Lautsprecher-Modul 12a-12e befindet sich eine eigene Übertragungsstrecke 16a-16e, wobei jede Übertragungsstrecke mit dem zentralen Wellenfeldsynthesemodul und einem eigenen Lautsprecher-Modul gekoppelt ist.
Als Datenübertragungsmodus zum Übertragen von Daten von dem Wellenfeldsynthesemodul zu einem Lautsprecher-Modul wird ein serielles Übertragungsformat bevorzugt, das eine hohe Datenrate liefert, wie beispielsweise ein sogenanntes Firewire-Übertragungsformat oder ein USB-Datenformat. Datenübertragungsraten von über 100 Megabit pro Sekunde sind vorteilhaft.
Der Datenstrom, der von dem Wellenfeldsynthesemodul 10 zu einem Lautsprecher-Modul übertragen wird, wird somit je nach gewähltem Datenformat in dem Wellenfeldsynthesemodul entsprechend formatiert und mit einer Synchronisationsin- formation versehen, die in üblichen seriellen Datenformaten vorgesehen ist. Diese Synchronisationsinformation wird von den einzelnen Lautsprecher-Modulen aus dem Datenstrom extrahiert und verwendet, um die einzelnen Lautsprecher-Module im Hinblick auf ihre Wiedergabe, also letztendlich auf die Analog-Digital-Wandlung zum Erhalten des analogen Lautsprechersignals und die dafür vorgesehene Abtastung (re- sampling) zu synchronisieren. Das zentrale Wellenfeldsyn- thesemodul arbeite als Master, und alle Lautsprecher-Module arbeiten als Clients, wobei die einzelnen Datenströme über die verschiedenen Übertragungsstrecken 16a-16e alle dieselben Synchronisationsinformationen von dem Zentralmodul 10 erhalten. Dies stellt sicher, dass alle Lautsprecher-Module synchron, und zwar synchronisiert von dem Master 10, arbeiten, was für das Audiowiedergabesystem wichtig ist, um keinen Verlust an Audioqualität zu erleiden, damit die vom Wellenfeldsynthesemodul berechneten Synthesesignale nicht zeitversetzt von den einzelnen Lautsprechern nach entspre- chendem Audio-Rendering abgestrahlt werden.
Das beschriebene Konzept liefert zwar bereits eine deutliche Flexibilität im Hinblick auf ein Wellenfeldsynthese- System, das für verschiedene Anwendungsmöglichkeiten ska- lierbar ist. Es leidet jedoch nach wie vor an der Problematik, dass das zentrale Wellenfeldsynthese-Modul, das das eigentliche Haupt-Rendering durchführt, das also abhängig von den Positionen der virtuellen Quellen und abhängig von den Lautsprecherpositionen die einzelnen Synthese-Signale für die Lautsprecher berechnet, einen „Flaschenhals" für das gesamte System darstellt. Obgleich bei diesem System das „Nach-Rendering", also die Beaufschlagung der Synthesesignale mit Kanalübertragungsfunktionen, etc. bereits dezentral ausgeführt wird und somit bereits die notwendige Datenübertragungskapazität zwischen dem zentralen Renderer- Modul und den einzelnen Lautsprecher-Modulen durch Selektion von Synthesesignalen mit einer kleineren Energie als einer bestimmten Schwellenenergie reduziert worden ist, müssen jedoch dennoch alle virtuellen Quellen gewissermaßen für alle Lautsprechermodule gerendert werden, also in Synthesesignale umgerechnet werden, wobei die Ausselektion erst nach dem Rendering stattfindet. Dies bedeutet, dass das Rendering nach wie vor die Gesamtkapazität des Systems bestimmt. Ist die zentrale Rendering- Einheit daher z. B. in der Lage, 32 virtuelle Quellen gleichzeitig zu rendern, also für diese 32 virtuellen Quel- len die Synthesesignale gleichzeitig zu berechnen, so tre¬ ten ernsthafte Kapazitätsengpässe auf, wenn mehr als 32 Quellen zu einem Zeitpunkt in einer Audioszene aktiv sind. Für einfache Szenen ist dies ausreichend. Für komplexere Szenen, insbesondere mit immersiven Klangeindrücken, also wenn es beispielsweise regnet und viele Regentropfen einzelne Quellen darstellen, ist es ummittelbar einsichtig, dass die Kapazität mit maximal 32 Quellen nicht mehr aus¬ reicht. Eine entsprechende Situation findet auch dann statt, wenn man ein großes Orchester hat und tatsächlich jeden Orchesterspieler oder wenigstens jede Instrumentengruppe als eigene Quelle an ihrer eigenen Position verarbeiten möchte. Hier können 32 virtuelle Quellen sehr schnell zu wenig werden.
Typischerweise wird bei dem bekannten Wellenfeldsynthese- Konzept eine Szenenbeschreibung verwendet, in der die einzelnen Audioobjekte derart zusammen definiert sind, dass unter Verwendung der Daten in der Szenenbeschreibung und der Audiodaten für die einzelnen virtuellen Quellen die komplette Szene durch einen Renderer bzw. eine Multi- Rendering-Anordnung aufbereitet werden kann. Hierbei ist für jedes Audioobjekt exakt definiert, wo das Audioobjekt zu beginnen hat und wo das Audioobjekt zu enden hat. Ferner ist für jedes Audioobjekt genau die Position der virtuellen Quelle angegeben, an der die virtuelle Quelle sein soll, die also in die Wellenfeldsynthese-Rendering-Einrichtung einzugeben ist, damit für jeden Lautsprecher die entsprechenden Synthesesignale erzeugt werden. Dies hat zur Folge, dass durch Überlagerung der von den einzelnen Lautsprechern als Reaktion auf die Synthesesignale ausgegebenen Schallwellen für einen Hörer ein Eindruck entsteht, als ob eine Schallquelle an einer Position im Wiedergaberaum bzw. au- ßerhalb des Wiedergaberaums positioniert ist, die durch die Quellenposition der virtuellen Quelle definiert ist.
Nachteilig an dem beschriebenen Konzept ist die Tatsache, dass es insbesondere bei der Erstellung der Audioszenenbeschreibungen relativ starr ist. So wird ein Tonmeister eine Audioszene genau für eine bestimmte Wellenfeldsyntheseanla- ge erstellen, von der er genau die Situation im Wiedergaberaum kennt und die Audioszenenbeschreibung so erstellt, dass sie auf dem definierten, dem Produzenten bekannten Wellenfeldsynthesesystem reibungslos abläuft.
In diesem Zusammenhang wird der Tonmeister maximale Kapazitäten der Wellenfeldsynthese-Rendering-Einrichtung sowie Anforderungen an das Wellenfeld im Wiedergaberaum bereits bei der Erstellung der Audioszenenbeschreibung berücksichtigen. Hat ein Renderer beispielsweise eine maximale Kapazität von 32 zu verarbeitenden Audioquellen, so wird der Tonmeister bereits darauf achten, die Audioszenenbeschrei- bung so zu editieren, dass niemals mehr als 32 Quellen gleichzeitig zu verarbeiten sind.
Des weiteren wird der Tonmeister bereits daran denken, dass bei der Positionierung von z. B. zwei Instrumenten, wie beispielsweise Bassgitarre und Lead-Gitarre für den gesamten Wiedergaberaum, dessen Ausdehnungen dem Produzenten bekannt sind, Schallaufzeiten zu erfüllen sind. So ist für ein klares und nicht verschwommenes Klangbild wichtig, dass z. B. Bassgitarre und Lead-Gitarre relativ gleichmäßig vom Hörer wahrgenommen werden. Ein Tonmeister wird dann bei der virtuellen Positionierung, also bei der Zuordnung der virtuellen Positionen zu diesen beiden Quellen, darauf achten, dass im gesamten Wiedergaberaum erfüllt ist, dass die Wellenfront von diesen beiden Instrumenten nahezu gleichmäßig bei einem Zuhörer ankommen.
Eine Audioszenenbeschreibung wird so eine Folge von Audioobjekten erhalten, wobei jedes Audioobjekt eine virtuelle Position und einen Anfangszeitpunkt, einen Endzeitpunkt o- der eine Dauer umfasst.
Normalerweise wird dann gewissermaßen durch manuelle Über- Prüfungen, also durch Probehören an verschiedenen Positionen im Wiedergaberaum tatsächlich überprüft, ob die Audioszenenbeschreibung so bleiben kann, also ob der Produzent der Audioszenenbeschreibung tatsächlich gut gearbeitet hat und auf sämtliche Anforderungen des Wellenfeldsynthese- Systems eingegangen ist.
Nachteilig an diesem Konzept ist, dass sich der Tonmeister, der die Audioszenenbeschreibung erstellt, auf Randbedingungen des Wellenfeldsynthese-Systems konzentrieren muss, die eigentlich mit der kreativen Seite der Audioszene nichts zu tun haben. Es wäre also wünschenswert, wen sich der Tonmeister allein auf die kreativen Aspekte konzentrieren könnte, ohne auf ein bestimmtes Wellenfeldsynthesesystem, auf dem seine Audiszene laufen soll, Rücksicht nehmen zu müssen.
An dem beschriebenen Konzept ist ferner nachteilig, dass dann, wenn eine Audioszenenbeschreibung von einem Wellenfeldsynthesesystem mit einem bestimmten ersten Verhalten, für das die Audioszenenbeschreibung konzipiert worden ist, auf einem anderen Wellenfeldsynthesesystem mit einem zweiten Verhalten ablaufen soll, für das die Audioszene nicht konzipiert worden ist.
Würde man einfach die Audioszenenbeschreibung auf dem System laufen lassen, für das sie nicht konzipiert worden ist, so würden Probleme dahingehend auftreten, dass hörbare Fehler eingeführt werden, wenn das zweite System weniger leistungsfähig als das erste System ist.
Ist das zweite System dagegen leistungsfähiger als das erste System, so wird die Audioszenenbeschreibung jedoch das zweite System lediglich im Rahmen der Leistungsfähigkeit des ersten Systems fordern und die zusätzliche Leistungsfähigkeit des zweiten Systems nicht ausschöpfen.
Bezieht sich das zweite System ferner auf einen z. B. grö- ßeren Wiedergaberaum, so kann an bestimmten Stellen nicht mehr sichergestellt werden, dass die Wellenfronten von zwei virtuellen Quellen, wie beispielsweise Bassgitarre und Lead-Gitarre, nahezu gleichzeitig eintreffen.
Insbesondere die Problematik des gleichzeitigen bzw. nahezu gleichzeitigen Wahrnehmens von zwei virtuellen Quellen, die synchron sein sollten, ist sehr problematisch, zumal bisher für diesen Zweck lediglich manuelle Testhöraktionen und eine subjektive Beurteilung der Qualität an bestimmten Plät- zen im Wiedergaberaum möglich waren.
Ansprechend auf solche subjektiven Beurteilungen war der Tonmeister dann gefordert, die eigentlich schon fertige Audioszenenbeschreibung für das zweite System durchgehend zu überarbeiten, was wiederum sowohl zeitliche Ressourcen als auch finanzielle Ressourcen in Anspruch nimmt.
Insbesondere aufgrund der Erwartung einer starken Verbreitung von Wellenfeldsynthesesystemen in nächster Zeit wird sich die Frage der flexiblen Audioszenenbeschreibungen, die universell auf beliebigen Systemen abgespielt werden können, immer mehr stellen, um an dieser Stelle irgendwann eine ähnliche Portierbarkeit bzw. Kompatibilität zu erreichen, wie sie für CDs oder DVDs gewohnter Stand der Technik sind.
Die Aufgabe der vorliegenden Erfindung besteht darin, ein Konzept zum Simulieren eines Wellenfeldsynthese-Systems zu schaffen, durch das eine Audioszenenbeschreibung effizient im Hinblick auf ein bestimmtes Wellenfeldsynthese-System und damit zusammenhängende potenziell auftretende Fehler untersucht werden kann. Diese Aufgabe wird durch eine Vorrichtung zum Simulieren eines Wellenfeldsynthese-Systems nach Patentanspruch 1 oder ein Verfahren zum Simulieren eines Wellenfeldsynthese- Systems nach Patentanspruch 15 oder ein Computer-Programm nach Patentanspruch 16 gelöst.
Der vorliegenden Erfindung liegt die Erkenntnis zugrunde, dass neben einer Audioszenenbeschreibung, die eine zeitliche Abfolge von Audioobjekten definiert, auch Ausgabebedin- gungen entweder innerhalb der Audioszenenbeschreibung oder getrennt von der Audioszenenbeschreibung bereitgestellt werden, um dann das Verhalten des Wellenfeldsynthese- Systems, auf dem eine Audioszenenbeschreibung ablaufen soll, zu simulieren. Anhand des simulierten Verhaltens des Wellenfeldsynthese-Systems und anhand der Ausgabebedingungen kann dann überprüft werden, ob das simulierte Verhalten des Wellenfeldsynthese-Systems die Ausgabebedingung erfüllt oder nicht.
Dieses Konzept ermöglicht es, eine Audioszenenbeschreibung einfach für ein anderes Wellenfeldsynthese-System zu simulieren und systemunabhängige generelle Ausgabebedingungen für das andere Wellenfeldsynthese-System zu berücksichtigen, ohne dass der Tonmeister bzw. der Schöpfer der Audio- Szenenbeschreibung sich mit derart „säkularen" Dingen eines tatsächlichen Wellenfeldsynthese-Systems beschäftigen müsste. Die Beschäftigung mit den tatsächlichen Randbedingungen eines Wellenfeldsynthesesystems beispielsweise bezüglich der Kapazität der Renderer oder der Größe bzw. der Anzahl der Lautsprecherarrays im Wiedergaberaum wird dem Tonmeister durch die erfindungsgemäße Vorrichtung abgenommen. Er kann einfach seine Audioszenenbeschreibung allein von kreativen Gedanken geleitet so schreiben, wie er sie gerne möchte, indem er den künstlerischen Eindruck durch die systemunabhängigen Ausgabebedingungen absichert.
Hierauf wird dann durch das erfindungsgemäße Konzept überprüft, ob die Audioszenenbeschreibung, die universell, also nicht für ein spezielles System geschrieben worden ist, auf einem speziellen System laufen kann, ob und gegebenenfalls wo im Wiedergaberaum Probleme auftreten. Erfindungsgemäß muss bei dieser Bearbeitung nicht auf aufwendige Hörtests etc. gewartet werden, sondern der Bearbeiter kann nahezu in Echtzeit das Verhalten des Wellenfeldsynthese-Systems simulieren und anhand der vorgegebenen Ausgabebedingung verifizieren.
Erfindungsgemäß kann sich die Ausgabebedingung auf Hardware-Aspekte des Wellenfeldsynthese-Systems beziehen, wie beispielsweise auf eine maximale Verarbeitungskapazität der Renderer-Einrichtung, oder aber auch auf Schallfeldspezifische Dinge im Wiedergaberaum, wie beispielsweise dass Wellenfronten zweier virtueller Quellen innerhalb einer maximalen Zeitdifferenz wahrgenommen werden müssen, o- der dass Pegelunterschiede zwischen zwei virtuellen Quellen an allen Punkten oder wenigstens an bestimmten Punkten im Wiedergaberaum in einem vorbestimmten Korridor liegen müs- sen. Im Hinblick auf die Hardware-spezifischen Ausgabebedingungen wird es bevorzugt, diese aufgrund der Flexibili- täts- und Kompatibilitäts-Anforderungen nicht in der Audioszenenbeschreibung einzufügen, sondern extern der Überprüfungseinrichtung bereitzustellen.
Im Hinblick auf Schallfeld-bezogene Ausgabebedingungen, also Ausgabebedingungen, die definieren, was ein Schallfeld in dem Wiedergaberaum zu erfüllen hat, wird es dagegen bevorzugt, dieselben in die Audioszenenbeschreibung aufzuneh- men. Damit stellt ein Schöpfer einer Audioszenenbeschreibung sicher, dass wenigstens Minimalanforderungen an den Klangeindruck erfüllt werden, dass jedoch noch eine gewisse Flexibilität bei der Wellenfeldsynthese-Aufbereitung verbleibt, um eine Audioszenenbeschreibung nicht nur mit opti- maier Qualität auf einem einzigen Wellenfeldsynthese-System abspielen zu können, sondern auf verschiedenen Wellenfeld- synthese-Systemen, indem die vom Autor zugestandene Flexibilität durch eine intelligente Nachbearbeitung der Audio- Szenenbeschreibung, die jedoch vorzugsweise maschinell durchgeführt wird, vorteilhaft ausgenutzt wird.
In anderen Worten ausgedrückt dient die vorliegende Erfin- düng als Werkzeug, um zu verifizieren, ob Ausgabebedingungen einer Audioszenenbeschreibung durch ein Wellenfeldsyn- these-System erfüllt werden kann. Sollten Verletzungen von Ausgabebedingungen auftreten, so wird das erfindungsgemäße Konzept bei dem bevorzugten Ausführungsbeispiel den Benut- zer darüber informieren, welche virtuellen Quellen problematisch sind, wo im Wiedergaberaum Verletzungen der Ausgabebedingungen auftreten und zu welchem Zeitpunkt. Damit kann beurteilt werden, ob eine Audioszenenbeschreibung problemlos auf einem beliebigen Wellenfeldsynthese-System läuft, oder ob die Audioszenenbeschreibung aufgrund gravierender Verletzungen der Ausgabebedingungen umgeschrieben werden muss, oder ob zwar Verletzungen der Ausgabebedingungen auftreten, diese aber nicht so gravierend sind, dass man tatsächlich die Audioszenenbeschreibung manipulieren müsste.
Bevorzugte Ausführungsbeispiele der vorliegenden Erfindung werden nachfolgend Bezug nehmend auf die beiliegenden Zeichnungen detailliert erläutert. Es zeigen:
Fig. Ia ein Blockschaltbild einer erfindungsgemäßen Vorrichtung zum Simulieren eines Wellenfeldsynthese- Systems;
Fig. Ib eine spezielle Implementierung der Einrichtung zum Simulieren gemäß Fig. Ia;
Fig. Ic ein Flussdiagramm zum Darstellen der Vorgänge bei einer Ausgabebedingung, die eine Eigenschaft zwi- sehen zwei virtuellen Quellen definiert;
Fig. Id eine schematische Darstellung eines Wiedergaberaums und von Problemzonen bei einem bevorzugten Ausführungsbeispiel der vorliegenden Erfindung, bei dem AuftreffZeitpunkte von Schallfeldern in der Ausgabebedingung enthalten sind;
Fig. 2 ein beispielhaftes Audioobjekt;
Fig. 3 eine beispielhafte Szenenbeschreibung;
Fig. 4 einen Bitstrom, in dem jedem Audioobjekt ein Hea- der mit den aktuellen Zeitdaten und Positionsdaten zugeordnet ist;
Fig. 5 eine Einbettung des erfindungsgemäßen Konzepts in ein Wellenfeldsynthese-GesamtSystem;
Fig. 6 eine schematische Darstellung eines bekannten Wellenfeldsynthese-Konzepts ; und
Fig. 7 eine weitere Darstellung eines bekannten Wellen- feldsynthese-Konzepts .
Fig. Ia zeigt eine schematische Darstellung einer erfindungsgemäßen Vorrichtung zum Simulieren eines Wellenfeld- synthese-Systems mit einem Wiedergaberaum, in dem eines o- der mehrere Lautsprecherarrays und eine mit dem Lautspre- cherarray gekoppelte Wellenfeldsynthese-Rendering- Einrichtung anbringbar sind. Die erfindungsgemäße Vorrichtung umfasst eine Einrichtung 1 zum Liefern einer Audioszenenbeschreibung, die eine zeitliche Abfolge von Audioobjek- ten definiert, wobei ein Audioobjekt eine Audiodatei für eine virtuelle Quelle oder einen Verweis auf die Audiodatei und Informationen über eine Quellenposition der virtuellen Quelle aufweist. Die Audiodateien können entweder direkt in der Audioszenenbeschreibung 1 enthalten sein, oder können durch Referenzen auf Audiodateien in einer Audiodatei- Datenbank 2 identifizierbar sein und einer Einrichtung 3 zum Simulieren des Verhaltens des Wellenfeldsynthese- Systems zugeführt werden. Je nach Implementierung werden die Audiodateien, über eine Steuerleitung Ia gesteuert oder über eine Leitung Ib, in der auch die Quellenpositionen enthalten sind, der Simula- tionseinrichtung 2 zugeführt. Werden die Dateien dagegen direkt von der Audiodateidatenbank 2 der Einrichtung 3 zum Simulieren des Verhaltens des Wellenfeldsynthese-Systems zugeführt, so wird eine Leitung 3a aktiv sein, die in Fig. Ia gestrichelt eingezeichnet ist. Die Einrichtung 3 zum Si- mulieren des Wellenfeldsynthese-Systems ist ausgebildet, um Informationen über das Wellenfeldsynthese-System zu verwenden, um dann, ausgangsseitig, das simulierte Verhalten des Wellenfeldsynthese-Systems einer Einrichtung 4 zum Überprüfen der Ausgabebedingung zuzuführen.
Die Einrichtung 4 ist ausgebildet, um zu überprüfen, ob das simulierte Verhalten des Wellenfeldsynthese-Systems die Ausgabebedingung erfüllt oder nicht. Hierzu erhält die Einrichtung 4 zum Überprüfen eine Ausgabebedingung über eine Eingangsleitung 4a, wobei die Ausgabebedingung entweder ex¬ tern der Einrichtung 4 zugeführt wird. Alternativ kann die Ausgabebedingung auch aus der Audioszenenbeschreibung stam¬ men, wie es durch eine gestrichelte Leitung 4b dargestellt ist.
Der erste Fall, also bei dem die Ausgabebedingung extern zugeführt wird, wird dann bevorzugt, wenn die Ausgabebedin¬ gung eine auf das Wellenfeldsynthese-System bezogene Hard¬ ware-technische Bedingung ist, wie beispielsweise eine ma- ximale Übertragungskapazität einer Datenverbindung oder - als Flaschenhals der gesamten Verarbeitung - eine maximale Rechenkapazität eines Renderers, oder, in - Multi-Renderer- Systemen, eines einzelnen Renderer-Moduls.
Renderer erzeugen aus den Audiodateien unter Verwendung von Informationen über die Lautsprecher und unter Verwendung von Informationen über die Quellenpositionen der virtuellen Quellen Synthesesignale, also für jeden der vielen Laut- Sprecher ein eigenes Signal, wobei die Synthesesignale zueinander unterschiedliche Phasen- und Amplitudenverhältnisse haben, damit die vielen Lautsprecher gemäß der Theorie der Wellenfeldsynthese eine gemeinsame Wellenfront erzeu- gen, die sich in dem Wiedergaberaum ausbreitet. Nachdem die Berechnung der Synthesesignale sehr aufwendig ist, sind ty¬ pische Renderer-Module in ihrer Kapazität begrenzt, wie beispielsweise auf eine Maximalkapazität von 32 gleichzei¬ tig zu verarbeitenden virtuellen Quellen. Eine solche Aus- gabebedingung, dass nämlich maximal 32 Quellen zu einem Zeitpunkt von einem Renderer verarbeitet werden dürfen, könnte beispielsweise der Einrichtung 4 zum Überprüfen der Ausgabebedingung bereitgestellt werden.
Alternative Ausgabebedingungen, die typischerweise in der Audioszenenbeschreibung erfindungsgemäß enthalten sein sollten, beziehen sich auf das Schallfeld im Wiedergaberaum. Insbesondere definieren Ausgabebedingungen ein Schallfeld oder eine bestimmte Eigenschaft eines Schall- felds in dem Wiedergaberaum.
In diesem Fall ist die Einrichtung 3 zum Simulieren des Wellenfeldsynthese-Systems ausgebildet, um das Schallfeld in dem Wiedergaberaum unter Verwendung von Informationen über eine Anordnung des einen oder der mehreren Lautspre- cherarrays in dem Wiedergaberaum und unter Verwendung der Audiodaten zu simulieren.
Ferner ist die Einrichtung 4 zum Überprüfen in diesem Fall ausgebildet, um zu überprüfen, ob das simulierte Schallfeld die Ausgabebedingung in dem Wiedergaberaum erfüllt oder nicht.
Ferner wird bei einem bevorzugten Ausführungsbeispiel der vorliegenden Erfindung die Einrichtung 4 ausgebildet sein, um eine Anzeige, wie beispielsweise eine optische Anzeige zu liefern, durch die dem Benutzer mitgeteilt wird, ob die Ausgabebedingung nicht erfüllt, komplett erfüllt oder nur teilweise erfüllt ist. Im Falle der teilweisen Erfüllung ist die Einrichtung 4 zum Überprüfen ferner ausgebildet, um z. B., wie es anhand von Fig. Id dargestellt ist, Problemzonen im Wiedergaberaum (WGR) zu identifizieren, an denen z. B. eine Wellenfront-Ausgabebedingung nicht erfüllt ist. Anhand dieser Information kann ein Benutzer des Simulationstools dann entscheiden, ob er die teilweise Verletzung hinnimmt oder nicht, oder ob er bestimmte Maßnahmen ergreift, um eine geringere Verletzung der Ausgabebedingungen zu erreichen, etc.
Fig. Ib zeigt eine bevorzugte Implementierung der Einrichtung 3 zum Simulieren eines Wellenfeldsynthese-Systems. Die Einrichtung 3 umfasst bei dem in Fig. Ib gezeigten bevor- zugten Ausführungsbeispiel der vorliegenden Erfindung eine ohnehin für ein Wellenfeldsynthese-System benötigte Wellen- feldsynthese-Rendering-Einrichtung 3b, um aus der Szenenbeschreibung, den Audiodateien, den Informationen über Lautsprecherpositionen bzw. gegebenenfalls weiteren Informatio- nen über die z. B. Akustik des Wiedergaberaums etc. Synthesesignale zu erzeugen, die dann einem Lautsprechersimulator 3c zugeführt werden. Der Lautsprechersimulator ist ausgebildet, um ein Schallfeld im Wiedergaberaum vorzugsweise an jeder interessierenden Position des Wiedergaberaums zu er- mittein. Anhand des Prozederes, das nachfolgend Bezug nehmend auf Fig. Ic beschrieben wird, kann dann für jeden gesuchten Punkt im Wiedergaberaum ermittelt werden, ob eine Problematik aufgetreten ist oder nicht.
Bei dem in Fig. Ic gezeigten Flussdiagramm wird zunächst durch die Einrichtung 3 zum Simulieren eine Wellenfront im
Wiedergaberaum für eine erste virtuelle Quelle simuliert
(5a) . Dann wird durch die Einrichtung 3 eine Wellenfront im
Wiedergaberaum für die zweite virtuelle Quelle simuliert (5b) . Selbstverständlich können die beiden Schritte 5a und 5b bei Vorhandensein entsprechender Rechenkapazitäten auch parallel zueinander, also gleichzeitig ausgeführt werden. Hierauf wird in einem Schritt 5c auf der Basis der ersten Wellenfront für die erste virtuelle Quelle und auf der Basis der zweiten Wellenfront für die zweite virtuelle Quelle eine zu simulierende Eigenschaft berechnet. Vorzugsweise wird diese Eigenschaft eine Eigenschaft sein, die zwischen zwei bestimmten virtuellen Quellen erfüllt sein muss, wie beispielsweise ein Pegelunterschied, ein Laufzeitunterschied, etc. Welche Eigenschaft im Schritt 5c berechnet wird, hängt von der Ausgabebedingung ab, da natürlich nur Informationen simuliert werden müssen, die auch mit Ausga- bebedingungen verglichen werden sollen. Der eigentliche Vergleich der berechneten Eigenschaft, also dem Ergebnis von Schritt 5c, mit der Ausgabebedingung findet in einem Schritt 5d statt.
Wird die Abfolge der Schritte 5a bis 5d für verschiedene Punkte durchgeführt, so kann in einem Schritt 5e nicht nur angezeigt werden, ob eine Bedingung nicht erfüllt ist, sondern auch wo im Wiedergaberaum eine solche Bedingung nicht erfüllt ist. Ferner können bei dem in Fig. Ic gezeigten Ausführungsbeispiel auch die problematischen virtuellen Quellen identifiziert werden (5f) .
Nachfolgend wird Bezug nehmend auf Fig. Id ein bevorzugtes Ausführungsbeispiel der vorliegenden Erfindung dargestellt. Eine Ausgabebedingung, die in Fig. 1 betrachtet wird, definiert eine Schalllaufzeit bezüglich von Audiodaten. So wird es bevorzugt, in der Audioszenenbeschreibung anzugeben, dass die Wellenfront aufgrund einer Gitarre und die Wellenfront aufgrund eines Basses an jedem Punkt im Wiedergabe- räum nur maximal eine bestimmte Zeitdauer Δtmax voneinander getrennt ankommen dürfen, so wird diese Bedingung insbesondere bei den in Fig. Id gezeigten Wiedergaberaum, der von vier Lautsprecherarrays LSAl, LSA2, LSA3, LSA4 umgeben ist, dann, wenn die Quellen gemäß der Audioszenenbeschreibung sehr weit voneinander beabstandet positioniert sind, nicht für jeden Punkt im Wiedergaberaum zu erfüllen sein. Durch das erfindungsgemäße Konzept identifizierte Problemzonen sind in Fig. Id im Wiedergaberaum eingezeichnet. Bei dem in Fig. Id gezeigten Ausführungsbeispiel hat der Produzent beispielsweise die Gitarre und den Bass in einem Abstand von 100 m positioniert. Ferner wurde als Ausgabebe- dingung eine maximale Laufzeitdifferenz von 10 m für den gesamten Wiedergaberaum, also eine Zeitspanne von 10 m ge¬ teilt durch die Schallgeschwindigkeit, vorgegeben. Die er¬ findungsgemäße Vorgehensweise, wie sie anhand von Fig. 1 beschrieben worden ist, wird die Problemzonen, wie sie in Fig. Id angedeutet sind, aufdecken und einem Produzenten bzw. einem Tonmeister, der die Audioszenenbeschreibung im Hinblick auf das Wellenfeldsynthese-System, das in Fig. Id gezeigt ist, mitteilen.
Erfindungsgemäß können daher Performance-Engpässe und Qualitätslöcher vorhergesagt werden. Dies wird dadurch er¬ reicht, dass eine zentrale Datenverwaltung bevorzugt wird, dass also sowohl die Szenenbeschreibung als auch die Audiodateien in einer intelligenten Datenbank abgespeichert sind, und dass ferner eine Einrichtung 3 zum Simulieren des Wellenfeldsynthesesystems bereitgestellt wird, die eine mehr oder weniger genaue Simulation des Wellenfeldsynthesesystems liefert. Damit werden aufwendige manuelle Tests und eine künstliche Begrenzung der Systemleistung auf ein Maß, das als Performance- und qualitätssicher betrachtet wird, eliminiert.
Insbesondere wird es bevorzugt, Ausgabebedingungen im Hinblick auf zeitliche Bezüge von verschiedenen virtuellen Quellen festzulegen. So haben verschiedene Audioquellen mehr oder weniger feste zeitliche Bezüge. Während die Verzögerung des Starts eines Windgeräusches um 50 Millisekunden keine stark wahrnehmbaren Qualitätseinbußen zur Folge hat, kann das Auseinanderdriften der synchronen Signale ei- ner Gitarre und eines Basses zu deutlichen Qualitätseinbußen im wahrgenommenen Audiosignal führen. Die Stärke der wahrgenommenen Qualitätseinbuße hängt von der Position des Hörers im Wiedergaberaum ab. Erfindungsgemäß werden solche Problemzonen im Wiedergaberaum automatisch ermittelt, visu- alisiert oder gesperrt.
Erfindungsgemäß wird zur besonders günstigen Definition der Ausgabebedingungen eine relative Definition der Audioobjekte zueinander und insbesondere eine innerhalb einer Zeitspanne oder Ortsspanne variable Positionierung bevorzugt, wie es anhand von Fig. 3 noch beschrieben wird.
So liefert die relative Positionierung bzw. Anordnung von Audioobjekten/Audiodateien entweder mit oder ohne Verwendung einer Datenbank eine praktikable Art und Weise, um Ausgabebedingungen zu definieren, die vorzugsweise eine Eigenschaft zweier virtueller Objekte zueinander, also eben- falls etwas relatives zum Gegenstand haben. Vorzugsweise wird jedoch noch eine Datenbank eingesetzt, um solche Zuordnungen/Ausgabebedingungen wiederverwenden zu können.
Ferner wird durch eine relative Zuordnung von Audioobjekten untereinander eine größere Flexibilität dahingehend erreicht, was das Szenenhandling betrifft. So soll beispielsweise die Gitarre mit gleichzeitig auftretenden Schritten zeitlich verknüpft sein. Das Verschieben der Gitarre um 10 Sekunden in die Zukunft würde automatisch auch die Schritte um 10 Sekunden in die Zukunft verschieben, ohne dass am „Schrittobjekt" Eigenschaften geändert werden müssen.
Erfindungsgemäß werden sowohl relative als auch variable Constraints verwendet, um die Verletzung bestimmter Klang- anforderungen auf unterschiedlichen Systemen zu prüfen. So wird eine solche Ausgabebedingung beispielsweise dahingehend definiert, dass der durch zwei Audioobjekte A und B zu einem Zeitpunkt tθ ausgelöste Schall den Zuhörer mit einer maximalen Differenz von z. B. t = 15 ms erreichen darf. An- schließend positioniert man die Audioobjekte A und B im Raum. Ein Prüfmechanismus überprüft dann die vorhandene, durch das Wellenfeldsynthese-Lautsprecher-Array bedingte Wiedergabefläche dahingehend, ob es Positionen gibt, bei denen die Ausgabebedingung verletzt wird. Vorzugsweise wird ferner der Autor der Klangszene über diese Verletzung informiert.
Je nach Implementierung kann die erfindungsgemäße Simulationsvorrichtung eine reine Anzeige über die Situation der Ausgabebedingung, also ob sie verletzt ist oder nicht, und gegebenenfalls wo sie verletzt ist und wo nicht, liefern. Vorzugsweise ist die erfindungsgemäße Simulationsvorrich- tung jedoch ausgebildet, um nicht nur die problematischen virtuellen Quellen beispielsweise zu identifizieren, sondern einem Bearbeiter bereits Lösungen vorzuschlagen. Am Beispiel der Schalllaufzeitbezüge würde eine Lösung beispielsweise darin bestehen, dass Gitarre und Bass an sol- chen virtuellen Positionen positioniert werden, die nur noch einen Abstand haben, der gering genug ist, dass die Wellenfronten überall im Wiedergaberaum tatsächlich innerhalb der geforderten durch die Ausgabebedingung festgelegten Differenz ankommen. Die Simulationseinrichtung kann hierbei einen iterativen Ansatz verwenden, bei dem in einer bestimmten Schrittweite die Quellen immer näher zueinander hin bewegt werden, um dann zu sehen, ob an vorher noch problematischen Punkten im Wiedergaberaum nunmehr die Ausgabebedingung erfüllt ist. Die „Kostenfunktion" wird also sein, ob weniger Ausgabebedingungsverletzungspunkte als im vorherigen Iterationsdurchlauf vorhanden sind.
Zu diesem Zweck umfasst die erfindungsgemäße Vorrichtung eine Einrichtung zum Manipulieren eines Audioobjekts, wenn das Audioobjekt die Ausgabebedingung verletzt. Diese Manipulation kann also in einer iterativen Manipulation bestehen, um für den Benutzer einen Positionierungsvorschlag zu machen .
Alternativ kann das erfindungsgemäße Konzept mit dieser Manipulationseinrichtung auch bei der Wellenfeldsynthese- Aufbereitung eingesetzt werden, um aus einer Szenenbeschreibung einen auf das tatsächliche System angepassten Schedule zu erzeugen. Diese Implementierung wird besonders dann bevorzugt, wenn die Audioobjekte nicht fest bezüglich Zeit und Ort gegeben sind, sondern bezüglich Zeit und Ort eine Zeitspanne bzw. Ortsspanne vorgegeben ist, in der die Audioobjektmanipulationseinrichtung ohne weiter bei dem Tonmeister anzufragen, selbsttätig die Audioobjekte manipu¬ lieren darf. Erfindungsgemäß wird bei einer solchen Echtzeit-Simulation/Aufbereitung natürlich darauf geachtet, dass die Ausgabebedingungen durch eine Verschiebung inner- halb einer Zeitspanne oder Ortsspanne nicht noch mehr ver¬ letzt werden.
Alternativ kann die erfindungsgemäße Vorrichtung jedoch auch Off-Line arbeiten, indem aus einer Audioszenenbe- Schreibung durch Audioobjektmanipulation eine Schedule- Datei geschrieben wird, die auf den Simulationsergebnissen für verschiedene Ausgabebedingungen basiert, und die dann in einem Wellenfeldsynthesesystem anstatt der ursprünglichen Audioszenenbeschreibung gerendert werden kann. Vorteil an dieser Implementierung ist, dass die Audioscheduledatei ohne Intervention des Tonmeisters geschrieben worden ist, also ohne Verbrauch an zeitlichen und finanziellen Ressourcen eines Produzenten.
Nachfolgend wird Bezug nehmend auf Fig. 2 auf Informationen hingewiesen, die ein Audioobjekt vorteilhaft haben sollte. So soll ein Audioobjekt die Audiodatei spezifizieren, die gewissermaßen den Audioinhalt einer virtuellen Quelle darstellt. So muss das Audioobjekt jedoch nicht die Audiodatei umfassen, sondern kann einen Index haben, der auf eine definierte Stelle in einer Datenbank verweist, an der die tatsächliche Audiodatei gespeichert ist.
Ferner umfasst ein Audioobjekt vorzugsweise eine Identifi- kation der virtuellen Quelle, die beispielsweise eine Quellennummer oder ein aussagefähiger Dateiname etc. sein kann. Ferner spezifiziert das Audioobjekt bei der vorliegenden Erfindung eine Zeitspanne für den Beginn und/oder das Ende der virtuellen Quelle, also der Audiodatei. Wird nur eine Zeitspanne für den Beginn spezifiziert, so bedeutet dies, dass der tatsächliche Startpunkt der Aufbereitung dieser Datei durch den Renderer innerhalb der Zeitspanne verändert werden kann. Wird zusätzlich eine Zeitspanne für das Ende vorgegeben, so bedeutet dies, dass auch das Ende innerhalb der Zeitspanne variiert werden kann, was insgesamt je nach Implementierung zu einer Variation der Audiodatei auch hinsichtlich ihrer Länge führen wird. Jegliche Implementierun- gen sind möglich, so z. B. auch eine Definition der Start/Endzeit einer Audiodatei so, dass zwar der Startpunkt verschoben werden darf, dass jedoch auf keinen Fall die Länge verändert werden darf, sodass damit automatisch das Ende der Audiodatei ebenfalls verschoben wird. Insbesondere für Geräusche wird es jedoch bevorzugt, auch das Ende variabel zu halten, da es typischerweise nicht problematisch ist, ob z. B. ein Windgeräusch etwas früher oder später anfängt, oder ob es etwas früher oder später endet. Weitere Spezifizierungen sind je nach Implementierung möglich bzw. erwünscht, wie beispielsweise eine Spezifikation, dass zwar der Startpunkt variiert werden darf, nicht jedoch der Endpunkt, etc.
Vorzugsweise umfasst ein Audioobjekt ferner eine Ortsspanne für die Position. So wird es für bestimmte Audioobjekte keine Rolle spielen, ob sie z. B. von vorne links oder vorne Mitte kommen, oder ob sie um einen (kleinen) Winkel bezüglich eines Bezugspunkts im Wiedergaberaum verschoben werden. So existieren jedoch auch, wie es ausgeführt worden ist, Audioobjekte insbesondere wieder aus dem Geräuschbereich, die an jeder beliebigen Stelle positioniert werden können und damit eine maximale Ortsspanne haben, die beispielsweise durch einen Code für „beliebig" oder durch keinen Code (implizit) im Audioobjekt spezifiziert werden kann.
Ein Audioobjekt kann weitere Informationen umfassen, wie beispielsweise eine Angabe über die Art der virtuellen Quelle, also ob es sich bei der virtuellen Quelle um eine Punktquelle für Schallwellen handeln muss, oder ob es sich um eine Quelle für ebene Wellen handeln muss, oder ob es sich um eine Quelle handeln muss, die Quellen beliebiger Wellenfront erzeugt, sofern die Renderer-Module in der Lage sind, solche Informationen zu verarbeiten.
Fig. 3 zeigt beispielhaft eine schematische Darstellung einer Szenenbeschreibung, in der die zeitliche Abfolge ver- schiedener Audioobjekte AOl, .... AOn+1 dargestellt ist. Insbesondere wird auf das Audioobjekt A03 hingewiesen, für das eine Zeitspanne, wie sie in Fig. 3 eingezeichnet ist, definiert ist. So können sowohl der Startpunkt als auch der Endpunkt des Audioobjekts A03 in Fig. 3 um die Zeitspanne verschoben werden. Die Definition des Audioobjekts A03 lautet jedoch dahingehend, dass die Länge nicht verändert werden darf, was jedoch von Audioobjekt zu Audioobjekt variabel einstellbar ist.
So ist zu sehen, dass durch Verschieben des Audioobjekts AO3 in positiver zeitlicher Richtung eine Situation erreicht werden kann, bei der das Audioobjekt A03 erst nach dem Audioobjekt A02 beginnt. Werden beide Audioobjekte auf demselben Renderer abgespielt, so kann durch diese Maßnahme eine kurze Überschneidung 20, die ansonsten vielleicht auftreten würde, vermieden werden. Wäre das Audioobjekt A03 im Stand der Technik bereits das Audioobjekt, das über der Kapazität eines Renderers liegen würde, aufgrund bereits sämtlicher weiterer zu verarbeitender Audioobjekte auf dem Renderer, wie beispielsweise Audioobjekt A02 und Audioobjekt AOl, so würde ohne die vorliegende Erfindung eine komplette Unterdrückung des Audioobjekts A03 auftreten, obgleich die Zeitspanne 20 lediglich sehr klein war. Erfindungsgemäß wird das Audioobjekt AO3 durch die Audioobjekt- manipulationseinrichtung 3 verschoben, sodass keine Kapazitätsüberschreitung und damit auch keine Unterdrückung des Audioobjekts AO3 mehr stattfindet. Bei dem bevorzugten Ausführungsbeispiel der vorliegenden Erfindung wird eine Szenenbeschreibung verwendet, die relative Angaben hat. So wird die Flexibilität dadurch erhöht, dass der Beginn des Audioobjekts AO2 nicht mehr in einem absoluten Zeitpunkt gegeben wird, sondern in einem relativen Zeitraum zum Audioobjekt AOl. Entsprechend wird auch eine relative Beschreibung der Ortsangaben bevorzugt, also nicht, dass ein Audioobjekt an einer bestimmten Position xy im Wiedergaberaum anzuordnen ist, sondern z. B. um einen Vektor versetzt zu einem anderen Audioobjekt oder zu einem Referenzobjekt ist.
Dadurch kann die Zeitspanneninformation bzw. Ortsspanneninformation sehr effizient aufgenommen werden, nämlich ein- fach dadurch, dass die Zeitspanne so festgelegt ist, dass sie zum Ausdruck bringt, dass das Audioobjekt A03 z. B. in einem Zeitraum zwischen zwei Minuten und zwei Minuten und 20 Sekunden nach dem Start des Audioobjekts AOl beginnen kann.
Eine solche relative Definition der Raum- und Zeitbedingungen führt zu einer datenbankmäßig effizienten Darstellung in Form von Constraints, wie sie z. B. in „Modeling Output Constraints in Multimedia Database Systems", T. Heimrich, 1. internationale Multimedia Modelling Conference, IEEE, 2. Januar 2005 bis 14. Januar 2005, Melbourne, beschrieben ist. Hier wird die Verwendung von Constraints in Datenbanksystemen dargestellt, um konsistente Datenbankzustände zu definieren. Insbesondere werden zeitliche Constraints unter Verwendung von Alien-Beziehungen und räumliche Constraints unter Verwendung von räumlichen Beziehungen beschrieben. Hieraus können günstige Ausgabe-Constraints zu Synchronisationszwecken definiert werden. Solche Ausgabe-Constraints umfassen eine zeitliche oder räumliche Bedingung zwischen den Objekten, eine Reaktion im Falle einer Verletzung eines Constraints und eine Überprüfungszeit, also wann ein solcher Constraint überprüft werden muss. Bei dem bevorzugten Ausführungsbeispiel der vorliegenden Erfindung werden die räumlichen/zeitlichen Ausgabe-Objekte jeder Szene relativ zueinander modelliert. Die Audioobjekt- manipulationseinrichtung erreicht eine Überführung dieser relativen und variablen Definitionen in eine absolute räumliche und zeitliche Ordnung. Diese Ordnung stellt das Aus- gabe-Schedule dar, das am Ausgang 6a des in Fig. 1 gezeigten Systems erhalten wird und definiert, wie insbesondere das Renderer-Modul im Wellenfeldsynthesesystem angesprochen wird. Das Schedule ist also ein Ausgabeplan, der die Audiodaten entsprechend der Ausgabebedingungen anordnet.
Nachfolgend wird anhand von Fig. 4 ein bevorzugtes Ausführungsbeispiel eines solchen Ausgabe-Schedules dargelegt. Insbesondere zeigt Fig. 4 einen Datenstrom, der gemäß Fig. 4 von links nach rechts übertragen wird, also von der Audioobjekt-Manipulationseinrichtung 3 von Fig. 1 zu einem oder mehreren Wellenfeldsynthese-Renderern des Wellenfeld- systems 0 von Fig. 1. Insbesondere umfasst der Datenstrom für jedes Audioobjekt bei dem in Fig. 4 gezeigten Ausführungsbeispiel zunächst einen Header H, in dem die Positionsinformationen und die Zeitinformationen stehen, und nachgeordnet eine Audiodatei für das spezielle Audioobjekt, die in Fig. 4 mit AOl für das erste Audioobjekt, AO2 für das zweite Audioobjekt etc. bezeichnet ist.
Ein Wellenfeldsynthese-Renderer erhält dann den Datenstrom und erkennt z. B. an einer vorhandenen und fest vereinbarten Synchronisationsinformation, dass nunmehr ein Header kommt. Anhand einer weiteren Synchronisationsinformation erkennt der Renderer dann, dass der Header nunmehr vorbei ist. Alternativ kann für jeden Haeder auch eine feste Länge in Bits vereinbart werden.
Nach dem Empfang des Headers weiß der Audio-Renderer bei dem in Fig. 4 gezeigten bevorzugten Ausführungsbeispiel der vorliegenden Erfindung automatisch, dass die nachfolgende Audiodatei, also z. B. AOl, zu dem Audioobjekt, also zu der Quellenposition gehört, die in dem Header identifiziert ist.
Fig. 4 zeigt eine serielle Datenübertragung zu einem WeI- lenfeldsynthese-Renderer. Allerdings werden natürlich mehrere Audioobjekte gleichzeitig in einem Renderer abgespielt. Daher benötigt der Renderer einen Eingangs-Puffer, dem eine Datenstrom-Leseeinrichtung vorausgeht, um den Datenstrom zu parsen. Die Datenstromleseeinrichtung wird dann den Header interpretieren und die zugehörigen Audiodaten entsprechend speichern, damit der Renderer dann, wenn ein Audioobjekt zum Rendern an der Reihe ist, die korrekte Audiodatei und die korrekte Quellenposition aus dem Eingangspuffer ausliest. Andere Daten für den Datenstrom sind na- türlich möglich. Auch eine separate Übertragung sowohl der Zeit/Orts-Informationen als auch der tatsächlichen Audiodaten kann verwendet werden. Die in Fig. 4 dargestellte kombinierte Übertragung wird jedoch bevorzugt, da sie durch Verkettung der Positions/Zeit-Informationen mit der Audio- datei Datenkonsistenzprobleme eliminiert, da immer sichergestellt wird, dass der Renderer für Audiodaten auch die richtige Quellenposition hat und nicht z. B. noch Audiodaten von einer früheren Quelle rendert, jedoch bereits Positionsinformationen der neuen Quelle zum Rendern verwendet.
Die vorliegende Erfindung basiert somit auf einem objektorientierten Ansatz, dass also die einzelnen virtuellen Quellen als Objekte aufgefasst werden, die sich durch eine Audiodatei und eine virtuelle Position im Raum und mögli- cherweise durch die Art und Weise der Quelle auszeichnen, also ob sie eine Punktquelle für Schallwellen oder eine Quelle für ebene Wellen oder eine Quelle für anders geformte Quellen sein soll.
Wie es ausgeführt worden ist, ist die Berechnung der Wellenfelder sehr rechenzeitintensiv und an die Kapazitäten der verwendeten Hardware, wie beispielsweise Soundkarten und Rechner, im Zusammenspiel mit der Effizienz der Berech- nungsalgorithmen gebunden. Auch die beste ausgestattete PC- basierte Lösung stößt somit bei der Berechnung der Wellen- feldsynthese schnell an ihre Grenzen, wenn viele anspruchsvolle Klangereignisse gleichzeitig dargestellt werden sol- len. So gibt die Kapazitätsgrenze der verwendeten Soft- und Hardware die Beschränkung hinsichtlich der Anzahl der virtuellen Quellen bei der Abmischung und Wiedergabe vor.
Fig. 6 zeigt ein solches in seiner Kapazität begrenztes be- kanntes Wellenfeldsynthese-Konzept, das ein Authoring- Werkzeug 60, ein Steuer-Renderer-Modul 62 und einen Audioserver 64 umfasst, wobei das Steuer-Renderer-Modul ausgebildet ist, um ein Lautsprecherarray 66 mit Daten zu versorgen, damit das Lautsprecher-Array 66 eine gewünschte Wellenfront 68 durch Überlagerung der Einzelwellen der einzelnen Lautsprecher 70 erzeugt. Das Authoring-Werkzeug 60 erlaubt es dem Nutzer, Szenen zu erstellen, zu editieren und das Wellenfeldsynthese-basierte System zu steuern. Eine Szene besteht sowohl aus Informationen zu den einzelnen virtuellen Audioquellen als auch aus den Audiodaten. Die Eigenschaften der Audioquellen und der Referenzen auf die Audiodaten werden in einer XML-Szenendatei gespeichert. Die Audiodaten selbst werden auf dem Audioserver 64 abgelegt und von dort aus an das Renderer-Modul übertragen. Gleich- zeitig erhält das Renderer-Modul die Steuerdaten vom Authoring-Werkzeug, damit das Steuer-Renderer-Modul 62, das zentral ausgeführt ist, die Synthesesignale für die einzelnen Lautsprecher erzeugen kann. Das in Fig. 6 gezeigte Konzept ist in „Authoring System for Wave Field Synthesis", F. Melchior, T. Röder, S. Brix, S. Wabnik und C. Riegel, AES Convention Paper, 115. AES-Versammlung, 10. Oktober 2003, New York, beschrieben.
Wird dieses Wellenfeldsynthese-System mit mehreren Rende- rer-Modulen betrieben, so wird dabei jeder Renderer mit denselben Audiodaten versorgt, egal, ob der Renderer aufgrund der ihm zugeordneten begrenzten Zahl von Lautsprechern diese Daten für die Wiedergabe benötigt oder nicht. Da jeder der aktuellen Rechner in der Lage ist, 32 Audioquellen zu berechnen, stellt dies die Grenze für das System dar. Andererseits soll die Anzahl der im Gesamtsystem ren- derbaren Quellen effizient deutlich erhöht werden. Dies ist eine der wesentlichen Voraussetzungen für komplexe Anwendungen, wie beispielsweise Kinofilme, Szenen mit immersiven Atmosphären, wie beispielsweise Regen oder Applaus oder andere komplexe Audioszenen.
Erfindungsgemäß wird eine Reduktion redundanter Datenübertragungsvorgänge und Datenverarbeitungsvorgänge in einem Wellenfeldsynthese-Mehr-Renderer-System erreicht, was zu einer Erhöhung der Rechenkapazität bzw. der Anzahl von gleichzeitig berechenbaren Audioquellen erreicht.
Zur Reduktion der redundanten Übertragung und Verarbeitung von Audio- und Metadaten zum einzelnen Renderer des Mehr- Renderer-Systems wird der Audioserver um die Datenausgabeeinrichtung erweitert, welche in der Lage ist, zu ermit- teln, welcher Renderer welche Audio- und Metadaten benötigt. Die Datenausgabeeinrichtung, gegebenenfalls unterstützt durch den Datenmanager benötigt bei einem bevorzugten Ausführungsbeispiel mehrere Informationen. Diese Informationen sind zunächst die Audiodaten, dann Zeit- und Posi- tionsdaten der Quellen und schließlich die Konfiguration der Renderer, also Informationen über die verbundenen Lautsprecher und ihre Positionen sowie deren Kapazität. Mit Hilfe von Datenmanagementtechniken und der Definition von Ausgabebedingungen wird ein Ausgabe-Schedule durch die Da- tenausgabeeinrichtung mit einer zeitlichen und räumlichen Anordnung der Audioobjekte erzeugt. Aus der räumlichen Anordnung, dem zeitlichen Schedule und der Rendererkonfiguration berechnet das Datenmanagementmodul dann, welche Quelle für welche Renderer zu einem bestimmten Zeitpunkt von ReIe- vanz sind.
Ein bevorzugtes Gesamtkonzept ist in Fig. 5 dargestellt. Die Datenbank 22 ist ausgangsseitig um die Datenausgabeein- richtung 24 ergänzt, wobei die Datenausgabeeinrichtung auch als Scheduler bezeichnet wird. Dieser Scheduler erzeugt dann an seinen Ausgängen 20a, 20b, 20c für die verschiedenen Renderer 50 die Renderer-Eingangssignale, damit die entsprechenden Lautsprecher der Lautsprecherarrays versorgt werden.
Vorzugsweise wird der Scheduler 24 noch durch einen Stora- ge-Manager 52 unterstützt, um mittels eines RAID-Systems und entsprechender Datenorganisationsvorgaben die Datenbank 42 zu konfigurieren.
Auf der Eingangsseite steht ein Daten-Erzeuger 54, welcher beispielsweise ein Tonmeister oder ein Audioingenieur sein kann, der. eine Audioszene objektorientiert modellieren bzw. beschreiben soll. Hierbei gibt er eine Szenenbeschreibung vor, die entsprechende Ausgabebedingungen 56 umfasst, die dann gegebenenfalls nach einer Transformation 58 zusammen mit Audiodaten in der Datenbank 22 gespeichert werden. Die Audiodaten können mittels eines Insert/Update-Werkzeugs 59 manipuliert und aktualisiert werden.
Abhängig von den Gegebenheiten kann das erfindungsgemäße Verfahren in Hardware oder in Software implementiert wer- den. Die Implementierung kann auf einem digitalen Speichermedium, insbesondere einer Diskette oder CD, mit elektronisch auslesbaren Steuersignalen erfolgen, die so mit einem programmierbaren Computersystem zusammenwirken können, dass das Verfahren ausgeführt wird. Allgemein besteht die Erfin- düng somit auch in einem Computer-Programm-Produkt mit einem auf einem maschinenlesbaren Träger gespeicherten Programmcode zur Durchführung des Verfahrens, wenn das Computer-Programm-Produkt auf einem Rechner abläuft. In anderen Worten ausgedrückt kann die Erfindung somit als ein Compu- ter-Programm mit einem Programmcode zur Durchführung des Verfahrens realisiert werden, wenn das Computer-Programm auf einem Computer abläuft.

Claims

Patentansprüche
1. Vorrichtung zum Simulieren eines Wellenfeldsynthese- Systems bezüglich eines Wiedergaberaums, in dem eines oder mehrere Lautsprecherarrays anbringbar sind, die mit einer Wellenfeldsynthese-Rendering-Einrichtung koppelbar sind, mit folgenden Merkmalen:
einer Einrichtung (1) zum Liefern einer Audioszenenbeschreibung, die eine zeitliche Abfolge von Audioobjekten definiert, wobei ein Audioobjekt eine Audiodatei für eine virtuelle Quelle oder einen Verweis auf die Audiodatei und Informationen über eine Quellenposition der virtuellen Quelle aufweist, und wobei eine Ausgabebedingung für das Wellenfeldsynthese-System vorgegeben ist;
einer Einrichtung (3) zum Simulieren des Verhaltens des Wellenfeldsynthese-Systems unter Verwendung von Informationen über das Wellenfeldsynthese-System und der Audiodateien; und
einer Einrichtung (4) zum Überprüfen, ob das simulierte Verhalten die Ausgabebedingung erfüllt.
2. Vorrichtung nach Anspruch 1, bei der die Ausgabebedingung ein Verhalten eines Schallfelds in dem Wiederga- beraum definiert,
bei der die Einrichtung zum Simulieren ausgebildet ist, um das Schallfeld in dem Wiedergaberaum zu simulieren, und
bei der die Einrichtung (4) zum Überprüfen ausgebildet ist, um zu überprüfen, ob das simulierte Schallfeld die Ausgabebedingung in dem Wiedergaberaum erfüllt.
3. Vorrichtung nach Anspruch 1, bei der die Einrichtung (3) zum Simulieren folgende Merkmale aufweist:
eine Wellenfeldsynthese-Rendering-Einrichtung (3b), die ausgebildet ist, um aus der Audioszenenbeschreibung und von Informationen über Positionen der Lautsprecher in dem Wiedergaberaum Synthesesignale zu erzeugen; und
einen Lautsprechersimulator (3c) zum Simulieren des von den Lautsprechern erzeugten Schallfelds auf der Basis der Synthesesignale.
4. Vorrichtung nach einem der vorhergehenden Ansprüche,
bei der die Einrichtung (1) zum Liefern ausgebildet ist, um eine Ausgabebedingung zu liefern, die eine definierte Eigenschaft einer virtuellen Quelle bezüglich einer anderen virtuellen Quelle aufweist,
bei der die Einrichtung (3) zum Simulieren ausgebildet ist, um ein erstes Schallfeld in dem Wiedergaberaum aufgrund einer ersten virtuellen Quelle ohne die ande- re virtuelle Quelle und ferner ein zweites Schallfeld in dem Wiedergaberaum aufgrund der anderen virtuellen Quelle ohne die eine virtuelle Quelle zu simulieren, und
bei der die Einrichtung (4) zum Überprüfen ausgebildet ist, um anhand des ersten Schallfeldes und des zweiten Schallfeldes die definierte Eigenschaft zu überprüfen.
5. Vorrichtung nach einem der vorhergehenden Ansprüche,
bei der die Einrichtung (3) zum Simulieren ausgebildet ist, um das Schallfeld für verschiedene Positionen im Wiedergaberaum zu simulieren, und bei der die Einrichtung (4) zum Überprüfen ausgebildet ist, um die Ausgabebedingung für die verschiedenen Positionen zu überprüfen.
6. Vorrichtung nach einem der vorhergehenden Ansprüche, die ferner folgendes Merkmal aufweist:
eine Einrichtung zum Anzeigen (5e), ob oder wo im WeI- lenfeldsynthese-System die Ausgabebedingung erfüllt oder nicht erfüllt ist.
7. Vorrichtung nach einem der vorhergehenden Ansprüche, die ferner folgendes Merkmal aufweist:
eine Einrichtung zum Identifizieren (5f) , welche einer Mehrzahl von Ausgabebedingungen nicht erfüllt ist, und aufgrund welcher virtueller Quelle einer Mehrzahl von virtuellen Quellen die Ausgabebedingung verletzt ist.
8. Vorrichtung nach einem der vorhergehenden Ansprüche, bei der die Ausgabebedingung vorschreibt, dass eine Wellenfront aufgrund einer ersten virtuellen Quelle und eine Wellenfront aufgrund einer zweiten virtuellen Quelle im Wiedergaberaum innerhalb einer vorbestimmten Zeitdauer an einem Punkt im Wiedergaberaum ankommen müssen,
wobei die Einrichtung (3) zum Simulieren ausgebildet ist, um eine Zeitdifferenz des Auftreffens der Wellenfront aufgrund der ersten virtuellen Quelle und des Auftreffens der Wellenfront aufgrund der zweiten virtuellen Quelle zu berechnen; und
wobei die Einrichtung (4) zum Überprüfen ausgebildet ist, um die berechnete Zeitdifferenz mit der Ausgabebedingung zu vergleichen.
9. Vorrichtung nach einem der vorhergehenden Ansprüche, die ferner folgende Merkmale aufweist:
eine Einrichtung zum Manipulieren eines Audioobjekts, wenn das Audioobjekt die Ausgabebedingung verletzt.
10. Vorrichtung nach Anspruch 9, bei der die Einrichtung zum Manipulieren ausgebildet ist, um eine virtuelle Position des Audioobjekts, einen Startzeitpunkt oder einen Endzeitpunkt zu manipulieren, oder das Audioobjekt in der Audioszene als problematisch zu markieren, derart, dass das Audioobjekt bei der Wiedergabe der Audioszene unterdrückt werden kann.
11. Vorrichtung nach einem der vorhergehenden Ansprüche, bei der die Ausgabebedingung einen Lautstärkeunterschied zwischen zwei virtuellen Quellen definiert,
wobei die Einrichtung (3) zum Simulieren ausgebildet ist, um einen Lautstärkeunterschied der zwei virtuellen Quellen an einer Stelle im Wiedergaberaum zu ermitteln, und
wobei die Einrichtung (4) zum Überprüfen ausgebildet ist, um den ermittelten Lautstärkeunterschied mit der Ausgabebedingung zu vergleichen.
12. Vorrichtung nach einem der vorhergehenden Ansprüche,
bei der die Ausgabebedingung eine maximale Anzahl von von einer Wellenfeldsynthese-Renderer-Einrichtung gleichzeitig zu verarbeitenden Audioobjekten ist,
bei der die Einrichtung (3) zum Simulieren ausgebildet ist, um eine Auslastung der Wellenfeldsynthese- Renderer-Einrichtung zu ermitteln, und bei der die Einrichtung (4) zum Überprüfen ausgebildet ist, um eine berechnete Auslastung mit der Ausgabebedingung zu vergleichen.
13. Vorrichtung nach einem der vorhergehenden Ansprüche, bei der ein Audioobjekt in der Audioszenenbeschreibung für eine zugeordnete virtuelle Quelle einen zeitlichen Start oder ein zeitliches Ende definiert, wobei das Audioobjekt für die virtuelle Quelle eine Zeitspanne aufweist, in der der Start oder das Ende liegen muss, oder eine Ortsspanne aufweist, in der eine Position der virtuellen Quelle liegen muss.
14. Verfahren nach Anspruch 13, das ferner folgende Merk- male aufweist:
eine Audioobjektmanipulationseinrichtung zum Variieren eines tatsächlichen Startpunkts oder Endpunkts eines Audioobjekts innerhalb der Zeitspanne oder einer tat- sächlichen Position der virtuellen Quelle innerhalb der Ortsspanne ansprechend auf eine Verletzung einer Ausgabebedingung.
15. Vorrichtung nach Anspruch 14, die ferner ausgebildet ist, um zu untersuchen, ob sich eine Verletzung einer
Ausgabebedingung durch die Variation des Audioobjekts innerhalb der Zeitspanne oder Ortsspanne beheben lässt.
16. Verfahren zum Simulieren eines Wellenfeldsynthese- Systems bezüglich eines Wiedergaberaums, in dem eines oder mehrere Lautsprecherarrays anbringbar sind, die mit einer Wellenfeldsynthese-Rendering-Einrichtung koppelbar sind, mit folgenden Schritten:
Liefern (1) einer Audioszenenbeschreibung, die eine zeitliche Abfolge von Audioobjekten definiert, wobei ein Audioobjekt eine Audiodatei für eine virtuelle Quelle oder einen Verweis auf die Audiodatei und Informationen über eine Quellenposition der virtuellen Quelle aufweist, und wobei eine Ausgabebedingung für das Wellenfeldsynthese-System vorgegeben ist;
Simulieren (3) des Verhaltens des Wellenfeldsynthese- Systems unter Verwendung von Informationen über das Wellenfeldsynthese-System und der Äudiodateien; und
Überprüfen (4), ob das simulierte Verhalten die Ausgabebedingung erfüllt.
17. Computer-Programm mit einem Programmcode zum Ausführen des Verfahrens zum Simulieren eines Wellenfeldsynthe- se-Systems gemäß Patentanspruch 16, wenn das Computer- Programm auf einem Rechner abläuft.
EP06707014A 2005-02-23 2006-02-16 Vorrichtung und verfahren zum simulieren eines wellenfeldsynthese-systemes Active EP1844627B1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102005008369A DE102005008369A1 (de) 2005-02-23 2005-02-23 Vorrichtung und Verfahren zum Simulieren eines Wellenfeldsynthese-Systems
PCT/EP2006/001413 WO2006089683A1 (de) 2005-02-23 2006-02-16 Vorrichtung und verfahren zum simulieren eines wellenfeldsynthese-systems

Publications (2)

Publication Number Publication Date
EP1844627A1 true EP1844627A1 (de) 2007-10-17
EP1844627B1 EP1844627B1 (de) 2009-01-21

Family

ID=36282944

Family Applications (1)

Application Number Title Priority Date Filing Date
EP06707014A Active EP1844627B1 (de) 2005-02-23 2006-02-16 Vorrichtung und verfahren zum simulieren eines wellenfeldsynthese-systemes

Country Status (6)

Country Link
US (1) US7809453B2 (de)
EP (1) EP1844627B1 (de)
JP (1) JP4700071B2 (de)
AT (1) ATE421846T1 (de)
DE (2) DE102005008369A1 (de)
WO (1) WO2006089683A1 (de)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102005008342A1 (de) * 2005-02-23 2006-08-24 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Speichern von Audiodateien
DE102005033239A1 (de) * 2005-07-15 2007-01-25 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Steuern einer Mehrzahl von Lautsprechern mittels einer graphischen Benutzerschnittstelle
DE102005033238A1 (de) * 2005-07-15 2007-01-25 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Ansteuern einer Mehrzahl von Lautsprechern mittels eines DSP
RU2460155C2 (ru) * 2006-09-18 2012-08-27 Конинклейке Филипс Электроникс Н.В. Кодирование и декодирование звуковых объектов
EP2478716B8 (de) * 2009-11-04 2014-01-08 Fraunhofer Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und verfahren zur berechnung von betriebskoeffizienten für lautsprecher in einer lautsprecheranordnung für ein mit einer virtuellen quelle assoziiertes audiosignal
WO2013068402A1 (en) 2011-11-10 2013-05-16 Sonicemotion Ag Method for practical implementations of sound field reproduction based on surface integrals in three dimensions
DE102012200512B4 (de) 2012-01-13 2013-11-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Berechnen von Lautsprechersignalen für eine Mehrzahl von Lautsprechern unter Verwendung einer Verzögerung im Frequenzbereich
US9711126B2 (en) * 2012-03-22 2017-07-18 The University Of North Carolina At Chapel Hill Methods, systems, and computer readable media for simulating sound propagation in large scenes using equivalent sources
WO2014015914A1 (en) * 2012-07-27 2014-01-30 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for providing a loudspeaker-enclosure-microphone system description
CN104019885A (zh) 2013-02-28 2014-09-03 杜比实验室特许公司 声场分析系统
EP2974253B1 (de) 2013-03-15 2019-05-08 Dolby Laboratories Licensing Corporation Normalisierung von schallfeldausrichtungen auf basis von auditorischer szenenanalyse
CN106961647B (zh) 2013-06-10 2018-12-14 株式会社索思未来 音频再生装置以及方法
US10679407B2 (en) 2014-06-27 2020-06-09 The University Of North Carolina At Chapel Hill Methods, systems, and computer readable media for modeling interactive diffuse reflections and higher-order diffraction in virtual environment scenes
US9977644B2 (en) 2014-07-29 2018-05-22 The University Of North Carolina At Chapel Hill Methods, systems, and computer readable media for conducting interactive sound propagation and rendering for a plurality of sound sources in a virtual environment scene
MX2017006581A (es) * 2014-11-28 2017-09-01 Sony Corp Dispositivo de transmision, metodo de transmision, dispositivo de recepcion, y metodo de recepcion.
US9949052B2 (en) 2016-03-22 2018-04-17 Dolby Laboratories Licensing Corporation Adaptive panner of audio objects
US10248744B2 (en) 2017-02-16 2019-04-02 The University Of North Carolina At Chapel Hill Methods, systems, and computer readable media for acoustic classification and optimization for multi-modal rendering of real-world scenes
CN116030225A (zh) 2018-02-15 2023-04-28 奇跃公司 混合现实乐器
US11337023B2 (en) * 2019-12-20 2022-05-17 Magic Leap, Inc. Physics-based audio and haptic synthesis
JP2023527561A (ja) 2020-05-29 2023-06-29 マジック リープ， インコーポレイテッド 表面の適切な衝突

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4327200A1 (de) * 1993-08-13 1995-02-23 Blaupunkt Werke Gmbh Einrichtung zur stereophonen Wiedergabe
US5390138A (en) * 1993-09-13 1995-02-14 Taligent, Inc. Object-oriented audio system
JPH07303148A (ja) 1994-05-10 1995-11-14 Nippon Telegr & Teleph Corp <Ntt> 通信会議装置
JPH08272380A (ja) * 1995-03-30 1996-10-18 Taimuuea:Kk 仮想３次元空間音響の再生方法および装置
JPH10211358A (ja) 1997-01-28 1998-08-11 Sega Enterp Ltd ゲーム装置
JPH1127800A (ja) 1997-07-03 1999-01-29 Fujitsu Ltd 立体音響処理システム
JP2000267675A (ja) 1999-03-16 2000-09-29 Sega Enterp Ltd 音響信号処理装置
JP2001042865A (ja) * 1999-08-03 2001-02-16 Sony Corp オーディオデータ送信装置および方法、オーディオデータ受信装置および方法、並びに記録媒体
JP2002123262A (ja) * 2000-10-18 2002-04-26 Matsushita Electric Ind Co Ltd 対話型音場シミュレーション装置、並びに、対話形式によって音場をシミュレートする方法およびそのプログラムを記録した記録媒体
JP2002199500A (ja) 2000-12-25 2002-07-12 Sony Corp 仮想音像定位処理装置、仮想音像定位処理方法および記録媒体
JP2003284196A (ja) 2002-03-20 2003-10-03 Sony Corp 音像定位信号処理装置および音像定位信号処理方法
JP2004007211A (ja) * 2002-05-31 2004-01-08 Victor Co Of Japan Ltd 臨場感信号の送受信システム、臨場感信号伝送装置、臨場感信号受信装置、及び臨場感信号受信用プログラム
EP1552724A4 (de) 2002-10-15 2010-10-20 Korea Electronics Telecomm Verfahren zum erzeugen und aufbrauchen einer 3d-audioszene mit erweiterter räumlichkeit der schallquelle
DE10254404B4 (de) 2002-11-21 2004-11-18 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audiowiedergabesystem und Verfahren zum Wiedergeben eines Audiosignals
US7706544B2 (en) 2002-11-21 2010-04-27 Fraunhofer-Geselleschaft Zur Forderung Der Angewandten Forschung E.V. Audio reproduction system and method for reproducing an audio signal
KR101004249B1 (ko) 2002-12-02 2010-12-24 톰슨 라이센싱 오디오 신호의 구성 설명 방법
JP4601905B2 (ja) 2003-02-24 2010-12-22 ソニー株式会社 デジタル信号処理装置およびデジタル信号処理方法
DE10321980B4 (de) 2003-05-15 2005-10-06 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Berechnen eines diskreten Werts einer Komponente in einem Lautsprechersignal
DE10321986B4 (de) 2003-05-15 2005-07-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Pegel-Korrigieren in einem Wellenfeldsynthesesystem
DE10328335B4 (de) 2003-06-24 2005-07-21 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Wellenfeldsyntesevorrichtung und Verfahren zum Treiben eines Arrays von Lautsprechern

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See references of WO2006089683A1 *

Also Published As

Publication number Publication date
US7809453B2 (en) 2010-10-05
WO2006089683A1 (de) 2006-08-31
ATE421846T1 (de) 2009-02-15
DE102005008369A8 (de) 2007-02-01
EP1844627B1 (de) 2009-01-21
JP4700071B2 (ja) 2011-06-15
US20080013746A1 (en) 2008-01-17
DE502006002710D1 (de) 2009-03-12
DE102005008369A1 (de) 2006-09-07
JP2008532373A (ja) 2008-08-14

Similar Documents

Publication Publication Date Title
EP1844627B1 (de) Vorrichtung und verfahren zum simulieren eines wellenfeldsynthese-systemes
EP1844628B1 (de) Vorrichtung und verfahren zum ansteuern einer wellenfeldsynthese-renderer-einrichtung mit audioobjekten
EP1851998B1 (de) Vorrichtung und Verfahren zum Liefern von Daten in einem Multi-Renderer-System
EP1723825B1 (de) Vorrichtung und verfahren zum steuern einer wellenfeldsynthese-rendering-einrichtung
EP1652405B1 (de) Vorrichtung und verfahren zum erzeugen, speichern oder bearbeiten einer audiodarstellung einer audioszene
EP1878308B1 (de) Vorrichtung und verfahren zur generierung und bearbeitung von toneffekten in räumlichen tonwiedergabesystemen mittels einer graphischen benutzerschnittstelle
EP1671516B1 (de) Vorrichtung und verfahren zum erzeugen eines tieftonkanals
DE10254404B4 (de) Audiowiedergabesystem und Verfahren zum Wiedergeben eines Audiosignals
EP1972181B1 (de) Vorrichtung und verfahren zur simulation von wfs-systemen und kompensation von klangbeeinflussenden wfs-eigenschaften
DE102010030534A1 (de) Vorrichtung zum Veränderung einer Audio-Szene und Vorrichtung zum Erzeugen einer Richtungsfunktion
DE69935974T2 (de) Verfahren und system zur behandlung von gerichtetem schall in einer akustisch-virtuellen umgegung
DE102012017296B4 (de) Erzeugung von Mehrkanalton aus Stereo-Audiosignalen
EP1789970B1 (de) Vorrichtung und verfahren zum speichern von audiodateien
DE10321986A1 (de) Vorrichtung zum Pegel-korrigieren in einem Wellenfeldsynthesesystem
DE10321980B4 (de) Vorrichtung und Verfahren zum Berechnen eines diskreten Werts einer Komponente in einem Lautsprechersignal
WO2019158750A1 (de) Vorrichtung und verfahren für objektbasiertes, räumliches audio-mastering

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20070803

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LI LT LU LV MC NL PL PT RO SE SI SK TR

17Q First examination report despatched

Effective date: 20071227

DAX Request for extension of the european patent (deleted)
RIN1 Information on inventor provided before grant (corrected)

Inventor name: MELCHIOR, FRANK

Inventor name: REICHELT, KATRIN

Inventor name: BRIX, SANDRA

Inventor name: GATZSCHE, GABRIEL

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

RIN1 Information on inventor provided before grant (corrected)

Inventor name: REICHELT, KATRIN

Inventor name: MELCHIOR, FRANK

Inventor name: BRIX, SANDRA

Inventor name: GATZSCHE, GABRIEL

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LI LT LU LV MC NL PL PT RO SE SI SK TR

REG Reference to a national code

Ref country code: GB

Ref legal event code: FG4D

Free format text: NOT ENGLISH

REG Reference to a national code

Ref country code: CH

Ref legal event code: EP

REG Reference to a national code

Ref country code: IE

Ref legal event code: FG4D

Free format text: LANGUAGE OF EP DOCUMENT: GERMAN

REF Corresponds to:

Ref document number: 502006002710

Country of ref document: DE

Date of ref document: 20090312

Kind code of ref document: P

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20090121

Ref country code: LT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20090121

Ref country code: ES

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20090502

Ref country code: FI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20090121

REG Reference to a national code

Ref country code: IE

Ref legal event code: FD4D

BERE Be: lapsed

Owner name: FRAUNHOFER-GESELLSCHAFT ZUR FORDERUNG DER ANGEWAN

Effective date: 20090228

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20090421

Ref country code: LV

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20090121

Ref country code: IS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20090521

Ref country code: PT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20090622

Ref country code: PL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20090121

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MC

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20090228

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20090121

Ref country code: EE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20090121

Ref country code: DK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20090121

Ref country code: CZ

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20090121

PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: RO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20090121

Ref country code: SK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20090121

26N No opposition filed

Effective date: 20091022

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: BG

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20090421

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: BE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20090228

REG Reference to a national code

Ref country code: CH

Ref legal event code: PL

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: GR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20090422

Ref country code: CH

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20100228

Ref country code: LI

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20100228

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20090121

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LU

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20090216

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: HU

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20090722

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: TR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20090121

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CY

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20090121

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 11

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 12

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 13

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: FR

Payment date: 20230220

Year of fee payment: 18

P01 Opt-out of the competence of the unified patent court (upc) registered

Effective date: 20230524

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: NL

Payment date: 20240220

Year of fee payment: 19

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: AT

Payment date: 20240216

Year of fee payment: 19

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: DE

Payment date: 20240216

Year of fee payment: 19

Ref country code: GB

Payment date: 20240222

Year of fee payment: 19