EP2189010A1 - Eine vorrichtung und ein verfahren zur ermittlung eines komponentensignals in hoher genauigkeit - Google Patents

Eine vorrichtung und ein verfahren zur ermittlung eines komponentensignals in hoher genauigkeit

Info

Publication number
EP2189010A1
EP2189010A1 EP08801826A EP08801826A EP2189010A1 EP 2189010 A1 EP2189010 A1 EP 2189010A1 EP 08801826 A EP08801826 A EP 08801826A EP 08801826 A EP08801826 A EP 08801826A EP 2189010 A1 EP2189010 A1 EP 2189010A1
Authority
EP
European Patent Office
Prior art keywords
delay
wfs
interpolation
audio signal
audio
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
EP08801826A
Other languages
English (en)
French (fr)
Other versions
EP2189010B1 (de
Inventor
Andreas Franck
Sandra Brix
Thomas Sporer
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Original Assignee
Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV filed Critical Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Publication of EP2189010A1 publication Critical patent/EP2189010A1/de
Application granted granted Critical
Publication of EP2189010B1 publication Critical patent/EP2189010B1/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/04—Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/13—Application of wave-field synthesis in stereophonic audio systems

Definitions

  • the present invention relates to an apparatus and a method for detecting a component signal with high accuracy for a WFS (Wave Field Synthesis) system, and more particularly to an efficient algorithm for delay interpolation for wave field synthesis display systems.
  • WFS Wide Field Synthesis
  • Wave field synthesis is an audio reproduction method developed at the TU Delft for the spatial reproduction of complex audio scenes.
  • the spatially correct rendering is not limited to a small area, but extends over a wide viewing area.
  • WFS is based on a well-founded mathematical-physical basis, namely the principle of Huygens and the Kirchhoff-Helmholtz integral.
  • a WFS reproduction system consists of a large number of loudspeakers (so-called secondary sources).
  • the loudspeaker signals are formed from delayed and scaled input signals. Since many audio objects (primary sources) are typically used in a WFS scene, many such operations are required to generate the loudspeaker signals. This requires the high computing power required for wave field synthesis.
  • WFS also offers the possibility of realistically mapping moving sources. This feature is used in many WFS systems and is very important, for example, for use in the cinema, virtual reality applications or live performances.
  • the playback of moving sources causes a number of characteristic errors that do not occur in the case of static sources.
  • the signal processing of a WFS playback system has a significant influence on the reproduction quality.
  • a primary goal is the development of signal processing algorithms for the playback of moving sources using WFS.
  • the real-time capability of the algorithms is an important condition.
  • the most important criterion for evaluating the algorithms is the objective perceived audio quality.
  • WFS is a very expensive audio reproduction process in terms of processing resources. This is mainly due to the large number of speakers in a WFS setup and the often high number of virtual
  • c is the sound velocity of the medium.
  • the permitted speed of sources is thus about 172 m / s or 619 151 Vh.
  • sampling frequency sampling frequency.
  • the choice of the sampling rate has a great influence on the algorithms to be designed.
  • the error of most delay interpolation algorithms increases sharply the closer the distance of the frequency range of interest to the Nyquist frequency.
  • the length of many filters required by algorithms increases sharply, the narrower the range between Upper cutoff frequency of the audio frequency range and the Nyquist frequency is because this area is used in many methods for filter design as a so-called do not care band.
  • Changes in the sampling frequency may therefore require extensive adjustments of the filters and other parameters used and thus also significantly influence the performance and the suitability of special algorithms.
  • SIMD instruction sets eg SSE
  • filtering To implement the WFS operator, filtering with a low-pass filter with 3 dB slope is required. In addition, a source and / or speaker-dependent adaptation to the reproduction conditions can take place. However, since the filter operation is performed only once per input and / or output, the performance requirements are generally moderate. In addition, this operation is performed in current WFS systems on dedicated arithmetic units.
  • WFS scaling This operation, often incorrectly referred to as WFS convolution, often loads the input signals stored in a delay line with the delay calculated by the synthesis operator and scales this signal with a signal also from the synthesis operator. gate calculated scaling. This operation is performed for each combination of virtual source and speaker.
  • the loudspeaker signals are formed by summing all scaled input signals for the respective loudspeaker.
  • WFS scaling is performed on any combination of virtual source and speaker, as well as on each audio sample, it forms the bulk of the resource requirements of a WFS system, even with very little complexity of the single operation.
  • the natural Doppler effect ie the frequency shift of a moving source, is not considered an artifact here, as it is a property of the primary sound field that is to be reproduced by a WFS system. Nevertheless, this is undesirable in various applications.
  • delay interpolation The operation of obtaining the value of a time-discrete sampled signal at arbitrary times is referred to as delay interpolation or fractional-delay interpolation.
  • fractional delay algorithms are implemented as discrete filters which have as input a discrete-time signal and as an output an approximation of the delayed signal.
  • Fractional delay interpolation algorithms can be classified according to various criteria:
  • FIR filters generally require a higher number of filter coefficients and thus also arithmetic operations and always produce amplitude errors for arbitrary fractional delays. However, they are always stable and there are many, including many closed, non-iterative, design techniques.
  • IIR filters can be implemented as all-pass filters that have an exactly constant amplitude response that is optimal for FD filters. However, it is not possible to influence the phase of an IIR filter as accurately as in the case of an FIR filter. Most design methods for IIR FD filters are iterative and therefore not suitable for real time applications with variable delays. The only exception is the Thiran filter, which has explicit formulas for the coefficients. When implementing IIR filters, it is always necessary to save the value of the previous outputs. This is inconvenient for implementation in a WFS reproduction system because a lot of earlier output signals would have to be managed. Furthermore, using internal states reduces the suitability of IIR filters for variable delays because the internal state may have been calculated for a different fractional delay than the current one. This leads to disturbances of the output signal, referred to as transients.
  • Variable Fractional Delay methods combine the coefficient calculation and the filter calculation and are therefore very well suited for real-time changes in the delay value. They are an expression of variable digital filters.
  • the WFS requires continuously variable delays. For example, in the reproduction of a virtual source moving linearly to a secondary source, the delay is a linear function of time. This operation can be classified as asynchronous sampling rate conversion.
  • Asynchronous sample rate conversion techniques are typically implemented based on variable fractional-delay algorithms. In addition, however, they have some additional problems to be solved, e.g. For example, the need to suppress imaging and aliasing artifacts.
  • the range of the variable delay parameter df ra c depends on the method used and not necessarily the range 0 ⁇ dfrac ⁇ 1. Thus, for most FIR methods it lies in the range N ⁇ ⁇ d ⁇ N " * " N is the order of the procedure. This minimizes the deviation from linear-phase behavior. An exact linear-phase behavior is always possible only for special values of df rac .
  • Delays are generated.
  • the delay becomes di nt implemented by an index shift in the input signal.
  • Adherence to the ideal operating range requires a minimal value of the delay, which must not be undercut to maintain causality.
  • methods for delay interpolation, especially high-quality FD algorithms with large filter lengths also increase the system latency.
  • this does not exceed a size of 20 to 50 samples.
  • this is generally low compared to other systemic latencies of a typical WFS playback system.
  • the delays that are applied to the audio signals are time-varying.
  • the signal processing (rendering) of a WFS playback system is time-discrete, so source signals are available only at fixed sampling times.
  • the delay of a time-discrete signal by a multiple of the sampling period is efficiently possible and is implemented by shifting the signal index.
  • the access to a value of a discrete-time signal, which lies between two sampling points, is referred to as delay interpolation or as fractional delay. This requires special algorithms that differ greatly in terms of quality and performance. An overview of fractional delay algorithms is provided.
  • Wave field synthesis requires delay interpolation for each combination of virtual source and loudspeaker. Combined with the complexity of delay interpolation required for good playback quality, a high-quality, real-time implementation is impractical.
  • WFS renderers implement several simple methods for delay interpolation.
  • the used class hierarchy allows easy exchange of procedures become.
  • the temporal interpolation of the WFS parameters Delay (and Scale) also influences the quality of the sample rate conversion. In the traditional renderer structure, these parameters are updated only in a fixed grid (currently in time with 32 audio samples).
  • the WFS parameters are adjusted in a coarse grid (notation: bufferwise), the delayed signals themselves are calculated using a delay interpolation based on a linear interpolation.
  • the implementation is done with Assembler support and is suitable for use with complete WFS scenes. This algorithm is currently used as the default setting.
  • the present invention has the object to provide an apparatus and a method which determines component signals for a wave field synthesis system with significantly higher accuracy.
  • the gist of the present invention is that a higher quality component signal can be achieved by first pre-processing the audio signal belonging to a virtual source, the preprocessing being independent of the WFS parameter, such that a better interpolation is achieved.
  • the component signal thus has a higher accuracy, wherein the component signal represents the component generated by a virtual source for a loudspeaker signal.
  • the present invention includes improved interpolation of the WFS parameters such as delay values or scaling values that are determined at a low parameter sampling frequency.
  • embodiments of the present invention provide a device for determining a component signal for a WFS system having an array of loudspeakers, the WFS system being configured to receive an audio signal associated with a virtual source that is a discrete signal sampled at an audio sampling frequency is present, and source positions associated with the virtual source to calculate component signals for the loudspeakers due to the virtual source, taking speaker positions into account.
  • the device according to the invention in this case comprises a device for providing WFS parameters for a component signal using a source position and using the loudspeaker position, wherein the parameters are determined with a parameter sampling frequency that is smaller than the audio sampling frequency.
  • the apparatus further comprises a WFS parameter interpolator for interpolating the WFS parameters to produce an interpolated WFS parameter that is at a parameter interpolation frequency greater than the parameter sampling frequency, interpolating the interpolated WFS parameters Have fractions that have a higher accuracy than specified by the audio sampling frequency.
  • the device comprises an audio signal processing device which is designed to apply the interpolated fractional values to the audio signal in such a way that the component signal with the higher accuracy is processed.
  • the delay interpolation algorithm is partitioned so that it is subdivided into a) a part for calculating intermediate values and b) an efficient algorithm for calculating the final results.
  • Method 1 perform a combination of oversampling with a lesser order delay interpolation.
  • the input signals are oversampled to a higher sample rate. This is done efficiently z. B. by polyphase process. The correspondingly larger number of "upsampled" values is stored in the delay line.
  • the desired delay is multiplied by the oversampling ratio. This value is used to access the delay line. From the values of the delay line the final result is determined by a low order interpolation algorithm (eg polynomial interpolation). The algorithm runs at the system's low, original clock rate.
  • a low order interpolation algorithm eg polynomial interpolation
  • the Farrow structure is a variable digital filter for continuously variable variable delays. It consists of a set of P sub-filters. The input signal is filtered through each of these sub-filters and provides P different outputs c P output is obtained by evaluating a polynomial in d, where d is the fractional part of the desired delay and the outputs of the sub-filters, c P , form the coefficients of the polynomial.
  • the proposed algorithm preprocesses the outputs of the sub-filters for each sample of the input signal. These P values are written to the delay line. The output signals are generated by accessing the P values in the delay line and the evaluation of the polynomial. This efficient operation is done for each speaker.
  • the audio signal processing device is designed to carry out the methods (i) and / or (ii).
  • the audio signal processing means is adapted to oversampling the audio signal such that the oversampling is performed up to an oversampling rate which ensures a desired accuracy. This has the advantage that the second interpolation step thereby becomes redundant.
  • Embodiments of the present invention describe a WFS delay interpolation, which is particularly advantageous for audio technology and audio engineering in the context of wave field synthesis, since a significantly improved suppression of audible artifacts is achieved.
  • the improvement is achieved in particular by an improved delay interpolation, the use of fractional delays and asynchronous sampling rate conversion. It is thus Embodiments of the present invention will be explained below with reference to the accompanying drawings. Show it:
  • Fig. 1 is a schematic representation of a device according to an embodiment of the present invention.
  • FIG. 2 shows a frequency response for a third-order Lagrange interpolator
  • FIG. 5 shows a WFS renderer with a WFS
  • FIG. 6 a shows representations for amplitudes and delay interpolations to 6 cations
  • Fig. 8 specifies a specification of the oversampling anti-imaging filter, baseband transition band only
  • FIG. 9 shows a specification of the anti-imaging filter for oversampling and a so-called "Don 't-Care" region also for images of the transition band;
  • Fig. 10 is a delay interpolation with simultaneous reading based on the Farrow structure and 11 shows a basic block diagram of a wave field synthesis system with wave field synthesis module and loudspeaker array in a demonstration area.
  • the wave field synthesis system has a speaker array 700 placed with respect to a demonstration area 702.
  • the loudspeaker array shown in FIG. 11, which is a 360 ° array includes four array sides 700a, 700b, 700c and 70d. If the demonstration area 702 z.
  • the cinema screen is on the same side of the screening area 702, on which the sub-array 700c is arranged with respect to the conventions front / back or right / left. In this case, the observer who is sitting at the so-called optimal point P in the demonstration area 702 would see to the front, ie to the screen.
  • Each loudspeaker array consists of a number of different individual loudspeakers 708 which are each driven with their own loudspeaker signals provided by a wave field synthesis module 710 via a data bus 712 shown only schematically in FIG.
  • the wave field synthesis module is configured to use the information about e.g. B.
  • the field-synthesis module can also receive further inputs, such as information about the room acoustics of the demonstration area, etc.
  • Fig. 1 shows a device according to an embodiment of the present invention.
  • the virtual source source position 135 and the loudspeaker positions 145 are input to a device for providing WFS parameters 150.
  • the means for providing WFS parameters 150 may optionally include another input where other data 190 may be read.
  • the other data 190 may include, for example, the room acoustics and other scene data.
  • the means 150 for providing therefrom, with a parameter sampling frequency determines therefrom the WFS parameters 155 read in the WFS parameter interpolator 160. After interpolation, the interpolated WFS parameters are provided to the audio signal processor 170.
  • the audio signal processor 170 also has an input for an audio signal 125 and an output for component signals 115.
  • Each virtual source provides its own audio signal, which is processed into component signals for the various loudspeakers.
  • the WFS parameter calculation 220 has an input for scene data 225 relating, for example, to N source signals. Assuming that N signal sources (virtual sources) and M loudspeakers are available for the WFS system, the WFS parameter calculation 220 calculates NxM parameter values (scale and) Delay values). These parameters are output to the WFS signal processor 210.
  • the WFS signal processing 210 includes a WFS delay and scaling device 212, summing 214, and delay line 216.
  • the delay line 216 is generally configured as a means for latching and may be given by, for example, a ring buffer.
  • the NxM parameters are read in by the WPS delay and scaling device 212.
  • the WFS delay and scaling device 212 also reads the audio signals from the delay line 216.
  • the audio signals in the delay line 216 in this case have an index that corresponds to a certain delay and is accessed by means of a pointer 217, so that the WFS delay and scaling device 212 by accessing an audio signal with a specific index, a Delay for the corresponding audio signal.
  • the index thus simultaneously serves as the address or addressing of the corresponding data in the delay line 216.
  • the delay line 216 receives audio input data from the N-source signals, which are stored in the delay line 216 according to their timing. By correspondingly accessing an index of the delay line 216, the WFS delay and scaling unit 212 can thus read out audio signals having a desired (calculated) delay value (index). Further, the WFS delay and scaling device 212 outputs corresponding component signals 115 to the means for summing 214, and the means 214 for summing sums the component signals 115 of the respective N virtual sources to generate loudspeaker signals therefrom for the M-loudspeakers. The speaker signals are provided at a sound output 240. Embodiments thus relate to an audio signal processing of a WFS rendering system 200.
  • This rendering system contains as input data the audio signals of the WFS sources (virtual sources), the index variable counting through the sources and N representing the number of sources. Typically, these data come from other system components such as audio players, possibly pre-filters, etc.
  • the block WFS parameter calculation 220 provides amplitude (scaling) and delay values (diode values) for each source / speaker combination (index variable : m, number: M). This is usually done as a matrix, the corresponding values for the sources n and loudspeaker m are hereafter called delay (n, m) and scale (nm).
  • the audio signals are first stored in the delay line 216 to allow later random access (i.e., with variable delay values).
  • the core component of the embodiments is the block "WFS delay and scaling" 212.
  • WFS convolution This is sometimes referred to as WFS convolution or WFS convolution, but it is not a true convolution in terms of signal processing and therefore the term is usually
  • an output signal (component signal 115) is generated for each combination (n, m) of source and loudspeaker.
  • a delay (n, m) delayed value from the delay line 216 for source n is read out for the signal y (n, m). This value is multiplied by the amplitude scale (n, m).
  • Y (m) y (1, m) + y (2, m) + ... + y (N, m). This calculation is done for each sample of the loudspeaker signals.
  • the method according to the invention or the device according to the invention is of little importance in practice.
  • the synthesized wave field deviates from a theoretically defined ideal case with a rounding of the delay values, these deviations are very small and are completely covered by other deviations that occur in practice, such as a spatial aliasing.
  • H be calculated for moving sources.
  • the algorithm is particularly interesting for moving sources, but errors do not only occur when samples are "swallowed” or used twice, but the approximation of sampled signals at arbitrary sample points always produces errors Fractional delay interpolation.
  • the central point of the present invention is to enable the use of very high-quality delay interpolation methods by means of an appropriate structuring of the WFS signal processing, while at the same time keeping the calculation effort comparatively low.
  • the present invention it is not specific to respond to the movement of sources and to attempt to avoid errors by appropriately generated samples in this case.
  • the signal processing does not need information about source positions, but only delay and amplitude values (which are time-variant in the case of a moving source).
  • the errors described arise from the way in which these delay values are applied to the audio signals by the function unit WFS delay and scaling 212 (primarily: which method is used for delay interpolation).
  • WFS delay and scaling 212 primarily: which method is used for delay interpolation.
  • An informal hearing test can be used for the assessment, with which the influence of the delay interpolation on the quality of reproduction in a reproduction system can be estimated.
  • Playback can be done with the current WFS real-time rendering system, using various methods of delay interpolation. It will be the described algorithms used for delay interpolation.
  • the source signals are simple, predominantly tonal signals, as they suggest an increased perceptibility of delay interpolation artifacts. Both signals below and above the spatial aliasing frequency of the system are used to control the
  • the perceived quality is evaluated informally and subjectively by some test persons.
  • the FD filters designed for a given fractional delay can be examined using common discrete-system analysis techniques. Assessment measures such as complex frequency response, amplitude response, phase response, phase delay and group delay are used.
  • the ideal fractional delay element has a constant amplitude response with gain 1, a linear phase, and constant phase or group delay times that correspond to the desired delay.
  • the corresponding measures must be evaluated for different values of d.
  • FIG. 3 shows by way of example the amplitude response as well as the phase delay of a third order Lagrange interpolator for different delay values d.
  • 3a shows a dependence of the amplitude on the normalized frequency
  • FIG. 3b shows a dependence of the phase delay on the normalized frequency.
  • FIGS. 3a, 3b each show different graphs for different values of d.
  • the evaluation by means of frequency responses is useful only for time-invariant systems and therefore not applicable for time-dependent changes of the fractional delay parameter.
  • THD + M measure is used to evaluate the delay interpolation algorithms.
  • THD + N a test signal (usually a sine wave) is interpolated with a defined delay curve and the result is compared with the analytically generated, expected output signal.
  • the delay curve is usually a linear change.
  • the subjective rating can be done on the single channel as well as in the WFS setup. Similar conditions are used as in the informal hearing test outlined above.
  • the use of objective measurement techniques to evaluate the perceived signals especially the PEAQ (JPerceptual Evaluation of Audio Quality) method, may be considered. In doing so, quite good correspondences with the subjectively determined quality of perception and with objective quality measures can be ascertained. Nevertheless, the results of further investigations are critical, because z. For example, the PEAQ test for other applications (audio coding) was designed and parametrized.
  • a continuous pulse response generated from a discrete, variable FD filter.
  • the continuous impulse response of a continuous variable fractional delay filter can be used to describe the behavior of such a structure.
  • This continuous form of description can be generated by determining the discrete impulse responses for many values of d and combining them into a (quasi-) continuous impulse response.
  • this form of description inter alia, the behavior of FD filters when used for asynchronous sample rate conversion, so z. For example, investigate the suppression of aliasing and imaging components.
  • quality measures for variable delay interpolation algorithms can be derived. Based on this, it can be examined whether the quality of such a variable filter can be influenced by the targeted influence on the properties of the continuous impulse response.
  • Wave field synthesis requires delay interpolation for each combination of virtual source and loudspeaker. Combined with the complexity of delay interpolation required for good playback quality, a high-quality, real-time implementation is impractical.
  • Lagrange interpolation is one of the most widely used techniques for fractional-delay interpolation - it is one of the most attractive algorithms and is recommended for the first algorithm to be tested for most applications.
  • Lagrange interpolation is based on the concept of polynomial interpolation. For an Nth order method, a polynomial of order N is calculated which passes through N + 1 support points surrounding the searched location.
  • FIG. 5 shows a so-called worst-case amplitude response for a Lagrange interpolator of different order.
  • the quality at high frequencies improves even with increasing interpolation order only slowly.
  • this interpolation method can nevertheless be used as a basic element of more complex algorithms that do not exhibit these disadvantages.
  • the filter coefficients are defined by explicit formulas:
  • Figures 6a to 6c show representations for an amplitude response and a delay interpolation d.
  • FIG. 6a shows, by way of example, an amplitude A of an audio signal as a function of the time t.
  • a sampling of the audio signal takes place at the times t10, t11, t12, ...., t20, t21, etc.
  • the sample rate is thus given by 1 / (t10 - t11) (assuming a constant sample rate).
  • the delay values are recalculated.
  • the delay values are calculated at times t10, t20 and t30, with a delay value d1 at time t10 and a delay value d2 at time t20 and at time t30 a delay value of d3 was calculated.
  • the times at which delay values are recalculated may vary, for example, a new delay value may be generated every 32 bars, or else more than 1,000 cycles may occur between the calculation of new delay values. Between the delay values, the delay values are interpolated for the individual measures.
  • Fig. 6b shows an example of how the interpolation of the delay values d can be made.
  • Various interpolation methods are possible. The simplest interpolation consists in a linear interpolation (Lagrangian interpolation 1st order). Better interpolations are based on polynomials of a higher order (Lagrangian interpolation of higher order), whereby the corresponding calculation requires more computation time.
  • FIG. 6b shows how the delay value d1 is assumed at the time t10 At time t20, the delay value d2 and at time t30 the delay value d3 is present.
  • An interpolation results, for example, in that there is a delay value d13 at the time t1.
  • the interpolation is chosen such that the fundamental values occur at the times t10, t20, t30, .... as part of the interpolated curve.
  • Fig. ⁇ c again shows the amplitude A of the audio signal as a function of time t, the interval between t12 and t14 being shown.
  • the delay obtained by interpolation value dl3 at time tl3 now causes the amplitude is shifted by the delay value dl3 at time tl3 to the time ta.
  • the shift is to smaller values in time, which is only one specific embodiment and may be different in other embodiments. If dl3 has a fractional fraction, ta is not at a sampling instant. In other words, access to A2 need not occur at one clock time, and approximation (e.g., rounding) results in the above-described problems that the present invention solves.
  • Method 1 perform a combination of oversampling with a lesser order delay interpolation
  • Method 2 use a Farrow structure for interpolation.
  • a synchronous sample rate conversion is performed by a fixed integer factor L. This is done by an up-sampling (insertion of L-I zero samples after each input value) and a subsequent low-pass filtering to avoid image spectra. This operation can be performed efficiently by means of polyphase filtering.
  • a fractional-delay interpolation takes place between oversampled values. This is done by means of a variable fractional delay filter of low order whose coefficients are calculated directly. Particularly useful here is the use of Lagrangian interpolators (see above).
  • a linear interpolation between the outputs of a polyphase filter bank can be made.
  • the primary goal is to reduce the storage and computational power requirements needed for near non-rational ("crooked", incommensurate) sample rate ratios.
  • the upsampling and downsampler elements need not be discretely implemented, and the fractional delay element can be implemented at the baseband frequency instead of the oversampled rate
  • One reason for the improved quality compared to pure fractional filters is that the variable fractional-delay filter only operates at half the Nyquist frequency due to the increased sampling rate
  • the principle of the wideband fractional delay filter can also be used with half-band filters as efficient realizations for the
  • variable fractional delay elements can be designed on the basis of dedicated structures, among which the so-called Farrow structure
  • the asynchronous sample rate conversion (DAAU) model is composed of a synchronous sample rate converter (oversampling or rational sampling rate conversion) followed by from a system for simulating a DA / AD conversion, which is typically realized by a variable fractional-delay filter.
  • DAAU asynchronous sample rate conversion
  • the large reduction of the filter order of the variable part allows a significant reduction of the calculation effort.
  • the particular advantage of the proposed method for use in wave-field synthesis is that the oversampling operation must be performed only once for each input signal, while the result of this operation can be used for all loudspeaker signals calculated by this renderer unit.
  • the variable fractional-delay filtering which must be carried out separately for each output signal, can be carried out much more efficiently due to the lower filter order required.
  • one of the decisive disadvantages of FD filters with explicitly calculated coefficients ie, above all Lagrange FD filters
  • their poor behavior at high frequencies is compensated for by the fact that they only have to operate in a much lower frequency range.
  • the source signals in the form of discrete audio data are oversampled with a fixed, integer factor L. This is done by inserting L - I null samples between any two input signals followed by low pass filtering with an anti - imaging filter to avoid replicating the input spectrum in the oversampled signal. This operation is efficiently realized by means of polyphase techniques.
  • the oversampled values are written to a delay line 216 (delay line), which is usually implemented as a ring buffer. It should be noted that the capacity of the delay line 216 is to be increased by a factor of L over conventional algorithms. Here is a trade-off between memory and computational complexity, which must be chosen for the algorithm designed here.
  • FIG. 7 shows a concrete illustration of an oversampling delay interpolation according to a first exemplary embodiment of the present invention, wherein a simultaneous readout takes place by means of Lagrange interpolation.
  • the discrete audio signal data x s (from the audio source 215) is over-sampled in this embodiment by oversampling in the sampler 236 and then stored in the delay line 216 according to the time order. This results in each memory of the delay line 216 is a sample of a predetermined time tm (see Fig. 6a) results.
  • the corresponding oversampled values in the delay line 216 may then be read out by the WFS delay and scaling means 212, with the pointer 217 reading out the sample corresponding to the delay value.
  • a pointer 217 which points further to the left in FIG. 7, corresponds to more up-to-date data, ie with a lower delay
  • the pointer 217 which points further to the right in FIG. 7, contains audio data or samples corresponds to an older seniority (ie a greater delay).
  • the index in the delay line 216 only the integer portions of the delay values are detected and the corresponding interpolation to the fractional (rational) portions occurs in the fractional delay filters 222.
  • the outputs of the fractionals Delay filters 222 output the component signal 115.
  • the component signals 115 (yi) are then subsequently summed for various virtual sources x s and output to the corresponding loudspeakers (loudspeaker signal Ie).
  • the design of the filters can be done statically outside the runtime of the application. Efficiency requirements for filter design are thus irrelevant; powerful tools and optimization methods can be used.
  • transition bands or don't care bands which do not specify the frequency response specifications. These transition bands are defined using the audio frequency band specified above This results in a transition range in the range 2f c ⁇ f ⁇ 2 (f s -f c ) where f c is the desired upper cutoff frequency and f s is the sampling frequency of the non-oversampled signal.
  • Fig. 8 shows a specification of the frequency response of an anti-imaging filter for oversampling, where the transitional band 310 is specified for a base band only.
  • FIG. 9 shows a specification of an anti-imaging filter for oversampling, wherein so-called don't-care Regions are also determined for images 310a, 310b, 310c of the transition band 310.
  • the additional don't-care bands may be defined on the reflections (images) of the original transition region 310.
  • the anti-imaging filter is almost exclusively designed as a linear phase filter. Phase errors should definitely be avoided at this point since the purpose of delay interpolation is to target the phase of the input signal. When implemented as a polyphase system, however, the linear phase does not apply to the sub-filters, so that the corresponding complexity savings can not be utilized.
  • L determines the necessary capacity (memory requirement) of delay line 216. With the cache locality, this also affects performance in modern architectures. In addition, as the L increases, the filter length necessary to achieve a desired filter quality is also affected, since L polyphase sub-filters are needed and the transition bandwidths decrease with increasing L.
  • reproduction frequency range determines the width of the transition region of the filters and thus has an influence on the filter length necessary to achieve a desired filter quality.
  • (d) Interpolation order N The order of the variable fractional-delay interpolator, which is usually implemented as a Lagrange interpolator, has the greatest influence on performance and quality. Its order determines the calculation effort for obtaining the filter coefficients as well as the convolution itself. N also determines the number of values required for the convolution from the delay line 216 and thus also specifies the necessary memory bandwidth. Because variable interpolation is needed for any combination of input signal and output signal the choice of N has the biggest impact on performance.
  • the oversampling rate L should be chosen moderately, a ratio between 2 and 8 should not be exceeded.
  • variable interpolation should not exceed low order (maximum: 3). At the same time, odd interpolation orders are to be used, since just orders, analogous to the behavior of the pure Lagrangian interpolation, have significantly higher errors.
  • the filter coefficients of the prototype filters involved in the Lagrangian interpolation are determined, multiplied by the corresponding Lagrangian weights and summed after application of the necessary index displacements.
  • the algorithm can be analyzed with the criteria described in section 4 (frequency response, phase delay, continuous impulse response), without the peculiarities of the multi-rate processing to be considered.
  • the static delay caused by the interpolation filter depends on the order of the oversampling L, the phase delay of the polyphase prototype filter and the interpolation order. If the prototype filter is linear-phase, the following system delay results:
  • the algorithm presented is a practical and relatively easy-to-implement approach to improve the delay interpolation.
  • the performance increase compared to a method for delay interpolation with direct calculation of the coefficients is very low. This is opposed to a significant reduction in playback errors, especially at higher frequencies.
  • the direct methods such as Lagrange interpolation
  • Decisive for the performance of the method is the efficient extraction of the integer and fractional delay parameters, the calculation of the Lagrangian coefficients and the execution of the filtering.
  • the design tools used to determine the performance determining parameters are quite simple: L, N P p and N can be determined by external constraints or by experiment.
  • the filter design of the prototype filter is carried out using standard methods for low-pass filters, possibly using additional don't-care regions.
  • the method 2 using a Farrow structure for interpolation, which represents an alternative procedure according to the invention, will be described in more detail.
  • the Farrow structure is a variable filter structure for implementing a variable fractional delay. It is a structure based on an FIR filter whose behavior can be controlled by an additional parameter. For the Farrow structure, the fractional part of the delay is used as a parameter to map a controllable delay.
  • the Farrow structure though independently developed, is one manifestation of a variable digital filter.
  • variable characteristic is achieved by forming the coefficients of the FIR filter by polynomials.
  • this transfer function is often implemented as follows:
  • the output of the Farrow structure can thus be implemented as a polynomial in d, where the coefficients of the polynomial are the outputs of M fixed sub-filters C m (z) in FIR structure.
  • the polynomial evaluation can be efficiently realized by the application of the Horner scheme.
  • the output signals of the fixed sub-filters C m (z) are independent of a concrete fractionally rational delay d.
  • these values are useful as intermediate results that can be used to evaluate the output signals for all secondary sources.
  • the inventive algorithm based thereon is structured as follows:
  • the output values of the sub-filters are written into a delay line 216 (combined for one sampling instant in each case).
  • the integer part of the delay is determined and from this the index of the desired data in the delay line 216 is determined.
  • Fig. 10 shows schematically this algorithm, which can also be summarized as follows. Simultaneous readout takes place on the basis of a Farrow structure, wherein the data of an audio signal x s are input to a delay line 216. However, in this embodiment, the audio data itself is not input but instead the coefficients c p are calculated as output values 239 of the Farrow structure (sub-filter 237) and stored in the delay line 216 according to their timing - in contrast to the previously shown embodiment (see FIG. Fig. 7). As before, the access to the delay line 216 is made by a pointer 217 whose position is again selected according to the integer part of the delay d.
  • the corresponding (delayed) loudspeaker signal V 1 can be calculated therefrom by means of a power series in the delay value or the fractional (non-integral) component of the delay value (in a device for polynomial interpolation 250) become.
  • the Weighted Least Squares (WLS) method additionally defines a weighting function that allows the error to be weighted in the integration area.
  • WLS Weighted Least Squares
  • iterative methods can be designed with which specific influence on the error in certain regions of the integration surface can be taken, for For example, to minimize the maximum error.
  • Most WLS methods have poor numerical conditioning. This is not due to inappropriate methods, but results from the use of transition bands (don't care regions) in filter design. Therefore, only Farrow structures of comparatively small subfilter length N and polynomial order M can be designed with these methods, since otherwise numerical instabilities limit the accuracy of the parameters or prevent a convergence of the method.
  • the work area is defined as the area spanned by the desired frequency range and the permitted range for the control parameter d.
  • This type of optimization is usually referred to as minimax or Chebyshev optimization.
  • Chebyshev or Minimax optimization problems can generally be solved by linear optimization techniques. These methods are orders of magnitude more expensive than those on the Remez exchange algorithm based. However, they allow a direct formulation and solution of the design problem for the Farrow structure subfilters. In addition, these methods allow the formulation of additional constraints in the form of equality or inequality conditions. This is considered a very important feature for the design of asynchronous sample rate converters.
  • a method for minimax design for Farrow structures is based on algorithms for limited optimization (optimization methods that allow specification of constraints are called constrained optimization).
  • a particular feature of these Farrow structure design techniques is that separate specifications for amplitude and phase errors can be given. For example, the maximum phase error can be minimized while specifying an allowed maximum amplitude error. Together with accurate tolerance specifications for amplitude and phase errors, resulting, for example, from the perception of corresponding errors, this represents a very powerful tool for application-specific optimization of the filter structures.
  • Control parameter d usually _ ⁇ ⁇ d ⁇ i, can safely
  • the sub-filters of an optimal Farrow filter are linear-phase. They have, for even and odd m, alternately symmetric and antisymmetric coefficients, so that the number of coefficients to be determined is halved.
  • the linear-phase structure allows C m (z) also uses more efficient algorithms to calculate the sub-filter outputs.
  • the primary goal of the filter design is to minimize the deviation from the ideal fractional delay. Either the maximum error or the (weighted) average error can be minimized. Depending on the method used, either the complex error or phase and amplitude response can be specified separately.
  • the shape of the associated continuous impulse response has a major impact on the quality and perceptual quality of asynchronous sample rate conversion. Therefore, the use of constraints directly related to the continuous impulse response should be investigated. For example, continuity requirements can be specified.
  • One requirement in many applications of delay interpolation is compliance with the interpolation condition. This requires that the interpolation at the discrete interpolation points be exact, ie that the value of the samples assumes. In design procedures that allow the definition of constraints in the form of equality conditions, this requirement can be formulated directly.
  • Farrow implementations of Lagrange interpolators fulfill this requirement due to the definition of Lagrange interpolation.
  • the utility of the asynchronous sample rate conversion interpolation condition in general and in the context of WFS in particular is considered to be rather low. More important than an exact interpolation at certain interpolation points is a generally small error, a small maximum deviation or the most uniform possible error course.
  • the Farrow structure provides a very powerful filter structure for delay interpolation.
  • efficient partitioning of the algorithm into preprocessing per source signal as well as a low complexity evaluating operation that will be performed for each output signal can be implemented.
  • a major advantage of this filter structure is also the presence of closed design methods that allow for a targeted design.
  • Embodiments are primarily concerned with the development of novel algorithms for delay interpolation for use in wave field synthesis. Although these algorithms are generally independent of a specific implementation and target platform, the implementation aspects can not be ignored here. This is due to the fact that the algorithms described here are by far the largest contributors to the overall performance of a WFS reproduction system. Therefore, in addition to the algorithmic complexity (eg, the asymptotic complexity or the number of operations), among others, the following implementation aspects are included:
  • the prefiltering introduced above is efficiently performed as a polyphase operation.
  • the input data is simultaneously convoluted with L different sub-filters whose outputs are multiplexed into the up-sampled output signal.
  • the filtering can be done by linear convolution or by fast convolution based on the FFT.
  • the Fourier transformation of the input data must take place only once and can then be used several times for simultaneous convolution with the subfilters.
  • a subscript developed by Parks-McLellan algorithm passfilter (Matlab function firpm) of length 192 a stop attenuation of over 150 dB. This corresponds to a subfilter length of 48, longer filters can no longer be designed numerically stable. In any case, the results of the sub-filter operations must be nested in the output data stream.
  • One way to efficiently implement such a filter operation is to use library functions for polyphase or multirate filtering, e.g. From the Intel IPP library.
  • the preprocessing of the algorithm based on the Farrow structure can also be carried out efficiently by means of such a library function for multirate processing.
  • the sub-filters must be combined by nesting (interleaving) into a prototype filter, the output values of the function represent the interlaced output values.
  • the linear phase of the subfilters designed according to the modified Farrow structure can also be used to determine the number of operations for to reduce the filtering.
  • a separate implementation is very likely to be necessary.
  • sample-accurate a per-sample calculated value of the delay parameter
  • Fractional delay algorithms require the division of the desired delay into an integer and a fractionally rational component.
  • the range [0 ... I) is not mandatory, but
  • the range can be chosen as [- ⁇ .. - ⁇ ) or [(N-1) / 2 ... (N + l) / 2) in Lagrange interpolation.
  • this does not change the basic operation.
  • this operation has to be performed for each elementary delay interpolation and therefore has a significant impact on performance. Therefore, an efficient implementation is very important.
  • the WFS audio processing consists of a delay operation and scaling of the delayed values for each audio sample and each combination of source signal and speaker. For efficient implementation, these operations are performed together. If these operations are carried out separately, a significant reduction in performance due to the expense of passing parameters, additional control flow and degraded code and data locality is to be expected.
  • the present concept of signal processing in a wave field synthesis display system may also be described as follows. It has been shown that the delay interpolation, ie the delay of the input values by arbitrary delay values, has a decisive influence both on the quality of reproduction and on the performance of the overall system.
  • a method on the basis of an oversampled delay line 216 and the multiple access to these values by Lagrangian low-order interpolators allows a clearly higher reproduction quality compared to a pure Lagrangian interpolation of low order with at the same time only a slightly increased calculation effort.
  • This method is comparatively easy to parameterize and implement, but does not offer any possibilities for influencing the quality of the interpolation in a targeted manner and does not have a closed design method.
  • Another algorithm is based on the Farrow structure and offers many design freedoms, such as the use of a variety of optimization techniques to design the filter coefficients. The increased research and implementation effort is offset by the ability to selectively influence the properties of the interpolation and the potential for more efficient implementation.
  • both methods can be implemented and compared under quality and performance aspects. There are trade-offs between these aspects.
  • the influence of the improved delay interpolation on the overall reproduction quality of the WFS reproduction system can be examined under the influence of the other known reproduction errors. It is necessary to determine up to which interpolation quality an improvement of the overall system can be achieved.
  • One goal is to design methods that achieve a quality of delay interpolation with reasonable effort that will not produce noticeable interference even without masking effects from other WFS artifacts. This would also ensure future improvements to the playback system that the delay interpolation has no negative impact on the quality of the WFS playback.
  • Prefilter pre-filter stage
  • the combination of the two filters also offers the possibility of reducing the phase delay of the system induced by (especially linear-phase) filters, if this is only necessary in one filter component.
  • embodiments provide an implementation of a high-quality method for delay interpolation, such as may be used in wave-field synthesis systems.
  • Embodiments also provide further developments of the algorithm for wave field synthesis reproduction systems. Particular attention is paid to methods for delay interpolation, since these have a great influence on the reproduction quality of moving sources. Due to the quality requirements and the extremely high influence of these algorithms on the performance of the entire playback system, novel signal processing algorithms for wave field synthesis are required. As explained in detail above, it is thus possible in particular to consider interpolated fractions with a higher accuracy. The higher accuracy is reflected in a significantly improved listening experience. As described above, due to the increased th exactness artefacts that occur especially with moving sources, barely heard.
  • Embodiments describe, in particular, two efficient methods which fulfill these requirements and which have been developed, implemented and analyzed.
  • the inventive scheme can also be implemented in software.
  • the implementation may be on a digital storage medium, in particular a floppy disk or a CD with electronically readable control signals, which may interact with a programmable computer system such that the corresponding method is executed.
  • the invention thus also consists in a computer program product with program code stored on a machine-readable carrier for carrying out the method according to the invention when the computer program product runs on a computer.
  • the invention can thus be realized as a computer program with a program code for carrying out the method when the computer program runs on a computer.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Stereophonic System (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)

Abstract

Eine Vorrichtung zur Ermittlung eines Komponentensignals (115) für ein WFS-System (200) weist eine Einrichtung zum Liefern von WFS-Parametern (150), einen WFS-Parameter-Interpolator (160) und eine Audiosignalverarbeitungseinrichtung (170) auf. Die Einrichtung zum Liefern (150) liefert WFS-Parameter für ein Komponentensignal (115) unter Verwendung einer Quellenposition (135) und unter Verwendung der Lautsprecherposition (145) mit einer Parameterabtast- frequenz, die kleiner ist als die Audioabtastfrequenz. Der WFS-Parameter-Interpolator (160) interpoliert die WFS-Parameter (155) um interpolierte WFS-Parameter (165) zu erzeugen, die mit einer Parameter-Interpolationsfrequenz vorliegen, die größer ist als die Parameter-Abtastfrequenz, wobei die interpolierten WFS-Parameter (165) interpolierte Bruchteile aufweisen, die eine höhere Genauigkeit haben als durch die Audio-Abtastfrequenz vorgegeben ist. Die Audiosignalverarbeitungseinrichtung (170) ist ausgebildet, um die interpolierten Bruchteilwerte auf das Audiosignal (125) anzuwenden derart, dass das Komponentensignal (115) mit der höheren Genauigkeit verarbeitet erhalten wird.

Description

Eine Vorrichtung und ein Verfahren zur Ermittlung eines Komponentensignals in hoher Genauigkeit
Beschreibung
Die vorliegende Erfindung bezieht sich auf eine Vorrichtung und ein Verfahren zur Ermittlung eines Komponentensignals mit hoher Genauigkeit für ein WFS-System (WFS = Wellenfeld- synthese) und insbesondere auf einen effizienten Algorithmus zur Delay-Interpolation für Wellenfeldsynthese- Wiedergabesysteme .
Die Wellenfeldsynthese ist ein an der TU Delft entwickeltes Audio-Reproduktionsverfahren zur räumlichen Wiedergabe komplexer Audioszenen. Im Gegensatz zu den meisten existierenden Verfahren zur Audio-Reproduktion ist die räumlich korrekte Wiedergabe nicht auf ein kleines Gebiet beschränkt, sondern erstreckt sich über ein ausgedehntes Wiedergabegebiet. WFS basiert auf einer fundierten mathematisch-physikalischen Grundlage, namentlich dem Prinzip von Huygens und dem Kirchhoff-Helmholtz-Integral .
Typischerweise besteht ein WFS-Reproduktionssystem aus einer großen Zahl von Lautsprechern (sog. sekundärer Quellen) . Die Lautsprechersignale werden aus verzögerten und skalierten Eingangssignalen gebildet. Da in einer WFS-Szene typischerweise viele Audioobjekte (primäre Quellen) verwendet werden, sind sehr viele solcher Operationen zur Erzeu- gung der Lautsprechersignale erforderlich. Dies bedingt die hohe für die Wellenfeldsynthese benötigte Rechenleistung.
Neben den oben genannten Vorteilen bietet die WFS auch die Möglichkeit, bewegte Quellen realistisch abzubilden. Dieses Feature wird in vielen WFS-Systemen genutzt und ist beispielsweise für den Einsatz im Kino, Virtual-Reality- Applikationen oder Live-Aufführungen von großer Bedeutung. Jedoch verursacht die Wiedergabe bewegter Quellen eine Reihe charakteristischer Fehler, die im Falle statischer Quellen nicht auftreten. Die Signalverarbeitung eines WFS- Wiedergabesystems hat dabei einen bedeutenden Einfluss auf die Wiedergabequalität.
Ein primäres Ziel ist die Entwicklung von Signalverarbeitungsalgorithmen für die Wiedergabe bewegter Quellen mittels WFS. Dabei ist die Echtzeitfähigkeit der Algorithmen eine wichtige Bedingung. Das wichtigste Kriterium zur Bewertung der Algorithmen ist die objektive wahrgenommene Audio-Qualität.
WFS ist wie gesagt ein bezüglich Verarbeitungsressourcen sehr aufwändiges Verfahren zur Audio-Reproduktion. Dies wird vor allem durch die große Zahl von Lautsprechern in einem WFS-Setup sowie die oftmals hohe Zahl virtueller
Quellen, die in WFS-Szenen verwendet werden, bedingt. Aus diesem Grund ist die Effizienz der zu entwickelnden Algo- rithmen von herausragender Bedeutung.
Eine wichtige Frage ist es, welche Qualitätsverbesserung durch die zu entwickelnden Algorithmen erzielt werden sollen. Dies gilt speziell unter Berücksichtigung der anderen durch die WFS verursachten Artefakte, die abhängig von der Qualität der Signalverarbeitungsalgorithmen möglicherweise störender in Erscheinung treten oder die Artefakte der Signalverarbeitung verdecken (maskieren) . Daher liegt der Fokus auf der Entwicklung von Algorithmen, deren Güte über verschiedene Parameter (z. B. Interpolationsordnungen, Filterlängen, etc.) skalierbar ist. Dies schließt als Extremfall Algorithmen ein, deren Wiedergabefehler unter idealisierten Bedingungen (Wegfall aller anderen Artefakte) unter der Wahrnehmungsschwelle liegen. In Abhän- gigkeit von der gewünschten Qualität, der Ausprägung der anderen Artefakte sowie der verfügbaren Ressourcen kann dann ein optimaler Kompromiss (Tradeoff) gefunden werden. Eine Reihe von Kriterien und Wertebereiche können definiert werden, die den Entwurf der Algorithmen erleichtert. Zu ihnen zählen:
(a) Zulässige Quellgeschwindigkeiten. Generell sind virtuelle Quellen mit beliebigen Quellgeschwindigkeiten zu unterstützen. Jedoch nimmt der Einfluss der Dopplerverschiebung mit zunehmender Geschwindigkeit zu. Zusätzlich gelten viele physikalische Gesetzmäßigkeiten, die auch in der WFS genutzt werden, nur für Geschwindigkeiten unterhalb der Schallgeschwindigkeit. Daher wird folgender als sinnvoll erachteter zulässiger Bereich für die Quellgeschwindigkeit vsrc festgesetzt:
Dabei ist c die Schallgeschwindigkeit des Mediums. Unter Standardbedingungen beträgt die erlaubte Geschwindigkeit von Quellen somit etwa 172 m/s bzw. 619 151Vh.
(b) Frequenzbereiche. Als Wiedergabebereich für die Frequenz f wird der komplette Audio-Frequenzbereich angenommen, d.h.
20 Hz < f < 20 KHz (1)
Es ist zu beachten, dass die Wahl der oberen Grenzfrequenz und der dabei zu erzielenden Güte entscheidenden Einfluss auf den Ressourcenbedarf der Algorithmen hat.
(c) Samplingfrequenz. Die Wahl der Abtastrate hat großen Einfluss auf die zu entwerfenden Algorithmen. Zum einen steigt der Fehler der meisten Delay- Interpolationsalgorithmen stark an, je geringer der Abstand des interessierenden Frequenzbereichs zur Nyquist-Frequenz ist. Auch steigt die Länge vieler von Algorithmen benötigter Filter stark an, je schmaler der Bereich zwischen oberer Grenzfrequenz des Audiofrequenzbereiches und der Nyquist-Frequenz ist, da dieser Bereich in vielen Verfahren zum Filterentwurf als sog. don't care-Band verwendet wird.
Änderungen der Sampling-Frequenz können daher weitgehende Anpassungen der verwendeten Filter und sonstiger Parameter erfordern und somit auch die Performance und die Eignung spezieller Algorithmen maßgeblich beeinflussen.
Standardmäßig werden Systeme, die in professionellen Audiotechnik üblich sind, mit einer Abtastrate von 48 KHz betrieben. Daher wird diese Samplingfrequenz im Folgenden angenommen.
(d) Zielhardware. Obwohl die zu entwickelnden Algorithmen generell unabhängig von der verwendeten Hardware sind, ist eine Festlegung der Zielplattform aus verschiedenen Gründen sinnvoll :
(i) Die Architektur der verwendeten CPUs, z. B. die Unterstützung von Parallelarbeit, hat Einfluss auf das Design der Algorithmen.
(ii) Größe und Architektur des verwendeten Speichers beeinflussen Entwurfsentscheidungen beim Algorithmenentwurf.
(iii) Für die Festsetzung von Performanceforderungen sind Angaben über die Leistungsfähigkeit der Zielhard- wäre notwendig.
Da Systeme aktuell und in der absehbaren Zukunft zumeist auf PC-Technik basieren, werden folgende Eigenschaften angenommen:
• Aktuelle Desktop- oder Workstation-Standardkomponenten basierend auf x86-Technik, • Keine Verwendung von Spezial-Hardware
• Prozessoren mit performanter Floating-Point- Funktionalität,
• Vergleichsweise großer Arbeitsspeicher und
• Typischerweise Unterstützung SIMD-Befehlssätzen (z. B. SSE) .
Die Algorithmik in der Audiosignalverarbeitung in der Wellenfeldsynthese kann in verschiedene Kategorien eingeteilt werden:
(1) Berechnung der WFS-Parameter. Durch Anwendung des WFS- Synthese-Operators werden für jede Kombination aus Quelle und Lautsprecher ein Skalierungs- und ein Delay-Wert bestimmt. Diese Berechnung erfolgt mit einer relativ geringen Frequenz. Zwischen diesen Stützstellen werden die Scale- und Delay-Werte mittels einfacher Verfahren interpoliert. Daher ist der Einfluss auf die Performance vergleichsweise gering.
(2) Filterung. Zur Umsetzung des WFS-Operators ist eine Filterung mit einem Tiefpassfilter mit 3 dB Flankensteilheit erforderlich. Zusätzlich kann eine Quell- und/oder lautsprecherabhängige Anpassung an die Wiedergabeverhältnisse erfolgen. Da die Filter-Operation jedoch jeweils nur einmal pro Eingangs- und/oder Ausgangssignal durchgeführt wird, ist der Performancebedarf im Allgemeinen moderat. Zusätzlich wird diese Operation in aktuellen WFS-Systemen auf dedizierten Recheneinheiten durchgeführt.
(3) WFS-Skalierung. Diese, oftmals eigentlich inkorrekt als WFS-Faltung bezeichnete, Operation beaufschlagt die in einer Verzögerungsleitung abgelegten Eingangssignale mit der vom Syntheseoperator berechneten Verzögerung und skaliert dieses Signal mit einer ebenfalls vom Syntheseopera- tor berechneten Skalierung. Diese Operation wird für jede Kombination aus virtueller Quelle und Lautsprecher durchgeführt. Die Lautsprechersignale werden durch Summation aller skalierten Eingangsignale für den betreffenden Lautsprecher gebildet.
Da die WFS-Skalierung für jede Kombination aus virtueller Quelle und Lautsprecher sowie für jedes Audio-Sample durchgeführt wird, bildet sie selbst bei einer sehr geringen Komplexität der Einzel-Operation den Hauptanteil des Ressourcenbedarfs eines WFS-Systems .
Neben den bekannten Wiedergabefehlern (Artefakten) der WFS treten bei bewegten Quellen eine Reihe weiterer charakte- ristischer Fehler auf. Dabei können folgende Fehler identifiziert werden:
(A) Kammfiltereffekte (Spatial Aliasing) . Das aus der Wiedergabe statischer Quellen bekannte räumliche Aliasing erzeugt oberhalb der Aliasing-Frequenz ein von der Quellposition sowie der Frequenz abhängiges, von Überhöhungen und scharfen Einbrüchen geprägtes Interferenzmuster. Bei Bewegungen der virtuellen Quelle verändert sich dieses Muster dynamisch und erzeugt so für einen ruhenden Betrachter eine zeitabhängige Frequenzverzerrung.
(B) Nichtbeachtung der retardierten Zeit. Bei der Berechnung der WFS-Parameter wird die aktuelle Position der Quelle herangezogen. Für eine korrekte Wiedergabe ist jedoch die Position ausschlaggebend, von der der aktuell eintreffende Schall ausgesandt wurde. Dies erzeugt einen systematischen Fehler der Dopplerverschiebung, der jedoch bei moderaten Geschwindigkeiten recht gering ausfällt und in den meisten Anwendungen der WFS sehr wahrscheinlich nicht störend wahrgenommen wird.
(C) Doppler-Spreizung. Eine bewegte Quelle führt aufgrund der unterschiedlichen Relativgeschwindigkeiten zu verschie- denen Dopplerfrequenzen in den von den sekundären Quellen abgestrahlten Signalen. Diese äußern sich am Hörort in einer Verbreiterung des Frequenzspektrums der virtuellen Quelle. Dieser Fehler kann nicht mit der WFS-Theorie er- klärt werden und ist Gegenstand aktueller Forschungen.
(D) Audio-Störungen durch Delay-Interpolation. Zur WFS- Skalierung werden beliebig verzögerte Eingangssignale benötigt, die aus den nur zu beliebigen Zeitpunkten vorlie- genden diskreten Samples berechnet werden. Die dazu verwendeten Algorithmen unterscheiden sich stark in ihrer Qualität und erzeugen oftmals Artefakte, die störend wahrgenommen werden.
Der natürliche Doppler-Effekt , also die Frequenzverschiebung einer bewegten Quelle, wird hier nicht als Artefakt eingestuft, da er eine Eigenschaft des primären Schallfeldes ist, welches von einem WFS-System wiedergegeben werden soll. Trotzdem ist dieser in verschiedenen Anwendungen unerwünscht.
Die Operation, den Wert eines zeitdiskret abgetasteten Signals zu beliebigen Zeitpunkten zu ermitteln, wird als Delay-Interpolation oder Fractional-Delay-Interpolation bezeichnet.
Dazu wurde eine große Zahl von Algorithmen entwickelt, die sich in Komplexität und Güte der Interpolation stark unterscheiden. Generell werden Fractional-Delay-Algorithmen als diskrete Filter implementiert, die als Eingang ein zeitdiskretes Signal und als Ausgang eine Approximation des verzögerten Signals besitzen.
Fractional-Delay-Interpolationsalgorithmen können nach verschiedenen Kriterien klassifiziert werden:
(I) Filterstruktur. FD-Filter (FD = fractional delay) können sowohl als FIR- als auch als IIR-Filter implemen- tiert werden (FIR = finite impulse response, HR = infinite impulse response) .
FIR-Filter benötigen im Allgemeinen eine höhere Zahl von Filterkoeffizienten und damit auch von Rechenoperationen und erzeugen für beliebige fraktionale Delays auch stets Amplitudenfehler. Sie sind jedoch stets stabil und es existieren viele, darunter auch viele geschlossene, nicht iterative, Entwurfsverfahren.
IIR-Filter können als Allpass-Filter implementiert werden, die einen exakt konstanten und damit für FD-Filter optimalen Amplitudengang besitzen. Jedoch ist es nicht möglich, die Phase eines IIR-Filters so exakt zu beeinflussen wie im Falle eines FIR-Filters. Die meisten Design-Methoden für IIR-FD-Filter sind iterativ und dementsprechend nicht für Echtzeitanwendungen mit veränderlichen Delays geeignet. Die einzige Ausnahme bildet der Thiran-Filter, für den explizite Formeln für die Koeffizienten existieren. Bei der Imple- mentierung von IIR-Filtern ist es stets notwendig, den Wert der vorhergehenden Ausgänge zu speichern. Dies ist für eine Implementierung in einem WFS-Reproduktionssystem ungünstig, da eine Vielzahl früherer Ausgangssignale verwaltet werden müssten. Des Weiteren setzt eine Verwendung interner Zu- stände die Eignung von IIR-Filtern für veränderliche Delays herab, da der interne Zustand möglicherweise für ein anderes fraktionales Delay als das aktuelle berechnet wurde. Dies führt zu als Transienten bezeichneten Störungen des Ausgangssignals .
Aus diesen Gründen werden für den Einsatz in WFS- Reproduktionssystemen nur FIR-Filter untersucht.
(II) Feste und variable Fractional-Delays . FD-Filter sind, nachdem ihre Koeffizienten entworfen wurden, nur für einen bestimmten Verzögerungswert gültig. Für jeden neuen Wert muss der Entwurfsvorgang erneut durchgeführt werden. Abhängig von den Kosten dieses Entwurfsvorgangs sind Verfahren mehr oder weniger gut für den Echtzeitbetrieb mit veränderlichen Delays geeignet.
Verfahren für variable fraktionale Delays (oft als Variable Fractional Delay Filters = VFD bezeichnet) kombinieren die Koeffizientenberechnung und die Filterberechnung und sind daher sehr gut für Echtzeit-Veränderungen des Verzögerungswertes geeignet. Sie sind eine Ausprägung variabler digitaler Filter.
(III) Asynchrone Abtastratenumsetzung. In der WFS werden kontinuierlich veränderliche Delays benötigt. Bei der Reproduktion einer sich linear zu eine Sekundärquelle bewegenden virtuellen Quelle ist die Verzögerung beispiels- weise eine lineare Funktion der Zeit. Diese Operation kann als asynchrone Samplingratenkonvertierung klassifiziert werden. Verfahren zur asynchronen Abtastratenumsetzung werden typischerweise auf Basis von variablen Fractional- Delay-Algorithmen implementiert. Zusätzlich weisen sie jedoch einige zusätzlich zu lösende Probleme auf, z. B. die Notwendigkeit der Unterdrückung von Imaging- und Aliasing- artefakten.
(IV) Wertebereich des Fractional-Delay-Parameters . Der Bereich des variablen Delay-Parameters dfrac ist abhängig vom verwendeten Verfahren und nicht zwingend der Bereich 0 < dfrac ≤ 1. So liegt er für die meisten FIR-Verfahren im Bereich N ~ < d < N "*".. , wobei N die Ordnung des Verfah- rens ist. Dadurch wird die Abweichung von einem linearpha- sigen Verhalten minimiert. Ein exakt linearphasiges Verhalten ist stets nur für spezielle Werte von dfrac möglich.
Durch eine Zerlegung des gewünschten Verzögerungswertes d in einen ganzzahligen Wert dint und einen fraktionalen Teil dfrac können mit einem Fractional-Delay-Filter beliebige
Verzögerungen erzeugt werden. Die Verzögerung um dint wird dabei durch eine Indexverschiebung im Eingangssignal implementiert .
Die Einhaltung des idealen Operationsbereiches bedingt jedoch einen minimalen Wert des Delays, der zur Einhaltung der Kausalität nicht unterschritten werden darf. Damit bedingen Verfahren zur Delay-Interpolation, speziell hochwertige FD-Algorithmen mit großen Filterlängen, auch eine Vergrößerung der Systemlatenz . Diese übersteigt jedoch selbst bei extrem aufwändigen Verfahren nicht eine Größe- nordung von 20 ... 50 Samples. Diese ist jedoch im Allgemeinen gering im Vergleich zu anderen systembedingten Latenzen eines typischen WFS-Wiedergabesystems.
Die Notwendigkeit von Delay-Interpolationen ergibt sich auch aus den folgenden Überlegungen:
Bei der Synthese bewegter Schallquellen mittels WFS werden die Verzögerungen, mit denen die Audiosignale beaufschlagt werden, zeitvariant. Die Signalverarbeitung (Rendering) eines WFS-Wiedergabesystems erfolgt zeitdiskret, Quellsignale liegen also nur zu festgelegten Abtastzeitpunkten vor. Die Verzögerung eines zeitdiskreten Signals um ein Vielfaches der Abtastperiode ist effizient möglich und wird durch ein Verschieben des Signalindexes implementiert. Der Zugriff auf einen Wert eines zeitdiskreten Signals, der zwischen zwei Abtastpunkten liegt, wird als Delay- Interpolation bzw. als Fractional Delay bezeichnet. Dazu werden spezielle Algorithmen benötigt, die sich in Qualität und Performance stark unterscheiden. Einen Überblick über Fractional-Delay-Algorithmen liefert .
Bei der WFS bewegter Quellen ändern sich die benötigten Verzögerungszeiten dynamisch und können beliebige Werte annehmen. Für jedes Lautsprechersignal wird im Allgemeinen ein anderer Verzögerungswert benötigt. Die verwendeten Algorithmen müssen daher beliebige, veränderliche Delays unterstützen. Während die Rundung der Verzögerung auf das nächstgelegene Vielfache der Abtastperiode bei statistischen WFS-Quellen hinreichend gute Ergebnisse liefert, führt diese Methode bei bewegten Quellen zu deutlichen Störungen.
Für die Wellenfeldsynthese wird für jede Kombination aus virtueller Quelle und Lautsprecher eine Delay-Interpolation notwendig. Verbunden mit der für eine gute Wieder- gabequalität notwendigen Komplexität der Delay- Interpolation ist eine Echtzeit-Implementierung in guter Qualität nicht praktikabel.
In Edwin Verheijen: „Sound repodiction by wav field synthe- sis", PhD thesis (Seiten 106-110), Delft University of Technology, 1997" wird die Notwendigkeit einer Delay- Interpolation für bewegte Quellen beschrieben. Zur Umsetzung der Algorithmen werden allerdings nur einfache (Standard-) Delay-Interpolationsverfahren verwendet.
In Marije Baalman, Simon Schampijer, Torben Hohn, Thilo Koch, Daniel Plewe und Eddie Mond: „ Creating a large scale wave field synthesis System with swonder", in Procc. of the 5th International Linux Audio Conference, Berlin, Germany, March 1997 wird auf die Notwendigkeit einer Abtastratenumsetzung bei bewegten virtuellen Quellen hingewiesen. Es wird ein Algorithmus auf Basis des Algorithmus von Bresen- ham skizziert. Dabei handelt es sich jedoch um einen auf Integer-Rechnung basierenden Algorithmus der graphischen Datenverarbeitung zur Darstellung von Linien auf gerasterten Wiedergabegeräten. Daher ist davon auszugehen, dass es sich nicht um eine echte, interpolierende Abtastratenumsetzung, sondern um eine Rundung der Stützstellen auf den nächstgelegenen ganzzahligen Sample-Index handelt.
In WFS-Renderer sind verschiedene einfache Verfahren zur Delay-Interpolation implementiert. Durch die verwendete Klassenhierarchie können die Verfahren einfach ausgetauscht werden. Neben der Delay-Interpolation hat auch die zeitliche Interpolation der WFS-Parameter Delay (und auch Scale) Einfluss auf die Güte der Abtastratenumsetzung. In der herkömmlichen Renderer-Struktur werden diese Parameter nur in einem festen Raster aktualisiert (aktuell im Takt von 32 Audio-Samples) .
Folgende Algorithmen sind implementiert:
- IntegerDelay . Dies ist der ursprüngliche Algorithmus. Er unterstützt keine Delay-Interpolation, d. h. Verzögerungswerte werden auf das nächstgelegene Vielfache der Abtastperiode gerundet. Das Update der Verzögerungs- und Skalierungsparameter erfolgt in einem Raster von aktuell 32 Samples. Dieser Algorithmus ist in einer optimierten Assembler-Variante implementiert und für das Echtzeit-Rende- ring kompletter WFS-Szenen geeignet. Trotzdem beansprucht diese Operation den Hauptteil der im Renderer benötigten Rechenlast .
- BufferwiseDelayLinear . Die WFS-Parameter werden in einem groben Raster angepasst (Notation: bufferwise) , die verzögerten Signale selbst werden mit einer Delay-Interpolation auf Basis einer linearen Interpolation berechnet. Die Implementierung erfolgt mit Assembler-Unterstützung und ist von der Performance für den Einsatz mit kompletten WFS- Szenen geeignet. Dieser Algorithmus wird derzeit als De- fault-Einstellung verwendet.
- SamplewiseDelayLinear . Bei diesem Verfahren werden Ska- lierungs- und Verzögerungswerte für jedes Sample interpoliert (Notation: samplewise) . Die Delay-Interpolation erfolgt wieder durch lineare Interpolation (d. h. Lagrange- Interpolation 1. Ordnung). Dieses Verfahren ist deutlich aufwändiger als die vorherigen und liegt zusätzlich nur in einer C++-Referenzimplementation vor. Daher ist es nicht für den Einsatz mit realen, komplexen WFS-Szenen geeignet. - SamplewiseDelayCubic. Auch hier werden Scale und Delay sample-genau interpoliert. Die Delay-Interpolation erfolgt mit einem Lagrange-Interpolator dritter Ordnung (d. h. kubisch) . Auch dieses Verfahren liegt nur als Referenzimple- mentation vor und ist ausschließlich für kleine Quellanzahlen geeignet.
Ausgehend von diesem Stand der Technik liegt der vorliegenden Erfindung die Aufgabe zugrunde, eine Vorrichtung und ein Verfahren zu schaffen, das für ein Wellenfeldsynthese- system Komponentensignale mit deutlich höherer Genauigkeit ermittelt .
Diese Aufgabe wird durch eine Vorrichtung gemäß Anspruch 1 und ein Verfahren gemäß Anspruch 17 oder Anspruch 18 gelöst.
Der Kerngedanke der vorliegenden Erfindung besteht darin, dass ein Komponentensignal in höherer Qualität dadurch erreicht werden kann, dass zunächst das Audiosignal, welches zu einer virtuellen Quelle gehört, einer Vorverarbeitung unterzogen wird, wobei die Vorverarbeitung unabhängig von dem WFS-Parameter ist, so dass eine bessere Interpolation erreicht wird. Das Komponentensignal weist damit eine höhere Genauigkeit auf, wobei das Komponentensignal die von einer virtuellen Quelle erzeugte Komponente für einen Lautsprechersignals darstellt. Ferner umfasst die vorliegende Erfindung eine verbesserte Interpolation der WFS- Parameter wie beispielsweise Verzögerungs- (delay-) oder Skalierungswerte, die mit einer geringen Parameterabtastfrequenz ermittelt werden.
Somit schaffen Ausführungsbeispiele der vorliegenden Erfindung eine Vorrichtung zur Ermittlung eines Komponentensig- nals für ein WFS-System mit einem Array von Lautsprechern, wobei das WFS-System ausgebildet ist, um ein einer virtuellen Quelle zugeordnetes Audiosignal, das als ein mit einer Audioabtastfrequenz abgetastetes diskretes Signal vorliegt, sowie der virtuellen Quelle zugeordneten Quellenpositionen zu nutzen, um unter Berücksichtigung von Lautsprecherpositionen Komponentensignale für die Lautsprecher aufgrund der virtuellen Quelle zu berechnen. Die erfindungsgemäße Vor- richtung umfasst dabei eine Einrichtung zum Liefern von WFS-Parameter für ein Komponentensignal unter Verwendung einer Quellenposition und unter Verwendung der Lautsprecherposition, wobei die Parameter mit einer Parameterabtastfrequenz, die kleiner ist als die Audioabtastfrequenz, ermittelt werden. Die Vorrichtung umfasst ferner einen WFS- Parameter-Interpolator zum Interpolieren der WFS-Parameter um einen interpolierten WFS-Parameter zu erzeugen, die mit einer Parameter-Interpolationsfrequenz vorliegen, die größer ist als Parameter-Abtastfrequenz, wobei die interpo- lierten WFS-Parameter interpolierte Bruchteile aufweisen, die eine höhere Genauigkeit haben als durch die Audio- Abtastfrequenz vorgegeben ist. Die Vorrichtung umfasst schließlich eine Audiosignalverarbeitungseinrichtung, die ausgebildet ist, um die interpolierten Bruchteilwerte auf das Audiosignal anzuwenden und zwar derart, dass das Komponentensignal mit der höheren Genauigkeit verarbeitet erhalten wird.
Die Idee der Problemlösung basiert somit darauf, dass die Komplexität des Gesamt-Algorithmus durch die Ausnutzung von Redundanz verringert wird. Dabei wird der Delay- Interpolationsalgorithmus so partitioniert, dass er in a) einen Teil zur Berechnung von Zwischenwerten und b) einen effizienten Algorithmus zur Berechnung der endgültigen Ergebnisse unterteilt wird.
Die Struktur eines WFS-Wiedergabesystems wird wie folgt ausgenutzt: Für jede primäre Quelle werden mittels Delay- Interpolation Ausgangssignale für alle Lautsprecher berech- net. Damit erfolgt die Vorverarbeitung pro primärer Quelle. Es ist sicherzustellen, dass diese Vorverarbeitung unabhängig vom tatsächlichen Delay ist. In diesem Fall können die einmal vorverarbeiteten Daten für alle Lautsprechersignale verwendet werden.
Ausführungsbeispiele, die dieses Prinzips umsetzen, können beispielsweise mittels zwei Verfahren beschrieben werden.
(i) Verfahren 1: eine Kombination einer Überabtastung mit einer Delay-Interpolation geringerer Ordnung auszuführen.
Bei diesem Verfahren werden vor der Speicherung der Eingangssignale in eine Verzögerungsleitung die Eingangssignale durch Überabtastung auf eine höhere Samplerate konvertiert. Dies erfolgt effizient z. B. durch Polyphasen- Verfahren. Die entsprechend größere Zahl „hochgesampelter" Werte wird in der Verzögerungsleitung gespeichert.
Zur Generierung der Ausgangssignale wird das gewünschte Delay mit dem Überabtast-Verhältnis multipliziert. Dieser Wert wird für den Zugriff auf die Verzögerungsleitung verwendet. Aus den Werten der Verzögerungsleitung wird das endgültige Ergebnis durch einen Interpolations-Algorithmus geringer Ordnung (z. B. Polynom-Interpolation) bestimmt. Der Algorithmus wird mit der geringen, ursprünglichen Taktrate des Systems ausgeführt.
Die Kombination einer Überabtastung mit einer Polynominterpolation für eine einzelne Delay-Interpolations-Operation ist für die Anwendung in der WFS neu. Durch die mehrfache Verwendung der durch die Überabtastung erzeugten Signale kann damit in der WFS eine deutliche Performancesteigerung realisiert werden.
(ii) Verfahren 2: Verwendung einer Farrow-Struktur zur Interpolation.
Die Farrow-Struktur ist ein variabler digitaler Filter für kontinuierlich veränderliche variable Delays. Er besteht aus einer Menge von P Subfiltern. Das Eingangssignal wird durch jedes dieser Subfilter gefiltert und liefert P verschiedene Ausgänge cP Ausgangssignal ergibt sich durch Auswertung eines Polynoms in d, wobei d der fraktionale Anteil der gewünschten Verzögerung ist und die Ausgänge der Subfilter, cP, die Koeffizienten des Polynoms bilden.
Der vorgeschlagene Algorithmus generiert als Vorverarbeitung die Ausgänge der Subfilter für jedes Sample des Eingangssignals. Diese P Werte werden in die Verzögerungs- leitung geschrieben. Die Generierung der Ausgangssignale erfolgt durch den Zugriff auf die P Werte in der Verzögerungsleitung und der Auswertung des Polynoms. Diese effiziente Operation erfolgt für jeden Lautsprecher.
Die Audiosignalverarbeitungseinrichtung ist bei diesen Ausführungsbeispielen derart ausgebildet, die Verfahren (i) und/oder (ii) auszuführen.
Bei einem weiteren Ausführungsbeispiel ist die Audiosignal- Verarbeitungseinrichtung ausgebildet, eine Überabtastung des Audiosignals derart durchzuführen, dass die Überabtastung bis zu einer Überabtastrate durchgeführt wird, die eine gewünschte Genauigkeit sicherstellt. Das hat den Vorteil, dass der zweite Interpolationsschritt dadurch redundant wird.
Ausführungsbeispiele der vorliegenden Erfindung beschreiben eine WFS-Delay-Interpolation, die insbesondere vorteilhaft für Audiotechnik und Tontechnik im Rahmen der Wellenfeld- synthese ist, da eine deutlich verbesserte Unterdrückung von hörbaren Artefakten erreicht wird. Die Verbesserung wird dabei insbesondere durch eine verbesserte Delay- Interpolation, bei der Verwendung von fraktionalen Delays und asynchroner Samplingratenkonvertierung erreicht. Es handelt sich somit Ausführungsbeispiele der vorliegenden Erfindung werden nachfolgend Bezug nehmend auf die beiliegenden Zeichnungen näher erläutert. Es zeigen:
Fig. 1 eine schematische Darstellung einer Vorrichtung gemäß einem Ausführungsbeispiel der vorliegenden Erfindung;
Fig. 2 einen Frequenzgang für einen Lagrange- Interpolator dritter Ordnung;
Fig. 3 eine kontinuierliche Impulsantwort für einen Lagrange-Interpolator siebenter Ordnung;
Fig. 4 ein Worst-Case-Amplitudengang für Lagrange- Interpolatoren unterschiedlicher Ordnung;
Fig. 5 ein WFS-Renderer mit einer WFS-
Signalverarbeitung;
Fig. 6a Darstellungen für Amplituden und Delay-Interpola- bis 6c tionen;
Fig. 7 eine Delay-Interpolation mittels Überabtastung und simultanem Auslesen als Lagrange-
Interpolation;
Fig. 8 eine Spezifikation des Anti-Imaging-Filters für Überabtastung, Übergangsband nur für Baseband spezifiziert;
Fig. 9 eine Spezifikation des Anti-Imaging-Filters für Überabtastung und eine so genannte „Don' t-Care"- Region auch für Images des Übergangsbandes;
Fig. 10 eine Delay-Interpolation mit simultanem Auslesen auf Basis der Farrow-Struktur und Fig. 11 ein prinzipielles Blockschaltbild eines Wellen- feldsynthesesystems mit Wellenfeldsynthesemodul und Lautsprecherarray in einem Vorführbereich.
Bezüglich der nachfolgenden Beschreibung sollte beachtet werden, dass bei den unterschiedlichen Ausführungsbeispielen gleiche oder gleich wirkende Funktionselemente gleiche Bezugszeichen aufweisen und somit die Beschreibung dieser Funktionselemente in den verschiedenen, in den nachfolgend dargestellten Äusführungsbeispielen untereinander austauschbar sind.
Bevor detailliert auf die vorliegende Erfindung eingegangen wird, wird nachfolgend anhand von Fig. 11 der prinzipielle Aufbau eines Wellenfeldsynthesesystems dargestellt. Das Wellenfeldsynthesesystem hat ein Lautsprecherarray 700, das bezüglich eines Vorführbereichs 702 platziert ist. Im Einzelnen umfasst das in Fig. 11 gezeigte Lautsprecherarray, das ein 360°-Array ist, vier Arrayseiten 700a, 700b, 700c und 70Od. Ist der Vorführbereich 702 z. B. ein Kinosaal, so wird bezüglich der Konventionen vorne/hinten oder rechts/links davon ausgegangen, dass sich die Kinoleinwand auf derselben Seite des Vorführbereichs 702 befindet, an der auch das Teil-Array 700c angeordnet ist. In diesem Fall würde der Betrachter, der an dem hier so genannten Optimal- Punkt P in dem Vorführbereich 702 sitzt, nach vorne, also auf die Leinwand, sehen. Hinter dem Zuschauer würde sich dann das Teil-Array 700a befinden, während sich links vom Zuschauer das Teil-Array 70Od befinden würde, und während sich rechts vom Zuschauer das Teil-Array 700b befinden würde. Jedes Lautsprecherarray besteht aus einer Anzahl von verschiedenen Einzellautsprechern 708, die jeweils mit eigenen Lautsprechersignalen angesteuert werden, die von einem Wellenfeldsynthesemodul 710 über einen in Fig. 11 lediglich schematisch gezeigten Datenbus 712 bereitgestellt werden. Das Wellenfeldsynthesemodul ist ausgebildet, um unter Verwendung der Informationen über z. B. Art und Lage der Lautsprecher bezüglich des Vorführbereichs 702, also von Lautsprecher-Informationen (LS-Infos), und gegebenenfalls mit sonstigen Daten Lautsprechersignale für die einzelnen Lautsprecher 708 zu berechnen, die jeweils von den Audiodaten für virtuelle Quellen, denen ferner Positi- onsinformationen zugeordnet sind, gemäß den bekannten Wellenfeldsynthesealgorithmen abgeleitet werden. Das WeI- lenfeldsynthesemodul kann ferner noch weitere Eingaben erhalten, wie beispielsweise Informationen über die Raumakustik des Vorführbereichs etc. aufweisen.
Fig. 1 zeigt eine Vorrichtung gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Die zu einer virtuellen Quelle gehörende Quellenposition 135 und die Lautsprecherpositionen 145 werden in einer Einrichtung zum Liefern von WFS-Parametern 150 eingegeben. Die Einrichtung zum Liefern von WFS-Parametern 150 kann optional einen weiteren Eingang aufweisen, wo sonstige Daten 190 eingelesen werden können. Die sonstigen Daten 190 können beispielsweise die Raumakustik und andere Szenedaten umfassen. Die Einrichtung zum Liefern 150 ermittelt daraus mit einer Parameterabtastfrequenz die WFS-Parameter 155, die in dem WFS-Parameter- Interpolator 160 eingelesen werden. Nach erfolgter Interpolation werden die interpolierten WFS-Parameter für die Audiosignalverarbeitungseinrichtung 170 bereitgestellt. Die Audiosignalverarbeitungseinrichtung 170 weist ferner einen Eingang für ein Audiosignal 125 auf und einen Ausgang für Komponentensignale 115. Jede virtuelle Quelle liefert ein eigenes Audiosignal, das zu Komponentensignale für die verschiedenen Lautsprecher verarbeitet wird.
Fig. 2 zeigt ein WFS-System 200 mit einer WFS- Signalverarbeitung 210 und einer WFS-Parameterberechnung 220. Die WFS-Parameterberechnung 220 weist einen Eingang auf für Szenedaten 225, die sich beispielsweise auf N Quellsignale beziehen. Unter der Annahme, dass N Signalquellen (virtuelle Quellen) und M Lautsprecher für das WFS- System zur Verfügung stehen, berechnet die WFS- Parameterberechnung 220 NxM-Parameterwerte (Skalen- und Verzögerungswerte) . Diese Parameter werden an die WFS- Signalverarbeitung 210 ausgegeben. Die WFS- Signalverarbeitung 210 weist eine WFS-Verzögerungs- und Skalierungseinrichtung 212, eine Einrichtung zum Summieren 214 und eine Verzögerungsleitung 216 auf. Die Verzögerungsleitung 216 ist allgemein als eine Einrichtung zum Zwischenspeichern ausgebildet und kann beispielsweise durch einen Ringpuffer gegeben sein.
Die NxM-Parameter werden von der WPS-Verzögerungs- und Skalierungseinrichtung 212 eingelesen. Die WFS- Verzögerungs- und Skalierungseinrichtung 212 liest ferner aus der Verzögerungsleitung 216 die Audiosignale. Die Audiosignale in der Verzögerungsleitung 216 weisen dabei einen Index auf, der entsprechend einer bestimmten Verzögerung entspricht und auf dem mittels eines Zeigers 217 zugegriffen wird, so dass die WFS-Verzögerungs- und Skalierungseinrichtung 212 durch einen Zugriff auf ein Audiosignal mit einem bestimmten Index, eine Verzögerung für das entsprechende Audiosignal wählen kann. Der Index dient somit gleichzeitig als Adresse oder Adressierung der entsprechenden Daten in der Verzögerungsleitung 216.
Die Verzögerungsleitung 216 erhält von den N-Quellsignalen Audio-Eingangsdaten, die gemäß ihrer zeitlichen Abfolge in der Verzögerungsleitung 216 gespeichert werden. Durch einen entsprechenden Zugriff auf einen Index der Verzögerungsleitung 216 kann somit die WFS-Verzögerungs- und Skalierungseinheit 212 Audiosignale auslesen, die einen gewünschten (berechneten) Verzögerungswert (Index) aufweisen. Ferner gibt die WFS-Verzögerungs- und Skalierungseinrichtung 212 entsprechende Komponentensignale 115 an die Einrichtung zum Summieren 214 aus, und die Einrichtung zum Summieren 214 summiert die Komponentensignale 115 der entsprechenden N virtuellen Quellen, um daraus Lautsprechersignale für die M-Lautsprecher zu generieren. Die Lautsprechersignale werden an einem Soundausgang 240 bereitgestellt. Ausführungsbeispiele beziehen sich somit auf eine Audio- Signalverarbeitung eines WFS-Renderingsystems 200. Dieses Renderingsystem enthält als Eingangsdaten die Audiosignale der WFS-Quellen (virtuelle Quellen) , wobei die Indexvariab- Ie n die Quellen durchzählt und N die Anzahl der Quellen darstellt. Typischerweise kominen diese Daten von anderen Systemkomponenten wie beispielsweise Audio-Zuspieler eventuell Vorfilter, etc. Als weiterer Eingangsparameter werden vom Block WFS-Parameterberechnung 220 Amplituden- (Skalie- rungs-) und Verzögerungswerte (Deiaywerte) für jede Kombination aus Quelle und Lautsprecher geliefert (Indexvariable: m, Anzahl: M). Dies erfolgt in der Regel als Matrix, die entsprechende Werte für die Quellen n und Lautsprecher m werden im Folgenden delay(n,m) und scale(n.m) benannt.
Die Audiosignale werden zunächst in der Verzögerungsleitung 216 abgelegt, um einen späteren, wahlfreien Zugriff (d. h. mit variablen Verzögerungswerten) zu ermöglichen.
Kernkomponente der Ausführungsbeispiele ist der Block „WFS- Verzögerung und Skalierung" 212. Dieser wird teilweise auch als WFS-Faltung oder WFS-Konvolution bezeichnet, allerdings handelt es sich nicht um eine echte Faltung im Sinne der Signalverarbeitung und daher wird der Begriff in der Regel vermieden. Hier wird für jede Kombination (n, m) aus Quelle und Lautsprecher ein Ausgangssignal (Komponentensignal 115) erzeugt.
Dabei wird für das Signal y(n, m) ein delay(n,m) verzöger- ter Wert aus der Verzögerungsleitung 216 für Quelle n ausgelesen. Dieser Wert wird mit der Amplitude scale(n,m) multipliziert.
Abschließend werden die Signale y(n, m) aller Quellen n = 1, ... , N lautsprecherweise addiert und bilden so das Ansteuersignal für jeden Lautsprecher y(m):
Y(m) = y(l, m) + y(2, m) + ... + y(N, m) . Diese Berechnung erfolgt für jedes Sampel der Lautsprechersignale.
Für eine stationäre Quelle ist das erfindungsgemäße Verfahren bzw. die erfindungsgemäße Vorrichtung in der Praxis von geringer Bedeutung. Zwar weicht das synthetisierte Wellenfeld bei einer Rundung der Delay-Werte von theoretisch definierten Idealfall ab, jedoch sind diese Abweichungen sehr gering und werden durch andere in der Praxis auftretende Abweichungen wie beispielsweise ein raumartiges (spatial) Aliasing vollständig überdeckt. Für die praktische Echtzeitimplementierung ist es jedoch wenig sinnvoll zwischen aktuell nicht bewegten und bewegten Quellen zu unterscheiden. Es sollte immer mit dem Algorithmus für den generellen Fall, d. h. für bewegte Quellen gerechnet werden.
Der Algorithmus ist insbesondere für bewegte Quellen inte- ressant, jedoch treten Fehler nicht nur dann auf, wenn Samples „verschluckt" oder doppelt verwendet werden. Vielmehr erzeugt die Approximation abgetasteter Signale an beliebigen Stützstellen immer Fehler. Die Verfahren zur Approximation zwischen Stützstellen werden auch als Fracti- onal-Delay-Interpolation bezeichnet.
Diese machen sich unter anderem in Frequenz- und Phasenfehlern des Ausgangssignals bemerkbar. Sind diese Fehler zeitvariant (wie im Falle bewegter Quellen) treten ver- schiedene (oftmals deutlich hörbare) Effekte auf, wie sie sich z. B. im Frequenzbereich als Amplituden- und Frequenzmodulationen und dadurch verursachte recht komplexe Fehlerspektren äußern.
Solche Fehler treten auch bei der Verwendung von Interpolationsverfahren auf - entscheidend ist hier die Qualität des verwendeten Verfahrens, die in der Regel jedoch mit entsprechendem Rechnungsaufwand verbunden ist. Eine Möglichkeit bietet das richtige Weglassen und Einfügen von Samples, die jedoch nicht notwendigerweise das qualitätsmäßig bessere Resultat liefert.
Kernpunkt der vorliegenden Erfindung ist es, durch eine entsprechende Strukturierung der WFS-Signalverarbeitung den Einsatz qualitativ sehr hochwertiger Delay- Interpolationsverfahren zu ermöglichen, dabei jedoch den Berechnungsaufwand vergleichsweise gering zu halten.
Bei Ausführungsbeispielen der vorliegenden Erfindung kommt es nicht spezifisch darauf an, auf die Bewegung von Quellen zu reagieren und zu versuchen, in diesem Falle Fehler durch entsprechend erzeugte Samples zu vermeiden. Die Signalverarbeitung braucht keine Information über Quellpositionen, sondern ausschließlich Delay- und Amplitudenwerte (die im Falle einer bewegten Quelle zeitvariant sind) . Die beschriebenen Fehler entstehen durch die Art und Weise, wie diese Verzögerungswerte durch die Funktionseinheit WFS- Verzögerung und -Skalierung 212 auf die Audiosignale angewendet werden (primär: welches Verfahren zur Delay- Interpolation verwendet wird) . An dieser Stelle setzt die vorliegende Erfindung an, um hier die Fehler durch den Einsatz hochwertiger Verfahren zur Delay-Interpolation zu verringern.
Wie oben beschrieben, ist es für ein hochwertiges Komponentensignal wichtig, ein qualitativ hochwertiges Delay- Interpolationsverfahren zu nutzen. Zur Bewertung kann ein informeller Hörtest vorgenommen werden, mit dem der Ein- fluss der Delay-Interpolation auf die Wiedergabegüte in einem Reproduktionssystem einschätzbar ist.
Die Wiedergabe kann mit dem aktuellen WFS-Echtzeit- Rendering-System erfolgen, dabei kommen verschiedene Verfahren zur Delay-Interpolation zum Einsatz. Es werden die beschriebenen Algorithmen zur Delay-Interpolation eingesetzt.
Als Szenen werden einzelne bewegte Quellen untersucht, die geometrisch einfache, vorberechnete Bewegungsbahnen ausführen. Dazu wird die aktuelle Authoring- und Wiedergabeapplikation des Wiedergabesystems als Szenenzuspieler eingesetzt. Zusätzlich wird ein angepasster Renderer verwendet, der fest einprogrammierte Bewegungsbahnen ohne externen Szenenzuspieler erzeugt, um so den Einfluss des Szenenzuspielers und der Übertragungseigenschaften des Netzwerks auf die Güte zu bewerten.
Als Quellsignale kommen einfache, vorrangig tonale Signale zum Einsatz, da bei diesen eine verstärkte Wahrnehmbarkeit von Delay-Interpolations-Artefakten vermutet wird. Es werden sowohl Signale unterhalb als auch oberhalb der räumlichen Aliasing-Frequenz des Systems eingesetzt, um die
Wahrnehmbarkeit sowohl ohne Einfluss des Aliasing als auch die Beeinflussung der Delay-Interpolationsartefakte und der
Aliasing-Störungen untereinander zu bewerten.
Es werden folgende Bewegungsbahnen untersucht:
1. Kreisförmige Bewegung einer Punktquelle um das Array herum. Der Radius wird so gewählt, dass die Quelle sich stets in einem ausreichendem Abstand außerhalb des Arrays befindet, um zusätzliche Fehler z. B. durch ein Umschaltung auf den Panning-Algorithmus oder durch einen Wechsel der Amplitudenberechnung zuvermeiden. Das ddd-Flag wird zur Erhöhung der Delay- Änderungsraten aktiviert.
2. Kreisförmige Bewegung einer ebenen Welle um das Array herum. Die Normalenrichtung zeigt stets in Richtung des Array-Mittelpunktes. Die anderen Randbedingungen werden analog zum vorherigen Versuch gewählt. 3. Wiederholte, lineare Bewegung einer Punktquelle auf eine Array-Front zu und wieder zurück. Die Umkehrung der Bewegungsrichtung erfolgt zur Vermeidung impulsartiger Störungen nicht abrupt, sondern durch einen (z. B. linearen) Beschleunigungsvorgang, bis die Quelle mit dem Erreichen der Sollgeschwindigkeit wieder zu einer gleichförmigen Bewegung übergeht. Das ddl-Flag sollte deaktiviert werden, um Beeinflussungen durch Amplitudenänderungen zu verhindern.
4. Lineare Bewegung einer ebenen Welle mit Normalenrichtung zum Array-Zentrum. Die Bewegung des Referenzpunktes der ebenen Welle erfolgt dabei wie im vorhergehenden Versuch. Das ddd-Flag ist aktiviert. Der Zweck dieses Versuches liegt darin, die Wiedergabefehler der Delay-Interpolation weitestgehend von den anderen Artefakten bewegter Quellen zu isolieren: Der Referenzpunkt einer ebenen Quelle dient nur dazu, eine zeitliche Basis für das Quellsignal zu schaffen. Eine Verschiebung erzeugt so eine einheitliche Abtastratenumsetzung für alle Sekundärquellsignale. Die anderen Parameter der Wiedergabe (Skalierungen der Lautsprechergewichte, Dopplerverschiebungen der Sekundärquellen, Ausprägung des Aliasing-Interferenzmusters) bleiben von der Ver- Schiebung unberührt.
Die wahrgenommene Qualität wird informal und subjektiv von einigen Testpersonen bewertet.
Damit sollen folgende Fragen beantwortet werden:
• Welchen Einfluss haben Delay-Interpolationsalgorithmen auf die wahrgenommene Qualität der WFS-Wiedergabe?
• Welche charakteristischen Störungen können auf die Delay-Interpolation zurückgeführt werden und unter welchen Bedingungen sind diese besonders deutlich? • Ab welcher Qualität der Delay-Interpolation sind keine Verbesserungen mehr wahrnehmbar?
Im Folgenden sollen verschiedene Maße für die Bewertung der Qualität von Fractional-Delay-Algorithmen vorgestellt werden.
Diese Maße sollen bezüglich ihrer Verwendbarkeit, weiterentwickelt und durch neue Verfahren ergänzt werden. Sie dienen sowohl zur Beurteilung der Güte von Algorithmen als auch zur Spezifikation von Gütekriterien, die z. B. als Zielvorgaben .für Entwurfs- und Optimierungsverfahren verwendet werden.
Die für ein bestimmtes fraktionales Delay entworfenen FD- Filter können mit Hilfe gebräuchlicher Verfahren zur Analyse diskreter Systeme untersucht werden. Dabei werden Bewertungsmaße wie komplexer Frequenzgang, Amplitudengang, Phasengang, Phasenlaufzeit (phase delay) und Gruppenlauf- zeit (group delay) .
Das ideale Fractional-Delay-Element hat einen konstanten Amplitudengang mit Verstärkung 1, eine lineare Phase sowie konstante Phasen- bzw. Gruppenlaufzeiten, die der gewünsch- ten Verzögerung entsprechen. Die entsprechenden Maße müssen für verschiedene Werte von d evaluiert werden.
Fig. 3 zeigt exemplarisch den Amplitudengang sowie die Phasenverzögerung eines Lagrange-Interpolators dritter Ordnung für verschiedene Delay-Werte d. Fig. 3a stellt eine Abhängigkeit der Amplitude von der normierten Frequenz und Fig. 3b eine Abhängigkeit der Phasenlaufzeit von der normierten Frequenz dar. In den Figuren 3a, 3b sind jeweils verschiedene Graphen für verschiedene Werte von d gezeigt. Fig. 3a zeigt beispielhaft die Werte für d = 0; 0,1; 0,2; .... ; 0,5. Fig. 3b zeigt beispielhaft die Werte für d = 0; 0,1; 0,2; ; 1. Die Bewertung mittels Frequenzgängen ist nur für zeitinvariante Systeme sinnvoll und daher für zeitabhängige Änderungen des Fractional-Delay-Parameters nicht anwendbar. Um die Auswirkungen dieser Änderungen auf das interpolierte Signal zu untersuchen, können Maße für den Unterschied zwischen ideal und real interpoliertem Signal, wie der Signal-zu-Rausch-Abstand (SNR) oder das THD+N- (total harmonic distortion + noise) Maß verwendet werden. Zur Bewertung der Delay-Interpolationsalgorithmen wird das THD+M-Maß herangezogen. Zur Ermittlung des THD+N wird ein Testsignal (in der Regel eine Sinusschwingung) mit einem definierten Delay-Verlauf interpoliert und das Ergebnis mit dem analytisch erzeugten, erwarteten Ausgangssignal verglichen. Als Delay-Verlauf wird in der Regel eine lineare Änderung verwendet.
Die subjektive Bewertung kann sowohl am Einzelkanal als auch im WFS-Setup erfolgen. Dabei werden ähnliche Bedingungen wie bei dem oben skizziertem informellem Hörtest ange- wendet.
Zusätzlich kann die Verwendung objektiver Messverfahren zur Bewertung der wahrgenommenen Signale, speziell das PEAQ- Verfahren (PEAQ = JPerceptual Evaluation of Audio Quality) , in Betracht gezogen werden. Dabei können recht gute Übereinstimmungen mit der subjektiv ermittelten Wahrnehmungsqualität und mit objektiven Qualitätsmaßen festgestellt werden. Trotzdem sind die Ergebnisse auch weiterer Untersuchungen kritisch zu werten, da z. B. der PEAQ-Test für andere Einsatzgebiete (Audiocodierung) entworfen und para- metrisiert wurde.
Fig. 4 zeigt ein Beispiel für eine solche aus einem diskreten, variablen FD-Filter erzeugte kontinuierliche Impuls- antwort. Im Detail ist eine kontinuierliche Impulsantwort für eine Lagrange-Interpolator 7. Ordnung gezeigt, wobei die Amplitude des Signals in Abhängigkeit von der Zeit mit den Stützstellen t = 0, ±1, ±2, ±3, ±4 ermittelt werden. Die Zeit ist dabei derart normiert, dass ein Maximum (Stützstellen des Impulses) bei t = 0 ist. Für kleiner und größer werdende t-Werte strebt die Amplitude schnell gegen null.
Die kontinuierliche Impulsantwort eines kontinuierlichen variablen Fractional-Delay-Filters kann zur Beschreibung des Verhaltens einer solchen Struktur herangezogen werden. Diese kontinuierliche Beschreibungsform kann erzeugt wer- den, indem die diskreten Impuisantworten für viele Werte von d bestimmt und zu einer (quasi-) kontinuierlichen Impulsantwort verbunden werden. Mit Hilfe dieser Beschreibungsform werden unter anderem das Verhalten von FD-Filtern bei der Verwendung zur asynchronen Abtastratenumsetzung, also z. B. die Unterdrückung von Aliasing- und Imaging- Komponenten untersucht.
Aus dieser Beschreibung können Qualitätsmaße für variable Delay-Interpolationsalgorithmen abgeleitet werden. Darauf aufbauend kann geprüft werden, ob die Qualität eines solchen variablen Filters durch die gezielte Einflussnahme auf die Eigenschaften der kontinuierlichen Impulsantwort beein- flusst werden kann.
Um qualitativ hochwertige Komponentensignale bereitstellen zu können, sind eine Reihe von Anforderungen an den Algorithmus zur Delay-Interpolation zu stellen.
Im Folgenden werden einige Anforderungen an geeignete Verfahren definiert.
• Es soll sich eine über den gesamten Audio- Reproduktionsbereich gute Qualität der Interpolation erzielt werden. Es sind sowohl Algorith- men und Parametrisierungen gewählt, die sich am menschlichen Hörvermögen orientieren als auch solche, deren Fehler aufgrund anderer Fehler im WFS- Übertragungssystem nicht mehr wahrnehmbar sind. • Es sollen beliebige Werte des fraktionalen Delays und beliebige Änderungsraten (im Rahmen der festgelegten maximalen Quellgeschwindigkeiten) möglich sein.
• Stetige Änderungen des fraktionalen Delays dürfen nicht zu Störungen (Transienten) führen.
• Die Verfahren müssen sich modular in der Renderer- Einheit implementieren lassen.
• Die Verfahren müssen so effizient implementierbar sein, dass (zumindest perspektivisch) eine Echtzeitausführung kompletter WFS-Szenen mit ökonomisch ver- tretbarem Aufwand an Hardware realisierbar ist.
Wie oben ausgeführt, resultiert die bei der Wiedergabe bewegter Quellen notwendige Änderung der Verzögerungszeiten in einer asynchronen Abtastratenumsetzung der Audiosignale. Die Unterdrückung der dabei auftretenden Aliasing- und Imaging-Effekte ist das größte zu lösende Problem bei der Umsetzung einer Abtastratenumsetzung. Für die Anwendung in der WFS kommt der große Bereich, in dem sich der Umsetzungsfaktor bewegen kann, erschwerend hinzu. Daher sind die Verfahren bezüglich ihrer Eigenschaften zur Unterdrückung solcher ins Basisband gespiegelter Frequenzen zu untersuchen. Es ist zu analysieren, wie die Fractional-Delay- Algorithmen bezüglich ihrer Unterdrückung von Alias- und Image-Komponenten untersucht werden können. Darauf aufbau- end sind die zu entwerfenden Algorithmen anzupassen.
Für die Wellenfeldsynthese wird für jede Kombination aus virtueller Quelle und Lautsprecher eine Delay-Interpolation notwendig. Verbunden mit der für eine gute Wieder- gabequalität notwendigen Komplexität der Delay- Interpolation ist eine Echtzeit-Implementierung in guter Qualität nicht praktikabel. Die Lagrange-Interpolation ist eines der am weitesten verbreiteten Verfahren für die Fractional-Delay- Interpolation - sie ist eine der attraktivsten Algorithmen und empfiehlt sich für den als erstes zu erprobenden Algo- rithmus für die meisten Anwendungen. Lagrange-Interpolation beruht auf dem Konzept der Polynom-Interpolation. Für ein Verfahren N-ter Ordnung wird ein Polynom der Ordnung N berechnet, das durch N + 1 die gesuchte Stelle umgebenden Stützstellen verläuft.
Die Lagrange-Interpolation erfüllt die Bedingung der maximalen Flachheit (maximal flatness) . Dies bedeutet, dass der Fehler der Approximation und deren erste N Ableitungen bei einer wählbaren Frequenz ω (in der Praxis wird nahezu ausschließlich ω = 0 gewählt) verschwinden. Damit weisen Lagrange-Interpolatoren bei tiefen Frequenzen einen sehr geringen Fehler auf. Dahingegen ist ihr Verhalten bei höheren Frequenzen weniger gut.
Fig. 5 zeigt einen sogenannten worst-case-Amplitudengang für einen Lagrange-Interpolator unterschiedlicher Ordnung. Es ist dabei die Amplitude in Abhängigkeit der normierten Frequenz (ω/ ω0 mit ω0 als Grenz- oder cutoff-Frequenz) gezeigt, wobei Lagrange-Interpolatoren für die Ordnungen N = 1, 3, 7 und 13 gezeigt sind. Die Güte bei hohen Frequenzen verbessert sich auch bei steigender Interpolationsordnung nur langsam.
Obwohl diese Eigenschaften die Lagrange-Interpolation für die Anwendung in der WFS nicht optimal erscheinen lassen, so kann dieses Interpolationsverfahren doch als Basiselement komplexerer Algorithmen verwendet werden, die diese genannten Nachteile nicht auf weisen.
Die Filterkoeffizienten werden durch explizite Formeln definiert :
Bei der direkten Anwendung ■ dieser Formel werden für die Berechnung der N + 1 Koeffizienten 0(N2) Operationen benö- tigt.
Die Figuren 6a bis 6c zeigen Darstellungen für einen Amplitudengang und ein Delay-Interpolation d.
Fig. 6a zeigt beispielhaft eine Amplitude A eines Audiosignals als Funktion der Zeit t. Eine Abtastung des Audiosignals erfolgt dabei zu den Zeiten tlO, tll, tl2,...., t20, t21, usw. Die Samplerate ist damit durch 1/ (tlO - tll) gegeben (unter der Annahme einer konstanten Samplerate) . Mit einer deutlich geringeren Frequenz werden die Delay- Werte neu berechnet. In dem Beispiel wie an der Fig. 6a gezeigt ist, werden die Delay-Werte zu den Zeiten tlO, t20 und t30 berechnet, wobei sich zu dem Zeitpunkt tlO ein Delay-Wert dl, zum Zeitpunkt t20 ein Delay-Wert d2 und zum Zeitpunkt t30 ein Delay-Wert von d3 berechnet wurde. Die Zeitpunkte, zu denen Delay-Werte neu berechnet werden, können dabei variieren, beispielsweise kann alle 32 Takte ein neuer Delay-Wert generiert werden oder aber auch mehr als 1.000 Takte können zwischen der Berechnung neuer Delay- Werte ergehen. Zwischen den Delay-Werten werden für die einzelnen Takte die Delay-Werte interpoliert.
Fig. 6b zeigt ein Beispiel, wie die Interpolation der Delay-Werte d vorgenommen werden kann. Verschiedene Inter- polationsverfahren sind dabei möglich. Die einfachste Interpolation besteht in einer linearen Interpolation (Lagrange-Interpolation 1. Ordnung). Bessere Interpolationen basieren dabei auf Polynomen höherer Ordnung (Lagrange- Interpolation höherer Ordnung) , wobei die entsprechende Berechnung mehr Rechenzeit beansprucht. In Fig. 6b ist gezeigt, wie zum Zeitpunkt tlO der Delay-Wert dl angenommen wird, zum Zeitpunkt t20 der Delay-Wert d2 und zum Zeitpunkt t30 der Delay-Wert d3 vorliegt. Eine Interpolation ergibt dabei beispielsweise dass zu dem Zeitpunkt tl3 ein Delay- Wert dl3 vorliegt. Die Interpolation ist dabei derart gewählt, dass die Stützwerte zu den Zeitpunkten tlO, t20, t30, .... als Teil der interpolierten Kurve auftreten.
Fig. βc zeigt die Amplitude A des Audiosignals wiederum als Funktion der Zeit t, wobei das Intervall zwischen tl2 und tl4 dargestellt ist. Der durch Interpolation erhaltene Delay-Wert dl3 zum Zeitpunkt tl3 führt nun dazu, dass die Amplitude um den Delay-Wert dl3 zum Zeitpunkt tl3 auf den Zeitpunkt ta verschoben wird. Im vorliegenden Beispiel erfolgt die Verschiebung zu kleineren Werten in der Zeit, was jedoch lediglich ein spezielles Ausführungsbeispiel ist und bei anderen Ausführungsbeispielen entsprechend anders sein kann. Sofern dl3 einen fraktionalen Anteil aufweist, liegt ta nicht auf einem Abtastzeitpunkt. Anders ausgedrückt, braucht der Zugriff auf A2 nicht zu einem Taktzeit- punkt erfolgen und eine Näherung (z.B. Rundung) führt zu den oben beschriebenen Problemen, die die vorliegende Erfindung löst.
Wie oben beschrieben kommen insbesondere zwei Verfahren erfindungsgemäß zum Einsatz:
(i) Verfahren 1: eine Kombination einer Überabtastung mit einer Delay-Interpolation geringerer Ordnung auszuführen und (ii) Verfahren 2: Verwendung einer Farrow-Struktur zur Interpolation.
Zunächst soll das Verfahren 1 detaillierter beschrieben werden.
Verfahren zur Veränderung der Sampling-Rate um einen festen
(meist rationalen) Faktor sind weit verbreitet. Diese
Verfahren werden auch als synchrone Abtastratenumsetzung bezeichnet. Mit Hilfe eines solchen Verfahren können jedoch nur Ausgangssignale für feste Ausgabezeitpunkte erzeugt werden. Zusätzlich werden die Verfahren sehr aufwändig, falls das Verhältnis der Ein- und Ausgangsrate nahezu irrational ist (d. h. ein sehr großes kleinstes gemeinsames Vielfaches aufweist) .
Aus diesen Gründen wird erfindungsgemäß die Kombination synchroner Abtastratenumsetzung mit Verfahren zur Fractio- nal-Delay-Tnterpolation vorgeschlagen.
Die Implementierung eines Fractional-Delays mit Hilfe einer Abtastratenerhöhung und das Runden auf den nächstgelegenen Abtastzeitpunkt wird allgemein als nicht zweckmäßig angese- hen, da es für zweckmäßige Rauschabstände extrem hohe Überabtastraten voraussetzt.
Dementsprechend wurden Verfahren vorgeschlagen, die aus zwei Stufen bestehen: Im ersten Schritt erfolgt eine syn- chrone Abtastratenumsetzung um einen festen, ganzzahligen Faktor L. Diese erfolgt über eine Aufwärtstastung (Einfügen von L - I Null-Samples nach jedem Eingangswert) und eine nachfolgende Tiefpassfilterung zur Vermeidung von Image- Spektren. Diese Operation kann effizient mittels Polypha- senfilterung ausgeführt werden.
Im zweiten Schritt erfolgt eine Fractional-Delay- Interpolation zwischen überabgetasteten Werten. Diese erfolgt mit Hilfe eines variablen Fractional-Delay-Filters geringer Ordnung, deren Koeffizienten direkt berechnet werden. Besonders sinnvoll ist hier der Einsatz von Lagran- ge-Interpolatoren (siehe oben) .
Dazu kann eine lineare Interpolation zwischen den Ausgängen einer Polyphasen-Filterbank vorgenommen werden. Das primäre Ziel ist dabei die Reduktion der für nahezu nichtrationale („krumme", incommensurate) Abtastratenverhältnisse notwendigen Speicher- und Rechenleistungsbedarfs. Es ist auch möglich ein „Wideband Fractional Delay Element" einzuführen, das aus der Kombination einer Aufwärtstastung um den Faktor 2, der Verwendung eines Fractional-Delay- Filters geringer Ordnung und der anschließenden Abwärtstas- tung auf die ursprüngliche Abtastrate basiert. Durch eine Implementierung als Polyphasenstruktur wird die Berechnung in zwei unabhängige Zweige (even taps und odd taps) aufgeteilt. Dadurch müssen die Upsampler- und Downsampler- Elemente nicht diskret implementiert werden. Außerdem kann das Fractional-Delay-Element mit der Basisband-Frequenz anstelle der überabgetasteten Rate implementiert werden. Ein Grund für die gegenüber reinen Fractional-Filtern (wie der Lagrange-Interpolation) verbesserte Güte ist dadurch gegeben, dass der variable Fractional-Delay-Filter durch die erhöhte Abtastrate nur bis zur Hälfte der Nyquist- Frequenz operieren
Dies kommt der Maximally Fiat-Eigenschaft von Lagrange- Interpolationsfiltern entgegen, da diese bei niedrigen Frequenzen sehr geringe Fehler zeigen, wohingegen die Fehler bei höheren Frequenzen nur durch eine starke Vergrößerung der Filterordnung, mit entsprechend steigendem Aufwand für Koeffizientenberechnung und Filterung) verrin- gert werden kann.
Das Prinzip des Wideband Fractional Delay Filters kann auch mit Halfband-Filter als effiziente Realisierungen für die
Antiimaging-Filter kombiniert werden. Die variablen Fracti- onal-Delay-Elemente können auf Basis dedizierte Strukturen entworfen werden, unter denen die sog. Farrow-Struktur
(siehe unten) von Bedeutung ist.
Das Modell zur Beschreibung asynchroner Abtastratenumset- zung (DAAU — digitaler asynchroner Abtastratenumsetzer bzw. GASRC = Generalized Asynchronous Sampling Rate Conversion) besteht aus einem synchronen Abtastratenumsetzer (Überabtastung bzw. rationale Samplingratenkonversion) , gefolgt von einem System zur Nachbildung einer DA/AD-Umsetzung, welche typischerweise durch einen variablen Fractional- Delay-Filter realisiert wird.
Die Verbindung von synchroner Überabtastung und variabler Delay-Interpolation ist in der Audio-Technik jedoch recht weit verbreitet. Dies ist vermutlich auch darauf zurückzuführen, dass sich die auf diesem Gebiet verwendeten Verfahren meist aus synchronen Abtastratenumsetzern, die selbst oft mehrstufig angelegt sind, entwickelt haben.
Einen Sonderfall nehmen Filter-Entwurfsverfahren ein, bei denen explizite, effiziente Berechnungsvorschriften für die Filterkoeffizienten existieren. Diese basieren meist auf Interpolationsverfahren aus der numerischen Mathematik. Die weiteste Verbreitung haben dabei Fractional-Delay- Algorithmen auf Basis der Lagrange-Interpolation. Mit Hilfe solcher Verfahren lassen sich variable fraktionale Delays relativ effizient implementieren. Daneben existieren auch Filter auf Basis anderer Interpolationsverfahren, z. B. Spline-Funktionen. Diese sind jedoch für den Einsatz in Signalverarbeitungsalgorithmen, speziell Audio- Anwendungen, weniger geeignet.
Im Vergleich zu Verfahren zur Fractional-Delay- Interpolation, die auf einer direkten Berechnung der Filterkoeffizienten beruhen, ermöglicht die starke Verringerung der Filterordnung des variablen Teils eine signifikante Reduktion des Berechnungsaufwandes.
Der besondere Vorteil des vorgestellten Verfahrens für die Anwendung in der Wellenfeldsynthese besteht darin, dass die Überabtastungs-Operation nur einmal für jedes Eingangssignal durchgeführt werden muss, während das Ergebnis dieser Operation für alle von dieser Renderer-Einheit berechneten Lautsprechersignale verwendet werden kann. Damit kann entsprechend höherer Berechnungsaufwand auf die Überabtastung gelegt werden, speziell um die Fehler über den kom- pletten Audio-Wiedergabebereich gering zu halten. Die variable Fractional-Delay-Filterung, die für jedes Ausgangssignal separat durchgeführt werden muss, kann durch die geringere notwendige Filterordnung sehr viel effizien- ter durchgeführt werden. Zum anderen wird einer der entscheidenden Nachteile von FD-Filtern mit explizit berechneten Koeffizienten (d. h. vor allem Lagrange-FD-Filter) , ihr schlechtes Verhalten bei hohen Frequenzen, dadurch kompensiert, dass sie nur in einem viel geringeren Frequenzbe- reich operieren müssen.
In einem WFS-Wiedergabesystem wird erfindungsgemäß der vorgeschlagene Algorithmus wie folgt umgesetzt:
• Die in Form diskreter Audiodaten vorliegenden Quellsignale werden mit einem festen, ganzzahligen Faktor L überabgetastet. Dies erfolgt durch Einfügen von L - I Nullsamples zwischen jeweils zwei Eingangssignalen und anschließender Tiefpassfilterung mit einem Anti- Imaging-Filter, um Replikationen des Eingangsspektrums im überabgetasteten Signal zu vermeiden. Diese Operation wird effizient mit Hilfe von Polyphasen-Techniken realisiert.
• Die überabgetasteten Werte werden in eine Verzögerungsleitung 216 (Delay Line) geschrieben, die in der Regel als Ringpuffer implementiert ist. Es ist zu beachten, dass die Kapazität der Verzögerungsleitung 216 gegenüber herkömmlichen Algorithmen um den Faktor L zu vergrößern ist. Hier zeigt sich ein Trade-Off zwischen Speicher- und Berechnungskomplexität, der für den hier entworfenen Algorithmus gewählt werden muss.
• Zum Auslesen der Delay Line ist der gewünschte Wert der Verzögerung mit der Überabtastrate L zu multiplizieren. Durch Abspalten des nichtganzzahligen Anteils wird ein ganzzahliger Index dint sowie ein fraktionaler Teil dfrac gewonnen. Falls der optimale Arbeitbereich des variablen FD-Filters von 0 ≤ dfrac ≤ 1 abweicht, ist diese Operation anzupassen, so dass z.B. für die Lagrange-Interpolation (N-I) /2 ≤ dfrac ≤ (N+l)/2 gilt. Der ganzzahlige Anteil wird als Index zum Zugriff auf die Verzögerungsleitung verwendet, um die Stützstellen der Interpolation zu gewinnen. Aus dfrac werden die Koeffizienten des Lagrange-Interpolationsfilters bestimmt. Die interpolierten Ausgangssignale ergeben sich durch Faltung der Stützstellen mit den berechne- ten t'iiter-Koeffizienten. Diese Operation wird für jedes Lautsprechersignal wiederholt.
Fig. 7 zeigt eine konkrete Darstellung einer Delay- Interpolation mittels Überabtastung gemäß einem ersten Ausführungsbeispiel der vorliegenden Erfindung, wobei eine simultane Auslesung mittels Lagrange-Interpolation erfolgt. Die diskreten Audio-Signaldaten xs (von der Audio-Quelle 215) werden bei diesem Ausführungsbeispiel mittels einer Überabtastung in der Abtasteinrichtung 236 überabgetastet und anschließend in der Verzögerungsleitung 216 entsprechend der zeitlichen Reihenfolge abgelegt. Damit ergeben sich in jedem Speicher der Verzögerungsleitung 216 ein Abtastwert der einem vorbestimmten Zeitpunkt tm (siehe Fig. 6a) ergibt. Die entsprechenden überabgetasteten Werte in der Verzögerungsleitung 216 können dann durch die WFS- Verzögerungs- und Skalierungseinrichtung 212 ausgelesen werden, wobei der Zeiger 217 den Abtastwert entsprechend des Verzögerungswertes ausliest. Das bedeutet, dass ein Zeiger 217, der in der Fig. 7 weiter nach links zeigt, aktuelleren Daten, d.h. mit einer geringeren Verzögerung, entspricht und der Zeiger 217, der in der Fig. 7 weiter nach rechts zeigt, Audiodaten bzw. Abtastwerten mit einem älteren Zeitrang (d.h. einer größeren Verzögerung) entspricht. Entsprechend dem Index in der Verzögerungsleitung 216 werden jedoch nur die ganzzahligen Anteile der Delay- Werte erfasst und die entsprechende Interpolation zu den fraktionalen (rationalen) Anteilen erfolgt in den fractio- nalen Delay-Filtern 222. Die Ausgänge der fractionalen Delay-Filter 222 geben die Komponentensignal 115 aus. Die Komponentensignale 115 (yi) werden dann anschließend für verschiedene virtuelle Quellen xs summiert und an die entsprechenden Lautsprecher ausgegeben (Lautsprechersigna- Ie) .
Der Entwurf der Filter kann statisch außerhalb der Laufzeit der Applikation erfolgen. Damit spielen Effizienzforderungen für den Filterentwurf keine Rolle, es können leistungs- fähige Werkzeuge und Optimierungsverfahren verwendet werden.
Der optimale Antiimaging-Filter (auch Prototyp-Filter, da es der Prototyp für die zur Polyphasen-Realisierung verwen- deten Subfilter ist) ist ein idealer Tiefpass mit der diskreten Cutoff-Frequenz fc = — , dabei entspricht π der
L
Sampling-Frequenz des überabgetasteten Signals.
Zum Entwurf realisierbarer Tiefpassfilter ist es sinnvoll, zusätzliche Freiheitsgrade zu spezifizieren. Dies erfolgt vor allem durch die Definition von Übergangsbändern (englisch transition bands oder don ' t care bands], in denen keine Spezifikationen über den Frequenzgang gemacht werden. Diese Übergangsbänder werden anhand des oben festgelegten Audio-Frequenzbandes definiert. Die Breite des Übergangsbandes ist maßgeblich für die zum Erreichen einer gewünschten Sperrdämpfung notwendige Filterlänge. Es ergibt sich ein Übergangsbereich im Bereich 2fc < f < 2(fs - fc) . Dabei ist fc die gewünschte obere Grenzfrequenz und fs die Sampling-Frequenz des nicht überabgetasteten Signals.
Fig. 8 zeigt eine Spezifikation des Frequenzganges eines Anti-Imaging-Filters für eine Überabtastung, wobei das Übergangsband 310 nur für ein Base-Band spezifiziert ist.
Fig. 9 zeigt eine Spezifikation eines Anti-Imaging-Filters für eine Überabtastung, wobei sogenannte don't-care- Regionen auch für Images 310a, 310b, 310c des Übergangsbandes 310 ermittelt sind. Die zusätzlichen don' t-care-Bänder können an den Spiegelungen (images) des ursprünglichen Übergangsbereiches 310 definiert werden.
Da die Überabtastung jedoch nur als erste Stufe einer asynchronen Abtastratenumsetzung dient, und diese Umsetzung mit einer Verschiebung von Frequenzinhalten einhergeht, ist die Verwendung multipler Transistionsbändern hier kritisch zu prüfen, um das Verschieben von Imaging- bzw. Aliasing- Komponenten in den hörbaren Frequenzbereich zu vermeiden.
Der Antiimaging-Filter wird fast ausschließlich als Ii- nearphasiger Filter entworfen. Phasenfehler sollten an diese Stelle unbedingt vermieden werden, da das Ziel der Delay-Interpolation darin besteht, die Phase des Eingangssignals zielgerichtet zu beeinflussen. Bei einer Realisierung als Polyphasen-System gilt die Linearphasigkeit jedoch nicht für die Subfilter, so dass die entsprechenden Komple- xitätseinsparungen nicht ausgenutzt werden können.
Zum Entwurf des Prototyp-Filters können bekannte Verfahren zum Filterentwurf verwendet werden. Von besonderer Bedeutung sind dabei Least-Squares-Verfahren (in Matlab: firls) und sowie Equiripple-Verfahren (auch als Minimax- oder Chebyshev-Optimierung bezeichnet, Matlab-Funktion: firpm) . Bei der Anwendung von firpm ist zu beachten, dass bei größeren Filterlängen (Npp > 256) oftmals keine Konvergenz eintritt. Dies ist jedoch durch die Numerik des verwendeten Werkzeuges (hier: Matlab) bedingt und könnte durch eine entsprechende Implementierung aufgehoben werden.
Da das überabgetastete Signal durch das Einfügen von jeweils L - I Nullsamples entsteht, erfolgt eine Verstärkung um den Faktor L, damit die ursprüngliche Signalamplitude erhalten bleibt. Dies ist durch eine Multiplikation der Filterkoeffizienten mit diesem Faktor ohne zusätzlichen Berechnungsaufwand möglich. Im Gegensatz zu direkten Verfahren zur Delay-Interpolation wie z. B. der Lagrange-Interpolation weist der kombinierte
Algorithmus verschiedene, voneinander abhängige gute- und komplexitätsbestimmende Parameter auf. Dies sind vor allem:
(a) Filterlänge des Prototypfilters Npp. Dieser bestimmt die Güte der Antiimaging-Filterung und hat gleichzeitig Einfluss auf die Performance. Da die Filterung jedoch nur einmal für jedes Ξingang≤signai verwendet wird, ist der Einfluss auf die Performance relativ gering. Die Länge des Prototypfilters bestimmt auch die durch die Delay- Interpolation bedingte Systemlatenz maßgeblich.
(b) Überabtastverhältnis L. L bestimmt die notwendige Kapazität (Speicherbedarf) der Verzögerungsleitung 216. Über die Cache-Lokalität wirkt sich dies bei modernen Architekturen auch auf die Performance aus. Zusätzlich wird mit steigendem L auch die zum Erzielen einer gewünschten Filtergüte notwendige Filterlänge beeinflusst, da L PoIy- phasen-Subfilter benötigt werden und die Übergangsbandbreiten mit steigendem L sinken.
(c) Wiedergabe-Frequenzbereich. Der Wiedergabe- Frequenzbereich bedingt die Breite des Übergangsbereichs der Filter und hat damit Einfluss auf die zum Erzielen einer gewünschten Filtergüte notwendige Filterlänge.
(d) Interpolationsordnung N. Den weitestgehenden Einfluss auf die Performance und Qualität hat die Ordnung des variablen Fractional-Delay-Interpolators, der in der Regel als Lagrange-Interpolator implementiert wird. Dessen Ordnung bestimmt den Berechnungsaufwand zur Gewinnung der Filterkoeffizienten sowie der Faltung selbst. N bestimmt auch die Zahl der zur Faltung benötigten Werte aus der Verzögerungsleitung 216 und gibt damit auch die notwendige Speicherbandbreite vor. Da die variable Interpolation für jede Kombination aus Eingangssignal und Ausgangssignal benötigt wird, hat die Wahl von N den größten Einfluss auf die Performance.
Aus diesen Parameter ist ein unter Güte- und Performanceas- pekten für den jeweiligen Einsatzzweck optimale Kombination zu finden. Dazu ist das Zusammenwirken der verschiedenen Stufen des Algorithmus zu analysieren und durch Simulationen zu überprüfen.
Folgende? Überlegungen sollten berücksichtigt werden:
• Die Überabtastrate L sollte moderat gewählt werden, ein Verhältnis zwischen 2 und 8 sollte nicht überschritten werden.
• Die variable Interpolation sollte geringe Ordnung (anvisiert: maximal 3) nicht übersteigen. Gleichzeitig sind ungerade Interpolationsordnungen zu verwenden, da gerade Ordnungen, analog zum Verhalten der reinen Lagrange-Interpolation, deutlich höhere Fehler aufweisen.
Zur Analyse des Filters kann neben Simulationen mit realen Eingangssignalen auch eine Analyse des äquivalenten stati- sehen Filters erfolgen. Dazu werden für ein festes fraktio- nales Delay die Filterkoeffizienten der an der Lagrange- Interpolation beteiligten Prototyp-Filter bestimmt, mit den entsprechenden Lagrange-Gewichten multipliziert und nach Anwendung der notwendigen Indexverschiebungen summiert. Somit kann der Algorithmus mit den in Abschnitt 4 beschriebenen Kriterien (Frequenzgang, Phasenverzögerung, kontinuierliche Impulsantwort) analysiert werden, ohne dass die Besonderheiten der Multiraten-Verarbeitung zu beachten sind.
Ein Algorithmus zur Bestimmung des äquivalenten statischen FD-Filters ist daher zu implementieren. Problematisch dabei ist nur die Festlegung der Filterlänge, um für alle Werte von d vergleichbare Werte zu erhalten, da die äquivalenten Filter in Abhängigkeit von d auf verschiedene Samples des Eingangsignals zugreifen.
Die statische durch das Interpolationsfilter bedingte Verzögerung ist sowohl von der Ordnung der Überabtastung L, der Phasenverzögerung des Polyphasen-Prototypfilters sowie der Interpolationsordnung abhängig. Falls der Prototyp- Filter linearphasig ist ergibt sich folgende Systemverzöge-
N „ + N uSystem ~ * * J '
Der vorgestellte Algorithmus stellt einen praktikablen und relativ einfach zu realisierenden Ansatz zur Verbesserung der Delay-Interpolation dar. Der Performance-Mehrbedarf im Vergleich zu einem Verfahren zur Delay-Interpolation mit direkter Berechnung der Koeffizienten ist sehr gering. Dem steht eine deutliche Verringerung der Wiedergabefehler speziell bei höheren Frequenzen entgegen. Im Gegensatz zu den direkten Verfahren wie der Lagrange-Interpolation ist es möglich, eine über den ganzen Audio-Wiedergabebereich von wahrnehmbaren Artefakten freie Wiedergabe mit vertretbarem Aufwand zu realisieren. Entscheidend für die Perfor- mance des Verfahrens ist die effiziente Gewinnung der ganzzahligen und fraktionalen Delay-Parameter, die Berechnung der Lagrange-Koeffizienten sowie die Ausführung der Filterung.
Die für die Bestimmung der leistungsbestimmenden Parameter eingesetzten Entwurfswerkzeuge sind recht einfach gehalten: L, NPp und N können aufgrund externer Beschränkungen oder durch Versuche bestimmt werden. Der Filterentwurf des Prototypfilters erfolgt mit Standard-Verfahren für Tief- passfilter, evtl. unter Ausnutzung zusätzlicher don't-care- Regionen. Als nächstes soll das Verfahren 2 (Verwendung einer Farrow- Struktur zur Interpolation) , die eine alternative erfindungsgemäße Vorgehensweise darstellt, näher beschrieben werden.
Die Farrow-Struktur ist eine variable Filterstruktur zur Implementierung eines variablen Fractional Delays. Es handelt sich um eine auf einem FIR-Filter basierende Struk- tur, deren Verhalten über einen zusätzlichen Parameter gesteuert werden kann. Für die Farrow-Struktur wird der fraktionale Teil des Delays als Parameter verwendet, um eine steuerbare Verzögerung abzubilden. Die Farrow-Struktur ist, obwohl unabhängig davon entwickelt, eine Ausprägung eines variablen digitalen Filters.
Die variable Charakteristik wird erzielt, indem die Koeffizienten des FIR-Filters durch Polynome gebildet werden.
wobei d der steuerbare Parameter ist. Die Transferfunktion des Filters bestimmt sich damit zu:
N
H(z, d) - y c^d' n=0 m=0 (5)
Für eine effiziente Implementierung wird diese Transferfunktion oftmals wie folgt realisiert:
H(z,d) = ∑dm∑cnraz-n m=o n=o (6)
= ∑d"C,(z) m=0 (7) Der Ausgang der Farrow-Struktur lässt sich damit als Polynom in d realisieren, wobei die Koeffizienten des Polynoms die Ausgänge von M festen Subfiltern Cm(z) in FIR-Struktur sind. Die Polynomevaluation ist effizient durch die Anwen- düng des Horner-Schemas realisierbar.
Die Ausgangssignale der fixen Subfilter Cm(z) sind unabhängig von einem konkreten gebrochen rationalen Delay d. Damit bieten sich diese Werte entsprechend dem oben eingeführten Schema zur Ausnutzung redundanter Berechnungen als Zwischenergebnisse an, die zur Evaluation der Ausgangssignale für alle sekundären Quellen verwendet werden können.
Der darauf aufbauende erfindungsgemäße Algorithmus ist wie folgt strukturiert:
• Jedes Eingangssignal wird parallel mit M Subfiltern gefaltet .
• Die Ausgangswerte der Subfilter werden (jeweils für einen Abtastzeitpunkt zusammengefasst) in eine Verzögerungsleitung 216 geschrieben.
• Zur Bestimmung der verzögerten Ausgangssignale wird der ganzzahlige Anteil des Delays bestimmt und daraus der Index der gewünschten Daten in der Verzögerungsleitung 216 bestimmt.
• Die Subfilter-Ausgänge an dieser Position werden ausgelesen und als Koeffizienten einer Polynominterpolation in d, dem gebrochen rationalen Delay-Anteil, verwendet .
• Das Ergebnis der Polynominterpolation ist der ge- wünschte verzögerte Eingangswert. Die letzten drei
Schritte werden für jedes Ausgangssignal wiederholt. Fig. 10 zeigt schematisch diesen Algorithmus, der auch wie folgt zusammengefasst werden kann. Ein simultanes Auslesen erfolgt auf Basis einer Farrow-Struktur, wobei die Daten eines Audiosignals xs in eine Verzögerungsleitung 216 eingegeben werden. Bei diesem Ausführungsbeispiel werden jedoch nicht die Audiodaten selbst eingegeben, sondern stattdessen die Koeffizienten cp als Ausgangswerte 239 der Farrow-Struktur (Subfilter 237) berechnet und in der Verzögerungsleitung 216 entsprechend ihrer zeitlichen Abfolge gespeichert - im Gegensatz zu dem zuvor gezeigten Ausführungsbeispiel (s. Fig. 7). Wie zuvor auch erfolgt der Zugriff auf die Verzögerungsleitung 216 durch einen Zeiger 217, dessen Stellung wiederum entsprechend des ganzzahligen Anteils der Verzögerung d gewählt ist. Durch ein Auslesen der entsprechenden Ci-Koeffizienten der Farrow-Struktur kann daraus mittels Potenzreihe in dem Verzögerungswert bzw. des fractionalen (nicht-ganzzahligen) Anteils des Verzögerungswertes (in einer Einrichtung zur Polynominterpolation 250) das entsprechende (verzögerte) Lautsprecher- signal V1 berechnet werden.
Die Anwendung der Farrow-Struktur ist nicht an bestimmte Entwurfsverfahren für die Bestimmung der Koeffizienten c^ gebunden. Beispielsweise kann eine Minimierung des Fehler- integrals
erfolgen. Dies entspricht einem Least-Squares- Optimierungsproblem.
Verschiedene Verfahren auf Basis von Least-Squares- bzw. Weighted-Least-Squares-Kriterien sind möglich. Diese Verfahren zielen darauf ab, den mittleren quadratischen Fehler des Verfahrens über den gewünschten Frequenzbereich und den Definitionsbereiches des Steuerparameters d zu minimieren. Bei dem Weighted-Least-Squares-Verfahren (WLS) wird zusätzlich eine Gewichtsfunktion definiert, die eine Gewichtung des Fehlers im Integrationsgebiet ermöglicht. Auf Basis von WLS können iterative Verfahren entworfen werden, mit denen gezielt Einfluss auf den Fehler in bestimmten Regionen der Integrationsfläche genommen werden kann, um z. B. den maximalen Fehler zu minimieren. Die meisten WLS-Verfahren weisen eine schlechte numerische Konditionierung auf. Dies ist nicht auf ungeeignete Verfahren zurückzuführen, sondern resultiert aus der Verwendung von Übergangsbändern (don't- care-Regionen) beim Filterentwurf. Mit diesen Verfahren können daher nur Farrow-Strukturen vergleichsweise geringer Subfilterlänge N und Polynomordnung M entworfen werden, da sonst numerische Instabilitäten die Genauigkeit der Parame- ter begrenzen oder eine Konvergenz des Verfahrens verhindern.
Eine andere Klasse von Entwurfsverfahren zielt auf die Minimierung des maximalen Fehlers im Arbeitsbereich des variablen Fractional-Delay-Filters ab. Als Arbeitsbereich wird die Fläche definiert, die vom gewünschten Frequenzbereich und dem erlaubten Bereich für den Steuerparameter d aufgespannt wird. Diese Art der Optimierung wird meist als Minimax- oder Chebyshev-Optimierung bezeichnet.
Für herkömmliche linearphasige FIR-Filter ohne Steuerparameter existieren effiziente Algorithmen zur Chebyshev- Approximation, z. B. der Remez-Austausch-Algorithmus (remez exchange algorithm) oder der darauf basierende Parks- McClellan-Algorithmus. Dieser Algorithmus kann für beliebige komplexe Frequenzgänge, damit auch für die von Fractio- nal-Delay-Filtern geforderten Phasengänge, erweitert werden .
Chebyshev- bzw. Minimax-Optimierungsprobleme können im allgemeinen Fall durch Verfahren der linearen Optimierung gelöst werden. Diese Verfahren sind um Größenordnungen aufwändiger als die auf dem Remez-Austausch-Algorithmus beruhenden. Jedoch erlauben sie eine direkte Formulierung und Lösung des Entwurfsproblems für die Subfilter der Farrow-Struktur. Zusätzlich erlauben diese Verfahren die Formulierung zusätzlicher Nebenbedingungen in Form von Gleichheits- oder Ungleichheitsbedingungen. Dies wird als ein sehr wichtiges Feature für den Entwurf asynchroner Abtastratenumsetzer angesehen.
Ein Verfahren zum Minimax-Entwurf für Farrow-Strukturen beruht auf Algorithmen zur beschränkten Optimierung (Optimierungsverfahren, die die Angabe von Nebenbedingungen ermöglichen, werden als beschränkte Optimierung (constrai- ned optimization) bezeichnet) . Ein besonderes Feature dieser Entwurfsverfahren für Farrow-Strukturen ist, dass getrennte Spezifikationen für Amplituden- und Phasenfehler vorgegeben werden können. So kann beispielsweise der maximale Phasenfehler unter Vorgabe eines erlaubten maximalen Amplitudenfehlers minimiert werden. Zusammen mit genauen Toleranzspezifikationen für Amplituden- und Phasenfehler, die sich beispielsweise aus der Wahrnehmung entsprechender Fehler ergeben, stellt dies ein sehr mächtiges Werkzeug zur applikationsspezifischen Optimierung der Filterstrukturen dar.
Eine Weiterentwicklung der Farrow-Struktur stellt die vorgeschlagene modifizierte Farrow-Struktur dar. Durch
Einführung eines symmetrischen Definitionsbereiches für den
Steuerparameter d, in der Regel _∑< d <i, kann sicherge-
2 ~ 2 stellt werden, dass die Subfilter eines optimalen Farrow- Filters linearphasig sind. Sie weisen, für gerade und ungerade m, alternierend symmetrische und antisymmetrische Koeffizienten auf, so dass sich die Zahl der zu bestimmenden Koeffizienten halbiert. Neben einer dadurch verringerten Komplexität des Filterentwurfs und einer damit einher- gehenden verbesserten numerischen Konditionierung des Optimierungsproblems ermöglicht die linearphasige Struktur der Cm(z) auch den Einsatz effizienterer Algorithmen zur Berechnung der Subfilter-Ausgänge .
Zusätzlich sind verschiedene andere Verfahren zum Entwurf der Farrow-Struktur möglich. Ein Verfahren basiert auf eine Singulärwertzerlegung und darauf aufbauend wurden auch effiziente Strukturen zur Umsetzung entwickelt. Dieses Verfahren bietet eine im Vergleich zu WLS-Verfahren höhere Genauigkeit des Filterentwurfs bei verringerter Filterkom- plexität, bietet jedoch keine Möglichkeiten zur Spezifikation von Nebenbedingungen oder zur gezielten Beeinflussung von Amplituden- oder Phasenfehlerschranken.
Ein weiteres Verfahren basiert auf Eigenfiltern. Da dieser Ansatz bisher in der Literatur nicht weiterverfolgt wird, können ohne eine eigene Implementierung und Evaluation noch keine Aussagen über die Leistungsfähigkeit getroffen werden, allerdings sollte es ähnlich den SVD-Verfahren sein.
Primäres Ziel des Filterentwurfs ist eine Minimierung der Abweichung vom idealen fraktionalen Delay. Dabei kann entweder der maximale Fehler oder der (gewichtete) mittlere Fehler minimiert werden. In Abhängigkeit vom angewendeten Verfahren kann entweder der komplexe Fehler oder Phasen- und Amplitudengang getrennt spezifiziert werden.
Ein wichtiger Faktor bei der Aufstellung der Optimierungsbedingungen ist die Wahl des interessierenden Frequenzbereiches .
Die Form der zugehörigen kontinuierlichen Impulsantwort (siehe oben) hat einen großen Einfluss auf die Güte und die wahrnehmbare Qualität der asynchronen Abtastratenumsetzung. Daher ist die Verwendung von Nebenbedingungen, die sich direkt auf die kontinuierliche Impulsantwort beziehen, zu untersuchen. So können beispielsweise Stetigkeitsforderungen spezifiziert werden. Eine in vielen Anwendungen der Delay-Interpolation aufgestellte Forderung ist die Einhaltung der Interpolations- Bedingung. Diese fordert, dass die Interpolation an den diskreten Stützstellen exakt ist, d. h. den Wert der Sam- ples annimmt. In Entwurfsverfahren, die die Definition von Nebenbedingungen in Form von Gleichheitsbedingungen erlauben, kann diese Forderung direkt formuliert werden. Farrow- Implementierungen von Lagrange-Interpolatoren erfüllen diese Forderung aufgrund der Definition der Lagrange- Interpolation, Der Nutzen der Interpolationsbedingung für die asynchrone Samplingratenkonversion im generellen und in Kontext der WFS im speziellen wird als eher gering eingestuft. Wichtiger als eine exakte Interpolation an bestimmten Stützstellen ist ein generell geringer Fehler, eine geringe maximale Abweichung bzw. ein möglichst gleichmäßiger Fehlerverlauf.
Mit der Farrow-Struktur steht eine sehr leistungsfähige Filterstruktur zur Delay-Interpolation zur Verfügung. Für die Anwendung in der Wellenfeldsynthese lässt sich eine effiziente Partitionierung des Algorithmus in eine Vorverarbeitung pro Quellsignal sowie eine mit geringer Komplexität ausführbare Auswertungsoperation, die für jedes Ausgangssignal vorgenommen werden wird, implementieren.
Für die Koeffizienten der Farrow-Struktur existieren viele verschiedene Entwurfsverfahren, die sich in Berechnungskomplexität und der erzielbaren Güte unterscheiden. Daneben können in vielen Verfahren auch zusätzliche Constraints, die sich direkt oder indirekt auf die Charakteristik des gewünschten Filters beziehen, definiert werden. Durch diese Entwurfsfreiheiten entsteht ein größerer Forschungsaufwand für die Evaluation verschiedener Verfahren und Nebenbedingungen, bevor optimale Parametrisierungen gefunden werden. Jedoch kann das gewünschte Verhalten sehr genau an die Spezifikation angepasst werden. Dies ermöglicht sehr wahrscheinlich eine Verringerung der Filterkomplexität bei gleichen Qualitätsforderungen. Der auf der Farrow-Struktur basierende Algorithmus für die WFS kann effizient implementiert werden. Zum einen können bei der Vorfilterung Reduktionen der Komplexität, die sich aus dem linearphasigen Subfilter der modifizierten Farrow- Struktur ergeben, ausgenutzt werden. Zum anderen ist die Auswertung der vorberechneten Koeffizienten als Polynomevaluation durch das Horner-Schema äußerst effizient möglich.
Ein großer Vorteil dieser Filterstruktur liegt auch im Vorhandensein geschlossener Design-Verfahren, die einen zielgerichteten Entwurf ermöglichen.
Weitere Möglichkeiten für Implementierungen und Optimierun- gen können wie folgt zusammengefasst werden.
Ausführungsbeispiele befassen sich vorrangig mit der Entwicklung neuartiger Algorithmen für die Delay-Interpolation zur Anwendung in der Wellenfeldsynthese . Obwohl diese Algorithmen generell unabhängig von einer konkreten Implementierung und Zielplattform sind, können die Implementierungsaspekte an dieser Stelle nicht übergangen werden. Dies liegt darin begründet, dass die hier beschriebenen Algorithmen den mit Abstand größten Anteil an der Gesamtperfor- mance eines WFS-Reproduktionssystems haben. Daher werden neben der algorithmischen Komplexität (z. B. die asymptotische Komplexität oder die Zahl der Operationen) unter anderem folgende Implementierungsaspekte einbezogen:
(i) Parallelisierbarkeit . Dabei wird vor allem die Paralle- lisierbarkeit auf Instruktionsebene betrachtet, da die meisten modernen Prozessoren SIMD-Instruktionen anbieten.
(ii) Abhängigkeiten von Instruktionen. Starke und lange Abhängigkeitsverhältnisse zwischen Teilergebnissen des Algorithmus erschweren die Kompilation effizienten Codes und setzen die Effizienz moderner Prozessoren herab. (iii) Konditionaler Code. Fallunterscheidungen setzen die Effizienz der Ausführung herab und sind darüber hinaus problematisch zu warten und zu testen.
(iv) Code- und Daten-Lokalität. Da die Delay-Interpolation in der innersten Schleife des WFS- Signalverarbeitungsalgorith-mus stattfindet, ist kompakter Code von relativ großer Bedeutung. Des Weiteren beeinflusst auch die Zahl von Cache-Misses für Datenzugriffe die Per- formance.
(v) Speicher-Bandbreite und -Zugriffspattern. Die Zahl der
Speicherzugriffe, ihre Verteilung und Ausrichtung (A- lignment) können oftmals signifikanten Einfluss auf die Performance haben.
Da für die Rendering-Einheit des Wiedergabesystems in näherer und mittlerer Zukunft Standard-PC-Komponenten zum Einsatz kommen, werden aktuelle PC-Plattformen als Basis für die Implementierung verwendet. Es wird jedoch vermutet, dass die dabei gewonnenen Erkenntnisse aufgrund der meist ähnlichen zugrunde liegenden Konzepte auch für andere Systemarchitekturen von Bedeutung sind.
Die oben eingeführte Vorfilterung wird effizient als Polyphasen-Operation durchgeführt. Dabei werden die Eingangsdaten simultan mit L verschiedenen Subfiltern gefaltet, deren Ausgänge mittels Multiplexing zum aufwärtsgetasteten Ausgangssignal kombiniert werden. Die Filterung kann durch lineare Faltung oder durch schnelle Faltung auf Basis der FFT erfolgen. Bei einer Implementierung mittels FFT muss die Fourier-Transformation der Eingangsdaten nur einmal erfolgen und kann dann mehrfach für die simultane Faltung mit den Subfiltern verwendet werden. Jedoch ist für die verwendeten, relativ kurzen Subfilter-Längen abzuwägen, ob eine Faltung mittels Fourier-Transformation Vorteile gegenüber einer direkten Implementierung bringt. So weist z. B. ein mittels Parks-McLellan-Algorithmus entworfener Tief- passfilter (Matlab-Funktion firpm) der Länge 192 eine Sperrdämpfung von über 150 dB auf. Dies entspricht einer Subfilterlänge von 48, längere Filter lassen sich nicht mehr numerisch stabil entwerfen. In jedem Fall müssen die Ergebnisse der Subfilter-Operationen verschachtelt in den Ausgangsdatenstrom eingefügt werden. Eine Möglichkeit zur effizienten Implementierung einer solchen Filter-Operation besteht in der Verwendung von Bibliotheksfunktionen zur Polyphasen- bzw. Multiraten-Filterung, z. B. aus der Intel IPP-Library.
Auch die Vorverarbeitung des Algorithmus auf Basis der Farrow-Struktur kann effizient mittels einer solchen Bibliotheksfunktion zur Multiratenverarbeitung erfolgen. Dabei müssen die Subfilter durch Schachtelung (Interleaving) zu einem Prototypfilter kombiniert werden, die Ausgangswerte der Funktion stellen die verschachtelten Ausgangswerte dar. Jedoch kann auch die Linearphasigkeit der entsprechend der modifizierten Farrow-Struktur entworfenen Subfilter ausge- nutzt werden, um die Zahl der Operationen für die Filterung zu reduzieren. Hier ist jedoch sehr wahrscheinlich eine eigene Implementierung notwendig.
Es wurde nachgewiesen, dass die zeitliche Diskretisierung des Delay-Parameters entscheidenden Einfluss auf die erreichbare Güte eines FD-Algorithmus zur asynchronen Delay- Interpolation hat. Daher arbeiten alle entworfenen Algorithmen einen pro Abtastwert berechneten Wert des Delay- Parameters (im Folgenden als sample-genau bezeichnet) . Diese Werte werden mittels linearer Interpolation zwischen zwei Stützstellen berechnet. Es wird vermutet und von informellen Hörtests unterstützt, dass diese Interpolationsordnung hinreichend genau ist.
Fractional-Delay-Algorithmen erfordern die Aufteilung der gewünschten Verzögerung in einen ganzzahligen und einen gebrochen rationalen Anteil. Für die modifizierte Farrow- Struktur ist der Bereich [0...I) nicht zwingend, sondern der Bereich kann beispielsweise als [-^.. -^) oder [ (N- 1) /2... (N+l) /2) bei der Lagrange-Interpolation gewählt sein. Dies ändert jedoch nichts an der grundlegenden Operation. Bei sample-genauer Parameterinterpolation ist diese Operation für jede elementare Delay-Interpolation durchzuführen und hat daher bedeutenden Einfluss auf die Performance. Daher ist eine effiziente Implementierung von großer Bedeutung.
Die Aυdiosignalverarbeitung der WFS besteht aus einer Verzögerungsoperation und einer Skalierung der verzögerten Werte für jedes Audio-Sample und jede Kombination von Quellsignal und Lautsprecher. Zur effizienten Implementierung werden diese Operationen zusammen ausgeführt. Falls diese Operationen getrennt ausgeführt werden, ist mit einer signifikanten Reduktion der Performance infolge des Aufwandes zur Parameter-Übergabe, zusätzlichem Kontrollfluss und verschlechterter Code- und Datenlokalität zu rechnen.
Daher ist es notwendig, die Generierung der Skalierungsfaktoren (dies erfolgt in der Regel durch lineare Interpolation zwischen Stützstellen) und die Skalierung der interpolierten Werte in die Implementierung der WFS-Faltung zu integrieren.
Nach Implementierung der Verfahren sind diese mittels Messungen und subjektiver Einschätzungen zu bewerten.
Daneben ist auch abzuschätzen, ab welcher Qualität kein weiterer Qualitätsgewinn mehr erzielt werden kann, da die Verbesserungen durch andere Fehlerquellen des WFS- Gesamtsystems verdeckt werden. Die erzielte objektive und subjektive Qualität ist den dafür benötigten Ressourcen gegenüberzustellen.
In einer Schlussbetrachtung kann das vorliegende Konzept der Signalverarbeitung in einem Wellenfeldsynthese- Wiedergabesystem auch wie folgt beschrieben werden. Es hat sich gezeigt, dass die Delay-Interpolation, d. h. die Verzögerung der Eingangswerte um beliebige Delay-Werte, sowohl bezüglich der Wiedergabequalität als auch hinsicht- lieh der Performance des Gesamtsystems einen entscheidenden Einfluss hat.
Aufgrund der sehr hohen Zahl notwendiger Delay- Interpolations-Operationen und dem vergleichsweise hohen Komplexität dieser Operationen ist die Anwendung bekannter Algorithmen zur Fractional-Delay-Interpolation nicht mit ökonomisch vertretbarem Aufwand an Ressourcen realisierbar.
Daher ist zum einen eine tiefgehende Analyse der Algorith- men sowie der für eine gute subjektive Wahrnehmung notwendigen Eigenschaften dieser Filter notwendig, um eine hinreichende Qualität bei minimalem Aufwand zu gewährleisten. Zum anderen ist die Gesamtstruktur der WFS-Algorithmik zu untersuchen, um darauf aufbauend Verfahren zu entwickeln, welche die Gesamtkomplexität des Verfahrens signifikant senken. Dabei wurde eine Verarbeitungsstruktur identifiziert, die durch eine Aufteilung des Delay- Interpolationsalgorithmus in eine Vorverarbeitungsstufe und den vielfachen Zugriff auf die vorverarbeiteten Daten eine deutliche Senkung des Berechnungsaufwandes ermöglicht. Auf Basis dieses Konzeptes wurden zwei Algorithmen entworfen:
1. Ein Verfahren auf Basis einer überabgetasteten Verzögerungsleitung 216 und dem vielfachen Zugriff auf die- se Werte durch Lagrange-Interpolatoren geringer Ordnung ermöglicht eine gegenüber einer reinen Lagrange- Interpolation geringer Ordnung deutlich erhöhte Wiedergabequalität bei gleichzeitig nur geringfügig erhöhtem Berechnungsaufwand. Dieses Verfahren ist ver- gleichsweise einfach zu parametrisieren und zu implementieren, bietet jedoch keine Möglichkeiten zur zielgerichteten Beeinflussung der Qualität der Interpolation und besitzt kein geschlossenes Entwurfsverfahren. 2. Ein weiterer Algorithmus basiert auf der Farrow- Struktur und bietet viele Entwurfsfreiheiten, beispielsweise die Anwendung einer Vielzahl von Optimie- rungsverfahren zum Entwurf der Filterkoeffizienten. Dem höheren Forschungs- und Implementierungsaufwand stehen Möglichkeiten zur gezielten Einflussnahme auf die Eigenschaften der Interpolation sowie Potential für eine effizientere Implementierung entgegen.
In der Umsetzung können beide Verfahren implementiert und unter Qualitäts- und Performance-Aspekten verglichen werden. Dabei sind Trade-Offs zwischen diesen Aspekten zu treffen. Der Einfluss der verbesserten Delay-Interpolation auf die Gesamt-Wiedergabegualität des WFS- Reproduktionssystems kann unter dem Einfluss der anderen bekannten Wiedergabefehler untersucht werden. Dabei ist festzulegen, bis zu welcher Interpolations-Qualität eine Verbesserung des Gesamtsystems erzielt werden kann.
Ein Ziel besteht darin, Verfahren zu entwerfen, die mit vertretbarem Aufwand eine Qualität der Delay-Interpolation erzielen, die auch ohne Verdeckungseffekte durch andere WFS-Artefakte keine wahrnehmbaren Störungen generieren. Damit wäre auch für zukünftige Verbesserungen des Wiedergabesystems sichergestellt, dass die Delay-Interpolation keinen negativen Einfluss auf die Qualität der WFS- Wiedergabe hat.
Im Folgenden werden einige Themen vorgestellt, die als Erweiterung der vorliegenden Arbeit möglich sind.
Bei der Implementierung eines WFS-Wiedergabesystems werden in den meisten Fällen Filteroperationen für die Ein- bzw. Ausgangssignale vorgesehen. Im WFS-System wird beispielsweise eine Vorfilter-Stufe (Prefilter) eingesetzt. Dies sind statische Filter, die auf jedes Eingangssignal angewendet werden, um den sich aus der Theorie der WFS- Operatoren ergebenden 3dB-Effekt sowie eine lautsprecherunabhängige Frequenzganganpassung an den Wiedergaberaum zu erzielen.
Es ist generell möglich, eine solche Filteroperation mit dem Überabtastungs-Antiimaging-Filter zu verbinden. Dabei wird der Prototypfilter einmal entworfen, zur Laufzeit des Systems ist nur noch eine Filteroperation zur Realisierung beider Funktionalitäten notwendig.
Genauso ist eine Kombination einer beliebigen statischen und quellunabhängigen Filteroperation mit den Farrow- Subfiltern realisierbar. Dabei ist sowohl die Multiplikation einer mit Standard-Methoden entworfenen Farrow- Filterbank als auch die direkte Anpassung der Filterbank an einen vorgegebenen Amplitudengang möglich.
Die Kombination der beiden Filter bietet außerdem die Möglichkeit, die durch (speziell linearphasige) Filter induzierte Phasenverzögerung des Systems zu reduzieren, wenn diese nur in einer Filterkomponente nötig ist.
Daher ist zu untersuchen, inwiefern eine Kombination der herkömmlichen WFS-Filter mit den für die hier vorgestellten Verfahren zur Delay-Operation notwendigen Filter- Operationen sinnvoll ist. Dabei sind speziell die notwendigen Rechenlasten für die separate und kombinierte Ausführung der Filterungs-Operationen gegenüberzustellen. Desweiteren sind die für zukünftige Weiterentwicklungen vorgese- henen Änderungen der WFS-Signalverarbeitung (z. B. quellpo- sitionsabhängige Vorfilterung, lautsprecherspezifische Filterung der Ausgangssignale) zu beachten.
Es wurde festgestellt, dass eine sample-genaue Interpolati- on des Delay-Parameters für eine hochqualitative Delay- Interpolation unverzichtbar ist. Der Scale-Parameter wurde mit der gleichen zeitlichen Auflösung interpoliert. Es ist zu untersuchen, welchen Einfluss auf den Wiedergabeeindruck eine gröbere Diskretisierung dieses Parameters hat. Allerdings ist anzumerken, dass eine entsprechende Vergrößerung der Schrittweite nur geringe Performancesteigerungen des Gesamtalgorithmus erwarten lässt.
Es wurde ferner die effiziente Signalverarbeitung zur Delay-Interpolation untersucht. Die damit implementierte Abtastratenkonversion simuliert den Dopplereffekt einer bewegten virtuellen Quelle. In vielen Anwendungen ist die Frequenzverschiebung durch die Dopplerspreizung jedoch unerwünscht. Es ist möglich, dass der Dopplereffekt durch die hier implementierten Verfahren zur qualitativ hochwertigen Delay-Interpolation deutlicher als bisher in Erscheinung tritt. Daher sollten in zukünftigen Forschungsvorhaben auch Algorithmen untersucht werden, um den Dopplereffekt bei einer Wiedergabe bewegter Quellen zu kompensieren oder in seiner Stärke zu steuern. Jedoch werden auch diese Verfahren auf unterster Ebene auf den hier vorgestellten Algorithmen zur Delay-Interpolation basieren.
Somit liefern Ausführungsbeispiele eine Implementierung eines qualitativ hochwertigen Verfahrens für eine Delay- Interpolation, wie es beispielsweise in Wellenfeldsynthese- wiedergabesystemen genutzt werden kann. Ausführungsbeispie- Ie bieten ferner Weiterentwicklungen der Algorithmik für Wellenfeldsynthese-Reproduktionssysteme. Dabei wird speziell auf Verfahren zur Delay-Interpolation eingegangen, da diese einen großen Einfluss auf die Wiedergabequalität bewegter Quellen besitzen. Aufgrund der Qualitätsan- forderungen und des äußerst hohen Einflusses dieser Algorithmen auf die Performance des gesamten Wiedergabesystems bedarf es neuartiger Signalverarbeitungsalgorithmen für die Wellenfeldsynthese . Wie oben detailliert erläutert ist es damit insbesondere möglich interpolierte Bruchteile mit einer höheren Genauigkeit zu berücksichtigen. Die höhere Genauigkeit zeigt sich dabei in einem deutlich verbesserten Höreindruck. Wie oben beschrieben sind aufgrund der erhöh- ten Genauigkeit Artefakte, die insbesondere bei bewegten Quellen auftreten, kaum zu hören.
Ausführungsbeispiele beschreiben insbesondere zwei effi- ziente Verfahren, welche diese Anforderungen erfüllen und die entwickelt, implementiert und analysiert worden sind.
Insbesondere wird darauf hingewiesen, dass abhängig von den Gegebenheiten das erfindungsgemäße Schema auch in Software implementiert sein kann. Die Implementierung kann auf einem digitalen Speichermedium, insbesondere einer Diskette oder einer CD mit elektronisch auslesbaren Steuersignalen erfolgen, die so mit einem programmierbaren Computersystem zusammenwirken können, dass das entsprechende Verfahren ausgeführt wird. Allgemein besteht die Erfindung somit auch in einem Computerprogrammprodukt mit auf einem maschinenlesbaren Träger gespeicherten Programmcode zur Durchführung des erfindungsgemäßen Verfahrens, wenn das Computerpro- grammprodukt auf einem Rechner abläuft. In anderen Worten ausgedrückt kann die Erfindung somit als ein Computerprogramm mit einem Programmcode zur Durchführung des Verfahrens realisiert werden, wenn das Computerprogramm auf einem Computer abläuft.

Claims

Patentansprüche
1. Vorrichtung zur Ermittlung eines Komponentensignals
(115) für ein WFS-System (200) mit einem Array von Lautsprechern, wobei das WFS-System (200) ausgebildet ist, um ein einer virtuellen Quelle zugeordnetes Audiosignal (125), das als ein mit einer Audioabtastfrequenz abgetastetes diskretes Signal vorliegt, sowie der virtuellen Quelle zugeordnete Quellenposition (135) zu nutzen, um unter Berücksichtigung von Lautsprecherpositionen (145) Komponentensignale (115) für die Lautsprecher aufgrund der virtuellen Quelle zu berechnen, mit folgenden Merkmalen:
einer Einrichtung zum Liefern von WFS-Parametern (150) für ein Komponentensignal (115) unter Verwendung der Quellenposition (135) und unter Verwendung der Lautsprecherpositionen (145) mit einer Parameterabtastfrequenz, die kleiner ist als die Audioabtastfrequenz;
einem WFS-Parameter-Interpolator (160) zum Interpolieren der WFS-Parameter (155) um interpolierte WFS- Parameter (165) zu erzeugen, die mit einer Parameter- Interpolationsfrequenz vorliegen, die größer ist als die Parameter-Abtastfrequenz, wobei die interpolierten WFS-Parameter (165) interpolierte Bruchteile aufweisen, die eine höhere Genauigkeit haben als durch die Audio-Abtastfrequenz vorgegeben ist; und
einer Audiosignalverarbeitungseinrichtung (170), die ausgebildet ist, um die interpolierten Bruchteilwerte auf das Audiosignal (125) anzuwenden derart, dass das Komponentensignal (115) mit der höheren Genauigkeit verarbeitet erhalten wird.
2. Vorrichtung nach Anspruch 1, bei der die WFS-Parameter
(165) Verzögerungswerte sind, bei der die interpolierten Bruchteilwerte Verzögerungswerte sind, die Verzö- gerungen darstellen, die Bruchteile von Abtastwertintervallen der Audiosignale (125) definieren, und
bei der die Audiosignalverarbeitungseinrichtung (170) ausgebildet ist, um das Komponentensignal (115) mit einer entsprechenden Bruchteilsverzögerung zu berechnen.
3. Vorrichtung nach einem der vorhergehenden Ansprüche, bei der die AudiosignalverarbeitungseinrichLung (170) ferner
eine Einrichtung zum Ändern des Audiosignals, um ein geändertes Audiosignal zu erhalten, aufweist;
eine Einrichtung zum Zwischenspeichern (216) des geänderten Audiosignals aufweist, wobei die Einrichtung zum Zwischenspeichern (216) ausgebildet ist, das geänderte Audiosignal indexweise zu speichern, so dass je- dem Index einem vorbestimmten Zeitwert des Audisignals (125) entspricht; und
eine Einrichtung zum Erzeugen (212) des Komponentensignals (115) aufweist, wobei die Einrichtung zum Er- zeugen (212) ausgebildet ist, das Komponentensignal (115) aus einer zu einem bestimmten Index gehörenden geänderten Audiosignals zu erzeugen, wobei der bestimmte Index aus einem Verzögerungswert ermittelbar ist, wobei der Verzögerungswert aus der Quellenpositi- on (135) und der Lautsprecherposition (145) ermittelbar ist.
4. Vorrichtung nach einem der vorhergehenden Ansprüche, bei dem die Audioverarbeitungseinrichtung (170) eine Einrichtung zum Summieren (514) aufweist und die Einrichtung zum Summieren (514) ausgebildet ist, die Komponentensignale (115) zu summieren und an einem Sound- ausgang (240) für das Array von Lautsprechern bereitzustellen.
5. Vorrichtung nach einem der vorhergehenden Ansprüche, bei dem die Audiosignalverarbeitungseinrichtung (170) ferner eine Einrichtung zum Überabtasten (236) aufweist und die Einrichtung zum Überabtasten (236) ausgebildet ist, eine Überabtastung des Audiosignals (115) durchzuführen.
6. Vorrichtung nach Anspruch 5, bei dem die Einrichtung zum Überabtasten (236) ausgebildete ist, eine Überabtastung mit einem vorbestimmten Überabtastwert (L) vorzunehmen.
7. Vorrichtung nach Anspruch 6, bei dem der Überabtastwert (L) zwischen 2 und 8 liegt.
8. Vorrichtung nach einem der Ansprüche 5 bis 7, bei dem die Einrichtung zur Überabtastung ein Polyphasenfilter aufweist .
9. Vorrichtung nach einem der Ansprüche 3 bis 8, bei dem die Audiosignalverarbeitungseinrichtung (170) ferner
einen Delay-Filter (222) aufweist und das Delay-Filter (222) ausgebildet sind, Werte aus der Einrichtung zum Zwischenspeichern (216) zu lesen und eine fractionale Delay-Interpolation mit einer vorbestimmten Ordnung vorzunehmen,
wobei die Werte einem bestimmten Index und deren Nachbarwert umfassen und der bestimmte Index einem ganzzahligen Teil des Verzögerungswertes entspricht, und wobei die Delay-Filter (222) ein Komponentensignal (115) erzeugen.
10. Vorrichtung nach Anspruch 9, bei dem die vorbestimmte Ordnung der fractionalen Delay-Interpolation ungerade ist und die vorbestimmte Ordnung ≤ 3 oder ≤ 7 ist.
11. Vorrichtung nach Anspruch 9 oder Anspruch 10, bei dem die Delay-Filter (222) einen Lagrange-Interpolator aufweisen.
12. Vorrichtung nach einem der Ansprüche 5 bis 11, bei dem die Audiosignalverarbeitungseinrichtung (170) ferner eine Vorfilterstufe aufweist und die Vorfilterstufe ausgebildet ist, eine Lautsprecher-unabhängige Frequenzganganpassung an einen Wiedergaberaum vorzunehmen und bei dem die Vorfilterstufe die Einrichtung zum Ü- berabtasten (236) aufweist.
13. Vorrichtung nach einem der vorhergehenden Ansprüche 1 bis 4, bei der die Audiosignalverarbeitungseinheit (170) ferner Subfilter (237) aufweist und die Subfil- ter ausgebildet sind, das Audiosignal (115) zu filtern und Ausgangswerte der Subfilter (237) in die Einrichtung zum Zwischenspeichern (216) zu speichern.
14. Vorrichtung nach Anspruch 13, bei dem die Subfilter (237) eine Farrow-Struktur bilden.
15. Vorrichtung nach Anspruch 13 oder Anspruch 14, bei dem die Audiosignalverarbeitungseinrichtung (170) ferner eine Einrichtung zur Polynominterpolation (250) auf- weist, wobei die Einrichtung zur Polynominterpolation (250) ausgebildet ist, Komponentensignale (115) aus dem gebrochen rationalen Anteil der Verzögerungswerte und der Ausgangswerte der Subfilter (237) zu ermitteln.
16. Vorrichtung nach Anspruch 14 oder Anspruch 15, bei dem die Farrow-Struktur durch Koeffizienten (Cmn) bestimmt ist und die Koeffizienten (Cmn) ein Fehlerintegral minimieren.
17. Vorrichtung nach einem der Ansprüche 13 bis 16, bei dem die Subfilter (237) ausgebildet sind, eine Quellen-unabhängige Filteroperation auszuführen.
18. Verfahren zum Ermitteln eines Komponentensignals (115) für ein WFS-System (200) mit einem Array von Lautspre- ehern, wobei das WFS-System (200) ausgebildet ist, um ein einer virtuellen Quelle zugeordnetes Audiosignal (125), das als ein mit einer Audioabtastfrequenz abgetastetes diskretes Signal vorliegt, sowie der virtuellen Quelle zugeordnete Quellenposition (135) zu nut- zen, um unter Berücksichtigung von Lautsprecherpositionen (145) Komponentensignale (115) für die Lautsprecher aufgrund der virtuellen Quelle zu berechnen, mit folgenden Schritten:
Bestimmen eines Verzögerungswertes für das Komponentensignal (115) unter Verwendung einer Quellenposition (135) und unter Verwendung der Lautsprecherposition (145), wobei der Verzögerungswert einen ganzzahligen und einen fractionalen Anteil aufweist;
Überabtasten des Audiosignals (125) mit einem vorbestimmten Überabtastwert (L) ;
Speichern der überabgetasteten Werte in einer Einrich- tung zum Zwischenspeichern (216) , wobei der ganzzahlige Anteil des Verzögerungswertes als Index dient;
Auslesen überabgetasteter Werte aus der Einrichtung zum Zwischenspeichern (216) zu dem Index;
Interpolieren der überabgetasteten Werte, um ein Komponentensignal (115) zu dem fractionalen Anteil des Verzögerungswertes zu erhalten, wobei die überabgetasteten Werte als Stützstellen dienen.
19. Verfahren zur Ermittlung eines Komponentensignals (115) für ein WFS-System (200) mit einem Array von Lautsprechern, wobei das WFS-System (200) ausgebildet ist, um ein einer virtuellen Quelle zugeordnetes Audiosignal (125), das als ein mit einer Audioabtastfrequenz abgetastetes diskretes Signal vorliegt, sowie der virtuellen Quelle zugeordnete Queiienposition (135) zu nutzen, um unter Berücksichtigung von Lautsprecherpositionen (145) Komponentensignale (115) für die Lautsprecher aufgrund der virtuellen Quelle zu berechnen, mit folgenden Schritten:
Bestimmen eines Verzögerungswertes für das Komponentensignal (115) unter Verwendung einer Quellenposition (135) und unter Verwendung der Lautsprecherposition (145), wobei der Verzögerungswert einen ganzzahligen und einen fractionalen Anteil aufweist;
Verarbeiten des Audiosignals (125) in Subfilter (237), so dass jeder Subfilter (237) ein Ausgangssignal (239) erzeugt;
Speichern der Ausgangssignale (239) der Subfilter (237) in einer Einrichtung zum Zwischenspeichern (216);
Auslesen der Ausgangswerte (239) von einer Position, die dem ganzzahligen Anteil des Verzögerungswertes entspricht;
Ermitteln eines interpolierten Werts durch Auswerten eines Polynoms,, um ein Komponentensignal (115) aus dem fractionalen Anteil des Verzögerungswertes und der Ausgangswerte (239) der Subfilter (237) zu erhalten.
20. Verfahren nach Anspruch 19, bei dem das Interpolieren mittels einer Farrow-Struktur vorgenommen wird.
21. Computerprogramm mit einem Programmcode zur Durchführung des Verfahrens nach einem der Ansprüche 18 bis 20, wenn das Computerprogramm auf einem Computer abläuft.
EP08801826.2A 2007-09-19 2008-09-03 Eine vorrichtung und ein verfahren zur ermittlung eines komponentensignals in hoher genauigkeit Active EP2189010B1 (de)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102007044687 2007-09-19
DE102007059597A DE102007059597A1 (de) 2007-09-19 2007-12-11 Eine Vorrichtung und ein Verfahren zur Ermittlung eines Komponentensignals in hoher Genauigkeit
PCT/EP2008/007201 WO2009036883A1 (de) 2007-09-19 2008-09-03 Eine vorrichtung und ein verfahren zur ermittlung eines komponentensignals in hoher genauigkeit

Publications (2)

Publication Number Publication Date
EP2189010A1 true EP2189010A1 (de) 2010-05-26
EP2189010B1 EP2189010B1 (de) 2013-10-16

Family

ID=40384478

Family Applications (1)

Application Number Title Priority Date Filing Date
EP08801826.2A Active EP2189010B1 (de) 2007-09-19 2008-09-03 Eine vorrichtung und ein verfahren zur ermittlung eines komponentensignals in hoher genauigkeit

Country Status (7)

Country Link
US (2) US8526623B2 (de)
EP (1) EP2189010B1 (de)
JP (1) JP5132776B2 (de)
KR (1) KR101119254B1 (de)
CN (1) CN101868984B (de)
DE (1) DE102007059597A1 (de)
WO (1) WO2009036883A1 (de)

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102004057500B3 (de) 2004-11-29 2006-06-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zur Ansteuerung einer Beschallungsanlage und Beschallungsanlage
US20090077149A1 (en) * 2007-09-14 2009-03-19 Texas Instruments Incorporated Asynchronous sampling rate conversion
US8515052B2 (en) 2007-12-17 2013-08-20 Wai Wu Parallel signal processing system and method
EP2261896B1 (de) * 2008-07-29 2017-12-06 Yamaha Corporation Vorrichtung zur ausgabe leistungsbezogener informationen, system mit der vorrichtung zur ausgabe leistungsbezogener informationen sowie elektronisches musikinstrument
WO2010013754A1 (ja) * 2008-07-30 2010-02-04 ヤマハ株式会社 オーディオ信号処理装置、オーディオ信号処理システム、およびオーディオ信号処理方法
US8346021B2 (en) * 2009-05-05 2013-01-01 Analog Devices, Inc. Content adaptive scaler based on a farrow structure
EP2457390A1 (de) * 2009-07-22 2012-05-30 Storming Swiss Sàrl Vorrichtung und verfahren zur optimierung stereophoner oder pseudostereophoner audiosignale
US8507704B2 (en) 2009-09-08 2013-08-13 Air Products And Chemicals, Inc. Liquid composition containing aminoether for deposition of metal-containing films
JP5782677B2 (ja) 2010-03-31 2015-09-24 ヤマハ株式会社 コンテンツ再生装置および音声処理システム
EP4086891A1 (de) * 2010-10-21 2022-11-09 Acoustic 3d Holdings Limited Akustik-diffusor
EP2573761B1 (de) 2011-09-25 2018-02-14 Yamaha Corporation Anzeigen von inhalt im verhältnis zur musikreproduktion mittels einer informationsverarbeitungsvorrichtung unabhängig von der musikreproduktionsvorrichtung
KR20130093783A (ko) 2011-12-30 2013-08-23 한국전자통신연구원 오디오 객체 전송 장치 및 방법
JP5494677B2 (ja) 2012-01-06 2014-05-21 ヤマハ株式会社 演奏装置及び演奏プログラム
DE102012200512B4 (de) * 2012-01-13 2013-11-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Berechnen von Lautsprechersignalen für eine Mehrzahl von Lautsprechern unter Verwendung einer Verzögerung im Frequenzbereich
CN102711015B (zh) * 2012-05-29 2015-03-25 苏州上声电子有限公司 基于二次剩余序列组合的扬声器阵列声场控制方法和装置
US9736609B2 (en) * 2013-02-07 2017-08-15 Qualcomm Incorporated Determining renderers for spherical harmonic coefficients
JP6216553B2 (ja) * 2013-06-27 2017-10-18 クラリオン株式会社 伝搬遅延補正装置及び伝搬遅延補正方法
DE102013218176A1 (de) 2013-09-11 2015-03-12 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und verfahren zur dekorrelation von lautsprechersignalen
US10679407B2 (en) 2014-06-27 2020-06-09 The University Of North Carolina At Chapel Hill Methods, systems, and computer readable media for modeling interactive diffuse reflections and higher-order diffraction in virtual environment scenes
US9977644B2 (en) * 2014-07-29 2018-05-22 The University Of North Carolina At Chapel Hill Methods, systems, and computer readable media for conducting interactive sound propagation and rendering for a plurality of sound sources in a virtual environment scene
US9571265B2 (en) * 2015-07-10 2017-02-14 Tempo Semicondutor, Inc. Sample rate converter with sample and hold
DE102015214950A1 (de) * 2015-08-05 2017-02-09 Innovationszentrum für Telekommunikationstechnik GmbH IZT Vorrichtung zum Verändern einer Abtastrate, System umfassend eine Vorrichtung zum Verändern einer Abtastrate und Verfahren zum Verändern einer Abtastrate
US20170064651A1 (en) * 2015-08-28 2017-03-02 Alex Volkov Synchronization of audio streams and sampling rate for wireless communication
KR101691367B1 (ko) * 2015-10-23 2016-12-30 조선대학교산학협력단 M채널 TI-ADCs에서 미스매치에 대한 디지털 후면 교정 방법 및 그 장치
US9497561B1 (en) * 2016-05-27 2016-11-15 Mass Fidelity Inc. Wave field synthesis by synthesizing spatial transfer function over listening region
US9980078B2 (en) 2016-10-14 2018-05-22 Nokia Technologies Oy Audio object modification in free-viewpoint rendering
US11096004B2 (en) 2017-01-23 2021-08-17 Nokia Technologies Oy Spatial audio rendering point extension
US10248744B2 (en) 2017-02-16 2019-04-02 The University Of North Carolina At Chapel Hill Methods, systems, and computer readable media for acoustic classification and optimization for multi-modal rendering of real-world scenes
US10531219B2 (en) * 2017-03-20 2020-01-07 Nokia Technologies Oy Smooth rendering of overlapping audio-object interactions
US11074036B2 (en) 2017-05-05 2021-07-27 Nokia Technologies Oy Metadata-free audio-object interactions
US10165386B2 (en) 2017-05-16 2018-12-25 Nokia Technologies Oy VR audio superzoom
US11395087B2 (en) 2017-09-29 2022-07-19 Nokia Technologies Oy Level-based audio-object interactions
EP3704875B1 (de) * 2017-10-30 2023-05-31 Dolby Laboratories Licensing Corporation Virtuelle darstelung von objektbasiertem audio über einen beliebigen satz von lautsprechern
US10542368B2 (en) 2018-03-27 2020-01-21 Nokia Technologies Oy Audio content modification for playback audio
EP3900284B1 (de) * 2018-12-17 2023-11-08 U-blox AG Schätzung von einem oder mehreren merkmalen eines kommunikationskanals
CN109889185B (zh) * 2019-02-28 2023-03-28 深圳信息职业技术学院 一种信号插值滤波方法及插值滤波器
KR20220118989A (ko) * 2019-12-23 2022-08-26 주식회사 아도반테스토 복수의 입력 샘플에 기초하여 복수의 출력 샘플을 제공하기 위한 신호 처리 장치 및 복수의 입력 샘플에 기초하여 복수의 출력 샘플을 제공하는 방법
CN111950186A (zh) * 2020-08-20 2020-11-17 沈阳师范大学 一种无理分数阶系统的有理化方法
WO2023127225A1 (ja) * 2021-12-28 2023-07-06 アルプスアルパイン株式会社 フィルタ設計方法、及び、ｉｉｒ型全域通過フィルタ

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5274708A (en) * 1992-06-01 1993-12-28 Fusan Labs, Inc. Digital stereo sound enhancement unit and method
US6600495B1 (en) * 2000-01-10 2003-07-29 Koninklijke Philips Electronics N.V. Image interpolation and decimation using a continuously variable delay filter and combined with a polyphase filter
EP1562403B1 (de) 2002-11-15 2012-06-13 Sony Corporation Verfahren und vorrichtung zur verarbeitung von tonsignalen
JP3951122B2 (ja) 2002-11-18 2007-08-01 ソニー株式会社 信号処理方法および信号処理装置
DE10321980B4 (de) * 2003-05-15 2005-10-06 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Berechnen eines diskreten Werts einer Komponente in einem Lautsprechersignal
JP4007255B2 (ja) 2003-06-02 2007-11-14 ヤマハ株式会社 アレースピーカーシステム
DE10355146A1 (de) 2003-11-26 2005-07-07 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Erzeugen eines Tieftonkanals
DE102005033239A1 (de) * 2005-07-15 2007-01-25 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Steuern einer Mehrzahl von Lautsprechern mittels einer graphischen Benutzerschnittstelle

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See references of WO2009036883A1 *

Also Published As

Publication number Publication date
DE102007059597A1 (de) 2009-04-02
JP2010539833A (ja) 2010-12-16
JP5132776B2 (ja) 2013-01-30
US20130243203A1 (en) 2013-09-19
EP2189010B1 (de) 2013-10-16
KR101119254B1 (ko) 2012-03-16
CN101868984B (zh) 2013-11-20
US8526623B2 (en) 2013-09-03
WO2009036883A1 (de) 2009-03-26
KR20100063071A (ko) 2010-06-10
CN101868984A (zh) 2010-10-20
US20100208905A1 (en) 2010-08-19
US8605910B2 (en) 2013-12-10

Similar Documents

Publication Publication Date Title
EP2189010B1 (de) Eine vorrichtung und ein verfahren zur ermittlung eines komponentensignals in hoher genauigkeit
EP3117631B1 (de) Vorrichtung und verfahren zum verarbeiten eines signals im frequenzbereich
EP1872620B9 (de) Vorrichtung und verfahren zum steuern einer mehrzahl von lautsprechern mittels einer graphischen benutzerschnittstelle
DE69819090T2 (de) Kompensationsfilter
EP1782658B1 (de) Vorrichtung und verfahren zum ansteuern einer mehrzahl von lautsprechern mittels eines dsp
DE69434238T2 (de) Vorrichtung zur Veränderung akustischer Eigenschaften
EP1844627B1 (de) Vorrichtung und verfahren zum simulieren eines wellenfeldsynthese-systemes
EP1671516B1 (de) Vorrichtung und verfahren zum erzeugen eines tieftonkanals
DE102012200512B4 (de) Vorrichtung und Verfahren zum Berechnen von Lautsprechersignalen für eine Mehrzahl von Lautsprechern unter Verwendung einer Verzögerung im Frequenzbereich
DE69833749T2 (de) Filterbankanordnung und verfahren zur filterung und trennung eines informationssignals in unterschiedlichen frequenzbändern, insbesondere für audiosignale in hörhilfegeräten
WO2004047485A1 (de) Audiowiedergabesystem und verfahren zum wiedergeben eines audiosignals
EP2754151B1 (de) Vorrichtung, verfahren und elektroakustisches system zur nachhallzeitverlängerung
WO2007101498A1 (de) Vorrichtung und verfahren zur simulation von wfs-systemen und kompensation von klangbeeinflussenden wfs-eigenschaften
EP2280482B1 (de) Filterbankanordnung für eine Hörvorrichtung
DE10321980A1 (de) Vorrichtung und Verfahren zum Berechnen eines diskreten Werts einer Komponente in einem Lautsprechersignal
EP2357854B1 (de) Verfahren und Vorrichtung zur Erzeugung individuell anpassbarer binauraler Audiosignale
EP2503799A1 (de) Verfahren und System zur Berechnung synthetischer Außenohrübertragungsfunktionen durch virtuelle lokale Schallfeldsynthese
Hiipakka et al. Efficient and high-quality equalization using a multirate filterbank and FIR filters

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20100317

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MT NL NO PL PT RO SE SI SK TR

AX Request for extension of the european patent

Extension state: AL BA MK RS

17Q First examination report despatched

Effective date: 20101019

DAX Request for extension of the european patent (deleted)
GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

INTG Intention to grant announced

Effective date: 20130422

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MT NL NO PL PT RO SE SI SK TR

REG Reference to a national code

Ref country code: GB

Ref legal event code: FG4D

Free format text: NOT ENGLISH

REG Reference to a national code

Ref country code: CH

Ref legal event code: EP

REG Reference to a national code

Ref country code: IE

Ref legal event code: FG4D

Free format text: LANGUAGE OF EP DOCUMENT: GERMAN

REG Reference to a national code

Ref country code: AT

Ref legal event code: REF

Ref document number: 636985

Country of ref document: AT

Kind code of ref document: T

Effective date: 20131115

REG Reference to a national code

Ref country code: DE

Ref legal event code: R096

Ref document number: 502008010828

Country of ref document: DE

Effective date: 20131212

REG Reference to a national code

Ref country code: NL

Ref legal event code: VDEP

Effective date: 20131016

REG Reference to a national code

Ref country code: LT

Ref legal event code: MG4D

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: NL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20131016

Ref country code: SE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20131016

Ref country code: FI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20131016

Ref country code: LT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20131016

Ref country code: HR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20131016

Ref country code: NO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20140116

Ref country code: IS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20140216

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: ES

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20131016

Ref country code: LV

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20131016

Ref country code: CY

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20131016

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: PT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20140217

REG Reference to a national code

Ref country code: DE

Ref legal event code: R097

Ref document number: 502008010828

Country of ref document: DE

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: EE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20131016

PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: PL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20131016

Ref country code: RO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20131016

Ref country code: CZ

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20131016

Ref country code: SK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20131016

Ref country code: IT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20131016

26N No opposition filed

Effective date: 20140717

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: DK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20131016

REG Reference to a national code

Ref country code: DE

Ref legal event code: R097

Ref document number: 502008010828

Country of ref document: DE

Effective date: 20140717

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20131016

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LU

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20140903

Ref country code: MC

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20131016

REG Reference to a national code

Ref country code: CH

Ref legal event code: PL

REG Reference to a national code

Ref country code: IE

Ref legal event code: MM4A

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: BE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20140930

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CH

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20140930

Ref country code: LI

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20140930

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20140903

REG Reference to a national code

Ref country code: AT

Ref legal event code: MM01

Ref document number: 636985

Country of ref document: AT

Kind code of ref document: T

Effective date: 20140903

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: AT

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20140903

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: BG

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20131016

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20131016

Ref country code: GR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20140117

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: HU

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT; INVALID AB INITIO

Effective date: 20080903

Ref country code: TR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20131016

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 9

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 10

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 11

P01 Opt-out of the competence of the unified patent court (upc) registered

Effective date: 20230524

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: GB

Payment date: 20230921

Year of fee payment: 16

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: FR

Payment date: 20230918

Year of fee payment: 16

Ref country code: DE

Payment date: 20230919

Year of fee payment: 16