EP2503799B1 - Verfahren und System zur Berechnung synthetischer Außenohrübertragungsfunktionen durch virtuelle lokale Schallfeldsynthese - Google Patents

Verfahren und System zur Berechnung synthetischer Außenohrübertragungsfunktionen durch virtuelle lokale Schallfeldsynthese Download PDF

Info

Publication number
EP2503799B1
EP2503799B1 EP11159001.4A EP11159001A EP2503799B1 EP 2503799 B1 EP2503799 B1 EP 2503799B1 EP 11159001 A EP11159001 A EP 11159001A EP 2503799 B1 EP2503799 B1 EP 2503799B1
Authority
EP
European Patent Office
Prior art keywords
outer ear
source
transmission functions
virtual
ear transmission
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
EP11159001.4A
Other languages
English (en)
French (fr)
Other versions
EP2503799A1 (de
Inventor
Jens Ahrens
Sascha Spors
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Deutsche Telekom AG
Original Assignee
Deutsche Telekom AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Deutsche Telekom AG filed Critical Deutsche Telekom AG
Priority to EP11159001.4A priority Critical patent/EP2503799B1/de
Priority to ES11159001T priority patent/ES2812503T3/es
Publication of EP2503799A1 publication Critical patent/EP2503799A1/de
Application granted granted Critical
Publication of EP2503799B1 publication Critical patent/EP2503799B1/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/11—Application of ambisonics in stereophonic audio systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/13—Application of wave-field synthesis in stereophonic audio systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • H04S7/304—For headphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/305—Electronic adaptation of stereophonic audio signals to reverberation of the listening space

Definitions

  • the claimed invention relates to a method and system for calculating synthetic outer ear transmission functions by means of virtual sound field synthesis, preferably local sound field synthesis.
  • the invention relates in particular to such a method and system for use in dynamic virtual binaural auditory environments.
  • the spatial auditory perception of humans is essentially based on the evaluation of the differences between the acoustic signals of both ears.
  • the differences arise, among other things, from the acoustic properties of the outer ears in relation to a given source position.
  • the outer ears essentially include the upper body, head and the ear cups.
  • the signal from an acoustic source is modified by reflection, diffraction and refraction at the outer ear.
  • the acoustic properties of the outer ears can be well characterized by measuring the transmission path from a source to the ear canals. For this purpose, the transfer function is usually measured from a loudspeaker to microphones placed in the ear canals.
  • outer ear transfer functions are referred to as outer ear transfer functions (English “Head-Related Transfer Function (s)"). They play an important role in researching human hearing and for virtual acoustics. In general, the outer ear transfer functions differ from person to person. Furthermore, they depend on the position and characteristics of the source used for the measurement.
  • the measurement of the outer ear transmission functions is usually carried out using one or more loudspeakers. These are typically located on a circular or spherical surface with the head in the center. The measurements are then carried out sequentially for each speaker position. This procedure results in a set of outer ear transfer functions for different angles with a fixed distance of the source. The measurements are typically carried out for a fixed head. Current Available data sets usually only contain a single source distance. Often this is in the range of 1.5-3 m from the center of the head. These simple measurements for a distance alone are usually quite time-consuming and resource-intensive. Short distances to the source (near field) are of particular interest because the outer ear transfer function significantly changes its properties here. Outer ear transfer functions play an important role in virtual acoustics.
  • virtual sound sources can be generated by filtering a source signal x (t) with the left / right outer ear transmission function (H L and H R ) and presenting the filtered signals using headphones.
  • the outer ear transmission functions are selected from a database according to the desired position of the virtual source. It is important to take into account the current position of the head, for example using a head tracker, so that the virtual sources have a stable position in space even when the head rotates. Through so-called crosstalk compensation, the signals can also be reproduced using loudspeakers.
  • the positions of the virtual sources are principally limited to the positions that are available in the database of the outer ear transmission functions.
  • the loudspeaker drive signals can be calculated analytically.
  • An essential property of wave field synthesis is the possibility to generate so-called focused sources. This is the imitation of the sound field of a sound source that is located between the listener and the speakers. [5] concerns focused sound sources.
  • Ambisonics Another method of virtual acoustics is Ambisonics. [3] concerns the traditional formulation of Ambisonics, whereby this method requires circular or spherical arrangements of loudspeakers. With the help of numerical algorithms, the loudspeaker signals are generated which lead to the reproduction of the desired sound field.
  • the limitation of the spatial bandwidth of the control function necessary in the calculation path means that the reconstruction of the desired sound field is most accurate in the center of the loudspeaker arrangement ("sweet spot"). The further the location under consideration is from the center, the greater the deviations.
  • [4] concerns extensions of the traditional formulation of ambisonics. These enable the analytical calculation of the loudspeaker drive signals, which is many times more efficient than numerical methods. However, there is still a restriction that the "sweet spot" is located in the center of the loudspeaker arrangement and that only circular or spherical loudspeaker structures can be used.
  • EP 2182744 relates to a method of ambisonics, wherein sweet spots or the sweet area can be freely placed within a closed loudspeaker arrangement.
  • the loudspeaker drive signals can be calculated analytically.
  • the method is significantly more efficient than other approaches, but limited to closed (eg circular) arrangements.
  • the approach presented in [6] is based on the concept of closely spaced virtual secondary sources to improve the accuracy of the synthesis.
  • the virtual sources are realized by focused sound sources. This approach can be implemented particularly efficiently through wave field synthesis.
  • a virtual headphone which is also referred to as binaural sky.
  • One or more virtual sound sources are generated near the listener's ears to simulate headphones. These virtual sound sources are realized through acoustic focusing. These virtual sound sources are operated by means of a so-called crosstalk compensation, which compensates for the crosstalk of the signals towards the averted ears. This is a common technique when playing binaural signals over speakers.
  • the virtual sources track the head movement, so the crosstalk compensation during head movements can be kept constant.
  • the synthesis of outer ear transfer functions to realize other properties than those in the database is not considered.
  • the sound field synthesis is used in the method only to generate the sources for the virtual headphones and not for the synthesis of a sound field in a local area.
  • [11] relates to a method of virtual ambisonics, in which a binaural representation of a higher order ambisonics system is realized.
  • virtual loudspeakers are reproduced binaurally by using the corresponding outer ear transmission functions.
  • the control signals of the virtual loudspeakers are calculated by means of higher order Ambisonics.
  • the model is based on the plane wave.
  • the distance of a virtual source is realized by a simple time delay.
  • the process also includes a simple spatial model.
  • the synthesis of outer ear transfer functions is not considered here.
  • the model used for the virtual source does not allow physical consideration of the distance eg due to a curvature of the wave fronts and is therefore not well suited for the synthesis of nearby sources.
  • the known approaches for modifying the (perceived) source distance for outer ear transmission functions can be divided into three classes: (1) weighting of the amplitude, (2) modification of the frequency response and (3) extrapolation of the measured data.
  • the respective outer ear transmission function is weighted independently of frequency in order to model the increasing volume of a source with decreasing distance from the listener.
  • the spectral changes in the outer ear transmission functions, especially for close sources are ignored.
  • the second class of approaches exactly these spectral changes are modeled by suitable filters. For example, it is known that very close sources cause an increase in the frequency response at low frequencies.
  • the first and second classes are generally based on psychoacoustic considerations, in contrast to the third class, which are based on physical considerations.
  • the third class of approaches is of particular interest. It is known from the underlying physical description of the sound propagation that the sound pressure and its gradient on the edge of a contour are sufficient to uniquely determine the sound field within this contour. The method is called extrapolation of a sound field. This basic principle has been applied to the problem of generating synthetic outer ear transfer functions. Because of the underlying spherical geometry, it is advantageous to split the sound fields with respect to so-called spherical harmonics. [8,9] shows two methods that allow the extrapolation of measured outer ear transfer functions from one measured distance to another distance.
  • the methods have three major disadvantages: (i) due to the physical model, the minimum distance of the virtual sources is limited by the head and torso of the listener and (ii) the numerical complexity is relatively high and (iii) the method is inherently numerically unstable. This is especially true for nearby virtual sources.
  • the concept of the invention relates to the use of methods of sound field synthesis for the calculation or generation of synthetic outer ear transmission functions.
  • this calculation is carried out by providing a database of pairs of outer ear transmission functions for a multiplicity of first source positions, wherein at least one pair of outer transmission functions for a first source position is in each case determined by a measurement.
  • Each of these pairs of outer ear transmission functions is interpreted as a virtual loudspeaker at the corresponding first source position.
  • at least one pair of synthetic outer ear transmission functions are calculated using a method of sound field synthesis for at least one virtual sound source at a further source position.
  • the virtual loudspeakers can be used as elementary sound sources for generating any sound field by a method of wave field synthesis.
  • the control signals for the virtual loudspeakers can be calculated with respect to magnitude and phase in such a way that a weighted superposition of the elementary sound field produced by each virtual loudspeaker results in the desired sound field in its entirety.
  • the desired sound field is a sound field that results from any virtual sound source that can be placed anywhere in the room. This makes it possible to synthesize a transfer function that corresponds to the sound propagation from any virtual sound source. It is therefore a synthetic outer ear transfer function.
  • the calculation method can be used to create a database with a priori calculated synthetic outer ear transfer functions for a variety of positions of the virtual sound source. Such a database can be used to model any sound world.
  • a spatial model is provided, with propagation paths and properties being simulated.
  • At least one mirror source that belongs to a virtual sound source is preferably synthesized.
  • a method for normal sound field synthesis can be used for this.
  • the calculation can be carried out using virtual local sound field synthesis or other methods of wave field synthesis.
  • Another aspect of the invention relates to a system for performing a method for calculating the generation of synthetic outer ear transmission functions.
  • Outer ear transmission functions characterize the sound propagation from the sound source used in the measurement to the listener's ears. If an entire data set of the outer ear transmission function is now measured for a large number of possible source positions, these source positions can be interpreted as virtual loudspeakers. The weighted superposition of the loudspeaker signals can then be used to simulate the influence of the entire ensemble of these virtual loudspeakers on the listener's ear. If you now control these virtual loudspeakers using a sound field synthesis method, the ear signals can be synthesized for almost any virtual source position. Head rotations can be taken into account by dynamically exchanging the outer ear transmission functions used.
  • outer ear transmission functions can be interpolated and extrapolated, and data sets of synthetic outer ear transmission functions can be provided with distances of the source other than those present during the measurement.
  • the synthetic outer ear transfer functions for complex source models can be calculated from measurements of simple sources.
  • Figure 1 is a schematic representation for the measurement of a left or right outer ear transfer function (left half of Figure 1 ) and a block diagram for the use of these outer ear transmission functions for virtual acoustics (right half of Figure 1 ).
  • a loudspeaker which is arranged at a specific source position, is used to measure the outer ear transmission functions, this loudspeaker emitting a source signal x (t).
  • the propagating sound waves are shown schematically and reach the left or right ear of a listener who is positioned in the room in a certain relative position to the loudspeaker.
  • the relative position can be described by a certain distance between the loudspeaker and the position of the listener and a certain direction in relation to a spatial coordinate system.
  • the relative Position include information about the rotational position of the head of the listener relative to the spatial coordinate system.
  • Microphones are used for the measurement, which are arranged at the position of the left ear or right ear of the listener.
  • the signal X L (t) detected by the microphone at the position of the left ear is determined by a transfer function h L (t).
  • the signal X R (t) recorded with the right microphone at the position of the right ear of the listener is determined by the transfer function h R (t).
  • This measurement can be carried out for a large number of first source positions.
  • the loudspeaker is arranged in succession at each of the first source positions and the measurement is carried out, and the respective transfer functions are stored in a database with the information about the respective source position and the rotational position of the head.
  • a plurality of loudspeakers can be used to determine the transmission functions, which loudspeakers are arranged in a room at respectively associated first source positions.
  • the individual loudspeakers can be operated one after the other and the respective source signal x (t) can be emitted and transmitted to the listener in the room via sound propagation.
  • the measured outer ear transmission functions from first source positions used for the calculation of synthetic outer ear transmission functions are provided in a database.
  • the principle of using outer ear transmission functions in virtual acoustics is shown.
  • virtual sound sources can be filtered by filtering a source signal x (t) with the left / right outer ear transfer function (H L ( ⁇ ) and H R ( ⁇ )) and presenting the filtered.
  • Signals are generated using headphones. Specifically, an input signal x (t), which corresponds to a specific source signal, is sent to the two loudspeakers of a headphone via two filter devices.
  • the corresponding outer ear transmission functions are transmitted from an HRTF database to the filter devices for the left ear and the right ear.
  • the filter device for the left ear is set up so that it simulates the transfer functions H L ( ⁇ ) for the left ear.
  • the filter device for the right ear is corresponding to the Outer ear transfer functions set up for the right ear H R ( ⁇ ).
  • the input signal is filtered with the left / right filter device and sent to the left / right speaker of the headphones.
  • Control signals 5 for the reproduction of the virtual sound source 8 by the virtual loudspeakers 6 in the local area are calculated from the signal 1 of a virtual sound source 8 by an algorithm of the sound field synthesis 2, preferably a local sound field synthesis.
  • the virtual loudspeakers 6 are arranged on a circular contour 7, all loudspeakers being directed into the center of a circle, where a local area 14 is shown schematically in the middle. In the local area 14 there is a listener.
  • the source type 3 and the source position 4 and possibly the position of the local area 14 are used as additional information.
  • the sound propagation from a virtual loudspeaker 8 to the ears is characterized by a left / right outer ear transmission function 10, 11.
  • External ear transfer function databases are typically measured on circular / spherical contours 7.
  • the left / right ear signal for the virtual sound source 8 is obtained by the superposition of all virtual loudspeaker signals 5 that have been filtered with the respective outer ear transmission functions 12, 13. Head turns and changes in position of the listener can be taken into account by the dynamic exchange of the outer ear transmission functions 12, 13.
  • databases of synthetic outer ear transmission functions can also be calculated.
  • a pulse is taken as the source signal 1 of a virtual source and the total impulse response from the virtual sound source 8 to the ears is calculated.
  • a synthetic data set of outer ear transfer functions can be calculated on a circular or spherical contour 9.
  • suitable methods of sound field synthesis are, due to the underlying circular / spherical geometry of measured outer ear transmission functions, for example wave field synthesis and higher order ambisonics.
  • both processes assume a spatially continuous distribution of Speakers (secondary sources).
  • the outer ear transmission functions are only available at spatially discrete positions. This leads to artifacts in the synthesized ear signals or the synthesized outer ear transmission functions due to the spatial discretization. This is the case even when the outer ear transmission functions are sampled relatively finely.
  • artifacts occur in a synthetic outer ear transmission function from a frequency of approx. 10 kHz if the outer ear transmission functions used were measured in 1 degree steps at a distance of the source used in the measurement of 2-3 meters. This is explained below using Figure 5 explained in more detail.
  • the invention is based on the use of local sound field synthesis for the calculation of synthetic ear signals or outer ear transmission functions in order to avoid or reduce the artifacts of spatial discretization.
  • Local sound field synthesis allows an area of higher accuracy to be placed around the listener's head. This will reduce the artifacts and achieve better results. This is explained below using Figure 6 explained.
  • any algorithm for local sound field synthesis can be used, so in various preferred embodiments, the in EP 2182744 , [6] and [7] algorithms described application. In further preferred embodiments, the in EP 2182744 and [6] algorithms for local sound field synthesis. These are advantageous due to the underlying geometry of typical data sets of outer ear transmission functions.
  • tracking the virtual source position with the listener's head position results in dynamic binaural synthesis, head orientation and position taken into account, realized. Dynamic tracking is a decisive factor for the quality of virtual acoustic environments.
  • the advantage of this embodiment lies in the efficient consideration of the listener position in comparison to solutions, where only the orientation of the head is taken into account. To take the head position into account, a database of outer ear transmission functions would be necessary, which was measured for many source positions located close to one another.
  • the process can be supplemented by simulating a room model.
  • the mirror sources associated with the virtual source can be synthesized with high resolution using the local sound field synthesis.
  • the present invention enables the listener position to be taken into account efficiently.
  • the virtual source in addition to the typical point source model, is also modeled as a source with complex directional characteristics, preferably using the method described in [12].
  • the combination with local sound field synthesis offers a significant advantage, since the desired directional characteristic is not distorted by the artifacts of the spatial scanning.
  • a preferred embodiment inherently involves interpolation of the outer ear transfer functions with respect to the angle.
  • the position of the virtual source can be chosen arbitrarily with regard to the angular resolution. This enables an interpolation of a measured data set.
  • the data set used by outer ear transmission functions is measured not only on a circular or spherical contour, but on a contour of any shape.
  • the advantage of this embodiment is the efficient measurement of outer ear transfer functions without geometric restrictions.
  • FIG Figure 3 Another embodiment is shown in FIG Figure 3 described. It relates to the use of local wave field synthesis to calculate a database of synthetic outer ear transfer functions from a database of measured outer ear transfer functions.
  • the local wave field synthesis allows a particularly efficient implementation, since the control signals of the virtual loudspeakers can be obtained by simply weighting and delaying the signal from the virtual source.
  • Figure 3 illustrates the processing steps. From the source signal 31, which is generally a Dirac pulse for the calculation of synthetic outer ear transmission functions, signals 44 for the virtual secondary sources are generated by means of the wave field synthesis 35.
  • the source model 32, the positions 33 and emission directions 34 of the virtual secondary sources are used as additional information.
  • the virtual secondary sources are realized again by focused sources through the wave field synthesis.
  • the signals 45 for the secondary sources are calculated for each of the signals 44 by acoustic focusing 40.
  • the positions 36 and emission directions 37 of the virtual secondary sources, as well as the positions 38 and emission directions 39 of the secondary sources are used for this.
  • the signals from the secondary sources 45 are then filtered with the data set of the outer ear transmission functions 41 and then summed up. This is done separately with the left / right outer ear transfer functions and then results in the left / right synthetic outer ear transfer function 42/43.
  • a data set of outer ear transfer functions can be calculated.
  • Figure 4 a diagram is shown which corresponds to a measured data set of left outer ear transmission functions.
  • the sound source was 2.5 m apart and 288 angular steps were measured on a full circle.
  • the measured head related transfer function (HRTF) is shown.
  • the angle is plotted in degrees along the abscissa.
  • Time is plotted in seconds along the ordinate.
  • Figure 12 shows a diagram corresponding to the database of synthetic left outer ear transfer functions calculated by wave field synthesis.
  • the calculated binaural room impulse response (BRIR, binaural room impulse response).
  • the angle is in degrees on the abscissa and the time in seconds is plotted on the ordinate.
  • the calculation by means of the wave field synthesis was carried out for a distance of the virtual source of three meters from the listener.
  • the results shown using wave field synthesis to compute a data set of synthetic outer ear transfer functions are shown here.
  • the artifacts of the spatial scanning are clearly visible as additional wave fronts after the first wave front.
  • Figure 6 shows a diagram with a database of synthetic left outer ear transfer functions, which were calculated by local wave field synthesis.
  • Figure 6 thus shows the same situation as Figure 5 , however, the local wave field synthesis was used to calculate the synthetic outer ear transfer functions.
  • the zone with increased accuracy was chosen as a circle with a radius of 30 cm around the head. It can be clearly seen that the artifacts of the spatial scan compared to the Figure 5 are no longer available or are significantly reduced.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Stereophonic System (AREA)

Description

    Technisches Gebiet
  • Die beanspruchte Erfindung bezieht sich auf ein Verfahren und System zur Berechnung synthetischer Außenohrübertragungsfunktionen durch virtuelle Schallfeldsynthese, vorzugsweise lokale Schallfeldsynthese. Die Erfindung bezieht sich im Besonderen auf ein derartiges Verfahren und System zum Einsatz in dynamischen virtuellen binauralen auditorischen Umgebungen.
    • Stand der Technik
  • Die räumliche auditorische Wahrnehmung des Menschen beruht wesentlich auf der Auswertung der Unterschiede zwischen den akustischen Signalen beider Ohren. Die Unterschiede entstehen unter anderen durch die akustischen Eigenschaften der Außenohren in Bezug auf eine gegebene Quellenposition. Die Außenohren umfassen im Wesentlichen den Oberkörper, Kopf und die Ohrmuscheln. Das Signal einer akustischen Quelle wird durch Reflexion, Beugung und Brechung am Außenohr modifiziert. Die akustischen Eigenschaften der Außenohren können durch die Messung des Übertragungsweges von einer Quelle zu den Ohrkanälen gut charakterisiert werden. Dazu wird meist die Übertragungsfunktion von einem Lautsprecher zu in den Ohrkanälen platzierten Mikrofonen gemessen. Diese Übertragungsfunktionen werden als Außenohrübertragungsfunktionen (englisch "Head-Related Transfer Function(s)") bezeichnet. Sie spielen eine wichtige Rolle bei der Erforschung des menschlichen Gehörs und für die virtuelle Akustik. Im Allgemeinen sind die Außenohrübertragungsfunktionen von Mensch zu Mensch verschieden. Weiterhin hängen sie von der Position und Charakteristik der Quelle ab die zur Messung verwendet wurde.
  • Die Messung der Außenohrübertragungsfunktionen wird meist mittels einem oder mehreren Lautsprecher(n) durchgeführt. Diese befinden sich typischerweise auf einer Kreisbahn oder Kugeloberfläche mit dem Kopf im Mittelpunkt. Die Messungen werden dann sequentiell für jede Lautsprecherposition durchgeführt. Dieses Vorgehen resultiert in einem Satz von Außenohrübertragungsfunktionen für verschiede Winkel bei einem festen Abstand der Quelle. Die Messungen werden typischerweise für einen fixierten Kopf durchgeführt. Aktuell verfügbare Datensätze beinhalten meist nur einen einzigen Quellenabstand. Oft befindet sich dieser im Bereich von 1.5-3 m von der Kopfmitte aus gemessen. Allein diese einfachen Messungen für einen Abstand sind meist schon recht zeit- und resourcenaufwendig. Von besonderem Interesse sind kurze Distanzen zur Quelle (Nahfeld) da die Außenohrübertragungsfunktion hier ihre Eigenschaften wesentlich verändern. Außenohrübertragungsfunktionen spielen eine wichtige Rolle bei der virtuellen Akustik. Bei der binauralen Wiedergabe können virtuelle Schallquellen durch die Filterung eines Quellsignals x(t) mit der linken/rechten Außenohrübertragungsfunktion (HL und HR) und Darbietung der gefilterten Signale mittels Kopfhörer erzeugt werden. Die Außenohrübertragungsfunktionen werden dabei aus einer Datenbank entsprechend der gewünschten Position der virtuellen Quelle ausgewählt. Dabei ist es wichtig die aktuelle Position des Kopfes zu berücksichtigen, z.B. durch einen Head-Tracker, damit die virtuellen Quellen auch bei Rotation des Kopfes eine stabile Position im Raum haben. Durch sogenannte Übersprechkompensation können die Signale auch mittels Lautsprechern wiedergegeben werden.
    Die Positionen der virtuellen Quellen sind prinzipbedingt auf die Positionen beschränkt die in der Datenbank der Außenohrübertragungsfunktionen zur Verfügung stehen. Aufgrund des Aufwandes wird meist nur in einem fixen Abstand aber für eine Vielzahl von Winkeln auf einer Kreisbahn/Kugeloberfläche gemessen. Um die daraus resultierenden Beschränkungen bezüglich der möglichen Positionen virtueller Schallquellen zu überwinden, wurde eine Reihe von Ansätzen entwickelt, um die gemessene Distanz nachträglich zu modifizieren. Neben der oben beschriebenen binauralen Wiedergabe, die auf der Verwendung von Außenohrübertragungsfunktionen basiert, gibt es noch eine Reihe von Lautsprecher basierter Ansätzen in der virtuellen Akustik, die im Folgenden kurz vorgestellt werden.
    [1] und [2] betreffen Verfahren zur Wellenfeldsynthese. Die Wellenfeldsynthese ermöglicht die physikalische Rekonstruktion eines Schallfeldes über einen ausgedehnten Bereich. Es können beliebige konvexe oder gerade Lautsprecheranordnungen verwendet werden, die nicht zwingend geschlossen sein müssen. In dem potentiellen Hörbereich, z.B. innerhalb einer Lautsprecheranordnung, gibt es keinen ausgeprägten "Sweet Spot" über den gesamten hörbaren Frequenzbereich, wo die Rekonstruktion des gewünschten Schallfeldes signifikant genauer ist als im Rest des Hörbereiches. Bei praktischen Realisierungen sind große Abweichungen vom gewünschten Schallfeld über den gesamten potentiellen Hörerbereich vorhanden. Die Lautsprecheransteuerungssignale können analytisch berechnet werden. Eine wesentliche Eigenschaft der Wellenfeldsynthese ist die Möglichkeit sogenannte fokussierte Quellen zu erzeugen. Dies ist die Imitation des Schallfeldes einer Schallquelle, die sich zwischen dem Zuhörer und den Lautsprechern befindet. [5] betrifft fokussierte Schallquellen.
  • Ein weiteres Verfahren der virtuellen Akustik ist Ambisonics. [3] betrifft die traditionelle Formulierung von Ambisonics, wobei dieses Verfahren kreisförmige bzw. kugelförmige Anordnungen von Lautsprechern erfordert. Mit Hilfe von numerischen Algorithmen werden die Lautsprechersignale generiert, die zur Wiedergabe des gewünschten Schallfeldes führen. Die im Rechenweg notwendige Beschränkung der räumlichen Bandbreite der Ansteuerungsfunktion bewirkt, dass die Rekonstruktion des gewünschten Schallfeldes im Zentrum der Lautsprecheranordnung am genauesten ist ("Sweet Spot"). Je weiter der betrachtete Ort von Zentrum entfernt ist, desto größer werden die Abweichungen.
  • [4] betrifft Erweiterungen der traditionellen Formulierung von Ambisonics. Diese ermöglichen die analytische Berechnung der Lautsprecheransteuerungssignale, die um ein Vielfaches effizienter ist als numerische Verfahren. Jedoch besteht weiterhin die Restriktion, dass der "Sweet Spot" sich im Zentrum der Lautsprecheranordnung befindet, und dass lediglich kreisförmige oder kugelförmige Lautsprecheraufbauten verwendet werden können.
  • Beide Verfahren, die Wellenfeldsynthese und erweitertes Ambisonics, streben die physikalisch akkurate Wiedergabe in einem möglichst großen Zuhörerbereich an. In der praktischen Realisierung beider Verfahren sind der erreichbaren Genauigkeit allerdings Grenzen gesetzt. Die endliche Anzahl von Lautsprechern führt zu einer Reihe von Artefakten, die zum Teil im gesamten Zuhörerbereich auftreten. Dies hat zu der Entwicklung einer Reihe von Ansätzen geführt, die eine höhere Genauigkeit in einem begrenzten Zuhörerbereich ermöglichen als Wellenfeldsynthese oder Ambisonics.
  • EP 2182744 betrifft ein Verfahren des Ambisonics, wobei Sweet Spots bzw. die Sweet Area innerhalb einer geschlossenen Lautsprecheranordnung frei platziert werden kann. Die Lautsprecheransteuerungssignale können analytisch berechnet werden. Das Verfahren ist signifikant effizienter als andere Ansätze aber limitiert auf geschlossene (z.B. kreisförmige) Anordnungen.
  • Der in [6] vorgestellte Ansatz basiert auf dem Konzept räumlich dicht angeordneter virtueller Sekundärquellen um die Genauigkeit der Synthese zu Verbessern. Die virtuellen Quellen werden dabei durch fokussierte Schallquellen realisiert. Dieser Ansatz lässt sich besonders Effizient durch die Wellenfeldsynthese realisieren.
  • Der in [7] vorgestellte Ansatz beruht auf einer räumlichen Bandbegrenzung der Ansteuerungssignale der Lautsprecher. Damit wird ein begrenzter Bereich mit erhöhter Genauigkeit der Synthese erreicht, der frei im Hörerbereich platziert werden kann.
  • DE 10 2007 032 272 und DE 10 2005 003 431 beschreiben die technische Realisierung eines virtuellen Kopfhörers, die auch als Binaural Sky bezeichnet wird. Dabei werden jeweils eine oder mehrere virtuelle Schallquellen in der Nähe der Ohren des Hörers erzeugt, um einen Kopfhörer zu simulieren. Diese virtuellen Schallquellen werden durch akustische Fokussierung realisiert. Diese virtuellen Schallquellen werden mittels einer so genannten Übersprechkompensation betrieben, die das Übersprechen der Signale zu den abgewandten Ohren hin kompensiert. Dies ist eine übliche Technik bei der Wiedergabe von binauralen Signalen über Lautsprecher. Die virtuellen Quellen werden der Kopfbewegung nachgeführt, dadurch kann die Übersprechkompensation bei Kopfbewegungen konstant gehalten werden. Die Synthese von Außenohrübertragungsfunktionen, um andere Eigenschaften zu realisieren als in der Datenbank vorhanden sind, wird nicht betrachtet. Weiterhin wird die Schallfeldsynthese in dem Verfahren nur zur Erzeugung der Quellen für den virtuellen Kopfhörer genutzt und nicht für die Synthese eines Schallfeldes in einem lokalen Bereich.
  • [11] betrifft ein Verfahren des virtuellen Ambisonics, bei dem eine binaurale Repräsentation eines Ambisonics Systems höherer Ordnung realisiert wird. Hierbei werden virtuelle Lautsprecher durch Verwendung der entsprechenden Außenohrübertragungsfunktionen binaural wiedergegeben. Die Ansteuerungssignale der virtuellen Lautsprecher werden mittels Ambisonics höherer Ordnung berechnet. Dabei wird bei den virtuellen Lautsprechern und der virtuellen Quelle vereinfacht von dem Modell der ebenen Welle ausgegangen. Die Distanz einer virtuellen Quelle wird durch eine einfache Zeitverzögerung realisiert. Das Verfahren beinhaltet zudem ein einfaches Raummodell. Die Synthese von Außenohrübertragungsfunktionen wird hier nicht betrachtet. Weiterhin erlaubt das verwendete Modell für die virtuelle Quelle keine physikalische Berücksichtigung der Distanz z.B. durch eine Krümmung der Wellenfronten und ist damit für die Synthese naher Quellen nicht gut geeignet.
  • Die bekannten Ansätze zur Modifikation der (wahrgenommenen) Quellendistanz bei Außenohrübertragungsfunktionen lassen sich in drei Klassen einteilen: (1) Gewichtung der Amplitude, (2) Modifikation des Frequenzganges und (3) Extrapolation der gemessenen Daten.
    Bei der ersten Klasse wird die jeweilige Außenohrübertragungsfunktion frequenzunabhängig gewichtet um die zunehmende Lautstärke einer Quelle mit abnehmender Distanz zum Zuhörer zu modellieren. Bei diesem Ansatz werden die spektralen Änderungen der Außenohrübertragungsfunktionen, speziell für nahe Quellen, ignoriert.
    In der zweiten Klasse von Ansätzen werden genau diese spektralen Änderungen durch geeignete Filter modelliert. So ist zum Beispiel bekannt, dass sehr nahe Quellen eine Anhebung des Frequenzganges bei tiefen Frequenzen verursachen.
    Die erste und zweite Klasse beruhen im Allgemeinen auf psychoakustischen Überlegungen, im Gegensatz zur dritten Klasse, der physikalische Überlegungen zugrunde liegen. In dem Kontext dieser Erfindung ist die dritte Klasse von Ansätzen von besonderem Interesse. Aus der zu Grunde liegenden physikalischen Beschreibung der Schallausbreitung ist bekannt, dass der Schalldruck und dessen Gradient auf dem Rand einer Kontur ausreichen, um das Schallfeld innerhalb dieser Kontur eindeutig zu bestimmen. Das Verfahren wird als Extrapolation eines Schallfeldes bezeichnet. Dieses Grundprinzip wurde auf das Problem der Generierung von synthetischen Außenohrübertragungsfunktionen angewendet. Aufgrund der zu Grunde liegenden sphärischen Geometrie ist es dabei vorteilhaft, die Schallfelder bezüglich sogenannter sphärischer Harmonische zu zerlegen. In [8,9] sind zwei Verfahren dargestellt, welche die Extrapolation von gemessenen Außenohrübertragungsfunktionen von einem gemessenen Abstand auf einen anderen Abstand ermöglichen. Die Verfahren haben drei entscheidende Nachteile: (i) Aufgrund des physikalischen Modells ist der minimale Abstand der virtuellen Quellen durch den Kopf und Oberkörper des Zuhörers begrenzt und (ii) die numerische Komplexität ist relativ hoch und (iii) das Verfahren ist inhärent numerisch instabil. Dies gilt besonders für nahe virtuelle Quellen.
  • Um das Problem der inhärenten Instabilität bei virtuellen Quellen mit geringem Abstand zu lösen, wurde ein Ansatz in [10] vorgeschlagen. Dieser basiert auf der Verwendung von Multipolmodellen löst das Problem der Komplexität und Instabilität nur teilweise.
    • Referenzen:
    1. [1] A.J. Berkhout, D. de Vries, and P. Vogel. Acoustic control by wave field synthesis. Journal of the Acoustical Society of America, Volume 93(5):2764-2778, May 1993.
    2. [2] S. Spors, R. Rabenstein, and J. Ahrens. The Theory of Wave Field Synthesis Revisited. In proceedings of 124th Convention of the Audio Engineering Society, May 17-20, Amsterdam, The Netherlands, 2008
    3. [3] J. Daniel, Representation de champs acoustiques, application à la transmission et à la reproduction de scènes sonores complexes dans un contexte multimedia, PhD thesis, Université Paris 6, 2001
    4. [4] J. Ahrens and S. Spors. Analytical driving functions for higher order Ambisonics. In IEEE International Conference on Acoustics, Speech, and Signal Processing (ICASSP), Las Vegas, Nevada, March 30th-April 4th 2008.
    5. [5] S. Spors, H. Wierstorf, M. Geier, and J. Ahrens. Physical and perceptual properties of focused sources in wave field synthesis. In 127th AES Convention. Audio Engineering Society (AES), October 2009.
    6. [6] S. Spors and J. Ahrens. Local sound reproduction by virtual secondary sources. In AES 40th International Conference on Spatial Audio, Tokyo, Japan, October 2010. Audio Engineering Society (AES).
    7. [7] J. Ahrens, "The single-layer potential approach applied on sound field synthesis and its extension to nonenclosing distributions of secondary sources," Ph.D. dissertation, Technische Universität Berlin, 2010.
    8. [8] R. Duraiswami, D. Zotkin, and N. Gumerov, "Interpolation and range extrapolation of hrtfs," in IEEE International Conference on Acoustics, Speech, and Signal Processing (ICASSP), Montreal, Canada, May 2004.
    9. [9] W. Zhang, T. Abhayapala, and R. Kennedy, "Modal expansion of HRTFs: continuous representation in frequency-range-angle," in IEEE International Conference on Acoustics, Speech, and Signal Processing (ICASSP), Taipei, Japan, 2009.
    10. [10] D. Menzies, "Calculation of near-field head related transfer functions using point source representations," in Ambisonics Symposium, Graz, Austria, June 2009.
    11. [11] M. Noisternig, A. Sontacchi, T. Musil, and R. H¨oldrich, "A 3D Ambisonic based binaural sound reproduction system," in AES 24th International Conference on Multichannel Audio. Banff, Canada: AudioEngineering Society (AES), June 2003.
    12. [12] J. Ahrens and S. Spors. Implementation of directional sources in wave field synthesis. In IEEE Workshop on Applications of Signal Processing to Audio and Acoustics, New Paltz, USA, October 2007.
    Offenbarung der Erfindung
  • Es ist daher Aufgabe der Erfindung, ein Verfahren und ein System zur Berechung synthetischer Außenohrübertragungsfunktionen bereitzustellen.
  • Diese Aufgabe wird durch ein Verfahren und System gemäß den unabhängigen Ansprüchen 1 und 10 gelöst. Die abhängigen Ansprüche 2 bis 9 betreffen besondere Ausführungsformen.
  • Das Konzept der Erfindung betrifft die Nutzung von Verfahren der Schallfeldsynthese zur Berechnung oder Generierung von synthetischen Außenohrübertragungsfunktionen.
  • Diese Berechnung erfolgt gemäß einem Aspekt der Erfindung durch Bereitstellen einer Datenbank von Paaren von Außenohrübertragungsfunktionen für eine Vielzahl von ersten Quellenpositionen, wobei jeweils mindestens ein Paar Außenübertragungsfunktion für eine erste Quellenposition durch eine Messung ermittelt wird. Ein jedes dieser Paare von Außenohrübertragungsfunktionen wird als virtueller Lautsprecher an der entsprechenden ersten Quellenposition interpretiert. Unter Verwendung der virtuellen Lautsprecher werden mittels eines Verfahrens der Schallfeldsynthese für mindestens eine virtuelle Schallquelle an einer weiteren Quellenposition mindestens ein Paar von synthetischen Außenohrübertragungsfunktionen berechnet.
  • Die virtuellen Lautsprecher lassen sich als Elementarschallquellen zur Generierung eines beliebigen Schallfeldes durch ein Verfahren der Wellenfeldsynthese verwenden. Mittels eines solchen Verfahrens lassen sich die Ansteuersignale für die virtuellen Lautsprecher hinsichtlich Betrag und Phase so berechnen, dass eine gewichtete Superposition des von jedem virtuellen Lautsprecher hervorgerufenen Elementarschallfeldes das gewünschte Schallfeld in seiner Gesamtheit ergibt. Das gewünschte Schallfeld ist hierbei ein Schallfeld, das sich von einer beliebigen virtuellen Schallquelle, die an einem beliebigen Ort im Raum platziert sein kann, ergibt. Dadurch ist es möglich, eine Übertragungsfunktion, welche der Schallausbreitung von einer beliebigen virtuellen Schallquelle entspricht, zu synthetisieren. Es handelt sich mithin um eine synthetische Außenohrübertragungsfunktion. Die Berechnungsmethode lässt sich zur Erstellung einer Datenbank mit apriori berechneten synthetischen Außenohrübertragungsfunktionen für eine Vielzahl von Positionen der virtuellen Schallquelle verwenden. Auf eine solche Datenbank kann zur Modellierung beliebiger Klangwelten zurückgegriffen werden.
  • Gemäß einem weiteren Aspekt der Erfindung wird ein Raummodell bereitgestellt, wobei Ausbreitungswege und -eigenschaften simuliert werden. Bevorzugt wird mindestens eine Spiegelquelle synthetisiert, die zu einer virtuellen Schallquelle gehört. Dazu kann ein Verfahren zur normalen Schallfeldsynthese eingesetzt werden. Allgemein ist die Berechnung durch virtuelle lokale Schallfeldsynthese oder andere Verfahren der Wellenfeldsynthese durchführbar.
  • Ein weiterer Aspekt der Erfindung betrifft ein System zum Durchführen eines Verfahrens für die Berechnung der Generierung synthetischer Außenohrübertragungsfunktionen.
  • Außenohrübertragungsfunktionen charakterisieren die Schallausbreitung von der bei der Messung verwendeten Schallquelle zu den Ohren des Zuhörers. Wird jetzt ein gesamter Datensatz von Außenohrübertragungsfunktion für eine Vielzahl von möglichen Quellpositionen gemessen, so können diese Quellpositionen als virtuelle Lautsprecher interpretiert werden. Durch die gewichtete Superposition der Lautsprechersignale kann dann der Einfluss des gesamten Ensembles dieser virtuellen Lautsprecher am Ohr des Zuhörers simuliert werden. Steuert man nun diese virtuellen Lautsprecher mit einem Verfahren der Schallfeldsynthese an, so können die Ohrsignale für nahezu beliebige virtuelle Quellenpositionen synthetisiert werden. Kopfdrehungen können durch das dynamische Austauschen der verwendeten Außenohrübertragungsfunktionen berücksichtigt werden.
  • Mit diesem erfindungsgemäßen Verfahren lassen sich Außenohrübertragungsfunktionen inter- und extrapolieren und Datensätze von synthetischen Außenohrübertragungsfunktionen können mit anderen Distanzen der Quelle als denen bei der Messung vorliegenden bereitgestellt werden. Zusätzlich lassen sich die synthetischen Außenohrübertragungsfunktionen für komplexe Quellenmodelle aus Messungen einfacher Quellen berechnen.
    • Kurzbeschreibung der Figuren
  • Das Verfahren und das zugeordnete System der Erfindung werden detaillierter im Folgenden anhand von Ausführungsbeispielen und den Zeichnungen beschrieben.
  • Es zeigen:
    • Figur 1 eine schematische Darstellung für die Messung einer linken/rechten Außenohrübertragungsfunktion und Nutzung dieser für die virtuelle Akustik,
    • Figur 2 einen schematischen Aufbau für die Beschreibung des Wirkprinzips eines Verfahrens der Schallfeldsynthese für die Generierung synthetischer Außenohrübertragungsfunktionen einer Ausführungsform,
    • Figur 3 ein Blockschaltbild einer Ausführungsform eines Systems für die Berechung synthetischer Außenohrübertragungsfunktionen mittels der lokalen Wellenfeldsynthese einer Ausführungsform,
    • Figur 4 ein Diagramm mit einen gemessenen Datensatz von linken Außenohrübertragungsfunktionen,
    • Figur 5 ein Diagramm mit einer Datenbank von synthetischen linken Außenohrübertragungsfunktionen, welche durch Wellenfeldsynthese berechnet wurden, und
    • Figur 6 ein Diagramm mit einer Datenbank von synthetischen linken Außenohrübertragungsfunktionen, welche durch lokale Wellenfeldsynthese berechnet wurden.
    Detaillierte Beschreibung der Ausführungsformen
  • In Figur 1 ist eine schematische Darstellung für die Messung einer linken bzw. rechten Außenohrübertragungsfunktion gezeigt (linke Hälfte von Figur 1) und ein Blockschaltbild für die Nutzung dieser Außenohrübertragungsfunktionen für die virtuelle Akustik (rechte Hälfte von Figur 1). Wie schematisch in der linken Hälfte von Figur 1 dargestellt, wird zur Messung der Außenohrübertragungsfunktionen ein Lautsprecher, der an einer bestimmten Quellenposition angeordnet ist, verwendet, wobei dieser Lautsprecher ein Quellsignal x(t) ausstrahlt. Die sich ausbreitenden Schallwellen sind schematisch dargestellt und erreichen das linke bzw. rechte Ohr eines Hörers, der in dem Raum in einer bestimmten relativen Position zu dem Lautsprecher positioniert ist. Die relative Position kann beschrieben werden durch einen bestimmten Abstand zwischen Lautsprecher und Position des Hörers und einer bestimmten Richtung bezogen auf ein Raumkoordinatensystem. Zudem kann die relative Position Informationen über die Drehposition des Kopfes des Hörers relativ zu dem Raumkoordinatensystem umfassen. Bei der Messung werden Mikrofone eingesetzt, die an der Position des linken Ohrs bzw. rechten Ohrs des Hörers angeordnet werden. Dabei wird das mit dem Mikrofon an der Position des linken Ohrs erfasste Signal XL(t) bestimmt durch eine Übertragungsfunktion hL(t). In gleicher Weise wird das mit dem rechten Mikrofon an der Position des rechten Ohres des Hörers aufgenommene Signal XR(t) bestimmt durch die Übertragungsfunktion hR(t).
  • Diese Messung kann für eine Vielzahl von ersten Quellenpositionen durchgeführt werden. Beispielsweise kann ein Lautsprecher an ersten Quellenpositionen auf einer kreisförmigen Kontur 7 wie in Figur 2 gezeigt angeordnet werden. Dazu wird der Lautsprecher nacheinander an jeder der ersten Quellenpositionen angeordnet und die Messung durchgeführt und die jeweiligen Übertragungsfunktionen werden mit den Angaben über die jeweilige Quellenposition und die Drehposition des Kopfes in einer Datenbank gespeichert. Alternativ kann zum Bestimmen der Übertragungsfunktionen eine Vielzahl von Lautsprechern eingesetzt werden, die in einem Raum an jeweils zugehörigen ersten Quellenpositionen angeordnet sind. Dabei können die einzelnen Lautsprecher nacheinander betrieben werden und das jeweilige Quellsignal x(t) abgegeben und per Schallausbreitung zu dem im Raum vorhandenen Hörer ausgesendet werden.
  • Die für die Berechnung von synthetischen Außenohrübertragungsfunktionen verwendeten gemessenen Außenohrübertragungsfunktionen von ersten Quellpositionen werden in einer Datenbank bereitgestellt. In der rechten Hälfte von Figur 1 ist das Prinzip zur Verwendung von Außenohrübertragungsfunktionen in der virtuellen Akustik gezeigt. Bei der binauralen Wiedergabe können virtuelle Schallquellen durch die Filterung eines Quellsignals x(t) mit der linken/rechten Außenohrübertragungsfunktion (HL(ω) und HR(ω)) und Darbietung der gefilterten. Signale mittels Kopfhörer erzeugt werden. Im Einzelnen wird ein Eingangssignal x(t), das einem bestimmten Quellsignal entspricht, über zwei Filtereinrichtungen an die beiden Lautsprecher eines Kopfhörers geleitet. Abhängig von der Position der virtuellen Quelle und der Position des Kopfes des Hörers werden die entsprechenden Außenohrübertragungsfunktionen von einer HRTF-Datenbank an die Filtereinrichtungen für das linke Ohr und das rechte Ohr übertragen. Im Einzelnen wird die Filtereinrichtung für das linke Ohr so eingerichtet, dass sie die Übertragungsfunktionen HL(ω) für das linke Ohr nachbildet. In gleicher Weise wird die Filtereinrichtung für das rechte Ohr entsprechend der Außenohrübertragungsfunktionen für das rechte Ohr HR(ω) eingerichtet. Das Eingangssignal wird mit der linken/rechten Filtereinrichtung gefiltert und an den linken/rechten Lautsprecher des Kopfhörers geleitet.
  • Eine Ausführungsform zur Berechnung von synthetischen Außenohrübertragungsfunktionen ist in Figur 2 dargestellt. Aus dem Signal 1 einer virtuellen Schallquelle 8 werden durch einen Algorithmus der Schallfeldsynthese 2 vorzugsweise einer lokalen Schallfeldsynthese Ansteuersignale 5 für die Wiedergabe der virtuellen Schallquelle 8 durch die virtuellen Lautsprecher 6 im lokalen Bereich berechnet. Die virtuellen Lautsprecher 6 sind in diesem Beispiel auf einer kreisförmigen Kontur 7 angeordnet, wobei alle Lautsprecher in die Mitte eines Kreises gerichtet sind, wo schematisch ein lokaler Bereich 14 in der Mitte dargestellt ist. In dem lokalen Bereich 14 befindet sich ein Zuhörer. Für den Algorithmus der Schallfeldsynthese werden zum Beispiel der Quellentyp 3 und die Quellenposition 4 und gegebenenfalls die Position des lokalen Bereichs 14 als zusätzliche Information verwendet. Die Schallausbreitung von einem virtuellen Lautsprecher 8 zu den Ohren ist durch eine linke/rechte Außenohrübertragungsfunktion 10, 11 charakterisiert. Datenbanken von Außenohrübertragungsfunktion werden typischerweise auf kreis-/kugelförmigen Konturen 7 gemessen. Das linke/rechte Ohrsignal für die virtuelle Schallquelle 8 wird durch die Superposition aller virtueller Lautsprechersignale 5, die mit den jeweiligen Außenohrübertragungsfunktion 12, 13 gefiltert worden sind, gewonnen. Kopfdrehungen und Positionsänderungen des Zuhörers können durch den dynamischen Austausch der Außenohrübertragungsfunktionen 12, 13 berücksichtigt werden.
  • Mit dem beschriebenen Verfahren können auch Datenbanken von synthetischen Außenohrübertragungsfunktionen berechnet werden. Dazu wird als Quellsignal 1 einer virtuellen Quelle ein Impuls genommen und die gesamte Impulsantwort von der virtuellen Schallquelle 8 zu den Ohren berechnet. Durch Variation der Quellenposition, z.B. auf einer kreis- bzw. kugelförmigen Kontur 9 kann ein synthetischer Datensatz von Außenohrübertragungsfunktionen berechnet werden.
  • Prinzipiell geeignete Verfahren der Schallfeldsynthese sind, aufgrund der zugrundeliegenden zirkulären/sphärischen Geometrie gemessener Außenohrübertragungsfunktionen, zum Beispiel die Wellenfeldsynthese und Ambisonics höherer Ordnung. In ihrer theoretischen Grundlage gehen beide Verfahren von eine räumlich kontinuierlichen Verteilung von Lautsprechern (Sekundärquellen) aus. In der Praxis sind die Außenohrübertragungsfunktionen allerdings nur an räumlich diskreten Positionen verfügbar. Dies führt zu Artefakten in den synthetisierten Ohrsignalen bzw. den synthetisierten Außenohrübertragungsfunktionen aufgrund der räumlichen Diskretisierung. Dies ist selbst dann der Fall wenn die Außenohrübertragungsfunktionen relativ fein abgetastet werden. Zum Beispiel treten in einer synthetischen Außenohrübertragungsfunktion ab einer Frequenz von ca. 10 kHz Artefakte auf, wenn die verwendeten Außenohrübertragungsfunktionen in 1 Grad Schritten bei einer Distanz der bei der Messung verwendeten Quelle von 2-3 Meter gemessen wurden. Dies wird nachstehend anhand von Figur 5 näher erläutert.
  • Die Erfindung basiert auf Verwendung der lokalen Schallfeldsynthese zur Berechnung synthetischer Ohrsignale bzw. Außenohrübertragungsfunktionen, um die Artefakte der räumlichen Diskretisierung zu vermeiden bzw. zu verringern. Durch die lokale Schallfeldsynthese kann ein Bereich höherer Genauigkeit um den Kopf des Zuhörers gelegt werden. Dadurch werden werde die Artefakte verringert und bessere Ergebnisse erzielt. Dies wird nachstehend anhand von Figur 6 erläutert.
    Prinzipiell kann jeder Algorithmus zur lokalen Schallfeldsynthese genutzt werden, so finden in verschiedenen bevorzugten Ausführungsformen die in EP 2182744 , [6] und [7] beschriebenen Algorithmen Anwendung. In weiteren bevorzugten Ausführungsformen werden die in EP 2182744 und [6] beschriebenen Algorithmen zur lokalen Schallfeldsynthese verwendet. Diese sind aufgrund der zugrundeliegenden Geometrie typischer Datensätze von Außenohrübertragungsfunktionen vorteilhaft.
    Aufgrund einer typischerweise kleinen Apertur von beispielsweise etwa 20 cm der lokalen Zone 14 ist es nicht erforderlich, ein Verfahren zur lokalen Schaltfeldsynthese wie es in EP 2182744 und [6] beschrieben ist, zu verwenden. In der Erfindung werden daher für tiefe Frequenzen normale Verfahren anstatt lokale Verfahren zur Schallfeldsynthese verwendet, da hier die typische räumliche Abtastung im Allgemeinen ausreichend ist. Das Überblenden zwischen den beiden Verfahren geschieht vorzugsweise durch eine Fensterfunktion im Frequenzbereich.
    In einer Ausführungsform wird durch das Nachführen der virtuellen Quellposition mit der Kopfposition des Zuhörers eine dynamische binaurale Synthese, die Kopforientierung und - position berücksichtigt, realisiert. Das dynamische Nachführen ist für die Qualität virtueller akustischer Umgebungen ein entscheidender Faktor. Der Vorteil dieser Ausführungsform liegt in einer effizienten Berücksichtigung der Hörerposition im Vergleich zu Lösungen, wo lediglich die Orientierung des Kopfes berücksichtigt wird. Für eine Berücksichtigung der Kopfposition wäre eine Datenbank von Außenohrübertragungsfunktionen nötig, die für viele nahe beieinander liegende Quellenpositionen gemessen wurde.
  • Das Verfahren kann durch die Simulation eines Raummodells ergänzt werden. Zum Beispiel können die zur virtuellen Quelle gehörigen Spiegelquellen mit hoher Auflösung durch Verwendung der lokalen Schallfeldsynthese synthetisiert werden. Die vorliegende Erfindung ermöglicht eine effiziente Berücksichtigung der Hörerposition.
  • In einer Ausführungsform wird die virtuelle Quelle neben dem typischen Punktquellenmodell auch als Quelle mit komplexer Richtcharakteristik modelliert, vorzugsweise mit dem in [12] beschriebenen Verfahren. Auch hier bietet die Kombination mit der lokalen Schallfeldsynthese einen wesentlichen Vorteil, da die gewünschte Richtcharakteristik nicht durch die Artefakte der räumlichen Abtastung verfälscht wird.
  • Eine bevorzugte Ausführungsform beinhaltet inhärent eine Interpolation der Außenohrübertragungsfunktionen bezüglich des Winkels. Die Position der virtuellen Quelle kann bezüglich der Winkelauflösung beliebig gewählt werden. Dies ermöglicht eine Interpolation eines gemessenen Datensatzes.
  • In einer Ausführungsform wird der verwendete Datensatz von Außenohrübertragungsfunktionen nicht lediglich auf einer zirkulären oder sphärischen Kontur, sondern auf einer Kontur beliebiger Gestalt gemessen. Der Vorteil dieser Ausführungsform ist die effiziente Messung von Außenohrübertragungsfunktionen ohne geometrische Einschränkungen.
  • Ein weiteres Ausführungsbeispiel wird anhand von Figur 3 beschrieben. Es betrifft die Anwendung der lokalen Wellenfeldsynthese zur Berechnung einer Datenbank von synthetischen Außenohrübertragungsfunktionen aus einer Datenbank gemessener Außenohrübertragungsfunktionen. Die lokale Wellenfeldsynthese erlaubt dabei eine besonders effiziente Realisierung, da die Ansteuerungssignale der virtuellen Lautsprecher durch einfache Gewichtung und Verzögerung des Signals der virtuellen Quelle gewonnen werden können. Figur 3 illustriert die Verarbeitungsschritte. Aus dem Quellensignal 31, welches im Allgemeinen für die Berechnung synthetischer Außenohrübertragungsfunktionen ein Dirac Puls ist, werden mittels der Wellenfeldsynthese 35 Signale 44 für die virtuellen Sekundärquellen generiert. Als Zusatzinformationen werden dazu das Quellenmodell 32, die Positionen 33 und Abstrahlrichtungen 34 der virtuellen Sekundärquellen verwendet. Die virtuellen Sekundärquellen werden durch fokussierte Quellen wieder durch die Wellenfeldsynthese realisiert. Dazu werden für jedes der Signale 44 durch akustische Fokussierung 40 die Signale 45 für die Sekundärquellen berechnet. Verwendet werden dazu die Positionen 36 und Abstrahlrichtungen 37 der virtuellen Sekundärquellen, sowie die Positionen 38 und Abstrahlrichtungen 39 der Sekundärquellen. Die Signale der Sekundärquellen 45 werden dann mit dem Datensatz der Außenohrübertragungsfunktionen 41 gefiltert und dann aufsummiert. Das wird jeweils mit den linken/rechten Außenohrübertragungsfunktionen getrennt durchgeführt und resultiert dann in der linken/rechten synthetischen Außenohrübertragungsfunktion 42/43. Durch Variation der Position der virtuellen Quelle in 35 kann ein Datensatz von Außenohrübertragungsfunktionen berechnet werden.
  • In Figur 4 ist ein Diagramm gezeigt, das einem gemessenen Datensatz von linken Außenohrübertragungsfunktionen entspricht. Bei der Messung hatte die Schallquelle einen Abstand von 2,5 m und es wurden 288 Winkelschritte auf einem Vollkreis gemessen. Dargestellt ist die gemessene kopfbezogene Übertragungsfunktion (HRTF, head related transfer function). Entlang der Abszisse ist der Winkel in Grad aufgetragen. Entlang der Ordinate ist die Zeit in Sekunden aufgetragen.
  • Figur 5 zeigt ein Diagramm, das der Datenbank von synthetischen linken Außenohrübertragungsfunktionen entspricht, welche durch Wellenfeldsynthese berechnet wurden. Dargestellt ist die berechnete binaurale Raumimpulsantwort (BRIR, binaural room impuls response). An der Abszisse ist der Winkel in Grad und an der Ordinate ist die Zeit in Sekunden aufgetragen. Die Berechnung mittels der Wellenfeldsynthese erfolgte für einen Abstand der virtuellen Quelle von drei Metern von dem Zuhörer. Die durch Anwendung der Wellenfeldsynthese zur Berechnung eines Datensatzes von synthetischen Außenohrübertragungsfunktionen gezeigten Ergebnisse sind hier dargestellt. Die Artefakte der räumlichen Abtastung sind deutlich sichtbar als zusätzliche Wellenfronten nach der ersten Wellenfront.
    Figur 6 zeigt ein Diagramm mit einer Datenbank von synthetischen linken Außenohrübertragungsfunktionen, welche durch lokale Wellenfeldsynthese berechnet wurden. Auch hier erfolgte die Berechnung für einen Abstand der virtuellen Quelle von drei Metern. Figur 6 zeigt somit die gleiche Situation wie Figur 5, allerdings wurde hier die lokale Wellenfeldsynthese zur Berechnung der synthetischen Außenohrübertragungsfunktionen verwendet. Die Zone mit erhöhter Genauigkeit wurde als ein Kreis mit einem Radius von 30 cm um den Kopf gewählt. Es ist deutlich zu erkennen, dass die Artefakte der räumlichen Abtastung im Vergleich zur Figur 5 nicht mehr vorhanden sind bzw. deutlich verringert sind.

Claims (10)

  1. Verfahren zur Berechnung synthetischer Außenohrübertragungsfunktionen eines Zuhörers, mit folgenden Schritten:
    a) Bereitstellen einer Datenbank von Paaren von Außenohrübertragungsfunktionen für eine Vielzahl von ersten Quellenpositionen, wobei jeweils mindestens ein Paar Außenohrübertragungsfunktionen für eine erste Quellenposition durch eine Messung ermittelt werden,
    b) Auffassen jedes dieser Paare von Außenohrübertragungsfunktionen als die Übertragungsfunktionen zwischen einem jeweiligen virtuellen Lautsprecher und jedem Ohr des Zuhörers, wobei der virtuelle Lautsprecher an der jeweiligen ersten Quellenposition angeordnet ist,
    c) Berechnen von mindestens einem Paar von synthetischen Außenohrübertragungsfunktionen für mindestens eine virtuelle Schallquelle an einer weiteren Quellenposition unter Verwendung der virtuellen Lautsprecher mittels eines Verfahrens der Schallfeldsynthese,
    gekennzeichnet dadurch, dass das Berechnen von dem mindestens einen Paar von synthetischen Außenohrübertragungsfunktionen für die mindestens eine virtuelle Schallquelle an der weiteren Quellenposition folgende Schritte umfasst:
    Berechnen von mindestens einem Paar von synthetischen Außenohrübertragungsfunktionen für Schallsignale mit tiefen Frequenzen mittels eines Verfahrens zur normalen Schallfeldsynthese und
    Berechnen von mindestens einem Paar von synthetischen Außenohrübertragungsfunktionen für Schallsignale mit von den tiefen Frequenzen verschiedenen Frequenzen mittels Verfahren zur lokalen Schallfeldsynthese; und
    wobei das jeweils mindestens eine Paar von synthetischen Außenohrübertragungsfunktionen durch gewichtete Superposition aller virtueller Lautsprechersignale von den virtuellen Lautsprechern, die mit den jeweiligen gemessenen Paaren von Außenohrübertragungsfunktionen gefiltert worden sind, berechnet wird.
  2. Verfahren nach Anspruch 1, wobei das mindestens eine Paar von synthetischen Außenohrübertragungsfunktionen für eine Vielzahl von weiteren Quellenpositionen berechnet wird und vorzugsweise in mindestens einer weiteren Datenbank von Paaren von synthetischen Außenohrübertragungsfunktionen gespeichert werden.
  3. Verfahren nach Anspruch 1 oder 2, wobei bei der Berechnung durch gewichtete Superposition ein Quellentyp und/oder eine Quellenposition berücksichtigt wird.
  4. Verfahren nach Anspruch 2 oder 3, wobei die Vielzahl von ersten Quellenpositionen, an denen das jeweils mindestens eine Paar von Außenohrübertragungsfunktionen gemessen wird, auf einer ersten kreisförmigen Kontur oder einer ersten kugelförmigen Kontur angeordnet sind und
    wobei die Vielzahl von weiteren Quellenpositionen, an denen das jeweils mindestens eine Paar von synthetischen Außenohrübertragungsfunktionen berechnet wird, auf einer weiteren kreisförmigen Kontur oder kugelförmigen Kontur angeordnet sind,
    wobei die weitere kreisförmige Kontur oder kugelförmige Kontur vorzugsweise verschieden ist von der ersten kreisförmigen Kontur oder der ersten kugelförmigen Kontur, und
    wobei besonders bevorzugt eine erste Distanz von der Position eines Zuhörers zur ersten kreisförmigen Kontur oder ersten kugelförmigen Kontur verschieden ist von einer weiteren Distanz von der Position des Zuhörers zur weiteren kreisförmigen Kontur oder weiteren kugelförmigen Kontur.
  5. Verfahren nach Anspruch 4, wobei das jeweils mindestens eine Paar von synthetischen Außenohrübertragungsfunktionen abhängig von der Position des Zuhörers und/oder abhängig von einer Kopfdrehung des Zuhörers berechnet wird, wobei vorzugsweise abhängig von einer Positionsänderung des Zuhörers und/oder einer Kopfdrehung des Zuhörers gemessene Paare von Außenohrübertragungsfunktionen dynamisch ausgetauscht werden.
  6. Verfahren nach einem der Ansprüche 1 bis 5,
    wobei ein Überblenden zwischen dem normalen Verfahren zur Schallfeldsynthese und dem Verfahren zur lokalen Schallfeldsynthese mittels einer Fensterfunktion im Frequenzbereich erfolgt.
  7. Verfahren nach einem der Ansprüche 1 bis 6, wobei als Quellensignal für eine virtuelle Schallquelle an der weiteren Quellenposition ein Impuls verwendet wird und die jeweils gesamte Impulsantwort von der virtuellen Schallquelle zu einem linken und rechten Ohr eines Zuhörers berechnet wird und als Paar von synthetischen Außenohrübertragungsfunktionen gespeichert wird.
  8. Verfahren nach einem der Ansprüche 1 bis 7, wobei als virtuelle Schallquelle eine Punktquelle modelliert wird oder vorzugsweise als virtuelle Schallquelle eine Quelle mit komplexer Richtcharakteristik modelliert wird.
  9. Verfahren nach einem der Ansprüche 1 bis 8, mit den weiteren Schritten: Bereitstellen eines Raummodells, wobei Ausbreitungswege und Ausbreitungseigenschaften von Schallsignalen innerhalb des Raummodells simuliert werden und wobei vorzugsweise mindestens eine Spiegelquelle, die zu einer virtuellen Schallquelle gehört mittels eines Verfahrens zur normalen Schallfeldsynthese oder mittels eines Verfahrens zur lokalen Schallfeldsynthese synthetisiert wird.
  10. System, umfassend Mittel zum Durchführen eines Verfahrens zur Berechnung synthetischer Außenohrübertragungsfunktionen nach einem der Ansprüche 1 bis 9, das aufweist:
    a) eine Datenbank von Paaren von Außenohrübertragungsfunktionen für eine Vielzahl von ersten Quellenpositionen, wobei jeweils mindestens ein Paar Außenohrübertragungsfunktionen für eine erste Quellenposition durch eine Messung ermittelt werden,
    b) Berechnungsmittel, vorzugsweise in Form von Mikroprozessoren, zum Berechnen von mindestens einem Paar von synthetischen Außenohrübertragungsfunktionen für mindestens eine virtuelle Schallquelle an einer weiteren Quellenposition.
EP11159001.4A 2011-03-21 2011-03-21 Verfahren und System zur Berechnung synthetischer Außenohrübertragungsfunktionen durch virtuelle lokale Schallfeldsynthese Active EP2503799B1 (de)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP11159001.4A EP2503799B1 (de) 2011-03-21 2011-03-21 Verfahren und System zur Berechnung synthetischer Außenohrübertragungsfunktionen durch virtuelle lokale Schallfeldsynthese
ES11159001T ES2812503T3 (es) 2011-03-21 2011-03-21 Método y sistema para el cálculo de funciones de transmisión de oído externo sintéticas mediante síntesis de campo acústico virtual

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
EP11159001.4A EP2503799B1 (de) 2011-03-21 2011-03-21 Verfahren und System zur Berechnung synthetischer Außenohrübertragungsfunktionen durch virtuelle lokale Schallfeldsynthese

Publications (2)

Publication Number Publication Date
EP2503799A1 EP2503799A1 (de) 2012-09-26
EP2503799B1 true EP2503799B1 (de) 2020-07-01

Family

ID=44477864

Family Applications (1)

Application Number Title Priority Date Filing Date
EP11159001.4A Active EP2503799B1 (de) 2011-03-21 2011-03-21 Verfahren und System zur Berechnung synthetischer Außenohrübertragungsfunktionen durch virtuelle lokale Schallfeldsynthese

Country Status (2)

Country Link
EP (1) EP2503799B1 (de)
ES (1) ES2812503T3 (de)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10382880B2 (en) 2014-01-03 2019-08-13 Dolby Laboratories Licensing Corporation Methods and systems for designing and applying numerically optimized binaural room impulse responses

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102005003431B4 (de) 2005-01-25 2009-01-15 Institut für Rundfunktechnik GmbH Anordnung zum Wiedergeben von binauralen Signalen (Kunstkopfsignalen) durch mehrere Lautsprecher
DE102007032272B8 (de) 2007-07-11 2014-12-18 Institut für Rundfunktechnik GmbH Verfahren zur Simulation einer Kopfhörerwiedergabe von Audiosignalen durch mehrere fokussierte Schallquellen
ATE524029T1 (de) 2008-10-30 2011-09-15 Deutsche Telekom Ag Wiedergabe eines schallfeldes in einem zielbeschallungsbereich

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
None *

Also Published As

Publication number Publication date
ES2812503T3 (es) 2021-03-17
EP2503799A1 (de) 2012-09-26

Similar Documents

Publication Publication Date Title
EP3149969B1 (de) Ermittlung und nutzung hörraumoptimierter übertragungsfunktionen
DE60304358T2 (de) Verfahren zur verarbeitung von audiodateien und erfassungsvorrichtung zur anwendung davon
EP1878308B1 (de) Vorrichtung und verfahren zur generierung und bearbeitung von toneffekten in räumlichen tonwiedergabesystemen mittels einer graphischen benutzerschnittstelle
DE69734934T2 (de) Verfahren und vorrichtung zur projektion von schallquellen auf lautsprechern
EP3044972B1 (de) Vorrichtung, verfahren und computerprogramm zur dekorrelation von lautsprechersignalen
EP3069530B1 (de) Verfahren und vorrichtung zum komprimieren und dekomprimieren von schallfelddaten eines gebiets
EP1972181B1 (de) Vorrichtung und verfahren zur simulation von wfs-systemen und kompensation von klangbeeinflussenden wfs-eigenschaften
DE102006053919A1 (de) Vorrichtung und Verfahren zum Erzeugen einer Anzahl von Lautsprechersignalen für ein Lautsprecher-Array, das einen Wiedergaberaum definiert
WO2005060307A1 (de) Vorrichtung und verfahren zum erzeugen eines tieftonkanals
AT394650B (de) Elektroakustische anordnung zur wiedergabe stereophoner binauraler audiosignale ueber kopfhoerer
DE102005003431B4 (de) Anordnung zum Wiedergeben von binauralen Signalen (Kunstkopfsignalen) durch mehrere Lautsprecher
DE10254470A1 (de) Vorrichtung und Verfahren zum Bestimmen einer Impulsantwort und Vorrichtung und Verfahren zum Vorführen eines Audiostücks
DE19911507A1 (de) Verfahren zur Verbesserung dreidimensionaler Klangwiedergabe
EP2373054B1 (de) Wiedergabe in einem beweglichen Zielbeschallungsbereich mittels virtueller Lautsprecher
EP2357854B1 (de) Verfahren und Vorrichtung zur Erzeugung individuell anpassbarer binauraler Audiosignale
DE10318191A1 (de) Verfahren zur Erzeugung und Verwendung einer Übertragungsfunktion
DE112006002548T5 (de) Vorrichtung und Verfahren zur Wiedergabe von virtuellem Zweikanal-Ton
EP2503799B1 (de) Verfahren und System zur Berechnung synthetischer Außenohrübertragungsfunktionen durch virtuelle lokale Schallfeldsynthese
DE102011108788B4 (de) Verfahren zur Verarbeitung eines Audiosignals, Audiowiedergabesystem und Verarbeitungseinheit zur Bearbeitung von Audiosignalen
WO2007110087A1 (de) Anordnung zum wiedergeben von binauralen signalen (kunstkopfsignalen) durch mehrere lautsprecher
EP2571290B1 (de) Lokale Schallfeldsynthese durch einen virtuellen Streukörper
DE102018216604A1 (de) System zur Übertragung von Schall in den und aus dem Kopf eines Hörers unter Verwendung eines virtuellen akustischen Systems
DE102007026219A1 (de) Audiologische Messvorrichtung zur Erzeugung von akustischen Testsignalen für audiologische Messungen
DE1927401B2 (de) Verfahren zur hoerrichtigen aufnahme und wiedergabe von schallereignissen und vorrichtung zu seiner durchfuehrung
DE102014204368A1 (de) Vorrichtung und Verfahren zur Bestimmung von kopfbezogenen Übertragungsfunktionen

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

17P Request for examination filed

Effective date: 20130322

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20180530

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: GRANT OF PATENT IS INTENDED

INTG Intention to grant announced

Effective date: 20191119

RAP1 Party data changed (applicant data changed or rights of an application transferred)

Owner name: DEUTSCHE TELEKOM AG

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

GRAJ Information related to disapproval of communication of intention to grant by the applicant or resumption of examination proceedings by the epo deleted

Free format text: ORIGINAL CODE: EPIDOSDIGR1

GRAL Information related to payment of fee for publishing/printing deleted

Free format text: ORIGINAL CODE: EPIDOSDIGR3

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

INTC Intention to grant announced (deleted)
GRAR Information related to intention to grant a patent recorded

Free format text: ORIGINAL CODE: EPIDOSNIGR71

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: GRANT OF PATENT IS INTENDED

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE PATENT HAS BEEN GRANTED

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

INTG Intention to grant announced

Effective date: 20200525

REG Reference to a national code

Ref country code: GB

Ref legal event code: FG4D

Free format text: NOT ENGLISH

REG Reference to a national code

Ref country code: CH

Ref legal event code: EP

Ref country code: AT

Ref legal event code: REF

Ref document number: 1287303

Country of ref document: AT

Kind code of ref document: T

Effective date: 20200715

REG Reference to a national code

Ref country code: DE

Ref legal event code: R096

Ref document number: 502011016773

Country of ref document: DE

REG Reference to a national code

Ref country code: IE

Ref legal event code: FG4D

Free format text: LANGUAGE OF EP DOCUMENT: GERMAN

REG Reference to a national code

Ref country code: NL

Ref legal event code: FP

REG Reference to a national code

Ref country code: LT

Ref legal event code: MG4D

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: BG

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20201001

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CZ

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200701

Ref country code: PT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20201102

Ref country code: HR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200701

Ref country code: LT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200701

Ref country code: GR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20201002

Ref country code: NO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20201001

Ref country code: FI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200701

Ref country code: SE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200701

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: RS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200701

Ref country code: LV

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200701

Ref country code: PL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200701

Ref country code: IS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20201101

REG Reference to a national code

Ref country code: ES

Ref legal event code: FG2A

Ref document number: 2812503

Country of ref document: ES

Kind code of ref document: T3

Effective date: 20210317

REG Reference to a national code

Ref country code: DE

Ref legal event code: R097

Ref document number: 502011016773

Country of ref document: DE

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: EE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200701

Ref country code: DK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200701

Ref country code: IT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200701

Ref country code: RO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200701

Ref country code: SM

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200701

PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: AL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200701

26N No opposition filed

Effective date: 20210406

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200701

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200701

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MC

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200701

REG Reference to a national code

Ref country code: CH

Ref legal event code: PL

REG Reference to a national code

Ref country code: BE

Ref legal event code: MM

Effective date: 20210331

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CH

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20210331

Ref country code: LI

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20210331

Ref country code: LU

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20210321

Ref country code: IE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20210321

REG Reference to a national code

Ref country code: AT

Ref legal event code: MM01

Ref document number: 1287303

Country of ref document: AT

Kind code of ref document: T

Effective date: 20210321

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: BE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20210331

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: AT

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20210321

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: HU

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT; INVALID AB INITIO

Effective date: 20110321

Ref country code: CY

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200701

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: ES

Payment date: 20230414

Year of fee payment: 13

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: FR

Payment date: 20231213

Year of fee payment: 14

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: NL

Payment date: 20240320

Year of fee payment: 14

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200701

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: DE

Payment date: 20231212

Year of fee payment: 14

Ref country code: GB

Payment date: 20240322

Year of fee payment: 14