EP3149969A1 - Determination and use of auditory-space-optimized transfer functions - Google Patents

Determination and use of auditory-space-optimized transfer functions

Info

Publication number
EP3149969A1
EP3149969A1 EP15724972.3A EP15724972A EP3149969A1 EP 3149969 A1 EP3149969 A1 EP 3149969A1 EP 15724972 A EP15724972 A EP 15724972A EP 3149969 A1 EP3149969 A1 EP 3149969A1
Authority
EP
European Patent Office
Prior art keywords
room
listening
optimized
transfer functions
space
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
EP15724972.3A
Other languages
German (de)
French (fr)
Other versions
EP3149969B1 (en
Inventor
Karlheinz Brandenburg
Stephan Werner
Christoph SLADECZEK
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Technische Universitaet Ilmenau
Original Assignee
Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Technische Universitaet Ilmenau
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV, Technische Universitaet Ilmenau filed Critical Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Publication of EP3149969A1 publication Critical patent/EP3149969A1/en
Application granted granted Critical
Publication of EP3149969B1 publication Critical patent/EP3149969B1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/305—Electronic adaptation of stereophonic audio signals to reverberation of the listening space
    • H04S7/306—For headphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/301—Automatic calibration of stereophonic sound system, e.g. with test microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • H04S7/304—For headphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]

Abstract

The invention relates to a device for determining transfer functions that are auditory-space-optimized for a listening space, which device is used for the auditory space-optimized post-processing of audio signals during spatial reproduction. Said device is designed to analyze space acoustics of the listening space (12) and, on the basis of the analysis of the space acoustics, to determine the auditory-space-optimized transfer functions for the listening space in which the spatial reproduction should occur by means of a binaural near-field sound transducer. The spatial reproduction of the audio signals by means of the binaural near-field sound transducer can then be emulated with the aid of known head-related transfer functions and with the aid of the auditory-space-optimized transfer functions, wherein a room to be synthesized can be emulated on the basis of the head-related transfer functions (HRTF) and wherein the listening space (12) can be emulated on the basis of the auditory-space-optimized transfer functions (TF).

Description

Ermittlung und Nutzung hörraumoptimierter Übertragungsfunktionen  Identification and use of hearing room optimized transfer functions
Beschreibung description
Ausführungsbeispiele der vorliegenden Erfindung beziehen sich auf eine Vorrichtung zur Ermittlung von für einen Abhörraum„hörraumoptimierten Übertragungsfunktionen", auf ein entsprechendes Verfahren und auf eine Vorrichtung zur räumlichen Wiedergabe eines Audiosignals mit entsprechenden Verfahren. Entsprechend bevorzugter Ausführungsbeispiele erfolgt die Wiedergabe mittels eines binauralen Nahbereichsschallwandlers, wie z.B. mittels eines Stereokopfhörers oder Stereo-In-Ear-Hörers. Weitere Ausführungsbeispiele beziehen sich auf ein System, umfassend die zwei Vorrichtungen, und auf ein Computerverfahren zur Durchführung der angesprochenen Verfahren. Embodiments of the present invention relate to a device for determining transmission functions optimized for a listening room, to a corresponding method and to a device for spatial reproduction of an audio signal using corresponding methods Further embodiments relate to a system comprising the two devices, and to a computer method for carrying out the mentioned methods.
Die perzeptive Qualität bei der Präsentation einer räumlichen auditiven Szene, z.B. auf Basis eines Mehrkanal-Audiosignals, hängt entscheidend von der akustisch künstlerischen Gestaltung des Inhalts der Präsentation, vom Wiedergabesystem und von der Raumakustik des Abhörraums bzw. Hörraums ab. Ein Hauptziel bei der Entwicklung von Audiowiedergabesystemen ist die Erzeugung von Hörereignissen, die vom Hörer als plausibel eingeschätzt werden. Dies spielt beispielsweise bei der Wiedergabe von Bild- Ton-Inhalten eine besondere Rolle. Bei von dem Nutzer als plausibel wahrgenommenen Inhalten müssen verschiedene perzeptive Qualitätsmerkmale, wie beispielsweise Lokali- sierbarkeit, Distanzwahrnehmung, Räumlichkeitswahrnehmung und klangliche Aspekte der Abbildung den Erwartungen entsprechen. Im Idealfall stimmt somit die Wahrnehmung des wiedergegebenen mit der realen Situation im Raum überein. The perceptual quality in the presentation of a spatial auditory scene, e.g. based on a multi-channel audio signal, depends crucially on the acoustically artistic design of the content of the presentation, the playback system and the room acoustics of the listening room or listening room. A major goal in the development of audio playback systems is the generation of auditory events that are considered to be plausible by the listener. This plays a special role in the reproduction of picture-sound content, for example. In the case of content perceived as plausible by the user, various perceptual quality features such as localizability, perception of distance, perception of space and sound aspects of the image must meet expectations. Ideally, therefore, the perception of the reproduced corresponds to the real situation in space.
Bei lautsprecherbasierten Audiowiedergabesystemen wird zwei- oder mehrkanaliges Audiomaterial im Abhörraum wiedergegeben. Dieses Audiomaterial kann einer kanalbasier- ten Mischung entstammen, bei der die fertigen Lautsprechersignale bereits vorliegen. Darüber hinaus können die Lautsprechersignale auch durch ein objektbasiertes Tonwiedergabeverfahren erzeugt werden. Hierbei werden basierend auf einer Beschreibung eines Tonobjekts (z.B.: Position, Lautstärke etc.) und der Kenntnis eines vorherrschenden Lautsprecheraufbaus, die Lautsprecherwiedergabesignale erzeugt. Dabei werden Phan- tomschallquellen erzeugt, die sich in der Regel auf den Verbindungsachsen zwischen den Lautsprechern befinden. Je nach gewähltem Lautsprecheraufbau und der vorherrschen- den Raumakustik des Abhörraums können diese Phantomschallquellen vom Hörer in unterschiedlichen Richtungen und Distanzen wahrgenommen werden. Die Raumakustik selbst hat dabei einen entscheidenden Einfluss auf den Wohlklang der wiedergegebenen auditiven Szene. In speaker-based audio playback systems, two- or multi-channel audio is played back in the listening room. This audio material can come from a channel-based mix that already has ready-made speaker signals. In addition, the speaker signals can also be generated by an object-based sound reproduction method. Here, based on a description of a sound object (eg: position, volume, etc.) and the knowledge of a prevailing speaker structure, the speaker reproduction signals are generated. This produces phantom sources that are usually located on the connection axes between the speakers. Depending on the selected speaker structure and the prevailing The room acoustics of the listening room, these phantom sound sources can be perceived by the listener in different directions and distances. The room acoustics themselves have a decisive influence on the euphony of the reproduced auditory scene.
Die Wiedergabe über Lautsprechersysteme ist allerdings nicht in allen Hörsituationen praktikabel. Weiterhin ist es nicht überall möglich Lautsprecher zu installieren. Als Beispiele solcher Situationen können das Musikhören auf mobilen Endgeräten, die Nutzung in sich wechselnden Räumen, Nutzerakzeptanz oder auch die akustische Belästigung von Mitmenschen genannt werden. Als Alternative für Lautsprecher werden häufig Nahbe- reichsschallwandler, wie z.B. In-Ears oder Kopfhörer, die direkt an bzw. in unmittelbarer Umgebung zu dem Ohr„getragen" werden, eingesetzt. However, playback via speaker systems is not practical in all listening situations. Furthermore, it is not possible everywhere to install speakers. Examples of such situations may include music listening on mobile devices, use in changing rooms, user acceptance, or the acoustic harassment of others. As an alternative to loudspeakers, proximity transducers, such as those described in US Pat. In-ears or headphones that are "worn" directly to or in the immediate vicinity of the ear used.
Die klassische Stereowiedergabe über Schallwandler, die beispielsweise je mit einem akustischen Treiber pro Seite bzw. Ohr ausgestattet sind, erzeugen beim Hörer die Wahrnehmung, dass die sich abbildenden Phantomschallquellen im Kopf auf der Verbindungsachse zwischen den beiden Ohren befinden. Es kommt zur sogenannten „Im-Kopf- Lokalisierung". Eine plausibel wirkende externe Wahrnehmung (Externizität) der Phantomschallquellen kommt nicht zustande. Die so erzeugten Phantomschallquellen besitzen in der Regel weder ein für einen Nutzer dekodierbare Richtung(-sinformation) noch Dis- tanz(-sinformation), die beispielsweise bei der Wiedergabe der gleichen akustischen Szene über ein Lautsprechersystem (z.B. 2.0 oder 5.1 ) im Abhörraum vorhanden wäre. The classic stereo reproduction via transducers, which are each equipped with one acoustic driver per side or ear, for example, generate the listener's perception that the imaging phantom sound sources are located in the head on the connecting axis between the two ears. There is a so-called "in-head localization." A plausibly acting external perception (externality) of the phantom sound sources does not come about.The phantom sound sources thus generated usually have neither a user-decodable direction (-sinformation) nor distance ( -sinformation), which would be present in the listening room, for example, when playing the same acoustic scene via a speaker system (eg 2.0 or 5.1).
Zur Umgehung der Im-Kopf-Lokalisierung bei Kopfhörerwiedergabe werden Methoden der Binauralsynthese verwendet (ohne dass künstlerische Gestaltung und Mischung im Audiomaterial verloren geht). Bei der Binauralsynthese werden sogenannte„Außenohrüber- tragungsfunktionen" (head-related transfer function, HRTF, Kopfbezogene Übertragungsfunktion) für linkes und rechtes Ohr verwendet. Diese Außenohrübertragungsfunktionen umfassen für jedes Ohr eine Vielzahl an jeweiligen Richtungsvektoren für virtuelle Schall- quellen zugeordnete Außenohrübertragungsfunktionen, entsprechend welchen eine Filterung der Audiosignale bei der Wiedergabe derselben erfolgt, so dass eine auditive Szene räumlich dargestellt bzw. die Räumlichkeit emuliert werden. Die Binauralsynthese macht es sich zunutze, dass interaurale Merkmale maßgeblich für das Zustandekommen einer Richtungswahrnehmung einer Schallquelle verantwortlich sind, wobei sich diese inter- auralen Merkmale in den Außenohrübertragungsfunktionen widerspiegeln. Soll also ein Audiosignal aus einer definierten Richtung wahrgenommen werden, wird dieses Signal mit den zu dieser Richtung gehörenden HRTFs des linken oder rechten Ohrs gefiltert. Mit Hilfe der Binauralsynthese ist es somit möglich, sowohl eine realistische Raumkiangsze- ne, z.B. gespeichert als Mehrkanalaudio über den Kopfhörer wiederzugeben. Um einen Lautsprecheraufbau virtuell zu simulieren, verwendet man die richtungsgebundenen HRTF-Paare für jeden zu simulierenden Lautsprecher. Für eine plausible Abbildung von Richtung und Distanz des Lautsprecheraufbaus müssen zusätzlich die richtungsabhängigen akustischen Übertragungsfunktionen des Abhörraums (room-related-transfer-function, RRTF, Raumbezogene Übertragungsfunktion) mit emuliert werden. Diese werden mit den HRTFs kombiniert und ergeben die binauralen Raumimpulsantworten (BRIRs, binaural room-impuls-respons). Die BRIRs können als Filter auf das akustische Signal angewendet werden. To circumvent head-to-head localization in headphone playback, methods of binaural synthesis are used (without losing artistic design and mixing in the audio material). Binaural synthesis utilizes so-called head-related transfer function (HRTF) for left and right ear, and these outer ear transfer functions include a plurality of outer ear transfer functions associated with respective direction vectors for virtual sound sources, corresponding to each ear The binaural synthesis makes use of the fact that interaural features are decisively responsible for the realization of a directional perception of a sound source, whereby these interplay are responsible for the fact that an auditory scene is spatially or emulated. Aural features in the outer ear transmission functions reflect, so if an audio signal from a defined direction to be perceived, this signal filtered with the left or right ear HRTFs belonging to this direction. With the help of the binaural synthesis, it is thus possible to reproduce both a realistic Raumkiangsze- ne, for example, stored as a multi-channel audio through the headphones. To virtually simulate a speaker setup, use the directional HRTF pairs for each speaker to be simulated. For a plausible mapping of the direction and distance of the loudspeaker structure, the direction-dependent acoustic transmission functions of the listening area (room-related-transfer-function, RRTF, room-related transfer function) must also be emulated. These are combined with the HRTFs and yield the binaural room impulse responses (BRIRs, binaural room-impuls-respons). The BRIRs can be applied to the acoustic signal as a filter.
Aktuelle Forschungen und Untersuchungen machen allerdings deutlich, dass die Plausibi- lität einer Audiowiedergabe neben der physikalischen korrekten Synthese der Wiederga- besignale auch maßgeblich von kontextabhängigen Qualitätsparametern und insbesondere von dem Erwartungshorizont des Nutzers in Bezug auf die Raumakustik bestimmt wird. Deshalb besteht der Bedarf nach einem verbesserten Ansatz bei der binauralen Synthese. Aufgabe der vorliegenden Erfindung liegt darin, eine verbesserte räumliche Wiedergabe mittels Nahbereichsschallwandlern, insbesondere in Bezug auf Übereinstimmung von akustischer Synthetisierung und Erwartungshorizont des Konsumenten, zu schaffen. However, recent research and studies have shown that the plausibility of an audio reproduction, in addition to the physical correct synthesis of the reproduction signals, is also largely determined by context-dependent quality parameters and, in particular, by the user's expectation horizon with regard to room acoustics. Therefore, there is a need for an improved approach to binaural synthesis. The object of the present invention is to provide an improved spatial reproduction by means of short-range sound transducers, in particular with respect to the conformity of acoustic synthesizing and the consumer's expectation horizon.
Die Aufgabe wird durch die unabhängigen Patentansprüche gelöst. The object is solved by the independent claims.
Ausführungsbeispiele der vorliegenden Erfindung schaffen eine (tragbare) Vorrichtung zur Ermittlung von für einen Abhörraum „hörraumoptimierten Übertragungsfunktionen" auf Basis einer Analyse der Raumakustik. Die hörraumoptimierten Übertragungsfunktionen dient zur hörraumoptimierten Nachbearbeitung von Audiosignalen bei der räumlichen Wiedergabe, wobei basierend auf den Außenohrübertragungsfunktionen (HRTFs) ein zu synthetisierender Raum emulierbar ist und wobei basierend auf den hörraumoptimierten Übertragungsfunktionen der Abhörraum emuiierbar ist. Durch die Nutzung dieser zwei Übertragungsfunktionen, die in kombinierter Form auch als binaurale raumbezogene Raumimpulsantwort bezeichnet werden kann, kommt es zu einer realistischen Raum- klangsimulation, die in Bezug auf die Räumlichkeit mit den durch das Mehrkanal(-Stereo)- Signal vorgegebenen Merkmalen entspricht, aber unter Berücksichtigung des Erwar- tungshorizonts, welcher insbesondere durch die Raumakustik vorweggenommen ist, verbessert ist. Embodiments of the present invention provide a (portable) device for determining "room-acoustically optimized transmission functions for a listening room." The room-optimized transmission functions are used for audio-optimized post-processing of audio signals in spatial reproduction, based on the outer ear transmission functions (HRTFs) The use of these two transfer functions, which can also be referred to as a binaural spatial room impulse response in combination, results in a realistic room sound simulation, which is based on the audio space-optimized transmission functions the space corresponds to the characteristics given by the multi-channel (stereo) signal, but taking into account the tion horizon, which is anticipated in particular by the room acoustics, is improved.
Entsprechend weiteren Ausführungsbeispielen schafft die vorliegende Erfindung eine wei- tere (tragbare) Vorrichtung zur räumlichen Wiedergabe eines Audiosignals mittels eines binauralen Nahbereichsschallwandlers, bei der die räumliche Wiedergabe unter Zuhilfenahme von bekannten Außenohrübertragungsfunktionen und unter Zuhilfenahme von für einen hörraumoptimierten Übertragungsfunktionen emuliert wird, so dass bei der Wiedergabe von Audioinhalten den mittels des Nahbereichsschallwandlers ausgehenden akusti- sehen Signalen die Abhörraumcharakteristik aufgeprägt wird. According to further embodiments, the present invention provides a further (portable) device for spatial reproduction of an audio signal by means of a binaural Nahbereichsschallwandlers, in which the spatial reproduction is emulated using known Außenohrübertragungsfunktionen and with the aid of a Hörraumoptimierten transfer functions, so that in the Playback of audio content to the acoustic signals emanating from the near-range sound transducer imprints the listening room characteristic.
Entsprechend dem Kerngedanken schafft die vorliegende Erfindung also die Voraussetzungen, um kognitive Effekte bei der Wiedergabe von Mehrkanal-Stereo zu berücksichtigen. Hierzu werden entsprechend einem ersten Aspekt hörraumoptimierte Übertragungs- funktionen für den jeweiligen Abhörraum, in welchem beispielsweise mittels eines Kopfhörers (allgemein mittels eines binauralen Nahbereichsschallwandlers) eine auditive Szene wiedergegeben werden soll, ermittelt. Das Ermitteln der hörraumoptimierten Übertragungsfunktion entspricht im Prinzip der Ableitung eines raumakustischen Filters auf Basis der ermittelten bzw. vermessenen Raumakustik mit der Zielsetzung, die akustischen Ei- genschaften des Realraums synthetisch abzubilden. In einem zweiten Schritt kann dann die auditive Szene entsprechend einem zweiten Erfindungsaspekt sowohl unter Zuhilfenahme der HRTFs als auch unter Zuhilfenahme der hörraumoptimierten Übertragungsfunktionen als Raumklangsimulation wiedergegebenen werden. Bei der Wiedergabe wird mittels HRTFs die Räumlichkeit erzeugt, während mittels hörraumoptimierter Übertragungs- funktionen die Anpassung der Räumlichkeit an die aktuelle Hörraumsituation erreicht wird. In anderen Worten heißt es, dass die hörraumoptimierten Übertragungsfunktionen eine Anpassung bzw. Nachbearbeitung der HRTFs oder der durch die HRTFs bearbeiteten Signale vornimmt. Im Ergebnis kann so bei der Wiedergabe von Audioinhalten die Divergenz zwischen dem wiederzugebenden Raum, definiert durch das Mehrkanalaudiomate- rial, und dem Abhörraum, in dem sich der Hörer befindet, reduziert werden. In accordance with the core idea, the present invention thus provides the prerequisites for considering cognitive effects in the reproduction of multichannel stereo. For this purpose, according to a first aspect, hearing-room-optimized transmission functions for the respective listening room in which, for example, an auditory scene should be reproduced by means of a headphone (generally by means of a binaural close-range sound transducer) are determined. The determination of the hearing-space-optimized transfer function corresponds in principle to the derivation of a room-acoustic filter on the basis of the determined or measured room acoustics with the objective of reproducing the acoustic properties of the real space synthetically. In a second step, the auditory scene can then be reproduced in accordance with a second aspect of the invention, both with the aid of the HRTFs and with the aid of the hearing room-optimized transfer functions as a room sound simulation. During playback, the spatiality is generated by means of HRTFs, while the adjustment of the spatiality to the current listening room situation is achieved by means of hearing room-optimized transmission functions. In other words, it is said that the hearing-space-optimized transmission functions perform an adaptation or post-processing of the HRTFs or the signals processed by the HRTFs. As a result, when reproducing audio content, the divergence between the space to be played, defined by the multi-channel audio material, and the listening room in which the listener is located can be reduced.
Für die Ermittlung der hörraumoptimierten Übertragungsfunktionen gibt es unterschiedliche Möglichkeiten, nämlich entsprechend einer ersten Variante die messtechnische Ermittlung unter Zuhilfenahme einer Testschallquelle und eines Mikrofons, so dass die Raumakustik über eine Teststrecke in dem Abhörraum analysiert werden kann, um ein akustisches Model des Raums zu erhalten. Entsprechend einer zweiten Variante können auch natürlich vorkommende Geräusche, wie z.B. eine Stimme, als Testsignale genutzt werden. Die zweite Variante bietet insbesondere den Vorteil, dass praktisch jedes elektrische Endgerät mit einem Mikrofon, wie z.B. ein Mobiltelefon oder ein Smartphone, auf dem die oben beschrieben Funktionalität implementiert ist, ausreicht, um die Raumakustik zu ermitteln. Entsprechend einer dritten Variante kann die Analyse des Abhörraums bzw. die Ermittlung des akustischen Raummodels auf Basis von geometrischen Modellen erfolgen. Denkbar wäre es in diesem Zusammenhang auch, dass ein geometrisches Modell optisch, z.B. mit einer Kamera, die typischerweise auch in mobilen Endgeräten (wie Mobiltelefonen) integriert ist, erfasst wird, um so im Nachgang das akustische Modell des Ab- hörraums zu errechnen. Ausgehend von einem so ermittelten akustischen Raummodell können nun die hörraumoptimierten Übertragungsfunktionen bestimmt werden. There are different possibilities for determining the hearing-space-optimized transmission functions, namely the metrological determination with the aid of a test sound source and a microphone, so that the room acoustics can be analyzed over a test track in the listening room in order to obtain an acoustic model of the room. According to a second variant can Also naturally occurring noises, such as a voice, are used as test signals. The second variant offers the particular advantage that virtually every electrical terminal with a microphone, such as a mobile phone or a smartphone, on which the functionality described above is implemented, sufficient to determine the room acoustics. According to a third variant, the analysis of the listening room or the determination of the acoustic spatial model can be based on geometric models. It would also be conceivable in this connection for a geometric model to be detected optically, eg with a camera which is typically also integrated in mobile terminals (such as mobile telephones) in order subsequently to calculate the acoustic model of the auditory room. Starting from an acoustic spatial model determined in this way, the hearing-room-optimized transmission functions can now be determined.
Entsprechend weiteren Ausführungsbeispielen kann nicht nur dem Abhörraum alleine Rechnung getragen werden, sondern auch einer Positionierung des Hörers in dem Abhör- räum. Hintergrund hierzu ist, dass sich die Raumakustik bzw. akustische Wahrnehmung entsprechend ändert, je nachdem ob die Hörposition sich näher an der Wand befindet oder in welche Richtung der Hörer schaut. Somit kann entsprechend weiteren Ausführungsbeispielen eine Vielzahl an richtungsabhängigen und/oder positionsabhängigen Übertragungsfunktionen (Übertragungsfunktionen-Scharen) innerhalb der hörraumopti- mierten Übertragungsfunktionen hinterlegt sein, die hier beispielsweise in Abhängigkeit von der Position des Hörers in dem Abhörraum oder von dem Blickwinkel des Hörers ausgewählt werden. According to further embodiments, not only the listening room alone be taken into account, but also a positioning of the listener in the listening room. The background to this is that the room acoustics or acoustic perception changes accordingly, depending on whether the listening position is closer to the wall or in which direction the listener is looking. Thus, according to further embodiments, a plurality of direction-dependent and / or position-dependent transfer functions (transfer function flocks) be deposited within the Hörraumopti- mierten transfer functions, which are selected here, for example, depending on the position of the listener in the listening room or from the viewpoint of the listener.
Auch in Bezug auf die hörraumoptimierte Übertragungsfunktionen ist es vorteilhaft, wenn in der Vorrichtung zur räumlichen Wiedergabe oder in der an die Vorrichtung angekoppelten Datenbank eine Vielzahl von hörraumoptimierten Übertragungsfunktionen-Scharen für unterschiedliche Abhörräume hinterlegt sind, so dass diese in Abhängigkeit davon, in welchem Raum der Hörer sich gerade befindet, abrufbar sind. Hierzu kann beispielsweise die Vorrichtung zur räumlichen Wiedergabe auch eine Positionsbestimmungsvorrichtung, wie z.B. ein GPS umfassen. Also in relation to the hearing room optimized transfer functions, it is advantageous if in the device for spatial reproduction or in the database coupled to the device, a plurality of hearing room optimized transfer function sets are deposited for different listening rooms, so that this depending on in which room the Listener is currently available, are available. For this purpose, for example, the spatial reproduction apparatus may also comprise a position determining device, such as e.g. include a GPS.
Entsprechend weiteren Ausführungsbeispielen ist es auch möglich, neben der oder parallel zu der Abhörraumcharakteristik dem wiederzugebenden Audiomaterial die entsprechende Charakteristik eines virtuellen Lautsprechersetups aufzuprägen, welches bei- spielsweise dem realen Lautsprechersetup in dem Abhörraum entspricht oder frei konfiguriert ist. Weitere Ausführungsbeispiele beziehen sich auf die entsprechenden Verfahren zur Ermittlung der hörraumoptimierten Übertragungsfunktionen und zur Wiedergabe von Mehrkanal-Stereo-Audiosignalen (oder objektbasierten Audiosignaien oder WFS- Audiosignalen) unter Nutzung der hörraumoptimierten Übertragungsfunktionen. According to further embodiments, it is also possible, in addition to or parallel to the Abhörraumcharakteristik the audio material to be reproduced the corresponding characteristic of a virtual speaker setup, which corresponds for example to the real speaker setup in the listening room or is freely configured. Further exemplary embodiments relate to the corresponding methods for determining the audio-space-optimized transmission functions and for reproducing multi-channel stereo audio signals (or object-based audio signals or WFS audio signals) using the audio-space-optimized transmission functions.
Nachfolgende Ausführungsbeispiele werden anhand der beiliegenden Figuren im Detail erläutert. Es zeigen: ein schematisches Blockschaltbild einer Vorrichtung zur Ermittlung von für einen Abhörraum hörraumoptimierten Übertragungsfunktionen; ein schematisches Flussdiagramm eines Verfahrens bei der Ermittlung hörraumoptimierter Übertragungsfunktionen; ein schematisches Blockschaltbild einer Vorrichtung zur räumlichen Wiedergabe von Mehrkanal-Stereo-Audiomaterial unter Berücksichtigung hörraumoptimierter Übertragungsfunktionen; ein schematisches Flussdiagramm für ein Verfahren zur räumlichen Wiedergabe von Mehrkanal-Stereo-Audiomateriai unter Berücksichtigung hörraumoptimierter Übertragungsfunktionen; und ein schematisches Blockschaltbild eines Systems zur Ermittlung und Nutzung von hörraumoptimierten Übertragungsfunktionen. The following embodiments will be explained in detail with reference to the accompanying figures. FIG. 1 shows a schematic block diagram of a device for determining hearing-room-optimized transmission functions for a listening room; FIG. a schematic flow diagram of a method in the determination of hearing room optimized transfer functions; a schematic block diagram of an apparatus for the spatial reproduction of multi-channel stereo audio material taking into account hearing-space optimized transfer functions; a schematic flowchart for a method for the spatial reproduction of multi-channel stereo audio Materiai taking into account hearing-space optimized transfer functions; and a schematic block diagram of a system for detecting and using hearing room optimized transmission functions.
Bevor nachfolgend Ausführungsbeispiele der vorliegenden Erfindung anhand der beiliegenden Zeichnungen näher erläutert werden, sei darauf hingewiesen, dass gleiche Elemente oder gleichwirkende Elemente mit gleichen Bezugszeichen versehen sind, so dass die Beschreibung derer aufeinander anwendbar bzw. austauschbar ist. Before embodiments of the present invention are explained in more detail below with reference to the accompanying drawings, it should be noted that like elements or equivalent elements are given the same reference numerals, so that the description of which is mutually applicable or interchangeable.
Im Vorfeld zu der Beschreibung der Erfindung wird nachfolgend auf die Motivation bei der Erfassung und Auralisation der Raumakustik eines Abhörraums zur standortabhängigen räumlichen Tonwiedergabe über Kopfhörer eingegangen. In diesem Zusammenhang wird auch kurz auf die Binauralsynthese eingegangen und ein Überblick über die für die Bin- auralsynthese genutzten Außenohrübertragungsfunktionen (HRTFs) und die in den Au- ßenohrübertragungsfunktionen enthaltenen, manipulierbaren Variablen gegeben. Anhand dieses Überblicks wird ferner auch aufgezeigt, inwieweit die HRTFs durch die zu ermittelnden hörraumoptimierten Übertragungsfunktionen TF angepasst werden, um den Raumakustikbedingungen erfindungsgemäß Rechnung zu tragen. In the run-up to the description of the invention, the motivation for recording and auralizing the room acoustics of a listening room for location-dependent spatial sound reproduction via headphones will be discussed below. In this context, a brief discussion of the binaural synthesis and an overview of the outer ear transmission functions (HRTFs) used for the bina- ral synthesis and the given transmission manipulation variables contained. On the basis of this overview, it is also shown to what extent the HRTFs are adapted by the hearing-space-optimized transfer functions TF to be determined in order to take into account the room acoustics conditions according to the invention.
Die Binauralsynthese basiert darauf, dass ein Audiosignal vor Ausgabe über einen Schallwandler (bevorzugt direkt an einem der Ohren) mit einer bestimmten Filterfunktion bzw. HRTF gefiltert wird, wobei die Filtercharakteristik sich je Richtungsvektor bzw. je virtueller Schallquelle unterscheidet, um so Raumklang, z.B. bei Nutzung eines Kopfhö- rers, zu emulieren. Die Filterfunktionen/HRTFs sind den natürliche Scha!lloka!isierungs- mechanismen des menschlichen Gehörs nachempfunden. Hierdurch ist es möglich, das Audiosignal in der analogen oder digitalen Domäne so zu bearbeiten bzw. diesem eine akustische Charakteristik aufzuprägen, als ob dieses von einer beliebigen Position im Raum ausgesendet wird. Die Mechanismen bei der Lokalisierung von Schall sind: The binaural synthesis is based on filtering an audio signal before output via a sound transducer (preferably directly on one of the ears) with a specific filter function or HRTF, the filter characteristic differing per directional vector or virtual sound source so as to produce surround sound, e.g. when using a headphone, to emulate. The filter functions / HRTFs are modeled on the natural damaging mechanisms of human hearing. This makes it possible to edit the audio signal in the analog or digital domain so or to impose an acoustic characteristic on it, as if this is sent from any position in space. The mechanisms in the localization of sound are:
- Erkennung der seitliche Einfallsrichtung; - Detection of the lateral direction of incidence;
- Erkennung der Einfallsrichtung in der medialen Ebene; und  - detection of the direction of incidence in the medial plane; and
- Erkennung der Entfernung. Für die Lokalisierung in Bezug auf die seitliche Einfallsrichtung sind akustische Merkmale wie Laufzeitdifferenzen zwischen links/rechts und (frequenzabhängige) Pegeldifferenzen zwischen links/rechts maßgeblich. Bei den Laufzeitunterschieden kann insbesondere zwischen Phasenlaufzeit bei niedrigen Frequenzen und Gruppenlaufzeit bei hohen Frequenzen unterschieden werden. Diese Laufzeitunterschiede können über einen beliebigen Stereo-Treiber via Signalverarbeitung nachgebildet werden. Die Bestimmung der Einfallsrichtung in der medialen Ebene basiert insbesondere darauf, dass die Ohrmuschel und/oder dem Gehörgangseingang eine richtungsselektive Filterung des akustischen Signals durchführt. Diese Filterung ist frequenzselektiv, so dass ein Audiosignal vorab mit einem derartigen Frequenzfilter gefiltert werden kann, um eine bestimmte Einfallsrichtung vorzutäuschen bzw. eine Räumlichkeit zu emulieren. Die Bestimmung der Entfernung einer Schallquelle von dem Hörer basiert auf unterschiedlichen Mechanismen. Die Hauptmechanismen sind Lautstärke, frequenzselektiven Filterung des zurückgelegten Schallwegs, Schallreflexion und Anfangszeitlücke. Ein Großteil der oben genannten Faktoren ist personenindividuell. Personenindividuelle Variable können z.B. der Ohrenab- stand sowie die Form der Ohrmuschel sein, die sich insbesondere auf die seitliche und die mediale Lokalisierung auswirkt. Durch Manipulation eines Audiosignals in Hinblick auf die genannten Mechanismen erfolgt die Raumklangemulation, wobei die Manipulationsparameter (je Raumrichtung und Entfernung) in den HRTFs hinterlegt sind. - Detection of the distance. For the localization with respect to the lateral direction of incidence, acoustic characteristics such as differences in transit time between left / right and (frequency-dependent) level differences between left / right are decisive. In the runtime differences can be distinguished in particular between phase delay at low frequencies and group delay at high frequencies. These runtime differences can be simulated via any stereo driver via signal processing. The determination of the direction of incidence in the medial plane is based in particular on the fact that the auricle and / or the auditory canal entrance performs a direction-selective filtering of the acoustic signal. This filtering is frequency selective, so that an audio signal can be filtered in advance with such a frequency filter to simulate a particular direction of arrival or to emulate a spatiality. The determination of the distance of a sound source from the listener is based on different mechanisms. The main mechanisms are volume, frequency-selective filtering of the traveled sound path, sound reflection and initial time gap. Much of the above factors are person-specific. Person-individual variables can be, for example, the distance between the ears and the shape of the auricle, which has an effect on the lateral and medial localization. By manipulating an audio signal with regard to the mechanisms mentioned are the spatial sound emulation, wherein the manipulation parameters (per spatial direction and distance) are stored in the HRTFs.
Diese HRTFs (Außenohrübertragungsfunktionen) sind in erster Linie für die Freifeldschal- lausbreitung gedacht. Hintergrund hierzu ist, dass die oben genannten drei Faktoren zur Lokalisierung für die Anwendung in geschlossenen Räumen insoweit verfälscht werden, dass der von einer Schallquelle ausgesandte Schall nicht nur direkt, sondern auch in reflektierter Form (z.B. über Wände) zu dem Hörer gelangt, was eine Veränderung der akustischen Wahrnehmung zu Folge hat. In Räumen kommt es also zu Direktschali und zu (später eintreffenden) reflektierten Schall, wobei diese Schallarten für den Hörer beispielsweise anhand von Laufzeit für bestimmte Frequenzgruppen und/oder Position der sekundären Schallquelle im Raum differenzierbar sind. Diese (Hall-)Parameter sind ferner von der Raumgröße und Beschaffenheit (z.B. Dämpfung, Form) abhängig, sodass ein Hörer die Raumgröße und Beschaffenheit abschätzen kann. Da diese Raumakustikpara- meter grundsätzlich über dieselben Mechanismen wahrgenommen werden wie die der Lokalisierung, ist die Raumakustik ebenfalls binaural emulierbar. Zur Emulation der Raumakustik wird die HRTF mittels der RRTF zu der binauralen Raumimpulsantwort (BRIR) erweitert, die dem Hörer im Falle der Kopfhörerwiedergabe bestimmte akustische Raumbedingungen simuliert. So erfolgt je nach virtueller Raumgröße eine Veränderung des Hallverhaltens, einer Verschiebung von Sekundärschallquellen, eine Veränderung der Lautheit der Sekundärschallquellen, insbesondere in Relation zu der Lautheit der Primärschallquellen. These HRTFs (outer ear transmission functions) are intended primarily for the free-field sound propagation. The background to this is that the above three factors for localization for indoor use are distorted to the extent that the sound emitted by a sound source reaches the listener not only directly but also in a reflected form (eg via walls) Change in the acoustic perception has consequences. In rooms, it comes to direct shali and (later arriving) reflected sound, these sounds for the listener, for example, based on maturity for certain frequency groups and / or position of the secondary sound source in space are differentiable. These (Hall) parameters also depend on the room size and nature (e.g., attenuation, shape) so that a listener can estimate the room size and texture. Since these room acoustics parameters are basically perceived via the same mechanisms as those of the localization, the room acoustics can also be binaurally emulated. To emulate room acoustics, the RRTF extends the HRTF to the binaural room impulse response (BRIR), which simulates the listener with certain acoustic room conditions in the case of headphone reproduction. Thus, depending on the virtual room size, a change in the Hall behavior, a shift of secondary sound sources, a change in the loudness of the secondary sound sources, in particular in relation to the loudness of the primary sound sources.
Wie eingangs bereits erwähnt, spielen beim Hörer auch kognitive Effekte eine große Rol- le. Untersuchungen zu derartigen kognitiven Effekten haben ergeben, dass die Relevanz von Parametern wie dem Übereinstimmungsgrad zwischen dem Abhörraum und dem zu synthetisierendem Raum, das Zustandekommen einer plausiblen auditiven Illusion hoch sind. Der Fachmann spricht im Falle einer geringen Divergenz zwischen Abhörraum und wiederzugebendem Raum von geringer Externizität des Hörereignisses. As already mentioned, cognitive effects also play a major role for the listener. Studies on such cognitive effects have shown that the relevance of parameters such as the degree of agreement between the listening room and the space to be synthesized, the emergence of a plausible auditory illusion are high. The expert speaks in the case of a small divergence between listening room and room to be reproduced by low externality of the auditory event.
Motiviert hierdurch soll nun die Binauralsynthese derart erweitert werden, dass die bin- aurale Simulation einer auditiven Szene an den Kontext der Nutzung angepasst werden kann. Im Detail erfolgt eine Anpassung der Simulation an die Abhörbedingungen, wie beispielsweise an eine aktuelle Raumakustik (Dämpfung) und die Geometrie des Abhör- raums. Hierzu können die Distanzwahrnehmung, die Wahrnehmung von Räumlichkeit und die Richtungswahrnehmung so variiert werden, dass sie in Bezug auf den aktuellen Ab- hörraum plausibel erscheinen. Variationsparameter sind beispielsweise die HRTF- bzw. RRTF-Merkmale, wie z.B. Laufzeitdifferenzen, Pegeldifferenzen, frequenzselektive Filterung oder Anfangszeitlücke. Die Anpassung erfolgt beispielsweise in der Art, dass eine Raumgröße mit einem bestimmten Hallverhalten (Nachhallverhalten bzw. Reflexionsver- halten) emuliert wird oder Abstände z.B. zwischen Hörer und Schallquelle auf einen Maximalwert begrenzt werden. Weiterer Einflussfaktor auf das Raumklangverhalten sind die Position des Nutzers in dem Abhörraum, da es in Hinblick auf Hall und Reflexion entscheidend ist, ob der Nutzer zentral im Raum oder in der Nähe einer Wand steht. Auch dieses Verhalten ist durch Anpassung der HRTF- bzw. RRTF-Parameter emulierbar. Nachfolgend wird erläutert, wie bzw. mit welchen Mitteln die Anpassung der HRTF- bzw. RRTF-Parameter vorgenommen wird, um die Plausibilität der akustischen Simulation Vorort zu verbessern. Motivated by this, the binaural synthesis is to be expanded in such a way that the binaural simulation of an auditory scene can be adapted to the context of its use. In detail, the simulation is adapted to the listening conditions, such as current room acoustics (attenuation) and the geometry of the interception room. For this purpose, the perception of distance, the perception of spatiality and the perception of direction can be varied in such a way that they relate to the current situation. hearing room seem plausible. Variation parameters are, for example, the HRTF or RRTF features, such as time differences, level differences, frequency-selective filtering or initial time gap. The adaptation takes place, for example, in such a way that a room size with a certain Hall behavior (reverberation behavior or reflection behavior) is emulated or distances between the listener and the sound source, for example, are limited to a maximum value. Another factor influencing the surround sound behavior is the position of the user in the listening room, since it is crucial in terms of reverberation and reflection whether the user is centrally located in the room or in the vicinity of a wall. This behavior can also be emulated by adjusting the HRTF or RRTF parameters. The following section explains how or by which means the adaptation of the HRTF or RRTF parameters is carried out in order to improve the plausibility of the acoustic simulation on-site.
Das Konzept zur Auralisation der Raumakustik umfasst in der grundlegenden Struktur zwei Bestandteile, die einerseits durch zwei unabhängige Vorrichtungen und andererseits durch zwei entsprechende Verfahren repräsentiert werden. Bezug nehmen auf Fig. 1 a und 1 b wird der erste Bestandteil, nämlich die Erfassung von hörraumoptimierten Übertragungsfunktionen TF erläutert, bevor Bezug nehmend auf Fig. 2a und 2b die Nutzung der hörraumoptimierten Übertragungsfunktionen TF erläutert werden. The concept of auralization of room acoustics in the basic structure comprises two components, which are represented on the one hand by two independent devices and on the other by two corresponding methods. 1 a and 1 b, the first component, namely the acquisition of hearing-room-optimized transmission functions TF is explained, before referring to FIGS. 2a and 2b, the use of the hearing-room-optimized transmission functions TF will be explained.
Fig. 1 a zeigt eine Vorrichtung 10 zur Ermittlung von für einen Abhörraum 12 optimierten Übertragungsfunktionen TF (Transfer Funktion). Zur Ermittlung der hörraumoptimierten Übertragungsfunktionen TF wird der Abhörraum 12 bzw. die Raumakustik desselben analysiert. Deshalb umfasst die Vorrichtung 10 eine Schnittstelle, z.B. wie hier illustriert eine Mikrofonschnittstelle (vgl. Bezugszeichen 14), zur Erfassung von hörraumbezogenen Daten. Da die hörraumoptimierte Übertragungsfunktionen TF, auf Basis welcher anschließend mittels Binauralsynthese einem akustischen Material die Abhörraumcharakteristik aufgeprägt werden soll, typischerweise derart ausgelegt wird, dass bereits vorhandene HRTFs angepasst werden, kann die Vorrichtung 10 die Übertragungsfunktionen TF unter Berücksichtigung der zu nutzenden HRTFs ermitteln. Insofern umfasst die Vorrichtung 10 optionaler Weise eine weitere Schnittstelle zum Einlesen bzw. zum Weiterleiten von HRTFs. 1 a shows a device 10 for determining transmission functions TF optimized for a monitoring room 12 (transfer function). To determine the hearing room-optimized transfer functions TF of the monitoring room 12 and the room acoustics of the same is analyzed. Therefore, the device 10 includes an interface, e.g. As here illustrated, a microphone interface (see reference numeral 14) illustrates auditory space related data. Since the hearing-space-optimized transfer functions TF, on the basis of which the listening space characteristic is to be impressed on an acoustic material by means of binaural synthesis, is typically designed such that already existing HRTFs are adapted, the device 10 can determine the transfer functions TF taking into account the HRTFs to be used. In this respect, the device 10 optionally includes a further interface for reading in or forwarding HRTFs.
Nachfolgend werden ausgehend von der Vorrichtung 10 unterschiedliche Vorgehenswei- sen für die Ermittlung der Raumakustik erläutert, auf Basis welcher dann in einem nachgelagerten Schritt die hörraumoptimierte Übertragungsfunktionen TF bestimmt werden. Entsprechend einer ersten Variante ist die Erfassung der vorherrschenden raumakustischen Bedingungen des Abhörraums messtechnisch möglich. Beispielsweise wird durch ein akustisches Messverfahren die Raumakustik des Abhörraums 12 unter Zuhilfenahme der Vorrichtung 10 vermessen. Dazu wird dann ein Testsignai, ausgesendet über einen optionalen Lautsprecher (nicht dargestellt), verwendet. Die Wiedergabe des Testsignals bzw. die Ansteuerung des Lautsprechers kann hierbei über die Vorrichtung 10 erfolgen, wenn die Vorrichtung 10 hierzu eine Lautsprecherschnittstelle (nicht dargestellt) oder den Lautsprecher selbst umfasst. Das über den Lautsprecher in den Raum 12 abgestrahlte Messsignal wird mittels des Mikrofons 14 aufgezeichnet, so dass ausgehend von der Sig- nalveränderung über die Messstrecke (zwischen Lautsprechermikrofon) die Raumakustik bestimmt werden kann, so dass zumindest eine hörraumoptimierte Übertragungsfunktion TF z.B. für eine Raumrichtung oder eine Mehrzahl an hörraumoptimierten Übertragungsfunktionen TF ableitbar ist. Aus der gemessenen Übertragungsfunktion aus einer Richtung werden für den Hörraum relevante raumakustische Parameter abgeleitet. Diese wer- den genutzt, um die hörraumoptimierten Übertragungsfunktionen TF für die anderen benötigten Richtungen zu generieren. Hierfür können bspw. durch Stauchung und/oder Streckung von Bereichen der Impulsantwort (Übertragungsfunktion im Zeitbereich) die diskreten ersten Reflexionen an andere Raumrichtungen und Distanz der abzubildenden virtuellen Schallquellenpositionen angepasst werden. Die für die Richtungswahrnehmung relevanten Informationen liegen in den HRTFs vor. Um die hörraumoptimierten Übertragungsfunktionen TF für alle Raumrichtungen oder in einer sehr hohen Genauigkeit zu ermitteln, kann es entsprechend weiteren Ausführungsbeispielen vorteilhaft sein, die Analyse mittels des Testsignals für unterschiedliche Positionen von Mikrofon 14 und Lautsprecher in dem Abhörraum 12 zu wiederholen. Hereinafter, starting from the device 10, different procedures for determining the room acoustics will be explained on the basis of which the hearing room-optimized transmission functions TF will then be determined in a subsequent step. According to a first variant, the detection of the prevailing room acoustic conditions of the listening room is metrologically possible. For example, the room acoustics of the listening room 12 are measured by means of an acoustic measuring method with the aid of the device 10. For this purpose, a test signal, transmitted via an optional loudspeaker (not shown), is used. The reproduction of the test signal or the control of the loudspeaker can in this case take place via the device 10, if the device 10 for this purpose comprises a loudspeaker interface (not shown) or the loudspeaker itself. The measurement signal radiated into the room 12 via the loudspeaker is recorded by means of the microphone 14, so that the room acoustics can be determined based on the signal change over the measuring path (between loudspeaker microphone), so that at least one hearing room optimized transfer function TF eg for a spatial direction or a plurality of hearing-room-optimized transmission functions TF can be derived. From the measured transfer function from one direction relevant room acoustic parameters are derived for the listening room. These are used to generate the hearing-room-optimized transfer functions TF for the other required directions. By way of example, by compressing and / or stretching regions of the impulse response (transfer function in the time domain), the discrete first reflections can be adapted to other spatial directions and distance of the virtual sound source positions to be imaged. The information relevant for directional perception is available in the HRTFs. In order to determine the hearing room-optimized transmission functions TF for all spatial directions or in a very high accuracy, it may be advantageous according to further embodiments to repeat the analysis by means of the test signal for different positions of microphone 14 and speakers in the listening room 12.
Entsprechend einer weiteren Variante kann die Ermittlung der Raumakustik unter Verwendung von akustischen Signalen, die bereits durch den Abhörraum 12 verhalt sind, geschätzt werden. Beispiele für derartige Signale sind die sowieso vorhandenen Umgebungsgeräusche, wie auch ein Sprachsignal eines Nutzers. Die hierzu eingesetzten Algo- rithmen leiten sich aus Algorithmen zur Entfernung von Nachhall aus einem Sprachsignal ab. Hintergrund hierzu ist, dass typischerweise bei den Enthallungsalgorithmen eine Schätzung über die auf dem zu enthallenden Signal liegenden Raumübertragungsfunktion erfolgt. Bis dato werden diese Algorithmen dazu genutzt, um ein Filter zu bestimmen, welches angewendet auf das Originalsignal möglichst das unverhallte Signal zum Ergebnis hat. In der Anwendung bei der Analyse der Raumakustik wird die Filterfunktion nicht bestimmt, sondern nur ein Schätzverfahren dazu verwendet, die Eigenschaften des Abhör- raums zu erkennen. Auch bei diesem Vorgehen kommt wiederum das Mikrofon 14, welches an die Vorrichtung 10 angekoppelt ist, zum Einsatz. According to a further variant, the determination of the room acoustics can be estimated by using acoustic signals that are already behaving through the listening room 12. Examples of such signals are the ambient sounds that are present anyway, as well as a voice signal of a user. The algorithms used for this purpose are derived from algorithms for removing reverberation from a speech signal. The background to this is that an estimation of the space transfer function lying on the signal to be contained is typically carried out in the reverberation algorithms. To date, these algorithms are used to determine a filter which, when applied to the original signal, results in the most likely unattenuated signal. In the application of the analysis of room acoustics, the filter function is not determined, but only an estimation method is used to evaluate the characteristics of the interception to recognize space. In this procedure, again, the microphone 14, which is coupled to the device 10, is used.
Entsprechend einer dritten Variante kann die Raumakustik basierend auf geometrischen Raumdaten simuliert werden. Dieses Vorgehen basiert darauf, dass geometrische Daten (z.B. Kantenabmessungen, freie Weglänge) eines Raumes 12 es ermöglichen, die Raumakustik abzuschätzen. Die Raumakustik des Raums 12 kann entweder direkt simuliert werden oder basierend auf raumakustischen Filterdatenbank, die akustische Vergleichsmodelle umfassen, näherungsweise bestimmt werden. In diesem Zusammenhang sind beispielsweise Verfahren wie das akustische Ray Tracing oder das Spiegelschallquellenverfahren in Verbindung mit einem Diffusschallmodell zu nennen. Die beiden genannten Verfahren setzen auf geometrischen Modellen des Abhörraums auf. Insofern muss die oben erläuterte Schnittstelle zur Erfassung von hörraumbezogenen Daten der Vorrichtung 10 nicht zwingendermaßen eine Mikrofonschnittstelle sein, sondern kann auch allgemein als Datenschnittstelle bezeichnet werden, die zum Einlesen von Geometriedaten dient. Ferner ist es auch möglich, dass weitere Daten über die Raumakustik hinaus mittels der Schnittstelle eingelesen werden, die beispielsweise Informationen über ein in dem Abhörraum vorhandenes Lautsprechersetup umfassen. Zur Akquise der geometrischen Raumdaten sind mehrere Möglichkeiten denkbar: Entsprechend einer ersten Untervariante können die Daten aus einer Geometriedatenbank, wie z.B. Google Maps Inhouse entnommen werden. Diese Datenbanken umfassen typischerweise geometrische Modelle, wie z.B. Vektormodelle von Raumgeometrien, ausgehend von welchen in erster Linie die Abstände, aber auch Reflektionscharakteristika be- stimmbar sind. Entsprechend einer weiteren Untervariante kann auch eine Bilddatenbank als Input genutzt werden, wobei dann im Nachgang mittels Bilderkennung die geometrischen Parameter in einem Zwischenschritt bestimmt werden. Entsprechend einer alternativen Untervariante wäre es auch möglich, anstatt Bildinformationen einer Bilddatenbank zu entnehmen, die Bildinformationen auch mittels einer Kamera oder allgemein eines op- tischen Sensors zu ermitteln, so dass direkt durch den Nutzer ein geometrisches Modell ermittelt werden kann. Ausgehend von der auf Basis von Bilddaten ermittelten Raumgeometrie kann dann analog zum vorherigen Punkt die Raumakustik simuliert werden. According to a third variant, the room acoustics can be simulated based on geometric spatial data. This approach is based on the fact that geometric data (e.g., edge dimensions, free path length) of a room 12 make it possible to estimate the room acoustics. The room acoustics of room 12 can either be simulated directly or approximated based on room acoustic filter database comprising comparative acoustic models. In this context, for example, methods such as the acoustic ray tracing or the mirror sound source method in conjunction with a diffuse sound model can be mentioned. The two methods mentioned are based on geometric models of the listening room. In this respect, the above-explained interface for recording hearing-room-related data of the device 10 does not necessarily have to be a microphone interface, but can also generally be referred to as a data interface which serves for reading geometry data. Furthermore, it is also possible that further data on the room acoustics are read in addition by means of the interface, which include, for example, information about an existing in the listening room speaker setup. Several possibilities are conceivable for acquiring the geometrical spatial data: According to a first sub-variant, the data can be retrieved from a geometry database, such as e.g. Google Maps are taken in-house. These databases typically include geometric models, e.g. Vector models of spatial geometries, from which primarily the distances, but also reflection characteristics can be determined. According to another sub-variant, an image database can also be used as input, in which case the geometric parameters are subsequently determined by means of image recognition in an intermediate step. According to an alternative sub-variant, it would also be possible, instead of extracting image information from an image database, to ascertain the image information also by means of a camera or in general an optical sensor, so that a geometric model can be determined directly by the user. Starting from the room geometry determined on the basis of image data, room acoustics can then be simulated analogously to the previous point.
Mittels diesen so simulierten Raumakustikmodelien werden in einem nachgelagerten Schritt für zumindest einen, bevorzugterweise für eine Vielzahl von Räumen, die hör- raumoptimierten Übertragungsfunktionen TF abgeleitet. Die Ableitung der hörraumopti- mierten Übertragungsfunktionen TF, weiche hinsichtlich ihrer Parameter mit den RRTFs vergleichbar ist, entspricht im Prinzip der Bestimmung einer Filterfunktion (je Raumrichtung), mittels welcher das akustische Verhalten im Raum, z.B. bei der Schallausbreitung in einer bestimmten Raumrichtung, nachbildbar ist. Die hörraumspezifischen Übertra- gungsfunktionen TF je Raum umfassen typischerweise eine Vielzahl an Übertragungsfunktionen, mittels welchen die Außenohrübertragungsfunktionen (zugeordnet zu einzelne Raumwinkeln) entsprechend (vergleichbar zu dem Vorgehen bei der Verarbeitung der Raumimpulsantwort) angepasst werden können. Die Anzahl an hörraumoptimierten Übertragungsfunktionen TF richtet sich deshalb typischerweise nach der Anzahl der Außeno- hrübertragungsfunktionen, die als Funktionsschar vorkommen und eine Vielzahl, nämlich für links/rechts und für die relevanten Richtungen besteht. Die genaue Anzahl an Außenohrübertragungsfunktionen im HRTF-Modell richtet sich nach der gewünschten Raumauflösungsfähigkeit und kann aufgrund dessen, dass auch H RTF-Modelle existieren, bei denen eine Großzahl der Richtungsvektoren mittels Interpolation ermittelt werden, erheblich variieren. Aus diesem Zusammenhang wird ersichtlich, warum es sinnvoll ist, dass die Vorrichtung zur Ermittlung der hörraumoptimierten Übertragungsfunktion TF das HRTF-Modell mit verwendet. In einem weiteren Schritt werden die ermittelten hörraumoptimierten Übertragungsfunktionen TF z.B. in einer raumakustischen Filterdatenbank, gespeichert. By means of these so simulated Raumakustikmodelien the hearing-space-optimized transfer functions TF are derived in a subsequent step for at least one, preferably for a plurality of rooms. The derivation of the auditory room opti- mated transfer functions TF, which is comparable in terms of their parameters with the RRTFs, corresponds in principle to the determination of a filter function (per spatial direction), by means of which the acoustic behavior in the room, eg in the sound propagation in a particular spatial direction, can be reproduced. The hearing room-specific transmission functions TF per room typically comprise a multiplicity of transmission functions by means of which the outer ear transmission functions (assigned to individual room angles) can be adapted accordingly (comparable to the procedure for processing the room impulse response). The number of hearing-space-optimized transmission functions TF therefore typically depends on the number of outer-clock transmission functions which occur as a functional group and a multiplicity, namely for left / right and for the relevant directions. The exact number of outer ear transmission functions in the HRTF model will vary according to the desired spatial resolution capability, and may vary considerably due to the existence of H RTF models in which a large number of directional vectors are determined by interpolation. From this context, it becomes clear why it makes sense for the device for determining the hearing-space-optimized transfer function TF to use the HRTF model. In a further step, the determined auditory-space-optimized transfer functions TF are stored, for example, in a room-acoustic filter database.
Entsprechend einem weiteren Ausführungsbeispiel kann auch je Abhörraum auch eine Vielzahl an hörraumoptimierten Übertragungsfunktionen-Scharen (TF) ermittelt und gespeichert werden, wodurch Rechnung getragen wird, dass die Abhörraumfunktionen bzw. das akustische Verhalten im Abhörraum je nach Position des Hörers unterschiedlich ist. In anderen Worten ausgedrückt heißt es also, dass je (möglicher) Position des Nutzers in dem Abhörraum 12 eine eigene hörraumoptimierte Übertragungscharakteristik ermittelbar ist, wobei die Ermittlung derselben auf ein und demselben akustischen Modell des Abhörraums 12 basieren kann. Infolgedessen ist vorteilhafterweise die Analyse des Abhörraums nur einmal durchzuführen. Entsprechend einem weiteren Ausführungsbeispiel können auch je Raumrichtung in welche der Nutzer schaut unterschiedliche raumoptimierte Übertragungsfunktionen-Scharen (TF) ermittelt werden. According to a further exemplary embodiment, a multitude of hearing-room-optimized transmission function groups (TF) can also be determined and stored per monitoring room, which takes into account that the listening room functions or the acoustic behavior in the listening room differs depending on the position of the listener. In other words, it is stated that depending on the (possible) position of the user in the listening room 12, a separate hearing room-optimized transmission characteristic can be determined, the determination of which can be based on one and the same acoustic model of the listening room 12. As a result, the analysis of the listening room is advantageously carried out only once. According to a further embodiment, different space-optimized transmission functions flocks (TF) can also be determined per spatial direction into which the user is viewing.
Die oben beschriebene Vorrichtung 10 kann unterschiedlich ausgeführt sein. Entsprechend bevorzugten Ausführungsbeispielen ist die Vorrichtung 10 als mobiles Gerät aus- geführt, wobei dann der Sensor 14, wie z.B. das Mikrofon oder die Kamera, entsprechend integriert sein kann. D.h. also, dass sich weitere Ausführungsbeispiele auf eine Vorrich- tung zur Bestimmung der hörraumoptimierten Übertragungsfunktion TF beziehen, die einerseits die Analyseeinheit 10 und andererseits ein Mikrofon und/oder eine Kamera umfassen. Hierbei kann die Analyseeinheit 10 beispielsweise als Hardware implementiert oder Software-basiert ausgeführt sein. Also umfassen Ausführungsbeispiele der Vorrich- tung 10 eine interne oder via Cloudcomputing angebundene CPU oder eine andere Logik, die ausgebildet ist, um die Ermittlung von hörraumoptimierten Übertragungsfunktionen TF und/oder die Hörraumanalyse durchzuführen. Nachfolgend wird Bezug nehmend auf Fig. 1 b das Verfahren bzw. insbesondere die Grundschritte des Verfahrens, auf welchen der Algorithmus für Software-implementierte Ermittlung von hörraumoptimierten Übertra- gungsfunktionen TF basiert, erläutert. The device 10 described above can be designed differently. According to preferred embodiments, the device 10 is designed as a mobile device, in which case the sensor 14, such as the microphone or the camera, can be integrated accordingly. This means that further exemplary embodiments are based on a tion for determining the hearing-space-optimized transfer function TF relate, on the one hand, the analysis unit 10 and on the other hand, a microphone and / or a camera. In this case, the analysis unit 10 can be implemented, for example, as hardware or software-based. Thus, embodiments of the device 10 include an internal or cloud-connected CPU or other logic that is configured to perform the determination of auditory-space optimized transmission functions TF and / or listening room analysis. In the following, with reference to FIG. 1b, the method or, in particular, the basic steps of the method on which the algorithm for software-implemented determination of hearing-room-optimized transmission functions TF is based is explained.
Fig. 1 b zeigt ein Flussdiagramm 100 des Verfahrens bei der Ermittlung der für einen hörraumoptimierten Übertragungsfunktionen TF. Das Verfahren 100 umfasst den zentralen Schritt 1 10 des Ermitteins der hörraumoptimierten Übertragungsfunktionen TF. Wie oben bereits erläutert, basiert der Schritt 1 10 auf der Analyse der Raumakustik 120 (vgl. Schritt 120 „Raumakustik analysieren") und optionaler Weise auch auf vorhandenen HRTF- Funktionen. Ausgehend von dem Schritt 1 10 kann ein weiterer optionaler Schritt, nämlich des Speicherns der Übertragungsfunktionen TF folgen. Dieser Schritt ist mit dem Bezugszeichen 130 versehen. FIG. 1b shows a flow diagram 100 of the method for determining the transfer room-optimized transfer functions TF. The method 100 comprises the central step 1 10 of determining the hearing-room-optimized transmission functions TF. As already explained above, step 1 10 is based on the analysis of the room acoustics 120 (compare step 120 "Analyzing Room Acoustics") and optionally also on existing HRTF functions Starting from the step 1 10, another optional step, namely the Storing the transfer functions TF. This step is designated by reference numeral 130.
Entsprechend weiteren Ausführungsbeispielen wäre es bei dem im Rahmen der Fig. 1 a und 1 b erläuterten Ausführungsbeispielen auch denkbar, dass gleichsam mit dem Ermitteln der hörraumoptimierten Übertragungsfunktionen TF auch eine Bestimmung der Position des Abhörraums erfolgt, so dass der so erhaltene Datensatz über die Position direkt dem Abhörraum zugeordnet werden kann. Dies bietet den Vorteil, dass im Fall des späteren Abrufens der hörraumoptimierten Übertragungsfunktionen TF aus einer Datenbank eine Zuordnung des jeweiligen Datensatzes ausgehend von einer Positionsbestimmung möglich ist. Nachfolgend wird Bezug nehmend auf Fig. 2a und 2b die Nutzung der eben ermittelten hörraumoptimierten Übertragungsfunktionen TF erläutert. According to further exemplary embodiments, it would also be conceivable in the exemplary embodiments explained in connection with FIGS. 1 a and 1 b that determination of the position of the monitoring room takes place, as it were with the determination of the hearing room-optimized transmission functions TF, so that the data record thus obtained is transmitted directly via the position can be assigned to the listening room. This offers the advantage that, in the case of later retrieval of the hearing room-optimized transfer functions TF from a database, it is possible to assign the respective data record on the basis of a position determination. In the following, reference will be made to FIGS. 2a and 2b to explain the use of the just-determined hearing room-optimized transmission functions TF.
Fig. 2a zeigt eine Vorrichtung zur räumlichen Wiedergabe 20 unter Zuhilfenahme eines binauralen Nahbereichsschallwandlers 22. Die Funktionalität der Vorrichtung 20 wird un- ter anderem unter Zuhilfenahme des Flussdiagramms aus Fig. 2b, welches das Verfahren 200 der Wiedergabe illustriert, erläutert. Die Vorrichtung 20 ist dazu ausgebildet, das Au- diosignal 24, wie z.B. ein Mehrkanal-Stereo-Audiosignal (oder ein objektbasiertes Audiosignal oder ein Audiosignal auf Basis eines Wellenfeldsynthese-Algorithmus (WFS)) wiederzugeben, und um gleichzeitig Raumklang zu emulieren (vgl. Schritt 210). Hierzu führt die Wiedergabevorrichtung 20 eine Bearbeitung des Audiosignals unter Zuhilfenahme von HRTFs und unter Zuhilfenahme der hörraumoptimierten Übertragungsfunktionen TF durch. FIG. 2 a shows a device for spatial reproduction 20 with the aid of a binaural local area sound transducer 22. The functionality of the device 20 is explained inter alia with the aid of the flowchart from FIG. 2 b, which illustrates the method 200 of the reproduction. The device 20 is designed to 24, such as reproducing a multi-channel stereo audio signal (or an object-based audio signal or an audio signal based on a Wave Field Synthesis Algorithm (WFS)) and simultaneously emulating surround sound (see step 210). For this purpose, the reproduction apparatus 20 carries out a processing of the audio signal with the aid of HRTFs and with the aid of the hearing room-optimized transmission functions TF.
Die Vorrichtung 20 kann einen HRTF-/TF-Speicher umfassen oder ist beispielsweise mit einer Datenbank verbunden, auf welche die HRTFs, wie auch die entsprechend obigen Verfahren ermittelten hörraumoptimierten Übertragungsfunktionen TF gespeichert sind. Entsprechend bevorzugten Ausführungsbeispielen erfolgt vor der Signalverarbeitung des Audiosignals ein Kombinieren (vgl. Schritt 220) der HRTF mit der TF bzw. ein Anpassen der HRTF auf Basis der TF. Das Ergebnis dieses Kombinierens ist eine mit der BRIR (Raumimpulsantwort) vergleichbare Übertragungsfunktion BRIR', mit welcher dann schlussendlich das Audiosignal 24 bearbeitet wird, um den Raumklang zu emulieren (vgl. Schritt 210). Diese Bearbeitung entspricht im Prinzip einem Anwenden eines BRIR'- basierten Filters auf das Audiosignal. Somit ist es also möglich, Binauralsynthese in Kombination mit der Verhallung der Audiosignale in Abhängigkeit von den in dem Abhörraum vorherrschenden akustischen Bedingungen durchzuführen, so dass bei der Wiedergabe ein hoher Grad an Übereinstimmung zwischen dem synthetisierten Raum und dem Abhörraum entsteht. Folglich stimmt der synthetisierte Raum (zumindest annährend) mit dem Erwartungshorizont des Nutzers überein, was die Plausibilität der Szene erhöht. The device 20 may comprise an HRTF / TF memory or is connected, for example, to a database on which the HRTFs as well as the hearing-room-optimized transmission functions TF determined in accordance with the above methods are stored. According to preferred embodiments, before the signal processing of the audio signal, combining (see step 220) the HRTF with the TF or adjusting the HRTF based on the TF. The result of this combining is a BRIR 'transfer function comparable to the BRIR (spatial impulse response), which is then used to process the audio signal 24 to emulate the surround sound (see step 210). This processing is basically equivalent to applying a BRIR 'based filter to the audio signal. Thus, it is thus possible to perform binaural synthesis in combination with the reverberation of the audio signals in response to the acoustic conditions prevailing in the listening room, so that a high degree of correspondence between the synthesized room and the listening room arises during the reproduction. Thus, the synthesized space (at least approximately) matches the user's expectation horizon, which increases the plausibility of the scene.
Entsprechend Ausführungsbeispielen kann die Vorrichtung 20 auch die Positionsbestim- mungseinheit, wie z.B. einem GPS-Empfänger, umfassen, mittels weicher die aktuelle Position des Hörers feststellbar ist. Ausgehend von der festgestellten Position kann nun der Abhörraum ermittelt werden und die dem Abhörraum zugeordnete hörraumoptimierte Übertragungsfunktionen TF geladen (und ggf. bei einem Raumwechsel aktualisiert) werden. Optional ist es auch möglich, mittels dieser Positionsbestimmungseinrichtung die Position des Hörers in dem Abhörraum zu ermitteln, um hier auch noch, sofern gespeichert, die Unterschiede in der Akustik in Abhängigkeit von der Position des Hörers in dem Raum darzustellen. Diese Positionsbestimmungseinheit kann entsprechend dritten Ausführungsbeispielen auch durch eine Orientierungsbestimmungseinheit erweitert werden, so dass auch die Blickrichtung des Hörers bestimmbar ist und die TFs in Abhängigkeit von der bestimmten Blickrichtung entsprechend geladen werden, um der richtungsabhängigen Abhörraumakustik gerecht zu werden. Ausgehend von dieser Basisbetrachtung der zwei Einheiten 10 und 20 wird nun ein erweitertes Ausführungsbeispiei von Fig. 3 erläutert. Fig. 3 zeigt eine schematische Darstellung des Signalflusses beim Abhören von angepassten raumakustischen Simulationen zur Verwendung mit der Binauralsynthese ausgehend von einem System 10 + 20, welches die Vorrichtung zur Bestimmung der TFs und die Vorrichtung zur Wiedergabe der Audiosignale unter Nutzung der TFs umfasst. According to embodiments, the device 20 may also include the position determination unit, such as a GPS receiver, by means of which the current position of the listener can be determined. Starting from the determined position, the monitoring room can now be determined and the hearing room-optimized transmission functions TF associated with the monitoring room can be loaded (and, if necessary, updated during a room change). Optionally, it is also possible to determine the position of the listener in the listening room by means of this position-determining device in order to also represent, if stored, the differences in the acoustics as a function of the position of the listener in the room. According to third exemplary embodiments, this position determination unit can also be extended by an orientation determination unit so that the viewing direction of the listener can also be determined and the TFs are correspondingly loaded depending on the particular viewing direction in order to cope with the direction-dependent monitoring room acoustics. Based on this basic consideration of the two units 10 and 20, an extended Ausführungsbeispiei of Fig. 3 will now be explained. 3 shows a schematic representation of the signal flow when listening to adapted room acoustic simulations for use with binaural synthesis from a system 10 + 20 comprising the device for determining the TFs and the device for reproducing the audio signals using the TFs.
Eine derartiges System 10 + 20 kann beispielsweise als mobiles Endgerät (z.B. als Smartphone) implementiert sein, auf dem auch die wiederzugebende Datei gespeichert ist. Das System 10 + 20 ist prinzipiell eine Kombination der Vorrichtung 10 aus Fig. 1 a und der Vorrichtung 20 aus Fig. 1 b, wobei die einzelnen Bestandteile zur funktionsorien- tierten Erläuterung anders untergliedert sind. Das System 10 + 20 umfasst eine Funktionseinheit zur Auralisation des Abhörraums 20a und eine Funktionseinheit zur Binauralsynthese 20b. Ferner umfasst das System 10 + 20 einen Funktionsblock 10a zur Modellierung der Raumakustik und einen Funktionsblock 10b zur Modellierung des Übertragungsverhaltens. Die Modellierung der Raumakustik basiert wiederum auf einer Erfassung des Abhörraums, welche mit dem Funktionsblock 10c zur Erfassung der Raumakustik durchgeführt wird. Des Weiteren umfasst das System 10 + 20 in der dargestellten Ausführungsform zwei Speicher, nämlich einen zur Speicherung von Szenenpositionsdaten 30a und einen zur Speicherung von HRTF-Daten 30b. Nachfolgend wird ausgehend von dem Informationsfluss bei der Wiedergabe die Funktionalität des Systems 10 + 20 erläutert, wobei davon ausgegangen wird, dass der Abhör- räum dem System 10 + 20 bekannt ist oder mittels eines Positionsbestimmungsverfahrens (vgl. oben) bereits bestimmt ist. Such a system 10 + 20 may, for example, be implemented as a mobile terminal (e.g., a smartphone) on which the file to be played is also stored. The system 10 + 20 is in principle a combination of the device 10 of FIG. 1 a and the device 20 of FIG. 1 b, wherein the individual components are subdivided differently for function-oriented explanation. The system 10 + 20 comprises a functional unit for the auralization of the listening room 20a and a functional unit for the binaural synthesis 20b. Furthermore, the system 10 + 20 includes a function block 10a for modeling the room acoustics and a function block 10b for modeling the transmission behavior. The modeling of the room acoustics in turn is based on a detection of the listening room, which is performed with the function block 10c for detecting the room acoustics. Further, in the illustrated embodiment, the system 10 + 20 includes two memories, one for storing scene position data 30a and one for storing HRTF data 30b. The functionality of the system 10 + 20 is explained below on the basis of the information flow during reproduction, it being assumed that the interception space is known to the system 10 + 20 or has already been determined by means of a position determination method (see above).
Bei der Wiedergabe von kanalbasierten bzw. objektbasierten Audiodaten 24 mit dem Kopfhörer 22 werden die Audiodaten in einem ersten Schritt der Signalverarbeitungsein- heit 20a zugeführt, die die vorher modellierte Raumübertragungsfunktion TF auf das Signal 24 anwendet und dieses verhallt. Die Modellierung der Raumübertragungsfunktion TF erfolgt in einem Signalverarbeitungsblock 10a, wobei diese Modellierung durch das Mo- dellierungsübertragungsverhalten (vgl. Funktionsblock 10b) überlagert sein kann, wie nachfolgend erläutert wird. Dieser zweite (optionale) Funktionsblock 10b modelliert ein virtuelles Lautsprechersetup in dem jeweiligen Abhörraum. So kann also dem Nutzer ein akustisches Verhalten emuliert werden, als ob die abzuspielende Audiodatei auf einem bestimmten Lautsprechersetup (2.0, 5.1 , 9.2) wiedergegeben wird. Hierbei ist dann insbesondere die Lautspre- cherposition fix mit dem Abhörraum verbunden und den jeweiligen Lautsprechern auch ein bestimmtes Übertragungsverhalten, z.B. definiert durch die Frequenzgang und Richtungscharakteristik oder unterschiedliche Pegelverhalten, zugeordnet. Hier ist es auch möglich, besondere Schallquellentypen, z.B. eine Spiegelschallquelle fix im Raum zu positionieren. Das Lautsprechersetup wird auf Basis der Szenenpositionsdaten modelliert, die Information über die Position, den Abstand oder auch den Typ des virtuellen Lautsprechers umfassen. Diese Szenenpositionsdaten können einem real vorhandenen Lautsprechersetup entsprechen, oder auf Basis eines virtuellen Lautsprechersetups basieren und sind typischerweise durch den Nutzer individualisierbar. Nach der Verhallung in der Auralisationsverarbeitungseinheit 20a werden die verhallten Signale der Binauralsynthese 20b zugeführt, die durch einen Satz richtungsgebender HRTF-Filter (vgl. 30b) die Richtung der virtuellen Lautsprecher auf das dem Lautsprecher zugehörigen Audiomaterial aufprägen. Das Binauralsynthesesystem kann, wie bereits oben erläutert, optionaler Weise die Kopfdrehung des Hörers auswerten. Das Resultat ist ein Kopfhörersignal, was durch eine entsprechende Entzerrung auf einen speziellen Kopfhörer angepasst werden kann, wobei sich das akustische Signal so verhält, als ob es mit einem spezifischen Lautsprechersetup in dem jeweiligen Abhörraum abgegeben wurde. Das System 10 + 20 kann beispielsweise als mobiles Endgerät oder aus Komponenten einer Heimkinoanlage ausgeführt sein. Im Allgemeinen sind Anwendungsgebiete die Wiedergabe von Musik und Entertainmentinhalten, wie z.B. Ton für Film oder Spielton über den binauralen Nahbereichsschallwandler. An dieser Stelle sei angemerkt, dass entsprechend einem alternativen Ausführungsbeispiel die Vorrichtung 20 aus Fig. 2a ebenfalls so ausgelegt sein kann, auf Basis von Szenenpositionsdaten ein bestimmtes Lautsprechersetup bzw. die Wiedergabe eines Audiosignals für ein bestimmtes Lautsprechersetup zu emulieren. Entsprechend kann auch gemäß einem weiteren Ausführungsbeispiel die Vorrichtung 10 dazu ausgebildet sein, die Szenenpositionsdaten eines Lautsprechersetups in dem Abhörraum 12 (z.B. über eine akustische Messung) zu ermitteln, so dass dieses Lautsprechersetup mit der Vorrichtung 20 emuliert werden kann. In the reproduction of channel-based or object-based audio data 24 with the headphone 22, the audio data is supplied in a first step to the signal processing unit 20a, which applies the previously modeled space transfer function TF to the signal 24 and dies out. The modeling of the space transfer function TF takes place in a signal processing block 10a, this modeling being superimposed by the modeling transfer behavior (see function block 10b), as will be explained below. This second (optional) function block 10b models a virtual speaker setup in the respective listening room. Thus, the user can be emulated an acoustic behavior as if the audio file to be played on a particular speaker setup (2.0, 5.1, 9.2) is played. In this case, in particular the loudspeaker position is fixedly connected to the listening room and the respective loudspeakers are also assigned a specific transmission behavior, eg defined by the frequency response and directional characteristic or different level behavior. Here it is also possible to position special sound source types, eg a mirror sound source, in the room. The speaker setup is modeled based on the scene position data that includes information about the position, distance, or type of the virtual speaker. This scene position data may correspond to a real existing speaker setup, or based on virtual speaker setup, and is typically customizable by the user. After the reverberation in the auralization processing unit 20a, the reverberated signals are fed to the binaural synthesis 20b which impress the direction of the virtual loudspeakers onto the audio material associated with the loudspeaker through a set of directional HRTF filters (see Fig. 30b). As already explained above, the binaural synthesis system can optionally evaluate the head rotation of the listener. The result is a headphone signal, which can be adjusted by appropriate equalization to a particular headphone, with the acoustic signal behaving as if it were being delivered with a specific speaker setup in the respective listening room. The system 10 + 20 may be implemented, for example, as a mobile terminal or components of a home theater system. In general, applications are the reproduction of music and entertainment content, such as sound by film or sound over the binaural Nahbereichsschallwandler. It should be noted that according to an alternative embodiment, the device 20 of FIG. 2a may also be configured to emulate a particular loudspeaker setup or the reproduction of an audio signal for a particular loudspeaker setup based on scene position data. Accordingly, according to a further embodiment, the device 10 may be adapted to the scene position data of a speaker setup in the listening room 12 (eg via a acoustic measurement), so that this speaker setup can be emulated with the device 20.
Obwohl manche Aspekte im Zusammenhang mit einer Vorrichtung beschrieben wurden, versteht es sich, dass diese Aspekte auch eine Beschreibung des entsprechenden Verfahrens darstellen, sodass ein Block oder ein Bauelement einer Vorrichtung auch als ein entsprechender Verfahrensschritt oder als ein Merkmal eines Verfahrensschrittes zu verstehen ist. Analog dazu stellen Aspekte, die im Zusammenhang mit einem oder als ein Verfahrensschritt beschrieben wurden, auch eine Beschreibung eines entsprechenden Blocks oder Details oder Merkmals einer entsprechenden Vorrichtung dar. Einige oder alle der Verfahrensschritte können durch einen Hardware-Apparat (oder unter Verwendung eines Hardware-Apparats), wie zum Beispiel einen Mikroprozessor, einen programmierbaren Computer oder eine elektronische Schaltung ausgeführt werden. Bei einigen Ausführungsbeispielen können einige oder mehrere der wichtigsten Verfahrensschritte durch einen solchen Apparat ausgeführt werden. Although some aspects have been described in the context of a device, it will be understood that these aspects also constitute a description of the corresponding method, so that a block or a component of a device is also to be understood as a corresponding method step or as a feature of a method step. Similarly, aspects described in connection with or as a method step also represent a description of a corresponding block or detail or feature of a corresponding device. Some or all of the method steps may be performed by a hardware device (or using a hardware device). Apparatus), such as a microprocessor, a programmable computer or an electronic circuit. In some embodiments, some or more of the most important method steps may be performed by such an apparatus.
Ein erfindungsgemäß codiertes Signal, wie beispielsweise ein Audiosignal oder ein Videosignal oder ein Transportstromsigna!, kann auf einem digitalen Speichermedium gespeichert sein oder kann auf einem Übertragungsmedium wie beispielsweise einem draht- losen Übertragungsmedium oder einem verdrahteten Übertragungsmedium, z.B. dem Internet, übertragen werden A signal coded according to the invention, such as an audio signal or a video signal or a transport stream signal, may be stored on a digital storage medium or may be stored on a transmission medium such as a wireless transmission medium or a wired transmission medium, e.g. the internet
Das erfindungsgemäße kodierte Audiosignal kann auf einem digitalen Speichermedium gespeichert sein, oder kann auf einem Übertragungsmedium, wie beispielsweise einem drahtlosen Übertragungsmedium oder einem drahtgebundenen Übertragungsmedium, wie beispielsweise dem Internet, übertragen werden. The encoded audio signal of the present invention may be stored on a digital storage medium, or may be transmitted on a transmission medium such as a wireless transmission medium or a wired transmission medium such as the Internet.
Je nach bestimmten Impiementierungsanforderungen können Ausführungsbeispiele der Erfindung in Hardware oder in Software implementiert sein. Die Implementierung kann unter Verwendung eines digitalen Speichermediums, beispielsweise einer Floppy-Disk, einer DVD, einer Blu-ray Disc, einer CD, eines ROM, eines PROM, eines EPROM, eines EEPROM oder eines FLASH-Speichers, einer Festplatte oder eines anderen magnetischen oder optischen Speichers durchgeführt werden, auf dem elektronisch lesbare Steuersignale gespeichert sind, die mit einem programmierbaren Computersystem derart zu- sammenwirken können oder zusammenwirken, dass das jeweilige Verfahren durchgeführt wird. Deshalb kann das digitale Speichermedium computerlesbar sein. Manche Ausführungsbeispiele gemäß der Erfindung umfassen also einen Datenträger, der elektronisch lesbare Steuersignale aufweist, die in der Lage sind, mit einem programmierbaren Computersystem derart zusammenzuwirken, dass eines der hierin be- schriebenen Verfahren durchgeführt wird. Depending on certain implementation requirements, embodiments of the invention may be implemented in hardware or in software. The implementation may be performed using a digital storage medium, such as a floppy disk, a DVD, a Blu-ray Disc, a CD, a ROM, a PROM, an EPROM, an EEPROM or FLASH memory, a hard disk, or other magnetic disk or optical memory are stored on the electronically readable control signals, which can cooperate with a programmable computer system or cooperate such that the respective method is performed. Therefore, the digital storage medium can be computer readable. Thus, some embodiments according to the invention include a data carrier having electronically readable control signals capable of interacting with a programmable computer system to perform one of the methods described herein.
Allgemein können Ausführungsbeispiele der vorliegenden Erfindung als Computerprogrammprodukt mit einem Programmcode implementiert sein, wobei der Programmcode dahin gehend wirksam ist, eines der Verfahren durchzuführen, wenn das Computerpro- grammprodukt auf einem Computer abläuft. In general, embodiments of the present invention may be implemented as a computer program product having a program code, wherein the program code is operable to perform one of the methods when the computer program product runs on a computer.
Der Programmcode kann beispielsweise auch auf einem maschinenlesbaren Träger gespeichert sein. Andere Ausführungsbeispiele umfassen das Computerprogramm zum Durchführen eines der hierin beschriebenen Verfahren, wobei das Computerprogramm auf einem maschinenlesbaren Träger gespeichert ist. The program code can also be stored, for example, on a machine-readable carrier. Other embodiments include the computer program for performing any of the methods described herein, wherein the computer program is stored on a machine-readable medium.
Mit anderen Worten ist ein Ausführungsbeispiel des erfindungsgemäßen Verfahrens somit ein Computerprogramm, das einen Programmcode zum Durchführen eines der hierin beschriebenen Verfahren aufweist, wenn das Computerprogramm auf einem Computer abläuft. In other words, an embodiment of the method according to the invention is thus a computer program which has a program code for performing one of the methods described herein when the computer program runs on a computer.
Ein weiteres Ausführungsbeispiel der erfindungsgemäßen Verfahren ist somit ein Daten- träger (oder ein digitales Speichermedium oder ein computerlesbares Medium), auf dem das Computerprogramm zum Durchführen eines der hierin beschriebenen Verfahren aufgezeichnet ist. A further embodiment of the method according to the invention is thus a data medium (or a digital storage medium or a computer-readable medium) on which the computer program is recorded for performing one of the methods described herein.
Ein weiteres Ausführungsbeispiel des erfindungsgemäßen Verfahrens ist somit ein Da- tenstrom oder eine Sequenz von Signalen, der bzw. die das Computerprogramm zum Durchführen eines der hierin beschriebenen Verfahren darstellt bzw. darstellen. Der Datenstrom oder die Sequenz von Signalen kann bzw. können beispielsweise dahin gehend konfiguriert sein, über eine Datenkommunikationsverbindung, beispielsweise über das Internet, transferiert zu werden. Ein weiteres Ausführungsbeispiel umfasst eine Verarbeitungseinrichtung, beispielsweise einen Computer oder ein programmierbares Logikbauelement, die dahin gehend konfiguriert oder angepasst ist, eines der hierin beschriebenen Verfahren durchzuführen. Ein weiteres Ausführungsbeispiel umfasst einen Computer, auf dem das Computerprogramm zum Durchführen eines der hierin beschriebenen Verfahren installiert ist. A further exemplary embodiment of the method according to the invention is thus a data stream or a sequence of signals which represents or represents the computer program for performing one of the methods described herein. The data stream or the sequence of signals may be configured, for example, to be transferred via a data communication connection, for example via the Internet. Another embodiment includes a processing device, such as a computer or a programmable logic device, that is configured or adapted to perform one of the methods described herein. Another embodiment includes a computer on which the computer program is installed to perform one of the methods described herein.
Ein weiteres Ausführungsbeispiel gemäß der Erfindung umfasst eine Vorrichtung oder ein System, die bzw. das ausgelegt ist, um ein Computerprogramm zur Durchführung zumin- dest eines der hierin beschriebenen Verfahren zu einem Empfänger zu übertragen. Die Übertragung kann beispielsweise elektronisch oder optisch erfolgen. Der Empfänger kann beispielsweise ein Computer, ein Mobilgerät, ein Speichergerät oder eine ähnliche Vorrichtung sein. Die Vorrichtung oder das System kann beispielsweise einen Datei-Server zur Übertragung des Computerprogramms zu dem Empfänger umfassen. Another embodiment according to the invention comprises a device or system adapted to transmit a computer program for performing at least one of the methods described herein to a receiver. The transmission can be done for example electronically or optically. The receiver may be, for example, a computer, a mobile device, a storage device or a similar device. For example, the device or system may include a file server for transmitting the computer program to the recipient.
Bei manchen Ausführungsbeispielen kann ein programmierbares Logikbauelement (beispielsweise ein feldprogrammierbares Gatterarray, ein FPGA) dazu verwendet werden, manche oder alle Funktionalitäten der hierin beschriebenen Verfahren durchzuführen. Bei manchen Ausführungsbeispielen kann ein feldprogrammierbares Gatte rarray mit einem Mikroprozessor zusammenwirken, um eines der hierin beschriebenen Verfahren durchzuführen. Allgemein werden die Verfahren bei einigen Ausführungsbeispielen seitens einer beliebigen Hardwarevorrichtung durchgeführt. Diese kann eine universell einsetzbare Hardware wie ein Computerprozessor (CPU) sein oder für das Verfahren spezifische Hardware, wie beispielsweise ein ASIC. In some embodiments, a programmable logic device (eg, a field programmable gate array, an FPGA) may be used to perform some or all of the functionality of the methods described herein. In some embodiments, a field programmable gate rarray may cooperate with a microprocessor to perform one of the methods described herein. In general, in some embodiments, the methods are performed by any hardware device. This may be a universal hardware such as a computer processor (CPU) or hardware specific to the process, such as an ASIC.
Die oben beschriebenen Ausführungsbeispiele stellen lediglich eine Veranschaulichung der Prinzipien der vorliegenden Erfindung dar. Es versteht sich, dass Modifikationen und Variationen der hierin beschriebenen Anordnungen und Einzelheiten anderen Fachleuten einleuchten werden. Deshalb ist beabsichtigt, dass die Erfindung lediglich durch den Schutzumfang der nachstehenden Patentansprüche und nicht durch die spezifischen Einzelheiten, die anhand der Beschreibung und der Erläuterung der Ausführungsbeispiele hierin präsentiert wurden, beschränkt sei. The embodiments described above are merely illustrative of the principles of the present invention. It will be understood that modifications and variations of the arrangements and details described herein will be apparent to others of ordinary skill in the art. Therefore, it is intended that the invention be limited only by the scope of the appended claims and not by the specific details presented in the description and explanation of the embodiments herein.

Claims

Patentansprüche claims
Vorrichtung (10) zur Ermittlung von für einen Abhörraum (12) hörraumoptimierten Übertragungsfunktionen (TF), die für den Abhörraum (12) abgeleitet ist und welche zur hörraumoptimierten Nachbearbeitung von Audiosignalen (24) bei der räumlichen Wiedergabe dienen, wobei die räumliche Wiedergabe der Audiosignale (24) mittels eines binaura!en Nahbereichsschallwandlers (22) unter Zuhilfenahme von bekannten Außenohrübertragungsfunktionen (HRTF) und unter Zuhilfenahme der hörraumoptimierten Übertragungsfunktionen (TF) emuliert wird, wobei basierend auf den Außenohrübertragungsfunktionen (HRTF) ein zu synthetisierender Raum emulierbar ist und wobei basierend auf den hörraumoptimierten Übertragungsfunktionen (TF) der Abhörraum (12) emulierbar ist, wobei die Vorrichtung (10) ausgebildet ist, um eine Raumakustik des Abhörraums (12) zu analysieren und um ausgehend von der Analyse der Raumakustik die hörraumoptimierten Übertragungsfunktionen (TF) für den Abhörraum (12), in welchem die räumliche Wiedergabe mittels des binauralen Nahbereichsschallwandlers (22) erfolgen soll, zu ermitteln. Device (10) for determining for a listening room (12) auditory space optimized transfer functions (TF), which is derived for the listening room (12) and which are used for the hearing room optimized post-processing of audio signals (24) in the spatial reproduction, wherein the spatial reproduction of the audio signals (24) is emulated by means of a binaural close-range sound transducer (22) with the aid of known external ear transmission functions (HRTF) and with the aid of the hearing room-optimized transmission functions (TF), wherein a space to be synthesized can be emulated based on the outer ear transmission functions (HRTF) and based on the hearing room optimized transfer functions (TF) of the listening room (12) is emulated, wherein the device (10) is designed to analyze a room acoustics of the listening room (12) and starting from the analysis of the room acoustics the hearing room optimized transfer functions (TF) for the listening room (12), in wel chem to be the spatial reproduction by means of the binaural Nahbereichsschallwandlers (22) to determine.
Vorrichtung (10) gemäß Anspruch 1 , wobei die Vorrichtung (10) ein Mikrophon (14) einer tragbaren Vorrichtung zur akustischen Messung umfasst und/oder wobei die Analyse der Raumakustik des Abhörraums (12) mittels akustischer Messung in dem Abhörraum (12) unter Zuhilfenahme von Umgebungsgeräuschen und/oder unter Zuhilfenahme von einem Testsignal erfolgt. Device (10) according to claim 1, wherein the device (10) comprises a microphone (14) of a portable device for acoustic measurement and / or wherein the analysis of the room acoustics of the listening room (12) by means of acoustic measurement in the listening room (12) with the aid from ambient noise and / or with the aid of a test signal.
Vorrichtung (10) gemäß Anspruch 1 , wobei die Analyse de der Raumakustik des Abhörraums (12) auf Berechnung eines geometrischen Modells des Abhörraums (12) und/oder auf Modellierung des geometrischen Modells basierend auf einem kamerabasierten Modell des Abhörraums (12) basiert. The apparatus (10) of claim 1, wherein the room acoustics analysis of the listening room (12) is based on calculating a geometric model of the listening room (12) and / or modeling the geometric model based on a camera-based model of the listening room (12).
Vorrichtung (10) gemäß Anspruch 2 oder 3, wobei die hörraumoptimierten Übertragungsfunktionen (TF) so gewählt sind, dass auf Basis dieser eine Raumakustik des Abhörraums (12) emulierbar ist. Device (10) according to claim 2 or 3, wherein the hearing room optimized transfer functions (TF) are selected so that on the basis of this room acoustics of the listening room (12) can be emulated.
5. Vorrichtung (10) gemäß einem der Ansprüche 1 bis 4, wobei die Vorrichtung (10) ausgebildet ist, die hörraumoptimierten Übertragungsfunktionen (TF) unter Berücksichtigung eines virtuellen Lautsprechersetups zu ermitteln, entsprechend welchem eine Anzahl virtueller Lautsprecher in dem Abhörraum (12) positioniert ist. 5. Device (10) according to one of claims 1 to 4, wherein the device (10) is adapted to determine the Hörraumoptimierten transfer functions (TF) taking into account a virtual speaker setup, according to which a number of virtual speakers in the listening room (12) positioned is.
6. Vorrichtung (10) gemäß einem der Ansprüche 1 bis 5, wobei die bekannten Au- ßenohrübertragungsfunktionen (HRTF) eine Vielzahl an einzelnen Übertragungsfunktionen (TF) für das linke und das rechte Ohr umfassen, die richtungsgebundenen Vektoren für eine Vielzahl von virtuellen Schallquellen zugeordnet sind. The apparatus (10) of any one of claims 1 to 5, wherein the known external ear transmission functions (HRTF) comprise a plurality of individual left and right ear transfer functions (TF) associated with directional vectors for a plurality of virtual sound sources are.
7. Vorrichtung (10) gemäß einem der Ansprüche 1 bis 6, wobei die hörraumoptimierten Übertragungsfunktionen (TF) eine Vielzahl an einzelnen, richtungsabhängigen Übertragungsfunktionen (TF) umfasst. 7. Device (10) according to one of claims 1 to 6, wherein the hearing-space-optimized transmission functions (TF) comprises a plurality of individual, direction-dependent transfer functions (TF).
8. Vorrichtung (10) gemäß einem der Ansprüche 1 bis 7, wobei das Emulieren der räumlichen Wiedergabe auf interauralen Merkmalen, Balance-Merkmalen und Ab- stands-Merkmalen basiert, wobei die interauralen Merkmale einen Zusammenhang zwischen einer Einfallsrichtung in der medialen Ebene und einer individuellen oder nicht-individuellen Au- ßenohrfilterung umfassen, wobei die Balance-Merkmale einen Zusammenhang zwischen einer seitlichen Einfallsrichtung und einer Lautstärkedifferenz und/oder einen Zusammenhang zwischen der seitlichen Einfallsrichtung und einer Laufzeitdifferenz umfassen, wobei die Entfernungs-Merkmale einen Zusammenhang zwischen einer virtuellen Entfernung und einer frequenzabhängigen Filterung und/oder einen Zusammenhang zwischen der virtuellen Entfernung und einer Anfangszeitlücke und/oder einen Zusammenhang zwischen der virtuellen Entfernung und einem Reflexionsverhalten umfassen. 8. The device according to claim 1, wherein the emulation of the spatial reproduction is based on interaural features, balance features and distance features, wherein the interaural features have a relationship between an incident direction in the medial plane and a medial plane individual or non-individual outer ear filtering, wherein the balance features include a relationship between a lateral direction of incidence and a volume difference and / or a relationship between the lateral direction of incidence and a transit time difference, wherein the distance features a relationship between a virtual distance and a frequency-dependent filtering and / or a relationship between the virtual distance and a start time gap and / or a relationship between the virtual distance and a reflection behavior include.
9. Vorrichtung (10) gemäß einem der Ansprüche 1 bis 8, wobei die binaurale Nahbe- reichsschallwandler (22) ein Kopfhörer ist, der ausgebildet ist, ein Mehrkanal- Stereo-Signal, ein objektbasiertes Audiosignal (24) und/oder ein Audiosignal (24) auf Basis eines Wellenfeldsynthese-Algorithmus als Audiosignal (24) auszugeben. Vorrichtung (10) gemäß einem der Ansprüche 1 bis 9, wobei die Vorrichtung (10) einen Speicher umfasst, in weichem eine Mehrzahl an hörraumoptimierten Übertragungsfunktionen-Scharen (TF) für eine Mehrzahl an Abhörräumen (12) hinterlegbar ist. 9. Device (10) according to one of claims 1 to 8, wherein the binaural proximity sound transducer (22) is a headset, which is designed, a multi-channel stereo signal, an object-based audio signal (24) and / or an audio signal ( 24) output on the basis of a wave field synthesis algorithm as an audio signal (24). Device (10) according to one of claims 1 to 9, wherein the device (10) comprises a memory in which a plurality of hearing-space-optimized transmission function flocks (TF) for a plurality of listening rooms (12) can be stored.
Verfahren (100) zur Ermittlung einer für einen Abhörraum (12) hörraumoptimierten Übertragungsfunktionen (TF), die für den Abhörraum (12) abgeleitet ist und welche zur hörraumoptimierten Nachbearbeitung von Audiosignalen (24) bei der räumlichen Wiedergabe dienen, wobei die räumliche Wiedergabe der Audiosignale (24) mittels eines binauralen Nahbereichsschallwandlers (22) unter Zuhilfenahme von bekannten Außenohrübertragungsfunktionen (HRTF) und unter Zuhilfenahme der hörraumoptimierten Übertragungsfunktionen (TF) emuliert wird, wobei basierend auf den Außenohrübertragungsfunktionen (HRTF) ein zu synthetisierender Raum emulierbar ist und wobei basierend auf den hörraumoptimierten Übertragungsfunktionen (TF) der Abhörraum (12) emulierbar ist, mit den Schritten: Method (100) for determining a listening room optimized for a listening room (12) transfer functions (TF), which is derived for the listening room (12) and which are used for the hearing room optimized post-processing of audio signals (24) in the spatial reproduction, wherein the spatial reproduction of the audio signals (24) is emulated by means of a binaural Nahbereichsschallwandlers (22) with the aid of known Außenohrübertragungsfunktionen (HRTF) and with the help of Hörraumoptimierten transfer functions (TF), based on the outer ear transfer functions (HRTF) a space to be synthesized and emulating based on the auditory space optimized Transfer functions (TF) of the listening room (12) can be emulated, with the steps:
Analysieren (120) einer vorherrschenden Raumakustik des Abhörraums (12); und Analyzing (120) a prevailing room acoustics of the listening room (12); and
Ermitteln (1 10) der hörraumoptimierten Übertragungsfunktionen (TF) für den Abhörraum (12), in welchem die räumliche Wiedergabe mittels des binauralen Nahbereichsschallwandlers (22) erfolgen soll, auf Basis der Analyse der Raumakustik. 12. Vorrichtung (20) zur räumlichen Wiedergabe eines Audiosignals (24) mittels eines binauralen Nahbereichsschallwandlers (22), wobei die räumliche Wiedergabe unter Zuhilfenahme von bekannten Außenohrübertragungsfunktionen (HRTF) und unter Zuhilfenahme von für einen Abhörraum (12) hörraumoptimierten Übertragungsfunktionen (TF) emuliert wird, wobei basierend auf den Außenohrübertragungsfunktionen (HRTF) ein zu synthetisierender Raum emulierbar ist und wobei basierend auf den hörraumoptimierten Übertragungsfunktionen (TF) der Abhörraum (12) emulierbar ist, wobei die hörraumoptimierte Übertragungsfunktionen (TF) im Vorfeld für den jeweiligen Abhörraum (12) ermittelt sind. Vorrichtung (20) gemäß Anspruch 12, wobei die Vorrichtung (20) einen ersten Speicher, in welchem eine erste Vielzahl an Übertragungsfunktionen-Scharen (TF) für unterschiedliche Abhörräume (12) gespeichert ist, und eine Positionsbestimmungseinheit umfasst, wobei die Positionsbestimmungseinheit ausgebildet ist, um die Position zu bestimmen und anhand der bestimmten Position den Abhörraum (12) zu ermitteln; und wobei die Vorrichtung (20) ausgebildet ist, um für die Emulierung der räumlichen Wiedergabe die entsprechenden Übertragungsfunktionen (TF) für den jeweiligen Abhörraum (12) aus den Übertragungsfunktionen-Scharen auszuwählen. Determining (1 10) of the hearing room-optimized transfer functions (TF) for the listening room (12) in which the spatial reproduction is to take place by means of the binaural Nahbereichsschallwandlers (22), based on the analysis of the room acoustics. 12. Device (20) for the spatial reproduction of an audio signal (24) by means of a binaural Nahbereichsschallwandlers (22), wherein the spatial reproduction with the aid of known Außenohrübertragungsfunktionen (HRTF) and with the help of a listening room (12) auditory space optimized transfer functions (TF) emulated in which, based on the outer ear transmission functions (HRTF), a space to be synthesized can be emulated, and based on the hearing room optimized transmission functions (TF), the listening room (12) can be emulated, whereby the hearing room optimized transmission functions (TF) are prepared in advance for the respective listening room (12). are determined. Device (20) according to claim 12, wherein the device (20) comprises a first memory, in which a first plurality of transfer function flocks (TF) for different listening rooms (12) is stored, and a position determining unit, wherein the position determining unit is formed, to determine the position and to determine the listening room (12) based on the determined position; and wherein the device (20) is designed to select, for the emulation of the spatial reproduction, the corresponding transfer functions (TF) for the respective listening room (12) from the transfer function groups.
Vorrichtung (20) gemäß einem der Ansprüche 12 oder 13, wobei die Vorrichtung (20) einen zweiten Speicher, in welchem eine zweite Vielzahl an Übertragungsfunktionen-Scharen (TF) für unterschiedliche Orientierungen gespeichert ist, und eine Orientierungsbestimmungseinheit umfasst, wobei die Orientierungsbestimmungseinheit ausgebildet ist, um eine Orientierung in dem Abhörraum (12) zu ermitteln, und wobei die Vorrichtung (20) ausgebildet ist, um für die Emulierung der räumlichen Wiedergabe die entsprechenden Übertragungsfunktionen (TF) für die jeweilige Orientierung aus den Übertragungsfunktionen-Scharen auszuwählen. The device (20) according to one of claims 12 or 13, wherein the device (20) comprises a second memory in which a second plurality of transfer functions flocks (TF) for different orientations is stored, and an orientation determination unit, wherein the orientation determination unit is formed to determine an orientation in the listening space (12), and wherein the device (20) is adapted to select, for the emulation of the spatial reproduction, the corresponding transfer functions (TF) for the respective orientation from the transfer function flocks.
Vorrichtung (20) gemäß einem der Ansprüche 12 bis 14, wobei die Vorrichtung (20) einen dritten Speicher, in welchem eine dritte Vielzahl an Übertragungsfunktionenscharen (TF) für unterschiedliche Positionen in dem Abhörraum (12) gespeichert ist, und eine weitere Positionsbestimmungseinheit umfasst, wobei die weitere Positionsbestimmungseinheit ausgebildet ist, um eine Position in dem Abhörraum (12) zu ermitteln, und wobei die Vorrichtung (20) ausgebildet ist, um für die Emulierung der räumlichen Wiedergabe die entsprechenden Übertragungsfunktionen (TF) für die jeweilige Position in dem Abhörraum (12) aus den Übertragungsfunktionen-Scharen auszuwählen. Device (20) according to one of claims 12 to 14, wherein the device (20) comprises a third memory in which a third plurality of transfer function sets (TF) for different positions in the listening room (12) is stored, and a further position determining unit, wherein the further position determining unit is adapted to detect a position in the listening room (12), and wherein the device (20) is adapted to emit the corresponding transfer functions (TF) for the emulation of the spatial reproduction Select position in the listening room (12) from the transfer functions flocks.
Vorrichtung (20) gemäß einem der Ansprüche 13 bis 15, wobei die Positionsbestimmungseinheit ausgebildet ist, um während der Wiedergabe die Positionen neu zu bestimmen, und wobei die Vorrichtung (20) ausgebildet ist, um basierend auf der aktualisierten Position die hörraumoptimierten Übertragungsfunktionen (TF) zu aktualisieren. The apparatus (20) according to any one of claims 13 to 15, wherein the position determination unit is adapted to re-position during playback, and wherein the apparatus (20) is adapted to use the hearing room optimized transmission functions (TF) based on the updated position. to update.
Verfahren (200) zur räumlichen Wiedergabe eines Audiosignals (24) mittels eines binauralen Nahbereichsschallwandlers (22), mit den Schritten: A method (200) for spatially reproducing an audio signal (24) by means of a binaural local area sound transducer (22), comprising the steps of:
Nachbearbeiten (210) des Audiosignals (24) unter Zuhilfenahme von bekannten Außenohrübertragungsfunktionen (HRTF) und unter Zuhilfenahme von für einen Abhörraum (12) hörraumoptimierten Übertragungsfunktionen (TF), welche für den Abhörraum (12), in welchem die Wiedergabe mittels des binauralen Nahbereichsschallwandlers (22) erfolgen soll, im Vorfeld ermittelt sind, wobei basierend auf den Außenohrübertragungsfunktionen (HRTF) ein zu synthetisierender Raum emulierbar ist und wobei basierend auf den hörraumoptimierten Übertragungsfunktionen (TF) der Abhörraum (12) emulierbar ist. Postprocessing (210) of the audio signal (24) with the aid of known external ear transmission functions (HRTF) and with the aid of a hearing room optimized transmission functions (TF) for a monitoring room (12). 22), are determined in advance, based on the outer ear transfer functions (HRTF) a space to be synthesized is emulated and based on the hearing room optimized transfer functions (TF) of the listening space (12) can be emulated.
Verfahren (200) gemäß Anspruch 17, wobei vor der Wiedergabe ein Kombinieren (220) der Außenohrübertragungsfunktionen (HRTF) und der hörraumoptimierten Übertragungsfunktionen (TF) zu einer Raumbezogenen Raumimpulsantwort (BRIR') erfolgt. The method (200) of claim 17, wherein prior to rendering, combining (220) the outer ear transmission functions (HRTF) and the hearing room optimized transmission functions (TF) into a spatial spatial impulse response (BRIR ').
System (10 + 20), umfassend: eine Vorrichtung (10) gemäß einem der Ansprüche 1 bis 10; und eine Vorrichtung (20) gemäß einem der Ansprüche 13 bis 16. A system (10 + 20) comprising: a device (10) according to any one of claims 1 to 10; and a device (20) according to one of claims 13 to 16.
20. Computerprogramm mit einem Programmcode zur Durchführung des Verfahrens (100; 200) nach Anspruch 1 1 oder 17, wenn das Programm auf einem Computer, einer CPU oder einem mobilen Endgerät abläuft. A computer program comprising program code for performing the method (100; 200) of claim 11 or 17 when the program is run on a computer, a CPU or a mobile terminal.
EP15724972.3A 2014-05-28 2015-05-15 Determination and use of auditory-space-optimized transfer functions Active EP3149969B1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102014210215.4A DE102014210215A1 (en) 2014-05-28 2014-05-28 Identification and use of hearing room optimized transfer functions
PCT/EP2015/060792 WO2015180973A1 (en) 2014-05-28 2015-05-15 Determination and use of auditory-space-optimized transfer functions

Publications (2)

Publication Number Publication Date
EP3149969A1 true EP3149969A1 (en) 2017-04-05
EP3149969B1 EP3149969B1 (en) 2019-09-18

Family

ID=53268781

Family Applications (1)

Application Number Title Priority Date Filing Date
EP15724972.3A Active EP3149969B1 (en) 2014-05-28 2015-05-15 Determination and use of auditory-space-optimized transfer functions

Country Status (7)

Country Link
US (1) US10003906B2 (en)
EP (1) EP3149969B1 (en)
JP (1) JP6446068B2 (en)
KR (1) KR102008771B1 (en)
CN (1) CN106576203B (en)
DE (1) DE102014210215A1 (en)
WO (1) WO2015180973A1 (en)

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2546504B (en) 2016-01-19 2020-03-25 Facebook Inc Audio system and method
US9591427B1 (en) * 2016-02-20 2017-03-07 Philip Scott Lyren Capturing audio impulse responses of a person with a smartphone
US10187740B2 (en) * 2016-09-23 2019-01-22 Apple Inc. Producing headphone driver signals in a digital audio signal processing binaural rendering environment
US11172320B1 (en) 2017-05-31 2021-11-09 Apple Inc. Spatial impulse response synthesis
CN109286889A (en) * 2017-07-21 2019-01-29 华为技术有限公司 A kind of audio-frequency processing method and device, terminal device
EP3454578B1 (en) * 2017-09-06 2020-11-04 Sennheiser Communications A/S A communication system for communicating audio signals between a plurality of communication devices in a virtual sound environment
US10390171B2 (en) * 2018-01-07 2019-08-20 Creative Technology Ltd Method for generating customized spatial audio with head tracking
US10764703B2 (en) 2018-03-28 2020-09-01 Sony Corporation Acoustic metamaterial device, method and computer program
ES2954317T3 (en) * 2018-03-28 2023-11-21 Fund Eurecat Reverb technique for 3D audio
US11617050B2 (en) 2018-04-04 2023-03-28 Bose Corporation Systems and methods for sound source virtualization
US11418903B2 (en) 2018-12-07 2022-08-16 Creative Technology Ltd Spatial repositioning of multiple audio streams
US10966046B2 (en) * 2018-12-07 2021-03-30 Creative Technology Ltd Spatial repositioning of multiple audio streams
US11113092B2 (en) 2019-02-08 2021-09-07 Sony Corporation Global HRTF repository
US20220312143A1 (en) * 2019-03-19 2022-09-29 Sony Group Corporation Acoustic processing apparatus, acoustic processing method, and acoustic processing program
US11451907B2 (en) 2019-05-29 2022-09-20 Sony Corporation Techniques combining plural head-related transfer function (HRTF) spheres to place audio objects
US11347832B2 (en) 2019-06-13 2022-05-31 Sony Corporation Head related transfer function (HRTF) as biometric authentication
US11146908B2 (en) 2019-10-24 2021-10-12 Sony Corporation Generating personalized end user head-related transfer function (HRTF) from generic HRTF
US11330371B2 (en) 2019-11-07 2022-05-10 Sony Group Corporation Audio control based on room correction and head related transfer function
US11070930B2 (en) * 2019-11-12 2021-07-20 Sony Corporation Generating personalized end user room-related transfer function (RRTF)
WO2021106613A1 (en) * 2019-11-29 2021-06-03 ソニーグループ株式会社 Signal processing device, method, and program
CN111031467A (en) * 2019-12-27 2020-04-17 中航华东光电（上海）有限公司 Method for enhancing front and back directions of hrir
CN111372167B (en) * 2020-02-24 2021-10-26 Oppo广东移动通信有限公司 Sound effect optimization method and device, electronic equipment and storage medium
JP7463796B2 (en) 2020-03-25 2024-04-09 ヤマハ株式会社 DEVICE SYSTEM, SOUND QUALITY CONTROL METHOD AND SOUND QUALITY CONTROL PROGRAM
US11356795B2 (en) 2020-06-17 2022-06-07 Bose Corporation Spatialized audio relative to a peripheral device
EP3945729A1 (en) * 2020-07-31 2022-02-02 FRAUNHOFER-GESELLSCHAFT zur Förderung der angewandten Forschung e.V. System and method for headphone equalization and space adaptation for binaural reproduction in augmented reality
US11696084B2 (en) 2020-10-30 2023-07-04 Bose Corporation Systems and methods for providing augmented audio
US11700497B2 (en) 2020-10-30 2023-07-11 Bose Corporation Systems and methods for providing augmented audio
CN112584277B (en) * 2020-12-08 2022-04-22 北京声加科技有限公司 Indoor audio frequency equalizing method
WO2022231338A1 (en) * 2021-04-28 2022-11-03 Samsung Electronics Co., Ltd. A portable receiving device of calibrating device configurations using room geometry and a system including the same
KR102652559B1 (en) * 2021-11-24 2024-04-01 주식회사 디지소닉 Acoustic room and method for obtaining BRIR using the same

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10249416B4 (en) * 2002-10-23 2009-07-30 Siemens Audiologische Technik Gmbh Method for adjusting and operating a hearing aid device and hearing aid device
JP2005223713A (en) * 2004-02-06 2005-08-18 Sony Corp Apparatus and method for acoustic reproduction
GB0419346D0 (en) * 2004-09-01 2004-09-29 Smyth Stephen M F Method and apparatus for improved headphone virtualisation
US8520873B2 (en) * 2008-10-20 2013-08-27 Jerry Mahabub Audio spatialization and environment simulation
US20080273708A1 (en) * 2007-05-03 2008-11-06 Telefonaktiebolaget L M Ericsson (Publ) Early Reflection Method for Enhanced Externalization
EP2661912B1 (en) * 2011-01-05 2018-08-22 Koninklijke Philips N.V. An audio system and method of operation therefor
WO2012168765A1 (en) * 2011-06-09 2012-12-13 Sony Ericsson Mobile Communications Ab Reducing head-related transfer function data volume
US9293151B2 (en) * 2011-10-17 2016-03-22 Nuance Communications, Inc. Speech signal enhancement using visual information

Also Published As

Publication number Publication date
US20170078820A1 (en) 2017-03-16
CN106576203B (en) 2020-02-07
JP6446068B2 (en) 2018-12-26
KR102008771B1 (en) 2019-08-09
WO2015180973A1 (en) 2015-12-03
US10003906B2 (en) 2018-06-19
DE102014210215A1 (en) 2015-12-03
JP2017522771A (en) 2017-08-10
CN106576203A (en) 2017-04-19
KR20170013931A (en) 2017-02-07
EP3149969B1 (en) 2019-09-18

Similar Documents

Publication Publication Date Title
EP3149969B1 (en) Determination and use of auditory-space-optimized transfer functions
DE60304358T2 (en) METHOD FOR PROCESSING AUDIO FILES AND DETECTION DEVICE FOR THE APPLICATION THEREOF
CN110192396A (en) For the method and system based on the determination of head tracking data and/or use tone filter
CN106797525A (en) For generating the method and apparatus with playing back audio signal
KR20200047414A (en) Systems and methods for modifying room characteristics for spatial audio rendering over headphones
DE102019107302A1 (en) Process for creating and playing back a binaural recording
CN112005559B (en) Method for improving positioning of surround sound
EP3225039B1 (en) System and method for producing head-externalized 3d audio through headphones
EP3044972A2 (en) Device and method for the decorrelation of loudspeaker signals
DE102021103210A1 (en) Surround sound playback based on room acoustics
Rasumow et al. Perceptual evaluation of individualized binaural reproduction using a virtual artificial head
DE102011003450A1 (en) Generation of user-adapted signal processing parameters
Brandenburg et al. Auditory illusion through headphones: History, challenges and new solutions
DE112021001695T5 (en) SOUND PROCESSING DEVICE, SOUND PROCESSING METHOD AND SOUND PROCESSING PROGRAM
US20190394583A1 (en) Method of audio reproduction in a hearing device and hearing device
EP2503799B1 (en) Method and system for calculating synthetic head related transfer functions by means of virtual local sound field synthesis
US20230104111A1 (en) Determining a virtual listening environment
Aspöck et al. Dynamic real-time auralization for experiments on the perception of hearing impaired subjects
Urbanietz Advances in binaural technology for dynamic virtual environments
CN117793609A (en) Sound field rendering method and device
Werner Auditory illusion through headphones: History, Challenges and new Solutions
Netcom et al. SIMULATION OF REALISTIC BACKGROUND NOISE USING MULTIPLE LOUDSPEAKERS
Fernandes Spatial Effects: Binaural Simulation of Sound Source Motion

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20161123

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20180201

REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1236308

Country of ref document: HK

RIN1 Information on inventor provided before grant (corrected)

Inventor name: BRANDENBURG, KARLHEINZ

Inventor name: WERNER, STEPHAN

Inventor name: SLADECZEK, CHRISTOPH

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: GRANT OF PATENT IS INTENDED

INTG Intention to grant announced

Effective date: 20190401

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE PATENT HAS BEEN GRANTED

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

REG Reference to a national code

Ref country code: GB

Ref legal event code: FG4D

Free format text: NOT ENGLISH

REG Reference to a national code

Ref country code: CH

Ref legal event code: EP

REG Reference to a national code

Ref country code: DE

Ref legal event code: R096

Ref document number: 502015010407

Country of ref document: DE

REG Reference to a national code

Ref country code: AT

Ref legal event code: REF

Ref document number: 1182731

Country of ref document: AT

Kind code of ref document: T

Effective date: 20191015

REG Reference to a national code

Ref country code: IE

Ref legal event code: FG4D

Free format text: LANGUAGE OF EP DOCUMENT: GERMAN

REG Reference to a national code

Ref country code: NL

Ref legal event code: MP

Effective date: 20190918

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: HR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190918

Ref country code: BG

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20191218

Ref country code: SE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190918

Ref country code: FI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190918

Ref country code: NO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20191218

Ref country code: LT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190918

REG Reference to a national code

Ref country code: LT

Ref legal event code: MG4D

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LV

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190918

Ref country code: RS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190918

Ref country code: GR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20191219

Ref country code: AL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190918

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: NL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190918

Ref country code: ES

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190918

Ref country code: PT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200120

Ref country code: PL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190918

Ref country code: IT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190918

Ref country code: RO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190918

Ref country code: EE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190918

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SM

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190918

Ref country code: CZ

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190918

Ref country code: IS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200224

Ref country code: SK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190918

REG Reference to a national code

Ref country code: DE

Ref legal event code: R097

Ref document number: 502015010407

Country of ref document: DE

PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

PG2D Information on lapse in contracting state deleted

Ref country code: IS

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: DK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190918

Ref country code: IS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200119

26N No opposition filed

Effective date: 20200619

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190918

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LI

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20200531

Ref country code: MC

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190918

Ref country code: CH

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20200531

REG Reference to a national code

Ref country code: BE

Ref legal event code: MM

Effective date: 20200531

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LU

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20200515

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20200515

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: BE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20200531

REG Reference to a national code

Ref country code: AT

Ref legal event code: MM01

Ref document number: 1182731

Country of ref document: AT

Kind code of ref document: T

Effective date: 20200515

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: AT

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20200515

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: TR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190918

Ref country code: MT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190918

Ref country code: CY

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190918

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190918

P01 Opt-out of the competence of the unified patent court (upc) registered

Effective date: 20230524

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: FR

Payment date: 20230517

Year of fee payment: 9

Ref country code: DE

Payment date: 20230519

Year of fee payment: 9

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: GB

Payment date: 20230522

Year of fee payment: 9