EP3005732B1 - Device and method for spatially selective audio playback - Google Patents
Device and method for spatially selective audio playback Download PDFInfo
- Publication number
- EP3005732B1 EP3005732B1 EP14727481.5A EP14727481A EP3005732B1 EP 3005732 B1 EP3005732 B1 EP 3005732B1 EP 14727481 A EP14727481 A EP 14727481A EP 3005732 B1 EP3005732 B1 EP 3005732B1
- Authority
- EP
- European Patent Office
- Prior art keywords
- audio signal
- audio
- beamforming
- loudspeakers
- signals
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 30
- 230000005236 sound signal Effects 0.000 claims description 152
- 230000000873 masking effect Effects 0.000 claims description 66
- 230000008859 change Effects 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 9
- 238000000527 sonication Methods 0.000 claims description 8
- 230000001629 suppression Effects 0.000 claims description 7
- 230000002123 temporal effect Effects 0.000 claims description 3
- 230000003595 spectral effect Effects 0.000 claims description 2
- 238000012545 processing Methods 0.000 description 20
- 238000000926 separation method Methods 0.000 description 11
- 230000004048 modification Effects 0.000 description 9
- 238000012986 modification Methods 0.000 description 9
- 230000009467 reduction Effects 0.000 description 9
- 230000006870 function Effects 0.000 description 7
- 238000001914 filtration Methods 0.000 description 6
- 230000002452 interceptive effect Effects 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 230000001934 delay Effects 0.000 description 4
- 230000001419 dependent effect Effects 0.000 description 4
- 238000005562 fading Methods 0.000 description 4
- 230000005855 radiation Effects 0.000 description 4
- 238000004088 simulation Methods 0.000 description 4
- 238000003491 array Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 238000007493 shaping process Methods 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 230000003321 amplification Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 206010021403 Illusion Diseases 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000003362 replicative effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
- H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
- H04R1/323—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only for loudspeakers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R27/00—Public address systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R5/00—Stereophonic arrangements
- H04R5/02—Spatial or constructional arrangements of loudspeakers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2203/00—Details of circuits for transducers, loudspeakers or microphones covered by H04R3/00 but not provided for in any of its subgroups
- H04R2203/12—Beamforming aspects for stereophonic sound reproduction with loudspeaker arrays
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2227/00—Details of public address [PA] systems covered by H04R27/00 but not provided for in any of its subgroups
- H04R2227/001—Adaptation of signal processing in PA systems in dependence of presence of noise
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2430/00—Signal processing covered by H04R, not provided for in its groups
- H04R2430/01—Aspects of volume control, not necessarily automatic, in sound systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2430/00—Signal processing covered by H04R, not provided for in its groups
- H04R2430/20—Processing of the output signals of the acoustic transducers of an array for obtaining a desired directivity characteristic
Description
Die vorliegende Erfindung bezieht sich auf eine raumselektive Audiowiedergabe, z.B. von unterschiedlichen Audiosignalen an unterschiedliche Hörer oder Hörergruppen, welche sich in unterschiedlichen Orten eines Raums befinden.The present invention relates to a space-selective audio reproduction, e.g. of different audio signals to different listeners or listener groups located in different locations of a room.
Die Wiedergabe von Audiosignalen über mehrere, typischerweise als Array organisierte Lautsprecher ist ein übliches Verfahren. Durch eine Replikation des Signals und die Gewinnung der Lautsprechersignale durch eine individuelle Modifikation, wie z.B. das Auferlegen einer Verzögerung und einer Änderung der Amplitude, allgemein auch mit Filterung beschreibbar, kann die Form des mit einem Lautsprecher abgestrahlten Schallfeldes zielgerichtet beeinflusst werden, wie z.B. zum Zwecke, bestimmte Bereiche gezielt zu beschallen. Diese Techniken werden im Folgenden als Beamforming bezeichnet. Mit dieser Technik können auch mehrere Audiosignale gleichzeitig mit verschiedenen Richtcharakteristiken wiedergegeben werden, indem für alle Signale individuelle gefilterte Lautsprechersignale erzeugt werden, die vor der Wiedergabe lautsprecherweise summiert werden. Dadurch kann eine raumselektive Wiedergabe erzielt werden, in der mehrere Bereiche, sogenannte "sound zones", mit unterschiedlichen Signalen beschallt werden, wobei die gegenseitige Beeinflussung der Schallwiedergabe untereinander oder zu anderen Zonen, sogenannten "quiet zones", in denen möglichst Stille herrschen soll, minimiert wird.The reproduction of audio signals over several speakers, typically organized as an array, is a common practice. By replicating the signal and recovering the loudspeaker signals by an individual modification such as, the application of a delay and a change in amplitude, generally also described with filtering, the shape of the sound field radiated by a loudspeaker can be purposefully influenced, such as e.g. for the purpose of deliberately sounding certain areas. These techniques are referred to below as beamforming. This technique also allows multiple audio signals to be played back simultaneously with different directional characteristics by producing individual filtered speaker signals for all signals, which are summed up loudly before playback. This allows a room-selective reproduction can be achieved in which several areas, so-called "sound zones" are sonicated with different signals, the mutual influence of the sound reproduction with each other or to other zones, so-called "quiet zones", in which silence should prevail as possible, is minimized.
Es existieren eine Vielzahl von Algorithmen zur Bestimmung von Beamforming-Filtern. Neben solchen, die nur Amplitudengewichte und/oder Verzögerungen anwenden, gibt es auch Verfahren auf Basis einer frequenzabhängigen Filterung. Diese basieren oftmals auf Optimierungstechniken und ermöglichen die flexible Vorgabe eines gewünschten Abstrahlverhaltens, wie z.B. eine wählbare Abstrahlrichtung oder die Unterdrückung der Abstrahlung in definierbaren Bereichen, entsprechend den oben genannten "quiet zones". Ungeachtet solcher Beamforming-Algorithmen ist die Wirksamkeit der raumselektiven Beschallung, insbesondere der Unterdrückung der hörbaren Interferenz zwischen Schallzonen, oftmals begrenzt und erlaubt keine akzeptable Qualität. Die Hauptgründe dafür sind die Limitationen der Lautsprecher-Arrays, ein gewünschtes Richtverhalten über den genutzten Frequenzbereich zu erzielen, der Einfluss des Wiedergaberaumes sowie Fehler, die aus einer begrenzten Robustheit der Beamforming-Filter gegenuber Abwelchungen der Lautsprecher, der Signalamplituden, etc. entstehen. Damit sind die Möglichkeiten für eine raumselektive Wiedergabe über physikalische und signalverarbeitungstechnische Maßnahmen begrenzt.
Wünschenswert wäre es, ein Konzept zur raumselektiven Audiowiedergabe an der Hand zu haben, das es ermöglicht, an einem bestimmten Bereich eines Beschallungsgebietes eine sauberere Trennung eines für diesen Bereich vorgesehenen Audiosignals von einem oder mehreren anderen überlagert wiedergegebenen Audiosignalen erzielen zu können.
It would be desirable to have a concept for space-selective audio reproduction at hand, which makes it possible to achieve a cleaner separation of an audio signal provided for this area from one or more other superimposed reproduced audio signals at a certain area of a public address area.
Die Aufgabe der vorliegenden Erfindung besteht darin, ein solches Konzept zu schaffen.The object of the present invention is to provide such a concept.
Die Aufgabe wird durch den Gegenstand der anhängigen unabhängigen Patentansprüche gelöst.The object is solved by the subject matter of the appended independent claims.
Der Kerngedanke der vorliegenden Erfindung besteht darin, erkannt zu haben, dass eine bessere Trennung eines ersten Audiosignals in einem ersten Bereich eines Beschallungsgebietes einer Mehrzahl von Lautsprechern dadurch erzielt werden kann, dass die sich durch die raumselektive Wiedergabe der Audiosignale an diesem ersten Bereich ergebende Fassung der Audiosignale berechnet wird, eine Maskierungsschwelle abhängig von der Fassung desjenigen Audiosignals berechnet wird, das von dem einen oder den mehreren anderen Audiosignalen an diesem Bereich zu trennen ist, und abhängig von einem Vergleich der Maskierungsschwelle mit der Fassung des einen oder der mehreren anderen, d.h. störenden, Audiosignale die Ausgabe der Audiosignale zur raumselektiven Wiedergabe an die Ausgänge der Mehrzahl von Lautsprechern beeinflusst wird. Die Berechnung oder Schätzung der Audiosignale in diesem erstem Bereich kann auch als Simulation der Schallausbreitung in diesen ersten Bereich veranschaulicht werden und das Element zu dessen Ausführung demzufolge Berechner oder Simulator. Die durch die raumselektive Wiedergabe bereits ermöglichte Trennung der Audiosignale an den ersten Bereich des Beschallungsgebietes kann also unter Auswertung der Maskierungsschwelle verbessert werden, indem die sich durch die raumselektive Wiedergabe ergebenden Fassungen der Audiosignale berechnet bzw. simuliert werden. Die Beeinflussung der raumselektiven Wiedergabe zur Vermeidung bzw. einer Verringerung der "Verletzung" der Maskierungsschwelle am ersten Bereich des Beschallungsgebietes kann auf unterschiedliche Weise durchgeführt werden, wie z.B. durch frequenzselektive Reduktion des jeweils störenden anderen Audiosignals in Frequenzbereichen, an denen das jeweilige simulierte andere Audiosignal die Maskierungsschwelle überschreitet. Zusätzlich ist es möglich, das eigentlich interessierende Audiosignal an entsprechenden Frequenzbereichen zu verstärken. Zusätzlich wäre es auch denkbar, eine Strahlformung des eigentlich interessierenden (ersten) Audiosignals oder beider Audiosignale, abhängig von dem Vergleich mit der Maskierungsschwelle zu variieren.The core idea of the present invention is to have realized that a better separation of a first audio signal in a first area of a PA area of a plurality of loudspeakers can be achieved by the version of the first area resulting from the space-selective reproduction of the audio signals Calculating a masking threshold depending on the version of the audio signal to be separated from the one or more other audio signals in that area and depending on a comparison of the masking threshold with the version of the one or more other, ie interfering , Audio signals, the output of the audio signals for space-selective playback is influenced to the outputs of the plurality of speakers. The calculation or estimation of the audio signals in this first area can also be illustrated as a simulation of the sound propagation in this first area and thus the element for its execution as a calculator or simulator. The separation of the audio signals to the first area of the PA area already enabled by the room-selective reproduction can thus be improved by evaluating the masking threshold by calculating or simulating the versions of the audio signals resulting from the room-selective reproduction. The influencing of the space-selective reproduction to avoid or reduce the "violation" of the masking threshold at the first area of the public address area can be carried out in different ways, such as by frequency-selective reduction of each interfering other audio signal in frequency ranges where the respective simulated other audio signal exceeds the masking threshold. In addition, it is possible to amplify the actually interesting audio signal at corresponding frequency ranges. In addition, it would also be conceivable to vary a beam shaping of the actually interesting (first) audio signal or both audio signals, depending on the comparison with the masking threshold.
Voreilhafte Ausgestaltungen sind Gegenstand der abhängigen Patentansprüche. Bevorzugte Ausführungsbeispiele der vorliegenden Anmeldung werden nachfolgend, bezugnehmend auf die Zeichnungen, näher erläutert, unter welchen
- Fig. 1
- ein Blockschaltbild einer Vorrichtung zur raumselektiven Wiedergabe zeigt;
- Fig. 2
- eine Skizze zur Veranschaulichung möglicher Maßnahmen des Anpassers aus
Fig. 1 zeigt; - Fig. 3
- eine Skizze zur Veranschaulichung einer Maßnahme des Anpassers von
Fig. 1 gemäß einem Ausführungsbeispiel veranschaulicht; - Fig. 4
- ein Blockschaltbild einer herkömmlichen Vorrichtung zur raumselektiven Wiedergabe zeigt; und
- Fig. 5
- ein Blockschaltbild einer Implementierungsvariante des Ausführungsbeispiels von
Fig. 1 mit Ausgangspunkt zeigt.
- Fig. 1
- shows a block diagram of a device for space-selective reproduction;
- Fig. 2
- a sketch to illustrate possible measures of the fitting out
Fig. 1 shows; - Fig. 3
- a sketch to illustrate a measure of the adapter of
Fig. 1 illustrated according to an embodiment; - Fig. 4
- shows a block diagram of a conventional device for space-selective reproduction; and
- Fig. 5
- a block diagram of an implementation variant of the embodiment of
Fig. 1 with starting point shows.
"Raumselektive" Wiedergabe der Audiosignale 141 und 142 an den Lautsprechern 18 soll bedeuten, dass die Audiosignale nicht einfach in Form einander identischer Kopien in überlagerter Form an die Lautsprecher 18 ausgegeben werden, sondern dass sie, wie in der Beschreibungseinleitung der vorliegenden Anmeldung beschrieben, mittels beispielsweise lautsprecherindividuellen Verzögerungen und/oder Amplitudenmodifikationen oder allgemein mittels einer Lautsprecher-individuellen Filterung gefiltert über die Lautsprecher 18 ausgegeben werden und zwar unterschiedlich für die Audiosignale 141 und 142, so dass es zumindest einen ersten Bereich 24 des Beschallungsgebietes gibt, der von dem zweiten Audiosignal 142 verglichen mit dem ersten Audiosignal 141 weniger oder überhaupt nicht beschallt wird. Es kann auch einen zweiten Bereich 26 geben, in dem es sich umgekehrt verhält, d.h. das erste Audiosignal 141 beschallt diesen Bereich 26 verglichen zu dem zweiten Audiosignal 142 aufgrund der raumselektiven Wiedergabe über die Lautsprecher 18 weniger oder überhaupt nicht. Nachher wird noch darauf hingewiesen, dass auch das Nebeneinander von mehr als zwei überlagert wiedergegebenen Audiosignalen möglich ist."Space selective" playback of the audio signals 14 1 and 14 2 on the
Unter optimalen Voraussetzungen könnte es sein, dass die Trennung des ersten Audiosignals 141 am ersten Bereich 24 von dem anderen Audiosignal 142 so weit geht, dass ein Hörer in diesem Bereich 24 das andere Audiosignal 142 nicht hört. Leider aber sind der Raumselektivität über die Wiedergabe durch die Lautsprecher 18 Grenzen gesetzt, die von real vorkommenden Reflexionen oder einfach von einer begrenzten Gesamtausdehnung der Verteilung der Positionen der Lautsprecher 18 herrühren kann. Die weiteren Elemente, die in der Vorrichtung 10 enthalten sind, sind dazu da, die "Raumselektivität" in diesem Sinne zu verbessern. Die Details hierzu werden im Folgenden noch erörtert.Under optimal conditions, it could be that the separation of the first audio signal 14 1 at the
Zuvor jedoch sei noch kurz erwähnt, dass die Audiosignale 141 und 142 am Eingang 12 in jedweder Form anliegen können, wie z.B. analog oder digital, in getrennter oder in m/skodierter Form oder in einer einen parametrisierten Downmix umfassenden Form, unkomprimiert oder komprimiert, im Zeitbereich oder im Frequenzbereich usw. Ähnlich verhält es sich mit den Lautsprechersignalen für die Lautsprecher 18 am Ausgang 16. Lautsprecherindividuelle Lautsprechersignale für die Lautsprecher 18 können über den Ausgang 16 getrennt voneinander ausgegeben werden, in analoger oder digitaler, komprimierter oder unkomprimierter, bereits verstärkter, lediglich vorverstärkter oder unverstärkter Form usw. Ähnlich wäre es möglich, dass die Lautsprechersignale in komprimierter Form in einem Downmix, zusammen mit räumlichem Hinweisreiz- (spatial cues) Parametern, ausgegeben werden, wie z.B. in MPEG-Surround- oder SAOC-kodierter Form. Der Strahlformungverarbeiter 20 verarbeitet die ankommenden Audiosignale 141 und 142 beispielsweise zunächst völlig getrennt voneinander, um zu jedem derselben einen Satz von Lautsprechersignalen für die Lautsprecher 18 so zu erzeugen, dass jedes Lautsprechersignal für das jeweilige Audiosignal eine bestimmte, für die jeweilige Lautsprecherposition des jeweiligen Lautsprechers individuelle Filterung, wie z.B. Verzögerung und/oder Amplitudenmodifikation, erfahren hat. Erst am Ende werden beispielsweise die so aus den einzelnen Lautsprechersignalen gewonnenen Lautsprechersignalsätze pro Kanal bzw. Lautsprecher miteinander überlagert. In den folgenden Figuren wird dies auch noch einmal veranschaulicht.Before that, however, it should be mentioned briefly that the audio signals 14 1 and 14 2 may be present at the
Obwohl der Bereich 24 und der optionale Bereich 26 in
Wie es im Folgenden noch näher erörtert werden wird, kann der Strahlformungsverarbeiter 20 fest auf die raumselektive Wiedergabe eingestellt bzw. optimiert sein. Mit anderen Worten ausgedrückt, kann die Raumselektivität der Wiedergabe des Strahlformungsverarbeiters 20 konstant sein. Sie kann vorab auf den Bereich 24 oder die Bereiche 24 und 26 hin optimiert sein, d.h. dahingehend, dass im Bereich 24 lediglich das erste Audiosignal 141 und, falls vorgesehen, im Bereich 26 lediglich das zweite Audiosignal 142 von einem Hörer in dem jeweiligen Bereich hörbar ist. Die Optimierung definiert dann die vorerwähnten Verzögerungen, Amplitudenmodifikationen und/oder Filter, wie z.B. FIR-Filter, für die einzelnen Kanäle bzw. Lautsprecher 18 und der Strahlformungsverarbeiter 20 kann beispielsweise hart verdrahtet sein, oder aber fest in Software oder programmierbarer Hardware implementiert sein, um die raumselektive Wiedergabe über den Ausgang 16 an die Lautsprecher 18 zu bewerkstelligen. Allerdings ist es ebenso alternativ möglich, dass der Strahlformungsverarbeiter auch hinsichtlich der Lautsprecher-individuellen Verarbeitungen (Verzögerung, Amplitudenmodulation oder Filterung) für eines oder mehrere der Audiosignale 141, 142 einstellbar ist. Allgemein ausgedrückt, ist der Strahlformungsverarbeiter 20 hinsichtlich seiner raumselektiven Wiedergabe der Audiosignale 141, 142 am Ausgang 16 einstell- bzw. beeinflussbar, wie es im Folgenden noch näher beschrieben wird. Zusätzlich oder alternativ lässt sich diese Einstellung auch durch Audiosignalindividuelle, aber auf alle Lautsprecher/Kanal gleich wirkende, frequenzselektive Modifikation/Beeinflussung einzelner oder aller Audiosignale erzielen, wie es ebenfalls im Folgenden noch beschrieben wird. Es ist eben jene erwähnte Beeinfluss- bzw. Einstellbarkeit des Strahlformungsverarbeiters 20, die die im Folgenden beschriebenen Komponenten der Vorrichtung 10 verwenden, um die Trennung des ersten Audiosignals 141 in dem Bereich 24 von dem anderen Audiosignal 142 zu verbessern.As will be discussed in more detail below,
Die Vorrichtung 10 umfasst zusätzlich zu den bisher beschriebenen Komponenten einen Berechner 28, einen Maskierungsschwellenberechner 30 und einen Anpasser 32. Der Berechner 28 ist ebenfalls mit dem Eingang 12 verbunden und ist ausgebildet, um mittels eines Ausbreitungsmodells für die Audiosignale 141 und 142 jeweils eine sich durch die raumselektive Wiedergabe in dem ersten Bereich 24 ergebende Fassung des jeweiligen Audiosignals 141 bzw. 142 zu berechnen, d.h. die am Ort 24 wiedergegebene Fassung 341 des Audiosignals 141 und ebenso die am Ort 24 wiedergegebene Fassung 342 des Audiosignals 142. Der Maskierungsschwellenberechner 30 erhält die Fassung 341 und ist ausgebildet, um abhängig davon eine Maskierungsschwelle 36 zu berechnen, und der Anpasser 32 erhält die Fassung 342 des anderen Audiosignals und optional gegebenenfalls noch die Fassung 341 des ersten Audiosignals 141 und ist ausgebildet, um abhängig von einem Vergleich der Maskierungsschwelle 36 mit der Fassung des zweiten Audiosignals 342 die Ausgabe des ersten und zweiten Audiosignals zur raumselektiven Wiedergabe über den Ausgang 16 an die Lautsprecher 18 zu beeinflussen, indem der Anpasser 32 den Strahlformungsverarbeiter 20 geeignet steuert, wie es durch einen Pfeil 38 angedeutet ist. In anderen Worten ausgedrückt, ist ein Ausgang des Anpassers 32 mit einem Steuereingang des Strahlformungsverarbeiters 20 verbunden.The
Berechner 28, Maskierungsschwellenberechner 30 und Anpasser 32 können jeweils in Software, programmierbarer Hardware oder in Hardware implementiert sein. Der Berechner 28 kann beispielsweise Ausbreitungsmodelle verwenden, die auch zur Optimierung der internen, Kanal/Lautsprecher-individuellen Verarbeitung der Audiosignale 141, 142 innerhalb des Strahlformungsverarbeiters 20 verwendet worden sein könnten. Der Berechner 28 berechnet oder schätzt beispielsweise, wie es im Folgenden noch näher beschrieben wird, die am Ort 24 durch das erste Audiosignal 141 und das zweite Audiosignal 142 erzeugten Schallereignisse. Er kann zur Berechnung beispielsweise die Kanal/Lautsprecher-individuelle Verarbeitung der Audiosignale 141, 142 innerhalb des Strahlformungsverarbeiters 20 und die Positionen der Lautsprecher 18 und optional weitere Parameter, wie z.B. Abstrahlcharakteristika und/oder Ausrichtung der Lautsprecher 18 berücksichtigen bzw. verwenden. Der Berechner 28 berechnet die Schallereignisse beispielsweise gemessen oder repräsentiert in Schalldruck, Amplitude oder dergleichen, und ggf. frequenzabhängig, d.h. für unterschiedliche Frequenzen. In dem Fall einer konstanten/festen Kanal/Lautsprecher-individuellen Verarbeitung des Strahlformungsverarbeiters 20 kann der Berechner 28 die Simulation auf eine konstante/feste Art und Weise durchführen. Die Berücksichtigung der bzw. die Anpassung an die Kanal/Lautsprecherindividuelle Verarbeitung des Verarbeiters 20 liegt dann in der geeigneten Auslegung des Ausbreitungsmodells begründet, das der Berechner 28 zur Berechnung der Fassungen 341, 342 verwendet. Das Ausbreitungsmodell kann also ebenfalls die soeben erwähnten Parameter berücksichtigen. Die Fassungen 341 und 342 kann der Berechner 28 wiederum in jedweder Form ausgeben, d.h. analog oder digital, komprimiert oder unkomprimiert, im Zeitbereich oder im Frequenzbereich oder dergleichen.
Der Maskierungsschwellenberechner 30 berechnet eine Maskierungsschwelle abhängig von der Fassung 341, d.h. der hörbaren Version des Audiosignals 141 am Ort 24. Wie es durch einen gestrichelten Pfeil 40 angedeutet ist, kann der Maskierungsschwellenberechner zusätzlich zur Fassung 341 auch ein Hintergrund-Audiosignal (beispielsweise Rauschen oder Fahrgeräusche) zur Maskierungsschwellenberechnung verwenden.
Die Berechnung berücksichtigt zeitliche und/oder spektrale auditive Verdeckungseffekte. Die berechnete Maskierungsschwelle gibt somit abhängig von der Frequenz an, wie sehr die Fassung 341 des Audiosignals 141 am Ort 24 in der Lage ist, andere Audiosignale für einen Hörer am Ort 24 unhörbar zu machen, indem dieselbe letztere überdeckt. Der Maskierungsschwellenberechner 30 kann beispielsweise so ausgebildet sein, dass er die Maskierungsschwelle in einer Frequenzauflösung bestimmt bzw. berechnet, die mit zunehmender Frequenz immer gröber wird, d.h. bei der die Frequenzbänder mit zunehmender Frequenz immer breiter werden, wie z.B. in einer Bark-Frequenzauflösung.The
The calculation takes into account temporal and / or spectral auditory masking effects. The calculated masking threshold thus indicates, depending on the frequency, how much the socket 34 1 of the audio signal 14 1 at the
Der Anpasser 32 vergleicht die Maskierungsschwelle 36 mit der Fassung 342 des zweiten Audiosignals 142 und stellt auf diese Weise beispielsweise fest, ob das zweite Audiosignal 142 für eine Person am Ort 24 hörbar ist, d.h. ob das zweite Audiosignal an irgendeiner Frequenz die Maskierungsschwelle überschreitet. Wenn ja, ergreift der Anpasser 32 Gegenmaßnahmen und steuert den Strahlformungsverarbeiter 20 geeignet an. Mehrere Beispiele für solche Steuerungen sind im Vorhergehenden bereits angedeutet worden. Bezugnehmend auf die nachfolgenden Figuren wird dies noch einmal veranschaulicht.The
Die bisher bezugnehmend auf
Durch Berechner 28, Maskierungsschwelle 30 und Anpasser 32 ist die Vorrichtung 10 von
Bevor nachfolgend noch eine konkrete Ausgestaltung einer Vorrichtung zur raumselektiven Wiedergabe beschrieben wird, um mögliche Implementierungen der Elemente zu beschreiben, die im Vorhergehenden bereits erwähnt worden sind, soll noch darauf hingewiesen werden, dass in dem Fall der Modi-Umschaltung gemäß
Schließlich wird noch darauf hingewiesen, dass mehr als nur zwei Audiosignale 141 und 142 vorgesehen sein können. Dies ist mit einem gestrichelten Pfeil 54 in
Noch einmal in anderen Worten ausgedrückt, ermöglicht es also obiges Ausführungsbeispiel die wahrgenommene Qualität einer raumbezogenen Wiedergabe durch die Einbeziehung psychoakustischer Effekte zu verbessern. Dabei wird ausgenutzt, dass ein Audiosignal die Hörbarkeit von Komponenten eines anderen, leiseren Signals, verhindern kann. Dieser Effekt wird als Maskierung bezeichnet. Dies spielt beispielsweise eine zentrale Rolle in der verlustbehafteten Audiokodierung. In der Psychoakustik wird zwischen Maskierung im Zeit- und im Frequenzbereich unterschieden. Bei der Maskierung im Zeitbereich maskiert ein lautes Signal, der so genannte Maskierer, andere Komponenten, die kurz nach oder in engen Grenzen auch vor diesem Schallereignis auftreten. Bei der Maskierung im Frequenzbereich werden durch eine Signalkomponente mit einer bestimmten Frequenz andere Komponenten mit einer ähnlichen Frequenz und einer geringeren Amplitude maskiert. Die Schwelle, bis zu der eine Maskierung auftritt, hängt von der Frequenz und dem absoluten Pegel des Markierers und dem Abstand zwischen den Frequenzen des Maskierers und anderen Signals. Die Maskierungsschwellen und damit die Entscheidung, ob eine Signalkomponente maskiert wird, werden über psychoakustische Modelle bestimmt. Solche psychoakustischen Modelle verwendet der Maskierungsschwellenberechner 30.Once again, in other words, the above embodiment makes it possible to improve the perceived quality of a spatial-related replay by incorporating psychoacoustic effects. It exploits that an audio signal audibility of components of another, quieter signal. This effect is called masking . For example, this plays a central role in lossy audio coding. In psychoacoustics, a distinction is made between masking in the time domain and in the frequency domain. In masking in the time domain, a loud signal, the so-called masker, masks other components that appear shortly after or within narrow limits even before this sound event. In the frequency domain masking, a component of a particular frequency masks other components of similar frequency and amplitude. The threshold to which masking occurs depends on the frequency and absolute level of the marker and the distance between the frequencies of the masker and other signal. The masking thresholds and thus the decision as to whether a signal component is masked are determined by psychoacoustic models. Such psychoacoustic models are used by masking
Wie im Vorhergehenden bereits angekündigt, wird im Folgenden eine mögliche Implementierung für das Ausführungsbeispiel von
Um die Situation gegenüber
Der gleiche Algorithmus, wie er soeben beschrieben wurde, könnte simultan verwendet werden, um den Einfluss von S1(t) auf die Wiedergabe von S2(t) in der Zone Z2 zu minimieren, wie es durch die Tatsache in
Natürlich kann über die Anzahl von zwei Audiosignalen wie in den obigen Ausführungsbeispielen hinaus die Anzahl von Audiosignalen auch höher sein.Of course, beyond the number of two audio signals as in the above embodiments, the number of audio signals may also be higher.
Der Signalfluss des Konzeptes bzw. Algorithmus ist in
Die angepassten Kontrollsignale des Anpassers werden in dem Pegelanpasser verwendet, um das Signal S1(t) vor der Filterung mit den Lautsprecher spezifischen Strahlformungsfiltern in dem Strahlformer 602 frequenzbandweise im Pegel anzupassen. Der Pegelanpasser 66 wirkt also als ein Multiband-Equalizer. In Verbindung mit der zeitlichen Dynamik des Anpassers wird eine Funktion, ähnlich einem Multiband-Kompressor, oder allgemeiner eine Multiband-Dynamikbeeinflussung erzielt, wobei jedoch im Gegensatz zur normalen Verwendung diese Einheiten hier ein anderes Signal zur Steuerung der Verstärkungswerte verwendet.The matched control signals of the adaptor are used in the level adjuster to frequency-level level the signal S 1 (t) before filtering with the loudspeaker-specific beamforming filters in the beamformer 60 2 . The
Wie in
Optional zu obigen Ausführungsbeispielen kommt hinzu, dass ein Referenzsignal 40 für Nebengeräusche, wie z.B. allgemeiner Hintergrund-Lärmpegel, Innenraumgeräusche in Automotive-Anwendungen oder dergleichen, zusätzlich verwendet werden kann. Dieses Signal 40 kann als zusätzlicher Eingang für die Maskierungsschwellenberechnung verwendet werden, wie es im Vorhergehenden beschrieben wurde. Das Referenzsignal 40 ist dabei vorzugsweise ein Mess- oder sinnvoller Schätzwert für das Nebengeräuschsignal in den "sound zones" 24 bzw. 26 oder Z1 in Z2.Optionally, in addition to the above embodiments, a
Ferner ist es möglich, in einer (oder mehreren) Zonen anstelle der ungestörten Wiedergabe eines Signals nur die Reduktion des Übersprechens aus den anderen Quellen zu erzielen.Furthermore, it is possible to achieve in one (or more) zones only the reduction of the crosstalk from the other sources instead of undisturbed reproduction of a signal.
Obige Ausführungsbeispiele beschrieben also ein Konzept für raumselektive Wiedergabe mit Lautsprecherarrays durch psychoakustische Umgebungseffekte bzw. die räumliche Wiedergabe von Audiosignalen über eine Mehrzahl von Lautsprechern, die beispielsweise als Array angeordnet sein können. Insbesondere wurde beschrieben, wie verschiedene Audiosignale in verschiedene räumliche Bereiche abgestrahlt werden können, so dass die gegenseitige Beeinflussung minimiert bzw. deutlich reduziert wird. Bei einigen Ausführungsbeispielen wurde dies durch eine Kombination von Strahlformungsalgorithmen mit einem psychoakustischen Modell bewirkt, welches die Audiosignale so abwandelt, dass die Hörbarkeit der Störsignale durch die psychoakustische Maskierung durch das Nutzsignal reduziert wird.The above exemplary embodiments thus describe a concept for space-selective reproduction with loudspeaker arrays by psychoacoustic environmental effects or the spatial reproduction of audio signals via a plurality of loudspeakers, which can be arranged, for example, as an array. In particular, it has been described how different audio signals can be radiated into different spatial areas, so that the mutual influence is minimized or significantly reduced. In some embodiments, this has been accomplished by a combination of beamforming algorithms with a psychoacoustic model that modifies the audio signals so that the audibility of the interfering signals is reduced by the psychoacoustic masking by the useful signal.
Obwohl manche Aspekte im Zusammenhang mit einer Vorrichtung beschrieben wurden, versteht es sich, dass diese Aspekte auch eine Beschreibung des entsprechenden Verfahrens darstellen, sodass ein Block oder ein Bauelement einer Vorrichtung auch als ein entsprechender Verfahrensschritt oder als ein Merkmal eines Verfahrensschrittes zu verstehen ist. Analog dazu stellen Aspekte, die im Zusammenhang mit einem oder als ein Verfahrensschritt beschrieben wurden, auch eine Beschreibung eines entsprechenden Blocks oder Details oder Merkmals einer entsprechenden Vorrichtung dar. Einige oder alle der Verfahrensschritte können durch einen Hardware-Apparat (oder unter Verwendung eines Hardware-Apparats), wie zum Beispiel einen Mikroprozessor, einen programmierbaren Computer oder eine elektronische Schaltung ausgeführt werden. Bei einigen Ausführungsbeispielen können einige oder mehrere der wichtigsten Verfahrensschritte durch einen solchen Apparat ausgeführt werden.Although some aspects have been described in the context of a device, it will be understood that these aspects also constitute a description of the corresponding method, so that a block or a component of a device is also to be understood as a corresponding method step or as a feature of a method step. Similarly, aspects described in connection with or as a method step also represent a description of a corresponding block or detail or feature of a corresponding device. Some or all of the method steps may be performed by a hardware device (or using a hardware device). Apparatus), such as a microprocessor, a programmable computer or an electronic circuit. For some Embodiments, some or more of the most important method steps may be performed by such an apparatus.
Je nach bestimmten Implementierungsanforderungen können Ausführungsbeispiele der Erfindung in Hardware oder in Software implementiert sein. Die Implementierung kann unter Verwendung eines digitalen Speichermediums, beispielsweise einer Floppy-Disk, einer DVD, einer Blu-ray Disc, einer CD, eines ROM, eines PROM, eines EPROM, eines EEPROM oder eines FLASH-Speichers, einer Festplatte oder eines anderen magnetischen oder optischen Speichers durchgeführt werden, auf dem elektronisch lesbare Steuersignale gespeichert sind, die mit einem programmierbaren Computersystem derart zusammenwirken können oder zusammenwirken, dass das jeweilige Verfahren durchgeführt wird. Deshalb kann das digitale Speichermedium computerlesbar sein.Depending on particular implementation requirements, embodiments of the invention may be implemented in hardware or in software. The implementation may be performed using a digital storage medium, such as a floppy disk, a DVD, a Blu-ray Disc, a CD, a ROM, a PROM, an EPROM, an EEPROM or FLASH memory, a hard disk, or other magnetic disk or optical memory are stored on the electronically readable control signals that can cooperate with a programmable computer system or cooperate such that the respective method is performed. Therefore, the digital storage medium can be computer readable.
Manche Ausführungsbeispiele gemäß der Erfindung umfassen also einen Datenträger, der elektronisch lesbare Steuersignale aufweist, die in der Lage sind, mit einem programmierbaren Computersystem derart zusammenzuwirken, dass eines der hierin beschriebenen Verfahren durchgeführt wird.Thus, some embodiments according to the invention include a data carrier having electronically readable control signals capable of interacting with a programmable computer system such that one of the methods described herein is performed.
Allgemein können Ausführungsbeispiele der vorliegenden Erfindung als Computerprogrammprodukt mit einem Programmcode implementiert sein, wobei der Programmcode dahin gehend wirksam ist, eines der Verfahren durchzuführen, wenn das Computerprogrammprodukt auf einem Computer abläuft.In general, embodiments of the present invention may be implemented as a computer program product having a program code, wherein the program code is operable to perform one of the methods when the computer program product runs on a computer.
Der Programmcode kann beispielsweise auch auf einem maschinenlesbaren Träger gespeichert sein.The program code can also be stored, for example, on a machine-readable carrier.
Andere Ausführungsbeispiele umfassen das Computerprogramm zum Durchführen eines der hierin beschriebenen Verfahren, wobei das Computerprogramm auf einem maschinenlesbaren Träger gespeichert ist.Other embodiments include the computer program for performing any of the methods described herein, wherein the computer program is stored on a machine-readable medium.
Mit anderen Worten ist ein Ausführungsbeispiel des erfindungsgemäßen Verfahrens somit ein Computerprogramm, das einen Programmcode zum Durchführen eines der hierin beschriebenen Verfahren aufweist, wenn das Computerprogramm auf einem Computer abläuft.In other words, an embodiment of the method according to the invention is thus a computer program which has a program code for performing one of the methods described herein when the computer program runs on a computer.
Ein weiteres Ausführungsbeispiel der erfindungsgemäßen Verfahren ist somit ein Datenträger (oder ein digitales Speichermedium oder ein computerlesbares Medium), auf dem das Computerprogramm zum Durchführen eines der hierin beschriebenen Verfahren aufgezeichnet ist.A further embodiment of the method according to the invention is thus a data carrier (or a digital storage medium or a computer-readable medium) on which the computer program is recorded for performing any of the methods described herein.
Ein weiteres Ausführungsbeispiel des erfindungsgemäßen Verfahrens ist somit ein Datenstrom oder eine Sequenz von Signalen, der bzw. die das Computerprogramm zum Durchführen eines der hierin beschriebenen Verfahren darstellt bzw. darstellen. Der Datenstrom oder die Sequenz von Signalen kann bzw. können beispielsweise dahin gehend konfiguriert sein, über eine Datenkommunikationsverbindung, beispielsweise über das Internet, transferiert zu werden.A further embodiment of the method according to the invention is thus a data stream or a sequence of signals, which represent the computer program for performing one of the methods described herein. The data stream or the sequence of signals may be configured, for example, to be transferred via a data communication connection, for example via the Internet.
Ein weiteres Ausführungsbeispiel umfasst eine Verarbeitungseinrichtung, beispielsweise einen Computer oder ein programmierbares Logikbauelement, die dahin gehend konfiguriert oder angepasst ist, eines der hierin beschriebenen Verfahren durchzuführen.Another embodiment includes a processing device, such as a computer or a programmable logic device, that is configured or adapted to perform one of the methods described herein.
Ein weiteres Ausführungsbeispiel umfasst einen Computer, auf dem das Computerprogramm zum Durchführen eines der hierin beschriebenen Verfahren installiert ist.Another embodiment includes a computer on which the computer program is installed to perform one of the methods described herein.
Ein weiteres Ausführungsbeispiel gemäß der Erfindung umfasst eine Vorrichtung oder ein System, die bzw. das ausgelegt ist, um ein Computerprogramm zur Durchführung zumindest eines der hierin beschriebenen Verfahren zu einem Empfänger zu übertragen. Die Übertragung kann beispielsweise elektronisch oder optisch erfolgen. Der Empfänger kann beispielsweise ein Computer, ein Mobilgerät, ein Speichergerät oder eine ähnliche Vorrichtung sein. Die Vorrichtung oder das System kann beispielsweise einen Datei-Server zur Übertragung des Computerprogramms zu dem Empfänger umfassen.Another embodiment according to the invention comprises a device or system adapted to transmit a computer program for performing at least one of the methods described herein to a receiver. The transmission can be done for example electronically or optically. The receiver may be, for example, a computer, a mobile device, a storage device or a similar device. For example, the device or system may include a file server for transmitting the computer program to the recipient.
Bei manchen Ausführungsbeispielen kann ein programmierbares Logikbauelement (beispielsweise ein feldprogrammierbares Gatterarray, ein FPGA) dazu verwendet werden, manche oder alle Funktionalitäten der hierin beschriebenen Verfahren durchzuführen. Bei manchen Ausführungsbeispielen kann ein feldprogrammierbares Gatterarray mit einem Mikroprozessor zusammenwirken, um eines der hierin beschriebenen Verfahren durchzuführen. Allgemein werden die Verfahren bei einigen Ausführungsbeispielen seitens einer beliebigen Hardwarevorrichtung durchgeführt. Diese kann eine universell einsetzbare Hardware wie ein Computerprozessor (CPU) sein oder für das Verfahren spezifische Hardware, wie beispielsweise ein ASIC.In some embodiments, a programmable logic device (eg, a field programmable gate array, an FPGA) may be used to perform some or all of the functionality of the methods described herein. In some embodiments, a field programmable gate array may cooperate with a microprocessor to perform one of the methods described herein. In general, in some embodiments, the methods are performed by any hardware device. This may be a universal hardware such as a computer processor (CPU) or hardware specific to the process, such as an ASIC.
Die oben beschriebenen Ausführungsbeispiele stellen lediglich eine Veranschaulichung der Prinzipien der vorliegenden Erfindung dar. Es versteht sich, dass Modifikationen und Variationen der hierin beschriebenen Anordnungen und Einzelheiten anderen Fachleuten einleuchten werden. Deshalb ist beabsichtigt, dass die Erfindung lediglich durch den Schutzumfang der nachstehenden Patentansprüche und nicht durch die spezifischen Einzelheiten, die anhand der Beschreibung und der Erläuterung der Ausführungsbeispiele hierin präsentiert wurden, beschränkt sei.The embodiments described above are merely illustrative of the principles of the present invention. It will be understood that modifications and variations of the arrangements and details described herein will be apparent to those skilled in the art be clear. Therefore, it is intended that the invention be limited only by the scope of the appended claims and not by the specific details presented in the description and explanation of the embodiments herein.
Claims (14)
- Device for spatially selective audio reproduction, comprising
an input (12) for first and second audio signals (141, 142);
an output (16) for a plurality of loudspeakers (18);
a beamforming processor (20) connected between the input (12), on the one hand, and the output (16), on the other hand, and configured to emit the first and second audio signals (141, 142) for spatially selective reproduction to the loudspeakers (18) via the output;
a calculator (28) configured to calculate, by means of a propagation model, for the first and second audio signals (141, 142) a respective version (341, 342) of the respective audio signal which results from the spatially selective reproduction in a first region (24) of a sonication area (22) of the loudspeakers (18);
the beamforming processor (20) being configured to achieve emission of the first and second audio signals (141, 142) for spatially selective reproduction to the output by performing beamforming on at least the second audio signal (142);
characterized in that the device further comprises:a masking threshold calculator (30) configured to calculate, via a psychoacoustic model, a masking threshold (36) as a function of the version (341) of the first audio signal (141); andan adaptor (32) configured to influence, as a function of a comparison of the masking threshold (36) with the version (342) of the second audio signal (142), the emission of the first and second audio signals (141, 142) for spatially selective reproduction to the loudspeakers (18) via the output (16),the beamforming processor (20) comprising several modes for performing beamforming which differ from one another with regard to a quality of suppression of the second audio signal (142) at the first region (24) for different frequency domains,the adaptor (32) being configured to vary the beamforming by switching from a currently used mode to a different mode as a function of the comparison. - Device as claimed in claim 1, further comprising the plurality of loudspeakers (18).
- Device as claimed in claim 1 or 2, wherein the beamforming processor (20) is configured to perform beamforming (602) on the second audio signal (142) so as to obtain a first plurality of loudspeaker signals, and to apply the loudspeaker signals obtained from the second audio signal to the loudspeakers (18) via the output (16).
- Device as claimed in claim 3, wherein the beamforming processor is configured to subject the first audio signal (141) to beamforming (601) so as to obtain a second plurality of loudspeaker signals, and to apply the second plurality of loudspeaker signals to the loudspeakers (18) via the output (16) by means of superposition (62) with the first plurality of loudspeaker signals.
- Device as claimed in claim 4, wherein the beamforming processor (26) is configured to perform the beamforming (601, 602) on the first and second audio signals differently - for spatially selective reproduction in different regions (24, 26) of the sonication area (22) - so that for each region, one of the audio signals represents a target signal, whereas the respectively other audio signal represents a spurious signal in the respective region.
- Device as claimed in claim 5, wherein
the calculator (28) is configured to calculate, by means of the propagation model, for each audio signal and for each of the different regions a respective version of
the respective audio signal which results from the spatially selective reproduction in the respective region of the sonication area (22) of the loudspeakers (18),
the masking threshold calculator (30) is configured to calculate a masking threshold (36) for each region of the sonication area as a function of the version, which results from the spatially selective reproduction in the respective region of
the sonication area (22) of the loudspeakers (18), of that audio signal which represents a target signal for the respective region; and
the adaptor (32) is configured to influence the emission of the audio signals for spatially selective reproduction to the loudspeakers (18) via the output (16) on the basis of a comparison of the masking threshold (36) for each of the regions with an interference which results from the version (342) of that audio signal which represents a spurious signal in the respective region. - Device as claimed in claim 6, wherein the number of the audio signals is larger than two.
- Device as claimed in any of the previous claims, wherein the masking threshold calculator (30) is configured to take into account a background audio signal when calculating the masking threshold as a function of the version (341) of the first audio signal (141).
- Device as claimed in any of the previous claims, wherein the adaptor (32) is configured to control the beamforming processor (20) such that within frequency domains in which the version (342) of the second audio signal (142) exceeds the masking threshold, the second audio signal (142) is globally reduced in the spatially selective reproduction.
- Device as claimed in any of the previous claims, wherein the adaptor (32) is configured to control the beamforming processor (20) such that within frequency domains in which the version (342) of the second audio signal (142) exceeds the masking threshold, the first audio signal (141) is globally amplified in the spatially selective reproduction.
- Device as claimed in any of the previous claims, wherein the adaptor (32) is configured to limit the change in the emission of the first and second audio signals (141, 142) with regard to an absolute value and/or with regard to a rate of change of the value of the change.
- Device as claimed in any of the previous claims, wherein the calculator is configured to take temporal and spectral auditive masking effects into account in the calculation.
- Method for spatially selective audio reproduction by means of a beamforming processor (20) connected between an input (12) for first and second audio signals (141, 142) and an output (16) for a plurality of loudspeakers (18), said beamforming processor (20) being configured to emit the first and second audio signals (141, 142) for spatially selective reproduction to the loudspeakers (18) via the output (16), comprising:calculating, by means of a propagation model for the first and second audio signals (141, 142), a respective version (341, 342) of the respective audio signal which results from the spatially selective reproduction in a first region (24) of a sonication switch (22) of the loudspeakers (18);the beamforming processor (20) being configured to achieve emission of the first and second audio signals (141, 142) for spatially selective reproduction to the output by performing beamforming on at least the second audio signal (142);characterized byas a function of the version (341) of the first audio signal (14), calculating a masking threshold (36) via a psychoacoustic model; andas a function of a comparison of the masking threshold (36) with the version (342) of the second audio signal (142), influencing the emission of the first and second audio signals (141, 142) for spatially selective reproduction to the loudspeakers (18) via the output (16);the beamforming processor (20) comprising several modes for performing beamforming which differ from one another with regard to a quality of suppression of the second audio signal (142) at the first region (24) for different frequency domains,said influencing comprising varying the beamforming by switching from a currently used mode to a different mode as a function of the comparison.
- Computer program comprising a program code for performing the method as claimed in claim 13, when the program runs on a computer.
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102013210184 | 2013-05-31 | ||
DE102013217367.9A DE102013217367A1 (en) | 2013-05-31 | 2013-08-30 | DEVICE AND METHOD FOR RAUMELECTIVE AUDIO REPRODUCTION |
PCT/EP2014/061188 WO2014191526A1 (en) | 2013-05-31 | 2014-05-28 | Device and method for spatially selective audio playback |
Publications (2)
Publication Number | Publication Date |
---|---|
EP3005732A1 EP3005732A1 (en) | 2016-04-13 |
EP3005732B1 true EP3005732B1 (en) | 2017-06-21 |
Family
ID=51899430
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
EP14727481.5A Active EP3005732B1 (en) | 2013-05-31 | 2014-05-28 | Device and method for spatially selective audio playback |
Country Status (7)
Country | Link |
---|---|
US (1) | US9813804B2 (en) |
EP (1) | EP3005732B1 (en) |
JP (1) | JP6301453B2 (en) |
KR (1) | KR101877323B1 (en) |
CN (1) | CN105247892B (en) |
DE (1) | DE102013217367A1 (en) |
WO (1) | WO2014191526A1 (en) |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7036008B2 (en) * | 2016-05-30 | 2022-03-15 | ソニーグループ株式会社 | Local silencer field forming device and method, and program |
EP3264734B1 (en) * | 2016-06-30 | 2022-03-02 | Nokia Technologies Oy | Controlling audio signal parameters |
US10019981B1 (en) * | 2017-06-02 | 2018-07-10 | Apple Inc. | Active reverberation augmentation |
US10531196B2 (en) * | 2017-06-02 | 2020-01-07 | Apple Inc. | Spatially ducking audio produced through a beamforming loudspeaker array |
WO2019197002A1 (en) | 2018-04-13 | 2019-10-17 | Aalborg Universitet | Generating sound zones using variable span filters |
JP6979665B2 (en) * | 2018-08-31 | 2021-12-15 | 株式会社ドリーム | Directional control system |
KR102572474B1 (en) | 2019-01-06 | 2023-08-29 | 사일런티움 리미티드 | Sound control device, system and method |
WO2020171049A1 (en) * | 2019-02-19 | 2020-08-27 | 公立大学法人秋田県立大学 | Acoustic signal encoding method, acoustic signal decoding method, program, encoding device, acoustic system and complexing device |
WO2021021752A1 (en) * | 2019-07-30 | 2021-02-04 | Dolby Laboratories Licensing Corporation | Coordination of audio devices |
US11968268B2 (en) | 2019-07-30 | 2024-04-23 | Dolby Laboratories Licensing Corporation | Coordination of audio devices |
CN114521334B (en) * | 2019-07-30 | 2023-12-01 | 杜比实验室特许公司 | Audio processing system, method and medium |
US11871184B2 (en) | 2020-01-07 | 2024-01-09 | Ramtrip Ventures, Llc | Hearing improvement system |
KR102347626B1 (en) | 2020-07-01 | 2022-01-06 | 한국과학기술원 | Method and apparatus for generating personal sound zone according to distance |
WO2023280357A1 (en) * | 2021-07-09 | 2023-01-12 | Soundfocus Aps | Method and loudspeaker system for processing an input audio signal |
CN114882721B (en) * | 2022-05-27 | 2023-05-09 | 中国第一汽车股份有限公司 | Vehicle navigation information playing method and device, electronic equipment and storage medium |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3473517B2 (en) * | 1999-09-24 | 2003-12-08 | ヤマハ株式会社 | Directional loudspeaker |
AU7538000A (en) * | 1999-09-29 | 2001-04-30 | 1... Limited | Method and apparatus to direct sound |
JP4349123B2 (en) * | 2003-12-25 | 2009-10-21 | ヤマハ株式会社 | Audio output device |
GB0405346D0 (en) * | 2004-03-08 | 2004-04-21 | 1 Ltd | Method of creating a sound field |
TWI475896B (en) * | 2008-09-25 | 2015-03-01 | Dolby Lab Licensing Corp | Binaural filters for monophonic compatibility and loudspeaker compatibility |
US8218783B2 (en) * | 2008-12-23 | 2012-07-10 | Bose Corporation | Masking based gain control |
EP2484127B1 (en) * | 2009-09-30 | 2020-02-12 | Nokia Technologies Oy | Method, computer program and apparatus for processing audio signals |
US8965546B2 (en) * | 2010-07-26 | 2015-02-24 | Qualcomm Incorporated | Systems, methods, and apparatus for enhanced acoustic imaging |
KR101782050B1 (en) * | 2010-09-17 | 2017-09-28 | 삼성전자주식회사 | Apparatus and method for enhancing audio quality using non-uniform configuration of microphones |
JP5838740B2 (en) * | 2011-11-09 | 2016-01-06 | ソニー株式会社 | Acoustic signal processing apparatus, acoustic signal processing method, and program |
US20130259254A1 (en) * | 2012-03-28 | 2013-10-03 | Qualcomm Incorporated | Systems, methods, and apparatus for producing a directional sound field |
US20140006017A1 (en) * | 2012-06-29 | 2014-01-02 | Qualcomm Incorporated | Systems, methods, apparatus, and computer-readable media for generating obfuscated speech signal |
EP3040984B1 (en) * | 2015-01-02 | 2022-07-13 | Harman Becker Automotive Systems GmbH | Sound zone arrangment with zonewise speech suppresion |
-
2013
- 2013-08-30 DE DE102013217367.9A patent/DE102013217367A1/en not_active Withdrawn
-
2014
- 2014-05-28 CN CN201480031334.3A patent/CN105247892B/en not_active Expired - Fee Related
- 2014-05-28 EP EP14727481.5A patent/EP3005732B1/en active Active
- 2014-05-28 KR KR1020157034882A patent/KR101877323B1/en active IP Right Grant
- 2014-05-28 JP JP2016516172A patent/JP6301453B2/en active Active
- 2014-05-28 WO PCT/EP2014/061188 patent/WO2014191526A1/en active Application Filing
-
2015
- 2015-11-30 US US14/954,913 patent/US9813804B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
DE102013217367A1 (en) | 2014-12-04 |
CN105247892B (en) | 2019-02-22 |
CN105247892A (en) | 2016-01-13 |
US20160088388A1 (en) | 2016-03-24 |
US9813804B2 (en) | 2017-11-07 |
KR20160007584A (en) | 2016-01-20 |
WO2014191526A1 (en) | 2014-12-04 |
KR101877323B1 (en) | 2018-08-09 |
JP2016524862A (en) | 2016-08-18 |
EP3005732A1 (en) | 2016-04-13 |
JP6301453B2 (en) | 2018-03-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3005732B1 (en) | Device and method for spatially selective audio playback | |
EP1977626B1 (en) | Method for recording and reproducing a sound source with time-variable directional characteristics | |
EP1013141B1 (en) | Method and device for reproducing a stereophonic audiosignal | |
EP1972181B1 (en) | Device and method for simulating wfs systems and compensating sound-influencing wfs characteristics | |
WO2014187877A2 (en) | Mixing desk, sound signal generator, method and computer program for providing a sound signal | |
EP1671516A1 (en) | Device and method for producing a low-frequency channel | |
EP3677053B1 (en) | Loudspeaker system for surround sound with rejection of undesirable direct sound | |
EP2754151B1 (en) | Device, method and electro-acoustic system for prolonging a reverberation period | |
EP2595414B1 (en) | Hearing aid with a device for reducing a microphone noise and method for reducing a microphone noise | |
WO2022218822A1 (en) | Device and method for generating a first control signal and a second control signal using linearisation and/or bandwidth expansion | |
WO1995030323A1 (en) | Process and device for compensating for acoustic distortion | |
DE102015008000A1 (en) | Method for reproducing sound in reflection environments, in particular in listening rooms | |
DE10215775A1 (en) | Method for spatial representation of sources of sound uses an array of loudspeakers fitted alongside each other and operated with coherent signals. | |
DE102016121989B4 (en) | SOUND SYSTEM, METHOD FOR OPTIMIZING A ROOM SOUND, AND METHOD FOR STORING AND / OR PLAYBACKING ACOUSTIC SIGNALS | |
DE102011108788A1 (en) | Method for processing an audio signal, audio reproduction system and processing unit for processing audio signals | |
WO2022183231A1 (en) | Method for producing audio signal filters for audio signals in order to generate virtual sound sources | |
DE102018108852B3 (en) | Method for influencing an auditory sense perception of a listener | |
EP1900250B1 (en) | Electroacoustic method | |
DE102006051229A1 (en) | Sound production system e.g. radio, for motor vehicle, has processor device, which is arranged for correcting audio signals such that audio signals are optimized with respect to several positions of vehicle seat | |
DE102005060036A1 (en) | Audio signal processing method for e.g. loudspeaker involves implementing correction process concerning signal having smaller level than predetermined level whereby output level concerning signal of other frequency is unchanged | |
WO2015022578A1 (en) | Two-dimensional arrangement of sound transducers for event public address systems | |
WO2024099733A1 (en) | Method for the direction-dependent correction of the frequency response of sound wavefronts | |
DE102018216604A1 (en) | System for transmitting sound into and out of the head of a listener using a virtual acoustic system | |
CH709271A2 (en) | Encoding and decoding of a low-frequency channel in an audio multi-channel signal. | |
EP2503799A1 (en) | Method and system for calculating synthetic head related transfer functions by means of virtual local sound field synthesis |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PUAI | Public reference made under article 153(3) epc to a published international application that has entered the european phase |
Free format text: ORIGINAL CODE: 0009012 |
|
17P | Request for examination filed |
Effective date: 20151112 |
|
AK | Designated contracting states |
Kind code of ref document: A1 Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR |
|
AX | Request for extension of the european patent |
Extension state: BA ME |
|
RIN1 | Information on inventor provided before grant (corrected) |
Inventor name: SPORER, THOMAS Inventor name: FRANCK, ANDREAS Inventor name: SLADECZEK, CHRISTOPH |
|
DAX | Request for extension of the european patent (deleted) | ||
GRAP | Despatch of communication of intention to grant a patent |
Free format text: ORIGINAL CODE: EPIDOSNIGR1 |
|
RIC1 | Information provided on ipc code assigned before grant |
Ipc: H04R 1/32 20060101ALI20161222BHEP Ipc: H04R 27/00 20060101AFI20161222BHEP |
|
INTG | Intention to grant announced |
Effective date: 20170110 |
|
GRAS | Grant fee paid |
Free format text: ORIGINAL CODE: EPIDOSNIGR3 |
|
GRAA | (expected) grant |
Free format text: ORIGINAL CODE: 0009210 |
|
AK | Designated contracting states |
Kind code of ref document: B1 Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR |
|
REG | Reference to a national code |
Ref country code: GB Ref legal event code: FG4D Free format text: NOT ENGLISH |
|
REG | Reference to a national code |
Ref country code: CH Ref legal event code: EP |
|
REG | Reference to a national code |
Ref country code: IE Ref legal event code: FG4D Free format text: LANGUAGE OF EP DOCUMENT: GERMAN |
|
REG | Reference to a national code |
Ref country code: AT Ref legal event code: REF Ref document number: 903902 Country of ref document: AT Kind code of ref document: T Effective date: 20170715 |
|
REG | Reference to a national code |
Ref country code: DE Ref legal event code: R096 Ref document number: 502014004339 Country of ref document: DE |
|
REG | Reference to a national code |
Ref country code: NL Ref legal event code: MP Effective date: 20170621 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: NO Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20170921 Ref country code: LT Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20170621 Ref country code: GR Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20170922 Ref country code: HR Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20170621 Ref country code: FI Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20170621 |
|
REG | Reference to a national code |
Ref country code: LT Ref legal event code: MG4D |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: LV Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20170621 Ref country code: NL Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20170621 Ref country code: SE Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20170621 Ref country code: RS Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20170621 Ref country code: BG Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20170921 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: CZ Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20170621 Ref country code: EE Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20170621 Ref country code: SK Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20170621 Ref country code: RO Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20170621 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: ES Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20170621 Ref country code: PL Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20170621 Ref country code: IS Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20171021 Ref country code: SM Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20170621 Ref country code: IT Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20170621 |
|
REG | Reference to a national code |
Ref country code: DE Ref legal event code: R097 Ref document number: 502014004339 Country of ref document: DE |
|
PLBE | No opposition filed within time limit |
Free format text: ORIGINAL CODE: 0009261 |
|
STAA | Information on the status of an ep patent application or granted ep patent |
Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: DK Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20170621 |
|
REG | Reference to a national code |
Ref country code: FR Ref legal event code: PLFP Year of fee payment: 5 |
|
26N | No opposition filed |
Effective date: 20180322 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: SI Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20170621 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: MT Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20170621 |
|
REG | Reference to a national code |
Ref country code: CH Ref legal event code: PL |
|
REG | Reference to a national code |
Ref country code: BE Ref legal event code: MM Effective date: 20180531 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: MC Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20170621 |
|
REG | Reference to a national code |
Ref country code: IE Ref legal event code: MM4A |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: LI Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20180531 Ref country code: CH Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20180531 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: LU Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20180528 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: IE Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20180528 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: BE Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20180531 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: TR Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20170621 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: PT Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20170621 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: CY Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20170621 Ref country code: MK Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20170621 Ref country code: HU Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT; INVALID AB INITIO Effective date: 20140528 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: AL Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20170621 |
|
REG | Reference to a national code |
Ref country code: AT Ref legal event code: MM01 Ref document number: 903902 Country of ref document: AT Kind code of ref document: T Effective date: 20190528 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: AT Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20190528 |
|
P01 | Opt-out of the competence of the unified patent court (upc) registered |
Effective date: 20230524 |
|
PGFP | Annual fee paid to national office [announced via postgrant information from national office to epo] |
Ref country code: FR Payment date: 20230517 Year of fee payment: 10 Ref country code: DE Payment date: 20230519 Year of fee payment: 10 |
|
PGFP | Annual fee paid to national office [announced via postgrant information from national office to epo] |
Ref country code: GB Payment date: 20230522 Year of fee payment: 10 |
|
REG | Reference to a national code |
Ref country code: DE Ref legal event code: R081 Ref document number: 502014004339 Country of ref document: DE Owner name: BRANDENBURG LABS GMBH, DE Free format text: FORMER OWNER: FRAUNHOFER-GESELLSCHAFT ZUR FOERDERUNG DER ANGEWANDTEN FORSCHUNG E.V., 80686 MUENCHEN, DE |
|
REG | Reference to a national code |
Ref country code: GB Ref legal event code: 732E Free format text: REGISTERED BETWEEN 20240104 AND 20240110 |