EP2362681A1 - Verfahren und Vorrichtung zum phasenabhängigen Verarbeiten von Schallsignalen - Google Patents
Verfahren und Vorrichtung zum phasenabhängigen Verarbeiten von Schallsignalen Download PDFInfo
- Publication number
- EP2362681A1 EP2362681A1 EP11152903A EP11152903A EP2362681A1 EP 2362681 A1 EP2362681 A1 EP 2362681A1 EP 11152903 A EP11152903 A EP 11152903A EP 11152903 A EP11152903 A EP 11152903A EP 2362681 A1 EP2362681 A1 EP 2362681A1
- Authority
- EP
- European Patent Office
- Prior art keywords
- calibration
- phase difference
- calibration position
- signals
- sound
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 72
- 230000005236 sound signal Effects 0.000 title claims abstract description 70
- 230000001419 dependent effect Effects 0.000 title claims abstract description 35
- 238000012545 processing Methods 0.000 title claims abstract description 31
- 239000013598 vector Substances 0.000 claims abstract description 66
- 238000001228 spectrum Methods 0.000 claims abstract description 47
- 230000003595 spectral effect Effects 0.000 claims abstract description 32
- 238000004590 computer program Methods 0.000 claims abstract description 4
- 230000009466 transformation Effects 0.000 claims abstract description 4
- 238000012360 testing method Methods 0.000 claims description 17
- 101100513402 Arabidopsis thaliana MIK2 gene Proteins 0.000 claims description 9
- 101150101778 mik1 gene Proteins 0.000 claims description 9
- 230000002238 attenuated effect Effects 0.000 claims description 8
- 230000003044 adaptive effect Effects 0.000 claims description 7
- 230000001131 transforming effect Effects 0.000 claims description 4
- 230000008569 process Effects 0.000 claims description 3
- 238000012935 Averaging Methods 0.000 claims 1
- 230000002452 interceptive effect Effects 0.000 claims 1
- 230000000694 effects Effects 0.000 description 13
- 238000011161 development Methods 0.000 description 7
- 230000018109 developmental process Effects 0.000 description 7
- 238000005259 measurement Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 238000012937 correction Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000006978 adaptation Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000001066 destructive effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000004886 head movement Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
- G10L21/0216—Noise filtering characterised by the method used for estimating noise
- G10L2021/02161—Number of inputs available containing the signal or the noise to be suppressed
- G10L2021/02166—Microphone arrays; Beamforming
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
- H04R2499/10—General applications
- H04R2499/11—Transducers incorporated or for use in hand-held devices, e.g. mobile phones, PDA's, camera's
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
- H04R2499/10—General applications
- H04R2499/13—Acoustic transducers and sound field adaptation in vehicles
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/15—Aspects of sound capture and related signal processing for recording or reproduction
Abstract
Description
- Die vorliegende Erfindung betrifft ein Verfahren und eine Vorrichtung zum Verarbeiten von Schallsignalen zumindest einer Schallquelle. Die Erfindung liegt auf dem Gebiet der digitalen Verarbeitung von Schallsignalen, die mit einem Mikrofonarray aufgenommen werden. Insbesondere betrifft die Erfindung ein Verfahren und eine Vorrichtung zum phasenabhängigen bzw. phasenempfindlichen Verarbeiten von mit einem Mikrofonarray aufgenommenen Schallsignalen.
- Von einem Mikrofonarray wird gesprochen, wenn zwei oder mehr beabstandete Mikrofone zur Aufnahme von Schallsignalen verwendet werden (Mehr-Mikrofon-Technik). Damit ist es möglich, eine Richtungsempfindlichkeit in der digitalen Signalverarbeitung zu erreichen. Hier sind zunächst die klassischen "Shift and add" bzw. "Filter and add" Verfahren zu nennen, bei denen ein Mikrofonsignal gegenüber dem zweiten zeitlich verschoben oder gefiltert wird, bevor die so manipulierten Signale addiert werden. Auf diese Weise ist es möglich, eine Schallauslöschung ("destruktive lnterferenz") für Signale zu erreichen, die aus einer bestimmten Richtung eintreffen. Da die zugrundeliegende Wellengeometrie formal identisch mit der Erzeugung einer Richtwirkung in Funkanwendungen bei Verwendung mehrer Antennen ist, spricht man hier auch von "Beam Forming", wobei der "Strahl" der Radiowellen durch die Dämpfungsrichtung bei der Mehr-Mikrofon-Technik ersetzt wird. Die Bezeichnung "Beam Forming" hat sich für Mikrofonarray-Anwendungen als Gattungsbezeichnung durchgesetzt, obwohl hier von einem "Strahl" eigentlich keine Rede sein kann. Irreführender Weise wird der Begriff nicht nur für die soeben beschriebene klassische Zwei- oder Mehr-Mikrofon-Technik benutzt, sondern auch für fortschrittlichere, nicht-lineare Array-Techniken, für die die Analogie mit der Antennentechnik so nicht mehr gilt.
- In vielen Anwendungen verfehlt das klassische Verfahren das eigentlich gewünschte Ziel. Es hilft oft wenig, Schallsignale zu dämpfen, die aus einer bestimmten Richtung eintreffen. Vielmehr ist es wünschenswert, möglichst nur die von einer (oder mehreren) bestimmten Signalquelle(n) stammenden Signale weiterzuleiten bzw. weiterzuverarbeiten, wie beispielsweise die von einem erwünschten Sprecher.
- Aus der
EP 1595427 B1 ist ein Verfahren zur Separierung von Schallsignalen bekannt. Gemäß dem darin beschriebenen Verfahren, können der Winkel und die Breite des "Richtkegels" für die gewünschten Signale (eigentlich kein Kegel sondern ein Rotationshyperboloid) sowie die Dämpfung für unerwünschte Signale außerhalb des Richtkegels mittels Parametern gesteuert werden. Das geschilderte Verfahren berechnet dabei eine signalabhängige Filterfunktion, wobei die spektralen Filterkoeffizienten mithilfe einer vorgegebenen Filterfunktion berechnet werden, deren Argument der Einfallswinkel einer spektralen Signalkomponente ist. Der Einfallswinkel wird mithilfe trigonometrischer Funktionen bzw. deren Umkehrfunktionen aus dem Phasenwinkel bestimmt, der zwischen den beiden Mikrofonsignalkomponenten vorliegt; diese Berechnung erfolgt ebenfalls spektral aufgelöst, also separat für jede darstellbare Frequenz. Winkel und Breite des Richtkegels sowie die maximale Dämpfung sind dabei Parameter der Filterfunktion. - Das in der
EP 1595427 B1 offenbarte Verfahren leidet an mehreren Nachteilen. Die mit dem Verfahren erzielbaren Ergebnisse entsprechen nur im Freifeld und im Nahfeld dem gewünschten Ziel, Schallsignale einer bestimmten Schallquelle zu separieren. Außerdem ist eine sehr geringe Toleranz der verwendeten Bauteile und insbesondere der eingesetzten Mikrofone erforderlich, da sich Störungen in den Phasen der Mirkofonsignale negativ auf die Wirksamkeit des Verfahrens auswirken. Die benötigten engen Bauteiltoleranzen lassen sich zumindest teilweise mit Hilfe geeigneter Herstellungstechnologien realisieren. Jedoch gehen damit oft höhere Herstellungskosten einher. Schwieriger lassen sich Nahfeld/Freifeld-Einschränkungen umgehen. Von einem Freifeld spricht man, wenn die Schallwelle ungehindert an den Mikrofonen 10, 11 eintrifft, also ohne auf dem Signalweg 12 von der Schallquelle 13 reflektiert, gedämpft, oder sonst wie verändert worden zu sein, wie dies inFigur 1a dargestellt ist. Im Nahfeld zeigt sich im Gegensatz zum Fernfeld, bei dem das Schall signal als ebene Welle eintrifft, die Krümmung der Wellenfront noch deutsch. Auch wenn dies eigentlich eine unerwünschte Abweichung von den auf ebenen Wellen basierenden Geometrieüberlegungen des Verfahrens ist, besteht normalerweise in einem wesentlichen Punkte große Ähnlichkeit zum Freifeld. Da die Signal- bzw. Schallquelle 13 so nah ist, sind die Phasenstörungen durch Reflexionen o.ä. im Vergleich zum Nutzsignal normalerweise eher gering.Figur 1b zeigt die Verwendung der Mikrofone 10, 11 und der Schallquelle 13 in einem engen Raum 14, wie z.B. einem Kfz-Innenraum. Im Einsatz in engen Räumen, sind die Phaseneffekte jedoch erheblich, da die Reflektionen der Schallwellen an insbesondere glatten Oberflächen, wie z.B. Front- oder Seitenscheiben, dazu führen, dass die Schallwellen sich auf verschiedenen Schallwegen 12 ausbreiten und in der Nähe der Mikrofone die Phasenbeziehung zwischen den Signalen der beiden Mikrofone so stark stören, dass das Ergebnis der Signalverarbeitung nach dem oben bezeichnetem Verfahren unbefriedigend ist. - Die Phasenstörungen aufgrund der Reflexionen, wie sie in
Figur 1b dargestellt sind, führen dazu, dass die spektralen Komponenten des Schallsignals einer Signalquelle 13 scheinbar aus verschiedenen Richtungen auf die Mikrofone 10, 11 treffen.Figur 2 zeigt hierzu im Vergleich die Einfallsrichtungen im Freifeld (Fig. 2a ) und bei Reflexionen (Fig. 2b ). Im Freifeld kommen alle spektralen Komponenten des Schallsignals 15f1, 15f2, ..., 15fn aus der Richtung der Schallquelle (inFigur 2 nicht dargestellt). GemäßFigur 2b treffen die spektralen Komponenten des Schallsignals 16f1, 16f2, ..., 16fn aufgrund der frequenzabhängigen Reflexionen jeweils mit ganz unterschiedlichen scheinbaren Einfallswinkeln ϑf1, ϑf2,..., ϑfn auf die Mikrofone 10, 11, obwohl das Schallsignal von der einen Schallquelle 13 erzeugt wurde. Eine Verarbeitung der Schallsignale in engeren Räumen, bei der nur Schallsignale aus einem bestimmten Einfallswinkel berücksichtigt werden, führt zu unbefriedigenden Ergebnissen, da dadurch bestimmte spektrale Komponenten des Schallsignals nicht oder nur unzureichend verarbeitet werden, was insbesondere Einbußen in der Signalqualität zur Folge hat. - Ein weiterer Nachteil des bekannten Verfahrens liegt darin, dass der Einfallswinkel als räumlicher Winkel für jede Frequenz f zunächst mithilfe trigonometrischer Funktionen bzw. deren Umkehrfunktionen aus dem Phasenwinkel, der zwischen den beiden Mikrofonsignalkomponenten vorliegt, berechnet werden muss. Diese Berechnung ist aufwendig, und die u.a. benötigte trigonometrische Funktion Arkuskosinus (arccos) ist nur im Bereich [-1, 1] definiert, so dass ggf. zusätzlich eine entsprechende Korrekturfunktion notwendig ist.
- Es ist daher Aufgabe der vorliegenden Erfindung, ein Verfahren und eine Vorrichtung zum Verarbeiten von Schallsignalen vorzuschlagen, die die Nachteile des Standes der Technik möglichst vermeiden und insbesondere ein Kompensieren von Phasenstörungen oder -effekten, mit denen die Signale behaftet sind, ermöglichen. Ferner ist es Ziel der Erfindung, ein Verfahren und eine Vorrichtung zum phasenabhängigen Verarbeiten von Schallsignalen vorzuschlagen, die es erlauben, systematische Fehler in den Mikrofonsignalen, beispielsweise aufgrund von Bauteiltoleranzen, zu kompensieren und/oder ein Kalibrieren von einzelnen Bauteilen, wie z.B. den Mikrofonen oder der gesamten Vorrichtung zu ermöglichen,
- Erfindungsgemäß wird hierzu ein Verfahren nach Anspruch 1 bzw. eine Vorrichtung nach Anspruch 10 vorgeschlagen. Weiterhin stellt die Erfindung ein Computerprogramm gemäß Anspruch 12 bereit. Vorteilhafte Weiterbildungen der Erfindung sind in den jeweiligen Unteransprüchen definiert.
- Das erfindungsgemäße Verfahren zum phasenabhängigen Verarbeiten von Schallsignalen zumindest einer Schallquelle umfasst dabei grundsätzlich die Schritte: Anordnen von zumindest zwei Mikrofonen MIK1, MIK2 in einem jeweils vorbestimmten Abstand d zueinander, Erfassen von Schallsignalen mit beiden Mikrofonen und Erzeugen zugeordneter Mikrofonsignale sowie ein Verarbeiten der Mikrofonsignale. In einem Einmessmodus werden dabei folgende Schritte ausgeführt: Festlegen zumindest einer Einmessposition einer Schallquelle, separates Erfassen der Schallsignale für die Einmessposition mit jeweils beiden Mikrofonen und Erzeugen von dem jeweiligen Mikrofon zugeordneten Einmessmikrofonsignalen für die Einmessposition, Ermitteln der Frequenzspektren der zugeordneten Einmessmikrofonsignale, und Berechnen der Phasendifferenzen ϕ0(f) der zugeordneten Einmessmikrofonsignale. Da für jede Frequenz f eine eigener Phasendifferenzwert bestimmt wird, wird ϕ0(f) im Folgenden auch Phasendifferenzvektor oder frequenzabhängiger Phasendifferenzvektor genannt. Während eines Betriebsmodus werden dann die folgenden Schritte ausgeführt: Erfassen der aktuellen Schallsignale mit beiden Mikrofonen und Erzeugen zugeordneter aktueller Mikrofonsignale, Ermitteln der aktuellen Frequenzspektren der zugeordneten aktuellen Mikrofonsignale, Berechnen eines aktuellen Phasendifferenzvektors ϕ(f) zwischen den zugeordneten aktuellen Mikrofonsignalen aus deren Frequenzspektren, Auswählen zumindest einer der festgelegten Einmesspositionen, Berechnen einer spektralen Filterfunktion F in Abhängigkeit von dem aktuellen Phasendifferenzvektor ϕ(f) sowie dem jeweiligen einmesspositionsspezifischen Phasendifferenzvektor ϕ0(f) der ausgewählten Einmessposition, Erzeugen jeweils eines Signalspektrums S eines auszugebenden Signals durch multiplikative Verknüpfung mindestens eines der beiden Frequenzspektren der aktuellen Mikrofonsignale mit der spektralen Filterfunktion F der jeweiligen ausgewählten Einmessposition, wobei die Filterfunktion derart gewählt ist, dass spektrale Komponenten von Schallsignalen umso weniger gedämpft werden, je geringer der Differenzbetrag zwischen aktueller und einmesspositionsspezifischer Phasendifferenz für die entsprechende Frequenz ist, und Erhalten des jeweils auszugebenden Signals für die jeweilige ausgewählte Einmessposition durch inverses Transformieren des erzeugten Signalspektrums.
- Auf diese Weise stellt das erfindungsgemäße Verfahren bzw. die erfindungsgemäße Vorrichtung eine Einmessprozedur bereit, gemäß der für zumindest eine Position der erwarteten Nutzsignalquelle als sogenannte Einmessposition während des Einmessmodus Schallsignale, die beispielsweise durch Abspielen eines Testsignals erzeugt werden, mit ihren Phaseneffekten und - störungen von den Mikrofonen aufgenommen werden. Aus den aufgenommenen Mikrofonsignalen wird dann der Phasendifferenzvektor ϕ0(f) zwischen diesen Mikrofonsignalen aus deren Frequenzspektren für die Einmessposition berechnet. In der sich anschließenden Signalverarbeitung im Betriebsmodus wird dieser Phasendifferenzvektor ϕ0(f) dann verwendet, um die Filterfunktion zur Erzeugung des Signalspektrums des auszugebenden Signals einzumessen, wodurch sich Phasenstörungen und -effekte in den Schallsignalen kompensieren lassen. Durch die anschließende Anwendung der so eingemessenen Filterfunktion auf zumindest eines der aktuellen Mikrofonsignale durch multiplikative Verknüpfung des Spektrums des aktuellen Mikrofonsignals mit der Filterfunktion, wird ein Signalspektrum des auszugebenden Signals erzeugt, welches im Wesentlichen nur noch Signale von der ausgewählten Einmessposition enthält. Die Filterfunktion wird dabei so gewählt, dass spektrale Komponenten von Schallsignalen, die gemäß ihrer Phasendifferenz den Einmessmikrofonsignalen und damit den vermeintlichen Nutzsignalen entsprechen, nicht oder weniger stark gedämpft werden, als spektrale Komponenten von Schallsignalen, deren Phasendifferenz sich von der einmesspositionsspezifischen Phasendifferenz unterscheidet. Weiterhin wird die Filterfunktion so gewählt, dass spektrale Komponenten von Schallsignalen umso stärker gedämpft werden, je größer der Differenzbetrag zwischen aktueller und einmesspositionsspezifischer Phasendifferenz für die entsprechende Frequenz ist.
- Wird die Einmessprozedur nicht nur modellspezifisch angewandt, sondern gemäß einer Ausführungsform für jede Vorrichtung, wie beispielsweise für jedes einzelne Mikrofonarray-Gerät in seiner Betriebsumgebung durchgeführt, lässt sich auf diese Art und Weise nicht nur die modelltypischen oder umgebungsbedingten, sondern auch die durch Bauteiltoleranzen und die Betriebsumgebung verursachten Phaseneffekte und -störungen des spezifischen Geräts im Betrieb kompensieren. Diese Ausführungsform ist daher geeignet, Bauteiltoleranzen der Mikrofone, wie beispielsweise deren Phasenlage und Empfindlichkeit auf einfache und sichere Art und Weise zu kompensieren. Dabei können auch Effekte, die nicht durch das Ändern der Raumposition der Nutzsignalquelle selbst, sondern durch Änderungen in der Umgebung der Nutzsignalquelle, beispielsweise durch das Öffnen eines Seitenfensters eines Kfz, verursacht werden, berücksichtigt werden. Die Einmessposition wird dabei als Zustandsraumposition definiert, die als zusätzliche Dimension bspw. den Zustand des Raumes umfasst. Treten solche Änderungen oder Schwankungen der Einmessposition während des Betriebs auf, lassen sich diese durch ein einmaliges Einmessen prinzipiell nicht beherrschen. Hierfür wird das erfindungsgemäße Verfahren dann als adaptives Verfahren ausgestaltet, bei dem der einmesspositionsspezifische Phasendifferenzvektor ϕ0(t) nicht lediglich aus einmalig während des Einmessmodus erfassten Mikrofonsignalen, sondern aus den Mikrofonsignalen der tatsächlichen Nutzsignale während des Betriebs berechnet bzw. aktualisiert wird.
- Gemäß einer Weiterbildung der Erfindung arbeitet das Verfahren bzw. die Vorrichtung zunächst im Betriebsmodus. Der einmesspositionsspezifische Phasendifferenzvektor ϕ0(t) wird dabei für alle Frequenzen f auf ϕ0(f) = 0 gesetzt. Erst zu einem späteren Zeitpunkt schaltet das Verfahren bzw, die Vorrichtung in den Einmessmodus und berechnet den einmesspositionsspezifischen Phasendifferenzvektor ϕ0(f), wobei beispielsweise ein Nutzer Testsignale spricht und diese von den Mikrofonen erfasst werden, um daraus zugeordnete Einmessmikrofonsignale zu erzeugen. Aus den zugeordneten Einmessmikrofonsignalen wird dann der einmesspositionsspezifische Phasendifferenzvektor ϕ0(f) berechnet. Anschließend wird wiederum in den Betriebsmodus geschaltet. In dem die spektralen Filterfunktionen F für jeden aktuellen Phasendifferenzvektor in Abhängigkeit von dem vorher bestimmten jeweiligen einmesspositionsspezifischen Phasendifferenzvektor berechnet werden.
- Auf diese Weise ist zunächst ein Einsatz ohne Einmessung (oft auch Kalibrierung genannt) unter Standardeinstellungen möglich. Sobald dann in den Einmessmodus geschaltet wird, lässt sich eine Einmessung nicht nur bspw. hinsichtlich der Bauteiltoleranzen sondern auch der aktuellen Betriebsumgebung, der konkreten Einsatzbedingungen und des Nutzers erreichen.
- In anderen Worten erlaubt die Erfindung insbesondere eine phasenabhängige und zugleich frequenzabhängige Verarbeitung von Schallsignalen, ohne dass es dabei notwendig ist, den Einfallswinkel der Schallsignale zu bestimmen, indem zumindest eine spektrale Komponente des aktuellen Schallsignals in Abhängigkeit der Differenz zwischen ihrer Phasendifferenz und einer einmesspositionsspezifischen Phasendifferenz der entsprechenden Frequenz gedämpft wird.
- Kurzbeschreibung der Abbildungen:
-
Figur 1 zeigt schematisch die Ausbreitung von Schallsignalen einer Schallquelle im Freifeld (a) und bei Reflexionen im Nahfeld (b). -
Figur 2 zeigt schematisch die scheinbaren Einfallsrichtungen von Schallsignalen einer Schallquelle im Freifeld (a) und bei Reflexionen im Nahfeld (b). -
Figur 3 zeigt ein Ablaufdiagramm zur Bestimmung der Einmessdaten im Einmessmodus gemäß einer Ausführungsform der Erfindung. -
Figur 4 zeigt ein Ablaufdiagramm zur winkelabhängigen Bestimmung der Filterfunktion gemäß einer Ausführungsform der Erfindung. -
Figur 5 zeigt ein Ablaufdiagramm zur phasenwinkelabhängigen Bestimmung der Filterfunktion gemäß einer Ausführungsform der Erfindung. - Ein Grundgedanke der Erfindung ist es, in einer Einmessprozedur für gewünschte Schallsignale phasenabhängige Einmessdaten zu bestimmen, welche die anwendungsbedingten Phaseneffekte berücksichtigen, und diese Einmessdaten anschließend bei der Signalverarbeitung zur Kompensation von Phasenstörungen und -effekten einzusetzen.
- Das Verfahren stellt hierzu eine Anordnung von zumindest zwei Mikrofonen MIK1, MIK2 in einem vorbestimmten Abstand d zueinander bereit. Um eine Mehrdeutigkeit von Phasendifferenzen zu vermeiden, ist dieser Abstand kleiner als die halbe Wellenlänge der höchsten vorkommenden Frequenz zu wählen, d.h. kleiner als der Quotient Schallgeschwindigkeit / Abtastrate der Mikrofonsignale. Ein in der Praxis für Sprachverarbeitung gut geeigneter Wert für den Mikrofonabstand d ist beispielsweise 1 cm. Mit jedem Mikrofon werden dann die Schallsignale, die von einer in einer Einmessposition angeordneten Schallquelle erzeugt werden, jeweils separat erfasst. Jedes Mikrofon erzeugt aus den mit diesem Mikrofon erfassten Schallsignalen diesem Mikrofon zugeordnete Einmessmikrofonsignale. Aus den ermittelten Frequenzspektren der zugeordneten Einmessmikrofonsignale wird dann ein einmesspositionsspezifischer Phasendifferenzvektor ϕ0(f) berechnet. Die so zwischen den zugeordneten Einmessmikrofonsignalen aus deren Frequenzspektren bestimmten Phasendifferenzen dienen dann im Betriebsmodus als Einmessdaten zur Kompensation der entsprechenden Phasenstörungen bzw. -effekte.
- Gemäß einer Ausführungsform werden die Einmessdaten dabei durch die Abfolge der Schritte erzeugt, wie sie in dem in
Figur 3 dargestellten Ablaufdiagramm aufgeführt sind. Zunächst erfolgt in Schritt 310 das Abspielen eines Testsignals, wie z.B. weißes Rauschen, von der Einmessposition als der Position der erwarteten Nutzsignalquelle und die Aufnahme der entsprechenden Einmessmikrofonsignale mit den Mikrofonen MIK1 und MIK2 durch separates Erfassen der Schallsignale mit den beiden Mikrofonen und Erzeugen der zugeordneten Einmessmikrofonsignale für diese Einmessposition. Anschließend werden die Fouriertransformierten M1(f,T) und M2(f,T) der Einmessmikrofonsignale zum Zeitpunkt T und die Real- und Imaginärteile Re1, Im1, Re2, Im2 der Fouriertransformierten M1(f,T) und M2(f,T) in Schritt 320 berechnet, um daraus wiederum in Schritt 330 die frequenzabhängigen Phasen ϕ(f,T) zur Zeit T zwischen den Einmessmikrofonsignalen gemäß der Formel:
zu berechnen. - In einem nächsten Schritt 340 werden dann die zu fortlaufenden Zeitpunkten T ermittelten Phasenvektoren ϕ(f,T) zeitlich über T gemittelt, wodurch ein einmesspositionsspezifischer Phasendifferenzvektor ϕ0(f) entsteht, der die Einmessdaten enthält.
- Für eine winkelabhängige Filterbestimmung, wie sie nachfolgend mit Bezug auf
Figur 4 beschrieben wird, erfolgt optional in Schritt 350 die Berechnung eines Einmess-Winkelvektors ϑ0(f)=arccosϕ0(f)c / 2πfd) nach Korrektur des Arguments auf den erlaubten Wertebereich [-1...1]. Bei einer winkelabhängigen Filterbestimmung gemäßFig. 4 wird im Gegensatz zur phasenwinkelabhängigen Filterbestimmung die Umkehrfunktion des Cosisus (arccos) benötigt, um aus dem Phasenwinkel einen geometrischen oder räumlichen Winkel zu bestimmen (daher auch teilweise raumwinkelabhängige Filterbestimmung genannt). - Bei einer winkelabhängigen Filterbestimmung zur Erzeugung eines Ausgangssignals s(t) im Betriebsmodus gemäß
Figur 4 wird zunächst das aktuelle Schallsignal mit den zwei Mikrofonen MIK1 und MIK2 in Schritt 410 aufgenommen. In Schritt 420 werden wiederum die Fouriertransformierten M1(f,T) und M2(f,T) der Mikrofonsignale 1 und 2 zum Zeitpunkt T sowie deren Real- und Imaginärteile Re1, Im1, Re2, Im2 berechnet. Anschließend werden im Schritt 430 die frequenzabhängigen Phasen zur Zeit T ϕ(f,T)=arctan((Re1*Im2-Im1*Re2)/(Re1*Re2+Im1*Im2)) und daraus wiederum im Schritt 440 ein Winkelvektor ϑ(f)=arccos(ϕ(f)c/2πfd) einschließlich entsprechender Korrektur des Arguments auf den erlaubten Wertebereich [-1...1] für alle Frequenzen f berechnet. Im Schritt 450 wird dann die spektrale Filterfunktion, die die Dämpfungswerte für jede Frequenz f zum Zeitpunkt T enthält und wie folgt definiert ist: F(f,T) = Z(ϑ(f,T)-ϑ0(f)), mit einer unimodalen Zuordnungsfunktion wie z.B. Z(ϑ) = ((1 + cosϑ)/2)n mit n>0 in Abhängigkeit des Einmess-Winkelvektors ϑ0(f) berechnet, wobei der Winkel ϑ so definiert ist, dass -π≤ϑ≤π gilt. Der Wert n wird im Folgenden als Breitenparameter bezeichnet, da er die einstellbare Breite des Richtkegels festlegt. Dabei ist zu beachten, dass die Richtkegelbreite umso kleiner ist, je größer der Breitenparameter n gewählt wird. Die so bestimmte Filterfunktion F(f,T) mit einem Wertebereich 0 ≤ F(f,T) ≤ 1 wird dann in Schritt 460 auf ein Spektrum der Mikrofonsignale 1 oder 2 in Form einer Multiplikation: S(f,T)=M1(f,T)F(f,T) angewandt. Aus dem so gefilterten Spektrum S(f,T) wird dann durch inverse Fouriertransformation das Ausgangssignals s(t) im Schritt 470 erzeugt. Obige Definition der Filterfunktion F(f,T) ist exemplarisch zu verstehen, andere Zuordnungsfunktionen mit ähnlicher Charakteristik erfüllen denselben Zweck. Der hier gewählte weiche Übergang zwischen den Extremwerten der Filterfunktion (null und eins) wirkt sich günstig auf die Qualität des Ausgangssignals aus, insbesondere im Hinblick auf unerwünschte Artefakte der Signalverarbeitung. - Gemäß einer Weiterbildung der Erfindung wird auf die Bestimmung des Winkels verzichtet und stattdessen während der Einmessprozedur lediglich der einmesspositionsspezifischen Phasendifferenzvektor ϕ0(f) bestimmt, der bereits die Einmessinformation enthält. In dieser Ausführungsform entfällt damit bei der Bestimmung der Einmessdaten die Berechnung des Winkelvektors ϑ0(f) in Schritt 350 und damit die ggf. notwendige Korrektur des Wertebereichs des Arguments für die arccos-Berechnung. Während des Betriebsmodus umfasst das Verfahren dabei die in
Figur 5 dargestellten Schritte. Zunächst wird wiederum das aktuelle Schallsignal mit den zwei Mikrofonen MIK1 und MIK2 im Schritt 510 erfasst. Aus den daraus erzeugten Mikrofonsignalen 1 und 2 werden die aktuellen Frequenzspektren durch Berechnen der Fouriertransformierten M1(f,T) und M2(f,T) zum Zeitpunkt T sowie deren Real- und Imaginärteile Re1, Im1, Re2, Im2 im Schritt 520 ermittelt. Anschließend wird im Schritt 530 der aktuelle Phasendifferenzvektor aus deren Frequenzspektren gemäß
berechnet. Die spektrale Filterfunktion wird nun gemäß der Formel
im Hinblick auf den einmesspositionsspezifischen Phasendifferenzvektor ϕ0(f) in Schritt 540 berechnet, wobei c die Schallgeschwindigkeit, f die Frequenz der Schallsignalkomponenten, T die Zeitbasis der Spektrumserzeugung, d der vorbestimmte Abstand der beiden Mikrofone, und n der Breitenparameter für den Richtkegel ist. Beim Betrachten der Formel, welche wie zuvor exemplarisch zu verstehen ist, wird klar, dass die Filterfunktion im Idealfall, d.h. bei Phasengleichheit zwischen aktuell im Betriebsmodus gemessenem und einmesspositionsspezifischem Phasendifferenzvektor, gleich Eins wird, so dass die auf das Signalspektrum Angewandte Filterfunktion das auszugebende Signal nicht dämpft. Bei zunehmender Abweichung des aktuellen vom einmesspositionsspezifischen Phasendifferenzvektor geht die Filterfunktion gegen Null, was zu einer entsprechenden Dämpfung des auszugebenden Signals führt. - Falls im Einmessmodus mehrere Phasendifferenzvektoren für bspw. verschiedene Einmesspositionen bestimmt wurden, besteht die Möglichkeit, die Filterfunktion für eine dieser Einmesspositionen und damit eine gewünschte Position des Nutzsignals zu bestimmen.
- Im Schritt 550 wird dann das Signalspektrum S des eingemessenen Signals durch Anwenden der Filterfunktion F(f,T) auf eines der Mikrofonspektren M1 oder M2 in Form einer Multiplikation gemäß der Formel (hier für Mikrofonspektrum M1):
erzeugt, woraus dann wiederum im Schritt 560 das auszugebende Signal s(t) durch inverse Fouriertransformation von S(f,T) bestimmt wird. - Gemäß einer Weiterbildung der Erfindung arbeitet das Verfahren zunächst im Betriebsmodus und der einmesspositionsspezifische Phasendifferenzvektor ϕ0(f) wird für alle Frequenzen f auf ϕ0(f) gleich Null gesetzt. Das entspricht einer sogenannten "Broadview"-Geometrie ohne Einmessen. Soll die Vorrichtung zum Verarbeiten von Schallsignalen nun eingemessen werden, wird die Vorrichtung in den Einmessmodus geschaltet. Unter der Annahme, dass nun ein entsprechendes Nutzsignal generiert wird, indem z.B. lediglich der gewünschte Nutzer spricht, wird der einmesspositionsspezifische Phasendifferenzvektor ϕ0(f) berechnet. Hierbei spricht der Nutzer beispielsweise vorgegebene Testsätze, die von den Mikrofonen erfasst und aus denen zugeordnete Einmessmikrofonsignale erzeugt werden. Beispielsweise geht das System oder die Vorrichtung durch ein Kommando von außen in den EinmessModus, in welchem es die ϕ0(f) bestimmt. Dazu spricht der Nutzer Testlaute, z.B. "sch sch sch", bis das System ausreichende Einmessdaten gesammelt hat, was optional z.B. durch eine LED angezeigt werden kann. Danach wechselt das System in den Betriebsmodus, in welchem die Einmessdaten benutzt werden
- Anschließend wird in den Betriebsmodus geschaltet und die spektrale Filterfunktion F wird für jeden aktuellen Phasendifferenzvektor in Abhängigkeit von dem vorher bestimmten jeweiligen einmesspositionsspezifischen Phasendifferenzvektor berechnet. Somit ist es z.B. möglich, die Vorrichtung, wie z.B. ein Mobiltelefon zunächst in einer Grundeinstellung auszuliefern und dann die Einmessprozedur mit der Stimme des tatsächlichen Nutzers in der vom Nutzer bevorzugten Einsatzumgebung und -anordnung, d.h. wie hält der Nutzer das Mobiltelefon im Verhältnis zum Mund des Nutzers o.ä., durchzuführen.
- Gemäß einer Weiterbildung der Erfindung wird im Betriebsmodus mit dem vorher berechneten jeweiligen einmesspositionsspezifischen Phasendifferenzvektor gegenüber dem zunächst eingenommenen Betriebsmodus der Breitenparameter n kleiner gewählt als im uneingemessenen Betriebszustand, in dem sich die Vorrichtung in einer Grundeinstellung befindet. Ein zunächst kleinerer Breitenparameter bedeutet einen breiteren Richtkegel, so dass tendenziell zunächst Schallsignale aus einem größeren Richtkegel weniger stark gedämpft werden. Erst wenn die Einmessung erfolgt ist, wird der Breitenparameter größer gewählt, weil nun die Filterfunktion in der Lage ist, die an den Mikrofonen ankommenden Schallsignale auch unter Berücksichtigung der im Nahfeld auftretenden (Phasen-)Störungen gemäß eines kleineren Richtkegels entsprechend richtig zu dämpfen. Die Richtkegelbreite, die durch den Parameter n in der Zuordnungsfunktion festgelegt ist, wird z.B. im Betrieb mit Einmessdaten kleiner gewählt als im uneingemessenen Fall. Durch das Einmessen kennt das Verfahren die Position der Signalquelle ja sehr genau, so dass man dann mit einem "schärferen" Beam-Forming und daher mit einem schmaleren Richtkegel arbeiten kann als im uneingemessenen Fall, wo die Position der Quelle höchstens ungefähr bekannt ist.
- Gemäß einer Weiterbildung der Erfindung wird im Einmessmodus ferner die Einmessposition in einem Raum- und/oder Zustandsbereich variiert, in dem der Nutzer im Betriebsmodus erwartet wird. Anschließend wird der einmesspositionsspezifische Phasendifferenzvektor ϕ0(f) für diese variierten Einmesspositionen berechnet. Hierdurch lassen sich dann neben unterschiedlichen Raumpositionen auch andere Effekte, die z.B. durch ein geöffnetes Seitenfenster eines Kfz verursacht werden, beim Einmessen berücksichtigen, da nicht nur die Position des Nutzers, bspw. die Sitzposition des Fahrers des Kfz, sondern auch der Umgebungszustand, d.h. ob z.B. das Seitenfenster geöffnet oder geschlossen ist, berücksichtigen.
- Während des Betriebs auftretende Schwankungen lassen sich durch ein einmaliges Einmessen prinzipiell nicht beherrschen. Hierfür kommt gemäß einer Weiterbildung der Erfindung ein adaptives Verfahren zum Einsatz, das anstelle von Einmess-Signalen die tatsächlichen Nutzsignale während des Betriebs auswertet. Gemäß einer solchen Ausführungsform wird ein adaptives Nach-Einmessen" nur in solchen Situation durchgeführt, in denen außer dem Nutzsignal keine anderen Störgeräuschsignale von den Mikrofonen aufgenommen werden, was beispielsweise an der relativen Konstanz der Phasendifferenzvektoren ϕ(f,T) zu aufeinanderfolgenden Zeiten T erkennbar ist.
- Gemäß einer Weiterbildung der Erfindung wird auf diese Weise auf einen Einmessmodus sogar ganz verzichtet, und die Berücksichtigung der Phaseneffekte vollständig dem adaptiven Verfahren überlassen, Gemäß einer Ausführungsform ist das Verfahren daher als adaptives Verfahren ausgestaltet, das gleich in den Betriebsmodus schaltet. Der einmesspositionsspezifische Phasendifferenzvektor ϕ0(f) wird dabei anfänglich entweder für alle Frequenzen f auf ϕ0(f) gleich Null gesetzt oder es werden beispielsweise gespeicherte Werte für alle Frequenzen des einmesspositionsspezifischen Phasendifferenzvektors ϕ0(f) aus früheren Einmess- oder Betriebsmodi verwendet. Alternativ wird nach einem anfänglichen Durchlaufen des Einmessmodus zum Berechnen des aktuellen einmesspositionsspezifischen Phasendifferenzvektors ϕ0(f) in den Betriebsmodus geschaltet. Im weiteren Betrieb wird der einmesspositionsspezifische Phasendifferenzvektor ϕ0(f) dann durch das adaptive Verfahren aktualisiert, indem die aktuellen Schallsignale einer Schallquelle im Betriebsmodus als Schallsignale der ausgewählten Einmessposition interpretiert und für die Einmessung verwendet werden. Es kommt somit eine für den Nutzer unbemerkte Aktualisierung der Einmessdaten zur Anwendung, wobei die Aktualisierung immer dann stattfindet, wenn davon ausgegangen wird, dass die aktuellen Schallsignale störgeräuschunbehaftete Nutzsignale im Sinne der jeweiligen Anwendung bzw. der aktuellen Konfiguration der Vorrichtung sind, so dass aus diesen Schallsignalen dann der einmesspositionsspezifische Phasendifferenzvektor ϕ0(f) bestimmt wird. Ein ansonsten möglicherweise durch die Vorrichtung vorbestimmtes Umschalten zwischen Einmess- und Betriebsmodus kann somit entfallen. Vielmehr erfolgt das Einmessen "unterschwellig" während des Betriebes immer dann, wenn es die Signalqualität zulässt, Ein Kriterium für die Signalqualität kann beispielsweise der Signal-Rauschabstand der Mikrofonsignale sein.
- Die Auswirkung auf das auszugebende Signal einer während des Betriebs heruntergelassenen Scheibe kann auf diese Weise aber weiterhin nur unzureichend oder gar nicht kompensiert werden, denn die Randbedingung der Störgeräuschfreiheit bei der Erfassung der Schallsignale zur Bestimmung der Einmessdaten lässt sich in diesem Fall kaum realisieren. Um die Adaption störgeräuschfest zu machen, wird gemäß einer Weiterbildung der Erfindung daher eine ständig zu aktualisierende, spektral aufgelöste Störgeräusch-Schätzung durchgeführt, wobei die geschätzten Störsignale vor dem Adaptionsprozess von den Mikrofonspektren subtrahiert werden, bevor die eigentliche Kompensation der Phaseneffekte durchgeführt wird. Gemäß einer Ausführungsform umfasst das Verfahren daher weiterhin, dass aus den Mikrofonsignalen der aktuellen Schallsignale im Betriebsmodus zunächst mit Hilfe eines mitlaufenden, phasenempfindlichen Geräuschmodells Störsignale herausrechnet werden, bevor der einmesspositionsspezifische Phasendifferenzvektor ϕ0(f) aktualisiert wird.
- Gemäß einer Weiterbildung der Erfindung umfasst der Schritt des Festlegens von zumindest einer Einmessposition weiterhin das Anordnen einer Testsignalquelle in der Einmessposition bzw. in deren Nähe, das Aussenden eines kalibrierten Testsignals durch die Schallsignalquelle, das Erfassen des Testsignals mit den beiden Mikrofonen und das Erzeugen der zugeordneten Einmessmikrofonsignale allein aus dem Testsignal. Bisher wurde davon ausgegangen, dass der Phasenwinkel ϕ0 spektral aufgelöst, also frequenzabhängig ist, und der entsprechende Vektor ϕ0(f) während der Einmessprozedur anhand der aufgenommenen Testsignale bestimmt wird, wohingegen der breitenbestimmende Parameter n skalar, also für alle Frequenzen gleich ist. Definiert man eine Halbwertsphasendifferenz ϕ½(f), bei der die Filterfunktion F(ϕ(f,T)) auf den Wert 1/2 abgefallen ist, so hängt der Breitenparameter n mit ϕ½(f) bei obiger Definition der Filterfunktion F(ϕ(f,T)) wie folgt zusammen:
ϕ ½(f) ist dabei ein Parametervektor, der zunächst für jede Frequenz f vorgegeben ist. - Für eine erweiterte Einmessprozedur wird nun die Quelle der Testsignale, beispielsweise ein sogenannter künstliche Mund, nicht mehr nur am Ort der erwarteten Nutzsignalquelle positioniert, sondern über einen Raumbereich variiert, in dem bei normalem Betrieb auch eine Variation der Position der Nutzsignalquelle zu erwarten ist. In einer Kfz-Anwendung soll damit beispielsweise die Schwankungsbreite abgedeckt werden, die durch natürliche Kopfbewegungen, variable Sitzeinstellungen und unterschiedliche Körpergrößen eines Fahrers bewirkt werden. Für jede Messung mit verschiedenen Orten der Testsignalquelle wird nun wie zuvor beschrieben ein Vektor ϕ0(f) bestimmt. Anschließend werden aus diesen Messungen für jede Frequenz die arithmetischen Mittelwerte µ(f) und die Standardabweichungen σ(f) für jede Frequenz f über die berechneten einmesspositionsspezifischen Phasendifferenzvektoren ϕ0(f) berechnet. Hierbei ist zu beachten, dass es sich bei den Mittelwerte µ(f) um arithmetische Mittelwerte von zuvor bereits zeitlich gemittelten Variablen handelt; µ(f) wird nun anstelle von ϕ0(f) verwendet. Der zuvor skalare Parameter n wird nun ebenfalls frequenzabhängig gemacht und durch die Einmessprozedur bestimmt. Dazu wird die Halbwertsphasendifferenz ϕ½(f) über eine Konstante k mit der Standardabweichung verknüpft ϕ½(f)=k σ(f). σ(f). Wird nun für die Messwerte ϕ0(f) eine Normalverteilung angenommen, was nicht notwendigerweise der Fall ist, mangels besseren Wissens gemäß dem Verfahren aber dennoch angenommen wird, lägen 95% aller Messergebnisse innerhalb des Bereichs ± ϕ½(f), wenn man k=2 wählt. Für den breitenbestimmenden Parameter n(f) gilt dann:
- Mit dieser Erweiterung des Einmessvorgangs trägt man der Tatsache Rechnung, dass nicht nur die Einfalls- bzw. Phasenwinkel durch Reflexionen frequenzabhängig verändert werden, sondern dass auch die Stärke dieser Veränderung frequenzabhängig sein kann, was durch eine spektral aufgelöste "Beam-Breite" gemäß dem Verfahren kompensierbar ist.
- Weiterhin sei noch erwähnt, dass alle beschriebenen Vorrichtungen, Verfahren und Verfahrensbestandteile natürlich nicht auf den Einsatz beispielsweise in einem Kfz beschränkt sind. Auf dieselbe Weise kann z.B. auch ein Mobiltelefon oder jedes andere (Sprach-)Signalverarbeitungsgerät eingemessen werden, dass eine Mikrofonarraytechnologie verwendet.
- Das erfindungsgemäße Verfahren und die erfindungsgemäße Vorrichtung sind zweckmäßigerweise mithilfe bzw. in Form eines Signalverarbeitungssystems z.B. mit einem digitalen Signalprozessor (DSP-System) oder als Softwarekomponente eines Computerprogramms, das beispielsweise auf einem PC oder DSP-System oder jeder anderen Hardwareplattform läuft, realisierbar.
-
- MIK1, MIK2
- beabstandete Mikrofone;
- M1(f,T), M2(f,T)
- Fouriertransformierte der Mikrofonsignale (spektrale Amplitude
- bei der
- Frequenz f zum Zeitpunkt T);
- d
- Abstand zwischen Mikrofonen MIK1 und MIK2;
- f
- Frequenz;
- T
- Zeitpunkt der Bestimmung eines Spektrums bzw. eines Ausgangssignals
- ϕ0(f)
- zeitlich gemittelter Phasendifferenzvektor im Einmessmodus;
- ϕ(f,T)
- Phasendifferenzvektor der Mikrofonsignale während des Betriebs;
- Re1(f), Im1(f)
- Real- und Imaginärteile der spektralen Komponenten des ersten Freisprechmikrofonsignals (Mikrofon 1);
- Re2(f), Im2(f)
- Real- und Imaginärteile der spektralen Komponenten des zweiten Freisprechmikrofonsignals (Mikrofon 2):
- ϑ0(f)
- zeitlich gemittelte frequenzabhängiger Einfallswinkel des ersten Test-Audiosignals im Einmessmodus;
- ϑ(f,T)
- frequenzabhängiger Einfallswinkel der Mikrofonsignale während des Betriebs;
- µ(f)
- arithmetische Mittelwerte für jede Frequenz f über die ϕ0(f);
- σ(f)
- Standardabweichungen für jede Frequenz f über die ϕ0(f);
- n
- Breitenparameter;
- n(f)
- frequenzabhängiger Breitenparameter, mit ϕ½(f) = kσ(f), wobei ϕ½(f) die frequenzabhängige Phasendifferenz ist, bei der die Filterfunktion F bei der Frequenz f den Wert 1/2 annimmt;
- F(f,T)
- Filterfunktion;
- Z
- unimodale Zuordnungsfunktion;
- S(f,T)
- Signalspektrum des auszugebenden Signals;
- s(t)
- auszugebendes Signal,
Claims (12)
- Verfahren zum phasenabhängigen Verarbeiten von Schallsignalen zumindest einer Schallquelle, umfassend die Schritte:- Anordnen von zwei Mikrofonen (MIK1, MIK2) in einem vorbestimmten Abstand d zueinander;- Erfassen von Schallsignalen mit beiden Mikrofonen und Erzeugen zugeordneter Mikrofonsignale; und- Verarbeiten der Mikrofonsignale;dadurch gekennzeichnet, dass
während eines Einmessmodus das Verfahren die folgenden Schritte umfasst:- Festlegen zumindest einer Einmessposition der Schallquelle, an welcher die Schallquelle im Einmessmodus positioniert ist;- Separates Erfassen der Schallsignale für die Einmessposition mit beiden Mikrofonen und Erzeugen zugeordneter Einmessmikrofonsignale für die Einmessposition;- Ermitteln der Frequenzspektren der zugeordneten Einmessmikrofonsignale;- Berechnen eines einmesspositionsspezifischen Phasendifferenzvektors ϕ0(t) zwischen den zugeordneten Einmessmikrofonsignalen aus deren Frequenzspektren für die Einmessposition;
wobei das Verfahren während eines Betriebsmodus, in welchem sich eine Nutzsignalquelle an oder nahe der ausgewählten Einmessposition befindet, ferner die folgenden Schritte umfasst:- Erfassen der aktuellen Schallsignale mit beiden Mikrofonen und Erzeugen zugeordneter aktueller Mikrofonsignale,- Ermitteln der aktuellen Frequenzspektren der zugeordneten aktuellen Mikrofonsignale;- Berechnen eines aktuellen Phasendifferenzvektors ϕ(f,T) zum Zeitpunkt T zwischen den zugeordneten aktuellen Mikrofonsignalen aus deren Frequenzspektren;- Auswählen zumindest einer Einmessposition;- Berechnen einer spektralen Filterfunktion F in Abhängigkeit von dem aktuellen Phasendifferenzvektor sowie dem jeweiligen einmesspositionsspezifischen Phasendifferenzvektor der ausgewählten Einmessposition;- Erzeugen jeweils eines Signalspektrums S eines auszugebenden Signals durch multiplikative Verknüpfung mindestens eines der beiden Frequenzspektren der aktuellen Mikrofonsignale mit der spektralen Filterfunktion F der jeweiligen ausgewählten Einmessposition, wobei die Filterfunktion derart gewählt ist, dass spektrale Komponenten von Schallsignalen umso weniger gedämpft werden, je geringer der Differenzbetrag zwischen aktueller und einmesspositionsspezifischer Phasendifferenz für die entsprechende Frequenz ist; und- Erhalten des jeweils auszugebenden Signals für die jeweilige ausgewählte Einmessposition durch inverses Fourier-Transformieren des erzeugten Signalspektrums. - Verfahren nach Anspruch 1, wobei das Verfahren während des Einmessmodus weiterhin folgenden Schritte umfasst:- Berechnen von M1(f,T) und M2(f,T), der spektralen Amplitude bei Frequenzen f zum Zeitpunkt T durch Fourier-Transformationder Einmessmikrofonsignale;- Berechnen der Real- und Imaginärteile Re1, Im1, Re2, Im2 der Fouriertransformierten M1(f,T) und M2(f,T);- Berechnen der Phasendifferenzen ϕ(f,T) zur Zeit T aus den Einmessmikrofonsignalen gemäß der Formel:- zeitliches Mitteln der ϕ0(f,T) über aufeinanderfolgende Zeitpunkte T um die einmesspositionsspezifischen Phasendifferenzen ϕ0(f) zu erhalten, die die das Ergebnis des Einmessvorgangs enthalten.
- Verfahren nach Anspruch 2, wobei das Verfahren während des Betriebsmodus weiterhin die folgenden Schritte umfasst- Erzeugen des Signalspektrums S durch Anwenden der Filterfunktion F(f,T) auf ein Mikrofonspektrum M1 in Form einer Multiplikation gemäß der Formel:- Erzeugen des auszugebenden Signals s(t) durch inverse Fouriertransformation von S(f,T);
wobei:c die Schallgeschwindigkeit,f die Frequenz der Schallsignalkomponenten,T die Zeitbasis der Spektrumserzeugung,d der vorbestimmte Abstand der beiden Mikrofone ist, undn ein festzulegender Parameter n>0 ist, wodurch die Breite der Filterfunktion bestimmt wird. - Verfahren nach einem der vorgehenden Ansprüche, wobei das Verfahren zunächst im Betriebsmodus arbeitet und der einmesspositionsspezifische Phasendifferenzvektor ϕ0(f) für alle Frequenzen f auf ϕ0(f) = 0 gesetzt wird und das Verfahren weiterhin umfaßt- Schalten in den Einmessmodus und Berechnen des einmesspositionsspezifischen Phasendifferenzvektors ϕ0(t), wobei ein Nutzer Testsignale spricht und diese von den Mikrofonen erfasst und daraus zugeordnete Einmessmikrofonsignale erzeugt werden;- Schalten in den Betriebsmodus und Berechnen der spektralen Filterfunktion F für jeden aktuellen Phasendifferenzvektor in Abhängigkeit von dem vorher bestimmten jeweiligen einmesspositionsspezifischen Phasendifferenzvektor.
- Verfahren nach Anspruch 4 rückbezogen auf Anspruch 3, wobei im Betriebsmodus mit dem vorher berechneten jeweiligen einmesspositionsspezifischen Phasendifferenzvektor gegenüber dem zunächst eingenommenen Betriebsmodus der Breitenparameter n größer gewählt wird als im uneingemessenen Betriebszustand.
- Verfahren nach einem der vorgehenden Ansprüche, wobei das Verfahren im Einmessmodus ferner die Schritte umfasst:- Variieren der Einmessposition in einem Raum- und/oder Zustandsbereich, indem der Nutzer im Betriebsmodus erwartet wird;- Berechnen von einmesspositionsspezifischen Phasendifferenzvektoren ϕ0(f) für variierte Einmesspositionen;- Berechnen der arithmetischen Mittelwerte µ(f) und der Standardabweichungen σ(f) für jede Frequenz f über die berechneten einmesspositionsspezifischen Phasendifferenzvektoren ϕ0(f); und
wobei das Verfahren während eines Betriebsmodus ferner die folgenden Schritte umfasst:- Berechnen der spektralen Filterfunktion gemäß der Formel:
mit einem frequenzabhängigen Breitenparameter n(f) gemäß der Formel:- Erzeugen des Signalspektrums S durch Anwenden der Filterfunktion F(f,T) auf ein Mikrofonspektrum M1 in Form einer Multiplikation gemäß der Formel:
wobei:c die Schallgeschwindigkeit,f die Frequenz der Schallsignalkomponenten,T die Zeitbasis der Spektrumserzeugung,d der vorbestimmte Abstand der beiden Mikrofone ist, undn(f) der frequenzabhängige Breitenparameter ist, der mit ϕ½(f) = kσ(f) festlegt ist, undϕ½(f) die frequenzabhängige Phasendifferenz ist, bei der die Filterfunktion F bei der Frequenz f den Wert F(f) =1/2 annimmt. - Verfahren nach einem der vorgehenden Ansprüche, wobei der Schritt des Bestimmens von zumindest einer Einmessposition weiterhin umfasst;- Anordnen einer Schallsignalquelle in der Nähe der bestimmten Einmessposition;- Aussenden eines kalibrierten Testsignals durch die Schallsignalquelle;- Erfassen des Testsignals mit den beiden Mikrofonen und Erzeugen der zugeordneten Einmessmikrofonsignale allein aus dem Testsignal.
- Verfahren nach einem der Ansprüche 1 bis 6, wobei das Verfahren als adaptives Verfahren ausgestaltet ist, nach einem anfänglichen Durchlaufen des Einmessmodus zum Berechnen des einmesspositionsspezifischen Phasendifferenzvektors ϕ0(f) in den Betriebsmodus schaltet und im weiteren Betrieb der einmesspositionsspezifische Phasendifferenzvektor ϕ0(f) aktualisiert wird, indem die aktuellen Schallsignale einer Schallquelle im Betriebsmodus als Schallsignale der ausgewählten Einmessposition interpretiert werden.
- Verfahren nach Anspruch 8, wobei aus den Mikrofonsignalen der aktuellen Schallsignale im Betriebsmodus zunächst mit Hilfe eines mitlaufenden, phasenempfindlichen Geräuschmodells Störsignale herausrechnet werden, bevor der einmesspositionsspezifische Phasendifferenzvektor ϕ0(f) aktualisiert wird.
- Vorrichtung zum phasenabhängigen Verarbeiten von Schallsignalen zumindest einer Schallquelle, umfassend:- zwei Mikrofonen (MIK1, MIK2), die in einem vorbestimmten Abstand (d) zueinander angeordnet sind, zum Erfassen von Schallsignalen und Erzeugen von Mikrofonsignalen;- eine an die Mikrofone angeschlossene Verarbeitungseinheit zum Verarbeiten der Mikrofonsignale,dadurch gekennzeichnet, dass
während eines Einmessmodus die Verarbeitungseinheit mit den Mikrofonen eingerichtet und zumindest eine Einmessposition einer Schallquelle festgelegt ist, folgende Verarbeitungsschritte auszuführen:- Separates Erfassen der Schallsignale für die Einmessposition mit beiden Mikrofonen und Erzeugen zugeordneter Einmessmikrofonsignale für die Einmessposition;- Ermitteln der Frequenzspektren der zugeordneten Einmessmikrofonsignale;- Berechnen eines einmesspositionsspezifischen Phasendifferenzvektors ϕ0(f) zwischen den zugeordneten Einmessmikrofonsignalen aus deren Frequenzspektren für jede Einmessposition; und
während eines Betriebsmodus die Verarbeitungseinheit mit den Mikrofonen eingerichtet und eine Einmessposition ausgewählt ist, folgende Verarbeitungsschritte auszuführen:- Erfassen der aktuellen Schallsignale mit beiden Mikrofonen und Erzeugen zugeordneter aktueller Mikrofonsignale,- Ermitteln der aktuellen Frequenzspektren der zugeordneten aktuellen Mikrofonsignale;- Berechnen eines zum Zeitpunkt T aktuellen Phasendifferenzvektors ϕ(f,T) zwischen den zugeordneten aktuellen Mikrofonsignalen aus deren Frequenzspektren;- Berechnen einer spektralen Filterfunktion (F) in Abhängigkeit von dem aktuellen Phasendifferenzvektor sowie dem jeweiligen einmesspositionsspezifischen Phasendifferenzvektor der ausgewählten Einmessposition;- Erzeugen jeweils eines Signalspektrums S eines auszugebenden Signals durch multiplikative Verknüpfung mindestens eines der beiden Frequenzspektren der aktuellen Mikrofonsignale mit der spektralen Filterfunktion F der jeweiligen ausgewählten Einmessposition, wobei die Filterfunktion derart gewählt ist, dass spektrale Komponenten von Schallsignalen umso weniger gedämpft werden, je geringer der Differenzbetrag zwischen aktueller und einmesspositionsspezifischer Phasendifferenz für die entsprechende Frequenz ist; und
die Vorrichtung weiterhin eine Ausgabeeinheit zum Ausgeben des auszugebenden Signals für die jeweilige ausgewählte Einmessposition mit Mitteln zum inversen Fourier-Transformieren des jeweils erzeugten Signalspektrums enthält. - Vorrichtung nach Anspruch 10, die weiterhin eingerichtet ist, eines der Verfahren nach einem der Ansprüche 1 bis 9 auszuführen,
- Computerprogramm, enthaltend Programmcode, der, wenn er auf einer Datenverarbeitungseinrichtung ausgeführt wird, das Verfahren gemäß einem der Ansprüche 1 bis 9 verwirklicht.
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102010001935A DE102010001935A1 (de) | 2010-02-15 | 2010-02-15 | Verfahren und Vorrichtung zum phasenabhängigen Verarbeiten von Schallsignalen |
Publications (2)
Publication Number | Publication Date |
---|---|
EP2362681A1 true EP2362681A1 (de) | 2011-08-31 |
EP2362681B1 EP2362681B1 (de) | 2015-04-08 |
Family
ID=43923655
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
EP11152903.8A Active EP2362681B1 (de) | 2010-02-15 | 2011-02-01 | Verfahren und Vorrichtung zum phasenabhängigen Verarbeiten von Schallsignalen |
Country Status (3)
Country | Link |
---|---|
US (2) | US8340321B2 (de) |
EP (1) | EP2362681B1 (de) |
DE (1) | DE102010001935A1 (de) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113874922A (zh) * | 2019-05-29 | 2021-12-31 | 亚萨合莱有限公司 | 基于样本的相位差来确定移动钥匙装置的位置 |
US11815612B2 (en) | 2019-05-29 | 2023-11-14 | Assa Abloy Ab | Determining a position of a mobile key device based on phase difference of samples |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102010001935A1 (de) | 2010-02-15 | 2012-01-26 | Dietmar Ruwisch | Verfahren und Vorrichtung zum phasenabhängigen Verarbeiten von Schallsignalen |
EP2590165B1 (de) | 2011-11-07 | 2015-04-29 | Dietmar Ruwisch | Verfahren und Vorrichtung zur Erzeugung eines rauschreduzierten Audiosignals |
KR101361265B1 (ko) * | 2012-05-08 | 2014-02-12 | (주)카카오 | 복수의 알림 모드들을 이용하는 이동 단말의 알림 방법 및 그 방법을 이용한 이동 단말 |
US9330677B2 (en) | 2013-01-07 | 2016-05-03 | Dietmar Ruwisch | Method and apparatus for generating a noise reduced audio signal using a microphone array |
EP2928211A1 (de) * | 2014-04-04 | 2015-10-07 | Oticon A/s | Selbstkalibrierung eines Multimikrofongeräuschunterdrückungssystems für Hörgeräte mit einer zusätzlichen Vorrichtung |
JP2015222847A (ja) * | 2014-05-22 | 2015-12-10 | 富士通株式会社 | 音声処理装置、音声処理方法および音声処理プログラム |
US9984068B2 (en) * | 2015-09-18 | 2018-05-29 | Mcafee, Llc | Systems and methods for multilingual document filtering |
CN108269582B (zh) * | 2018-01-24 | 2021-06-01 | 厦门美图之家科技有限公司 | 一种基于双麦克风阵列的定向拾音方法及计算设备 |
US11902758B2 (en) * | 2018-12-21 | 2024-02-13 | Gn Audio A/S | Method of compensating a processed audio signal |
EP3764359A1 (de) | 2019-07-10 | 2021-01-13 | Analog Devices International Unlimited Company | Signalverarbeitungsverfahren und systeme für mehrfokusstrahlformung |
EP3764358A1 (de) | 2019-07-10 | 2021-01-13 | Analog Devices International Unlimited Company | Signalverarbeitungsverfahren und -systeme zur strahlformung mit windblasschutz |
EP3764360B1 (de) | 2019-07-10 | 2024-05-01 | Analog Devices International Unlimited Company | Signalverarbeitungsverfahren und -systeme zur strahlformung mit verbessertem signal/rauschen-verhältnis |
EP3764664A1 (de) | 2019-07-10 | 2021-01-13 | Analog Devices International Unlimited Company | Signalverarbeitungsverfahren und systeme zur strahlformung mit mikrofontoleranzkompensation |
EP3764660B1 (de) | 2019-07-10 | 2023-08-30 | Analog Devices International Unlimited Company | Signalverarbeitungsverfahren und systeme für adaptive strahlenformung |
CN110361696B (zh) * | 2019-07-16 | 2023-07-14 | 西北工业大学 | 基于时间反转技术的封闭空间声源定位方法 |
CN115776626B (zh) * | 2023-02-10 | 2023-05-02 | 杭州兆华电子股份有限公司 | 一种麦克风阵列的频响校准方法及系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2004038697A1 (en) * | 2002-10-23 | 2004-05-06 | Koninklijke Philips Electronics N.V. | Controlling an apparatus based on speech |
EP1453348A1 (de) * | 2003-02-25 | 2004-09-01 | AKG Acoustics GmbH | Selbstkalibrierung von Arraymikrofonen |
EP1595427B1 (de) | 2004-02-06 | 2006-12-13 | Dietmar Dr. Ruwisch | Verfahren und vorrichtung zur separierung von schallsignalen |
EP2296356A2 (de) * | 2009-09-11 | 2011-03-16 | Dietmar Ruwisch | Verfahren und Vorrichtung zur Analyse und Abstimmung akustischer Eigenschaften einer Kfz-Freisprecheinrichtung |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102010001935A1 (de) | 2010-02-15 | 2012-01-26 | Dietmar Ruwisch | Verfahren und Vorrichtung zum phasenabhängigen Verarbeiten von Schallsignalen |
-
2010
- 2010-02-15 DE DE102010001935A patent/DE102010001935A1/de active Pending
- 2010-07-23 US US12/842,454 patent/US8340321B2/en active Active
-
2011
- 2011-02-01 EP EP11152903.8A patent/EP2362681B1/de active Active
-
2012
- 2012-11-30 US US13/691,123 patent/US8477964B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2004038697A1 (en) * | 2002-10-23 | 2004-05-06 | Koninklijke Philips Electronics N.V. | Controlling an apparatus based on speech |
EP1453348A1 (de) * | 2003-02-25 | 2004-09-01 | AKG Acoustics GmbH | Selbstkalibrierung von Arraymikrofonen |
EP1595427B1 (de) | 2004-02-06 | 2006-12-13 | Dietmar Dr. Ruwisch | Verfahren und vorrichtung zur separierung von schallsignalen |
EP2296356A2 (de) * | 2009-09-11 | 2011-03-16 | Dietmar Ruwisch | Verfahren und Vorrichtung zur Analyse und Abstimmung akustischer Eigenschaften einer Kfz-Freisprecheinrichtung |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113874922A (zh) * | 2019-05-29 | 2021-12-31 | 亚萨合莱有限公司 | 基于样本的相位差来确定移动钥匙装置的位置 |
CN113874922B (zh) * | 2019-05-29 | 2023-08-18 | 亚萨合莱有限公司 | 基于样本的相位差来确定移动钥匙装置的位置 |
US11815612B2 (en) | 2019-05-29 | 2023-11-14 | Assa Abloy Ab | Determining a position of a mobile key device based on phase difference of samples |
Also Published As
Publication number | Publication date |
---|---|
DE102010001935A1 (de) | 2012-01-26 |
EP2362681B1 (de) | 2015-04-08 |
US8340321B2 (en) | 2012-12-25 |
US20130094664A1 (en) | 2013-04-18 |
US20110200206A1 (en) | 2011-08-18 |
US8477964B2 (en) | 2013-07-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP2362681B1 (de) | Verfahren und Vorrichtung zum phasenabhängigen Verarbeiten von Schallsignalen | |
EP2296356B1 (de) | Verfahren und Vorrichtung zur Analyse und Abstimmung akustischer Eigenschaften einer Kfz-Freisprecheinrichtung | |
DE60125553T2 (de) | Verfahren zur interferenzunterdrückung | |
EP1595427B1 (de) | Verfahren und vorrichtung zur separierung von schallsignalen | |
DE60027438T2 (de) | Verbesserung eines verrauschten akustischen signals | |
DE69931580T2 (de) | Identifikation einer akustischer Anordnung mittels akustischer Maskierung | |
EP1771034A2 (de) | Mikrofonkalibrierung bei einem RGSC-Beamformer | |
DE10392425B4 (de) | Audiorückkoppelungsverarbeitungssystem | |
EP1473967B1 (de) | Verfahren zur Unterdrückung mindestens eines akustischen Störsignals und Vorrichtung zur Durchführung des Verfahrens | |
EP2124486A1 (de) | Winkelabhängig operierende Vorrichtung oder Methodik zur Gewinnung eines pseudostereophonen Audiosignals | |
EP2226795B1 (de) | Hörvorrichtung und Verfahren zum Reduzieren eines Störgeräuschs für eine Hörvorrichtung | |
EP3197181B1 (de) | Verfahren zur reduktion der latenzzeit einer filterbank zur filterung eines audiosignals sowie verfahren zum latenzarmen betrieb eines hörsystems | |
EP3337189A1 (de) | Verfahren zum bestimmen einer richtung einer nutzsignalquelle | |
EP2981099B1 (de) | Verfahren und vorrichtung zur rückkopplungsunterdrückung | |
DE102014017293A1 (de) | Verfahren zur Verzerrungskompensation im Hörfrequenzbereich und damit zu verwendendes Verfahren zur Schätzung akustischer Kanäle | |
DE10313331A1 (de) | Verfahren zur Bestimmung einer Einfallsrichtung eines Signals einer akustischen Signalquelle und Vorrichtung zur Durchführung des Verfahrens | |
EP2200341B1 (de) | Verfahren zum Betrieb eines Hörhilfegerätes sowie Hörhilfegerät mit einer Quellentrennungseinrichtung | |
DE102015221764A1 (de) | Verfahren zum Angleichen von Mikrofonempfindlichkeiten | |
WO2001047335A2 (de) | Verfahren zur elimination von störsignalanteilen in einem eingangssignal eines auditorischen systems, anwendung des verfahrens und ein hörgerät | |
DE102019105458B4 (de) | System und Verfahren zur Zeitverzögerungsschätzung | |
DE112019007387T5 (de) | Verfahren und System zur Raumkalibrierung in einem Lautsprechersystem | |
DE10140523B4 (de) | Vorrichtung zum Feedback Cancelling bei der Ausgabe von Mikrofonsignalen durch Lautsprecher | |
EP3534624B1 (de) | Verfahren zum betrieb eines hörgerätes | |
EP3796676B1 (de) | Verfahren zum betrieb eines hörgeräts und hörgerät | |
DE10137685C1 (de) | Verfahren zum Erkennen des Vorliegens von Sprachsignalen |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PUAI | Public reference made under article 153(3) epc to a published international application that has entered the european phase |
Free format text: ORIGINAL CODE: 0009012 |
|
AK | Designated contracting states |
Kind code of ref document: A1 Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR |
|
AX | Request for extension of the european patent |
Extension state: BA ME |
|
17P | Request for examination filed |
Effective date: 20120229 |
|
17Q | First examination report despatched |
Effective date: 20140509 |
|
GRAP | Despatch of communication of intention to grant a patent |
Free format text: ORIGINAL CODE: EPIDOSNIGR1 |
|
INTG | Intention to grant announced |
Effective date: 20141212 |
|
GRAS | Grant fee paid |
Free format text: ORIGINAL CODE: EPIDOSNIGR3 |
|
GRAA | (expected) grant |
Free format text: ORIGINAL CODE: 0009210 |
|
AK | Designated contracting states |
Kind code of ref document: B1 Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR |
|
REG | Reference to a national code |
Ref country code: GB Ref legal event code: FG4D Free format text: NOT ENGLISH |
|
REG | Reference to a national code |
Ref country code: CH Ref legal event code: EP |
|
REG | Reference to a national code |
Ref country code: IE Ref legal event code: FG4D Free format text: LANGUAGE OF EP DOCUMENT: GERMAN |
|
REG | Reference to a national code |
Ref country code: DE Ref legal event code: R096 Ref document number: 502011006489 Country of ref document: DE Effective date: 20150513 |
|
REG | Reference to a national code |
Ref country code: AT Ref legal event code: REF Ref document number: 721331 Country of ref document: AT Kind code of ref document: T Effective date: 20150515 |
|
REG | Reference to a national code |
Ref country code: NL Ref legal event code: VDEP Effective date: 20150408 |
|
REG | Reference to a national code |
Ref country code: LT Ref legal event code: MG4D |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: NL Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20150408 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: HR Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20150408 Ref country code: NO Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20150708 Ref country code: PT Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20150810 Ref country code: FI Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20150408 Ref country code: ES Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20150408 Ref country code: LT Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20150408 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: LV Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20150408 Ref country code: RS Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20150408 Ref country code: IS Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20150808 Ref country code: GR Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20150709 |
|
REG | Reference to a national code |
Ref country code: DE Ref legal event code: R097 Ref document number: 502011006489 Country of ref document: DE |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: DK Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20150408 Ref country code: EE Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20150408 |
|
PLBE | No opposition filed within time limit |
Free format text: ORIGINAL CODE: 0009261 |
|
STAA | Information on the status of an ep patent application or granted ep patent |
Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT |
|
REG | Reference to a national code |
Ref country code: FR Ref legal event code: PLFP Year of fee payment: 6 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: PL Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20150408 Ref country code: SK Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20150408 Ref country code: CZ Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20150408 Ref country code: RO Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20150408 |
|
26N | No opposition filed |
Effective date: 20160111 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: IT Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20150408 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: SI Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20150408 Ref country code: BE Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20160229 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: LU Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20160201 Ref country code: MC Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20150408 |
|
REG | Reference to a national code |
Ref country code: CH Ref legal event code: PL |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: CH Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20160229 Ref country code: LI Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20160229 |
|
REG | Reference to a national code |
Ref country code: IE Ref legal event code: MM4A |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: IE Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20160201 |
|
REG | Reference to a national code |
Ref country code: FR Ref legal event code: PLFP Year of fee payment: 7 |
|
REG | Reference to a national code |
Ref country code: AT Ref legal event code: MM01 Ref document number: 721331 Country of ref document: AT Kind code of ref document: T Effective date: 20160201 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: AT Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20160201 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: SE Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20150408 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: MT Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20150408 |
|
REG | Reference to a national code |
Ref country code: FR Ref legal event code: PLFP Year of fee payment: 8 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: CY Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20150408 Ref country code: HU Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT; INVALID AB INITIO Effective date: 20110201 Ref country code: SM Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20150408 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: TR Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20150408 Ref country code: MK Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20150408 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: BG Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20150408 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: AL Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20150408 |
|
REG | Reference to a national code |
Ref country code: DE Ref legal event code: R082 Ref document number: 502011006489 Country of ref document: DE Representative=s name: BETTEN & RESCH PATENT- UND RECHTSANWAELTE PART, DE Ref country code: DE Ref legal event code: R081 Ref document number: 502011006489 Country of ref document: DE Owner name: RUWISCH PATENT GMBH, DE Free format text: FORMER OWNER: RUWISCH, DIETMAR, DR., 12557 BERLIN, DE Ref country code: DE Ref legal event code: R081 Ref document number: 502011006489 Country of ref document: DE Owner name: ANALOG DEVICES INTERNATIONAL UNLIMITED COMPANY, IE Free format text: FORMER OWNER: RUWISCH, DIETMAR, DR., 12557 BERLIN, DE |
|
REG | Reference to a national code |
Ref country code: GB Ref legal event code: 732E Free format text: REGISTERED BETWEEN 20190321 AND 20190327 |
|
REG | Reference to a national code |
Ref country code: DE Ref legal event code: R081 Ref document number: 502011006489 Country of ref document: DE Owner name: ANALOG DEVICES INTERNATIONAL UNLIMITED COMPANY, IE Free format text: FORMER OWNER: RUWISCH PATENT GMBH, 12459 BERLIN, DE Ref country code: DE Ref legal event code: R082 Ref document number: 502011006489 Country of ref document: DE Representative=s name: BETTEN & RESCH PATENT- UND RECHTSANWAELTE PART, DE |
|
REG | Reference to a national code |
Ref country code: GB Ref legal event code: 732E Free format text: REGISTERED BETWEEN 20201210 AND 20201216 |
|
PGFP | Annual fee paid to national office [announced via postgrant information from national office to epo] |
Ref country code: FR Payment date: 20230119 Year of fee payment: 13 |
|
PGFP | Annual fee paid to national office [announced via postgrant information from national office to epo] |
Ref country code: DE Payment date: 20240123 Year of fee payment: 14 Ref country code: GB Payment date: 20240123 Year of fee payment: 14 |