EP1595427B1 - Verfahren und vorrichtung zur separierung von schallsignalen - Google Patents

Verfahren und vorrichtung zur separierung von schallsignalen Download PDF

Info

Publication number
EP1595427B1
EP1595427B1 EP05707893A EP05707893A EP1595427B1 EP 1595427 B1 EP1595427 B1 EP 1595427B1 EP 05707893 A EP05707893 A EP 05707893A EP 05707893 A EP05707893 A EP 05707893A EP 1595427 B1 EP1595427 B1 EP 1595427B1
Authority
EP
European Patent Office
Prior art keywords
signal
frequency
signals
angle
incidence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
EP05707893A
Other languages
English (en)
French (fr)
Other versions
EP1595427A1 (de
Inventor
Dietmar Dr. Ruwisch
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Publication of EP1595427A1 publication Critical patent/EP1595427A1/de
Application granted granted Critical
Publication of EP1595427B1 publication Critical patent/EP1595427B1/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering
    • G10L21/0216Noise filtering characterised by the method used for estimating noise
    • G10L2021/02161Number of inputs available containing the signal or the noise to be suppressed
    • G10L2021/02165Two microphones, one receiving mainly the noise signal and the other one mainly the speech signal
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering
    • G10L21/0216Noise filtering characterised by the method used for estimating noise
    • G10L2021/02161Number of inputs available containing the signal or the noise to be suppressed
    • G10L2021/02166Microphone arrays; Beamforming

Definitions

  • the present invention relates to a method and an apparatus for separating sound signals.
  • the invention is in the field of digital signal processing for demixing various acoustic signals from different spatial directions, which are stereo recorded with two microphones in a known distance.
  • the field of source separation also called beamforming
  • beamforming is becoming increasingly important due to the increase in mobile communication as well as the automatic processing of human speech.
  • the various disturbing influences require different treatments, depending on their nature and on their knowledge of the useful signal.
  • exemplary applications of the invention can be found in communication devices in which the position of a speaker is known and in which there are disturbances due to background noise or other speakers as well as loudspeaker outputs.
  • Application examples are car hands-free devices in which the microphones, e.g. are housed in the rearview mirror and a so-called Richthyperbel is directed to the driver.
  • a second Richthyperbel be directed to the passenger, so that during a telephone conversation between the driver and front passenger can be switched back and forth.
  • geometrical source separation is a powerful tool.
  • the standard method of this class of beamforming algorithms is the so-called “shift and add” method, in which a filter is applied to one of the microphone signals, and the filtered signal is then added to the second microphone signal (see, for example, Haddad and Benoit, "Capabilities of a beamforming technique for acoustic measurements inside a moving car, The 2002 International Congress and Exposure on Noise Control Engineering, Deaborn, Wed, USA, August 19-21, 2002).
  • this prior art document proposes, with the aid of two microphones, each to measure a total sound signal, to Fourier transform each of the two microphone signals to determine its frequency spectrum, to determine an incident angle of the respective signal in a plurality of frequency bands based on the respective phase difference and finally do the actual "filtering".
  • a preferred angle of incidence is determined, and then a filter function, namely a noise spectrum, subtracted from one of the two frequency spectra, said noise spectrum is selected such that sound signals from the vicinity of the preferred angle of incidence, which is associated with the speaker, relative to the other sound signals , which are essentially background noise of the vehicle to be amplified.
  • the thus filtered frequency spectrum is then subjected to an inverse Fourier transform and output as a filtered sound signal.
  • the method according to the invention requires no convergence time and can separate more than two sound sources in space with two microphones, provided that they are sufficiently spatially separated.
  • the method places only small demands on memory requirements and computing power, and it is very stable against diffuse interference signals. Unlike conventional beamforming, such diffuse disturbances can be effectively damped.
  • the spatial regions between which the method can differentiate are rotationally symmetric to the microphone axis, ie to the straight line defined by the two microphone positions. In a section through the space containing the axis of symmetry corresponds to the space area in which a sound source must be in order to be considered as a useful signal, a hyperbola.
  • the angle ⁇ 0 occupied by the apex of the hyperbola to the axis of symmetry is arbitrary, and the width of the hyperbola determined by an angle ⁇ 3db is also a selectable parameter.
  • output signals can be generated simultaneously at arbitrary, different angles ⁇ 0 , whereby the selectivity between the ranges with the degree of overlap of the corresponding hyperbola decreases.
  • Sound sources within a hyperbola are considered payloads and attenuated with less than ⁇ db.
  • Noise signals are eliminated as a function of their angle of incidence ⁇ , whereby an attenuation of> 25 dB for angles of incidence ⁇ outside the acceptance hyperbola can be achieved.
  • the method works in the frequency domain.
  • the signal spectrum to be assigned to a directional hyperbola is produced by multiplying a correction function K2 (x1) and a filter function F (f, T) by the signal spectrum M (f, T) of one of the microphones.
  • the filter function is produced by spectral smoothing (eg by diffusion) of an assignment function Z ( ⁇ - ⁇ 0 ), the calculated incident angle 9 of a spectral signal component being in the argument of the assignment function.
  • This angle of incidence ⁇ is determined from the phase angle ⁇ of the complex quotient of the spectra of the two microphone signals, M2 (f, T) / M1 (f, T), by multiplying ⁇ by the speed of sound c and dividing by 2 ⁇ fd, where d is the microphone distance designated.
  • a basic idea of the invention is to assign an incident angle ⁇ to each spectral component of the incident signal at each point in time T, and to decide whether or not the corresponding sound source lies within a desired directional hyperbola solely on the basis of the calculated angle of incidence.
  • a "soft" mapping function Z ( ⁇ ) ( Figure 2) is used which allows a continuous transition between desired and unwanted directions of incidence, which benefits the integrity of the signals effect.
  • the width of the assignment function then corresponds to the width of the directional hyperbola (FIG. 3).
  • a path difference which is between the two microphones, when the signal was sent from a point source.
  • the microphone distance d is known, a simple geometric consideration results in that the quotient x1 of path difference and microphone distance corresponds to the cosine of the desired angle of incidence.
  • the assumption of a point source is rarely fulfilled due to disturbances such as diffuse noise or room reverb, which is why x1 is usually not limited to the expected value range [-1,1]. Therefore, before the angle of incidence ⁇ can be calculated, a correction is still required which restricts x1 to the said interval.
  • a smoothing, the result of which is designated as F ⁇ 0 (f, T), is obtained, for example, by using a diffusion operator .
  • a basic idea of the invention is to spatially differentiate different sound sources, for example the driver and the front passenger in a motor vehicle, and thus to separate, for example, the user's useful voice signal from the passenger's jamming voice signal, by exploiting the fact that that these two speech signals, that is to say sound signals, as a rule also exist at different frequencies.
  • the inventively provided frequency analysis thus initially allows the total sound signal in the two individual sound signals (namely, the driver and the passenger) split.
  • the time signals m1 (t) and m2 (t) of two microphones which are at a fixed distance d from each other are fed to a calculator (10) ( Figure 4), where they are in a stereo sampling and Fourier transformer unit (20) are discretized and digitized at a sampling rate f A.
  • a sequence of a samples of each of the microphone signals m1 (t) and m2 (t) is transformed by Fourier transform to the complex-valued spectrum M1 (f, T) and M2 (f, T), where f is the Frequency of the respective signal component, and T indicates the time of origin of a spectrum.
  • f A 11025 Hz
  • a 256
  • T a / 2 t.
  • the microphone spacing d should be less than half the wavelength of the highest frequency to be processed, which results from the sampling frequency, ie d ⁇ c / 4f A.
  • a microphone distance d 20 mm is suitable.
  • the spectra M1 (f, T) and M2 (f, T) are fed to a ⁇ calculation unit with spectrum correction (30), which from the spectra M1 (f, T) and M2 (f, T) an angle of incidence ⁇ ( f, T), which indicates from which direction relative to the microphone axis a signal component with frequency f at time T is incident on the microphones (FIG. 1).
  • M2 (f, T) is divided by M1 (f, T) complex.
  • ⁇ (f, T) denotes the phase angle of this quotient. Where confusion is excluded, the argument (f, T) of the time and frequency dependent quantities is omitted below.
  • Re1 and Re2 denote the real parts
  • Im1 and Im2 denote the imaginary parts of M1 and M2, respectively.
  • M (f, T) K2 (x1) M1 (f, T).
  • This correction serves to reduce the corresponding signal component in cases in which the first correction function takes effect, since it can be assumed that interferences have been superimposed that distort the signal.
  • the spectrum M (f, T) is fed together with the angle ⁇ (f, T) to one or more signal generators (40), where by means of a mapping function Z ( ⁇ ) ( Figure 2) and a selectable angle ⁇ 0 each one output signal s ⁇ 0 (t) is produced.
  • This is done by multiplying each spectral component of the spectrum M (f, T) by the corresponding component of a ⁇ 0 -specific filter F ⁇ 0 (f, T) at time T.
  • F ⁇ 0 (f, T) is obtained by spectral smoothing of Z ( ⁇ - ⁇ 0 ). This smoothing is done, for example, by spectral diffusion:
  • F ⁇ 0 f . T Z ⁇ f . T - ⁇ 0 + D ⁇ 2 f Z ⁇ f . T - ⁇ 0 ,
  • D denotes the diffusion constant, which is a freely selectable parameter greater than or equal to zero.
  • the actual area of the three-dimensional space from which sound signals are extracted by the described method is a rotational hyperboloid which is created by rotation of the described hyperbola around the microphone axis.
  • the present invention is not limited to use in automobiles and hands-free devices:
  • Other applications include conference telephone systems in which multiple directional hyperbolas are placed in different spatial directions to extract the speech signals of individuals and to avoid feedback or echo effects.
  • the method can be combined with a camera, wherein the directional hyperbola always looks in the same direction as the camera, and so only coming from the image area sound signals are recorded.
  • a monitor is connected to the camera at the same time, in which the microphone arrangement can likewise be installed in order to generate a directional hyperbola perpendicular to the monitor surface, since it is to be expected that the speaker is located in front of the monitor.
  • the correct "cutting out" of the desired area corresponding to the payload sound signal to be separated from a microphone spectrum need not, as shown by way of example in FIG. 6, be done by multiplication with a filter function whose assignment function has the exemplary profile shown in FIG. Any other way of combining the microphone spectrum with a filter function is suitable, as long as this filter function and linkage cause the values in the microphone spectrum to be "attenuated" the more, the more their associated angle of incidence ⁇ is from the preferred angle of incidence ⁇ 0 (for example, the driver's direction in the vehicle) is removed.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Electrophonic Musical Instruments (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)

Description

  • Die vorliegende Erfindung betrifft ein Verfahren und eine Vorrichtung zur Separierung von Schallsignalen.
  • Die Erfindung liegt auf dem Gebiet der digitalen Signalverarbeitung zum Entmischen verschiedener akustischer Signale aus unterschiedlichen Raumrichtungen, welche mit zwei Mikrofonen in bekanntem Abstand stereo aufgenommen werden.
  • Das Gebiet der Quellentrennung, auch "beamforming" genannt, erfährt wachsende Bedeutung durch die Zunahme der mobilen Kommunikation sowie der automatischen Verarbeitung menschlicher Sprache. In sehr vielen Anwendungen tritt das Problem auf, dass das gewünschte Sprachsignal (Nutzsignal) durch verschiedene Störeinflüsse beeinträchtigt ist. Hier sind hauptsächlich Störungen durch Hintergrundgeräusche, Störungen durch andere Sprecher sowie Störungen durch Lautsprecherausgaben von Musik oder Sprache zu nennen. Die verschiedenen Störeinflusse erfordern je nach Ihrer Art und nach der Vorkenntnis über das Nutzsignal unterschiedliche Behandlungen.
  • Beispielhafte Anwendungen der Erfindung finden sich also in Kommunikationseinrichtungen, in denen die Position eines Sprechers bekannt ist, und in denen Störungen durch Hintergrundgeräusche oder andere Sprecher sowie Lautsprecherausgaben vorhanden sind. Anwendungsbeispiele sind Kfz-Freisprecheinrichtungen, in denen die Mikrofone z.B. im Rückspiegel untergebracht sind und eine sogenannte Richthyperbel auf den Fahrer gerichtet wird. In dieser Anwendung kann eine zweite Richthyperbel auf den Beifahrer gerichtet werden, so dass während eines Telefongesprächs gezielt zwischen Fahrer und Beifahrer hin- und hergeschaltet werden kann.
  • In Fällen, in denen die geometrische Position der Nutzsignalquelle zu den aufnehmenden Mikrofonen bekannt ist, ist die geometrische Quellenseparation ein mächtiges Werkzeug. Das Standardverfahren dieser Klasse von "beamforming"-Algorithmen ist das sog. "shift and add" Verfahren, bei welchem auf eines der Mikrofonsignale ein Filter angewendet wird, und das gefilterte Signal sodann zum zweiten Mikrofonsignal hinzuaddiert wird (siehe z.B. Haddad und Benoit, "Capabilities of a beamforming technique for acoustic measurements inside a moving car", The 2002 International Congress and Exposition On Noise Control Engineering, Deaborn, Mi, USA, August 19-21, 2002).
  • Eine Erweiterung dieses Verfahrens beschäftigt sich mit adaptiven beam forming" bzw. "adaptiver Quellenseparation", wo die Lage der Quellen im Raum a priori unbekannt ist und durch die Algorithmen erst ermittelt werden muss (WO 02/061732, US6,654,719). Hier ist es das Ziel, die Lage der Quellen im Raum aus den Mikrofonsignalen zu bestimmen und nicht, wie beim "geometrischen" beam forming, fest vorzugeben. Adaptive Verfahren erweisen sich zwar als nützlich, allerdings ist auch hier gewöhnlich a-priori-Information erforderlich, da ein Algorithmus in der Regel nicht entscheiden kann, welche der detektierten Sprachquellen Nutz- und welche Störsignal ist. Nachteilig bei allen bekannten adaptiven Verfahren ist die Tatsache, dass die Algorithmen eine gewisse Adaptionszeit benötigen, bevor ausreichende Konvergenz besteht und die Quellentrennung gelingt. Außerdem sind adaptive Verfahren prinzipiell anfälliger für diffuse Hintergrundstörungen, da diese die Konvergenz erheblich beeinträchtigen können. Ein gravierender Nachteil beim klassischen "shift and add"-Verfahren ist die Tatsache, dass sich mit zwei Mikrofonen lediglich zwei Signalquellen voneinander separieren lassen und die Dämpfung von diffusem Hintergrundschall in der Regel nicht in ausreichendem Maße gelingt.
  • Aus der DE 69314514 T2 ist ein Verfahren zur Separierung von Schallsignalen gemäß dem Oberbegriff von Anspruch 1 bekannt. Das in diesem Dokument vorgeschlagene Verfahren führt eine Separation der Schallsignale dergestalt durch, dass ein gewünschtes Nutzschallsignal von Umgebungsrauschen befreit wird, und nennt als Anwendungsbeispiele die Sprachsignale eines Fahrzeuginsassen, die auf Grund des allgemeinen und nicht lokalisierten Fahrzeuglärms nur schwer verständlich sind.
  • Zum Herausfiltern des Sprachsignals schlägt dieses Dokument des Stands der Technik vor, mit Hilfe von zwei Mikrophonen jeweils ein Gesamtschallsignal zu messen, jedes der beiden Mikrophonsignale zur Ermittlung seines Frequenzspektrums einer Fouriertransformation zu unterziehen, in mehreren Frequenzbändern basierend auf der jeweiligen Phasendifferenz einen Einfallswinkel des jeweiligen Signals zu bestimmen, und schließlich die eigentliche "Filterung" vorzunehmen. Hierzu wird ein bevorzugter Einfallswinkel bestimmt, und dann eine Filterfunktion, nämlich ein Rauschspektrum, von einem der beiden Frequenzspektren subtrahiert, wobei dieses Rauschspektrum derart gewählt ist, dass Schallsignale aus der Umgebung des bevorzugten Einfallswinkels, der dem Sprecher zugeordnet ist, relativ zu den anderen Schallsignalen, die im wesentlichen Hintergrundlärm des Fahrzeugs darstellen, verstärkt werden. Das derart gefilterte Frequenzspektrum wird anschließend einer inversen Fourier-Transformation unterzogen und als gefiltertes Schallsignal ausgegeben.
  • Das in der DE 69314514 T2 offenbarte Verfahren leidet an mehreren Nachteilen:
    • a) Die Schallsignalseparation gemäß diesem Dokument des Stands der Technik basiert auf dem vollständigen Entfernen eines Anteils des ursprünglich gemessenen Gesamtschallsignals, nämlich demjenigen Anteil, der als Rauschen bezeichnet wird. Dieses Dokument geht nämlich von einem akustischen Szenario aus, bei dem nur eine einzige Nutzschallquelle vorhanden ist, deren Signale gleichsam eingebettet sind in Störsignale von nicht beziehungsweise weniger lokalisierten Quellen, insbesondere Fahrzeuglärm. Das Verfahren gemäß diesem Dokument des Stands der Technik erlaubt daher ausschließlich das Herausfiltern dieses einen Nutzsignals durch vollständiges Eliminieren aller Rauschsignale.
      In Fällen mit einem einzigen Nutzschallsignal mag das Verfahren gemäß dieses Dokuments zufriedenstellende Ergebnisse liefern. Es kann jedoch auf Grund seines Grundprinzips nicht sinnvoll in Situationen eingesetzt werden, in denen nicht nur eine Nutzschallquelle, sondern mehrere derartige Quellen zum Gesamtschallsignal beitragen. Dies liegt insbesondere daran, dass gemäß dieser Lehre nur ein einziger sog. dominanter Ankunftswinkel verarbeitet werden kann, nämlich derjenige Einfallswinkel, unter dem das energiereichste Schallsignal einfällt. Alle Signale, die unter anderen Ankunftswinkeln auf die Mikrophone fallen, werden zwangsläufig als Rauschen behandelt.
    • b) Darüber hinaus scheint dieses Dokument selbst davon auszugehen, dass die dort vorgeschlagene Filterung in Form einer Subtraktion des Rauschspektrums von einem der beiden Frequenzspektren noch keine zufriedenstellenden Ergebnisse liefert. Daher sieht dieses Dokument zusätzlich, nämlich unmittelbar vor dieser eigentlichen Filterung, noch eine weitere Signalverarbeitung vor: Es werden nämlich in allen Frequenzbändem, nachdem der dominante Einfallswinkel bestimmt worden ist, durch entsprechende Phasenverschiebung eines der beiden fourier-transformierten Schallsignale in diesem Frequenzband die Rauschanteile im jeweiligen Frequenzband relativ zu den in diesem Frequenzband möglicherweise ebenfalls enthaltenen Nutzschallsignalen abgeschwächt. Somit sieht dieses Dokument die in ihr offenbarte Filterung in Form einer Subtraktion des Rauschspektrums offenbar selbst als ungenügend an, so dass sie selbst weitere, nämlich unmittelbar vorhergehende Signalverarbeitungsschritte vorschlägt, die durch hierfür gesondert bereitgestellte Bauteile vorgenommen werden. Insbesondere benötigt das System zusätzlich zu einer Rauschspektrumsubtraktionsvorrichtung (Vorrichtung 24 in der einzigen Figur dieses Dokuments) vorgeschaltete Mittel 20 zur Phasenverschiebung sowie Mittel 21 zur phasenrichtigen Addition von Spektren in den einzelnen Frequenzbändern (vergleiche die entsprechenden Bauteile in der einzigen Figur dieses Dokuments). Hierdurch werden das Verfahren und die zu seiner Durchführung erforderliche Vorrichtung aufwendig.
  • Es ist daher Aufgabe der vorliegenden Erfindung, ein Verfahren zur Separierung von Schallsignalen von einer Mehrzahl von Schallquellen sowie eine entsprechende Vorrichtung vorzuschlagen, die durch den reinen Filterschritt eine ausreichende Qualität der Ausgangssignale erzeugen, ohne zuvor eine phasenrichtige Addition von Schallspektren in verschiedenen Frequenzbändern durchführen zu müssen, um eine zufriedenstellende Separierung zu erzielen, und die es ferner erlaubt, nicht nur Signale einer einzigen Nutzschallquelle von allen anderen Schallsignalen zu befreien, sondern grundsätzlich in der Lage ist, Schallsignale von einer Mehrzahl von Schallquellen ohne Eliminierung separat auszugeben.
  • Erfindungsgemäß wird diese Aufgabe durch ein Verfahren nach Anspruch 1 bzw. eine Vorrichtung nach Anspruch 7 gelöst. Vorteilhafte Weiterbildungen der Erfindung sind in den jeweiligen Unteransprüchen definiert.
  • Das erfindungsgemäße Verfahren benötigt keine Konvergenzzeit und kann mit zwei Mikrofonen mehr als zwei Schallquellen im Raum separierbaren, sofern diese in ausreichendem Maße räumlich getrennt sind. Das Verfahren stellt nur geringe Anforderungen an Speicherbedarf und Rechenleistung, und es ist sehr stabil gegenüber diffusen Störsignalen. Anders als beim herkömmlichen beam forming lassen sich solche diffusen Störungen effektiv dämpfen. Wie bei allen Zwei-Mikrofon-Verfahren sind die Raumbereiche, zwischen denen das Verfahren differenzieren kann, rotationssymmetrisch zur Mikrofon-Achse, d.h. zu der Geraden, welche durch die beiden Mikrofonpositionen definiert ist. In einem Schnitt durch den Raum, welcher die Symmetrieachse enthält, entspricht der Raumbereich, in dem sich eine Schallquelle befinden muss um als Nutzsignal betrachtet zu werden, einer Hyperbel. Der Winkel ϑ0, den der Scheitel der Hyperbel zur Symmetrieachse einnimmt, ist frei wählbar, und die Breite der Hyperbel, welche durch einen Winkel γ3db bestimmt wird, ist ebenfalls ein wählbarer Parameter. Mit nur zwei Mikrofonen lassen sich gleichzeitig Ausgangssignale zu beliebigen, verschiedenen Winkeln ϑ0 erzeugen, wobei die Trennschärfe zwischen den Bereichen mit dem Überlappungsgrad der entsprechenden Hyperbeln abnimmt. Schallquellen innerhalb einer Hyperbel werden als Nutzsignate betrachtet und mit weniger als ϑ db gedämpft. Störsignale werden in Abhängigkeit ihres Einfallswinkels ϑ eliminiert, wobei eine Dämpfung von >25db für Einfallswinkel ϑ außerhalb der Akzeptanzhyperbel erreichbar ist.
  • Das Verfahren arbeitet im Frequenzbereich. Das einer Richthyperbel zuzuordnende Signalspektrum entsteht durch Multiplikation einer Korrekturfunktion K2(x1) sowie einer Filterfunktion F(f,T) mit dem Signalspektrum M(f,T) eines der Mikrofone. Die Filterfunktion entsteht durch spektrale Glättung (z.B. durch Diffusion) einer Zuordnungsfunktion Z(ϑ-ϑ0), wobei im Argument der Zuordnungsfunktion der berechnete Einfallswinkel 9 einer spektralen Signalkomponente steht. Dieser Einfallswinkel ϑ wird aus dem Phasenwinkel ϕ des komplexen Quotienten der Spektren der beiden Mikrofonsignale, M2(f,T)/M1(f,T), ermittelt, indem man ϕ mit der Schallgeschwindigkeit c multipliziert und durch 2πfd dividiert, wobei d den Mikrofonabstand bezeichnet. Das Ergebnis x1= ϕc/2πfd, welches zugleich das Argument der Korrekturfunktion K2(x1) ist, liefert nach Beschränkung x=K1(x1) auf einen Betrag kleiner oder gleich eins den Kosinus des Einfallswinkels ϑ, welcher im Argument der Zuordnungsfunktion Z(ϑ-ϑ0) steht; K1(x1) bezeichnet dabei eine weitere Korrekturfunktion.
  • Kurzbeschreibung der Abbildungen:
    • Fig. 1 zeigt die Definition des Einfallswinkels ϑ durch die Positionen beiden Mikrofone, deren Signale verarbeitet werden.
    • Fig. 2 zeigt beispielhaft eine Zuordnungsfunktion Z(ϑ) mit Halbwertsbreite 2γ3db, aus welcher eine Hyperbel mit Scheitel bei ϑ=0 resultiert.
    • Fig.3 zeigt eine Hyperbel mit Scheitel bei ϑ=ϑ0, die die Richtcharakteristik der Quellenseparation bestimmt. Signale innerhalb des durch die Hyperbel definierten Raumbereichs werden mit einer Dämpfung <3db als Nutzsignal ausgegeben
    • Fig.4 zeigt den Aufbau des Quellenseparators, in welchem die Zeitsignale zweier Mikrofone, m1(t) und m2(t), In einer Stereo-Abstast- und -Fourier-Transformator-Einheit (20) zu Spektren M1(f,T) und M2(f,T) transformiert werden, wobei T den Zeitpunkt der Entstehung der Spektren bezeichnet. Aus den Spektren wird in der ϑ-Berechnungseinheit (30) der frequenzabhängige Einfallswinkel ϑ (f,T) sowie das korrigierte Mikrofonspektrum M(f,T) berechnet, woraus in Signalgeneratoren (40) für verschiedene Richtwinkel ϑ0 Ausgangssignale sϑ0(t) entstehen.
    • Fig. 5 zeigt den Aufbau der ϑ-Berechnungseinheit (30), in welcher der Phasenwinkel ϕ(f,T) einer spektralen Komponenten des komplexen Quotienten der beiden Mikrofonspektren M1(f,T) und M2(f,T) berechnet wird, welcher sodann mit der Schallgeschwindigkeit c zu multiplizieren und durch 2πfd zu dividieren ist, wobei d den Mikrofonabstand bezeichnet. Bei dieser Operation entsteht die Größe x1 (f,T), welche das Argument der beiden Korrekturfunktionen K2 und K1 darstellt. Mit diesen Korrekturfunktionen entsteht das korrigierte Mikrofonspektrum M(f,T)=M1(f,T)*K2(x1(f,T)) sowie die Größe x(f,T)=K1(x1(f,T)), aus welcher durch Anwendung der Arcuskosinus-Funktion der Einfallswinkel ϑ(f,T) zu berechnen ist.
    • Fig. 6 zeigt einen Signalgenerator, in welcher eine Zuordnungsfunktion Z(ϑ-ϑ0) mit einem einstellbaren Winkel ϑ0 durch spektrale Diffusion zu einer Filterfunktion F(f,T) geglättet wird, welche mit dem korrigierten Mikrofonspektrum M(f,T) zu multiplizieren ist. Daraus resultiert ein Ausgangsspektrum Sϑ0 (f,T), aus welchem durch inverse Fouriertransformation ein Ausgangssignal sϑ0(t) entsteht, welches die Schallsignale innerhalb des durch die Zuordnungsfunktion Z und den Winkel ϑ0 festgelegten Raumbereichs enthält.
    • Fig. 7 zeigt exemplarisch die beiden Korrekturfunktionen K2(x1) und K1(x1).
  • Ein Grundgedanke der Erfindung ist es, jeder spektralen Komponente des einfallenden Signals zu jedem Zeitpunkt T einen Einfallswinkel ϑ zuzuordnen und allein anhand des berechneten Einfallswinkels zu entscheiden, ob die entsprechende Schallquelle innerhalb einer gewünschten Richthyperbel liegt, oder nicht. Um die Zugehörigkeitsentscheidung etwas abzumildern, wird anstatt einer harten Ja/Nein-Entscheidung eine "weiche" Zuordnungsfunktion Z(ϑ) (Fig. 2) benutzt, die einen kontinuierlichen Übergang zwischen erwünschten und unerwünschten Einfallsrichtungen erlaubt, was sich vorteilhaft auf die Integrität der Signale auswirkt. Die Breite der Zuordnungsfunktion entspricht dann der Breite der Richthyperbel (Fig. 3). Durch Division der komplexen Spektren der beiden Mikrofonsignale wird zunächst für jede Frequenz f zu einem Zeitpunkt T die Phasendifferenz ϕ berechnet. Mit Hilfe der Schallgeschwindigkeit c und der Frequenz f der entsprechenden Signalkomponente lässt sich aus der Phasendifferenz ein Wegunterschied berechnen, der zwischen den beiden Mikrofonen liegt, wenn das Signal von einer Punktquelle ausgesandt wurde. Ist der Mikrofonabstand d bekannt, ergibt eine einfache geometrische Überlegung, dass der Quotient x1 aus Wegunterschied und Mikrofonabstand dem Kosinus des gesuchten Einfallswinkels entspricht. In der Praxis ist aufgrund von Störungen wie diffusem Störschall oder Raumhall die Annahme einer Punktquelle selten erfüllt, weshalb x1 gewöhnlich nicht auf den erwarteten Wertebereich [-1,1] beschränkt ist. Bevor der Einfallswinkel ϑ berechnetet werden kann, ist daher noch eine Korrektur erforderlich, die x1 auf das genannte Intervall beschränkt. Wurde zum Zeitpunkt T für jede Frequenz f der Einfallswinkel ϑ(f,T) bestimmt, ergibt sich das Spektrum des gewünschten Signals innerhalb einer Richthyperbel mit Scheitel beim Winkel ϑ=ϑ0 durch einfache frequenzweise Multiplikation mit dem Spektrum eines der Mikrofone, also M1(f,T)K(ϑ(f,T)- ϑ0). Unter Umständen ist es vorteilhaft, K(9(f,T)- ϑ0) vor Ausführung der Multiplikation spektral zu glätten. Eine Glättung, deren Ergebnis als Fϑ0(f,T) bezeichnet sei, erhält man z.B. durch Anwendung eines Diffusionsoperators. In Fällen, in denen durch Störeinflüsse die Größe x, die zur Berechnung des Einfallswinkels dient, außerhalb ihres Wertebereichs liegt, ist es vorteilhaft, die entsprechende spektrale Komponente des Mikrofonsignals abzuschwächen, da zu vermuten ist, dass sich Störsignale überlagert haben. Dies geschieht z.B. durch Anwendung einer Korrekturfunktion, deren Argument die Größe x1 ist. Sei M(f,T) das korrigierte Mikrofonsignal, dann schreibt sich die Erzeugung des gewünschten Signalspektrums inklusive spektraler Glättung und Korrektur als Sϑ0(f,T)=Fϑ0(f,T)M(f,T). Aus Sϑ0(f,T) ensteht durch inverse Fouriertransformation das Zeitsignal Sϑ0(t) für die entsprechende Richthyperbel mit Scheitelwinkel ϑ0.
  • Anders ausgedrückt ist es eine Grundidee der Erfindung, verschiedene Schallquellen, beispielsweise den Fahrer und den Beifahrer in einem Kraftfahrzeug, räumlich voneinander zu unterscheiden und somit beispielsweise das Nutz-Sprachsignal des Fahrers vom Stör-Sprachsignal des Beifahrers zu separieren, indem man die Tatsache ausnutzt, dass diese beiden Sprachsignale, also Schallsignale, in der Regel auch bei unterschiedlichen Frequenzen vorliegen. Die erfindungsgemäß vorgesehene Frequenzanalyse erlaubt also zunächst, das Gesamt-Schallsignal in die zwei Einzel-Schallsignale (nämlich vom Fahrer und vom Beifahrer) aufzuspalten. Es muß dann "nur noch" mit Hilfe geometrischer Überlegungen anhand der jeweiligen Frequenz jedes der beiden Schallsignale und der zu ermittelnden Phasendifferenz zwischen dem Ausgangssignal des Mikrofons 1 und des Mikrofons 2, die jeweils diesem Schallsignal zugeordnet sind, die Einfallsrichtung jedes der beiden Schallsignale berechnet werden. Da die Geometrie zwischen beispielsweise der Position des Fahrers, der Position des Beifahrers und der Position der Mikrofone, etwa in einer Freisprecheinrichtung im Kraftfahrzeug, bekannt ist, kann dann das weiter zu verarbeitende Nutz-Schallsignal aufgrund seines anderen Einfallswinkels vom Stör-Schallsignal separiert werden.
  • Es folgt ein detailliertes Ausführungsbeispiel der Erfindung, das anhand der Abbildungen beschrieben wird.
  • Die Zeitsignale m1(t) und m2(t) zweier Mikrofone, die einen festen Abstand d zueinander haben, werden einem Rechenwerk (10) zugeführt (Fig. 4), wo sie in einer Stereo-Abtast- und -Fourier-Transformator-Einheit (20) mit einer Abtastrate fA diskretisiert und digitalisiert werden. Eine Folge von a Abtastwerten jeweils eines der Mikrofonsignale m1(t) und m2(t) wird durch Fourier-Transformation zum komplexwertigen Spektrum M1(f,T) bzw. M2(f,T) transformiert, wobei f die Frequenz der jeweiligen Signalkomponente bezeichnet, und T den Zeitpunkt der Entstehung eines Spektrums angibt. Für die praktische Anwendung ist folgende Parameterwahl geeignet: fA =11025 Hz, a=256, T a/2=t. Wenn Rechenleistung und Speicherplatz es erlauben, ist jedoch a=1024 zu bevorzugen. Der Mikrofonabstand d sollte kleiner sein als die halbe Wellenlänge der höchsten zu verarbeitenden Frequenz, welche sich aus der Abtastfrequenz ergibt, d.h. d < c/4fA. Für die oben angegebene Parameterwahl eignet sich ein Mikrofonabstand d = 20 mm.
  • Die Spektren M1(f,T) und M2(f,T) werden einer ϑ-Berechnungseinheit mit Spektrum-Korrektur (30) zugeführt, die aus den Spektren M1(f,T) und M2(f,T) einen Einfallswinkel ϑ(f,T) berechnet, der angibt, aus welcher Richtung relativ zur Mikrofonachse eine Signalkomponente mit Frequenz f zum Zeitpunkt T in die Mikrofone einfällt (Fig.1). Dazu wird M2(f,T) durch M1(f,T) komplex dividiert. ϕ(f,T) bezeichne den Phasenwinkel dieses Quotienten. Wo Verwechslungen ausgeschlossen sind, wird im folgenden das Argument (f,T) der zeit- und frequenzabhängigen Größen fortgelassen. Die genaue Rechenvorschrift zur Bestimmung von ϕ lautet gemäß der Eulerschen Formel und den Rechenregeln für komplexe Zahlen: ϕ = arctan ( Re 1 * Im 2 - Im 1 * Re 2 ) / Re 1 * Re 2 + Im 1 * Im 2 ,
    Figure imgb0001

    wobei Re1 und Re2 die Realteile und Im1 und Im2 die Imaginärteile von M1 bzw. M2 bezeichnen. Die Größe x1=ϕc/2πfd entsteht mit Hilfe der Schallgeschwindigkeit c aus dem Winkel ϕ, auch x1 ist frequenz- und zeitabhängig: x1=x1(f,T). Der Wertebereich von x1 muss in der Praxis mit Hilfe einer Korrekturfunktion x=K1 (x1) (Fig. 7) auf das Intervall [-1,1] beschränkt werden. Auf die so berechnete Größe x wird durch Anwendung der Arcuskosinus-Funktion ein Einfallswinkel ϑ der betrachteten Signalkomponente errechnet, welcher von der Mikrofonachse zu messen ist, d.h. von der durch die Positionen der beiden Mikrofone definierten Geraden (Fig. 1). Unter Berücksichtigung aller Abhängigkeiten lautet damit der Einfallswinkel einer Signalkomponente mit Frequenz f zum Zeitpunkt T: ϑ(f,t)=arccos(x(f,T)). Des weiteren wird mit Hilfe einer zweiten Korrekturfunktion K2(x1) das Mikrofonspektrum korrigiert (Fig. 7): M(f,T)=K2(x1)M1(f,T). Diese Korrektur dient dazu, in Fällen, in denen die erste Korrekturfunktion greift, die entsprechende Signalkomponente zu reduzieren, da zu vermuten ist, dass sich Störungen überlagert haben, die das Signal verfälschen. Die zweite Korrektur ist optional, alternativ kann auch M(f,T)=M1(f,T) gewählt werden; M(f,T)=M2(f,T) ist ebenfalls möglich.
  • Das Spektrum M(f,T) wird zusammen mit dem Winkel ϑ(f,T) einem oder mehreren Signalgeneratoren (40) zugeführt, wo mit Hilfe einer Zuordnungsfunktion Z(ϑ) (Fig. 2) und einem wählbaren Winkel ϑ0 jeweils ein auszugebendes Signal sϑ0(t) entsteht. Dies geschieht, indem zu einem Zeitpunkt T jede spektrale Komponente des Spektrums M(f,T) mit der entsprechenden Komponente eines ϑ0-spezifischen Filters Fϑ0(f,T) multipliziert wird. Fϑ0(f,T) entsteht durch spektrale Glättung von Z(ϑ-ϑ0). Diese Glättung erfolgt z.B. durch spektrale Diffusion: F ϑ 0 f , T = Z ϑ f , T - ϑ 0 + D Δ 2 f Z ϑ f , T - ϑ 0 .
    Figure imgb0002
  • Dabei bezeichnet D die Diffusionskonstante, welche ein frei wählbarer Parameter größer oder gleich null ist. Der diskrete Diffusionsoperators Δ2 f ist eine Abkürzung für Δ 2 f Z ϑ f , T - ϑ 0 = Z ϑ f - f A / a , T - ϑ 0 - 2 Z ( ϑ f , T - ϑ 0 , T ) + Z ( ϑ f + f A / a , T - ϑ 0 ) / f A / a 2 .
    Figure imgb0003
  • Der auftretende Quotient fA/a aus Abtastrate fA und Anzahl a der Abtastwerte entspricht dem Abstand zweier Frequenzen im diskreten Spektrum. Durch Anwendung des so erzeugten Filters Fϑ0(f,T) entsteht ein Spektrum Sϑ0(f,T)=Fϑ0(f,T)M(f,T), welches durch inverse Fouriertransformation in das Zeitsignal Sϑ0(t) übergeht.
  • Das von einem Signalgenerator (40) auszugebene Signal sϑ0(t) entspricht dem Schallsignal innerhalb desjenigen Raumbereichs, der durch die Zuordnungsfunktion Z(ϑ) und den Winkel ϑ0 definiert ist. Der Einfachheit halber wird in der gewählten Nomenklatur für verschiedene Signalgeneratoren nur von einer Zuordnungsfunktion Z(ϑ) ausgegangen, verschiedene Signalgeneratoren benutzen lediglich verschiedene Winkel ϑ0. Praktisch spricht natürlich nichts dagegen, in jedem Signalgenerator auch eine eigene Form der Zuordnungsfunktion zu wählen. Die Anwendung von Zuordnungsfunktionen, welche über die Zugehörigkeit von Signalkomponenten zu verschiedenen Raumbereichen entscheiden, ist einer der zentralen Gedanken der Erfindung. Eine Zuordnungsfunktion muss eine gerade Funktion sein, geeignete Funktionen sind z.B. Z(ϑ)=((1+cosϑ)/2)n mit einem Parameter n>0. Der Raumbereich, in welchem Signale mit weniger als 3db gedämpft werden, entspricht einer Hyperbel mit Öffnungswinkel 2γ3db (Fig. 3) und Scheitel bei dem Winkel ϑ0. Hierbei entspricht 2γ3db dem Halbwertswinkel der Zuordnungsfunktion Z(ϑ) (Fig. 2), mit der angegebenen Formel für die Zuordnungsfunktion gilt γ3db=arc cos(21-1/n-1). Bei diesen zweidimensionalen geometrischen Überlegungen ist zu beachten, dass der tatsächliche Bereich des dreidimensionalen Raums, aus welchem mit dem beschriebenen Verfahren Schallsignale extrahiert werden, ein Rotationshyperboloid ist, der durch Rotation der beschriebene Hyperbel um die Mikrofonachse entsteht.
  • Selbstverständlich ist die vorliegende Erfindung nicht auf den Einsatz in Kraftfahrzeugen und Freisprecheinrichtungen beschränkt: Weitere Anwendungen sind Konferenz-Telefonanlagen, bei denen mehrere Richthyperbeln in verschiedene Raumrichtungen gelegt werden, um die Sprachsignale einzelner Personen zu extrahieren und Rückkopplungen bzw. Echo-Effekte zu vermeiden. Des weiteren lässt sich das Verfahren mit einer Kamera kombinieren, wobei die Richthyperbel stets in die gleiche Richtung blickt wie die Kamera, und so nur aus dem Bildbereich kommende Schallsignale aufgezeichnet werden. In Bildtelefonsystemen ist mit der Kamera zugleich ein Monitor verbunden, in den die Mikrofonanordnung ebenfalls eingebaut werden kann, um eine Richthyperbel senkrecht zur Monitor-Oberfläche zu generieren, denn es ist zu erwarten, dass sich der Sprecher vor dem Monitor befindet.
  • Eine ganz andere Klasse von Anwendungen ergibt sich, wenn man anstatt des auszugebenden Signals den ermittelten Einfallswinkel ϑ auswertet, indem man z.B. zu einem Zeitpunkt T über Frequenzen f mittelt. Ein solche ϑ(T)-Auswertung kann zu Überwachungszwecken benutzt werden, wenn innerhalb eines ansonsten ruhigen Raums die Position einer Schallquelle geortet werden soll.
  • Das richtige "Ausschneiden" des gewünschten Bereichs entsprechend dem zu separierenden Nutz-Schallsignal aus einem Mikrofonspektrum muss nicht, wie in Figur 6 beispielhaft gezeigt, durch Multiplikation mit einer Filterfunktion erfolgen, deren Zuordnungsfunktion den in Figur 2 gezeigten beispielhaften Verlauf hat. Jede andere Art der Verknüpfung des Mikrofonspektrums mit einer Filterfunktion ist geeignet, solange diese Filterfunktion und diese Verknüpfung dazu führen, dass Werte im Mikrofonspektrum umso stärker "gedämpft" werden, je weiter ihr zugeordneter Einfallswinkel ϑ vom bevorzugten Einfallswinkel ϑ0 (beispielsweise der Richtung des Fahrers im Kraftfahrzeug) entfernt ist.
  • Bezugszeichenliste:
  • 10
    Rechenwerk zur Durchführung der erfindungsgemäßen Verfahrensschritte
    20
    Stereo-Abtast- und -Fourier-Transformator Einheit
    30
    ϑ-Berechnungseinheit
    40
    Signalgenerator
    a
    Anzahl der Abtastwerte, die zu Spektren M1 bzw. M2 transformiert werden
    d
    Mikrofonabstand
    D
    Diffusionskonstante, wählbarer Parameter größer oder gleich Null
    A2 f
    Diffusionsoperator
    f
    Frequenz
    fA
    Abtastrate
    K1
    erste Korrekturfunktion
    K2
    zweite Korrekturfunktion
    m1 (t)
    Zeitsignal des ersten Mikrofons
    m2(t)
    Zeitsignal des zweiten Mikrofons
    M1 (f,T)
    Spektrum zum Zeitpunkt T des ersten Mikrofonsignals
    M2(f,T)
    Spektrum zum Zeitpunkt T des zweiten Mikrofonsignals
    M(f,t)
    Spektrum zum Zeitpunkt T des korrigierten Mikrofonsignals
    Sϑ0(t)
    erzeugtes Zeitsignal, entsprechend einem Winkel ϑ0 der Richthyperbel
    Sϑ0(f,T)
    Spektrum des Signals sϑ0(t)
    γ3db
    Winkel, welcher die Halbwertsbreite einer Zuordnungsfunktion Z(ϑ) bestimmt
    ϕ
    Phasenwinkel des komplexen Quotienten M2/M1
    ϑ(f,T)
    Einfallswinkel einer Signalkomponente, gemessen von der Mikrofonachse
    ϑ0
    Winkel des Scheitels einer Richthyperbel, Parameter in Z(ϑ-ϑ0)
    x, x1
    Zwischengrößen bei der ϑ-Berechnung
    t
    Zeitbasis der Signalabtastung
    T
    Zeitbasis der Spektrumerzeugung
    Z(ϑ)
    Zuordnungsfunktion

Claims (9)

  1. Verfahren zur Separierung von Schallsignalen von einer Mehrzahl von Schallquellen (S1, S2), umfassend die Schritte:
    - Anordnen von zwei Mikrofonen (MIK1, MIK2) in einem vorbestimmten Abstand (d) zueinander;
    - Erfassen der Schallsignale mit beiden Mikrofonen (MIK1, MIK2) und Erzeugen zugeordneter Mikrofonsignale (m1, m2); und
    - Separieren des Schallsignals einer der Schallquellen (S1) von den Schallsignalen der anderen Schallquellen (S2) basierend auf den Mikrofonsignalen (m1, m2),
    wobei der Schritt des Separierens die Schritte umfaßt:
    - Fourier-Transformieren der Mikrofonsignale zur Ermittlung ihrer Frequenzspektren (M1, M2);
    - Bestimmen der Phasendifferenz (ϕ) zwischen den beiden Mikrofonsignalen (m1, m2) für jede Frequenzkomponente ihrer Frequenzspektren (M1, M2);
    - Bestimmen des Einfallswinkels (ϑ) jedes einer Frequenz der Frequenzspektren (M1, M2) zugeordneten Schallsignals basierend auf der Phasendifferenz (ϕ) und der Frequenz;
    - Erzeugen eines Signalspektrums (S) eines auszugebenden Signals durch Verknüpfen eines der beiden Frequenzspektren (M1, M2) mit einer Filterfunktion (Fϑ0), die derart gewählt ist, dass Schallsignale aus einer Umgebung (γ3dB) um einen bevorzugten Einfallswinkel (ϑ0) herum relativ zu Schallsignalen von außerhalb dieser Umgebung (γ3dB) verstärkt werden; und
    - inverses Fourier-Transformieren des derart erzeugten Signalspektrums, dadurch gekennzeichnet, dass die Filterfunktion (Fϑ0) ϑ-abhängig ist und
    unter Variation von ϑ ein Maximum bei dem bevorzugten Einfallswinkel (ϑ0) aufweist, und die Verknüpfung der Filterfunktion (Fϑ0) mit einem der beiden Frequenzspektren eine Multiplikation derselben umfasst.
  2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Filterfunktion (Fϑ0) die Form aufweist: F ϑ 0 f , T = Z ϑ - ϑ 0 + D Δ 2 f Z ϑ - ϑ 0
    Figure imgb0004

    wobei
    f die jeweilige Frequenz
    T der Zeitpunkt der Ermittlung der Frequenzspektren (M1, M2)
    Z(ϑ-ϑ0) eine gerade Zuordnungsfunktion mit Maximum bei ϑ0
    D ≥ 0 eine Diffusionskonstante, und
    Δ2 f ein diskreter Diffusionsoperator derart ist, dass Δ 2 f Z ϑ ( f , T ) - ϑ 0 = ( Z ( ϑ ( f - f A / a , T ) - ϑ 0 ) - 2 Z ϑ ( f , T ) - ϑ 0 , T + Z ϑ ( f + f A / a , T ) - ϑ 0 ) / f A / a 2
    Figure imgb0005

    wobei fA die Abtastrate beim Fourier-Transformieren, und a die Anzahl der Abtastwerte darstellen.
  3. Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass die Zuordnungsfunktion (Z) die Form aufweist: Z ϑ - ϑ 0 = 1 + cos ( ϑ - ϑ 0 ) 2 n
    Figure imgb0006

    wobei n > 0 ist.
  4. Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass die Bestimmung des Einfallswinkels ϑ über die Beziehung ϑ = arc cos x 1 f , T
    Figure imgb0007

    erfolgt mit x 1 f , T = φc / 2 πfd
    Figure imgb0008

    für werte von x1 im Bereich [-1, 1]
    wobei
    ϕ die Phasendifferenz zwischen den beiden Mikrofonsignalkomponenten (M1, M2)
    c die Schallgeschwindigkeit
    f die Frequenz der Schallsignalkomponente und
    d der vorbestimmte Abstand der beiden Mikrofone (MIK1, MIK2) ist.
  5. Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass es ferner den Schritt umfasst:
    Begrenzen des Werts von x1(f,T) auf das Intervall [-1, 1].
  6. Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass es ferner den Schritt umfasst:
    Reduzieren von Signalkomponenten, für die der Wert von x1(f,T) vor der Begrenzung außerhalb des Intervalls [-1,1] lag.
  7. Vorrichtung zur Durchführung des Verfahrens nach einem der Ansprüche 1 bis 6, umfassend:
    - zwei Mikrofone (MIK1, MIK2);
    - eine an die Mikrofone angeschlossene Abtast- und Fourier-Transformationseinheit (20) zum Diskretisieren, Digitalisieren und Fourier-Transformieren der Mikrofonsignale (m1, m2);
    - eine an die Abtast- und Fourier-Transformationseinheit (20) angeschlossene Berechnungseinheit (30) zur Berechnung des Einfallswinkels (ϑ) jeder Schallsignalkomponente; und
    - wenigstens einen an die Berechnungseinheit (30) angeschlossenen Signalgenerator (40) zur Ausgabe des separierten Schallsignals, wobei der wenigstens eine Signalgenerator (40) Mittel zum Multiplizieren einer der Fourier-Transformierten (M1, M2) mit einer Filterfunktion (Fϑ0) umfasst, die ϑ-abhängig ist und unter Variation von ϑ ein Maximum bei einem bevorzugten Einfallswinkel (ϑ0) aufweist.
  8. Vorrichtung nach Anspruch 7, dadurch gekennzeichnet, dass der Abstand (d) zwischen den Mikrofonen der Relation genügt: d < c / 4 f A
    Figure imgb0009

    wobei c die Schallgeschwindigkeit und fA die Abtastfrequenz der Abtast- und Fourier-Transformationseinheit (20) ist.
  9. Vorrichtung nach Anspruch 7 oder 8, dadurch gekennzeichnet, dass die Vorrichtung für jede zu separierende Schallquelle (S1, S2) einen Signalgenerator (40) umfaßt.
EP05707893A 2004-02-06 2005-01-31 Verfahren und vorrichtung zur separierung von schallsignalen Active EP1595427B1 (de)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102004005998A DE102004005998B3 (de) 2004-02-06 2004-02-06 Verfahren und Vorrichtung zur Separierung von Schallsignalen
DE102004005998 2004-02-06
PCT/EP2005/050386 WO2005076659A1 (de) 2004-02-06 2005-01-31 Verfahren und vorrichtung zur separierung von schallsignalen

Publications (2)

Publication Number Publication Date
EP1595427A1 EP1595427A1 (de) 2005-11-16
EP1595427B1 true EP1595427B1 (de) 2006-12-13

Family

ID=34485667

Family Applications (1)

Application Number Title Priority Date Filing Date
EP05707893A Active EP1595427B1 (de) 2004-02-06 2005-01-31 Verfahren und vorrichtung zur separierung von schallsignalen

Country Status (5)

Country Link
US (1) US7327852B2 (de)
EP (1) EP1595427B1 (de)
AT (1) ATE348492T1 (de)
DE (2) DE102004005998B3 (de)
WO (1) WO2005076659A1 (de)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE202008016880U1 (de) 2008-12-19 2009-03-12 Hörfabric GmbH Digitales Hörgerät mit getrennter Ohrhörer-Mikrofon-Einheit
DE202010013508U1 (de) 2010-09-22 2010-12-09 Hörfabric GmbH Software-definiertes Hörgerät
EP2296356A2 (de) 2009-09-11 2011-03-16 Dietmar Ruwisch Verfahren und Vorrichtung zur Analyse und Abstimmung akustischer Eigenschaften einer Kfz-Freisprecheinrichtung
EP2362681A1 (de) 2010-02-15 2011-08-31 Dietmar Ruwisch Verfahren und Vorrichtung zum phasenabhängigen Verarbeiten von Schallsignalen

Families Citing this family (58)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100959983B1 (ko) * 2005-08-11 2010-05-27 아사히 가세이 가부시키가이샤 음원 분리 장치, 음성 인식 장치, 휴대 전화기, 음원 분리방법, 및, 프로그램
US20070050441A1 (en) * 2005-08-26 2007-03-01 Step Communications Corporation,A Nevada Corporati Method and apparatus for improving noise discrimination using attenuation factor
US20070047742A1 (en) * 2005-08-26 2007-03-01 Step Communications Corporation, A Nevada Corporation Method and system for enhancing regional sensitivity noise discrimination
US20070047743A1 (en) * 2005-08-26 2007-03-01 Step Communications Corporation, A Nevada Corporation Method and apparatus for improving noise discrimination using enhanced phase difference value
US7472041B2 (en) * 2005-08-26 2008-12-30 Step Communications Corporation Method and apparatus for accommodating device and/or signal mismatch in a sensor array
US7619563B2 (en) * 2005-08-26 2009-11-17 Step Communications Corporation Beam former using phase difference enhancement
US7415372B2 (en) * 2005-08-26 2008-08-19 Step Communications Corporation Method and apparatus for improving noise discrimination in multiple sensor pairs
JP4912036B2 (ja) * 2006-05-26 2012-04-04 富士通株式会社 指向性集音装置、指向性集音方法、及びコンピュータプログラム
US20080001809A1 (en) * 2006-06-30 2008-01-03 Walter Gordon Woodington Detecting signal interference in a vehicle system
JP5494492B2 (ja) * 2008-11-27 2014-05-14 日本電気株式会社 信号補正装置
DK2236076T3 (da) 2009-03-30 2018-01-15 Hoffmann La Roche Fremgangsmåde og system til bestemmelse af differencen mellem præ- og postprandiale blodsukkerværdier
FR2948484B1 (fr) * 2009-07-23 2011-07-29 Parrot Procede de filtrage des bruits lateraux non-stationnaires pour un dispositif audio multi-microphone, notamment un dispositif telephonique "mains libres" pour vehicule automobile
FR2950461B1 (fr) * 2009-09-22 2011-10-21 Parrot Procede de filtrage optimise des bruits non stationnaires captes par un dispositif audio multi-microphone, notamment un dispositif telephonique "mains libres" pour vehicule automobile
US9310503B2 (en) * 2009-10-23 2016-04-12 Westerngeco L.L.C. Methods to process seismic data contaminated by coherent energy radiated from more than one source
DE102009052992B3 (de) * 2009-11-12 2011-03-17 Institut für Rundfunktechnik GmbH Verfahren zum Abmischen von Mikrofonsignalen einer Tonaufnahme mit mehreren Mikrofonen
US20120249797A1 (en) 2010-02-28 2012-10-04 Osterhout Group, Inc. Head-worn adaptive display
US9759917B2 (en) 2010-02-28 2017-09-12 Microsoft Technology Licensing, Llc AR glasses with event and sensor triggered AR eyepiece interface to external devices
US10180572B2 (en) 2010-02-28 2019-01-15 Microsoft Technology Licensing, Llc AR glasses with event and user action control of external applications
US9129295B2 (en) 2010-02-28 2015-09-08 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a fast response photochromic film system for quick transition from dark to clear
US9128281B2 (en) 2010-09-14 2015-09-08 Microsoft Technology Licensing, Llc Eyepiece with uniformly illuminated reflective display
EP2539759A1 (de) * 2010-02-28 2013-01-02 Osterhout Group, Inc. Lokaler werbeinhalt auf einem interaktiven kopfmontierten okular
US8477425B2 (en) 2010-02-28 2013-07-02 Osterhout Group, Inc. See-through near-eye display glasses including a partially reflective, partially transmitting optical element
US8482859B2 (en) 2010-02-28 2013-07-09 Osterhout Group, Inc. See-through near-eye display glasses wherein image light is transmitted to and reflected from an optically flat film
US9223134B2 (en) 2010-02-28 2015-12-29 Microsoft Technology Licensing, Llc Optical imperfections in a light transmissive illumination system for see-through near-eye display glasses
US8467133B2 (en) 2010-02-28 2013-06-18 Osterhout Group, Inc. See-through display with an optical assembly including a wedge-shaped illumination system
US9097891B2 (en) 2010-02-28 2015-08-04 Microsoft Technology Licensing, Llc See-through near-eye display glasses including an auto-brightness control for the display brightness based on the brightness in the environment
US20110214082A1 (en) * 2010-02-28 2011-09-01 Osterhout Group, Inc. Projection triggering through an external marker in an augmented reality eyepiece
US9341843B2 (en) 2010-02-28 2016-05-17 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a small scale image source
US8488246B2 (en) 2010-02-28 2013-07-16 Osterhout Group, Inc. See-through near-eye display glasses including a curved polarizing film in the image source, a partially reflective, partially transmitting optical element and an optically flat film
US9366862B2 (en) 2010-02-28 2016-06-14 Microsoft Technology Licensing, Llc System and method for delivering content to a group of see-through near eye display eyepieces
US9285589B2 (en) 2010-02-28 2016-03-15 Microsoft Technology Licensing, Llc AR glasses with event and sensor triggered control of AR eyepiece applications
US9091851B2 (en) 2010-02-28 2015-07-28 Microsoft Technology Licensing, Llc Light control in head mounted displays
US9097890B2 (en) 2010-02-28 2015-08-04 Microsoft Technology Licensing, Llc Grating in a light transmissive illumination system for see-through near-eye display glasses
US20150309316A1 (en) 2011-04-06 2015-10-29 Microsoft Technology Licensing, Llc Ar glasses with predictive control of external device based on event input
US9229227B2 (en) 2010-02-28 2016-01-05 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a light transmissive wedge shaped illumination system
US9182596B2 (en) 2010-02-28 2015-11-10 Microsoft Technology Licensing, Llc See-through near-eye display glasses with the optical assembly including absorptive polarizers or anti-reflective coatings to reduce stray light
US8472120B2 (en) 2010-02-28 2013-06-25 Osterhout Group, Inc. See-through near-eye display glasses with a small scale image source
US9134534B2 (en) 2010-02-28 2015-09-15 Microsoft Technology Licensing, Llc See-through near-eye display glasses including a modular image source
US9552840B2 (en) 2010-10-25 2017-01-24 Qualcomm Incorporated Three-dimensional sound capturing and reproducing with multi-microphones
US8855341B2 (en) 2010-10-25 2014-10-07 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for head tracking based on recorded sound signals
US9031256B2 (en) 2010-10-25 2015-05-12 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for orientation-sensitive recording control
US8175297B1 (en) 2011-07-06 2012-05-08 Google Inc. Ad hoc sensor arrays
EP2590165B1 (de) 2011-11-07 2015-04-29 Dietmar Ruwisch Verfahren und Vorrichtung zur Erzeugung eines rauschreduzierten Audiosignals
US9330677B2 (en) 2013-01-07 2016-05-03 Dietmar Ruwisch Method and apparatus for generating a noise reduced audio signal using a microphone array
US9497528B2 (en) * 2013-11-07 2016-11-15 Continental Automotive Systems, Inc. Cotalker nulling based on multi super directional beamformer
US9431013B2 (en) * 2013-11-07 2016-08-30 Continental Automotive Systems, Inc. Co-talker nulling for automatic speech recognition systems
EP2928211A1 (de) * 2014-04-04 2015-10-07 Oticon A/s Selbstkalibrierung eines Multimikrofongeräuschunterdrückungssystems für Hörgeräte mit einer zusätzlichen Vorrichtung
JP2015222847A (ja) * 2014-05-22 2015-12-10 富士通株式会社 音声処理装置、音声処理方法および音声処理プログラム
CN107785028B (zh) * 2016-08-25 2021-06-18 上海英波声学工程技术股份有限公司 基于信号自相关的语音降噪方法及装置
EP3764660B1 (de) 2019-07-10 2023-08-30 Analog Devices International Unlimited Company Signalverarbeitungsverfahren und systeme für adaptive strahlenformung
EP3764359A1 (de) 2019-07-10 2021-01-13 Analog Devices International Unlimited Company Signalverarbeitungsverfahren und systeme für mehrfokusstrahlformung
EP3764358B1 (de) 2019-07-10 2024-05-22 Analog Devices International Unlimited Company Signalverarbeitungsverfahren und -systeme zur strahlformung mit windblasschutz
EP3764664A1 (de) 2019-07-10 2021-01-13 Analog Devices International Unlimited Company Signalverarbeitungsverfahren und systeme zur strahlformung mit mikrofontoleranzkompensation
EP3764360B1 (de) 2019-07-10 2024-05-01 Analog Devices International Unlimited Company Signalverarbeitungsverfahren und -systeme zur strahlformung mit verbessertem signal/rauschen-verhältnis
DE102019134541A1 (de) * 2019-12-16 2021-06-17 Sennheiser Electronic Gmbh & Co. Kg Verfahren zur Steuerung eines Mikrofonarrays und Vorrichtung zur Steuerung eines Mikrofonarrays
US11546689B2 (en) 2020-10-02 2023-01-03 Ford Global Technologies, Llc Systems and methods for audio processing
CN113449255B (zh) * 2021-06-15 2022-11-11 电子科技大学 一种改进的稀疏约束下环境分量相位角估计方法、设备及存储介质
CN117935837B (zh) * 2024-03-25 2024-05-24 中国空气动力研究与发展中心计算空气动力研究所 一种时域多声源定位及噪声处理方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2687496B1 (fr) * 1992-02-18 1994-04-01 Alcatel Radiotelephone Procede de reduction de bruit acoustique dans un signal de parole.
US5774562A (en) * 1996-03-25 1998-06-30 Nippon Telegraph And Telephone Corp. Method and apparatus for dereverberation
US6130949A (en) 1996-09-18 2000-10-10 Nippon Telegraph And Telephone Corporation Method and apparatus for separation of source, program recorded medium therefor, method and apparatus for detection of sound source zone, and program recorded medium therefor
US6654719B1 (en) * 2000-03-14 2003-11-25 Lucent Technologies Inc. Method and system for blind separation of independent source signals
AUPR141200A0 (en) * 2000-11-13 2000-12-07 Symons, Ian Robert Directional microphone
WO2002061732A1 (en) * 2001-01-30 2002-08-08 Thomson Licensing S.A. Geometric source separation signal processing technique

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE202008016880U1 (de) 2008-12-19 2009-03-12 Hörfabric GmbH Digitales Hörgerät mit getrennter Ohrhörer-Mikrofon-Einheit
EP2296356A2 (de) 2009-09-11 2011-03-16 Dietmar Ruwisch Verfahren und Vorrichtung zur Analyse und Abstimmung akustischer Eigenschaften einer Kfz-Freisprecheinrichtung
DE102009029367A1 (de) 2009-09-11 2011-09-15 Dietmar Ruwisch Verfahren und Vorrichtung zur Analyse und Abstimmung akustischer Eigenschaften einer Kfz-Freisprecheinrichtung
EP2296356A3 (de) * 2009-09-11 2012-05-02 Dietmar Ruwisch Verfahren und Vorrichtung zur Analyse und Abstimmung akustischer Eigenschaften einer Kfz-Freisprecheinrichtung
EP2362681A1 (de) 2010-02-15 2011-08-31 Dietmar Ruwisch Verfahren und Vorrichtung zum phasenabhängigen Verarbeiten von Schallsignalen
DE102010001935A1 (de) 2010-02-15 2012-01-26 Dietmar Ruwisch Verfahren und Vorrichtung zum phasenabhängigen Verarbeiten von Schallsignalen
DE202010013508U1 (de) 2010-09-22 2010-12-09 Hörfabric GmbH Software-definiertes Hörgerät

Also Published As

Publication number Publication date
US20070003074A1 (en) 2007-01-04
ATE348492T1 (de) 2007-01-15
WO2005076659A1 (de) 2005-08-18
DE102004005998B3 (de) 2005-05-25
US7327852B2 (en) 2008-02-05
EP1595427A1 (de) 2005-11-16
DE502005000226D1 (de) 2007-01-25

Similar Documents

Publication Publication Date Title
EP1595427B1 (de) Verfahren und vorrichtung zur separierung von schallsignalen
EP2362681B1 (de) Verfahren und Vorrichtung zum phasenabhängigen Verarbeiten von Schallsignalen
DE60125553T2 (de) Verfahren zur interferenzunterdrückung
DE69124005T2 (de) Sprachsignalverarbeitungsvorrichtung
DE102006027673A1 (de) Signaltrenner, Verfahren zum Bestimmen von Ausgangssignalen basierend auf Mikrophonsignalen und Computerprogramm
EP3375204B1 (de) Audiosignalverarbeitung in einem fahrzeug
EP1771034A2 (de) Mikrofonkalibrierung bei einem RGSC-Beamformer
EP2405673B1 (de) Verfahren zum Lokalisieren einer Audioquelle und mehrkanaliges Hörsystem
DE102010026884B4 (de) Verfahren zum Betreiben einer Hörvorrichtung mit zweistufiger Transformation
DE102014002899A1 (de) Verfahren, Vorrichtung und Herstellung zur Zwei-Mikrofon-Array-Sprachverbesserung für eine Kraftfahrzeugumgebung
EP2919485B1 (de) Übertragung eines windreduzierten Signals mit verminderter Latenzzeit
DE112012006780T5 (de) Strahlformungsvorrichtung
DE10327890A1 (de) Verfahren zum Betrieb eines Hörhilfegerätes sowie Hörhilfegerät mit einem Mikrofonsystem, bei dem unterschiedliche Richtcharakteristiken einstellbar sind
WO2015049334A1 (de) Verfahren und vorrichtung zum downmixen eines multikanalsignals und zum upmixen eines downmixsignals
DE102004053790A1 (de) Verfahren zur Erzeugung von Stereosignalen für getrennte Quellen und entsprechendes Akustiksystem
EP3926982A2 (de) Verfahren zur richtungsabhängigen rauschunterdrückung für ein hörsystem, welches eine hörvorrichtung umfasst
DE102008017550A1 (de) Mehrstufiges Schätzverfahren zur Störgeräuschreduktion und Hörvorrichtung
DE102015204253B4 (de) Verfahren zur frequenzabhängigen Rauschunterdrückung eines Eingangssignals sowie Hörgerät
EP2161949A2 (de) Verfahren zum Betrieb einer Hörvorrichtung mit Richtwirkung und zugehörige Hörvorrichtung
DE102018117558A1 (de) Adaptives nachfiltern
WO2001047335A2 (de) Verfahren zur elimination von störsignalanteilen in einem eingangssignal eines auditorischen systems, anwendung des verfahrens und ein hörgerät
WO2007036443A1 (de) Verfahren zur aktiven geräuschverminderung und eine vorrichtung zur durchführung des verfahrens
EP1123638A2 (de) Vorrichtung und verfahren zur qualitätsbeurteilung von mehrkanaligen audiosignalen
EP2219389B1 (de) Vorrichtung und Verfahren zur Störgeräuschschätzung bei einer binauralen Hörgeräteversorgung
DE102018117556B4 (de) Einzelkanal-rauschreduzierung

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20050912

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LI LT LU MC NL PL PT RO SE SI SK TR

AX Request for extension of the european patent

Extension state: AL BA HR LV MK YU

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

RIC1 Information provided on ipc code assigned before grant

Ipc: H04R 3/00 19680901AFI20051118BHEP

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LI LT LU MC NL PL PT RO SE SI SK TR

DAX Request for extension of the european patent (deleted)
PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT;WARNING: LAPSES OF ITALIAN PATENTS WITH EFFECTIVE DATE BEFORE 2007 MAY HAVE OCCURRED AT ANY TIME BEFORE 2007. THE CORRECT EFFECTIVE DATE MAY BE DIFFERENT FROM THE ONE RECORDED.

Effective date: 20061213

Ref country code: FI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20061213

Ref country code: PL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20061213

Ref country code: SK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20061213

Ref country code: DK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20061213

Ref country code: NL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20061213

Ref country code: LT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20061213

Ref country code: RO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20061213

Ref country code: CZ

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20061213

Ref country code: SI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20061213

REG Reference to a national code

Ref country code: GB

Ref legal event code: FG4D

Free format text: NOT ENGLISH

REG Reference to a national code

Ref country code: CH

Ref legal event code: EP

REG Reference to a national code

Ref country code: IE

Ref legal event code: FG4D

Free format text: LANGUAGE OF EP DOCUMENT: GERMAN

REF Corresponds to:

Ref document number: 502005000226

Country of ref document: DE

Date of ref document: 20070125

Kind code of ref document: P

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MC

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20070131

GBT Gb: translation of ep patent filed (gb section 77(6)(a)/1977)

Effective date: 20070209

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: BG

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20070313

Ref country code: SE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20070313

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: ES

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20070324

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20070413

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: PT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20070514

NLV1 Nl: lapsed or annulled due to failure to fulfill the requirements of art. 29p and 29m of the patents act
EN Fr: translation not filed
PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

26N No opposition filed

Effective date: 20070914

BERE Be: lapsed

Owner name: RUWISCH, DIETMAR, DR.

Effective date: 20070131

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: BE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20070131

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: FR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20070803

Ref country code: GR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20070314

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: FR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20061213

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: EE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20061213

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LU

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20070131

Ref country code: CY

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20061213

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: HU

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20070614

Ref country code: TR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20061213

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: IE

Payment date: 20110120

Year of fee payment: 7

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: AT

Payment date: 20110120

Year of fee payment: 7

Ref country code: CH

Payment date: 20110125

Year of fee payment: 7

REG Reference to a national code

Ref country code: CH

Ref legal event code: PL

REG Reference to a national code

Ref country code: IE

Ref legal event code: MM4A

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CH

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20120131

Ref country code: LI

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20120131

REG Reference to a national code

Ref country code: AT

Ref legal event code: MM01

Ref document number: 348492

Country of ref document: AT

Kind code of ref document: T

Effective date: 20120131

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: AT

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20120131

Ref country code: IE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20120131

REG Reference to a national code

Ref country code: DE

Ref legal event code: R082

Ref document number: 502005000226

Country of ref document: DE

Representative=s name: BETTEN & RESCH PATENT- UND RECHTSANWAELTE PART, DE

Ref country code: DE

Ref legal event code: R081

Ref document number: 502005000226

Country of ref document: DE

Owner name: RUWISCH PATENT GMBH, DE

Free format text: FORMER OWNER: RUWISCH, DIETMAR, DR., 12557 BERLIN, DE

Ref country code: DE

Ref legal event code: R081

Ref document number: 502005000226

Country of ref document: DE

Owner name: ANALOG DEVICES INTERNATIONAL UNLIMITED COMPANY, IE

Free format text: FORMER OWNER: RUWISCH, DIETMAR, DR., 12557 BERLIN, DE

REG Reference to a national code

Ref country code: GB

Ref legal event code: 732E

Free format text: REGISTERED BETWEEN 20190404 AND 20190410

REG Reference to a national code

Ref country code: DE

Ref legal event code: R081

Ref document number: 502005000226

Country of ref document: DE

Owner name: ANALOG DEVICES INTERNATIONAL UNLIMITED COMPANY, IE

Free format text: FORMER OWNER: RUWISCH PATENT GMBH, 12459 BERLIN, DE

Ref country code: DE

Ref legal event code: R082

Ref document number: 502005000226

Country of ref document: DE

Representative=s name: BETTEN & RESCH PATENT- UND RECHTSANWAELTE PART, DE

REG Reference to a national code

Ref country code: GB

Ref legal event code: 732E

Free format text: REGISTERED BETWEEN 20201210 AND 20201216

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: GB

Payment date: 20221221

Year of fee payment: 19

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: DE

Payment date: 20221220

Year of fee payment: 19