EP1595427B1 - Verfahren und vorrichtung zur separierung von schallsignalen - Google Patents
Verfahren und vorrichtung zur separierung von schallsignalen Download PDFInfo
- Publication number
- EP1595427B1 EP1595427B1 EP05707893A EP05707893A EP1595427B1 EP 1595427 B1 EP1595427 B1 EP 1595427B1 EP 05707893 A EP05707893 A EP 05707893A EP 05707893 A EP05707893 A EP 05707893A EP 1595427 B1 EP1595427 B1 EP 1595427B1
- Authority
- EP
- European Patent Office
- Prior art keywords
- signal
- frequency
- signals
- angle
- incidence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 34
- 238000000926 separation method Methods 0.000 title claims description 11
- 230000005236 sound signal Effects 0.000 title description 29
- 238000001228 spectrum Methods 0.000 claims abstract description 58
- 230000001419 dependent effect Effects 0.000 claims abstract description 5
- 101100513402 Arabidopsis thaliana MIK2 gene Proteins 0.000 claims abstract 5
- 101150101778 mik1 gene Proteins 0.000 claims abstract 5
- 238000005070 sampling Methods 0.000 claims description 12
- 238000009792 diffusion process Methods 0.000 claims description 10
- 230000009466 transformation Effects 0.000 abstract description 5
- 230000006870 function Effects 0.000 description 43
- 238000012937 correction Methods 0.000 description 17
- 230000003595 spectral effect Effects 0.000 description 10
- 238000004364 calculation method Methods 0.000 description 8
- 238000001914 filtration Methods 0.000 description 6
- 230000003044 adaptive effect Effects 0.000 description 5
- 238000009499 grossing Methods 0.000 description 5
- 238000013507 mapping Methods 0.000 description 5
- 230000002238 attenuated effect Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 241001136792 Alle Species 0.000 description 1
- 240000003517 Elaeocarpus dentatus Species 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000010363 phase shift Effects 0.000 description 1
- 210000002023 somite Anatomy 0.000 description 1
- 238000010561 standard procedure Methods 0.000 description 1
- 230000036962 time dependent Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000011282 treatment Methods 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
- G10L21/0216—Noise filtering characterised by the method used for estimating noise
- G10L2021/02161—Number of inputs available containing the signal or the noise to be suppressed
- G10L2021/02165—Two microphones, one receiving mainly the noise signal and the other one mainly the speech signal
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
- G10L21/0216—Noise filtering characterised by the method used for estimating noise
- G10L2021/02161—Number of inputs available containing the signal or the noise to be suppressed
- G10L2021/02166—Microphone arrays; Beamforming
Definitions
- the present invention relates to a method and an apparatus for separating sound signals.
- the invention is in the field of digital signal processing for demixing various acoustic signals from different spatial directions, which are stereo recorded with two microphones in a known distance.
- the field of source separation also called beamforming
- beamforming is becoming increasingly important due to the increase in mobile communication as well as the automatic processing of human speech.
- the various disturbing influences require different treatments, depending on their nature and on their knowledge of the useful signal.
- exemplary applications of the invention can be found in communication devices in which the position of a speaker is known and in which there are disturbances due to background noise or other speakers as well as loudspeaker outputs.
- Application examples are car hands-free devices in which the microphones, e.g. are housed in the rearview mirror and a so-called Richthyperbel is directed to the driver.
- a second Richthyperbel be directed to the passenger, so that during a telephone conversation between the driver and front passenger can be switched back and forth.
- geometrical source separation is a powerful tool.
- the standard method of this class of beamforming algorithms is the so-called “shift and add” method, in which a filter is applied to one of the microphone signals, and the filtered signal is then added to the second microphone signal (see, for example, Haddad and Benoit, "Capabilities of a beamforming technique for acoustic measurements inside a moving car, The 2002 International Congress and Exposure on Noise Control Engineering, Deaborn, Wed, USA, August 19-21, 2002).
- this prior art document proposes, with the aid of two microphones, each to measure a total sound signal, to Fourier transform each of the two microphone signals to determine its frequency spectrum, to determine an incident angle of the respective signal in a plurality of frequency bands based on the respective phase difference and finally do the actual "filtering".
- a preferred angle of incidence is determined, and then a filter function, namely a noise spectrum, subtracted from one of the two frequency spectra, said noise spectrum is selected such that sound signals from the vicinity of the preferred angle of incidence, which is associated with the speaker, relative to the other sound signals , which are essentially background noise of the vehicle to be amplified.
- the thus filtered frequency spectrum is then subjected to an inverse Fourier transform and output as a filtered sound signal.
- the method according to the invention requires no convergence time and can separate more than two sound sources in space with two microphones, provided that they are sufficiently spatially separated.
- the method places only small demands on memory requirements and computing power, and it is very stable against diffuse interference signals. Unlike conventional beamforming, such diffuse disturbances can be effectively damped.
- the spatial regions between which the method can differentiate are rotationally symmetric to the microphone axis, ie to the straight line defined by the two microphone positions. In a section through the space containing the axis of symmetry corresponds to the space area in which a sound source must be in order to be considered as a useful signal, a hyperbola.
- the angle ⁇ 0 occupied by the apex of the hyperbola to the axis of symmetry is arbitrary, and the width of the hyperbola determined by an angle ⁇ 3db is also a selectable parameter.
- output signals can be generated simultaneously at arbitrary, different angles ⁇ 0 , whereby the selectivity between the ranges with the degree of overlap of the corresponding hyperbola decreases.
- Sound sources within a hyperbola are considered payloads and attenuated with less than ⁇ db.
- Noise signals are eliminated as a function of their angle of incidence ⁇ , whereby an attenuation of> 25 dB for angles of incidence ⁇ outside the acceptance hyperbola can be achieved.
- the method works in the frequency domain.
- the signal spectrum to be assigned to a directional hyperbola is produced by multiplying a correction function K2 (x1) and a filter function F (f, T) by the signal spectrum M (f, T) of one of the microphones.
- the filter function is produced by spectral smoothing (eg by diffusion) of an assignment function Z ( ⁇ - ⁇ 0 ), the calculated incident angle 9 of a spectral signal component being in the argument of the assignment function.
- This angle of incidence ⁇ is determined from the phase angle ⁇ of the complex quotient of the spectra of the two microphone signals, M2 (f, T) / M1 (f, T), by multiplying ⁇ by the speed of sound c and dividing by 2 ⁇ fd, where d is the microphone distance designated.
- a basic idea of the invention is to assign an incident angle ⁇ to each spectral component of the incident signal at each point in time T, and to decide whether or not the corresponding sound source lies within a desired directional hyperbola solely on the basis of the calculated angle of incidence.
- a "soft" mapping function Z ( ⁇ ) ( Figure 2) is used which allows a continuous transition between desired and unwanted directions of incidence, which benefits the integrity of the signals effect.
- the width of the assignment function then corresponds to the width of the directional hyperbola (FIG. 3).
- a path difference which is between the two microphones, when the signal was sent from a point source.
- the microphone distance d is known, a simple geometric consideration results in that the quotient x1 of path difference and microphone distance corresponds to the cosine of the desired angle of incidence.
- the assumption of a point source is rarely fulfilled due to disturbances such as diffuse noise or room reverb, which is why x1 is usually not limited to the expected value range [-1,1]. Therefore, before the angle of incidence ⁇ can be calculated, a correction is still required which restricts x1 to the said interval.
- a smoothing, the result of which is designated as F ⁇ 0 (f, T), is obtained, for example, by using a diffusion operator .
- a basic idea of the invention is to spatially differentiate different sound sources, for example the driver and the front passenger in a motor vehicle, and thus to separate, for example, the user's useful voice signal from the passenger's jamming voice signal, by exploiting the fact that that these two speech signals, that is to say sound signals, as a rule also exist at different frequencies.
- the inventively provided frequency analysis thus initially allows the total sound signal in the two individual sound signals (namely, the driver and the passenger) split.
- the time signals m1 (t) and m2 (t) of two microphones which are at a fixed distance d from each other are fed to a calculator (10) ( Figure 4), where they are in a stereo sampling and Fourier transformer unit (20) are discretized and digitized at a sampling rate f A.
- a sequence of a samples of each of the microphone signals m1 (t) and m2 (t) is transformed by Fourier transform to the complex-valued spectrum M1 (f, T) and M2 (f, T), where f is the Frequency of the respective signal component, and T indicates the time of origin of a spectrum.
- f A 11025 Hz
- a 256
- T a / 2 t.
- the microphone spacing d should be less than half the wavelength of the highest frequency to be processed, which results from the sampling frequency, ie d ⁇ c / 4f A.
- a microphone distance d 20 mm is suitable.
- the spectra M1 (f, T) and M2 (f, T) are fed to a ⁇ calculation unit with spectrum correction (30), which from the spectra M1 (f, T) and M2 (f, T) an angle of incidence ⁇ ( f, T), which indicates from which direction relative to the microphone axis a signal component with frequency f at time T is incident on the microphones (FIG. 1).
- M2 (f, T) is divided by M1 (f, T) complex.
- ⁇ (f, T) denotes the phase angle of this quotient. Where confusion is excluded, the argument (f, T) of the time and frequency dependent quantities is omitted below.
- Re1 and Re2 denote the real parts
- Im1 and Im2 denote the imaginary parts of M1 and M2, respectively.
- M (f, T) K2 (x1) M1 (f, T).
- This correction serves to reduce the corresponding signal component in cases in which the first correction function takes effect, since it can be assumed that interferences have been superimposed that distort the signal.
- the spectrum M (f, T) is fed together with the angle ⁇ (f, T) to one or more signal generators (40), where by means of a mapping function Z ( ⁇ ) ( Figure 2) and a selectable angle ⁇ 0 each one output signal s ⁇ 0 (t) is produced.
- This is done by multiplying each spectral component of the spectrum M (f, T) by the corresponding component of a ⁇ 0 -specific filter F ⁇ 0 (f, T) at time T.
- F ⁇ 0 (f, T) is obtained by spectral smoothing of Z ( ⁇ - ⁇ 0 ). This smoothing is done, for example, by spectral diffusion:
- F ⁇ 0 f . T Z ⁇ f . T - ⁇ 0 + D ⁇ 2 f Z ⁇ f . T - ⁇ 0 ,
- D denotes the diffusion constant, which is a freely selectable parameter greater than or equal to zero.
- the actual area of the three-dimensional space from which sound signals are extracted by the described method is a rotational hyperboloid which is created by rotation of the described hyperbola around the microphone axis.
- the present invention is not limited to use in automobiles and hands-free devices:
- Other applications include conference telephone systems in which multiple directional hyperbolas are placed in different spatial directions to extract the speech signals of individuals and to avoid feedback or echo effects.
- the method can be combined with a camera, wherein the directional hyperbola always looks in the same direction as the camera, and so only coming from the image area sound signals are recorded.
- a monitor is connected to the camera at the same time, in which the microphone arrangement can likewise be installed in order to generate a directional hyperbola perpendicular to the monitor surface, since it is to be expected that the speaker is located in front of the monitor.
- the correct "cutting out" of the desired area corresponding to the payload sound signal to be separated from a microphone spectrum need not, as shown by way of example in FIG. 6, be done by multiplication with a filter function whose assignment function has the exemplary profile shown in FIG. Any other way of combining the microphone spectrum with a filter function is suitable, as long as this filter function and linkage cause the values in the microphone spectrum to be "attenuated" the more, the more their associated angle of incidence ⁇ is from the preferred angle of incidence ⁇ 0 (for example, the driver's direction in the vehicle) is removed.
Landscapes
- Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Quality & Reliability (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Circuit For Audible Band Transducer (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
- Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
- Electrophonic Musical Instruments (AREA)
Description
- Die vorliegende Erfindung betrifft ein Verfahren und eine Vorrichtung zur Separierung von Schallsignalen.
- Die Erfindung liegt auf dem Gebiet der digitalen Signalverarbeitung zum Entmischen verschiedener akustischer Signale aus unterschiedlichen Raumrichtungen, welche mit zwei Mikrofonen in bekanntem Abstand stereo aufgenommen werden.
- Das Gebiet der Quellentrennung, auch "beamforming" genannt, erfährt wachsende Bedeutung durch die Zunahme der mobilen Kommunikation sowie der automatischen Verarbeitung menschlicher Sprache. In sehr vielen Anwendungen tritt das Problem auf, dass das gewünschte Sprachsignal (Nutzsignal) durch verschiedene Störeinflüsse beeinträchtigt ist. Hier sind hauptsächlich Störungen durch Hintergrundgeräusche, Störungen durch andere Sprecher sowie Störungen durch Lautsprecherausgaben von Musik oder Sprache zu nennen. Die verschiedenen Störeinflusse erfordern je nach Ihrer Art und nach der Vorkenntnis über das Nutzsignal unterschiedliche Behandlungen.
- Beispielhafte Anwendungen der Erfindung finden sich also in Kommunikationseinrichtungen, in denen die Position eines Sprechers bekannt ist, und in denen Störungen durch Hintergrundgeräusche oder andere Sprecher sowie Lautsprecherausgaben vorhanden sind. Anwendungsbeispiele sind Kfz-Freisprecheinrichtungen, in denen die Mikrofone z.B. im Rückspiegel untergebracht sind und eine sogenannte Richthyperbel auf den Fahrer gerichtet wird. In dieser Anwendung kann eine zweite Richthyperbel auf den Beifahrer gerichtet werden, so dass während eines Telefongesprächs gezielt zwischen Fahrer und Beifahrer hin- und hergeschaltet werden kann.
- In Fällen, in denen die geometrische Position der Nutzsignalquelle zu den aufnehmenden Mikrofonen bekannt ist, ist die geometrische Quellenseparation ein mächtiges Werkzeug. Das Standardverfahren dieser Klasse von "beamforming"-Algorithmen ist das sog. "shift and add" Verfahren, bei welchem auf eines der Mikrofonsignale ein Filter angewendet wird, und das gefilterte Signal sodann zum zweiten Mikrofonsignal hinzuaddiert wird (siehe z.B. Haddad und Benoit, "Capabilities of a beamforming technique for acoustic measurements inside a moving car", The 2002 International Congress and Exposition On Noise Control Engineering, Deaborn, Mi, USA, August 19-21, 2002).
- Eine Erweiterung dieses Verfahrens beschäftigt sich mit adaptiven beam forming" bzw. "adaptiver Quellenseparation", wo die Lage der Quellen im Raum a priori unbekannt ist und durch die Algorithmen erst ermittelt werden muss (WO 02/061732, US6,654,719). Hier ist es das Ziel, die Lage der Quellen im Raum aus den Mikrofonsignalen zu bestimmen und nicht, wie beim "geometrischen" beam forming, fest vorzugeben. Adaptive Verfahren erweisen sich zwar als nützlich, allerdings ist auch hier gewöhnlich a-priori-Information erforderlich, da ein Algorithmus in der Regel nicht entscheiden kann, welche der detektierten Sprachquellen Nutz- und welche Störsignal ist. Nachteilig bei allen bekannten adaptiven Verfahren ist die Tatsache, dass die Algorithmen eine gewisse Adaptionszeit benötigen, bevor ausreichende Konvergenz besteht und die Quellentrennung gelingt. Außerdem sind adaptive Verfahren prinzipiell anfälliger für diffuse Hintergrundstörungen, da diese die Konvergenz erheblich beeinträchtigen können. Ein gravierender Nachteil beim klassischen "shift and add"-Verfahren ist die Tatsache, dass sich mit zwei Mikrofonen lediglich zwei Signalquellen voneinander separieren lassen und die Dämpfung von diffusem Hintergrundschall in der Regel nicht in ausreichendem Maße gelingt.
- Aus der DE 69314514 T2 ist ein Verfahren zur Separierung von Schallsignalen gemäß dem Oberbegriff von Anspruch 1 bekannt. Das in diesem Dokument vorgeschlagene Verfahren führt eine Separation der Schallsignale dergestalt durch, dass ein gewünschtes Nutzschallsignal von Umgebungsrauschen befreit wird, und nennt als Anwendungsbeispiele die Sprachsignale eines Fahrzeuginsassen, die auf Grund des allgemeinen und nicht lokalisierten Fahrzeuglärms nur schwer verständlich sind.
- Zum Herausfiltern des Sprachsignals schlägt dieses Dokument des Stands der Technik vor, mit Hilfe von zwei Mikrophonen jeweils ein Gesamtschallsignal zu messen, jedes der beiden Mikrophonsignale zur Ermittlung seines Frequenzspektrums einer Fouriertransformation zu unterziehen, in mehreren Frequenzbändern basierend auf der jeweiligen Phasendifferenz einen Einfallswinkel des jeweiligen Signals zu bestimmen, und schließlich die eigentliche "Filterung" vorzunehmen. Hierzu wird ein bevorzugter Einfallswinkel bestimmt, und dann eine Filterfunktion, nämlich ein Rauschspektrum, von einem der beiden Frequenzspektren subtrahiert, wobei dieses Rauschspektrum derart gewählt ist, dass Schallsignale aus der Umgebung des bevorzugten Einfallswinkels, der dem Sprecher zugeordnet ist, relativ zu den anderen Schallsignalen, die im wesentlichen Hintergrundlärm des Fahrzeugs darstellen, verstärkt werden. Das derart gefilterte Frequenzspektrum wird anschließend einer inversen Fourier-Transformation unterzogen und als gefiltertes Schallsignal ausgegeben.
- Das in der DE 69314514 T2 offenbarte Verfahren leidet an mehreren Nachteilen:
- a) Die Schallsignalseparation gemäß diesem Dokument des Stands der Technik basiert auf dem vollständigen Entfernen eines Anteils des ursprünglich gemessenen Gesamtschallsignals, nämlich demjenigen Anteil, der als Rauschen bezeichnet wird. Dieses Dokument geht nämlich von einem akustischen Szenario aus, bei dem nur eine einzige Nutzschallquelle vorhanden ist, deren Signale gleichsam eingebettet sind in Störsignale von nicht beziehungsweise weniger lokalisierten Quellen, insbesondere Fahrzeuglärm. Das Verfahren gemäß diesem Dokument des Stands der Technik erlaubt daher ausschließlich das Herausfiltern dieses einen Nutzsignals durch vollständiges Eliminieren aller Rauschsignale.
In Fällen mit einem einzigen Nutzschallsignal mag das Verfahren gemäß dieses Dokuments zufriedenstellende Ergebnisse liefern. Es kann jedoch auf Grund seines Grundprinzips nicht sinnvoll in Situationen eingesetzt werden, in denen nicht nur eine Nutzschallquelle, sondern mehrere derartige Quellen zum Gesamtschallsignal beitragen. Dies liegt insbesondere daran, dass gemäß dieser Lehre nur ein einziger sog. dominanter Ankunftswinkel verarbeitet werden kann, nämlich derjenige Einfallswinkel, unter dem das energiereichste Schallsignal einfällt. Alle Signale, die unter anderen Ankunftswinkeln auf die Mikrophone fallen, werden zwangsläufig als Rauschen behandelt. - b) Darüber hinaus scheint dieses Dokument selbst davon auszugehen, dass die dort vorgeschlagene Filterung in Form einer Subtraktion des Rauschspektrums von einem der beiden Frequenzspektren noch keine zufriedenstellenden Ergebnisse liefert. Daher sieht dieses Dokument zusätzlich, nämlich unmittelbar vor dieser eigentlichen Filterung, noch eine weitere Signalverarbeitung vor: Es werden nämlich in allen Frequenzbändem, nachdem der dominante Einfallswinkel bestimmt worden ist, durch entsprechende Phasenverschiebung eines der beiden fourier-transformierten Schallsignale in diesem Frequenzband die Rauschanteile im jeweiligen Frequenzband relativ zu den in diesem Frequenzband möglicherweise ebenfalls enthaltenen Nutzschallsignalen abgeschwächt. Somit sieht dieses Dokument die in ihr offenbarte Filterung in Form einer Subtraktion des Rauschspektrums offenbar selbst als ungenügend an, so dass sie selbst weitere, nämlich unmittelbar vorhergehende Signalverarbeitungsschritte vorschlägt, die durch hierfür gesondert bereitgestellte Bauteile vorgenommen werden. Insbesondere benötigt das System zusätzlich zu einer Rauschspektrumsubtraktionsvorrichtung (Vorrichtung 24 in der einzigen Figur dieses Dokuments) vorgeschaltete Mittel 20 zur Phasenverschiebung sowie Mittel 21 zur phasenrichtigen Addition von Spektren in den einzelnen Frequenzbändern (vergleiche die entsprechenden Bauteile in der einzigen Figur dieses Dokuments). Hierdurch werden das Verfahren und die zu seiner Durchführung erforderliche Vorrichtung aufwendig.
- Es ist daher Aufgabe der vorliegenden Erfindung, ein Verfahren zur Separierung von Schallsignalen von einer Mehrzahl von Schallquellen sowie eine entsprechende Vorrichtung vorzuschlagen, die durch den reinen Filterschritt eine ausreichende Qualität der Ausgangssignale erzeugen, ohne zuvor eine phasenrichtige Addition von Schallspektren in verschiedenen Frequenzbändern durchführen zu müssen, um eine zufriedenstellende Separierung zu erzielen, und die es ferner erlaubt, nicht nur Signale einer einzigen Nutzschallquelle von allen anderen Schallsignalen zu befreien, sondern grundsätzlich in der Lage ist, Schallsignale von einer Mehrzahl von Schallquellen ohne Eliminierung separat auszugeben.
- Erfindungsgemäß wird diese Aufgabe durch ein Verfahren nach Anspruch 1 bzw. eine Vorrichtung nach Anspruch 7 gelöst. Vorteilhafte Weiterbildungen der Erfindung sind in den jeweiligen Unteransprüchen definiert.
- Das erfindungsgemäße Verfahren benötigt keine Konvergenzzeit und kann mit zwei Mikrofonen mehr als zwei Schallquellen im Raum separierbaren, sofern diese in ausreichendem Maße räumlich getrennt sind. Das Verfahren stellt nur geringe Anforderungen an Speicherbedarf und Rechenleistung, und es ist sehr stabil gegenüber diffusen Störsignalen. Anders als beim herkömmlichen beam forming lassen sich solche diffusen Störungen effektiv dämpfen. Wie bei allen Zwei-Mikrofon-Verfahren sind die Raumbereiche, zwischen denen das Verfahren differenzieren kann, rotationssymmetrisch zur Mikrofon-Achse, d.h. zu der Geraden, welche durch die beiden Mikrofonpositionen definiert ist. In einem Schnitt durch den Raum, welcher die Symmetrieachse enthält, entspricht der Raumbereich, in dem sich eine Schallquelle befinden muss um als Nutzsignal betrachtet zu werden, einer Hyperbel. Der Winkel ϑ0, den der Scheitel der Hyperbel zur Symmetrieachse einnimmt, ist frei wählbar, und die Breite der Hyperbel, welche durch einen Winkel γ3db bestimmt wird, ist ebenfalls ein wählbarer Parameter. Mit nur zwei Mikrofonen lassen sich gleichzeitig Ausgangssignale zu beliebigen, verschiedenen Winkeln ϑ0 erzeugen, wobei die Trennschärfe zwischen den Bereichen mit dem Überlappungsgrad der entsprechenden Hyperbeln abnimmt. Schallquellen innerhalb einer Hyperbel werden als Nutzsignate betrachtet und mit weniger als ϑ db gedämpft. Störsignale werden in Abhängigkeit ihres Einfallswinkels ϑ eliminiert, wobei eine Dämpfung von >25db für Einfallswinkel ϑ außerhalb der Akzeptanzhyperbel erreichbar ist.
- Das Verfahren arbeitet im Frequenzbereich. Das einer Richthyperbel zuzuordnende Signalspektrum entsteht durch Multiplikation einer Korrekturfunktion K2(x1) sowie einer Filterfunktion F(f,T) mit dem Signalspektrum M(f,T) eines der Mikrofone. Die Filterfunktion entsteht durch spektrale Glättung (z.B. durch Diffusion) einer Zuordnungsfunktion Z(ϑ-ϑ0), wobei im Argument der Zuordnungsfunktion der berechnete Einfallswinkel 9 einer spektralen Signalkomponente steht. Dieser Einfallswinkel ϑ wird aus dem Phasenwinkel ϕ des komplexen Quotienten der Spektren der beiden Mikrofonsignale, M2(f,T)/M1(f,T), ermittelt, indem man ϕ mit der Schallgeschwindigkeit c multipliziert und durch 2πfd dividiert, wobei d den Mikrofonabstand bezeichnet. Das Ergebnis x1= ϕc/2πfd, welches zugleich das Argument der Korrekturfunktion K2(x1) ist, liefert nach Beschränkung x=K1(x1) auf einen Betrag kleiner oder gleich eins den Kosinus des Einfallswinkels ϑ, welcher im Argument der Zuordnungsfunktion Z(ϑ-ϑ0) steht; K1(x1) bezeichnet dabei eine weitere Korrekturfunktion.
-
- Fig. 1 zeigt die Definition des Einfallswinkels ϑ durch die Positionen beiden Mikrofone, deren Signale verarbeitet werden.
- Fig. 2 zeigt beispielhaft eine Zuordnungsfunktion Z(ϑ) mit Halbwertsbreite 2γ3db, aus welcher eine Hyperbel mit Scheitel bei ϑ=0 resultiert.
- Fig.3 zeigt eine Hyperbel mit Scheitel bei ϑ=ϑ0, die die Richtcharakteristik der Quellenseparation bestimmt. Signale innerhalb des durch die Hyperbel definierten Raumbereichs werden mit einer Dämpfung <3db als Nutzsignal ausgegeben
- Fig.4 zeigt den Aufbau des Quellenseparators, in welchem die Zeitsignale zweier Mikrofone, m1(t) und m2(t), In einer Stereo-Abstast- und -Fourier-Transformator-Einheit (20) zu Spektren M1(f,T) und M2(f,T) transformiert werden, wobei T den Zeitpunkt der Entstehung der Spektren bezeichnet. Aus den Spektren wird in der ϑ-Berechnungseinheit (30) der frequenzabhängige Einfallswinkel ϑ (f,T) sowie das korrigierte Mikrofonspektrum M(f,T) berechnet, woraus in Signalgeneratoren (40) für verschiedene Richtwinkel ϑ0 Ausgangssignale sϑ0(t) entstehen.
- Fig. 5 zeigt den Aufbau der ϑ-Berechnungseinheit (30), in welcher der Phasenwinkel ϕ(f,T) einer spektralen Komponenten des komplexen Quotienten der beiden Mikrofonspektren M1(f,T) und M2(f,T) berechnet wird, welcher sodann mit der Schallgeschwindigkeit c zu multiplizieren und durch 2πfd zu dividieren ist, wobei d den Mikrofonabstand bezeichnet. Bei dieser Operation entsteht die Größe x1 (f,T), welche das Argument der beiden Korrekturfunktionen K2 und K1 darstellt. Mit diesen Korrekturfunktionen entsteht das korrigierte Mikrofonspektrum M(f,T)=M1(f,T)*K2(x1(f,T)) sowie die Größe x(f,T)=K1(x1(f,T)), aus welcher durch Anwendung der Arcuskosinus-Funktion der Einfallswinkel ϑ(f,T) zu berechnen ist.
- Fig. 6 zeigt einen Signalgenerator, in welcher eine Zuordnungsfunktion Z(ϑ-ϑ0) mit einem einstellbaren Winkel ϑ0 durch spektrale Diffusion zu einer Filterfunktion F(f,T) geglättet wird, welche mit dem korrigierten Mikrofonspektrum M(f,T) zu multiplizieren ist. Daraus resultiert ein Ausgangsspektrum Sϑ0 (f,T), aus welchem durch inverse Fouriertransformation ein Ausgangssignal sϑ0(t) entsteht, welches die Schallsignale innerhalb des durch die Zuordnungsfunktion Z und den Winkel ϑ0 festgelegten Raumbereichs enthält.
- Fig. 7 zeigt exemplarisch die beiden Korrekturfunktionen K2(x1) und K1(x1).
- Ein Grundgedanke der Erfindung ist es, jeder spektralen Komponente des einfallenden Signals zu jedem Zeitpunkt T einen Einfallswinkel ϑ zuzuordnen und allein anhand des berechneten Einfallswinkels zu entscheiden, ob die entsprechende Schallquelle innerhalb einer gewünschten Richthyperbel liegt, oder nicht. Um die Zugehörigkeitsentscheidung etwas abzumildern, wird anstatt einer harten Ja/Nein-Entscheidung eine "weiche" Zuordnungsfunktion Z(ϑ) (Fig. 2) benutzt, die einen kontinuierlichen Übergang zwischen erwünschten und unerwünschten Einfallsrichtungen erlaubt, was sich vorteilhaft auf die Integrität der Signale auswirkt. Die Breite der Zuordnungsfunktion entspricht dann der Breite der Richthyperbel (Fig. 3). Durch Division der komplexen Spektren der beiden Mikrofonsignale wird zunächst für jede Frequenz f zu einem Zeitpunkt T die Phasendifferenz ϕ berechnet. Mit Hilfe der Schallgeschwindigkeit c und der Frequenz f der entsprechenden Signalkomponente lässt sich aus der Phasendifferenz ein Wegunterschied berechnen, der zwischen den beiden Mikrofonen liegt, wenn das Signal von einer Punktquelle ausgesandt wurde. Ist der Mikrofonabstand d bekannt, ergibt eine einfache geometrische Überlegung, dass der Quotient x1 aus Wegunterschied und Mikrofonabstand dem Kosinus des gesuchten Einfallswinkels entspricht. In der Praxis ist aufgrund von Störungen wie diffusem Störschall oder Raumhall die Annahme einer Punktquelle selten erfüllt, weshalb x1 gewöhnlich nicht auf den erwarteten Wertebereich [-1,1] beschränkt ist. Bevor der Einfallswinkel ϑ berechnetet werden kann, ist daher noch eine Korrektur erforderlich, die x1 auf das genannte Intervall beschränkt. Wurde zum Zeitpunkt T für jede Frequenz f der Einfallswinkel ϑ(f,T) bestimmt, ergibt sich das Spektrum des gewünschten Signals innerhalb einer Richthyperbel mit Scheitel beim Winkel ϑ=ϑ0 durch einfache frequenzweise Multiplikation mit dem Spektrum eines der Mikrofone, also M1(f,T)K(ϑ(f,T)- ϑ0). Unter Umständen ist es vorteilhaft, K(9(f,T)- ϑ0) vor Ausführung der Multiplikation spektral zu glätten. Eine Glättung, deren Ergebnis als Fϑ0(f,T) bezeichnet sei, erhält man z.B. durch Anwendung eines Diffusionsoperators. In Fällen, in denen durch Störeinflüsse die Größe x, die zur Berechnung des Einfallswinkels dient, außerhalb ihres Wertebereichs liegt, ist es vorteilhaft, die entsprechende spektrale Komponente des Mikrofonsignals abzuschwächen, da zu vermuten ist, dass sich Störsignale überlagert haben. Dies geschieht z.B. durch Anwendung einer Korrekturfunktion, deren Argument die Größe x1 ist. Sei M(f,T) das korrigierte Mikrofonsignal, dann schreibt sich die Erzeugung des gewünschten Signalspektrums inklusive spektraler Glättung und Korrektur als Sϑ0(f,T)=Fϑ0(f,T)M(f,T). Aus Sϑ0(f,T) ensteht durch inverse Fouriertransformation das Zeitsignal Sϑ0(t) für die entsprechende Richthyperbel mit Scheitelwinkel ϑ0.
- Anders ausgedrückt ist es eine Grundidee der Erfindung, verschiedene Schallquellen, beispielsweise den Fahrer und den Beifahrer in einem Kraftfahrzeug, räumlich voneinander zu unterscheiden und somit beispielsweise das Nutz-Sprachsignal des Fahrers vom Stör-Sprachsignal des Beifahrers zu separieren, indem man die Tatsache ausnutzt, dass diese beiden Sprachsignale, also Schallsignale, in der Regel auch bei unterschiedlichen Frequenzen vorliegen. Die erfindungsgemäß vorgesehene Frequenzanalyse erlaubt also zunächst, das Gesamt-Schallsignal in die zwei Einzel-Schallsignale (nämlich vom Fahrer und vom Beifahrer) aufzuspalten. Es muß dann "nur noch" mit Hilfe geometrischer Überlegungen anhand der jeweiligen Frequenz jedes der beiden Schallsignale und der zu ermittelnden Phasendifferenz zwischen dem Ausgangssignal des Mikrofons 1 und des Mikrofons 2, die jeweils diesem Schallsignal zugeordnet sind, die Einfallsrichtung jedes der beiden Schallsignale berechnet werden. Da die Geometrie zwischen beispielsweise der Position des Fahrers, der Position des Beifahrers und der Position der Mikrofone, etwa in einer Freisprecheinrichtung im Kraftfahrzeug, bekannt ist, kann dann das weiter zu verarbeitende Nutz-Schallsignal aufgrund seines anderen Einfallswinkels vom Stör-Schallsignal separiert werden.
- Es folgt ein detailliertes Ausführungsbeispiel der Erfindung, das anhand der Abbildungen beschrieben wird.
- Die Zeitsignale m1(t) und m2(t) zweier Mikrofone, die einen festen Abstand d zueinander haben, werden einem Rechenwerk (10) zugeführt (Fig. 4), wo sie in einer Stereo-Abtast- und -Fourier-Transformator-Einheit (20) mit einer Abtastrate fA diskretisiert und digitalisiert werden. Eine Folge von a Abtastwerten jeweils eines der Mikrofonsignale m1(t) und m2(t) wird durch Fourier-Transformation zum komplexwertigen Spektrum M1(f,T) bzw. M2(f,T) transformiert, wobei f die Frequenz der jeweiligen Signalkomponente bezeichnet, und T den Zeitpunkt der Entstehung eines Spektrums angibt. Für die praktische Anwendung ist folgende Parameterwahl geeignet: fA =11025 Hz, a=256, T a/2=t. Wenn Rechenleistung und Speicherplatz es erlauben, ist jedoch a=1024 zu bevorzugen. Der Mikrofonabstand d sollte kleiner sein als die halbe Wellenlänge der höchsten zu verarbeitenden Frequenz, welche sich aus der Abtastfrequenz ergibt, d.h. d < c/4fA. Für die oben angegebene Parameterwahl eignet sich ein Mikrofonabstand d = 20 mm.
- Die Spektren M1(f,T) und M2(f,T) werden einer ϑ-Berechnungseinheit mit Spektrum-Korrektur (30) zugeführt, die aus den Spektren M1(f,T) und M2(f,T) einen Einfallswinkel ϑ(f,T) berechnet, der angibt, aus welcher Richtung relativ zur Mikrofonachse eine Signalkomponente mit Frequenz f zum Zeitpunkt T in die Mikrofone einfällt (Fig.1). Dazu wird M2(f,T) durch M1(f,T) komplex dividiert. ϕ(f,T) bezeichne den Phasenwinkel dieses Quotienten. Wo Verwechslungen ausgeschlossen sind, wird im folgenden das Argument (f,T) der zeit- und frequenzabhängigen Größen fortgelassen. Die genaue Rechenvorschrift zur Bestimmung von ϕ lautet gemäß der Eulerschen Formel und den Rechenregeln für komplexe Zahlen:
wobei Re1 und Re2 die Realteile und Im1 und Im2 die Imaginärteile von M1 bzw. M2 bezeichnen. Die Größe x1=ϕc/2πfd entsteht mit Hilfe der Schallgeschwindigkeit c aus dem Winkel ϕ, auch x1 ist frequenz- und zeitabhängig: x1=x1(f,T). Der Wertebereich von x1 muss in der Praxis mit Hilfe einer Korrekturfunktion x=K1 (x1) (Fig. 7) auf das Intervall [-1,1] beschränkt werden. Auf die so berechnete Größe x wird durch Anwendung der Arcuskosinus-Funktion ein Einfallswinkel ϑ der betrachteten Signalkomponente errechnet, welcher von der Mikrofonachse zu messen ist, d.h. von der durch die Positionen der beiden Mikrofone definierten Geraden (Fig. 1). Unter Berücksichtigung aller Abhängigkeiten lautet damit der Einfallswinkel einer Signalkomponente mit Frequenz f zum Zeitpunkt T: ϑ(f,t)=arccos(x(f,T)). Des weiteren wird mit Hilfe einer zweiten Korrekturfunktion K2(x1) das Mikrofonspektrum korrigiert (Fig. 7): M(f,T)=K2(x1)M1(f,T). Diese Korrektur dient dazu, in Fällen, in denen die erste Korrekturfunktion greift, die entsprechende Signalkomponente zu reduzieren, da zu vermuten ist, dass sich Störungen überlagert haben, die das Signal verfälschen. Die zweite Korrektur ist optional, alternativ kann auch M(f,T)=M1(f,T) gewählt werden; M(f,T)=M2(f,T) ist ebenfalls möglich. - Das Spektrum M(f,T) wird zusammen mit dem Winkel ϑ(f,T) einem oder mehreren Signalgeneratoren (40) zugeführt, wo mit Hilfe einer Zuordnungsfunktion Z(ϑ) (Fig. 2) und einem wählbaren Winkel ϑ0 jeweils ein auszugebendes Signal sϑ0(t) entsteht. Dies geschieht, indem zu einem Zeitpunkt T jede spektrale Komponente des Spektrums M(f,T) mit der entsprechenden Komponente eines ϑ0-spezifischen Filters Fϑ0(f,T) multipliziert wird. Fϑ0(f,T) entsteht durch spektrale Glättung von Z(ϑ-ϑ0). Diese Glättung erfolgt z.B. durch spektrale Diffusion:
-
- Der auftretende Quotient fA/a aus Abtastrate fA und Anzahl a der Abtastwerte entspricht dem Abstand zweier Frequenzen im diskreten Spektrum. Durch Anwendung des so erzeugten Filters Fϑ0(f,T) entsteht ein Spektrum Sϑ0(f,T)=Fϑ0(f,T)M(f,T), welches durch inverse Fouriertransformation in das Zeitsignal Sϑ0(t) übergeht.
- Das von einem Signalgenerator (40) auszugebene Signal sϑ0(t) entspricht dem Schallsignal innerhalb desjenigen Raumbereichs, der durch die Zuordnungsfunktion Z(ϑ) und den Winkel ϑ0 definiert ist. Der Einfachheit halber wird in der gewählten Nomenklatur für verschiedene Signalgeneratoren nur von einer Zuordnungsfunktion Z(ϑ) ausgegangen, verschiedene Signalgeneratoren benutzen lediglich verschiedene Winkel ϑ0. Praktisch spricht natürlich nichts dagegen, in jedem Signalgenerator auch eine eigene Form der Zuordnungsfunktion zu wählen. Die Anwendung von Zuordnungsfunktionen, welche über die Zugehörigkeit von Signalkomponenten zu verschiedenen Raumbereichen entscheiden, ist einer der zentralen Gedanken der Erfindung. Eine Zuordnungsfunktion muss eine gerade Funktion sein, geeignete Funktionen sind z.B. Z(ϑ)=((1+cosϑ)/2)n mit einem Parameter n>0. Der Raumbereich, in welchem Signale mit weniger als 3db gedämpft werden, entspricht einer Hyperbel mit Öffnungswinkel 2γ3db (Fig. 3) und Scheitel bei dem Winkel ϑ0. Hierbei entspricht 2γ3db dem Halbwertswinkel der Zuordnungsfunktion Z(ϑ) (Fig. 2), mit der angegebenen Formel für die Zuordnungsfunktion gilt γ3db=arc cos(21-1/n-1). Bei diesen zweidimensionalen geometrischen Überlegungen ist zu beachten, dass der tatsächliche Bereich des dreidimensionalen Raums, aus welchem mit dem beschriebenen Verfahren Schallsignale extrahiert werden, ein Rotationshyperboloid ist, der durch Rotation der beschriebene Hyperbel um die Mikrofonachse entsteht.
- Selbstverständlich ist die vorliegende Erfindung nicht auf den Einsatz in Kraftfahrzeugen und Freisprecheinrichtungen beschränkt: Weitere Anwendungen sind Konferenz-Telefonanlagen, bei denen mehrere Richthyperbeln in verschiedene Raumrichtungen gelegt werden, um die Sprachsignale einzelner Personen zu extrahieren und Rückkopplungen bzw. Echo-Effekte zu vermeiden. Des weiteren lässt sich das Verfahren mit einer Kamera kombinieren, wobei die Richthyperbel stets in die gleiche Richtung blickt wie die Kamera, und so nur aus dem Bildbereich kommende Schallsignale aufgezeichnet werden. In Bildtelefonsystemen ist mit der Kamera zugleich ein Monitor verbunden, in den die Mikrofonanordnung ebenfalls eingebaut werden kann, um eine Richthyperbel senkrecht zur Monitor-Oberfläche zu generieren, denn es ist zu erwarten, dass sich der Sprecher vor dem Monitor befindet.
- Eine ganz andere Klasse von Anwendungen ergibt sich, wenn man anstatt des auszugebenden Signals den ermittelten Einfallswinkel ϑ auswertet, indem man z.B. zu einem Zeitpunkt T über Frequenzen f mittelt. Ein solche ϑ(T)-Auswertung kann zu Überwachungszwecken benutzt werden, wenn innerhalb eines ansonsten ruhigen Raums die Position einer Schallquelle geortet werden soll.
- Das richtige "Ausschneiden" des gewünschten Bereichs entsprechend dem zu separierenden Nutz-Schallsignal aus einem Mikrofonspektrum muss nicht, wie in Figur 6 beispielhaft gezeigt, durch Multiplikation mit einer Filterfunktion erfolgen, deren Zuordnungsfunktion den in Figur 2 gezeigten beispielhaften Verlauf hat. Jede andere Art der Verknüpfung des Mikrofonspektrums mit einer Filterfunktion ist geeignet, solange diese Filterfunktion und diese Verknüpfung dazu führen, dass Werte im Mikrofonspektrum umso stärker "gedämpft" werden, je weiter ihr zugeordneter Einfallswinkel ϑ vom bevorzugten Einfallswinkel ϑ0 (beispielsweise der Richtung des Fahrers im Kraftfahrzeug) entfernt ist.
-
- 10
- Rechenwerk zur Durchführung der erfindungsgemäßen Verfahrensschritte
- 20
- Stereo-Abtast- und -Fourier-Transformator Einheit
- 30
- ϑ-Berechnungseinheit
- 40
- Signalgenerator
- a
- Anzahl der Abtastwerte, die zu Spektren M1 bzw. M2 transformiert werden
- d
- Mikrofonabstand
- D
- Diffusionskonstante, wählbarer Parameter größer oder gleich Null
- A2 f
- Diffusionsoperator
- f
- Frequenz
- fA
- Abtastrate
- K1
- erste Korrekturfunktion
- K2
- zweite Korrekturfunktion
- m1 (t)
- Zeitsignal des ersten Mikrofons
- m2(t)
- Zeitsignal des zweiten Mikrofons
- M1 (f,T)
- Spektrum zum Zeitpunkt T des ersten Mikrofonsignals
- M2(f,T)
- Spektrum zum Zeitpunkt T des zweiten Mikrofonsignals
- M(f,t)
- Spektrum zum Zeitpunkt T des korrigierten Mikrofonsignals
- Sϑ0(t)
- erzeugtes Zeitsignal, entsprechend einem Winkel ϑ0 der Richthyperbel
- Sϑ0(f,T)
- Spektrum des Signals sϑ0(t)
- γ3db
- Winkel, welcher die Halbwertsbreite einer Zuordnungsfunktion Z(ϑ) bestimmt
- ϕ
- Phasenwinkel des komplexen Quotienten M2/M1
- ϑ(f,T)
- Einfallswinkel einer Signalkomponente, gemessen von der Mikrofonachse
- ϑ0
- Winkel des Scheitels einer Richthyperbel, Parameter in Z(ϑ-ϑ0)
- x, x1
- Zwischengrößen bei der ϑ-Berechnung
- t
- Zeitbasis der Signalabtastung
- T
- Zeitbasis der Spektrumerzeugung
- Z(ϑ)
- Zuordnungsfunktion
Claims (9)
- Verfahren zur Separierung von Schallsignalen von einer Mehrzahl von Schallquellen (S1, S2), umfassend die Schritte:- Anordnen von zwei Mikrofonen (MIK1, MIK2) in einem vorbestimmten Abstand (d) zueinander;- Erfassen der Schallsignale mit beiden Mikrofonen (MIK1, MIK2) und Erzeugen zugeordneter Mikrofonsignale (m1, m2); und- Separieren des Schallsignals einer der Schallquellen (S1) von den Schallsignalen der anderen Schallquellen (S2) basierend auf den Mikrofonsignalen (m1, m2),wobei der Schritt des Separierens die Schritte umfaßt:- Fourier-Transformieren der Mikrofonsignale zur Ermittlung ihrer Frequenzspektren (M1, M2);- Bestimmen der Phasendifferenz (ϕ) zwischen den beiden Mikrofonsignalen (m1, m2) für jede Frequenzkomponente ihrer Frequenzspektren (M1, M2);- Bestimmen des Einfallswinkels (ϑ) jedes einer Frequenz der Frequenzspektren (M1, M2) zugeordneten Schallsignals basierend auf der Phasendifferenz (ϕ) und der Frequenz;- Erzeugen eines Signalspektrums (S) eines auszugebenden Signals durch Verknüpfen eines der beiden Frequenzspektren (M1, M2) mit einer Filterfunktion (Fϑ0), die derart gewählt ist, dass Schallsignale aus einer Umgebung (γ3dB) um einen bevorzugten Einfallswinkel (ϑ0) herum relativ zu Schallsignalen von außerhalb dieser Umgebung (γ3dB) verstärkt werden; und- inverses Fourier-Transformieren des derart erzeugten Signalspektrums, dadurch gekennzeichnet, dass die Filterfunktion (Fϑ0) ϑ-abhängig ist undunter Variation von ϑ ein Maximum bei dem bevorzugten Einfallswinkel (ϑ0) aufweist, und die Verknüpfung der Filterfunktion (Fϑ0) mit einem der beiden Frequenzspektren eine Multiplikation derselben umfasst.
- Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Filterfunktion (Fϑ0) die Form aufweist:
wobei
f die jeweilige Frequenz
T der Zeitpunkt der Ermittlung der Frequenzspektren (M1, M2)
Z(ϑ-ϑ0) eine gerade Zuordnungsfunktion mit Maximum bei ϑ0
D ≥ 0 eine Diffusionskonstante, und
Δ2 f ein diskreter Diffusionsoperator derart ist, dass
wobei fA die Abtastrate beim Fourier-Transformieren, und a die Anzahl der Abtastwerte darstellen. - Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass die Bestimmung des Einfallswinkels ϑ über die Beziehung
erfolgt mit
für werte von x1 im Bereich [-1, 1]
wobei
ϕ die Phasendifferenz zwischen den beiden Mikrofonsignalkomponenten (M1, M2)
c die Schallgeschwindigkeit
f die Frequenz der Schallsignalkomponente und
d der vorbestimmte Abstand der beiden Mikrofone (MIK1, MIK2) ist. - Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass es ferner den Schritt umfasst:Begrenzen des Werts von x1(f,T) auf das Intervall [-1, 1].
- Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass es ferner den Schritt umfasst:Reduzieren von Signalkomponenten, für die der Wert von x1(f,T) vor der Begrenzung außerhalb des Intervalls [-1,1] lag.
- Vorrichtung zur Durchführung des Verfahrens nach einem der Ansprüche 1 bis 6, umfassend:- zwei Mikrofone (MIK1, MIK2);- eine an die Mikrofone angeschlossene Abtast- und Fourier-Transformationseinheit (20) zum Diskretisieren, Digitalisieren und Fourier-Transformieren der Mikrofonsignale (m1, m2);- eine an die Abtast- und Fourier-Transformationseinheit (20) angeschlossene Berechnungseinheit (30) zur Berechnung des Einfallswinkels (ϑ) jeder Schallsignalkomponente; und- wenigstens einen an die Berechnungseinheit (30) angeschlossenen Signalgenerator (40) zur Ausgabe des separierten Schallsignals, wobei der wenigstens eine Signalgenerator (40) Mittel zum Multiplizieren einer der Fourier-Transformierten (M1, M2) mit einer Filterfunktion (Fϑ0) umfasst, die ϑ-abhängig ist und unter Variation von ϑ ein Maximum bei einem bevorzugten Einfallswinkel (ϑ0) aufweist.
- Vorrichtung nach Anspruch 7 oder 8, dadurch gekennzeichnet, dass die Vorrichtung für jede zu separierende Schallquelle (S1, S2) einen Signalgenerator (40) umfaßt.
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102004005998A DE102004005998B3 (de) | 2004-02-06 | 2004-02-06 | Verfahren und Vorrichtung zur Separierung von Schallsignalen |
DE102004005998 | 2004-02-06 | ||
PCT/EP2005/050386 WO2005076659A1 (de) | 2004-02-06 | 2005-01-31 | Verfahren und vorrichtung zur separierung von schallsignalen |
Publications (2)
Publication Number | Publication Date |
---|---|
EP1595427A1 EP1595427A1 (de) | 2005-11-16 |
EP1595427B1 true EP1595427B1 (de) | 2006-12-13 |
Family
ID=34485667
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
EP05707893A Active EP1595427B1 (de) | 2004-02-06 | 2005-01-31 | Verfahren und vorrichtung zur separierung von schallsignalen |
Country Status (5)
Country | Link |
---|---|
US (1) | US7327852B2 (de) |
EP (1) | EP1595427B1 (de) |
AT (1) | ATE348492T1 (de) |
DE (2) | DE102004005998B3 (de) |
WO (1) | WO2005076659A1 (de) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE202008016880U1 (de) | 2008-12-19 | 2009-03-12 | Hörfabric GmbH | Digitales Hörgerät mit getrennter Ohrhörer-Mikrofon-Einheit |
DE202010013508U1 (de) | 2010-09-22 | 2010-12-09 | Hörfabric GmbH | Software-definiertes Hörgerät |
EP2296356A2 (de) | 2009-09-11 | 2011-03-16 | Dietmar Ruwisch | Verfahren und Vorrichtung zur Analyse und Abstimmung akustischer Eigenschaften einer Kfz-Freisprecheinrichtung |
EP2362681A1 (de) | 2010-02-15 | 2011-08-31 | Dietmar Ruwisch | Verfahren und Vorrichtung zum phasenabhängigen Verarbeiten von Schallsignalen |
Families Citing this family (58)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100959983B1 (ko) * | 2005-08-11 | 2010-05-27 | 아사히 가세이 가부시키가이샤 | 음원 분리 장치, 음성 인식 장치, 휴대 전화기, 음원 분리방법, 및, 프로그램 |
US20070050441A1 (en) * | 2005-08-26 | 2007-03-01 | Step Communications Corporation,A Nevada Corporati | Method and apparatus for improving noise discrimination using attenuation factor |
US20070047742A1 (en) * | 2005-08-26 | 2007-03-01 | Step Communications Corporation, A Nevada Corporation | Method and system for enhancing regional sensitivity noise discrimination |
US20070047743A1 (en) * | 2005-08-26 | 2007-03-01 | Step Communications Corporation, A Nevada Corporation | Method and apparatus for improving noise discrimination using enhanced phase difference value |
US7472041B2 (en) * | 2005-08-26 | 2008-12-30 | Step Communications Corporation | Method and apparatus for accommodating device and/or signal mismatch in a sensor array |
US7619563B2 (en) * | 2005-08-26 | 2009-11-17 | Step Communications Corporation | Beam former using phase difference enhancement |
US7415372B2 (en) * | 2005-08-26 | 2008-08-19 | Step Communications Corporation | Method and apparatus for improving noise discrimination in multiple sensor pairs |
JP4912036B2 (ja) * | 2006-05-26 | 2012-04-04 | 富士通株式会社 | 指向性集音装置、指向性集音方法、及びコンピュータプログラム |
US20080001809A1 (en) * | 2006-06-30 | 2008-01-03 | Walter Gordon Woodington | Detecting signal interference in a vehicle system |
JP5494492B2 (ja) * | 2008-11-27 | 2014-05-14 | 日本電気株式会社 | 信号補正装置 |
DK2236076T3 (da) | 2009-03-30 | 2018-01-15 | Hoffmann La Roche | Fremgangsmåde og system til bestemmelse af differencen mellem præ- og postprandiale blodsukkerværdier |
FR2948484B1 (fr) * | 2009-07-23 | 2011-07-29 | Parrot | Procede de filtrage des bruits lateraux non-stationnaires pour un dispositif audio multi-microphone, notamment un dispositif telephonique "mains libres" pour vehicule automobile |
FR2950461B1 (fr) * | 2009-09-22 | 2011-10-21 | Parrot | Procede de filtrage optimise des bruits non stationnaires captes par un dispositif audio multi-microphone, notamment un dispositif telephonique "mains libres" pour vehicule automobile |
US9310503B2 (en) * | 2009-10-23 | 2016-04-12 | Westerngeco L.L.C. | Methods to process seismic data contaminated by coherent energy radiated from more than one source |
DE102009052992B3 (de) * | 2009-11-12 | 2011-03-17 | Institut für Rundfunktechnik GmbH | Verfahren zum Abmischen von Mikrofonsignalen einer Tonaufnahme mit mehreren Mikrofonen |
US20120249797A1 (en) | 2010-02-28 | 2012-10-04 | Osterhout Group, Inc. | Head-worn adaptive display |
US9759917B2 (en) | 2010-02-28 | 2017-09-12 | Microsoft Technology Licensing, Llc | AR glasses with event and sensor triggered AR eyepiece interface to external devices |
US10180572B2 (en) | 2010-02-28 | 2019-01-15 | Microsoft Technology Licensing, Llc | AR glasses with event and user action control of external applications |
US9129295B2 (en) | 2010-02-28 | 2015-09-08 | Microsoft Technology Licensing, Llc | See-through near-eye display glasses with a fast response photochromic film system for quick transition from dark to clear |
US9128281B2 (en) | 2010-09-14 | 2015-09-08 | Microsoft Technology Licensing, Llc | Eyepiece with uniformly illuminated reflective display |
EP2539759A1 (de) * | 2010-02-28 | 2013-01-02 | Osterhout Group, Inc. | Lokaler werbeinhalt auf einem interaktiven kopfmontierten okular |
US8477425B2 (en) | 2010-02-28 | 2013-07-02 | Osterhout Group, Inc. | See-through near-eye display glasses including a partially reflective, partially transmitting optical element |
US8482859B2 (en) | 2010-02-28 | 2013-07-09 | Osterhout Group, Inc. | See-through near-eye display glasses wherein image light is transmitted to and reflected from an optically flat film |
US9223134B2 (en) | 2010-02-28 | 2015-12-29 | Microsoft Technology Licensing, Llc | Optical imperfections in a light transmissive illumination system for see-through near-eye display glasses |
US8467133B2 (en) | 2010-02-28 | 2013-06-18 | Osterhout Group, Inc. | See-through display with an optical assembly including a wedge-shaped illumination system |
US9097891B2 (en) | 2010-02-28 | 2015-08-04 | Microsoft Technology Licensing, Llc | See-through near-eye display glasses including an auto-brightness control for the display brightness based on the brightness in the environment |
US20110214082A1 (en) * | 2010-02-28 | 2011-09-01 | Osterhout Group, Inc. | Projection triggering through an external marker in an augmented reality eyepiece |
US9341843B2 (en) | 2010-02-28 | 2016-05-17 | Microsoft Technology Licensing, Llc | See-through near-eye display glasses with a small scale image source |
US8488246B2 (en) | 2010-02-28 | 2013-07-16 | Osterhout Group, Inc. | See-through near-eye display glasses including a curved polarizing film in the image source, a partially reflective, partially transmitting optical element and an optically flat film |
US9366862B2 (en) | 2010-02-28 | 2016-06-14 | Microsoft Technology Licensing, Llc | System and method for delivering content to a group of see-through near eye display eyepieces |
US9285589B2 (en) | 2010-02-28 | 2016-03-15 | Microsoft Technology Licensing, Llc | AR glasses with event and sensor triggered control of AR eyepiece applications |
US9091851B2 (en) | 2010-02-28 | 2015-07-28 | Microsoft Technology Licensing, Llc | Light control in head mounted displays |
US9097890B2 (en) | 2010-02-28 | 2015-08-04 | Microsoft Technology Licensing, Llc | Grating in a light transmissive illumination system for see-through near-eye display glasses |
US20150309316A1 (en) | 2011-04-06 | 2015-10-29 | Microsoft Technology Licensing, Llc | Ar glasses with predictive control of external device based on event input |
US9229227B2 (en) | 2010-02-28 | 2016-01-05 | Microsoft Technology Licensing, Llc | See-through near-eye display glasses with a light transmissive wedge shaped illumination system |
US9182596B2 (en) | 2010-02-28 | 2015-11-10 | Microsoft Technology Licensing, Llc | See-through near-eye display glasses with the optical assembly including absorptive polarizers or anti-reflective coatings to reduce stray light |
US8472120B2 (en) | 2010-02-28 | 2013-06-25 | Osterhout Group, Inc. | See-through near-eye display glasses with a small scale image source |
US9134534B2 (en) | 2010-02-28 | 2015-09-15 | Microsoft Technology Licensing, Llc | See-through near-eye display glasses including a modular image source |
US9552840B2 (en) | 2010-10-25 | 2017-01-24 | Qualcomm Incorporated | Three-dimensional sound capturing and reproducing with multi-microphones |
US8855341B2 (en) | 2010-10-25 | 2014-10-07 | Qualcomm Incorporated | Systems, methods, apparatus, and computer-readable media for head tracking based on recorded sound signals |
US9031256B2 (en) | 2010-10-25 | 2015-05-12 | Qualcomm Incorporated | Systems, methods, apparatus, and computer-readable media for orientation-sensitive recording control |
US8175297B1 (en) | 2011-07-06 | 2012-05-08 | Google Inc. | Ad hoc sensor arrays |
EP2590165B1 (de) | 2011-11-07 | 2015-04-29 | Dietmar Ruwisch | Verfahren und Vorrichtung zur Erzeugung eines rauschreduzierten Audiosignals |
US9330677B2 (en) | 2013-01-07 | 2016-05-03 | Dietmar Ruwisch | Method and apparatus for generating a noise reduced audio signal using a microphone array |
US9497528B2 (en) * | 2013-11-07 | 2016-11-15 | Continental Automotive Systems, Inc. | Cotalker nulling based on multi super directional beamformer |
US9431013B2 (en) * | 2013-11-07 | 2016-08-30 | Continental Automotive Systems, Inc. | Co-talker nulling for automatic speech recognition systems |
EP2928211A1 (de) * | 2014-04-04 | 2015-10-07 | Oticon A/s | Selbstkalibrierung eines Multimikrofongeräuschunterdrückungssystems für Hörgeräte mit einer zusätzlichen Vorrichtung |
JP2015222847A (ja) * | 2014-05-22 | 2015-12-10 | 富士通株式会社 | 音声処理装置、音声処理方法および音声処理プログラム |
CN107785028B (zh) * | 2016-08-25 | 2021-06-18 | 上海英波声学工程技术股份有限公司 | 基于信号自相关的语音降噪方法及装置 |
EP3764660B1 (de) | 2019-07-10 | 2023-08-30 | Analog Devices International Unlimited Company | Signalverarbeitungsverfahren und systeme für adaptive strahlenformung |
EP3764359A1 (de) | 2019-07-10 | 2021-01-13 | Analog Devices International Unlimited Company | Signalverarbeitungsverfahren und systeme für mehrfokusstrahlformung |
EP3764358B1 (de) | 2019-07-10 | 2024-05-22 | Analog Devices International Unlimited Company | Signalverarbeitungsverfahren und -systeme zur strahlformung mit windblasschutz |
EP3764664A1 (de) | 2019-07-10 | 2021-01-13 | Analog Devices International Unlimited Company | Signalverarbeitungsverfahren und systeme zur strahlformung mit mikrofontoleranzkompensation |
EP3764360B1 (de) | 2019-07-10 | 2024-05-01 | Analog Devices International Unlimited Company | Signalverarbeitungsverfahren und -systeme zur strahlformung mit verbessertem signal/rauschen-verhältnis |
DE102019134541A1 (de) * | 2019-12-16 | 2021-06-17 | Sennheiser Electronic Gmbh & Co. Kg | Verfahren zur Steuerung eines Mikrofonarrays und Vorrichtung zur Steuerung eines Mikrofonarrays |
US11546689B2 (en) | 2020-10-02 | 2023-01-03 | Ford Global Technologies, Llc | Systems and methods for audio processing |
CN113449255B (zh) * | 2021-06-15 | 2022-11-11 | 电子科技大学 | 一种改进的稀疏约束下环境分量相位角估计方法、设备及存储介质 |
CN117935837B (zh) * | 2024-03-25 | 2024-05-24 | 中国空气动力研究与发展中心计算空气动力研究所 | 一种时域多声源定位及噪声处理方法 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FR2687496B1 (fr) * | 1992-02-18 | 1994-04-01 | Alcatel Radiotelephone | Procede de reduction de bruit acoustique dans un signal de parole. |
US5774562A (en) * | 1996-03-25 | 1998-06-30 | Nippon Telegraph And Telephone Corp. | Method and apparatus for dereverberation |
US6130949A (en) | 1996-09-18 | 2000-10-10 | Nippon Telegraph And Telephone Corporation | Method and apparatus for separation of source, program recorded medium therefor, method and apparatus for detection of sound source zone, and program recorded medium therefor |
US6654719B1 (en) * | 2000-03-14 | 2003-11-25 | Lucent Technologies Inc. | Method and system for blind separation of independent source signals |
AUPR141200A0 (en) * | 2000-11-13 | 2000-12-07 | Symons, Ian Robert | Directional microphone |
WO2002061732A1 (en) * | 2001-01-30 | 2002-08-08 | Thomson Licensing S.A. | Geometric source separation signal processing technique |
-
2004
- 2004-02-06 DE DE102004005998A patent/DE102004005998B3/de not_active Expired - Fee Related
-
2005
- 2005-01-31 EP EP05707893A patent/EP1595427B1/de active Active
- 2005-01-31 AT AT05707893T patent/ATE348492T1/de active
- 2005-01-31 US US10/557,754 patent/US7327852B2/en active Active
- 2005-01-31 DE DE502005000226T patent/DE502005000226D1/de active Active
- 2005-01-31 WO PCT/EP2005/050386 patent/WO2005076659A1/de active IP Right Grant
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE202008016880U1 (de) | 2008-12-19 | 2009-03-12 | Hörfabric GmbH | Digitales Hörgerät mit getrennter Ohrhörer-Mikrofon-Einheit |
EP2296356A2 (de) | 2009-09-11 | 2011-03-16 | Dietmar Ruwisch | Verfahren und Vorrichtung zur Analyse und Abstimmung akustischer Eigenschaften einer Kfz-Freisprecheinrichtung |
DE102009029367A1 (de) | 2009-09-11 | 2011-09-15 | Dietmar Ruwisch | Verfahren und Vorrichtung zur Analyse und Abstimmung akustischer Eigenschaften einer Kfz-Freisprecheinrichtung |
EP2296356A3 (de) * | 2009-09-11 | 2012-05-02 | Dietmar Ruwisch | Verfahren und Vorrichtung zur Analyse und Abstimmung akustischer Eigenschaften einer Kfz-Freisprecheinrichtung |
EP2362681A1 (de) | 2010-02-15 | 2011-08-31 | Dietmar Ruwisch | Verfahren und Vorrichtung zum phasenabhängigen Verarbeiten von Schallsignalen |
DE102010001935A1 (de) | 2010-02-15 | 2012-01-26 | Dietmar Ruwisch | Verfahren und Vorrichtung zum phasenabhängigen Verarbeiten von Schallsignalen |
DE202010013508U1 (de) | 2010-09-22 | 2010-12-09 | Hörfabric GmbH | Software-definiertes Hörgerät |
Also Published As
Publication number | Publication date |
---|---|
US20070003074A1 (en) | 2007-01-04 |
ATE348492T1 (de) | 2007-01-15 |
WO2005076659A1 (de) | 2005-08-18 |
DE102004005998B3 (de) | 2005-05-25 |
US7327852B2 (en) | 2008-02-05 |
EP1595427A1 (de) | 2005-11-16 |
DE502005000226D1 (de) | 2007-01-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP1595427B1 (de) | Verfahren und vorrichtung zur separierung von schallsignalen | |
EP2362681B1 (de) | Verfahren und Vorrichtung zum phasenabhängigen Verarbeiten von Schallsignalen | |
DE60125553T2 (de) | Verfahren zur interferenzunterdrückung | |
DE69124005T2 (de) | Sprachsignalverarbeitungsvorrichtung | |
DE102006027673A1 (de) | Signaltrenner, Verfahren zum Bestimmen von Ausgangssignalen basierend auf Mikrophonsignalen und Computerprogramm | |
EP3375204B1 (de) | Audiosignalverarbeitung in einem fahrzeug | |
EP1771034A2 (de) | Mikrofonkalibrierung bei einem RGSC-Beamformer | |
EP2405673B1 (de) | Verfahren zum Lokalisieren einer Audioquelle und mehrkanaliges Hörsystem | |
DE102010026884B4 (de) | Verfahren zum Betreiben einer Hörvorrichtung mit zweistufiger Transformation | |
DE102014002899A1 (de) | Verfahren, Vorrichtung und Herstellung zur Zwei-Mikrofon-Array-Sprachverbesserung für eine Kraftfahrzeugumgebung | |
EP2919485B1 (de) | Übertragung eines windreduzierten Signals mit verminderter Latenzzeit | |
DE112012006780T5 (de) | Strahlformungsvorrichtung | |
DE10327890A1 (de) | Verfahren zum Betrieb eines Hörhilfegerätes sowie Hörhilfegerät mit einem Mikrofonsystem, bei dem unterschiedliche Richtcharakteristiken einstellbar sind | |
WO2015049334A1 (de) | Verfahren und vorrichtung zum downmixen eines multikanalsignals und zum upmixen eines downmixsignals | |
DE102004053790A1 (de) | Verfahren zur Erzeugung von Stereosignalen für getrennte Quellen und entsprechendes Akustiksystem | |
EP3926982A2 (de) | Verfahren zur richtungsabhängigen rauschunterdrückung für ein hörsystem, welches eine hörvorrichtung umfasst | |
DE102008017550A1 (de) | Mehrstufiges Schätzverfahren zur Störgeräuschreduktion und Hörvorrichtung | |
DE102015204253B4 (de) | Verfahren zur frequenzabhängigen Rauschunterdrückung eines Eingangssignals sowie Hörgerät | |
EP2161949A2 (de) | Verfahren zum Betrieb einer Hörvorrichtung mit Richtwirkung und zugehörige Hörvorrichtung | |
DE102018117558A1 (de) | Adaptives nachfiltern | |
WO2001047335A2 (de) | Verfahren zur elimination von störsignalanteilen in einem eingangssignal eines auditorischen systems, anwendung des verfahrens und ein hörgerät | |
WO2007036443A1 (de) | Verfahren zur aktiven geräuschverminderung und eine vorrichtung zur durchführung des verfahrens | |
EP1123638A2 (de) | Vorrichtung und verfahren zur qualitätsbeurteilung von mehrkanaligen audiosignalen | |
EP2219389B1 (de) | Vorrichtung und Verfahren zur Störgeräuschschätzung bei einer binauralen Hörgeräteversorgung | |
DE102018117556B4 (de) | Einzelkanal-rauschreduzierung |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PUAI | Public reference made under article 153(3) epc to a published international application that has entered the european phase |
Free format text: ORIGINAL CODE: 0009012 |
|
17P | Request for examination filed |
Effective date: 20050912 |
|
AK | Designated contracting states |
Kind code of ref document: A1 Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LI LT LU MC NL PL PT RO SE SI SK TR |
|
AX | Request for extension of the european patent |
Extension state: AL BA HR LV MK YU |
|
GRAP | Despatch of communication of intention to grant a patent |
Free format text: ORIGINAL CODE: EPIDOSNIGR1 |
|
RIC1 | Information provided on ipc code assigned before grant |
Ipc: H04R 3/00 19680901AFI20051118BHEP |
|
GRAS | Grant fee paid |
Free format text: ORIGINAL CODE: EPIDOSNIGR3 |
|
GRAA | (expected) grant |
Free format text: ORIGINAL CODE: 0009210 |
|
AK | Designated contracting states |
Kind code of ref document: B1 Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LI LT LU MC NL PL PT RO SE SI SK TR |
|
DAX | Request for extension of the european patent (deleted) | ||
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: IT Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT;WARNING: LAPSES OF ITALIAN PATENTS WITH EFFECTIVE DATE BEFORE 2007 MAY HAVE OCCURRED AT ANY TIME BEFORE 2007. THE CORRECT EFFECTIVE DATE MAY BE DIFFERENT FROM THE ONE RECORDED. Effective date: 20061213 Ref country code: FI Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20061213 Ref country code: PL Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20061213 Ref country code: SK Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20061213 Ref country code: DK Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20061213 Ref country code: NL Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20061213 Ref country code: LT Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20061213 Ref country code: RO Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20061213 Ref country code: CZ Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20061213 Ref country code: SI Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20061213 |
|
REG | Reference to a national code |
Ref country code: GB Ref legal event code: FG4D Free format text: NOT ENGLISH |
|
REG | Reference to a national code |
Ref country code: CH Ref legal event code: EP |
|
REG | Reference to a national code |
Ref country code: IE Ref legal event code: FG4D Free format text: LANGUAGE OF EP DOCUMENT: GERMAN |
|
REF | Corresponds to: |
Ref document number: 502005000226 Country of ref document: DE Date of ref document: 20070125 Kind code of ref document: P |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: MC Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20070131 |
|
GBT | Gb: translation of ep patent filed (gb section 77(6)(a)/1977) |
Effective date: 20070209 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: BG Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20070313 Ref country code: SE Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20070313 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: ES Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20070324 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: IS Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20070413 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: PT Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20070514 |
|
NLV1 | Nl: lapsed or annulled due to failure to fulfill the requirements of art. 29p and 29m of the patents act | ||
EN | Fr: translation not filed | ||
PLBE | No opposition filed within time limit |
Free format text: ORIGINAL CODE: 0009261 |
|
STAA | Information on the status of an ep patent application or granted ep patent |
Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT |
|
26N | No opposition filed |
Effective date: 20070914 |
|
BERE | Be: lapsed |
Owner name: RUWISCH, DIETMAR, DR. Effective date: 20070131 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: BE Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20070131 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: FR Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20070803 Ref country code: GR Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20070314 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: FR Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20061213 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: EE Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20061213 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: LU Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20070131 Ref country code: CY Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20061213 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: HU Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20070614 Ref country code: TR Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20061213 |
|
PGFP | Annual fee paid to national office [announced via postgrant information from national office to epo] |
Ref country code: IE Payment date: 20110120 Year of fee payment: 7 |
|
PGFP | Annual fee paid to national office [announced via postgrant information from national office to epo] |
Ref country code: AT Payment date: 20110120 Year of fee payment: 7 Ref country code: CH Payment date: 20110125 Year of fee payment: 7 |
|
REG | Reference to a national code |
Ref country code: CH Ref legal event code: PL |
|
REG | Reference to a national code |
Ref country code: IE Ref legal event code: MM4A |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: CH Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20120131 Ref country code: LI Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20120131 |
|
REG | Reference to a national code |
Ref country code: AT Ref legal event code: MM01 Ref document number: 348492 Country of ref document: AT Kind code of ref document: T Effective date: 20120131 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: AT Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20120131 Ref country code: IE Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20120131 |
|
REG | Reference to a national code |
Ref country code: DE Ref legal event code: R082 Ref document number: 502005000226 Country of ref document: DE Representative=s name: BETTEN & RESCH PATENT- UND RECHTSANWAELTE PART, DE Ref country code: DE Ref legal event code: R081 Ref document number: 502005000226 Country of ref document: DE Owner name: RUWISCH PATENT GMBH, DE Free format text: FORMER OWNER: RUWISCH, DIETMAR, DR., 12557 BERLIN, DE Ref country code: DE Ref legal event code: R081 Ref document number: 502005000226 Country of ref document: DE Owner name: ANALOG DEVICES INTERNATIONAL UNLIMITED COMPANY, IE Free format text: FORMER OWNER: RUWISCH, DIETMAR, DR., 12557 BERLIN, DE |
|
REG | Reference to a national code |
Ref country code: GB Ref legal event code: 732E Free format text: REGISTERED BETWEEN 20190404 AND 20190410 |
|
REG | Reference to a national code |
Ref country code: DE Ref legal event code: R081 Ref document number: 502005000226 Country of ref document: DE Owner name: ANALOG DEVICES INTERNATIONAL UNLIMITED COMPANY, IE Free format text: FORMER OWNER: RUWISCH PATENT GMBH, 12459 BERLIN, DE Ref country code: DE Ref legal event code: R082 Ref document number: 502005000226 Country of ref document: DE Representative=s name: BETTEN & RESCH PATENT- UND RECHTSANWAELTE PART, DE |
|
REG | Reference to a national code |
Ref country code: GB Ref legal event code: 732E Free format text: REGISTERED BETWEEN 20201210 AND 20201216 |
|
PGFP | Annual fee paid to national office [announced via postgrant information from national office to epo] |
Ref country code: GB Payment date: 20221221 Year of fee payment: 19 |
|
PGFP | Annual fee paid to national office [announced via postgrant information from national office to epo] |
Ref country code: DE Payment date: 20221220 Year of fee payment: 19 |