EP1451813A1 - Verfahren zur unterdrückung von umgebungsgeräuschen bei einer freisprecheinrichtung sowie freisprecheinrichtung - Google Patents

Verfahren zur unterdrückung von umgebungsgeräuschen bei einer freisprecheinrichtung sowie freisprecheinrichtung

Info

Publication number
EP1451813A1
EP1451813A1 EP02795098A EP02795098A EP1451813A1 EP 1451813 A1 EP1451813 A1 EP 1451813A1 EP 02795098 A EP02795098 A EP 02795098A EP 02795098 A EP02795098 A EP 02795098A EP 1451813 A1 EP1451813 A1 EP 1451813A1
Authority
EP
European Patent Office
Prior art keywords
power density
spectral
fourier transform
input
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
EP02795098A
Other languages
English (en)
French (fr)
Other versions
EP1451813B1 (de
Inventor
Stefan Gierl
Christoph Benz
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harman Becker Automotive Systems GmbH
Original Assignee
Harman Becker Automotive Systems GmbH
Harman Becker Automotive Systems Becker Division GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harman Becker Automotive Systems GmbH, Harman Becker Automotive Systems Becker Division GmbH filed Critical Harman Becker Automotive Systems GmbH
Publication of EP1451813A1 publication Critical patent/EP1451813A1/de
Application granted granted Critical
Publication of EP1451813B1 publication Critical patent/EP1451813B1/de
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L2021/02161—Number of inputs available containing the signal or the noise to be suppressed
    • G10L2021/02165—Two microphones, one receiving mainly the noise signal and the other one mainly the speech signal
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L2021/02168—Noise filtering characterised by the method used for estimating noise the estimation exclusively taking place during speech pauses

Definitions

  • the invention relates to a method for suppressing ambient noise in a hands-free device with two microphones arranged at a predeterminable distance from one another.
  • the invention further relates to a hands-free device with two m spaced microphones.
  • ambient noise is a strong disturbing factor that can significantly impair speech intelligibility.
  • Car telephones are equipped with hands-free devices so that the driver can concentrate fully on driving and driving.
  • particularly loud and disturbing ambient noises occur in a vehicle.
  • the hands-free device is equipped with two microphones which are arranged at a predeterminable distance from one another.
  • the distance between the speaker and the microphones is selected to be smaller than the so-called Hall radius, so that the direct sound components of the speaker at the location of the microphones dominate over the reflection components occurring in the room.
  • the sum and difference signals are formed from the microphone signals supplied by the microphones, from which the Fourier transform of the sum signal and the Fourier transform of the difference signal are formed by means of one Fourier transformer each.
  • the speech pauses are e.g. B. detected by the fact that their average short-term powers are determined.
  • the short-term power of the sum and difference signals are approximately the same, because with uncorrelated signal components it does not matter whether they are added or subtracted before the power calculation, while at the start of the speech, due to the strongly correlated voice component, the short-term power in the summation signal counters - increases significantly above the short-term power in the differential signal. This increase can be easily detected and used for the reliable detection of a speech pause. A pause in speech can therefore be detected with great certainty even in the presence of loud ambient noises.
  • the method according to the invention further provides for determining the spectral power density from the Fourier transform of the sum signal and from the Fourier transform of the difference signal, from which the transfer function for an adaptive transformation filter is calculated.
  • This adaptive transformation filter generates the interference power density by multiplying the power density of the Fourier transform of the difference signal by its transfer function.
  • the transfer function of an also adaptive spectral subtraction filter is calculated from the spectral power density of the Fourier transform of the sum signal and from the interference power density generated by the adaptive transformation filter inverse Fourier transformers is transformed back into the time domain. At the output of this inverse Fourier transformer, a largely free audio or speech signal in the time domain and processed further.
  • the output of a first microphone M1 is connected to the first input of an adder AD and the first input of a subtractor SU, while the output of a second microphone M2 is connected to the second input of the adder AD and the second input of the subtractor SU.
  • the output of the adder AD is connected to the input of a first Fourier transformer F1, the output of which is connected to the first input of a speech pause detector P, the input of a first arithmetic unit LS for calculating the spectral power density S rr of the Fourier transform R (f) of the sum signal S and Input of an adaptive spectral subtraction filter SF is connected.
  • the output of the subtractor SU is connected to the input of a second Fourier transformer F2, the output of which is connected to the second input of the speech pause detector P and to the input of a second computing unit LD for calculating the spectral power density S DD of the Fourier transform D (f) of the difference signal D.
  • the output of the first arithmetic unit LS is connected to a third arithmetic unit for calculating the transfer function of an adaptive transformation filter TF and to the first control input of the adaptive spectral subtraction filter SF, the output of which is connected to the input of an inverse Fourier transformer IF.
  • the output of the second arithmetic unit LD is connected to the third arithmetic unit R and the input of the adaptive transformation filter TF, the output of which is connected to the second control input of the adaptive spectral subtraction filter SF.
  • the output of the speech pause detector P is also connected to the third computing unit R, the output of which is connected to the control input of the adaptive transformation filter TF.
  • the two microphones M1 and M2 are arranged at a distance from the speaker which is smaller than the so-called Hall radius. ' For this reason, the direct sound components of the speaker at the location of the microphones dominate over those in a closed room, e.g. B. the interior of a vehicle, occurring reflection components.
  • the sum signal S of the microphone signals MSI and MS2 of the two microphones Ml and M2 is formed in the adder AD, while the difference signal D of the microphone signals MSI and MS2 is formed in the subtractor SU.
  • the first Fourier transformer F1 forms the Fourier transform R (f) of the sum signal S.
  • the second Fourier transformer F2 forms the Fourier transform D (f) of the difference signal D.
  • the short-term power of the Fourier transform R (f) of the sum signal S and the Fourier transform D (f) of the difference signal D is determined in the speech pause detector P.
  • the two short-term powers hardly differ from each other because it does not matter for uncorrelated signal components whether they are added or subtracted before the power calculation.
  • the short-term power in the sum signal rises significantly compared to the short-term power in the difference signal due to the strongly correlated speech component. This increase therefore indicates the end of a language break and the beginning of language.
  • the first arithmetic unit LS calculates the spectral power density S rr of the Fourier transform R (f) of the sum signal S by averaging over time.
  • the second arithmetic unit LD also calculates the spectral power density S DD of the Fourier transform D (f) of the differential signal D.
  • an additional temporal averaging, ie smoothing - the coefficients of the transfer function obtained in this way significantly improves the suppression of ambient noise because the occurrence of so-called artifacts, which are often also referred to as “musical tones”, is prevented.
  • the spectral power density S rr (f) is obtained by time averaging from the Fourier transform R (f) of the sum signal S, while in the same way the spectral power density S DD (f) is obtained by time averaging from the Fourier transform D (f) of the difference signal D is calculated.
  • the spectral power density S rr is calculated using the following formula (2):
  • the calculation of the remaining spectral power densities, which are required for carrying out the method according to the invention, is preferably carried out in the same way.
  • the adaptive transformation filter TF uses its transfer function to generate H ⁇ (f) from the spectral power density S DD (f) - of the Fourier transformed D (f) the interference power density S n - j according to the following formula (4):
  • the transfer function H BUb of the spectral subtraction filter SF is calculated according to the following regulation (5) calculated:
  • H sub (f) b for 1-a * S ⁇ (f) / S rr (f) ⁇ b
  • the parameter a represents the so-called here. Overestimation factor, while the so-called b. "Spectral floor '" represents.
  • the interference components picked up by the microphones M1 and M2, which hit the microphones M1 and M2 as diffuse sound waves, can be regarded as almost uncorrelated for almost the entire frequency band of interest.
  • the two microphones M1 and M2 there is still a certain correlation at low frequencies, which leads to the interference components contained in the reference signal appearing to be somewhat high-pass filtered. So that a misjudgment of the low-frequency interference components in the spectral subtraction is avoided, the low-frequency components of the reference signal are spectrally raised with the aid of the adaptive transformation filter TF shown in the figure.
  • the method according to the invention and the hands-free circuit according to the invention which are particularly suitable for a car telephone, are distinguished by excellent speech quality and speech intelligibility, because the estimated value for the interference power density Snn is independent of the speech activity is constantly updated.
  • the transfer function of the spectral subtraction filter SF is constantly updated, both during speech activity and during speech pauses. As already mentioned, speech pauses are reliably and precisely detected, which is necessary for updating the transformation filter TF.
  • the audio signal at the output of the spectral subtraction filter SF which is largely free of ambient noise, is fed to an inverse Fourier transformer IF, which transforms the audio signal back into the time domain.
  • a audio signal AD adder transformed back into the time domain
  • R third arithmetic unit for calculating the transfer function of the transformation filter

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Telephone Function (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Soundproofing, Sound Blocking, And Sound Damping (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

Beschreibung
Verfahren zur Unterdrückung von Umgebungsgeräuschen bei einer Freisprecheinrichtung sowie Freisprecheinrichtung
Die Erfindung betriftt ein Verfahren zur Unterdrückung von Umgebungsgeräuschen bei einer Freisprecheinrichtung mit zwei in vorgebbarem Abstand zueinander angeordneten Mikrofonen.
Die Erfindung betrifft weiter eine Freisprecheinrichtung mit zwei m vorgebbarem Abstand zueinander angeordneten Mikrofonen.
Beim Einsatz von Freisprecheinrichtungen stellen Umgebungsge- rausche einen starken Störfaktor dar, der die Sprachverständlichkeit erheblich beeinträchtigen kann. Autotelefone sind mit Freisprecheinrichtungen ausgerüstet, damit der Fahrer sich voll auf das Führen des Fahrzeuges und den Straßenverkehr konzentrieren kann. In einem Fahrzeug treten aber besonders laute und störende Umgebungsgeräusche auf.
Es ist daher Aufgabe der Erfindung, ein Verfahren zur Unterdrückung von Umgebungsgeräuschen für eine Freisprecheinrichtung sowie eine Freisprecheinrichtung so zu gestalten, daß Um- gebungsgeräusche möglichst vollständig unterdrückt werden.
Verfahrensmäßig wird diese Aufgabe mit den im Anspruch 1 angegebenen Merkmalen gelöst.
Vorrichtungsmäßig wird diese Aufgabe mit den im Anspruch 10 angegebenen Merkmalen gelöst.
Die erfindungsgemäße Freisprecheinrichtung ist mit zwei Mikrofonen ausgerüstet, die in einem vorgebbaren Abstand zueinander angeordnet sind. Der Abstand des Sprechers zu den Mikrofonen ist kleiner gewählt als der sog. Hallradius, so daß die Direktschallanteile des Sprechers am Ort der Mikrofone über die im Raum auftretenden Reflexionsanteile dominieren. Aus den von den Mikrofonen gelieferten Mikrofonsignalen werden das Summen- und das Differenzsignal gebildet, aus denen mittels je -eines Fouriertransformators die Fouriertransformierte des Summen- und die Fouriertransformierte des Differenzsigna- les gebildet werden.
Aus diesen Fouriertransformierten werden die Sprachpausen z. B. dadurch detektiert, daß deren mittlere Kurzzeitleistungen ermittelt werden. Während Sprachpausen sind die Kurzzeitlei- stungen des Summen- und des Differenzsignales ungefähr gleich, weil es bei unkorrelierten Signalanteilen keine Rolle spielt, ob sie vor der Leistungsberechnung addiert oder subtrahiert werden, während bei Sprachbeginn aufgrund des stark korrelier- te Sprachanteils die Kurzzeitleistung im Summensignal gegen- über der Kurzzeitleistung im Differenzsignal deutlich ansteigt . Dieser Anstieg läßt sich leicht detektieren und zur sicheren Detektion einer Sprachpause nutzen. Eine Sprachpause kann deshalb sogar bei lauten Umgebungsgeräuschen mit großer Sicherheit detektiert werden.
Das erfindungsgemäße Verfahren sieht weiter vor, aus der Fouriertransformierten des Summensignales und aus der Fouriertransformierten des Differenzsignales die spektrale Leistungsdichte zu ermitteln, aus denen die Übertragungsfunktion für ein adaptives Transformationsfilter berechnet wird. Dieses ad- aptive Transformationsfilter erzeugt durch Multiplikation der Leistungsdichte der Fouriertransformierten des Differenzsignales mit seiner Übertragungsfunktion die Störleistungsdichte. Aus der spektralen Leistungsdichte der Fouriertransformierten des Summensignals und aus der vom adaptiven Transformationsfilter erzeugten Störleistungsdichte wird die Übertragungsfunktion eines ebenfalls adaptiven Spektralsubtraktionsfilters berechnet, das die Fouriertransformierte des Summensignals filtert und an seinem Ausgang ein weitestgehend von Umgebungs- geräuschen freies Audiosignal im Frequenzbereich liefert, das mittels eines inversen Fouriertrans ormators in den Zeitbereich zurück transformiert wird. Am Ausgang dieses inversen Fouriertransformators kann daher ein weitestgehend von Umge- bungsgeräuschen freies Audio- oder Sprachsignal im Zeitbereich abgenommen und weiter verarbeitet werden.
Das erfindungsgemäße Verfahren und die erfindungsgemäße Frei- Sprecheinrichtung werden anhand des in der Figur gezeigten Ausführungsbeispieles näher beschrieben und erläutert.
Der Ausgang eines ersten Mikrofons Ml ist mit dem ersten Eingang eines Addierers AD und dem ersten Eingang eines Subtra- hierers SU verbunden, während der Ausgang eines zweiten Mikrofons M2 mit dem zweiten Eingang des Addierers AD und dem zweiten Eingang des Subtrahierers SU verbunden ist. Der Ausgang des Addierers AD ist mit dem Eingang eines ersten Fouriertransformators Fl verbunden, dessen Ausgang mit dem ersten Eingang eines Sprachpausendetektors P, dem Eingang einer ersten Recheneinheit LS zur Berechnung der spektralen Leistungsdichte Srr der Fouriertransformierten R(f) des Summensignales S und mit dem Eingang eines adaptiven Spektralsubtraktionsfilters SF verbunden ist.
Der Ausgang des Subtrahierers SU ist mit dem Eingang eines zweiten Fouriertransformators F2 verbunden, dessen Ausgang mit dem zweiten Eingang des Sprachpausendetektors P und mit dem Eingang einer zweiten Recheneinheit LD zur Berechnung der spektralen Leistungsdichte SDD der Fouriertransformierten D(f) des Differenzsignales D verbunden ist. Der Ausgang der ersten Recheneinheit LS ist mit einer dritten Recheneinheit zur Berechnung der Übertragungsfunktion eines adaptiven Transformationsfilters TF und mit dem ersten Steuereingang des adaptiven Spektralsubtraktionsfilters SF verbunden, dessen Ausgang mit dem Eingang eines inversen Fouriertransformators IF verbunden ist. Der Ausgang der zweiten Recheneinheit LD ist mit der dritten Recheneinheit R und dem Eingang des adaptiven Trans- formationsfilters TF verbunden, dessen Ausgang mit dem zweiten Steuereingang des adaptiven Spektralsubtraktionsfilters SF verbunden ist. Der Ausgang des Sprachpausendetektors P ist ebenfalls mit der dritten Recheneinheit R verbunden, deren Ausgang mit dem Steuereingang des adaptiven Transformations- filters TF verbunden ist. Die beiden Mikrofone Ml und M2 sind, wie bereits erwähnt, in einem Abstand zum Sprecher angeordnet, der kleiner als der sog. Hallradius ist.' Aus diesem Grund dominieren die Direktschallanteile des Sprechers am Ort der Mikrofone über die in einem geschlossenen Raum, z. B. dem Innenraum eines Fahrzeuges, auftretenden Reflexionsanteile.
Im Addierer AD wird das Summensignal S der Mikrofonsignale MSI und MS2 der beiden Mikrofone Ml und M2 gebildet, während im Subtrahierer SU das Differenzsignal D der Mikrofonsignale MSI und MS2 gebildet wird.
Der erste Fouriertransformator Fl bildet die Fouriertransformierte R(f) des Summensignals S. Ebenso bildet der zweite Fou- riertransformator F2 die Fouriertransformierte D(f) des Differenzsignals D.
Im Sprachpausendetektor P wird die Kurzzeitleistung der Fouriertransformierten R(f) des Summensignals S und der Fourier- transformierten D(f) des Differenzsignals D ermittelt. Während Sprachpausen unterscheiden sich die beiden Kurzzeitleistungen kaum voneinander, weil es für unkorrelierte Signalanteile keine Rolle spielt, ob sie vor der Leistungsberechnung addiert oder subtrahiert werden. Bei Sprachbeginn steigt dagegen auf- grund des stark korrelierten Sprachanteils die Kurzzeitleistung im Summensignal gegenüber der Kurzzeitleistung im Differenzsignal deutlich an. Dieser Anstieg zeigt daher das Ende einer Sprachpause und den Beginn von Sprache an.
Die erste Recheneinheit LS berechnet durch zeitliche Mittelung die spektrale Leistungsdichte Srr der Fouriertransformierten R(f) des Summensignals S. Ebenso berechnet die zweite Recheneinheit LD die spektrale Leistungsdichte SDD der Fouriertransformierten D(f) des Di ferenzsignales D. Die dritte Rechenein- heit R berechnet nun aus der Leistungsdichte Srrp(f) und aus der spektralen Leistungsdichte SDDp(f) während der Sprachpausen die Übertragungsfunktion Hτ(f) des adaptiven Transformationsfilters TF nach folgender Formel (1) ( 1 ) • Hτ ( f ) = Srrp ( f ) / SDDp ( f )
Vorzugsweise wird durch eine zusätzliche zeitliche Mittelung also eine Glättung - der auf diese Weise gewonnenen Koeffizienten der Übertragungsfunktion die Unterdrückung von Umgebungsgeräuschen erheblich verbessert, weil das Auftreten von sog. Artefakten, die häufig auch als „musical tones" bezeichnet werden, verhindert wird.
Die spektrale Leistungsdichte Srr(f) wird durch zeitliche Mittelung aus der Fouriertransformierten R(f) des Summensignals S gewonnen, während auf gleiche Weise die spektrale Leistungsdichte SDD(f) durch zeitliche Mittelung aus der Fouriertrans- formierten D(f) des Differenzsignales D berechnet wird.
Beispielsweise wird die spektrale Leistungsdichte Srr nach folgender Formel (2) berechnet:
(2) Srr(f,k) = c * 1 R (ff) I 2 + (1-c) * Srr(f,k-1)
Analog hierzu wird z. B. die spektrale Leistungsdichte SDEI(f) nach folgender Formel (3) berechnet:
(3) SDD(f,k) = c * |D(f)|2 + (1-c) * SDD(f,k-l)
c ist eine zwischen 0 und 1 liegende Konstante, welche die Mittelungszeitdauer bestimmt. Für c = 1 findet keine zeitliche Mittelung mehr statt, vielmehr werden direkt die Betragsqua- drate der Fouriertransformierten R(f) und D(f) als Schätzwerte für die spektralen Leistungsdichten genommen. Die Berechnung der restlichen spektralen Leistungsdichten, die für die Durchführung des erfindungsgemäßen Verfahrens benötigt werden, erfolgt vorzugsweise in der gleichen Weise.
Das adaptive Transformationsfilter TF erzeugt mittels seiner Übertragungsfunktion Hτ(f) aus der spektralen Leistungsdichte SDD(f) -der Fouriertransformierten D(f) die Störleistungsdichte Sn-j nach folgender Formel (4) :
(4) Snn(f) = Hτ * SDD(f)
Mit Hilfe der aus der Fouriertransformierten D(f) des Differenzsignales D berechneten Störleistungsdichte S^ und der von der ersten Recheneinheit LS berechneten spektralen Leistungsdichte Srr des Summensignals, also des gestörten Signals wird die Übertragungsfunktion HBUb des Spektralsubtraktionsfilters SF nach folgender Vorschrift (5) berechnet:
(5) Hsub(f) = 1-a * Sm(f) / Srr(f) für 1-a * Snn(f) / S„(f) > b
Hsub(f) = b für 1-a * Sππ(f) / Srr(f) < b
Der Parameter a stellt hierbei den sog. Überschätzfaktor dar, während b den sog. „spectral floor'" repräsentiert.
Die von den Mikrofonen Ml und M2 aufgenommenen Störanteile, die als diffuse Schallwellen auf die Mikrofone Ml und M2 treffen, können für fast das gesamte interessierende Frequenzband als nahezu unkorreliert betrachtet werden. Allerdings besteht in Abhängigkeit vom Abstand der beiden Mikrofone Ml und M2 zu- einander bei tiefen Frequenzen noch eine gewisse Korrelation, die dazu führt, daß die im Referenzsignal enthaltenen Störanteile gewissermaßen hochpaßgefiltert erscheinen. Damit eine Fehleinschätzung der tieffrequenten Störanteile bei der Spektralsubtraktion vermieden wird, erfolgt eine spektrale Anhe- bung der tieffrequenten Anteile des Referenzsignals mit Hilfe des in der Figur gezeigten adaptiven Transformationsfilters TF.
Das erfindungsgemäße Verfahren und die erfindungsgemäße Frei- sprechschaltung, die insbesondere für ein Autotelefon geeignet sind, zeichnen sich durch eine hervorragende- Sprachqualität und Sprachverständlichkeit aus, weil der Schätzwert für die Störleistungsdichte Snn unabhängig von der Sprachaktivität permanent aktualisiert wird. Somit wird auch die Übertragungsfunktion des Spektralsubtraktionsfilters SF ständig, sowohl während Sprachaktivität als auch während der Sprachpausen, aktualisiert. Wie bereits erwähnt, werden Sprachpausen sicher und genau detektiert, was für die Aktualisierung des Transformationsfilters TF erforderlich ist.
Das Audiosignal am Ausgang des Spektralsubtraktionsfilters SF, das weitgehend frei von Umgebungsgeräuschen ist, wird einem inversen Fouriertransformator IF zugeführt, der das Audiosignal zurück in den Zeitbereich transformiert.
Bezugszeichenliste
A in den Zeitbereich zurück transformiertes Audiosignal AD Addierer
D Differenzsignal
D(f) Fouriertransformierte des Differenzsignals
Fl erster Fouriertranformator
F2 zweiter Fouriertransformator Hsub Übertragungsfunktion des Spektralsubtraktionsfilters
Hτ Übertragungsfunktion des Transformationsfilters
IF inverser Fouriertransformator
LD zweite Recheneinheit zur Berechnung der spektralen Leistungsdichte LS erste Recheneinheit zur Berechnung der spektralen Leistungsdichte
MSI Mikrofonsignal
MS2 Mikrofonsignal
Ml Mikrofon M2 Mikrofon
P Sprachpausendetektor
R dritte Recheneinheit zur Berechnung der Ubertragungs- funktion des Transformationsfilters
R(f) Fouriertransformierte des Summensignals S Summensignal
SF Spektralsubtraktionsfilter
SU Subtrahierer
SDD spektrale Leistungsdichte des Differenzsignals
S^ Störleistungsdichte Srr spektrale Leistungsdichte des Summensignals
TF Transformationsfilter

Claims

Patentansprüche
1. Verf hren zur Unterdrückung von Umgebungsgeräuschen bei einer Freisprecheinrichtung mit zwei in vorgebbarem Abstand zueinander angeordneten Mikrofonen (Ml, M2) , die je ein Mikrofonsignal (MSI, MS2) liefern mit folgenden Verfahrensschritten:
Es werden das Summensignal (S) und das Differenzsignal (D) der beiden Mikrofonsignale (MSI, MS2) gebildet,
es werden die Fouriertransformierte R(f) des Summensignals (S) und die Fouriertransformierte D(f) des Differenzsignals (D) gebildet,
aus den Fouriertransformierten R(f) und D(f) werden Sprachpausen detektiert,
aus der Fouriertransformierten R(f) des Summensignales (S) wird die spektrale Leistungsdichte Srr ermittelt,
aus der Fouriertransformierten D(f) des Differenzsignales (D) wird die spektrale Leistungsdichte SDD ermittelt,
aus der spektralen Leistungsdirchte Srr der Fouriertransformierten R(f) des Summensignals (S) und aus der spektralen Leistungsdichte SDD der Fouriertransformierten D(f) des Differenzsignales (D) wird die Ubertragungsfunktion Hτ(f) für ein adaptives Transformationsfilter (TF) berechnet,
das adaptive Transformationsfilter (TF) erzeugt durch Multiplikation der Leistungsdichte SDD der Fouriertransformierten D(f) des Differenzsignales (D) mit seiner Übertragungsfunktion Hτ(f) die Störleistungsdichte Srm(f),
aus der Störleistungsdichte Snn(f) und aus der spektralen Lei- stungsdichte Srr der Fouriertransformierten R(f) des Summensignals (S) wird die Übertragungsfunktion Hsub(f) eines Spektralsubtraktionsfilters (SF) berechnet, das Spektralsubtraktionsfilter (SF) filtert die Fouriertransformierte R(f) des Summensignals (S) und
das Ausgangssignal des Spektralsubtraktionsfilters (SF) wird in den Zeitbereich zurück transformiert .
2. Verfahren nach Anspruch 1 , d a d u r c h g e k e n n z e i c h n e t, daß die Übertra- gungsfunktion Hτ(f) des Transformationsfilters (TF) während Sprachpausen nach folgender Formel gebildet wird:
(1) Hτ(f) = Srrp(f) / SDDp(f)
3. Verfahren nach Anspruch 2 , d a d u r c h g e k e n n z e i c h n e t, daß die Koeffizienten der Übertragungsfunktion Hτ(f) des Transformationsfilters (TF) zeitlich gemittelt werden.
4. Verfahren nach Anspruch 1 , 2 oder 3 , d a d u r c h g e k e n n z e i c h n e t, daß die Berechnung der spektralen Leistungsdichte Srr aus der Fouriertransformierten R(f) des Summensignals (S) und der spektralen Leistungsdichte SDD aus der Fouriertransformierten D(f) des Diffe- renzsignals (D) durch zeitliche Mittelung erfolgt.
5. Verfahren nach Anspruch 4 , d a d u r c h g e k e n n z e i c h n e t, daß die spektrale
Leistungsdichte Srr nach folgender Formel berechnet wird:
(2) Srr(f,k) = c * |R(f) + (1-c) * Srr(f,k-1)
wobei k einen Zeitindex darstellt, und c eine Konstante zur Bestimmung der Mittelungsdauer ist.
6. Verfahren nach Anspruch 4 oder 5, d a d u r c h g e k e n n z e i c h n e t, daß die spektrale
Leistungsdichte SDD nach folgender Formel berechnet wird: (3) SDD(f,k) = c * |D(f)| 2 + (1-c) * SDD(f,k-l)
wobei k einen Zeitindex darstellt und c eine Konstante zur Be- Stimmung der Mittelungsdauer ist .
7. Verfahren nach einem der Ansprüche 1-6, d a d u r c h g e k e n n z e i c h n e t, daß zur Detektion der Sprachpausen die Kurzzeitleistung der Fouriertransformier- ten R(f) des Summensignals (S) und der Fouriertransformierten D(f) des Differenzsignals (D) ermittelt wird und daß eine Sprachpause detektiert wird, wenn die beiden ermittelten Kurzzeitleistungen innerhalb eines vorgebbaren gemeinsamen Toleranzbereiches liegen.
8. Verfahren nach einem der Ansprüche 1-7, d a d u r c h g e k e n n z e i c h n e t, daß die Übertragungsfunktion Hsub(f) des Spektralsubtraktionsfilters (SF) nach folgender Formel berechnet wird:
(5) Hsub(f) = 1-a * Snn(f) / S„(f) für 1-a * Snn(f) / S„(f) > b
Hsub(f) = b für 1-a * Snn(f) / Srr(f) < b
wobei a den sog. „Überschätzfaktor" und b den sog. „spectral floor"darsteilen.
9. Verfahren nach einem der Ansprüche 1-8, d a d u r c h g e k e n n z e i c h n e t, daß die Laufzeit- unterschiede zwischen den beiden Mikrofonsignalen (MSI, MS2) ausgeglichen werden.
10. Freisprecheinrichtung mit zwei in vorgebbarem Abstand zueinander angeordneten Mikrofonen (Ml, M2), d a d u r c h g e k e n n z e i c h n e t,
daß der Ausgang des ersten Mikrofons (Ml) mit dem ersten Eingang eines Addierers (AD) und dem ersten Eingang eines Subtra- hierers (SU) verbunden ist,
daß der Ausgang des zweiten Mikrofons (M2) mit dem zweiten Eingang des Addierers (AD) und dem zweiten Eingang des Subtra- hierers (SU) verbunden ist,
daß der Ausgang des Addierers (AD) mit dem Eingang eines ersten Fouriertransformators (Fl) verbunden ist, dessen Ausgang mit dem ersten Eingang eines Sprachpausendetektors (P) , mit dem Eingang einer ersten Recheneinheit (LS) zur Berechnung der spektralen Leistungsdichte Srr und mit dem Eingang eines adaptiven Spektralsubtraktionsfilters (SF) verbunden ist,
daß der Ausgang des Subtrahierers (SU) mit dem Eingang eines zweiten Fouriertransformators (F2) verbunden ist, dessen Ausgang mit dem zweiten Eingang des Sprachpausendetektors (P) und mit dem Eingang einer zweiten Recheneinheit (LD) zur Berechnung der spektralen Leistungsdichte SDD verbunden ist,
daß der Ausgang des Sprachpausendetektors (P) , der ersten Recheneinheit (LS) und der zweiten Recheneinheit (LD) mit einer dritten Recheneinheit (R) zur Berechnung der Übertragungsfunktion Hτ(f) eines adaptiven Transformationsfilters (TF) verbunden sind,
daß der Ausgang der ersten Recheneinheit (LS) mit dem ersten Steuereingang des adaptiven Spektralsubtraktionsfilters (SF) verbunden ist,
daß der Ausgang der dritten Recheneinheit (R) mit dem Steuereingang des adaptiven Transformationsfilters (TF) verbunden ist, dessen Eingang mit dem Ausgang der zweiten Recheneinheit (LD) und dessen Ausgang mit dem zweiten Steuereingang des adaptiven Spektralsubtraktionsfilters (SF) verbunden ist, und
daß der Ausgang des adaptiven Spektralsubtraktionsfilters (SF) mit dem Eingang eines inversen Fouriertransformators (IF) verbunden ist, an dessen Ausgang ein in den Zeitbereich zurück transformiertes Audiosignal (A) abnehmbar ist.
11. Freisprecheinrichtung nach Anspruch 10, d a d u r c h g e k e n n z e i c h n e t, daß die Ubertragungsfunktion Hτ(f) des Transformationsfilters (TF) während Sprachpausen nach folgender Formel gebildet ist:
(1) Hτ(f) = SErp(f) / SDDp(f)
12. Freisprecheinrichtung nach Anspruch 11, d a d u r c h g e k e n n z e i c h n e t, daß die Koeffizienten der Ubertragungsfunktion Hτ(f) des Transformationsfilters (TF) zeitlich gemittelt sind.
13. Freisprecheinrichtung nach Anspruch 10, 11 oder 12, d a d u r c h g e k e n n z e i c h n e t, daß die spektrale Leistungsdichte Srr aus der Fouriertransformierten R(f) des Summensignals (S) und daß die spektrale Leistungsdichte SDD aus der Fouriertransformierten D(f) des Differenzsignals (D) durch zeitliche Mittelung gebildet sind.
14. Freisprecheinrichtung nach Anspruch 13, d a d u r c h g e k e n n z e i c h n e t, daß die spektrale Leistungsdichte Srr nach folgender Formel berechnet ist:
(2) Srr(f,k) = c * I R(f )12 + (1-c) * Srr(f,k-1)
wobei k einen Zeitindex darstellt und c eine Konstante zur Bestimmung der Mittelungsdauer ist.
15. Freisprecheinrichtung nach Anspruch 13 oder 14, d a d u r c h g e k e n n z e i c h n e t, daß die spektrale Leistungsdichte SOΏ nach folgender Formel berechnet ist:
(3) SDD(f,k) = c * |ü(f)|2 + (1-c) * SDD(f,k-l)
wobei k einen Zeitindex darstellt, und c eine Konstante zur Bestimmung der Mittelungsdauer ist.
16. Verfahren nach einem der Ansprüche 10-15, d a d u r c h g e k e n n z e i c h n e t, daß zur Detektion der Sprachpausen die Kurzzeitleistung der Fouriertransformierten R(f) des Summensignals (S) und der Fouriertransformierten D(f) des Differenzsignals (D) ermittelt ist und daß eine Sprachpause detektiert ist, wenn die beiden ermittelten Kurzzeitleistungen innerhalb eines vorgebbaren gemeinsamen Toleranzbereiches liegen.
17. Freisprecheinrichtung nach einem der Ansprüche 10-16, d a d u r c h g e k e n n z e i c h n e t, daß die Übertragungsfunktion Hsub(f) des Spektralfunktionsfilters (SF) nach folgender Formel berechnet ist:
(5) Hsub(f) = 1-a * Snn(f) / S„(f) für 1-a * Sm(f) / Srr(f) > b
Hsub(f) = b für 1-a * Snn(f) / Srr(f) < b
wobei a den sog. „Überschätzfaktor" und b den sog. „spectral floor" darstellen.
18. Freisprecheinrichtung nach einem der Ansprüche 10-17, d a d u r c h g e k e n n z e i c h n e t, daß die Laufzeit- unterschiede zwischen den beiden Mikrofonsignalen (Ml, M2) ausgleichbar sind.
EP02795098A 2001-12-04 2002-12-04 Verfahren zur unterdrückung von umgebungsgeräuschen bei einer freisprecheinrichtung sowie freisprecheinrichtung Expired - Lifetime EP1451813B1 (de)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE10159281 2001-12-04
DE10159281A DE10159281C2 (de) 2001-12-04 2001-12-04 Verfahren zur Unterdrückung von Umgebungsgeräuschen bei einer Freisprecheinrichtung sowie Freisprecheinrichtung
PCT/EP2002/013742 WO2003049082A1 (de) 2001-12-04 2002-12-04 Verfahren zur unterdrückung von umgebungsgeräuschen bei einer freisprecheinrichtung sowie freisprecheinrichtung

Publications (2)

Publication Number Publication Date
EP1451813A1 true EP1451813A1 (de) 2004-09-01
EP1451813B1 EP1451813B1 (de) 2011-03-16

Family

ID=7707848

Family Applications (1)

Application Number Title Priority Date Filing Date
EP02795098A Expired - Lifetime EP1451813B1 (de) 2001-12-04 2002-12-04 Verfahren zur unterdrückung von umgebungsgeräuschen bei einer freisprecheinrichtung sowie freisprecheinrichtung

Country Status (5)

Country Link
EP (1) EP1451813B1 (de)
AT (1) ATE502378T1 (de)
AU (1) AU2002360959A1 (de)
DE (2) DE10159281C2 (de)
WO (1) WO2003049082A1 (de)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10311587A1 (de) * 2003-03-14 2004-09-23 Volkswagen Ag Verfahren und Vorrichtung zum Freisprechen in einem Kraftfahrzeug
US7162212B2 (en) 2003-09-22 2007-01-09 Agere Systems Inc. System and method for obscuring unwanted ambient noise and handset and central office equipment incorporating the same
CN113257282B (zh) * 2021-07-15 2021-10-08 成都时识科技有限公司 语音情感识别方法、装置、电子设备以及存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19818608C2 (de) * 1998-04-20 2000-06-15 Deutsche Telekom Ag Verfahren und Vorrichtung zur Sprachdetektion und Geräuschparameterschätzung

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See references of WO03049082A1 *

Also Published As

Publication number Publication date
AU2002360959A1 (en) 2003-06-17
ATE502378T1 (de) 2011-04-15
DE10159281C2 (de) 2003-09-25
DE50214964D1 (de) 2011-04-28
EP1451813B1 (de) 2011-03-16
DE10159281A1 (de) 2003-06-18
WO2003049082A1 (de) 2003-06-12

Similar Documents

Publication Publication Date Title
DE69429947T2 (de) Echokompensator
EP1143416B1 (de) Geräuschunterdrückung im Zeitbereich
DE69428119T2 (de) Verringerung des hintergrundrauschens zur sprachverbesserung
DE102008027848B4 (de) Echounterdrücker, Echounterdrückungsverfahren und computerlesbares Speichermedium
DE69635500T2 (de) Verfahren und Vorrichtung zur Erkennung eines nahen Sprachsignals
EP0668007B1 (de) Mobilfunkgerät mit freisprecheinrichtung
DE69731573T2 (de) Geräuschverminderungsanordnung
EP3375204B1 (de) Audiosignalverarbeitung in einem fahrzeug
DE60017732T2 (de) Dynamikregelung für lautsprecher
DE112012005782T5 (de) Nachhallunterdrückungsvorrichtung
EP0411360A1 (de) Verfahren und Anordnung zur Störbefreiung von Sprachsignalen
EP0614304A1 (de) Verfahren zum Verbessern der akustischen Rückhördämpfung von elektroakustischen Anlagen
EP1189419B1 (de) Verfahren und Vorrichtung zur Elimination Lautsprecherinterferenzen aus Mikrofonsignalen
EP1771034A2 (de) Mikrofonkalibrierung bei einem RGSC-Beamformer
DE102018117557B4 (de) Adaptives nachfiltern
EP1155561B1 (de) Vorrichtung und verfahren zur geräuschunterdrückung in fernsprecheinrichtungen
DE10357800B3 (de) Hörgerät mit Störgeräuschunterdrückung und entsprechendes Störgeräuschunterdrückungsverfahren
WO1999041898A1 (de) Verfahren zur verbesserung der akustischen rückhördämpfung in freisprecheinrichtungen
DE69632426T2 (de) Akustischer Echokompensator
DE102013011761A1 (de) Kraftfahrzeug mit einer Freisprecheinrichtung und Verfahren zur Erzeugung eines Frequenzganges für Freisprecheinrichtungen
EP4158901B1 (de) Verfahren, vorrichtung, kopfhörer und computerprogramm zur aktiven unterdrückung des okklusionseffektes bei der wiedergabe von audiosignalen
DE102018117556B4 (de) Einzelkanal-rauschreduzierung
WO2003049082A1 (de) Verfahren zur unterdrückung von umgebungsgeräuschen bei einer freisprecheinrichtung sowie freisprecheinrichtung
EP0615226A2 (de) Verfahren zur Geräuschreduktion für gestörte Sprachkanäle
DE10140523B4 (de) Vorrichtung zum Feedback Cancelling bei der Ausgabe von Mikrofonsignalen durch Lautsprecher

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20040618

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR IE IT LI LU MC NL PT SE SI SK TR

AX Request for extension of the european patent

Extension state: AL LT LV MK RO

RAP1 Party data changed (applicant data changed or rights of an application transferred)

Owner name: HARMAN BECKER AUTOMOTIVE SYSTEMS GMBH

17Q First examination report despatched

Effective date: 20060817

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR IE IT LI LU MC NL PT SE SI SK TR

REG Reference to a national code

Ref country code: GB

Ref legal event code: FG4D

Free format text: NOT ENGLISH

REG Reference to a national code

Ref country code: CH

Ref legal event code: EP

REG Reference to a national code

Ref country code: IE

Ref legal event code: FG4D

REF Corresponds to:

Ref document number: 50214964

Country of ref document: DE

Date of ref document: 20110428

Kind code of ref document: P

REG Reference to a national code

Ref country code: DE

Ref legal event code: R096

Ref document number: 50214964

Country of ref document: DE

Effective date: 20110428

REG Reference to a national code

Ref country code: NL

Ref legal event code: VDEP

Effective date: 20110316

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: ES

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20110627

Ref country code: GR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20110617

Ref country code: SE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20110316

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CY

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20110316

Ref country code: FI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20110316

Ref country code: SI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20110316

Ref country code: BG

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20110616

REG Reference to a national code

Ref country code: IE

Ref legal event code: FD4D

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: EE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20110316

Ref country code: IE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20110316

Ref country code: PT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20110718

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20110316

Ref country code: CZ

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20110316

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: NL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20110316

PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

26N No opposition filed

Effective date: 20111219

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: DK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20110316

REG Reference to a national code

Ref country code: DE

Ref legal event code: R097

Ref document number: 50214964

Country of ref document: DE

Effective date: 20111219

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20110316

BERE Be: lapsed

Owner name: HARMAN BECKER AUTOMOTIVE SYSTEMS G.M.B.H.

Effective date: 20111231

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MC

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20111231

REG Reference to a national code

Ref country code: CH

Ref legal event code: PL

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LI

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20111231

Ref country code: BE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20111231

Ref country code: CH

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20111231

REG Reference to a national code

Ref country code: AT

Ref legal event code: MM01

Ref document number: 502378

Country of ref document: AT

Kind code of ref document: T

Effective date: 20111204

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LU

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20111204

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: AT

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20111204

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: TR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20110316

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: FR

Payment date: 20131217

Year of fee payment: 12

REG Reference to a national code

Ref country code: FR

Ref legal event code: ST

Effective date: 20150831

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: FR

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20141231

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: DE

Payment date: 20181126

Year of fee payment: 17

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: GB

Payment date: 20181127

Year of fee payment: 17

REG Reference to a national code

Ref country code: DE

Ref legal event code: R119

Ref document number: 50214964

Country of ref document: DE

GBPC Gb: european patent ceased through non-payment of renewal fee

Effective date: 20191204

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: GB

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20191204

Ref country code: DE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20200701