EP2515300B1 - Verfahren und System für die Geräuschunterdrückung - Google Patents
Verfahren und System für die Geräuschunterdrückung Download PDFInfo
- Publication number
- EP2515300B1 EP2515300B1 EP20120163679 EP12163679A EP2515300B1 EP 2515300 B1 EP2515300 B1 EP 2515300B1 EP 20120163679 EP20120163679 EP 20120163679 EP 12163679 A EP12163679 A EP 12163679A EP 2515300 B1 EP2515300 B1 EP 2515300B1
- Authority
- EP
- European Patent Office
- Prior art keywords
- signal
- module
- output
- sub
- denoised
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Not-in-force
Links
- 238000000034 method Methods 0.000 title claims description 42
- 230000009467 reduction Effects 0.000 title description 19
- 230000003595 spectral effect Effects 0.000 claims description 50
- 101001120757 Streptococcus pyogenes serotype M49 (strain NZ131) Oleate hydratase Proteins 0.000 claims description 38
- 229940083712 aldosterone antagonist Drugs 0.000 claims description 38
- 238000004422 calculation algorithm Methods 0.000 claims description 38
- 238000000605 extraction Methods 0.000 claims description 38
- 238000004364 calculation method Methods 0.000 claims description 35
- 238000012545 processing Methods 0.000 claims description 31
- 238000006243 chemical reaction Methods 0.000 claims description 20
- 230000003321 amplification Effects 0.000 claims description 16
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 16
- FGUUSXIOTUKUDN-IBGZPJMESA-N C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 Chemical compound C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 FGUUSXIOTUKUDN-IBGZPJMESA-N 0.000 claims description 15
- 230000001755 vocal effect Effects 0.000 claims description 14
- 238000012935 Averaging Methods 0.000 claims description 12
- 238000005070 sampling Methods 0.000 claims description 11
- 238000001514 detection method Methods 0.000 claims description 10
- 238000007792 addition Methods 0.000 claims description 8
- 101100366000 Caenorhabditis elegans snr-1 gene Proteins 0.000 claims description 7
- 101100419874 Caenorhabditis elegans snr-2 gene Proteins 0.000 claims description 7
- GNFTZDOKVXKIBK-UHFFFAOYSA-N 3-(2-methoxyethoxy)benzohydrazide Chemical compound COCCOC1=CC=CC(C(=O)NN)=C1 GNFTZDOKVXKIBK-UHFFFAOYSA-N 0.000 claims description 3
- 230000000750 progressive effect Effects 0.000 claims description 3
- 230000006798 recombination Effects 0.000 description 8
- 238000005215 recombination Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 238000012550 audit Methods 0.000 description 6
- 238000011084 recovery Methods 0.000 description 4
- 238000011410 subtraction method Methods 0.000 description 4
- 230000002123 temporal effect Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000004088 simulation Methods 0.000 description 3
- 240000008042 Zea mays Species 0.000 description 2
- 238000000354 decomposition reaction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 241000861223 Issus Species 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000009849 deactivation Effects 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
- G10L25/18—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being spectral information of each sub-band
Definitions
- the present invention relates to a noise reduction method and an associated noise reduction system.
- It relates more particularly to a method and a system for reducing noise on a noisy acoustic signal y (t) from a microphone operating in a noisy environment.
- the present invention finds particular application in full-duplex, wireless and mono-sensor audio communication systems, in other words mono-microphone, which make it possible to establish audio communication between several users, in an autonomous manner (ie ie without connection to a transmission base or to a network) and which is easy to use (that is to say not requiring any intervention of a technician to establish the communication).
- Such communication systems are generally used in a noisy environment, such as a marine environment or a theater, or extremely noisy, such as a construction site or a hall or stadium hosting a sporting event.
- the object of the present invention is to propose a method according to claim 1 and a system according to claim 10 for noise reduction adapted to highly noisy environments and where the noise component is strongly non-stationary and evolves relatively rapidly over time.
- this example proposes to implement a multi-band spectral subtraction algorithm "SSMB" which consists of sharing the entire spectral band in sub-bands and to adapt in each subband the subtraction calculation between the noisy signal Y k, l and the noise component D k, 1 for extracting an output denoised signal SD k, l ; applying the spectral subtraction operation in each sub-band to improve the sensitivity of the noise reduction method.
- SSMB multi-band spectral subtraction algorithm
- step a the extraction of the phase ⁇ k, 1 , of the noisy signal Y k, 1 is optional. It is indeed possible, during step e), to determine the output denoised signal SD k, l from the square modules
- the so-called "MCRA" method uses the following principle: on a finite horizon window and for a given frequency, the minimum of the power spectral density (DSP) of the noisy signal Y k, l corresponds to the value of the spectral density of power (DSP) of the noise component D k, l .
- DSP power spectral density
- Such an algorithm is particularly advantageous since it takes into account the value of the signal-to-noise ratio SNR k, l, i specific to each sub-band SB i to perform the spectral subtraction in each sub-band.
- the implementation of this multi-band spectral subtraction algorithm "SSMB" allows processing with different parameters depending on the sub-band where the 'We are.
- the noise component can be reduced more significantly in a sub-band if it is more dominant, unlike a full-band subtraction algorithm that will reduce noise equally all the sub-bands of the spectrum and will therefore be less precise and therefore less effective.
- ⁇ c1 , ⁇ c2 , ⁇ c3 and ⁇ c4 are predetermined constants
- SNR 1 and SNR 2 are predetermined thresholds.
- ⁇ c1 , ⁇ c2 , ⁇ c3 and ⁇ c4 and SNR 1 and SNR 2 are chosen experimentally, in particular by numerical simulation.
- SNR 1 - 5 dB
- SNR 2 20 dB
- ⁇ vs ⁇ 1 5
- ⁇ vs ⁇ 2 4
- ⁇ vs ⁇ 3 - 0.15
- ⁇ vs ⁇ 4 1
- step e) consists in determining the denoised signal X k, 1 from the square modules
- 2 debruitées components of sub-band X k, l, i , and optionally phases ⁇ k, l extracted in step a), so that the output unedited signal SD k, l corresponds to the denoised signal X k , l , ie SD k, l X k, l .
- the output unedited signal SD k, 1 corresponds to the denoised signal X k, l whose square modules
- 2 are directly derived from step d) implementing the multi-band spectral subtraction algorithm "SSMB".
- the processed signal i.e., the denoised signal X k, l
- the processed signal may suffer in terms of the quality and intelligibility of a distortion problem.
- This distortion whose origin is usually the noise reduction process, depends on the parameters of noise reduction algorithms ("MCRA” and "SSMB” algorithms) but also on the level and type of noise component to be reduced.
- step d) implementing the multi-band spectral subtraction algorithm "SSMB"
- a step of reinjection of the noisy signal Y k , l from the microphone is carried out.
- the denoised signal X k, l this reinjection being controlled by the amplification coefficient (otherwise called attenuation parameter) chosen very low, of the order of a few percent.
- the reinjected signal corresponds to the signal ⁇
- the step f.2) involves reconstructing the voice signal output denoised sd (t) only from the Sd output signals from the the step f.1), these output signals Sd l corresponding to the inverse Fourier transforms of the output denoised signal SD k, l specific to each time frame I.
- the speech output speech signal sd (t) is reconstructed from the only output signals Sd I from step f.1).
- This second embodiment allows somehow the deactivation of steps b), c) and d) noise reduction when the noise is not present. As a result, the distortions that can be brought about by the noise reduction processing, in this situation of absence or near absence of noise, will be eliminated.
- This OLA overlap and add method is a typical time reconstruction method that uses juxtaposed weighting windows (ie overlapping or overlapping windows). then who Adds the output signals taking into account the overlap of the time frames.
- the system implements a step of reinjection of a very small part of the noisy signal Y k, 1 coming from the microphone into the denoised signal X k, 1 to remedy at least in part the distortion problems induced by the estimation modules "MCRA” and "SSMB".
- the system 1 comprises a conversion unit 2 of the noisy acoustic signal y (t) in the time domain into a noisy signal Y k, 1 in the frequency domain.
- This conversion unit 2 comprises a switching module 21 of the noisy acoustic signal y (t) in sampled signals y 1 in successive time frames I.
- the noisy acoustic signal y (t) is cut into frames of 240 samples, which at a sampling frequency of 8 kHz corresponds to time frames of 30 milliseconds.
- the successive time frames overlap or overlap.
- successive time frames overlap on 120 samples, which corresponds to fifty percent (50%) of overlap.
- This overlap of the time frames is intended to allow the implementation of a method of recovery and addition called "OLA", which allows the initial temporal division of the noisy acoustic signal y (t) then the final restitution at the output of the system 1 in the time domain.
- OVA a method of recovery and addition
- This conversion unit 2 comprises, at the output of the chopper module 21, a windowing module 22 of the sampled signals y 1 by application of a weighting window, in particular of the Hanning window or Hamming window type, in order to output weighted sampled signals ⁇ y 1 ⁇ .
- a weighting window in particular of the Hanning window or Hamming window type
- time frames are then apodized with a weighting window, before applying a Fourier transform, in order to to minimize the edge effects due to the blanking cut performed by the cutting module 21.
- This conversion unit 2 comprises, at the output of the windowing module 22, a calculation module 23 of a discrete Fourier transform which outputs the noisy signal Y k, l .
- the switching module 21 receives as input the noisy acoustic signal y (t) and outputs the sampled signal y 1 , where I is the time index (or index of the time frame).
- the calculation of the Discrete Fourier Transform is for example carried out by a Fast Fourier Transform (FFT) calculation with a size N which can be equal to 256 (N corresponds to the number of points of the Fourier transform).
- FFT Fast Fourier Transform
- the system 1 comprises, at the output of the conversion unit 2, a digital processing unit 3 in the frequency domain which carries out denoising or speech enhancement processing on the noisy signal Y k, l .
- This digital processing unit 3 comprises a first extraction module 31 of the square module
- this digital processing unit 3 comprises a second extraction module 32 of the phase ⁇ k, 1 of the noisy signal Y k, l . As detailed later, it is also conceivable to dispense with this second extraction module 32.
- the digital processing unit 3 comprises, at the output of the first extraction module 31, an estimation module 33, called "MCRA", of a noise component D k, 1 contained in the noisy signal Y k, l from the square module
- MCRA estimation module 33
- the estimation module "MCRA” 33 thus outputs the noise component D k, l .
- the frequency band can for example be divided into three frequency sub-bands, namely SB 1 for f i ⁇ 1000 Hz, SB 2 for 1000 Hz ⁇ f i ⁇ 2000 Hz and finally SB 3 for f i > 2000 Hz, where f i is the subband frequency.
- the digital processing unit 3 comprises, at the output of the estimation module "MCRA” 33 and the module of division 34 of the frequency band, an estimation module 35, called “SSMB", of the square module
- the principle of the multi-band spectral subtraction algorithm proceeds from a generalization of the spectral subtraction algorithm which consists in subtracting from the spectral power density of the noisy signal Y k, l coming from the microphone a portion of the spectral power density of the noise component estimated by the "MCRA" method.
- This multi-band spectral subtraction algorithm is combined with the so-called OLA overlay and addition method.
- ⁇ i ⁇ ⁇ vs ⁇ 1 if SNR k , l , i ⁇ SNR 1 ⁇ vs ⁇ 2 + ⁇ vs ⁇ 3 ⁇ SNR k , l , i if SNR 1 ⁇ SNR k , l , i ⁇ SNR 2 ⁇ vs ⁇ 4 if SNR k , l , i > SNR 2
- ⁇ c1 , ⁇ c2 , ⁇ c3 and ⁇ c4 are predetermined constants
- SNR 1 and SNR 2 are the predetermined thresholds.
- ⁇ i ⁇ 5 if SNR k , l , i ⁇ - 5 4 - 3 20 ⁇ SNR k , l , i if - 5 ⁇ SNR k , l , i ⁇ 20 1 if SNR k , l , i > 20
- ⁇ i ⁇ 1 if f i ⁇ 1000 first sub - bandaged SB 1 2.75 if 1000 ⁇ f i ⁇ 2000 second sub - bandaged SB 2 1.75 if f i > 2000 third sub - bandaged SB 3
- the digital processing unit 3 also comprises, at the output of the estimation module "SSMB" 35 and the second extraction module 32, a module 36 for determining an output denoised signal SD k, l from the modules square
- the system 1 implements a step of reinjection of a very small part of the noisy signal Y k , 1 , coming from the microphone, into the denoised signal X k, l ; the reinjected signal corresponding to the amplified signal ⁇
- the distortion problems introduced by the "MCRA” 33 and "SSMB” estimation modules 35 are remedied.
- the system 1 comprises, at the output of the digital processing unit 3, a conversion unit 4 in the time domain.
- This conversion unit 4 comprises a calculation module 41 of an output signal Sd 1 specific to each time frame I by the application of an inverse Fourier transform of the output denoised signal SD k, l .
- IFFT inverse fast Fourier Transform
- This conversion unit 4 comprises, at the output of the calculation module 41, a reconstruction module 42 of a speech output signal sd (t) in the time domain from the output signals Sd 1 .
- the time frame of the output denoised signal SD k, 1 passes through the calculation module 41 of the inverse Fourier transform, then its first half (N / 2 first sampling points). is added with the second half (N / 2 last sampling points) saved from the previous frame, while its second half (N / 2 first sampling points) is saved for the next block.
- N / 2 which is equal to 128, being reminded that the recovery rate of two successive frames is fifty percent (50%).
- the system 1 does not include the second extraction module 32 of the phase ⁇ k, 1 of the noisy signal Y k, l .
- the recombination sub-module 362 of the de-banded components of sub-band X k, l, i calculates the denoised signal X k, l from the modules
- System 1 of the figure 3 is a variant of the system 1 of the figure 2 without the second extraction module 32, but it is of course also conceivable to provide for the removal of the second extraction module 32 in the system 1 of the figure 1 .
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Quality & Reliability (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Circuit For Audible Band Transducer (AREA)
- Soundproofing, Sound Blocking, And Sound Damping (AREA)
- Noise Elimination (AREA)
Claims (12)
- Verfahren zur Reduzierung des Rauschens auf einem verrauschten akustischen System y(t), das von einem Mikrofon stammt, das in einem verrauschten Umfeld funktioniert, umfassend die folgenden aufeinander folgenden Schritte:a) Umwandeln des verrauschen akustischen Signals y(t) .im Zeitbereich in ein verrauschtes Signal Yk,l im Frequenzbereich durch zeitliches Schneiden des verrauschten akustischen Signals y(t) in abgetastete Signale yl in aufeinander folgenden Zeitrastern I, Fensterung der abgetasteten Signale yl durch Anwenden eines Gewichtungsfensters und Anwendung einer diskreten Fourier-Transformation mit Extraktion des viereckigen Moduls |Yk,l|2, und eventuell der Phase θk,l, des verrauschten Signals Yk,l;b) Schätzen einer Rauschkomponente D̂k,l, enthalten die im verrauschten Signal Yk,l, ausgehend vom viereckigen Modul |Yk,l|2, durch einen Algorithmus zur Schätzung der Leistungsspektraldichte der Rauschkomponente gemäß einem rekursiven Mittelungsverfahren der gesteuerten Minima, genannt "MCRA".
dadurch gekennzeichnet, dass es aussenden, nach dem Schritt b), die folgenden aufeinander folgenden Schritte umfasst:c) Schneiden des Frequenzbandes in mehrere Unter-Frequenzbänder SBi=[ei, bi],gefolgt von einer Mehrband-Zersetzung des viereckigen Moduls |Yk,l|2 und des Rauschbestandteils D̂k,l, bestehend aus der Zersetzung des viereckigen Moduls |Yk,l|2 und die Rauschkomponente D̂k,l .in jeweils mehrere viereckige Unterband-Module |Yk,l,i|2 und mehrere Unterband-Geräuschbestandteile D̂k,l,i, die jedem der Unterbänder SBi eigen sind;d) Schätzen, für jedes der Unterbänder SBi, .des viereckigen Moduls |X̂k,l,i| 2 einer entrauschten Komponente des Unterbands X̂k,l,i die jedem Unterband SBi eines entrauschten Signals X̂k,l, eigen ist, durch einen Algorithmus zur spektralen Mehrband-Subtraktion, genannt "SSMB", ausgehend von den viereckigen Unterband-Modulen |Yk,l,i|2 und den Unterband-Geräuschbestandteilen D̂k,l,i;e) Bestimmen eines entrauschten Ausgangssignals SDk,l ausgehend von den viereckigen Modulen |X̂k,l,i|2, die aus dem Schritt d) stammen, und eventuell den Phasen θk,l, extrahiert im Schritt a);f) Umwandeln des entrauschten Ausgangssignals SDk,l .in ein entrauschtes Ausgangs-Sprachsignal sd(t) im Zeitbereich durch einen Schritt f.1) zur Berechnung eines abgetasteten Ausgangssignal Sdi, das jedem Zeitraster I eigen ist, durch die Anwendung einer inversen Fourier-Transformation des entrauschten Ausgangssignals SDk,l, gefolgt von einem Schritt f.2) zur zeitlichen Rekonstruktion des entrauschten Ausgangs-Sprachsignals sd(t) ausgehend von den abgetasteten Ausgangssignalen Sdi,
und wobei der Schritt e) aus Folgendem besteht:- Bestimmen, für jedes der Unterbänder SBi, des viereckigen Moduls |X̂k,l,i|2 einer kombinierten entrauschten Komponente des Unterbandes
wobei γ ein vorbestimmter Erweiterungskoefifizient ist, der vorzugsweise zwischen 0,01 und 0,1 liegt; - Verfahren nach Anspruch 1, in dem der Algorithmus zur Schätzung der Leistungsspektraldichte der Rauschkomponente .gemäß dem rekursiven Mittelungsverfahren der gesteuerten Minima, genannt "MCRA" beim Schritt b) die folgenden Berechnungsphasen durchführt:b.1) Berechnung einer gefilterten verrauschten Komponente Sk,l die der folgenden Gleichung entspricht:
wobei αs eine charakteristische vorbestimmte Konstante eines Tiefpassfilters ist;b.2) Berechnung einer Wahrscheinlichkeitsdichte der Anwesenheit von Sprache p̃k,l, durch die Durchführung der folgenden progressiven Berechnung:(i) Berechnung einer minimalen spektralen Komponente Smink,l mit- wenn rem(k,l) = 0, dann Smink,l = min (Smink,l-1; Sk,l) und Stmpk,l = Sk,l- wenn rem(k,l) ≠ 0, dann Smink,l = min (Stmpk,l-1; Sk,l) und Stmpk,l = min (Stmpk,l; Sk,l)
wobei rem(k,l) der Rest der ganzzahligen Division von k durch I ist, dann(iii) Berechnung einer Anzeigevariablen Ik,l mit:- wenn Srk,l > δTH, dann Ik,l = 1- wenn Srk,1 ≤ δTH, dann Ik,l = 0
wobei δTH ein vorbestimmter Parameter mit fester Schwelle zum Nachweis von Sprache ist;b.3) Berechnung eines Koeffizienten α̃k,l, der der folgenden Gleichung entspricht:
wobei α eine vorbestimmte Konstante ist; - Verfahren nach einem der Ansprüche 1 und 2, wobei der Algorithmus zur spektralen Mehrband-Subtraktion, genannt "SSMB" von Schritt d) die folgenden Berechnungsphasen für jedes der Unterbänder SBi durchführt:d.1) Berechnung einer Bezechung Signal - Rauschen SNRk,l,i, die jedem Unterband SBi eigen ist, die der folgenden Formel entspricht:d.2) Berechnung des viereckigen Moduls |X̂k,l,i|2 der entrauschten Komponente des Unterbands X̂k,l,i, die jedem Unterband SBi eigen ist, gemäß der folgenden Gleichung:
wobei δi ein variabler Parameter in Funktion des entsprechenden Unterbandes SBi ist, der verschiedene Werte von einem zum anderen Unterband annimmt;- αi ein variabler Parameter ist, der vom Wert der Beziehung zwischen Signal - Rauschen SNRk,l,i abhängt, berechnet im entsprechenden Unterband SBi; und- β eine Konstante ist. - Verfahren nach einem der Ansprüche 1 und 4, wobei der Schritt e) aus der Bestimmung des entrauschten Signals X̂k,l ausgehend von den viereckigen Modulen |X̂k,l,i|2 der entrauschten Komponenten des Unterbands X̂k,l,i, und eventuell den Phasen θk,l, extrahiert in Schritt a), besteht, so dass das entrauschte Ausgangssignal SDk,l dem entrauschten Signal X̂k,l entspricht, d.h. SDk,l = X̂k,l.
- Verfahren nach einem der Ansprüche 1 bis 5, wobei der Schritt f.2) aus dem Rekonstruktion des entrauschten Ausgangs-Sprachsignals sd(t) lediglich ausgehend von den Ausgangssignalen Sd1, die aus Schritt f.1) stammen, besteht, wobei die Ausgangssignale Sd1 den inversen Fourier-Transformationen des entrauschten Ausgangssignals SDk,l entsprechen, die jedem Zeitraster I eigen sind.
- Verfahren nach einem der Ansprüche 1 bis 5, wobei der Schritt f.2) für jedes Zeitraster I aus Folgendem besteht:g) Berechnen einer Beziehung Signal - Rauschen ri, die dem Zeitraster I eigen ist, ausgehend von dem viereckigen Modul |Yk,l|2 und der Rauschkomponente D̂k,l;h) Vergleichen der Beziehung Signal - Rauschen ri .mit einer vorbestimmten Schwelle ψTH;i) Rekonstruieren des entrauschten Ausgangs-Sprachsignals sd(t) ausgehend unter Berücksichtigung des Folgenden:- wenn die mittlere Beziehung Signal - Rauschen ri geringer als die Schwelle ψTH für das Zeitraster I ist, dann entspricht das Signal, berücksichtigt von der zeitlichen Rekonstruktion für dieses Zeitraster I, dem Ausgangssignal Sdl, das aus Schritt f.1) stammt;- wenn die mittlere Beziehung Signal Rauschen ri größer als die Schwelle ψTH für das Zeitraster I ist, dann entspricht das Signal, berücksichtigt von der Rekonstruktion für dieses Zeitraster I, dem abgetasteten Signal yl, das aus dem Schritt des Schneidens von Schritt a) stammt.
- Verfahren nach Anspruch 7, in dem der Schritt g) den folgenden Berechnungsalgorithmus für jedes Zeitraster I durchführt:g.1) Berechnung einer mittleren Rauschkomponente
D l .ausgehend von der Rauschkomponente D̂k,l, die im Schritt b) geschätzt wird und der folgenden Gleichung entspricht:
wobei M eine vorbestimmte Konstante ist, vorzugsweise gleich N oder N/2, wobei N die Anzahl der Abtastpunkte der Fourier-Transformation ist;g.2) Berechnung eines mittleren viereckigen Moduls|Yk,l| 2 des verrauschten Signals Yk,l, das der folgenden Gleichung entspricht:
g3) Berechnung einer gefilterten Komponente P1 .des mittleren viereckigen Moduls|Yk,l|2 das der folgenden Formel entspricht:
wobei - λ eine charakteristische vorbestimmte Konstante eines Tiefpassfilters ist, die vorzugsweise zwischen 0,80 und 0,99 liegt;
- Verfahren nach einem der vorhergehenden Ansprüche, in dem die Schritte a) und f) zur Umwandlung ein Verfahren zur Beschichtung und Zugabe, genannt "OLA" durchführen, umfassend:- für den Schritt a) ein Schneiden des verrauschten akustischen Signals y(t) in zeitliche Raster mit einer Beschichtung zwischen den aufeinander folgenden zeitlichen Rastern;- für den Schritt f.2) wird die Rekonstruktion des entrauschten Ausgangs-Sprachsignals sd(t)durch die aufeinander folgenden Zugaben der Teile mit Bedeckung der Signale mit zwei zeitlichen Rastern durchgeführt.
- System (1) zur Reduzierung des Rauschens auf einem verrauschten akustischen Signal y(t), das von einem Mikrofon stammt, das in einem verrauschten Umfeld funktioniert, umfassend:- eine Umwandlungseinheit (2) des verrauschten akustischen Signals y(t). im Zeitbereich in ein verrauschtes Signal Yk,l im Frequenzbereich, umfassend:- ein Modul zum Schneiden (21) des verrauschten akustischen Signals y(t) in abgetastete Signale yi in aufeinander folgenden Zeitrastern I;- am Ausgang des Schneidemoduls (21) ein Fensterungsmodul (22) der abgetasteten Signale yl durch Anwendung eines Gewichtungsfensters;- am Ausgang des Fensterungsmoduls (22) ein Berechnungsmodul (23) einer diskreten Fourier-Transformation, die am Ausgang das verrauschte Modul Yk,l liefert,- eine numerische Behandlungseinheit (3)im Frequenzbereich, umfassend, am Ausgang der Umwandlungseinheit:- ein erstes Extraktionsmodul (31) des viereckigen Moduls |Yk,l|2 des verrauschten Signals Yk,l; .und eventuell ein zweites Extraktionsmodul (32) der Phase θk,l des verrauschten Signals Yk,l,- am Ausgang des ersten Extraktionsmoduls (31), ein Schätzungsmodul (33), genannt "MCRA", einer Rauschkomponente D̂k,l, enthalten im verrauschten Signal Yk,l, ausgehend vom viereckigen Modul |Yk,l|2, das aus dem ersten Extraktionsmodul (31) stammt, durch einen Algorithmus zur Schätzung der Leistungsspektraldichte der Rauschkomponente gemäß einem rekursiven Mittelungsverfahren der gesteuerten Minima, genannt "MCRA",- am Ausgang des ersten Extraktionsmoduls (31), ein Modul zum Schneiden (34) des Frequenzbandes in mehrere Frequenzunterbänder SBi=[ei, bi], insbesondere vom Typ Filterbank;- am Ausgang des Schätzungsmoduls "MCRA" (33) und des Schneidemoduls (34) des Frequenzbandes ein Schätzungsmodul (35), genannt "SSMB", .des viereckigen Moduls |X̂k,l,i|2 einer entrauschten Komponente des Unterbands X̂k,l,i, die jedem Unterband SBi eines entrauschten Signals X̂k,l eigen ist, durch einen Algorithmus zur spektralen Mehrband-Subtraktion ausgehend von viereckigen Unterbandmodulen |Yk,l,i|2 und Unterband-Geräuschbestandteilen Dk,l,i;- am Ausgang des Schätzungsmodul "SSMB" (35), .und eventuell des zweiten Extraktionsmoduls (32) ein Modul zum Bestimmen (36) eines entrauschten Ausgangssignals SDk,l ausgehend von den viereckigen Modulen |X̂k,l,i|2 und eventuell den Phasen θk,l;- eine Umwandlungseinheit (4) im Zeitbereich, umfassend am Ausgang der numerischen Behandlungseinheit (3):- ein Berechnungsmodul (41) eines Ausgangssignals Sdi .das jedem Zeitraster I eigen ist, durch das Anwenden einer inversen Fourier-Transformation des entrauschten Ausgangssignals SDk,l; und- ein Rekonstruktionsmodul (42) .eines entrauschten Ausgangs-Sprachsignals sd(t) im Zeitbereich, ausgehend von den Ausgangssignalen Sdi, in dem das Modul zum Bestimmen (36) eines entrauschten Ausgangssignals SDk,l Folgendes umfasst:- am Ausgang des ersten Extraktionsmoduls (31), ein Erweiterungsuntermodul (363). gemäß einem Erweiterungskoeffizienten γ, .der vorzugsweise zwischen 0,01 und 0,1 liegt; um ein erweitertes Signal γ |Yk,l|2 zu liefern;- am Ausgang des Schätzungsmoduls "SSMB" (35) .ein Addier-Untermodul (364), das geeignet ist, um das erweiterte Modul γ |Yk,l|2 und die viereckigen Module |X̂k,l,i|2 zu addieren, um am Ausgang das viereckige Modul
das der entsprechenden Gleichung entspricht:- ein wurzelquadratisches Untermodul (361), um das Modul - System (1) nach Anspruch 10, in dem das Modul zum Bestimmen (36) des entrauschten Ausgangssignals SDk,l Folgendes umfasst:- ein wurzelquadratisches Untermodul (361), um das viereckige Modul |X̂k,l,i| der entrauschten Komponenten des Unterbands X̂k,l,i zu berechnen und- ein Untermodul zur Neukombination (362) der entrauschten Komponenten des Unterbands X̂k,l,i um das entrauschte Signal X̂k,l ausgehend von den Modulen |X̂k,l,i| und eventuell den Phasen θk,l zu erhalten, so dass das entrauschte Ausgangssignal SDk,l .dem kombinierten entrauschten Signal X̂k,l entspricht, d.h. SDk,l = X̂k,l.
- System (1) nach einem der Ansprüche 10 bis 11, wobei die numerische Behandlungseinheit (3) außerdem am Ausgang des Schätzungsmoduls "MCRA" (33) ein Modul zum Nachweis des Rauschens (37) umfasst, umfassend:- ein Modul zur Berechnung einer Beziehung Signal - Rauschen ri, das jedem Zeitraster I eigen ist, ausgehend vom viereckigen Modul |Yk,l|2 und der Rauschkomponente D̂k,l.- ein Modul zur Berechnung der Beziehung Signal - Rauschen ri, die jedem Zeitraster I eigen ist, mit einer vorbestimmten Schwelle ψTH;- ein Steuermodul des Rekonstruktionsmoduls (42) .des entrauschten Ausgangs-Sprachsignals sd(t), das entworfen ist, dass- wenn die mittlere Beziehung Signal - Rauschen ri geringer als die Schwelle ψPTH für das Zeitraster I ist, dann entspricht das Signal, berücksichtigt vor der Rekonstruktion für dieses Zeitraster I, dem Ausgangssignal Sdl, das aus dem Berechnungsmodul des Ausgangssignals Sdi stammt,- wenn die mittlere Beziehung Signal - Rauschen ri höher als die Schwelle ψTH für das Zeitraster I ist, dann entspricht das Signal, berücksichtigt vor der Rekonstruktion für dieses Zeitraster I, dem abgetasteten Signal yl, das aus dem Schneidemodul des verrauschten akustischen Signals y(t) stammt.
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
FR1153507A FR2974443B1 (fr) | 2011-04-22 | 2011-04-22 | Procede et systeme de reduction du bruit |
Publications (2)
Publication Number | Publication Date |
---|---|
EP2515300A1 EP2515300A1 (de) | 2012-10-24 |
EP2515300B1 true EP2515300B1 (de) | 2014-05-14 |
Family
ID=44243603
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
EP20120163679 Not-in-force EP2515300B1 (de) | 2011-04-22 | 2012-04-11 | Verfahren und System für die Geräuschunterdrückung |
Country Status (4)
Country | Link |
---|---|
EP (1) | EP2515300B1 (de) |
ES (1) | ES2492698T3 (de) |
FR (1) | FR2974443B1 (de) |
PT (1) | PT2515300E (de) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111854920A (zh) * | 2020-07-24 | 2020-10-30 | 贵州电网有限责任公司 | 一种基于dvs振动监测信号的预处理方法及系统 |
CN113367676B (zh) * | 2021-06-07 | 2022-06-21 | 广东电网有限责任公司 | 一种用于可穿戴式设备的ppg运动噪声滤波方法及装置 |
CN116495946B (zh) * | 2023-06-27 | 2023-10-13 | 珠江水利委员会珠江水利科学研究院 | 一种用于城市雨污水截污调蓄和清淤综合处理方法及系统 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DK1326479T4 (en) * | 1997-04-16 | 2018-09-03 | Semiconductor Components Ind Llc | Method and apparatus for noise reduction, especially in hearing aids. |
-
2011
- 2011-04-22 FR FR1153507A patent/FR2974443B1/fr not_active Expired - Fee Related
-
2012
- 2012-04-11 EP EP20120163679 patent/EP2515300B1/de not_active Not-in-force
- 2012-04-11 ES ES12163679.9T patent/ES2492698T3/es active Active
- 2012-04-11 PT PT12163679T patent/PT2515300E/pt unknown
Also Published As
Publication number | Publication date |
---|---|
EP2515300A1 (de) | 2012-10-24 |
FR2974443A1 (fr) | 2012-10-26 |
FR2974443B1 (fr) | 2013-04-26 |
ES2492698T3 (es) | 2014-09-10 |
PT2515300E (pt) | 2014-08-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP1356461B1 (de) | Rauschverminderungsverfahren und -einrichtung | |
EP1789956B1 (de) | Verfahren zum verarbeiten eines rauschbehafteten tonsignals und einrichtung zur implementierung des verfahrens | |
EP2002428B1 (de) | Verfahren zur trainierten diskrimination und dämpfung von echos eines digitalsignals in einem decoder und entsprechende einrichtung | |
EP2293594B1 (de) | Verfahren zur Filterung von seitlichem nichtstationärem Rauschen für ein Multimikrofon-Audiogerät | |
EP1016072B1 (de) | Verfahren und vorrichtung zur rauschunterdrückung eines digitalen sprachsignals | |
US8010355B2 (en) | Low complexity noise reduction method | |
EP2772916B1 (de) | Verfahren zur Geräuschdämpfung eines Audiosignals mit Hilfe eines Algorithmus mit variabler Spektralverstärkung mit dynamisch modulierbarer Härte | |
FR2771542A1 (fr) | Procede de filtrage frequentiel applique au debruitage de signaux sonores mettant en oeuvre un filtre de wiener | |
FR3012928A1 (fr) | Modificateurs reposant sur un snr estime exterieurement pour des calculs internes de mmse | |
EP0752181A1 (de) | Echokompensation mit adaptivem filter im frequenzbereich | |
EP1016071B1 (de) | Verfahren und vorrichtung zur sprachdetektion | |
EP2515300B1 (de) | Verfahren und System für die Geräuschunterdrückung | |
EP3192073B1 (de) | Unterscheidung und dämpfung von vorechos in einem digitalen audiosignal | |
EP1039736B1 (de) | Verfahren und Vorrichtung zur adaptiven Identifikation und entsprechender adaptiver Echokompensator | |
EP1429316A1 (de) | Verfahren und Vorrichtung zur multi-referenz Korrektur der durch ein Kommunikationsnetzwerk verursachten spektralen Sprachverzerrungen | |
FR2906070A1 (fr) | Reduction de bruit multi-reference pour des applications vocales en environnement automobile | |
EP1016073B1 (de) | Verfahren und vorrichtung zur rauschunterdrückung eines digitalen sprachsignals | |
EP1021805B1 (de) | Verfahren und vorrichtung zur verbesserung eines digitalen sprachsignals | |
FR2797343A1 (fr) | Procede et dispositif de detection d'activite vocale | |
FR2906071A1 (fr) | Reduction de bruit multibande avec une reference de bruit non acoustique | |
EP4287648A1 (de) | Elektronische vorrichtung und verarbeitungsverfahren, akustische vorrichtung und computerprogramm dafür | |
BE1020218A3 (fr) | Procede pour ameliorer la resolution temporelle des informations fournies par un filtre compose et dispositif correspondant. | |
WO1999027523A1 (fr) | Procede de reconstruction, apres debruitage, de signaux sonores | |
Malshikare et al. | The Speech Enhancement through Elimination of Impulsive Disturbance Using Log MMSE Filtering | |
FR3054338A1 (fr) | Procede de correction de defauts introduits par un systeme de numerisation et dispositifs associes |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PUAI | Public reference made under article 153(3) epc to a published international application that has entered the european phase |
Free format text: ORIGINAL CODE: 0009012 |
|
AK | Designated contracting states |
Kind code of ref document: A1 Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR |
|
AX | Request for extension of the european patent |
Extension state: BA ME |
|
17P | Request for examination filed |
Effective date: 20130308 |
|
REG | Reference to a national code |
Ref country code: DE Ref legal event code: R079 Ref document number: 602012001676 Country of ref document: DE Free format text: PREVIOUS MAIN CLASS: G10L0021020000 Ipc: G10L0021020800 |
|
GRAP | Despatch of communication of intention to grant a patent |
Free format text: ORIGINAL CODE: EPIDOSNIGR1 |
|
RIC1 | Information provided on ipc code assigned before grant |
Ipc: G10L 25/18 20130101ALN20131128BHEP Ipc: G10L 21/0208 20130101AFI20131128BHEP |
|
INTG | Intention to grant announced |
Effective date: 20131216 |
|
GRAS | Grant fee paid |
Free format text: ORIGINAL CODE: EPIDOSNIGR3 |
|
GRAA | (expected) grant |
Free format text: ORIGINAL CODE: 0009210 |
|
AK | Designated contracting states |
Kind code of ref document: B1 Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR |
|
REG | Reference to a national code |
Ref country code: GB Ref legal event code: FG4D Free format text: NOT ENGLISH |
|
REG | Reference to a national code |
Ref country code: AT Ref legal event code: REF Ref document number: 668811 Country of ref document: AT Kind code of ref document: T Effective date: 20140615 |
|
REG | Reference to a national code |
Ref country code: IE Ref legal event code: FG4D Free format text: LANGUAGE OF EP DOCUMENT: FRENCH |
|
REG | Reference to a national code |
Ref country code: DE Ref legal event code: R096 Ref document number: 602012001676 Country of ref document: DE Effective date: 20140703 |
|
REG | Reference to a national code |
Ref country code: CH Ref legal event code: NV Representative=s name: CABINET GERMAIN ET MAUREAU, FR |
|
REG | Reference to a national code |
Ref country code: PT Ref legal event code: SC4A Free format text: AVAILABILITY OF NATIONAL TRANSLATION Effective date: 20140811 |
|
REG | Reference to a national code |
Ref country code: SE Ref legal event code: TRGR |
|
REG | Reference to a national code |
Ref country code: NL Ref legal event code: VDEP Effective date: 20140514 |
|
REG | Reference to a national code |
Ref country code: LT Ref legal event code: MG4D |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: LT Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20140514 Ref country code: FI Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20140514 Ref country code: GR Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20140815 Ref country code: IS Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20140914 Ref country code: NO Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20140814 Ref country code: CY Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20140514 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: HR Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20140514 Ref country code: RS Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20140514 Ref country code: PL Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20140514 Ref country code: LV Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20140514 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: CZ Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20140514 Ref country code: RO Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20140514 Ref country code: DK Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20140514 Ref country code: EE Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20140514 Ref country code: SK Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20140514 |
|
REG | Reference to a national code |
Ref country code: DE Ref legal event code: R097 Ref document number: 602012001676 Country of ref document: DE |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: NL Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20140514 |
|
PLBE | No opposition filed within time limit |
Free format text: ORIGINAL CODE: 0009261 |
|
STAA | Information on the status of an ep patent application or granted ep patent |
Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT |
|
26N | No opposition filed |
Effective date: 20150217 |
|
REG | Reference to a national code |
Ref country code: DE Ref legal event code: R097 Ref document number: 602012001676 Country of ref document: DE Effective date: 20150217 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: SI Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20140514 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: LU Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20150411 Ref country code: MC Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20140514 |
|
REG | Reference to a national code |
Ref country code: IE Ref legal event code: MM4A |
|
REG | Reference to a national code |
Ref country code: FR Ref legal event code: PLFP Year of fee payment: 5 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: IE Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20150411 |
|
PGFP | Annual fee paid to national office [announced via postgrant information from national office to epo] |
Ref country code: CH Payment date: 20160315 Year of fee payment: 5 |
|
PGFP | Annual fee paid to national office [announced via postgrant information from national office to epo] |
Ref country code: PT Payment date: 20160317 Year of fee payment: 5 Ref country code: FR Payment date: 20160310 Year of fee payment: 5 |
|
PGFP | Annual fee paid to national office [announced via postgrant information from national office to epo] |
Ref country code: ES Payment date: 20160504 Year of fee payment: 5 Ref country code: DE Payment date: 20160316 Year of fee payment: 5 |
|
PGFP | Annual fee paid to national office [announced via postgrant information from national office to epo] |
Ref country code: IT Payment date: 20160412 Year of fee payment: 5 Ref country code: BE Payment date: 20160421 Year of fee payment: 5 Ref country code: SE Payment date: 20160415 Year of fee payment: 5 |
|
GBPC | Gb: european patent ceased through non-payment of renewal fee |
Effective date: 20160411 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: MT Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20140514 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: GB Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20160411 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: BG Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20140514 Ref country code: HU Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT; INVALID AB INITIO Effective date: 20120411 Ref country code: SM Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20140514 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: TR Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20140514 |
|
REG | Reference to a national code |
Ref country code: DE Ref legal event code: R119 Ref document number: 602012001676 Country of ref document: DE |
|
REG | Reference to a national code |
Ref country code: CH Ref legal event code: PL |
|
REG | Reference to a national code |
Ref country code: FR Ref legal event code: ST Effective date: 20171229 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: DE Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20171103 Ref country code: FR Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20170502 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: CH Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20170430 Ref country code: LI Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20170430 Ref country code: SE Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20170412 Ref country code: PT Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20171011 |
|
REG | Reference to a national code |
Ref country code: BE Ref legal event code: MM Effective date: 20170430 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: IT Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20170411 Ref country code: BE Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20170430 |
|
REG | Reference to a national code |
Ref country code: AT Ref legal event code: MM01 Ref document number: 668811 Country of ref document: AT Kind code of ref document: T Effective date: 20170411 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: MK Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20140514 |
|
REG | Reference to a national code |
Ref country code: ES Ref legal event code: FD2A Effective date: 20180629 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: ES Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20170412 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: AT Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20170411 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: AL Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20140514 |