EP0912974B1 - Method of reducing voice signal interference - Google Patents

Method of reducing voice signal interference Download PDF

Info

Publication number
EP0912974B1
EP0912974B1 EP97930489A EP97930489A EP0912974B1 EP 0912974 B1 EP0912974 B1 EP 0912974B1 EP 97930489 A EP97930489 A EP 97930489A EP 97930489 A EP97930489 A EP 97930489A EP 0912974 B1 EP0912974 B1 EP 0912974B1
Authority
EP
European Patent Office
Prior art keywords
masking curve
noise
signal
spectral
masking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
EP97930489A
Other languages
German (de)
French (fr)
Other versions
EP0912974A1 (en
Inventor
Peter SCHRÖGMEIER
Tim Haulick
Klaus Linhard
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mercedes Benz Group AG
Original Assignee
DaimlerChrysler AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by DaimlerChrysler AG filed Critical DaimlerChrysler AG
Publication of EP0912974A1 publication Critical patent/EP0912974A1/en
Application granted granted Critical
Publication of EP0912974B1 publication Critical patent/EP0912974B1/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering
    • G10L21/0264Noise filtering characterised by the type of parameter measurement, e.g. correlation techniques, zero crossing techniques or predictive techniques

Definitions

  • the invention relates to a method for reducing Interference with a speech signal.
  • Measures to suppress "musical tones" at the spectral subtraction are the overestimation of the interference power overcompensation of the disturbance with the disadvantage the increased speech distortion or allowing one relatively high noise level with the disadvantage of only one low noise reduction (e.g. "Enhancement of Speech Corrupted by Acoustic Noise "by Berouti, M .; Schwartz, R .; Makhoul, J .; in Proceedings on ICASSP, pp. 208-211, 1979).
  • Methods for linear or non-linear smoothing and thus to suppress the "musical tones” e.g. in “Suppression of Acoustic Noise in Speech Using Spectral Subtraction "by S.F. Boll in IEEE Vol. ASSP-27, No. 2, pp. 113-120.
  • An effective non-linear Smoothing with median filtering is in the DE 44 05 723 A1 specified.
  • the object of the present invention is an improved Method of reducing speech signal interference specify.
  • the invention is essentially based on the fact that signal components, which can only be heard individually through noise reduction appear, recognized as disturbances and afterwards reduced or eliminated by selective damping become.
  • the audibility criterion is in is known to exceed a masking curve (masking threshold).
  • fl as the predeterminable basic value (also spectral floor), which represents a lower bound for the filter coefficients and is usually 0.1 ⁇ fl ⁇ 0.25. He decides one in the output signal of the spectral subtraction remaining amount of residual noise that the lowering of the Listening threshold limited and so narrowband portions in noise-reduced output signal of the spectral subtraction partially covered. Compliance with a core value fl improves the subjective hearing impression.
  • a characteristic used in the method according to the invention is that they in the output signal of the noise reduction process for that human ear perceptible as a disturbance in appearance to step.
  • the second concealment curve makes it noticeable quantified for this output signal become.
  • the level threshold of second concealment curve exceeding language useful portions in the output signal, which is already in the input signal as exceeding the level of the first masking curve
  • the musical tones can be perceived by comparison the perceptible signal components in the output signal and input signal noise reduction as new audible components distinguished and in a subsequent processing step be selectively damped selectively.
  • the invention is not for spectral subtraction Noise reduction limited.

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Noise Elimination (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Soundproofing, Sound Blocking, And Sound Damping (AREA)
  • Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)

Abstract

In a method for reducing interferences in a voice signal, a noise reduction method is applied to the voice signal, and spectral psychoacoustic masking is taken into account. A spectral masking curve is determined both for the input signal and the output signal of the noise reduction method. By comparing the signal portions exceeding the respective masking curve, newly-audible portions are detected in the form of interference in the output signal and subsequently damped selectively.

Description

Die Erfindung betrifft ein Verfahren zur Verringerung von Störungen eines Sprachsignals.The invention relates to a method for reducing Interference with a speech signal.

Ein derartiges Verfahren kann vorteilhaft Anwendung zur Störbefreiung von Sprachsignalen für sprachliche Kommunikation, insbesondere Freisprechanlagen z.B. in Kraftfahrzeugen, Spracherkennungssystemen und ähnlichem finden.Such a method can advantageously be used for Interference-free speech signals for speech communication, especially hands-free kits e.g. in motor vehicles, Find speech recognition systems and the like.

Ein häufig verwandtes Verfahren zur Reduktion des Geräuschanteils in störungsbehafteten Sprachsignalen ist die sogenannte spektrale Subtraktion. Dieses Verfahren hat den Vorteil der einfachen aufwandsarmen Implementierung und einer deutlichen Geräuschreduktion.A commonly used method to reduce the amount of noise in speech signals with interference, the so-called spectral subtraction. This procedure has the advantage of simple, low-effort implementation and a significant reduction in noise.

Eine unangenehme Begleiterscheinung der Geräuschreduktion mittels spektraler Subtraktion ist das Auftreten von kurzzeitig hörbaren tonalen Geräuschanteilen, die aufgrund des vermittelten Höreindrucks als "musical tones" oder "musical noise" bezeichnet werden.An unpleasant side effect of noise reduction by means of spectral subtraction, the occurrence of is short-term audible tonal noise components, which due to the mediated hearing impression as "musical tones" or "musical noise ".

Maßnahmen zur Unterdrückung von "musical tones" bei der spektralen Subtraktion sind die Überschätzung der Störleistung also die Überkompensation der Störung mit dem Nachteil der erhöhten Sprachverzerrung oder das Zulassen eines relativ hohen Geräuschsockels mit dem Nachteil einer nur geringen Geräuschreduktion (z.B. "Enhancement of Speech Corrupted by Acoustic Noise" von Berouti, M.; Schwartz, R.; Makhoul, J.; in Proceedings on ICASSP, pp. 208-211, 1979). Verfahren zur linearen oder nichtlinearen Glättung und damit zur Unterdrückung der "musical tones" werden z.B. in "Suppression of Acoustic Noise in Speech Using Spectral Subtraction" von S.F. Boll in IEEE Vol. ASSP-27, Nr. 2, pp. 113-120 beschrieben. Ein effektives nichtlineares Glättungsverfahren mit Medianfilterung ist in der DE 44 05 723 A1 angegeben.Measures to suppress "musical tones" at the spectral subtraction are the overestimation of the interference power overcompensation of the disturbance with the disadvantage the increased speech distortion or allowing one relatively high noise level with the disadvantage of only one low noise reduction (e.g. "Enhancement of Speech Corrupted by Acoustic Noise "by Berouti, M .; Schwartz, R .; Makhoul, J .; in Proceedings on ICASSP, pp. 208-211, 1979). Methods for linear or non-linear smoothing and thus to suppress the "musical tones" e.g. in "Suppression of Acoustic Noise in Speech Using Spectral Subtraction "by S.F. Boll in IEEE Vol. ASSP-27, No. 2, pp. 113-120. An effective non-linear Smoothing with median filtering is in the DE 44 05 723 A1 specified.

Bekannt sind auch Verfahren welche zusätzlich zu der spektralen Subtraktion die psychoakustische Wahrnehmung mitberücksichtigen (z.B. T. Petersen und S. Boll, "Acoustic Noise Suppression in a Peceptual Model" in Proc. on ICASSP, pp. 1086-1088, 1981). Die Signale werden in den Bereich der psychoakustischen Lautheit transformiert um so eine gehörgerechtere Verarbeitung durchzuführen. Von D. Methods which are in addition to the spectral are also known Subtraction take into account the psychoacoustic perception (e.g. T. Petersen and S. Boll, "Acoustic Noise Suppression in a Peceptual Model "in Proc. On ICASSP, pp. 1086-1088, 1981). The signals are in the The field of psychoacoustic loudness is transformed all the more to carry out more hearing-appropriate processing. From D.

Tsoukalas, P. Paraskevas und M. Mourjopoulos wird in "Speech Enhancement Using Psychoacoustic Criteria", Proc. on ICASSP, pp. II359-II362, 1993 und von G. Virag in "Speech Enhancement Based on Masking Properties of the Auditory System", Proc. on ICASSP, pp. 796-799, 1995, wird die errechnete Verdeckungskurve dazu benutzt, festzustellen, welche Spektrallinien vom Nutzsignal verdeckt sind und somit nicht gedämpft werden müssen. Die Qualität des Sprachsignals wird damit verbessert. Die störenden "musical tones" werden damit aber nicht verringert.Tsoukalas, P. Paraskevas and M. Mourjopoulos is published in "Speech Enhancement Using Psychoacoustic Criteria", Proc. on ICASSP, pp. II359-II362, 1993 and by G. Virag in "Speech Enhancement Based on Masking Properties of the Auditory System ", Proc. On ICASSP, pp. 796-799, 1995 uses the calculated masking curve to determine which spectral lines are covered by the useful signal and therefore do not need to be dampened. The quality of the Speech signal is thus improved. The disturbing "musical tones "are not reduced.

Aufgabe der vorliegenden Erfindung ist es, ein verbessertes Verfahren zur Verringerung von Störungen eines Sprachsignals anzugeben.The object of the present invention is an improved Method of reducing speech signal interference specify.

Die Erfindung ist im Patentanspruch 1 beschrieben. Die Unteransprüche enthalten vorteilhafte Ausgestaltungen und Weiterbildungen der Erfindung.The invention is described in claim 1. The subclaims contain advantageous configurations and Developments of the invention.

Die Erfindung basiert im wesentlichen darauf, daß Signalanteile, die erst durch die Geräuschreduktion einzeln hörbar in Erscheinung treten, als Störungen erkannt und nachträglich durch selektive Dämpfung verringert oder beseitigt werden. Als Hörbarkeitskriterium wird dabei in an sich bekannter Weise das Überschreiten einer Verdeckungskurve (masking threshold) herangezogen.The invention is essentially based on the fact that signal components, which can only be heard individually through noise reduction appear, recognized as disturbances and afterwards reduced or eliminated by selective damping become. The audibility criterion is in is known to exceed a masking curve (masking threshold).

Die Bestimmung von Verdeckungskurven ist z.B. aus Teilen des eingangs genannten Standes der Technik, in ausführlicher allgemeiner Form auch z.B. aus Sound Engineering, Kap. 2., Psychoakustik und Geräuschbeurteilung (S. 10-33), Expert Verlag 1994 bekannt. Die Bestimmung der Verdeckungskurven kann sowohl auf der Basis der aktuellen Sprachsignale als auch auf der Basis eines Geräuschsignals in Sprachpausen erfolgen, wobei verschiedene psychoakustische Effekte mit berücksichtigt werden können. Die Verdeckungskurven, die auch als Maskierungskurven, Mithörschwellen, masking threshold und ähnlich in der Fachliteratur bezeichnet sind, können als eine frequenzabhängige Pegelschwelle für die Wahrnehmbarkeit eines schmalbandigen Tons angesehen werden.The determination of masking curves is e.g. from parts of the aforementioned prior art, in more detail general form also e.g. from sound engineering, Cape. 2., psychoacoustics and noise assessment (pp. 10-33), Expert Verlag known in 1994. The determination of the masking curves can both based on the current Speech signals as well as on the basis of a noise signal take place during speech pauses, with different psychoacoustic Effects can be taken into account. The masking curves, which are also called masking curves, listening thresholds, masking threshold and similar in the specialist literature can be referred to as a frequency-dependent level threshold for the perceptibility of a narrow-band tone be considered.

Derartige Verdeckungskurven werden neben den Anwendungen zur Störbefreiung z.B. auch zur Datenreduktion bei der Kodierung von Audiosignalen eingesetzt. Eine ausführliche Vorgehensweise zur Bestimmung einer Verdeckungskurve ist neben den bereits genannten Veröffentlichungen auch z.B. aus "Transform Coding of Audio Signals Using Perceptual Noise Criteria" von J. Johnston in IEEE Journal on Select Areas Commun., Vol. 6, pp. 314-323, Febr. 1988 entnehmbar. Wesentliche Schritte eines typischen Verfahrens zur Bestimmung einer Verdeckungskurve aus dem Kurzzeitspektrum eines gestörten Sprachsignals sind insbesondere

  • Kritische Bandanalyse, bei welcher das Spektrum eines Signals in sogenannte kritische Bänder aufgeteilt und aus dem Leistungsspektrum P(i) durch Aufsummierung innerhalb der kritischen Bänder ein kritisches Band-Spektrum B(n) (auch Bark-Spektrum, mit n als Bandindex) gewonnen wird
  • Faltung des Bark-Spektrums mit einer Verbreiterungsfunktion (Spreading-Funktion) zur Berücksichtigung der Verdeckungseffekte über mehrere kritische Bänder hinweg; man erhält ein modifiziertes Bark-Spektrum
  • evtl. zusätzliche Berücksichtigung der unterschiedlichen Verdeckungseigenschaften von rauschhaften und tonhaften Anteilen durch einen aus der Zusammensetzung des Signals bestimmten Offsetfaktor
  • Nach Renormierung im Verhältnis zur jeweiligen Energie in den kritischen Bändern und ggf. Anhebung tieferliegender Werte auf die Werte der Ruhehörschwelle ergibt sich eine barkbezogene Verdeckungskurve T(n) und daraus eine frequenzbezogene Verdeckungskurve V(i) mit V(i) = T(n) für alle Frequenzen i innerhalb des jeweiligen kritischen Bandes n
Such concealment curves are used in addition to interference-free applications, for example also for data reduction when encoding audio signals. A detailed procedure for determining a masking curve is, in addition to the publications already mentioned, for example from "Transform Coding of Audio Signals Using Perceptual Noise Criteria" by J. Johnston in IEEE Journal on Select Areas Commun., Vol. 6, pp. 314-323, Feb. 1988. The essential steps of a typical method for determining a masking curve from the short-term spectrum of a disturbed speech signal are in particular
  • Critical band analysis, in which the spectrum of a signal is divided into so-called critical bands and a critical band spectrum B (n) (also Bark spectrum, with n as the band index) is obtained from the power spectrum P (i) by adding up within the critical bands
  • Folding the Bark spectrum with a spreading function to take into account the masking effects across several critical bands; a modified Bark spectrum is obtained
  • Possibly additional consideration of the different masking properties of noisy and tonal parts by an offset factor determined from the composition of the signal
  • After renormalization in relation to the respective energy in the critical bands and, if necessary, lowering values to the values of the resting hearing threshold, a bark-related masking curve T (n) results and from this a frequency-related masking curve V (i) with V (i) = T (n) for all frequencies i within the respective critical band n

Mit der bestimmten Verdeckungskurve V(i) können die Spektralanteile des Signales durch Vergleich des Leistungsspektrums P(i) mit der Verdeckungskurve V(i) in hörbare, (P(i) > V(i)) und verdeckte (P(i) < V(i)) Anteile unterschieden werden.With the determined masking curve V (i) the spectral components of the signal by comparing the range of services P (i) with the masking curve V (i) in audible, (P (i)> V (i)) and hidden (P (i) <V (i)) parts become.

Die Erfindung ist nachfolgend anhand von Beispielen unter Bezugnahme auf die Abbildungen noch eingehend veranschaulicht. Dabei zeigt

FIG. 1
ein Blockschaltbild eines Standardverfahrens zur spektralen Subtraktion
FIG. 2
ein Blockschaltbild zu einem Verfahren nach der Erfindung
FIG. 3
ein Sprachsignal in verschiedenen Stufen des erfindungsgemäßen Signalverarbeitungsverfahrens.
The invention is illustrated below by means of examples with reference to the figures. It shows
FIG. 1
a block diagram of a standard method for spectral subtraction
FIG. 2nd
a block diagram of a method according to the invention
FIG. 3rd
a speech signal in different stages of the signal processing method according to the invention.

Die Verfahren zur spektralen Subtraktion beruhen auf der Verarbeitung des Kurzzeitbetragsspektrums des gestörten Eingangssignals. In Sprachpausen wird das Störleistungsspektrum geschätzt und anschließend gleichphasig vom gestörten Eingangssignal subtrahiert. Diese Subtraktion wird üblicherweise als Filterung durchgeführt. Durch die Filterung erfolgt eine Gewichtung der gestörten Spektralkomponenten mit einem reellen Faktor, in Abhängigkeit vom geschätzten Signal-zu-Rauschverhältnis des jeweiligen Spektralbandes. Die Geräuschreduktion ergibt sich demnach dadurch, daß gestörte spektrale Bereiche des Nutzungssignals im Verhältnis ihres Störanteils gedämpft werden. Ein vereinfachtes Blockdiagram in FIG. 1 zeigt eine typische Realisierung des Spektralsubtraktionsalgorithmus. In einer Analysestufe erfolgt die Zerlegung des gestörten Sprachsignals, beispielsweise durch eine diskrete Fourier Transformation (DFT), in eine Reihe von Kurzzeitspektren Y(i). Aus den Fourier-Koeffizienten bildet die Einheit KM einen Kurzzeitmittelwert, der einen Schätzwert für die mittlere Leistung Y2(1) mit i als diskretem Frequenzindex des gestörten Eingangssignals darstellt. In einer Einheit LM erfolgt, gesteuert durch den Sprachpausendetektor SP, die Schätzung eines mittleren Störleistungsspektrums N2(1) in den sprachsignalfreien Abschnitten. Jede Spektrallinie Y(i) des Eingangssignals wird anschließend mit einem reellen Filterkoeffizienten H(i) multipliziert, der aus dem Kurzzeitmittelwert Y2(1) und dem Störleistungsmittelwert N2(1) in der Einheit FK berechnet wird. Der Verfahrensschritt der Geräuschreduktion ist als Multiplikationsstufe GR eingezeichnet. Durch eine inverse diskrete Fourier Transformation (IDFT) ergibt sich am Ausgang der Synthesestufe das geräuschreduzierte Sprachsignal.The methods for spectral subtraction are based on processing the short-term magnitude spectrum of the disturbed input signal. During speech pauses, the interference power spectrum is estimated and then subtracted in phase from the disturbed input signal. This subtraction is usually carried out as filtering. The filtering results in a weighting of the disturbed spectral components with a real factor, depending on the estimated signal-to-noise ratio of the respective spectral band. The noise reduction therefore results from the fact that disturbed spectral regions of the usage signal are damped in the ratio of their interference component. A simplified block diagram in FIG. 1 shows a typical implementation of the spectral subtraction algorithm. In an analysis stage, the disturbed speech signal is broken down, for example by a discrete Fourier transformation (DFT), into a series of short-term spectra Y (i). The unit KM forms a short-term mean value from the Fourier coefficients, which represents an estimated value for the mean power Y 2 (1) with i as the discrete frequency index of the disturbed input signal. In a unit LM, controlled by the speech pause detector SP, an average interference power spectrum N 2 (1) is estimated in the speech-free sections. Each spectral line Y (i) of the input signal is then multiplied by a real filter coefficient H (i), which is calculated from the short-term mean value Y 2 (1) and the interference power mean value N 2 (1) in the unit FK. The process step of noise reduction is shown as the multiplication level GR. An inverse discrete Fourier transformation (IDFT) results in the noise-reduced speech signal at the output of the synthesis stage.

Die Berechnung der Filterkoeffizienten H(i) kann nach unterschiedlichen, an sich bekannten Gewichtungsregeln erfolgten. Typisch ist die Schätzung der Koeffizienten nach H(i) = max { (1- N2(i)/Y2(i)), fl } The filter coefficients H (i) can be calculated according to different weighting rules known per se. The coefficients are typically estimated according to H (i) = max {(1- N 2nd (i) / Y 2nd (i) ), fl}

Mit fl als vorgebbarem Grundwert (auch spectral floor), der eine untere Schranke für die Filterkoeffizienten darstellt und üblicherweise 0,1 < fl < 0,25 beträgt. Er bestimmt einen im Ausgangssignal der spektralen Subtraktion verbleibenden Restgeräuschanteil, der das Absenken der Mithörschwelle begrenzt und so schmalbandige Anteile im geräuschreduzierten Ausgangssignal der spektralen Subtraktion teilweise verdeckt. Die Einhaltung eines Grundwerts fl verbessert den subjektiven Höreindruck.With fl as the predeterminable basic value (also spectral floor), which represents a lower bound for the filter coefficients and is usually 0.1 <fl <0.25. He decides one in the output signal of the spectral subtraction remaining amount of residual noise that the lowering of the Listening threshold limited and so narrowband portions in noise-reduced output signal of the spectral subtraction partially covered. Compliance with a core value fl improves the subjective hearing impression.

Zur Verdeckung aller Reststörungen der Art der "musical tones" müßte ein Grundwert von ca. 0,5 gewählt werden, wodurch die maximal erreichbare Geräuschreduktion auf etwa 6dB beschränkt wäre.To cover up any residual disturbances of the kind of "musical tones "a base value of approx. 0.5 would have to be chosen, which means the maximum achievable noise reduction to about 6dB would be limited.

Ein bei dem erfindungsgemäßen Verfahren genutztes charakteristisches Merkmal von musical tones ist, daß sie erst im Ausgangssignal des Geräuschreduktionsverfahrens für das menschliche Ohr wahrnehmbar als Störung in Erscheinung treten. Die Wahrnehmbarkeit kann durch die zweite Verdeckungskurve für dieses Ausgangssignal quantitativ erfaßt werden. Gegenüber den gleichfalls die Pegelschwelle der zweiten Verdeckungskurve überschreitenden Sprach-Nutzanteilen im Ausgangssignal, die auch bereits im Eingangssignal als Pegelüberschreitung der ersten Verdeckungskurve wahrnehmbar sind, können die musical tones durch Vergleich der wahrnehmbaren Signalanteile im Ausgangssignal und Eingangssignal der Geräuschreduktion als neue hörbare Anteile unterschieden und in einem nachfolgenden Verarbeitungsschritt gezielt selektiv gedämpft werden.A characteristic used in the method according to the invention The characteristic of musical tones is that they in the output signal of the noise reduction process for that human ear perceptible as a disturbance in appearance to step. The second concealment curve makes it noticeable quantified for this output signal become. Compared to the also the level threshold of second concealment curve exceeding language useful portions in the output signal, which is already in the input signal as exceeding the level of the first masking curve The musical tones can be perceived by comparison the perceptible signal components in the output signal and input signal noise reduction as new audible components distinguished and in a subsequent processing step be selectively damped selectively.

Das erfindungsgemäße Verfahren zur Detektion und Unterdrückung von schmalbandigen Störungen wie musical tones ist anhand des Blockschaltbildes in FIG. 2 erläutert. Es stellt eine Erweiterung des in FIG. 1 dargestellten Standardverfahrens zur spektralen Subtraktion dar. Soweit das skizzierte Verfahren in FIG. 2 mit dem in FIG. 1 skizzierten bekannten Verfahren übereinstimmt, sind gleiche Bezugszeichen verwandt. Aus den Eingangssignalen Y(i) der Geräuschreduktion GR wird in einer Einheit VE eine erste Verdeckungskurve V1(i) bestimmt. Aus den Ausgangssignalen Y'(i) der Geräuschreduktion wird in VA eine zweite Verdeckungskurve V2(i) bestimmt.The detection and suppression method according to the invention of narrowband interference like musical tones is based on the block diagram in FIG. 2 explained. It represents an extension of the in FIG. 1 standard procedure shown for spectral subtraction. As far as that outlined method in FIG. 2 with the in FIG. 1 outlined known methods matches, are the same reference numerals related. From the input signals Y (i) of Noise reduction GR becomes the first in a VE unit Masking curve V1 (i) determined. From the output signals Y '(i) of noise reduction becomes a second masking curve in VA V2 (i) determined.

Alternativ dazu kann die erste Verdeckungskurve V1(i) auch aus dem mittleren Störleistungsspektrum am Eingang der Geräuschreduktion in Sprachpausen bestimmt werden. Die zweite Verdeckungskurve kann auch aus der ersten Verdeckungskurve abgeleitet werden, z.B. durch Multiplikation mit dem Grundwert fl, V2(i) = fl° Vl(i). Alternatively, the first masking curve V1 (i) can also from the mean interference power spectrum at the entrance of the noise reduction can be determined during breaks in speech. The second masking curve can also be from the first masking curve derived, e.g. by multiplication with the basic value fl, V2 (i) = fl ° Vl (i).

Der Vorteil der Bestimmung der Verdeckungskurven aus den aktuellen Eingangs- und Ausgangssignalen der Geräuschreduktion besteht insbesondere darin, daß auch instationäre Geräuschanteile sowie die verdeckende Wirkung der Sprachanteile mitberücksichtigt werden. Wird dagegen die erste Verdeckungskurve aus dem mittleren Störleistungsspektrum ermittelt und die zweite Verdeckungskurve näherungsweise nach V2(i) = fl·V1(1) bestimmt, so ergibt sich eine erhebliche Verringerung der Rechenaufwands. Der Rechenaufwand kann weiter dadurch verringert werden, daß die Verdeckungskurve wesentlich weniger oft aktualisiert werden muß, da das mittlere Störleistungsspektrum in der Regel nur langsam zeitveränderlich ist. Das qualitativ bessere synthetisierte Sprachsignal wird aber mit der Bestimmung der Verdeckungskurven aus den aktuellen Signalen Y(i), Y'(i) erzielt.The advantage of determining the masking curves from the current input and output signals of noise reduction consists in particular that also transient Noise components and the concealing effect of the speech components be taken into account. In contrast, becomes the first Masking curve from the medium interference power spectrum determined and the second masking curve approximately determined according to V2 (i) = fl · V1 (1), the result is considerable Reduction of the computing effort. The computing effort can be further reduced in that the masking curve need to be updated much less often, since the average interference power spectrum is usually only is slowly changing over time. The better quality synthesized Speech signal is however with the determination of the Masking curves from the current signals Y (i), Y '(i) achieved.

Eine vorteilhafte Weiterbildung der Erfindung sieht eine weitere Verbesserung durch Detektion von stationären Signalanteilen, die von der selektiven Dämpfung ausgenommen werden, auch wenn sie das Kriterium nur im Ausgangssignal Y'(i) wahrnehmbar zu sein, erfüllen. In FIG. 2 ist hierfür ein Stationaritätsdetektor STAT eingezeichnet.An advantageous development of the invention provides one further improvement by detection of stationary signal components, exempt from selective damping even if they only meet the criterion in the output signal Y '(i) to be perceivable. In FIG. 2 is for this a stationarity detector STAT is drawn.

Er kann auf verschiedene Arten realisiert werden, beispielsweise durch die zeitliche Verfolgung einzelner Spektrallinien oder auch der Filterkoeffizienten. Eine einfache Realisierungsform ergibt sich mit der Forderung, daß mehrere zeitlich aufeinanderfolgende Filterkoeffizienten jeweils einen bestimmten Schwellwert thrstat überschreiten müssen, so daß gilt: Hk-n(i),..., Hk-l(i), Hk(i) > thrstat, mit z.B. n=2 und thrstat= 0,35.It can be implemented in various ways, for example by tracking individual spectral lines over time or the filter coefficients. A simple form of implementation results from the requirement that a plurality of successive filter coefficients each have to exceed a certain threshold value thr stat , so that: H kn (i), ..., H small (i), H k (i)> thr stat , with e.g. n = 2 and thr stat = 0.35.

Im Entscheider ENT werden zunächst mit Hilfe der zweiten Verdeckungskurve V2(i) hörbare tonale Komponenten im Ausgangssignal des Geräuschreduktionsystems ermittelt. Handelt es sich hierbei nicht um eine stationäre Komponente, wird untersucht, ob der Spektralanteil schon vor der Filterung (Geräuschreduktion) hörbar war. Dies erfolgt unter Verwendung der ersten Verdeckungskurve Vl(i). Wird der Frequenzanteil im Eingangssignal Y(i) als verdeckt festgestellt, wird die Spektralkomponente im Ausgangssignal als musical tone angenommen und in einer Nachverarbeitungsstufe NV gedämpft. Im anderen Fall, d.h. bei Nichtverdeckung im Eingangssignal wird auf Sprache entschieden und keine zusätzliche Dämpfung vorgenommen.In the decision maker ENT, audible tonal components in the output signal of the noise reduction system are first determined with the aid of the second masking curve V 2 (i). If this is not a stationary component, it is examined whether the spectral component was audible before filtering (noise reduction). This is done using the first masking curve V l (i). If the frequency component in the input signal Y (i) is found to be hidden, the spectral component in the output signal is assumed to be a musical tone and is attenuated in a post-processing stage NV. In the other case, ie if the input signal is not masked, a decision is made for speech and no additional attenuation is carried out.

Die zusätzliche Dämpfung in der Nachverarbeitung kann auf verschiedene Weise erfolgen. So kann z.B. für eine als Störung erkannte neu hörbare spektrale Komponente der Pegelwert auf den Wert der zweiten Verdeckungskurve gesetzt werden. Vorzugsweise wird der detektierte Pegelwert der störenden spektralen Komponente auf einen korrigierten Wert gesetzt, der sich aus der Filterung der spektral entsprechenden Eingangssignalkomponente mit dem Grundwert fl als Filterkoeffizient ergibt.The additional damping in post-processing can done in different ways. For example, for one as Fault detected newly audible spectral component of the level value set to the value of the second masking curve become. The detected level value is preferably the interfering spectral component to a corrected Set value resulting from the filtering of the spectrally corresponding Input signal component with the basic value fl results as a filter coefficient.

In FIG. 3 sind verschiedene Stadien der Signalverarbeitung für ein gestörtes Sprachsignal nach dem erfindungsgemäßen Verfahren skizziert. In FIG. 3 are different stages of signal processing for a disturbed speech signal according to the invention Procedure outlined.

FIG. 3A zeigt ein Leistungsspektrum P(i) eines gestörten Signals am Eingang der Geräuschreduktion sowie eine daraus bestimmte erste Verdeckungskurve V1(i) mit der Verdeckungskurve übersteigenden Signalanteilen s. Nach Durchführung der spektralen Subtraktion ergibt sich ein geräuschreduziertes Leistungsspektrum P'(i) = Y'2(i) mit einer daraus bestimmten zweiten Verdeckungskurve V2(i) in welcher neben den auch in FIG. 3A die Verdeckungskurve V1(i) überschreitenden Signalanteilen s weitere Signalanteile m als die zweite Verdeckungsschwelle überschreitend auftreten, die als nicht verdeckte und somit neu hörbare Signalanteile nach Art der musical tones erscheinen. Diese neu hörbaren Signalanteile können detektiert und durch selektive Dämpfung ohne Beeinträchtigung der Sprachanteile s unterdrückt werden. Das sich bei der selektiven Dämpfung ergebende Leistungsspektrum P"(i) ist in FIG. 3C skizziert. Nur die als Sprachsignale bewerteten Signalanteile s übersteigen die Verdeckungskurve, wobei diese Signale nunmehr um ein weit größeres Maß über der Verdeckungskurve V2(i) liegen als die entsprechenden Anteile im Eingangssignal über der dort geltenden Verdeckungskurve V1(i) (FIG. 3A) und somit deutlicher hörbar sind. Die musical tones m aus FIG. 3B sind im Pegel unter die Verdeckungskurve V2(i) gedrückt und somit nicht mehr als individuelle Töne wahrnehmbar.FIG. 3A shows a power spectrum P (i) of a disturbed signal at the input of the noise reduction and a first masking curve V1 (i) with the signal components s exceeding the masking curve. After performing the spectral subtraction, there is a noise-reduced power spectrum P '(i) = Y' 2 (i) with a second masking curve V2 (i) determined therefrom, in which, in addition to the also shown in FIG. 3A, the signal components exceeding the masking curve V1 (i) s further signal components m exceeding the second masking threshold, which appear as non-masked and thus newly audible signal components in the manner of the musical tones. These newly audible signal components can be detected and suppressed by selective attenuation without impairing the speech components s. The power spectrum P "(i) resulting from the selective damping is sketched in FIG. 3C. Only the signal components s evaluated as speech signals exceed the masking curve, these signals now being a much larger extent than masking curve V2 (i) corresponding portions in the input signal above the masking curve V1 (i) (FIG. 3A) and are therefore more clearly audible The musical tones m from FIG. 3B are pressed below the masking curve V2 (i) and are therefore no more than individual tones noticeable.

Die Erfindung ist nicht auf die spektrale Subtraktion zur Geräuschreduktion beschränkt. Das Verfahren, die Verdeckungskurven am Eingang und am Ausgang einer Geräuschreduktion zu ermitteln und aufgrund neu hörbarer Anteile am Ausgang Störungen zu detektieren und zu unterdrücken, läßt sich auch auf andere Signalverarbeitungssysteme, z.B. zur Signalkodierung übertragen.The invention is not for spectral subtraction Noise reduction limited. The process, the masking curves at the entrance and at the exit of a noise reduction to be determined and based on newly audible shares in To detect and suppress output disturbances, lets other signal processing systems, e.g. to Transfer signal coding.

Claims (9)

  1. Method of reducing disturbances of a speech signal, in which a noise-reducing process is used and the spectral psychoacoustic masking is taken into consideration, characterised in that a first spectral masking curve for the input signal and a second spectral masking curve for the output signal of the noise-reducing process are determined and that newly audible portions, which exceed the second masking curve and opposite which there are no spectrally corresponding input signal portions exceeding the first masking curve, of the output signal of the noise-reducing process are in addition selectively damped.
  2. Method according to claim 1, characterised by a spectral subtraction process as noise-reducing process.
  3. Method according to claim 2, characterised in that the newly audible portions are reduced to their fundamental value of the spectral subtraction.
  4. Method according to claim 1 or claim 2, characterised in that the newly audible portions are reduced to their value of the spectral masking curve.
  5. Method according to one of claims 1 to 4, characterised in that static newly audible portions of the output signal are excluded from the additional selective damping by way of a presettable time interval.
  6. Method according to one of claims 1 to 5, characterised in that the second masking curve is determined from the output signal of the noise-reducing method.
  7. Method according to one of claims 1 to 5, characterised in that the second masking curve is derived from the first masking curve.
  8. Method according to one of claims 1 to 7, characterised in that the first masking curve is determined from the input signal of the noise-reducing process.
  9. Method according to one of claims 1 to 8, characterised in that the first masking curve is determined from noise signals in pauses in speech.
EP97930489A 1996-07-19 1997-07-02 Method of reducing voice signal interference Expired - Lifetime EP0912974B1 (en)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE19629132 1996-07-19
DE19629132A DE19629132A1 (en) 1996-07-19 1996-07-19 Method of reducing speech signal interference
PCT/EP1997/003482 WO1998003965A1 (en) 1996-07-19 1997-07-02 Method of reducing voice signal interference

Publications (2)

Publication Number Publication Date
EP0912974A1 EP0912974A1 (en) 1999-05-06
EP0912974B1 true EP0912974B1 (en) 2000-04-12

Family

ID=7800259

Family Applications (1)

Application Number Title Priority Date Filing Date
EP97930489A Expired - Lifetime EP0912974B1 (en) 1996-07-19 1997-07-02 Method of reducing voice signal interference

Country Status (8)

Country Link
US (1) US6687669B1 (en)
EP (1) EP0912974B1 (en)
JP (1) JP4187795B2 (en)
AT (1) ATE191806T1 (en)
CA (1) CA2260893C (en)
DE (2) DE19629132A1 (en)
ES (1) ES2146107T3 (en)
WO (1) WO1998003965A1 (en)

Families Citing this family (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7062039B1 (en) 1999-05-27 2006-06-13 Telefonaktiebolaget Lm Ericsson Methods and apparatus for improving adaptive filter performance by inclusion of inaudible information
US7117149B1 (en) * 1999-08-30 2006-10-03 Harman Becker Automotive Systems-Wavemakers, Inc. Sound source classification
DE19957220A1 (en) * 1999-11-27 2001-06-21 Alcatel Sa Noise suppression adapted to the current noise level
US6473733B1 (en) 1999-12-01 2002-10-29 Research In Motion Limited Signal enhancement for voice coding
JP3566197B2 (en) * 2000-08-31 2004-09-15 松下電器産業株式会社 Noise suppression device and noise suppression method
US7457750B2 (en) 2000-10-13 2008-11-25 At&T Corp. Systems and methods for dynamic re-configurable speech recognition
US20040078199A1 (en) * 2002-08-20 2004-04-22 Hanoh Kremer Method for auditory based noise reduction and an apparatus for auditory based noise reduction
US8326621B2 (en) 2003-02-21 2012-12-04 Qnx Software Systems Limited Repetitive transient noise removal
US7725315B2 (en) * 2003-02-21 2010-05-25 Qnx Software Systems (Wavemakers), Inc. Minimization of transient noises in a voice signal
US7949522B2 (en) 2003-02-21 2011-05-24 Qnx Software Systems Co. System for suppressing rain noise
US8271279B2 (en) 2003-02-21 2012-09-18 Qnx Software Systems Limited Signature noise removal
US7885420B2 (en) * 2003-02-21 2011-02-08 Qnx Software Systems Co. Wind noise suppression system
US8073689B2 (en) 2003-02-21 2011-12-06 Qnx Software Systems Co. Repetitive transient noise removal
US7895036B2 (en) * 2003-02-21 2011-02-22 Qnx Software Systems Co. System for suppressing wind noise
US7406412B2 (en) * 2004-04-20 2008-07-29 Dolby Laboratories Licensing Corporation Reduced computational complexity of bit allocation for perceptual coding
US8543390B2 (en) * 2004-10-26 2013-09-24 Qnx Software Systems Limited Multi-channel periodic signal enhancement system
US7680652B2 (en) 2004-10-26 2010-03-16 Qnx Software Systems (Wavemakers), Inc. Periodic signal enhancement system
US7716046B2 (en) * 2004-10-26 2010-05-11 Qnx Software Systems (Wavemakers), Inc. Advanced periodic signal enhancement
US8170879B2 (en) * 2004-10-26 2012-05-01 Qnx Software Systems Limited Periodic signal enhancement system
US7949520B2 (en) 2004-10-26 2011-05-24 QNX Software Sytems Co. Adaptive filter pitch extraction
US7610196B2 (en) * 2004-10-26 2009-10-27 Qnx Software Systems (Wavemakers), Inc. Periodic signal enhancement system
US8306821B2 (en) * 2004-10-26 2012-11-06 Qnx Software Systems Limited Sub-band periodic signal enhancement system
DE102005001345B4 (en) * 2004-11-10 2013-01-31 Ask Industries Gmbh Method and device for processing and reproducing audio signals
US8284947B2 (en) * 2004-12-01 2012-10-09 Qnx Software Systems Limited Reverberation estimation and suppression system
US8027833B2 (en) 2005-05-09 2011-09-27 Qnx Software Systems Co. System for suppressing passing tire hiss
US8311819B2 (en) 2005-06-15 2012-11-13 Qnx Software Systems Limited System for detecting speech with background voice estimates and noise estimates
US8170875B2 (en) * 2005-06-15 2012-05-01 Qnx Software Systems Limited Speech end-pointer
JP4738213B2 (en) * 2006-03-09 2011-08-03 富士通株式会社 Gain adjusting method and gain adjusting apparatus
US7844453B2 (en) 2006-05-12 2010-11-30 Qnx Software Systems Co. Robust noise estimation
US8335685B2 (en) 2006-12-22 2012-12-18 Qnx Software Systems Limited Ambient noise compensation system robust to high excitation noise
US8326620B2 (en) 2008-04-30 2012-12-04 Qnx Software Systems Limited Robust downlink speech and noise detector
US20080231557A1 (en) * 2007-03-20 2008-09-25 Leadis Technology, Inc. Emission control in aged active matrix oled display using voltage ratio or current ratio
DE102007030209A1 (en) * 2007-06-27 2009-01-08 Siemens Audiologische Technik Gmbh smoothing process
US8850154B2 (en) 2007-09-11 2014-09-30 2236008 Ontario Inc. Processing system having memory partitioning
US8904400B2 (en) * 2007-09-11 2014-12-02 2236008 Ontario Inc. Processing system having a partitioning component for resource partitioning
US8694310B2 (en) 2007-09-17 2014-04-08 Qnx Software Systems Limited Remote control server protocol system
US8209514B2 (en) * 2008-02-04 2012-06-26 Qnx Software Systems Limited Media processing system having resource partitioning
US8135140B2 (en) 2008-11-20 2012-03-13 Harman International Industries, Incorporated System for active noise control with audio signal compensation
US9020158B2 (en) * 2008-11-20 2015-04-28 Harman International Industries, Incorporated Quiet zone control system
US8718289B2 (en) * 2009-01-12 2014-05-06 Harman International Industries, Incorporated System for active noise control with parallel adaptive filter configuration
US8189799B2 (en) * 2009-04-09 2012-05-29 Harman International Industries, Incorporated System for active noise control based on audio system output
US8199924B2 (en) * 2009-04-17 2012-06-12 Harman International Industries, Incorporated System for active noise control with an infinite impulse response filter
US8077873B2 (en) * 2009-05-14 2011-12-13 Harman International Industries, Incorporated System for active noise control with adaptive speaker selection
US9280964B2 (en) * 2013-03-14 2016-03-08 Fishman Transducers, Inc. Device and method for processing signals associated with sound

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3639753A1 (en) * 1986-11-21 1988-06-01 Inst Rundfunktechnik Gmbh METHOD FOR TRANSMITTING DIGITALIZED SOUND SIGNALS
DE3805946A1 (en) * 1988-02-25 1989-09-07 Fraunhofer Ges Forschung DEVICE FOR DETERMINING CHARACTERISTIC PARAMETERS FROM THE INPUT AND OUTPUT SIGNALS OF A SYSTEM FOR AUDIO SIGNAL PROCESSING
DE4307688A1 (en) 1993-03-11 1994-09-15 Daimler Benz Ag Method of noise reduction for disturbed voice channels
US5400409A (en) * 1992-12-23 1995-03-21 Daimler-Benz Ag Noise-reduction method for noise-affected voice channels
JPH08506427A (en) * 1993-02-12 1996-07-09 ブリテイッシュ・テレコミュニケーションズ・パブリック・リミテッド・カンパニー Noise reduction
EP0707763B1 (en) * 1993-07-07 2001-08-29 Picturetel Corporation Reduction of background noise for speech enhancement
JP3131542B2 (en) * 1993-11-25 2001-02-05 シャープ株式会社 Encoding / decoding device
WO1995016259A1 (en) 1993-12-06 1995-06-15 Philips Electronics N.V. A noise reduction system and device, and a mobile radio station
DE4405723A1 (en) 1994-02-23 1995-08-24 Daimler Benz Ag Method for noise reduction of a disturbed speech signal

Also Published As

Publication number Publication date
CA2260893A1 (en) 1998-01-29
JP2002509620A (en) 2002-03-26
DE59701446D1 (en) 2000-05-18
DE19629132A1 (en) 1998-01-22
ES2146107T3 (en) 2000-07-16
EP0912974A1 (en) 1999-05-06
US6687669B1 (en) 2004-02-03
JP4187795B2 (en) 2008-11-26
ATE191806T1 (en) 2000-04-15
CA2260893C (en) 2005-05-17
WO1998003965A1 (en) 1998-01-29

Similar Documents

Publication Publication Date Title
EP0912974B1 (en) Method of reducing voice signal interference
DE69428119T2 (en) REDUCING BACKGROUND NOISE FOR LANGUAGE ENHANCEMENT
EP1143416B1 (en) Time domain noise reduction
DE69420027T2 (en) NOISE REDUCTION
DE69803203T2 (en) METHOD AND DEVICE FOR NOISE REDUCTION OF A DIGITAL VOICE SIGNAL
DE112012000052B4 (en) Method and device for eliminating wind noise
DE60131639T2 (en) Apparatus and methods for determining noise cancellation performance values for a voice communication system
DE69630580T2 (en) Noise canceller and method for suppressing background noise in a noisy speech signal and a mobile station
DE19747885B4 (en) Method for reducing interference of acoustic signals by means of the adaptive filter method of spectral subtraction
DE102014100407B4 (en) Noise reduction devices and noise reduction methods
DE112009000805B4 (en) noise reduction
DE69738288T2 (en) DEVICE FOR SUPPRESSING A DISTURBING COMPONENT OF AN INPUT SIGNAL
DE60116255T2 (en) NOISE REDUCTION DEVICE AND METHOD
DE69531710T2 (en) Method and device for reducing noise in speech signals
DE602004008973T2 (en) NOISE REDUCTION FOR AUTOMATIC LANGUAGE RECOGNITION
DE69124005T2 (en) Speech signal processing device
EP1088300B1 (en) Method for executing automatic evaluation of transmission quality of audio signals
DE102013011761A1 (en) Motor vehicle has estimating unit and background noise spectrum unit that are designed to open dynamic filter with low background noise and close with strong background noise
DE10157535B4 (en) Method and apparatus for reducing random, continuous, transient disturbances in audio signals
DE102019102414B4 (en) Method and system for detecting fricatives in speech signals
EP0669606B1 (en) Method for noise reduction in disturbed voice channels
DE10137348A1 (en) Noise filtering method in voice communication apparatus, involves controlling overestimation factor and background noise variable in transfer function of wiener filter based on ratio of speech and noise signal
DE69804329T2 (en) METHOD AND DEVICE FOR NOISE REDUCTION OF A DIGITAL VOICE SIGNAL
DE69802431T2 (en) METHOD AND DEVICE FOR IMPROVING A DIGITAL VOICE SIGNAL
DE3230391C2 (en)

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 19981205

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AT CH DE ES FR GB IT LI

GRAG Despatch of communication of intention to grant

Free format text: ORIGINAL CODE: EPIDOS AGRA

17Q First examination report despatched

Effective date: 19990722

GRAG Despatch of communication of intention to grant

Free format text: ORIGINAL CODE: EPIDOS AGRA

GRAH Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOS IGRA

GRAH Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOS IGRA

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

ITF It: translation for a ep patent filed
AK Designated contracting states

Kind code of ref document: B1

Designated state(s): AT CH DE ES FR GB IT LI

REF Corresponds to:

Ref document number: 191806

Country of ref document: AT

Date of ref document: 20000415

Kind code of ref document: T

RIC1 Information provided on ipc code assigned before grant

Free format text: 7G 10L 21/02 A, 7G 10L 11/00 B

REG Reference to a national code

Ref country code: CH

Ref legal event code: EP

REG Reference to a national code

Ref country code: CH

Ref legal event code: NV

Representative=s name: KIRKER & CIE SA

REF Corresponds to:

Ref document number: 59701446

Country of ref document: DE

Date of ref document: 20000518

GBT Gb: translation of ep patent filed (gb section 77(6)(a)/1977)

Effective date: 20000522

REG Reference to a national code

Ref country code: ES

Ref legal event code: FG2A

Ref document number: 2146107

Country of ref document: ES

Kind code of ref document: T3

ET Fr: translation filed
PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

26N No opposition filed
REG Reference to a national code

Ref country code: GB

Ref legal event code: IF02

REG Reference to a national code

Ref country code: CH

Ref legal event code: PUE

Owner name: HARMAN BECKER AUTOMOTIVE SYSTEMS GMBH

Free format text: DAIMLERCHRYSLER AG#EPPLESTRASSE 225#70567 STUTTGART (DE) -TRANSFER TO- HARMAN BECKER AUTOMOTIVE SYSTEMS GMBH#BECKER-GOERING-STRASSE 16#76307 KARLSBAD (DE)

REG Reference to a national code

Ref country code: FR

Ref legal event code: TP

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: ES

Payment date: 20090727

Year of fee payment: 13

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: CH

Payment date: 20090728

Year of fee payment: 13

Ref country code: AT

Payment date: 20090721

Year of fee payment: 13

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: IT

Payment date: 20090729

Year of fee payment: 13

REG Reference to a national code

Ref country code: CH

Ref legal event code: PL

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CH

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20100731

Ref country code: LI

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20100731

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: AT

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20100702

Ref country code: IT

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20100702

REG Reference to a national code

Ref country code: ES

Ref legal event code: FD2A

Effective date: 20110818

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: ES

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20100703

REG Reference to a national code

Ref country code: DE

Ref legal event code: R082

Ref document number: 59701446

Country of ref document: DE

Representative=s name: GRUENECKER, KINKELDEY, STOCKMAIR & SCHWANHAEUS, DE

REG Reference to a national code

Ref country code: DE

Ref legal event code: R082

Ref document number: 59701446

Country of ref document: DE

Representative=s name: GRUENECKER PATENT- UND RECHTSANWAELTE PARTG MB, DE

Effective date: 20120411

Ref country code: DE

Ref legal event code: R082

Ref document number: 59701446

Country of ref document: DE

Representative=s name: GRUENECKER, KINKELDEY, STOCKMAIR & SCHWANHAEUS, DE

Effective date: 20120411

Ref country code: DE

Ref legal event code: R081

Ref document number: 59701446

Country of ref document: DE

Owner name: NUANCE COMMUNICATIONS, INC. (N.D.GES.D. STAATE, US

Free format text: FORMER OWNER: HARMAN BECKER AUTOMOTIVE SYSTEMS GMBH, 76307 KARLSBAD, DE

Effective date: 20120411

REG Reference to a national code

Ref country code: FR

Ref legal event code: TP

Owner name: NUANCE COMMUNICATIONS, INC., US

Effective date: 20120924

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 20

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: GB

Payment date: 20160729

Year of fee payment: 20

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: FR

Payment date: 20160727

Year of fee payment: 20

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: DE

Payment date: 20160930

Year of fee payment: 20

REG Reference to a national code

Ref country code: DE

Ref legal event code: R071

Ref document number: 59701446

Country of ref document: DE

REG Reference to a national code

Ref country code: GB

Ref legal event code: PE20

Expiry date: 20170701

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: GB

Free format text: LAPSE BECAUSE OF EXPIRATION OF PROTECTION

Effective date: 20170701