EP2394271A1 - Methode zur trennung von signalpfaden und anwendung auf die verbesserung von sprache mit elektro-larynx - Google Patents

Methode zur trennung von signalpfaden und anwendung auf die verbesserung von sprache mit elektro-larynx

Info

Publication number
EP2394271A1
EP2394271A1 EP10708882A EP10708882A EP2394271A1 EP 2394271 A1 EP2394271 A1 EP 2394271A1 EP 10708882 A EP10708882 A EP 10708882A EP 10708882 A EP10708882 A EP 10708882A EP 2394271 A1 EP2394271 A1 EP 2394271A1
Authority
EP
European Patent Office
Prior art keywords
signal
frequency
speech
speech signal
channel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
EP10708882A
Other languages
English (en)
French (fr)
Other versions
EP2394271B1 (de
Inventor
Martin HAGMÜLLER
Gernot Kubin
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Heimomed Heinze & Co KG GmbH
Original Assignee
Heimomed Heinze & Co KG GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Heimomed Heinze & Co KG GmbH filed Critical Heimomed Heinze & Co KG GmbH
Publication of EP2394271A1 publication Critical patent/EP2394271A1/de
Application granted granted Critical
Publication of EP2394271B1 publication Critical patent/EP2394271B1/de
Not-in-force legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0316—Speech enhancement, e.g. noise reduction or echo cancellation by changing the amplitude
    • G10L21/0364—Speech enhancement, e.g. noise reduction or echo cancellation by changing the amplitude for improving intelligibility
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/18—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being spectral information of each sub-band

Definitions

  • the invention is a method for improving the speech quality of an electro-laryngeal (EL) speaker, wherein the speech signal of the speaker is digitized by suitable means.
  • suitable means is meant, for example, a microphone with associated analog / digital converter, a telephone or other methods using electronic equipment.
  • An EL is an artificial spare voice device, for example, for patients who have had their larynx surgically removed.
  • the EL is attached to the underside of the jaw; a tone generator with a certain frequency makes the air in the oral cavity vibrate over the soft tissues on the underside of the jaw. These vibrations are then modulated by the articulation organs so that speaking becomes possible.
  • the tone generator usually only works with one frequency, the voice sounds monotonous and unnatural, or "robotic".
  • the vibration of the EL disturbs the perception of the speech or even drowned out, because only a part of the sound is articulated in the oral cavity.
  • the parts emerging directly from the device or at the transition point on the neck overlay the articulated parts and reduce the intelligibility. This is particularly the case with speakers who have received radiation therapy in the neck area, which stiffens the tissue structure.
  • Various methods have therefore been developed which are intended to amplify the useful signal - ie the articulated vibrations - in relation to the interference signal - ie the direct sound or the unmodulated vibration of the EL.
  • this algorithm adapts the subtraction parameters in the frequency domain based on auditory masking. It is assumed that speech and background noise are uncorrelated and therefore the background noise can be estimated and subtracted from the signal in the frequency domain.
  • US 2005/0004604 A1 describes a laryngeal solution in which a sounder and a microphone are placed directly in front of the mouth of a user, wherein the sounder emits a sound at low volume and the signal for further processing via the microphone is recorded.
  • the signal is essentially filtered with a comb filter to reduce or remove the harmonics of the signal.
  • the quality of the speech signal is badly affected.
  • WO 2006/099670 A1 describes a device for monitoring the respiratory tract, wherein sound in the audible frequency range is introduced into the respiratory tract of an object and the condition of the respiratory tract is determined from the reflected or processed sound. For example, it is possible to detect airway obstruction.
  • the exceeding of specific threshold values is checked by means of the FFT (fast Fourier transformation), from which conclusions are drawn regarding the treatment of the measured signal.
  • This object is achieved by a method of the type mentioned according to the invention by the following steps: a) dividing a single-channel speech signal into a series of frequency channels by transferring the time domain into a discrete frequency range, b) filtering out the modulation frequency of the EL by means of a high-pass or Notch filter in each frequency channel, and c) retransforming the filtered speech signal from the frequency domain to the time domain and merging into a single channel output signal.
  • the invention makes use of an improved model of the use of an EL, according to which the EL fundamental sound articulated to a speech signal as well as the unaltered portions of the EL interfering with the perception of the speech signal come from a common source, namely the EL.
  • the person skilled in the art knows a large number of possibilities for converting a digitized, single-channel signal into the frequency domain and thus dividing it into a series of frequency channels.
  • the modulation frequency of the EL is filtered by suitable filters - e.g. Notch or high pass filter applied to the amount - suppresses and thus improves the quality of the articulated signal components.
  • the method according to the invention thus aims to increase the intelligibility of the language of EL users or to make the signal more pleasant and "more human.”
  • the aim is to reduce the direct sound from the EL during communication via electronic means (eg telephone) or to eliminate.
  • the implementation of the method according to the invention can be done for example by a software plug-in, as a hard-wired solution or as an analog circuit.
  • the conversion in step a) of the method according to the invention is advantageously carried out by Fourier transformation and the inverse transformation in step c) by means of inverse Fourier transformation.
  • the transfer takes place in blocks (eg blocks of 20 ms) at short intervals (refresh every 10 ms, for example).
  • the division of the signal into a series of frequency channels takes place when transferring the signal into the frequency domain.
  • the transfer of the speech signal in step a) and the inverse transformation in step c) with a corresponding filter bank is advantageously carried out by Fourier transformation and the inverse transformation in step c) by means of inverse Fourier transformation.
  • the results of the method according to the invention can be further improved if signal compression takes place before the filtering in step b) and decompression takes place after step b).
  • the compression can be prevented that at high amplitudes whose changes are so dominant that the changes of small amplitudes are not taken into account. Compression makes relative changes more visible to the filter.
  • step c before the inverse transformation in step c), a rectification of the negative signal components takes place.
  • Fig. 2 is a simplified representation of the situation in which the method according to the invention finds application and
  • Fig. 3 is a block diagram of the method according to the invention.
  • Fig. 1 the different transmission paths of the signal of an EL 1 are outlined.
  • an EL 1 is arranged on the neck of a speaker 2.
  • the sound produced by the EL 1 spreads on the one hand through the normal speech channels (mouth and nose) 5 of the first speaker 2 and is there articulated to language; this first signal 3 is clearly variable, or time-variant.
  • a second signal 6 shown in phantom in Fig. 1 in the form of direct sound of EL 1, this signal 4 is largely stationary and is therefore assumed to be invariant in time.
  • the second part 6 of the overall signal that is the background noise of the EL 1
  • the second part 6 of the overall signal is perceived by the listener 4 as an interference signal and reduces the intelligibility of the speech of the speaker 2.
  • the original excitation by means of the EL 1 is thus transmitted via two different paths.
  • the invention relates to the improvement of the speech quality of an EL speaker when using electronic mediators - so instead of a listener, the signals would be recorded, for example, with a microphone. To illustrate the However, for the sake of clarity, this general model has been chosen.
  • FIG. 2 shows a simplified model representation of the situation to which the inventive method for suppressing a disturbing second signal 6 (see FIG. 1) is applied. It is readily apparent that in the method according to the invention there is no separation of signal sources, but of propagation paths.
  • a source signal x (w) from a signal source 7 propagates over two different signal paths.
  • the output signal is modulated by a time-variant filter H (w, t) to a time-variant signal x (w) H (w, t).
  • the output signal is changed only by a time-invariant filter F (w) to a signal x (w) F (w).
  • the signals of the two paths are then received in a receiver 8 - e.g. the ear of a listener, a microphone o.a. - Summed to a signal available for measurement S (w, t).
  • the inarticulate signal component x (w) F (w) (ie the background noise of the EL) superimposes the time-variant speech signal x (w) H (w, t) and thereby causes a loss of intelligibility for the speech signal.
  • Speech intelligibility is improved by separating the time-variant signal component from the time-invariant signal component.
  • Fig. 3 shows a possible implementation of the method according to the invention.
  • an arbitrary digital speech signal 9 from a speaker with EL can be present at the input.
  • the speech signal 9 is transformed in blocks into the frequency domain and thus divided into a series of frequency channels.
  • the person skilled in the art can choose here from various established methods for the transformation of a signal from the time domain into the frequency domain;
  • the discrete cosine transformation is also used - however, the prerequisite for an application according to the invention is that the transformation is reversible.
  • the signal is divided at a certain refresh rate (eg 10 ms) into blocks of, for example, 20 ms in length, which are each fanned out into a series of frequency channels 11.
  • the originally single-channel speech signal 9 is thus split into a plurality of frequency ranges, which change as a result of time.
  • the frequency signal is complex, but subsequently only the absolute value is modified, phase 15 remains unchanged.
  • a filter bank may also be used, reducing the sample rate of the signal after the filter bank.
  • the reduction of the sampling rate corresponds to the block formation when using the Fourier transform.
  • each frequency channel 11 is filtered, for example with a high-pass filter or notch filter.
  • This filtering allows certain frequencies to be filtered out - in audio engineering, narrow-band interferences are eliminated with notch filters. Since the EL oscillates at a certain frequency - for example 100 Hz - the interference signal, which is not changed by the articulation organs of a speaker, results in the frequency range amplitudes in the 100 Hz channel with the modulation frequency 0 Hz - ie the amplitude of the EL Signal does not change.
  • the interference signal is characterized in that it is perfectly time-invariant.
  • a notch or a high pass filter are used to filter the background noise of the EL.
  • the limiting frequency for the high-pass filter is the modulation frequency of the EL; the notch filter is chosen so that it locks exactly at the modulation frequency of the EL.
  • the filter is not restricted to just one frequency but covers a specific frequency range-in this case a modulation frequency range-the function of the method according to the invention is ensured.
  • a final function block 13 the feedback of the signals into the time domain, for example by means of inverse Fourier transformation and the merger of the frequency channels 11 back into a channel by means of overlap-add.
  • the overlap-add method is a method of digital signal processing known to the person skilled in the art.
  • the result is a single-channel output signal 14, in which the interference signal of the EL is filtered out or at least attenuated.
  • the output signal can then be processed further.
  • the sampling rate of the signal is increased again after the filtering in step 12 and then treated further as described.
  • the invention can be used, for example, as an additional device for telephoning.
  • the device In a conventional analogue telephone, the device is simply integrated into the handset.
  • the integration of the invention by a software plug-in is possible.
  • the realization in the context of a hardwired solution, e.g. also in an analog circuit, is possible.
  • the method according to the invention can also be used when using an EL in which two or more frequencies can be switched back and forth in order to give the speech a more realistic sound. This applies both to discrete frequency jumps and to continuous changes in the fundamental frequency assuming that the frequencies being switched are within a frequency band into which the fundamental signal is split.
  • the width of the modulation frequency filter determines how fast the frequency may change. With very slow, continuous changes, the frequency can change over the entire band of the frequency band if the suppression function works - the decisive factor is not the size but the speed of the change. When switching the EL on and off, which corresponds to rapid changes, the suppression only takes a few milliseconds - depending on how wide the notch filter is selected or where the fundamental frequency of the high-pass filter is.
  • the changes in the fundamental frequency must not be too large.
  • the frequency channels into which the signal is split would have to be expanded, or the filtering by means of a high-pass filter would have to start at a somewhat higher frequency.

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Soundproofing, Sound Blocking, And Sound Damping (AREA)
  • Telephone Function (AREA)
  • Prostheses (AREA)

Abstract

Zur Verbesserung der Sprachqualität eines Elektro-Larynx (EL) Sprechers, dessen Sprachsignal über geeignete Mittel digitalisiert wird, werden die folgenden Schritte durchgeführt: a) Aufteilen eines einkanaligen Sprachsignals in eine Reihe von Frequenzkanälen durch Überführen vom Zeitbereich in einen diskreten Frequenzbereich, b) Herausfiltern der Modulationsfrequenz des EL mittels eines Hochpass- bzw. Notchfilters, in jedem Frequenzkanal und c) Rücktransformieren des gefilterten Sprachsignals vom Frequenzbereich in den Zeitbereich und Zusammenführen zu einem einkanaligen Ausgangssignal.

Description

METHODE ZUR TRENNUNG VON SIGNALPFADEN UND ANWENDUNG AUF DIE VERBESSERUNG
VON SPRACHE MIT ELEKTRO-LARYNX
Bei der Erfindung handelt es sich um ein Verfahren zur Verbesserung der Sprachqualität eines Elektro-Larynx (EL) Sprechers, wobei das Sprachsignal des Sprechers über geeignete Mittel digitalisiert wird. Unter geeigneten Mitteln werden hier beispielsweise ein Mikrofon mit zugehörigem Analog/ Digital-Umsetzer, ein Telefon oder andere Methoden unter Verwendung von elektronischem Equipment verstanden.
Bei einem EL handelt es sich um ein Gerät zur Bildung einer künstlichen Ersatzstimme, beispielsweise für Patienten, denen operativ der Kehlkopf entfernt wurde. Der EL wird dabei an der Unterseite des Kiefers angesetzt; ein Tongenerator mit einer bestimmten Frequenz bringt die Luft in der Mundhöhle über die Weichteile an der Unterseite des Kiefers zum Vibrieren. Diese Schwingungen werden dann durch die Artikulationsorgane moduliert, so dass ein Sprechen möglich wird. Da allerdings der Tongenerator meistens nur mit einer Frequenz arbeitet, klingt die Stimme monoton und unnatürlich, bzw. „roboterhaft".
Weiters ist von Nachteil, dass die Vibration des EL die Wahrnehmung des Sprechens stört oder sogar übertönt, weil nur ein Teil des Schalls in der Mundhöhle artikuliert wird. Die direkt vom Gerät oder an der Übergangsstelle am Hals austretenden Anteile überlagern die artikulierten Teile und setzen die Verständlichkeit herab. Dies ist besonders bei Sprechern der Fall, die einer Strahlentherapie im Halsbereich unterzogen wurden, wodurch sich die Gewebestruktur versteift. Es wurden daher verschiedene Methoden entwickelt, die das Nutzsignal - also die artikulierten Schwingungen - gegenüber dem Störsignal - also dem Direktschall, bzw. der unmodulierten Vibration des EL - verstärken sollen.
Diese Methoden kommen dabei überwiegend in Situationen zum Einsatz, bei denen der Zuhörer dem abgestrahlten Schall nicht unmittelbar ausgesetzt ist, sondern elektronische Mittler verwendet werden, beispielsweise beim Telefonieren, bei Schallaufzeichnungen oder allgemein beim Sprechen über Mikrofon und Verstärker.
In der US 6,359,988 Bl wird ein EL-Stirnrnsignal einer Cepstrum-Analyse unterworfen und mit der Sprache eines Normalsprechers überlagert, wodurch sich die Tonlagenveränderung des mit EL Sprechenden natürlicher gestalten lässt; gleichzeitig wird dadurch auch der Anteil des abgestrahlten Direktschalls am Signal unterdrückt. Nachteil an dieser Lösung ist vor allem, dass zu jeder Aussage eines EL-Sprechers zeitgleich die gleiche Aussage eines gesunden (also ohne EL sprechenden) Sprechers benötigt wird, was praktisch kaum realisierbar ist.
Eine weitere Lösung zeigt die US 6,975,984 B2, in der eine Lösung zum Verbessern eines EL- Sprachsignals in der Telephonie beschrieben wird. Dabei wird in einem digitalen Signalpro- zessor das Sprachsignal derart bearbeitet, dass das brummende Grundgeräusch des EL erkannt und aus dem Sprachsignal entfernt wird. Das Sprachsignal wird dafür in eine stimmhafte und eine stimmlose Komponente aufgeteilt und getrennt verarbeitet. Der stimmhafte Teil wird blockweise fouriertransformiert, frequenzgefiltert (Grundfrequenz und Harmonische werden weiterverwendet), rücktransformiert und in der Folge vom gesamten Originalsignal subtrahiert. Übrig bleibt der stimmlose Anteil des Originalsignals. Alternativ wird auch vorgeschlagen, den stimmhaften Anteil über Tiefpass zu filtern, im Falle der Erkennung einer Sprachpause völlig auszufiltern und den stimmlosen Anteil hinterher zu überlagern.
Das Dokument „Enhancement of Electrolaryngeal Speech by Adaptive Filtering" von Carol Y. Espy- Wilson etal. (JSLHR, 41: 1253-1264, 1998) beschreibt eine Methode zur Verbesserung der Sprachqualität eines EL-Sprechers. Das Grundgeräusch des EL wird dabei mittels adaptiver Filterung an das durch das EL-Grundgeräusch gestörte Sprachsignal (bzw. das zu Sprache artikulierte EL-Grundgeräusch) angeglichen; in einem weiteren Schritt werden die Signale voneinander abgezogen. Übrig bleibt ein Fehlersignal, das zur Kontrolle und Anpassung der Filterparameter mit dem Ziel der Minimierung des Fehlersignals verwendet wird. Das Fehlersignal in der vorliegenden Methode ist das vom EL-Grundgeräusch befreite Sprachsignal. Die Annahme dabei ist, dass zwar das Störsignal im Sprachsignal mit dem EL- Grundgeräusch korreliert ist, das interessierende Sprachsignal aber unabhängig von den anderen Signalen ist, dass also quasi das störende Grundgeräusch und das Sprachsignal von unterschiedlichen Quellen herrühren.
Das Dokument „Enhancement of Electrolarynx Speech Based on Auditory Masking" von Hanjun Liu et al. (IEEE Transactions on Biomedical Engineering, 53(5): 865-874, 2006) beschreibt einen Subtiaktionsalgorithmus zur Signalverbesserung eines EL-Sprechenden, insbesondere im Bezug auf Umgebungslärm.
Im Gegensatz zu anderen Methoden, die fixe Subtraktionsparameter vorsehen, werden bei diesem Algorithmus die Subtraktionsparameter im Frequenzbereich adaptiert, basierend auf auditorischer Maskierung. Dabei wird davon ausgegangen, dass Sprache und Hintergrundgeräusche unkorreliert sind und deshalb der Hintergrundlärm abgeschätzt und im Frequenzbereich vom Signal abgezogen werden kann. Diesen Lösungen ist gemeinsam, dass Methoden basierend auf einem Modell verwendet werden, wonach Sprache und Störsignal (also Umgebungsgeräusche, aber auch das Grundgeräusch des EL) statistisch unabhängig, bzw. unkorreliert sind.
Aufgrund dieser Annahme erfolgt die Implementierung der genannten Methoden auf sehr aufwändige Art und Weise. Wenn versucht wird, den Direktschall mit einem (adaptiven) Notchfilter zu unterdrücken, wird dadurch auch die Qualität des Sprachsignals vermindert, das dann wie ein Flüstern klingt; Sprachsignal und Störgeräusch liegen auf den gleichen Harmonischen.
Die US 2005/0004604 Al beschreibt eine Larynx-Lösung, bei der ein Tongeber und ein Mikrofon direkt vor dem Mund eines Anwenders platziert werden, wobei der Tongeber einen Ton mit geringer Lautstärke abgibt und das Signal für die Weiterverarbeitung über das Mikrofon aufgenommen wird. Bei der Weiterverarbeitung wird das Signal im Wesentlichen mit einem Kammfilter gefiltert, um die Harmonischen des Signals zu reduzieren bzw. zu entfernen. Dabei wird aber die Qualität des Sprachsignals stark in Mitleidenschaft gezogen.
In WO 2006/099670 Al ist eine Vorrichtung zur Überwachung der Atemwege beschrieben, wobei Schall im hörbaren Frequenzbereich in die Atemwege eines Objekts eingebracht wird und aus dem reflektierten bzw. verarbeiteten Schall der Zustand der Atemwege ermittelt wird. So ist es beispielsweise möglich, eine Verlegung der Atemwege nachzuweisen. In einer Variante der Erfindung wird mittels der FFT (Fast-Fourier-Transformation) das Überschreiten von bestimmten Schwellenwerten überprüft, woraus Rückschlüsse auf die Behandlung des gemessenen Signals gezogen werden.
Es ist eine Aufgabe der Erfindung, die oben genannten Nachteile des Stands der Technik zu überwinden und die Sprachqualität von EL- Anwendern bei Verwendung von elektronischen Mittlern wie beispielsweise Mikrofonen zu verbessern.
Diese Aufgabe wird mit einem Verfahren der eingangs erwähnten Art erfindungsgemäß durch die folgenden Schritte gelöst: a) Aufteilen eines einkanaligen Sprachsignals in eine Reihe von Frequenzkanälen durch Überführen vom Zeitbereich in einen diskreten Frequenzbereich, b) Herausfiltern der Modulationsfrequenz des EL mittels eines Hochpass- bzw. Notchfilters in jedem Frequenzkanal, und c) Rücktransformieren des gefilterten Sprachsignals vom Frequenzbereich in den Zeitbereich und Zusammenführen zu einem einkanaligen Ausgangssignal. Die Erfindung macht sich ein verbessertes Modell der Anwendung eines EL zunutze, wonach das zu einem Sprachsignal artikulierte EL-Grundgeräusch sowie die unveränderten Anteile des EL, die die Wahrnehmung des Sprachsignals stören, von einer gemeinsamen Quelle, nämlich dem EL, kommen. Da das störende unartikulierte Grundgeräusch des EL im Modulationsbereich als zeitlich invariantes Signal erkennbar ist, lässt es sich durch geeignetes Vorgehen leicht ausfiltern. Es erfolgt also eine Trennung nicht von Signalquellen, sondern von Ausbreitungswegen (eines Ausbreitungsweges durch die Artikulationsorgane eines Sprechers, ein weiterer Ausbreitungsweg von der Anwendungsstelle am Hals des Sprechers direkt zum Ohr des Zuhörers, bzw. zum Mikrofon oder Aufnahmemittel).
Dem Fachmann ist eine Vielzahl von Möglichkeiten bekannt, ein digitalisiertes, einkanaliges Signal in den Frequenzbereich zu überführen und so in eine Reihe von Frequenzkanälen aufzuteilen. In jedem Frequenzkanal wird die Modulationsfrequenz des EL durch geeignete Filter - z.B. Notch- oder Hochpassfilter, angewandt auf den Betrag - unterdrückt und so die Qualität der artikulierten Signalanteile verbessert.
Ahnliche Verfahren aus dem Stand der Technik betrachten die artikulierten Anteile sowie die unveränderten Anteile als von verschiedenen Quellen kommend und wählen diesem Modell entsprechende Herangehensweisen, beispielsweise Filterung mittels Bandpassfiltern, die dann allerdings auch das Sprachsignal dämpfen.
Das erfindungsgemäße Verfahren zielt also darauf ab, die Verständlichkeit der Sprache von EL- Anwendern zu erhöhen bzw. das Signal angenehmer und „menschlicher" zu machen. Ziel ist es, den Direktschall aus dem EL bei Kommunikation über elektronische Mittel (z.B. Telefon) zu reduzieren bzw. zu eliminieren.
Die Realisierung des erfindungsgemäßen Verfahrens kann beispielsweise durch ein Software-Plugin, als fest verdrahtete Lösung oder auch als Analogschaltung erfolgen.
Aus der Vielzahl bekannter Methoden zur Überführung eines Signals in den Frequenzbereich bzw. zurück erfolgt die Überführung in Schritt a) des erfindungsgemäßen Verfahrens günstigerweise mittels Fourier-Transformation und die Rücktransformation in Schritt c) mittels inverser Fourier-Transformation. Die Überführung erfolgt blockweise (z.B. Blöcke von 20 ms) in kurzen Abständen (Auffrischung beispielsweise alle 10 ms). Die Aufteilung des Signals in eine Reihe von Frequenzkanälen erfolgt beim Überführen des Signals in den Frequenzbereich. In einer Variante der Erfindung erfolgt die Überführung des Sprachsignals in Schritt a) und die Rücktransformation in Schritt c) mit einer entsprechenden Filterbank.
Die Ergebnisse des erfindungsgemäßen Verfahrens lassen sich weiter verbessern, wenn vor der Filterung in Schritt b) eine Signal-Kompression erfolgt und nach Schritt b) eine Dekompression erfolgt. Durch die Kompression kann verhindert werden, dass bei hohen Amplituden deren Änderungen derart dominant sind, dass die Änderungen kleiner Amplituden nicht berücksichtigt werden. Durch die Kompression werden also relative Änderungen für das Filter besser sichtbar.
In einer weiteren Ausführung des erfindungsgemäßen Verfahrens erfolgt vor der Rücktransformation in Schritt c) eine Gleichrichtung der negativen Signalkomponenten.
Im Folgenden wird die Erfindung anhand eines nicht einschränkenden Ausführungsbeispiels, das in der Zeichnung dargestellt ist, näher erläutert. In dieser zeigt schematisch:
Fig. 1 eine vereinfachte Darstellung der Verwendung eines EL und die auftretenden Signalpfade,
Fig. 2 eine vereinfachte Darstellung der Situation, in der die erfindungsgemäße Methode Anwendung findet und
Fig. 3 ein Blockschaltbild der erfindungsgemäßen Methode.
In Fig. 1 sind die verschiedenen Übertragungswege des Signals eines EL 1 skizziert. Dabei ist am Hals eines Sprechers 2 ein EL 1 angeordnet. Der vom EL 1 erzeugte Schall breitet sich einerseits durch die normalen Sprachkanäle (Mund und Nase) 5 des ersten Sprechers 2 aus und wird dort zu Sprache artikuliert; dieses erste Signal 3 ist deutlich veränderlich, bzw. zeit-variant. Am Ohr eines Zuhörers 4 kommt neben diesem zeit-varianten Signal 3 auch ein zweites Signal 6 (in Fig. 1 strichpunktiert dargestellt) in Form des Direktschalls des EL 1 an, wobei dieses Signal 4 weitgehend stationär ist und daher als zeitlich invariant angenommen wird. Der zweite Teil 6 des Gesamtsignals, also das Grundgeräusch des EL 1, wird vom Zuhörer 4 als Störsignal wahrgenommen und verringert die Verständlichkeit der Sprache des Sprechers 2. Die ursprüngliche Anregung mittels des EL 1 wird also über zwei verschiedene Pfade übertragen.
Zwar bezieht sich die Erfindung auf die Verbesserung der Sprachqualität eines EL-Sprechers bei Verwendung von elektronischen Mittlern - anstatt eines Zuhörers würden die Signale also beispielsweise mit einem Mikrofon aufgenommen werden. Zur Illustration der Aus- gangslage wurde allerdings aus Gründen der Verständlichkeit dieses allgemeine Modell gewählt.
Fig. 2 zeigt eine vereinfachte Modelldarstellung der Situation, auf die die erfindungsgemäßen Methode zur Unterdrückung eines störenden zweiten Signals 6 (siehe Fig. 1) angewendet wird. Es ist gut erkennbar, dass es bei der erfindungsgemäßen Methode nicht zu einer Trennung von Signalquellen, sondern von Ausbreitungswegen kommt.
Ein Quellensignal x(w) von einer Signalquelle 7 breitet sich über zwei verschiedene Signalpfade aus. Im ersten Signalpfad wird das Ausgangssignal durch ein zeitvariantes Filter H(w, t) zu einem zeitvarianten Signal x(w)H(w, t) moduliert. Im zweiten Signalpfad wird das Ausgangssignal nur durch ein zeitinvariantes Filter F(w) zu einem Signal x(w)F(w) verändert.
Die Signale der beiden Pfade werden dann in einem Empfänger 8 - z.B. dem Ohr eines Zuhörers, einem Mikrofon o.a. - zu einem zur Messung zur Verfügung stehenden Signal S(w, t) summiert. Das Signal besteht dann aus der Summe der Komponenten, S(w, t) = x(w)H(w, t) + x(w)F(w).
Es können nun die Signalteile vom zeitinvarianten und vom zeitvarianten Signalpfad getrennt werden, indem entweder alle Signalanteile, die sich zeitlich ändern, bzw. zeitlich konstant sind, gedämpft werden. Man erhält also beispielsweise als Ergebnis nur den zeitvarianten Anteil Sl(w, t)~x(w)H(w, t).
Bei der Anwendung für Sprache mit EL überlagert der unartikulierte Signalanteil x(w)F(w) (also das Grundgeräusch des EL) das zeitvariante Sprachsignal x(w)H(w, t) und bewirkt dadurch einen Verständlichkeitsverlust für das Sprachsignal. Die Sprachverständlichkeit wird verbessert, indem der zeitvariante Signalanteil vom zeitinvarianten Signalanteil getrennt wird.
Fig. 3 zeigt eine mögliche Umsetzung der erfindungsgemäßen Methode. Dabei kann am Eingang ein beliebiges digitales Sprachsignal 9 von einem Sprecher mit EL anliegen. In einem ersten Schritt 10 wird unter Anwendung der Kurzzeit-Fouriertransformation das Sprachsignal 9 blockweise in den Frequenzbereich transformiert und so in eine Reihe von Frequenzkanälen aufgeteilt. Der Fachmann kann hier aus verschiedenen etablierten Methoden zur Transformation eines Signals vom Zeit- in den Frequenzbereich wählen; neben der Fourier-Transformation findet beispielsweise auch die Diskrete Kosinustransformation Anwendung - Voraussetzung für eine erfindungsgemäße Anwendung ist allerdings, dass die Transformation umkehrbar ist. Das Signal wird mit einer bestimmten Auffrischungsrate (z.B. 10ms) in Blöcke von beispielsweise 20 ms Länge aufgeteilt, die jeweils in eine Reihe von Frequenzkanälen 11 aufgefächert werden. Das ursprünglich einkanalige Sprachsignal 9 wird also in eine Vielzahl von Frequenzbereichen aufgespaltet, die sich als Folge der Zeit ändern. Das Frequenzsignal ist komplex, es wird aber in weiterer Folge nur der Absolutbetrag modifiziert, die Phase 15 bleibt unverändert.
In Schritt 10 kann auch eine Filterbank verwendet werden, wobei die Abtastrate des Signals nach der Filterbank reduziert wird. Das Reduzieren der Abtastrate entspricht dabei der Blockbildung bei Anwendung der Fourier-Transf ormation.
hi einem weiteren Funktionsblock 12 wird nun jeder Frequenzkanal 11 gefiltert, beispielsweise mit einem Hochpass- bzw. Notchfilter. Diese Filterung erlaubt das Ausfiltern bestimmter Frequenzen - in der Tontechnik werden mit Notchf iltern schmalbandige Störungen beseitigt. Da der EL auf einer bestimmten Frequenz oszilliert - beispielsweise 100 Hz - ergibt das Störsignal, das nicht durch die Artikulationsorgane eines Sprechers verändert ist, im Frequenzbereich Amplituden im 100 Hz-Kanal mit der Modulationsfrequenz 0 Hz - d.h., dass sich die Amplitude des EL-Signals nicht ändert. Das Störsignal ist dadurch gekennzeichnet, dass es perfekt zeitlich invariant ist. Zur Filterung des Grundgeräuschs des EL werden ein Notch- bzw. ein Hochpassfilter verwendet. Als Grenzfrequenz für das Hochpassfilter dient dabei die Modulationsfrequenz des EL; das Notchfilter wird so gewählt, dass es genau bei der Modulationsfrequenz des EL sperrt.
In der realen Umsetzung wird natürlich eine perfekte zeitliche Invarianz aufgrund von Reflexionen, Brechungen, Umgebungsgeräuschen und baulicher Notwendigkeiten des EL nicht erreichbar sein. Da allerdings auch das Filter nicht auf nur eine Frequenz eingeschränkt ist, sondern einen bestimmten Frequenzbereich - in diesem Fall einen Modulationsfrequenzbereich - abdeckt, ist die Funktion der erfindungsgemäßen Methode sichergestellt.
In einem abschließenden Funktionsblock 13 erfolgt die Rückführung der Signale in den Zeitbereich, beispielsweise mittels inverser Fourier-Transformation und die Zusammenführung der Frequenzkanäle 11 zurück in einen Kanal mittels overlap-add. Das overlap-add Verfahren ist dabei ein dem Fachmann bekanntes Verfahren aus der digitalen Signalverarbeitung. Ergebnis ist ein einkanaliges Ausgangssignal 14, in dem das Störsignal des EL ausgefiltert oder zumindest gedämpft ist. Das Ausgangssignal kann dann weiter verarbeitet werden. Bei Anwendung einer Filterbank in Schritt 10 wird die Abtastrate des Signals nach der Filterung in Schritt 12 wieder erhöht und dann wie geschildert weiterbehandelt.
Grundsätzlich stellen diese Ausführungen nur die wichtigsten Bestandteile der erfindungsgemäßen Methode dar; vor der Filterung im Block 12 kann das Signal komprimiert werden, nach der Filterung kann eine Dekomprimierung vorgesehen sein. Auch eine Gleichrichtung vor der Rücktransformation in den Zeitbereich kann günstig sein, da bei der Bearbeitung unerlaubte negative Werte entstehen können.
Die Erfindung kann beispielsweise als Zusatzgerät zum Telefonieren verwendet werden. Bei einem herkömmlichen analogen Telefon wird das Gerät einfach in den Hörer integriert. Bei einem Telefon mit integriertem Digitalem Signal Prozessor ist die Integration der Erfindung durch ein Software-Plugin möglich. Auch die Realisierung im Rahmen einer fest verdrahteten Lösung, z.B. auch in einer Analogschaltung, ist möglich.
Die erfindungsgemäße Methode ist auch bei Verwendung eines EL einsetzbar, bei dem zwischen zwei oder mehr Frequenzen hin- und hergeschaltet werden kann um der Sprache einen realistischeren Klang zu geben. Das gilt sowohl für diskrete Frequenzsprünge als auch für kontinuierliche Änderungen der Grundfrequenz unter der Annahme, dass die Frequenzen, zwischen denen gewechselt wird, innerhalb eines Frequenzbandes liegen, in das das Grundsignal aufgeteilt wird.
Die Breite des Modulationsfrequenzfilters bestimmt dabei, wie schnell sich die Frequenz ändern darf. Bei sehr langsamen, kontinuierlichen Änderungen kann sich die Frequenz bei funktionierender Unterdrückung über den gesamten Bereich des Frequenzbandes ändern - ausschlaggebend ist nicht die Größe, sondern die Geschwindigkeit der Änderung. Beim Ein- und Ausschalten des EL, das einer schnellen Änderungen entspricht, greift die Unterdrückung erst nach einigen Millisekunden - abhängig davon, wie breit das Notchfilter gewählt ist bzw. wo die Grundfrequenz des Hochpassfilters Hegt.
Dabei dürfen allerdings die Änderungen der Grundfrequenz nicht zu groß sein. Um die erfindungsgemäße Funktion sicher zu stellen, müssten beispielsweise die Frequenzkanäle, in die das Signal aufgeteilt wird, erweitert werden, bzw. die Filterung mittels Hochpassfilter müsste an einer etwas höheren Frequenz ansetzen.

Claims

ANSPRÜCHE
1. Verfahren zur Verbesserung der Sprachqualität eines Elektro-Larynx (EL) Sprechers, dessen Sprachsignal über geeignete Mittel digitalisiert wird, gekennzeichnet durch die folgenden Schritte: a) Aufteilen eines einkanaligen Sprachsignals in eine Reihe von Frequenzkanälen durch Überführen vom Zeitbereich in einen diskreten Frequenzbereich, b) Herausfiltern der Modulationsfrequenz des EL mittels eines Hochpass- bzw. Notchfilters, in jedem Frequenzkanal und c) Rücktransformieren des gefilterten Sprachsignals vom Frequenzbereich in den Zeitbereich und Zusammenführen zu einem einkanaligen Ausgangssignal.
2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Überführung des Sprachsignals in Schritt a) mittels Fourier-Transformation und die Rücktransformation in Schritt c) mittels inverser Fourier-Transformation erfolgt.
3. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Überführung des Sprachsignals in Schritt a) und die Synthese der Frequenzkanäle in Schritt c) mit einer Filterbank erfolgt.
4. Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass vor der Filterung in Schritt b) eine Signal-Kompression erfolgt und nach Schritt b) eine Dekompression erfolgt.
5. Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass vor der Rücktransformation in Schritt c) eine Gleichrichtung der negativen Signalkomponenten erfolgt.
EP10708882.5A 2009-02-04 2010-02-01 Methode zur trennung von signalpfaden und anwendung auf die verbesserung von sprache mit elektro-larynx Not-in-force EP2394271B1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
AT0019309A AT507844B1 (de) 2009-02-04 2009-02-04 Methode zur trennung von signalpfaden und anwendung auf die verbesserung von sprache mit elektro-larynx
PCT/AT2010/000032 WO2010088709A1 (de) 2009-02-04 2010-02-01 Methode zur trennung von signalpfaden und anwendung auf die verbesserung von sprache mit elektro-larynx

Publications (2)

Publication Number Publication Date
EP2394271A1 true EP2394271A1 (de) 2011-12-14
EP2394271B1 EP2394271B1 (de) 2017-03-22

Family

ID=42272699

Family Applications (1)

Application Number Title Priority Date Filing Date
EP10708882.5A Not-in-force EP2394271B1 (de) 2009-02-04 2010-02-01 Methode zur trennung von signalpfaden und anwendung auf die verbesserung von sprache mit elektro-larynx

Country Status (10)

Country Link
US (1) US20120004906A1 (de)
EP (1) EP2394271B1 (de)
JP (1) JP5249431B2 (de)
CN (1) CN102341853B (de)
AT (1) AT507844B1 (de)
CA (1) CA2749617C (de)
DK (1) DK2394271T3 (de)
ES (1) ES2628521T3 (de)
PT (1) PT2394271T (de)
WO (1) WO2010088709A1 (de)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105310806B (zh) * 2014-08-01 2017-08-25 北京航空航天大学 具有语音转换功能的电子人工喉系统及其语音转换方法
US20220293239A1 (en) * 2019-09-24 2022-09-15 Panasonic Intellectual Property Management Co., Ltd. Recipe output method and recipe output system
WO2024158407A1 (en) * 2023-01-24 2024-08-02 Rowan University Mitigation of malicious sonic attacks on voice-based computing devices

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3746789A (en) * 1971-10-20 1973-07-17 E Alcivar Tissue conduction microphone utilized to activate a voice operated switch
US3872250A (en) * 1973-02-28 1975-03-18 David C Coulter Method and system for speech compression
US4139732A (en) * 1975-01-24 1979-02-13 Larynogograph Limited Apparatus for speech pattern derivation
US4343969A (en) * 1978-10-02 1982-08-10 Trans-Data Associates Apparatus and method for articulatory speech recognition
JPH03228097A (ja) * 1989-12-22 1991-10-09 Bridgestone Corp 振動制御装置
US5171930A (en) * 1990-09-26 1992-12-15 Synchro Voice Inc. Electroglottograph-driven controller for a MIDI-compatible electronic music synthesizer device
JPH08265891A (ja) * 1993-01-28 1996-10-11 Tatsu Ifukube 電気人工喉頭
JP3451022B2 (ja) * 1998-09-17 2003-09-29 松下電器産業株式会社 拡声音の明瞭度改善方法及び装置
US20050004604A1 (en) 1999-03-23 2005-01-06 Jerry Liebler Artificial larynx using coherent processing to remove stimulus artifacts
US6359988B1 (en) 1999-09-03 2002-03-19 Trustees Of Boston University Process for introduce realistic pitch variation in artificial larynx speech
JP2001086583A (ja) * 1999-09-09 2001-03-30 Sentan Kagaku Gijutsu Incubation Center:Kk 代用原音発生器とその制御方法
US6975984B2 (en) 2000-02-08 2005-12-13 Speech Technology And Applied Research Corporation Electrolaryngeal speech enhancement for telephony
US7708697B2 (en) 2000-04-20 2010-05-04 Pulmosonix Pty Ltd Method and apparatus for determining conditions of biological tissues
US7191134B2 (en) * 2002-03-25 2007-03-13 Nunally Patrick O'neal Audio psychological stress indicator alteration method and apparatus
CA2399159A1 (en) * 2002-08-16 2004-02-16 Dspfactory Ltd. Convergence improvement for oversampled subband adaptive filters
WO2005031702A1 (en) * 2003-08-11 2005-04-07 Faculté Polytechnique de Mons Method for estimating resonance frequencies
US20050281412A1 (en) * 2004-06-16 2005-12-22 Hillman Robert E Voice prosthesis with neural interface
JP4568826B2 (ja) * 2005-09-08 2010-10-27 株式会社国際電気通信基礎技術研究所 声門閉鎖区間検出装置および声門閉鎖区間検出プログラム
CN100576320C (zh) * 2007-03-27 2009-12-30 西安交通大学 一种自动电子喉的电子喉语音增强系统与控制方法
JP4327241B2 (ja) * 2007-10-01 2009-09-09 パナソニック株式会社 音声強調装置および音声強調方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See references of WO2010088709A1 *

Also Published As

Publication number Publication date
CN102341853A (zh) 2012-02-01
DK2394271T3 (en) 2017-07-10
US20120004906A1 (en) 2012-01-05
EP2394271B1 (de) 2017-03-22
ES2628521T3 (es) 2017-08-03
JP2012517031A (ja) 2012-07-26
PT2394271T (pt) 2017-04-26
CN102341853B (zh) 2014-06-04
CA2749617C (en) 2016-11-01
AT507844B1 (de) 2010-11-15
JP5249431B2 (ja) 2013-07-31
WO2010088709A1 (de) 2010-08-12
AT507844A1 (de) 2010-08-15
CA2749617A1 (en) 2010-08-12

Similar Documents

Publication Publication Date Title
DE69509555T2 (de) Verfahren zur veränderung eines sprachsignales mittels grundfrequenzmanipulation
DE60116255T2 (de) Rauschunterdückungsvorrichtung und -verfahren
DE602004004242T2 (de) System und Verfahren zur Verbesserung eines Audiosignals
DE102006051071B4 (de) Pegelabhängige Geräuschreduktion
DE2526034A1 (de) Hoerhilfeverfahren und vorrichtung zur durchfuehrung des verfahrens
EP2229010B1 (de) Hörgerät und Verfahren zur Störschallkompensation bei einem Hörgerät
DE102008031150B3 (de) Verfahren zur Störgeräuschunterdrückung und zugehöriges Hörgerät
DE102015216822B4 (de) Verfahren zur Unterdrückung einer Rückkopplung in einem Hörgerät
DE60016144T2 (de) Hörhilfegerät
EP2394271B1 (de) Methode zur trennung von signalpfaden und anwendung auf die verbesserung von sprache mit elektro-larynx
EP2380171A2 (de) Verfahren und vorrichtung zum verarbeiten von akustischen sprachsignalen
WO2001047335A2 (de) Verfahren zur elimination von störsignalanteilen in einem eingangssignal eines auditorischen systems, anwendung des verfahrens und ein hörgerät
DE102021205251B4 (de) Verfahren und Vorrichtung zur frequenzselektiven Verarbeitung eines Audiosignals mit geringer Latenz
EP4158901B1 (de) Verfahren, vorrichtung, kopfhörer und computerprogramm zur aktiven unterdrückung des okklusionseffektes bei der wiedergabe von audiosignalen
EP2584795B1 (de) Verfahren zum Ermitteln einer Kompressionskennlinie
DE3027953A1 (de) Elektro-akustisches hoergeraet mit adaptiver filterschaltung
DE102004008225B4 (de) Verfahren und Einrichtung zum Ermitteln von Merkmalsvektoren aus einem Signal zur Mustererkennung, Verfahren und Einrichtung zur Mustererkennung sowie computerlesbare Speichermedien
Kates Two-tone suppression in a cochlear model
DE102009032238A1 (de) Verfahren zur Kontrolle der Anpassung eines Hörgerätes
DE102022111300A1 (de) Vorrichtung zur Reduzierung des Rauschens bei der Wiedergabe eines Audiosignals mit einem Kopfhörer oder Hörgerät und entsprechendes Verfahren
DE102006001730A1 (de) Beschallungsanlage, Verfahren zur Verbesserung der Sprachqualität und/oder Verständlichkeit von Sprachdurchsagen sowie Computerprogramm
DE102011006472B4 (de) Verfahren zur Verbesserung der Sprachverständlichkeit mit einem Hörhilfegerät sowie Hörhilfegerät
DE102024205064B4 (de) Verfahren zum Betreiben eines Hörgeräts
DE102024108243B4 (de) Verfahren zur Verarbeitung von Audiosignalen
DE102017216972B4 (de) Verfahren und Vorrichtung zur rechnergestützten Verarbeitung von Audiosignalen

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20110809

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO SE SI SK SM TR

DAX Request for extension of the european patent (deleted)
17Q First examination report despatched

Effective date: 20140214

REG Reference to a national code

Ref country code: DE

Ref legal event code: R079

Ref document number: 502010013338

Country of ref document: DE

Free format text: PREVIOUS MAIN CLASS: G10L0021020000

Ipc: G10L0021036400

RIC1 Information provided on ipc code assigned before grant

Ipc: G10L 25/03 20130101ALN20160726BHEP

Ipc: G10L 25/18 20130101ALN20160726BHEP

Ipc: G10L 21/0364 20130101AFI20160726BHEP

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

INTG Intention to grant announced

Effective date: 20161004

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO SE SI SK SM TR

REG Reference to a national code

Ref country code: GB

Ref legal event code: FG4D

Free format text: NOT ENGLISH

REG Reference to a national code

Ref country code: CH

Ref legal event code: EP

REG Reference to a national code

Ref country code: AT

Ref legal event code: REF

Ref document number: 878472

Country of ref document: AT

Kind code of ref document: T

Effective date: 20170415

REG Reference to a national code

Ref country code: IE

Ref legal event code: FG4D

Free format text: LANGUAGE OF EP DOCUMENT: GERMAN

REG Reference to a national code

Ref country code: PT

Ref legal event code: SC4A

Ref document number: 2394271

Country of ref document: PT

Date of ref document: 20170426

Kind code of ref document: T

Free format text: AVAILABILITY OF NATIONAL TRANSLATION

Effective date: 20170418

REG Reference to a national code

Ref country code: DE

Ref legal event code: R096

Ref document number: 502010013338

Country of ref document: DE

REG Reference to a national code

Ref country code: SE

Ref legal event code: TRGR

REG Reference to a national code

Ref country code: NL

Ref legal event code: FP

REG Reference to a national code

Ref country code: DK

Ref legal event code: T3

Effective date: 20170705

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20170322

Ref country code: HR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20170322

Ref country code: FI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20170322

Ref country code: NO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20170622

REG Reference to a national code

Ref country code: ES

Ref legal event code: FG2A

Ref document number: 2628521

Country of ref document: ES

Kind code of ref document: T3

Effective date: 20170803

REG Reference to a national code

Ref country code: LT

Ref legal event code: MG4D

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LV

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20170322

Ref country code: BG

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20170622

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CZ

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20170322

Ref country code: RO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20170322

Ref country code: EE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20170322

Ref country code: SK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20170322

REG Reference to a national code

Ref country code: GR

Ref legal event code: EP

Ref document number: 20170401309

Country of ref document: GR

Effective date: 20171023

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: PL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20170322

Ref country code: SM

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20170322

Ref country code: IS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20170722

REG Reference to a national code

Ref country code: DE

Ref legal event code: R097

Ref document number: 502010013338

Country of ref document: DE

PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 9

26N No opposition filed

Effective date: 20180102

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20170322

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: LU

Payment date: 20180222

Year of fee payment: 9

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: NL

Payment date: 20180314

Year of fee payment: 9

Ref country code: DK

Payment date: 20180228

Year of fee payment: 9

Ref country code: DE

Payment date: 20180226

Year of fee payment: 9

Ref country code: ES

Payment date: 20180314

Year of fee payment: 9

Ref country code: CH

Payment date: 20180228

Year of fee payment: 9

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: IE

Payment date: 20180226

Year of fee payment: 9

Ref country code: AT

Payment date: 20180226

Year of fee payment: 9

Ref country code: PT

Payment date: 20180123

Year of fee payment: 9

Ref country code: IT

Payment date: 20180223

Year of fee payment: 9

Ref country code: SE

Payment date: 20180228

Year of fee payment: 9

Ref country code: GR

Payment date: 20180221

Year of fee payment: 9

Ref country code: TR

Payment date: 20180131

Year of fee payment: 9

Ref country code: FR

Payment date: 20180227

Year of fee payment: 9

Ref country code: BE

Payment date: 20180226

Year of fee payment: 9

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20170322

Ref country code: MC

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20170322

GBPC Gb: european patent ceased through non-payment of renewal fee

Effective date: 20180201

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: GB

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20180201

REG Reference to a national code

Ref country code: DE

Ref legal event code: R119

Ref document number: 502010013338

Country of ref document: DE

REG Reference to a national code

Ref country code: DK

Ref legal event code: EBP

Effective date: 20190228

REG Reference to a national code

Ref country code: CH

Ref legal event code: PL

REG Reference to a national code

Ref country code: SE

Ref legal event code: EUG

REG Reference to a national code

Ref country code: NL

Ref legal event code: MM

Effective date: 20190301

REG Reference to a national code

Ref country code: AT

Ref legal event code: MM01

Ref document number: 878472

Country of ref document: AT

Kind code of ref document: T

Effective date: 20190201

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LU

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20190201

Ref country code: SE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20190202

Ref country code: PT

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20190801

REG Reference to a national code

Ref country code: BE

Ref legal event code: MM

Effective date: 20190228

REG Reference to a national code

Ref country code: IE

Ref legal event code: MM4A

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: GR

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20190904

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: AT

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20190201

Ref country code: LI

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20190228

Ref country code: CH

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20190228

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: NL

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20190301

Ref country code: DK

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20190228

Ref country code: IE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20190201

Ref country code: DE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20190903

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: FR

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20190228

Ref country code: BE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20190228

Ref country code: IT

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20190201

REG Reference to a national code

Ref country code: ES

Ref legal event code: FD2A

Effective date: 20200327

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: ES

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20190202

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: HU

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT; INVALID AB INITIO

Effective date: 20100201

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CY

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20170322

Ref country code: MK

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20170322

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: TR

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20190201