EP1247425A2 - Verfahren zum betrieb eines hörgerätes und ein hörgerät - Google Patents

Verfahren zum betrieb eines hörgerätes und ein hörgerät

Info

Publication number
EP1247425A2
EP1247425A2 EP01900013A EP01900013A EP1247425A2 EP 1247425 A2 EP1247425 A2 EP 1247425A2 EP 01900013 A EP01900013 A EP 01900013A EP 01900013 A EP01900013 A EP 01900013A EP 1247425 A2 EP1247425 A2 EP 1247425A2
Authority
EP
European Patent Office
Prior art keywords
hearing aid
unit
features
signal
auditory
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
EP01900013A
Other languages
English (en)
French (fr)
Other versions
EP1247425B1 (de
Inventor
Silvia Allegro
Michael BÜCHLER
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sonova Holding AG
Original Assignee
Phonak AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Phonak AG filed Critical Phonak AG
Publication of EP1247425A2 publication Critical patent/EP1247425A2/de
Application granted granted Critical
Publication of EP1247425B1 publication Critical patent/EP1247425B1/de
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; ELECTRIC HEARING AIDS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Electric hearing aids
    • H04R25/40—Arrangements for obtaining a desired directivity characteristic
    • H04R25/402—Arrangements for obtaining a desired directivity characteristic using contructional means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; ELECTRIC HEARING AIDS; PUBLIC ADDRESS SYSTEMS
    • H04R2225/00—Details of deaf aids covered by H04R25/00, not provided for in any of its subgroups
    • H04R2225/41—Detection or adaptation of hearing aid parameters or programs to listening situation, e.g. pub, forest

Definitions

  • the present invention relates to a method for operating a hearing aid and a hearing aid.
  • the hearing program can be selected either via the remote control or via a switch on the hearing aid itself. Switching between different listening programs, however, is troublesome or difficult, if not impossible, for many users. It is not always easy for experienced hearing aid users to determine which program offers the best comfort and the best speech intelligibility at which time. Automatic detection of the acoustic surrounding situation and an associated automatic switching of the hearing program in the hearing aid is therefore desirable.
  • Modulation frequency analysis "(1997, DAGA 97, pages 608 to 609) and" Classification of acoustic signals based on the analysis of modulation spectra for use in digital hearing aids "(1998, DAGA 98, pages 402 to 403).
  • a similar approach is also given in an article by Edwards et al. entitled “Signal-processing algorithms for a new software-based, digital hearing device” (1998, The Hearing Journal 51, pages 44 to 52) .Other possible features are the level itself or the zero crossing rate as described, for example, in HL Hirsch, “Statistical Signal Characterization” (Artech House 1992). The features previously used for audio signal analysis are therefore purely technical.
  • the known methods for noise classification consisting of feature extraction and pattern recognition, have the disadvantages that, although a clear and robust identification of speech signals is fundamentally possible, several different acoustic environmental situations cannot be classified or can only be classified in an inadequate manner. Thus, it is possible with the known methods to distinguish pure speech signals from "non-speech" - ie all other acoustic environmental situations. However, this is not sufficient for an optimal listening program to be used for a current acoustic ambient situation. As a result, either the number of possible hearing programs is limited to the two automatically recognizable acoustic ambient situations, or the hearing aid wearer must recognize the uncovered acoustic ambient situations themselves and activate the associated hearing program manually.
  • Pattern identification methods can generally be used for noise classification.
  • So-called distance estimators, Bayes classifiers, fuzzy logic systems or neural networks are particularly suitable as pattern recognizers. Further information on the first two methods can be found in the publication "Pattern Classification and Scene Analysis” by Richard O. Duda and Peter E. Hart (John Wiley & Sons, 1973).
  • neural networks reference is made to the standard work by Christopher M. Bishop with the title “Neural Networks for Pattern Recognition” (1995, Oxford University Press). Furthermore, reference is made to the following publications: Ostendorf et. al. .
  • the present invention is therefore based on the object of initially specifying a method for operating a hearing aid which is considerably more robust and precise than the known methods.
  • the invention is based on an extraction of signal features and a subsequent separation of different noise sources as well as an identification of different noises, whereby Hidden Markov models are used in the identification phase in order to detect a current environmental situation or noises and / or a speaker or his words. This is the first time that dynamic properties of the classes of interest are taken into account, which significantly improves the accuracy of the method according to the invention in all areas of application, i.e. in the detection of the current environmental situation or noises as well as in the detection of a speaker and individual words.
  • auditory-based features are taken into account in the extraction phase. These auditory-based features are preferably determined using methods of Auditory Scene Analysis (ASA) determined.
  • ASA Auditory Scene Analysis
  • the features are grouped in the extraction phase with the help of the design principles, regardless of the context or depending on the context.
  • the invention is explained in more detail below with reference to a drawing, for example.
  • the single figure shows a block diagram of a hearing aid in which the method according to the invention is implemented.
  • hearing aid means both so-called hearing aids, which are used to correct a person's hearing impairment, and all other acoustic communication systems, such as radio devices ,
  • the hearing device 1 initially consists of two electro-acoustic transducers 2a, 2b and 6, namely one or more microphones 2a, 2b and a loudspeaker 6 - also referred to as a listener.
  • An actual main component of a hearing aid 1 is a transmission unit denoted by 4, in which the signal modifications — in the case of a hearing aid — are made to suit the user of the hearing aid 1.
  • the operations carried out in the transmission unit 4 are not only of the type specified
  • Target function of the hearing aid 1 dependent are also chosen in particular depending on the current acoustic environment.
  • z. B. already offered hearing aids, in which the device wearer can make a manual switch between different hearing programs on certain acoustic environmental situations are adapted.
  • Hearing aids are also known in which the acoustic ambient situation is recognized automatically.
  • European patent specifications with the publication numbers EP-B1-0 732 036 and EP-AI-0 814 636 and to the US patent with the publication number US-5 604 812, and to the brochure "Claro Autoselect" from Phonak hearing systems (28148 (GB) / 0300, 1999).
  • a signal analysis unit 7 and a signal identification unit 8 are provided in the hearing device 1.
  • a signal analysis unit 7 and a signal identification unit 8 are provided in the hearing device 1.
  • one or more analog / digital converters 3a, 3b are provided between the microphones 2a, 2b and the transmission unit 4 and a digital / analog converter 5 between the transmission unit 4 and the receiver 6.
  • the signal analysis unit 7 receives the same input signal as the transmission unit. Finally, the signal identification unit 8, which is connected to the output of the signal analysis unit 7, is connected to the transmission unit 4 and to a control unit 9.
  • a training unit is designated by 10, with the aid of which the determination of parameters required for the classification in the signal identification unit 8 in FIG an "off-line" operation is carried out.
  • the settings of the transmission unit 4 and the control unit 9 determined by the signal analysis unit 7 and the signal identification unit 8 can be overwritten by the user by means of a user input unit 11.
  • a preferred embodiment of the method according to the invention is based on the fact that characteristic features are extracted from an acoustic signal in an extraction phase, whereby instead of or in addition to technically based features - such as. B. the previously mentioned zero crossing rates, temporal level fluctuations, different modulation frequencies, or the level, the spectral focus, the amplitude distribution, etc. - also auditory-based features are used. These auditory-based features are determined with the help of Auditory Scene Analysis (ASA) and include in particular the loudness, the spectral shape (timbre), the harmonic structure (pitch), common settling and decay times (on- / offsets), coherent amplitude modulations , coherent frequency modulations, coherent frequency transitions, binaural effects, etc. B. in the works of A. Bregman, "Auditory Scene Analysis” (MIT Press, 1990) and W. A. Yost,
  • ASA Auditory Scene Analysis
  • the characterization of the tonality of the acoustic signal by analyzing the harmonic structure is given here, which is particularly suitable for the identification of tonal signals, such as speech and music.
  • the features are further grouped in the signal analysis unit 7 by means of shape principles.
  • the principles of Gestalt theory in which qualitative properties - such as continuity, closeness, similarity, common fate,
  • the grouping can - like incidentally also the feature extraction in the extraction phase - either be carried out context-independently, ie without adding additional knowledge (so-called "primitive” grouping), or it can be context-dependent in the sense of human auditory perception using additional information or hypotheses about the signal content occur (so-called “schema-based” grouping).
  • the context-dependent grouping is therefore adapted to the respective acoustic situation.
  • the second aspect of the inventive method described here relates to pattern recognition or signal identification, which is carried out in the identification phase.
  • the method of the Hidden Markov Models is used in the signal identification unit 8 for automatic classification of the acoustic environmental situation. This means that changes in the calculated characteristics over time can also be used for classification. Accordingly, dynamic and not only static properties of the environmental situations to be recognized or. Noise classes are taken into account. It is also possible to combine HMMs with other classifiers, e.g. B. in a multi-stage recognition process, to identify the acoustic environment.
  • the second aspect of the method mentioned ie the use of hidden Markov models, is suitable, ideal for determining a current acoustic environment or noise.
  • the recognition of a speaker as well as the detection of individual words or phrases can also be achieved with extremely good results, even on their own, ie without taking auditory-based features into account in the extraction phase or even without using ASA. (Auditory Scene Analysis) methods, which is used in a further embodiment to determine characteristic features.
  • the output signal of the signal identification unit 8 thus contains information about the type of acoustic environment (acoustic environment situation). This information is applied to the transmission unit 4, in which the most suitable program or the most suitable parameter set for the identified environmental situation is selected for the transmission. At the same time, the information of the control unit 9 determined in the signal identification 8 is applied for further functions where, depending on the situation, any function - e.g. an acoustic signal - can be triggered.
  • a complex procedure for determining the parameters necessary for the classification is necessary. This parameter determination is therefore preferably carried out in an "off-line" process, specifically for each class.
  • the actual identification of various acoustic environmental situations requires only little storage space and little computing capacity. It is therefore proposed to provide a training unit 9 which has sufficient computing power for parameter determination and which can be connected to the hearing aid 1 by suitable means for the purpose of data transfer.
  • suitable means can include, for example, a simple wire connection corresponding plugs.
  • Hearing aid users often also have the desire for the automatic detection of the environmental situation described above and the associated automatic detection
  • an input unit 11 is provided with which automatic reactions or automatic program selection can be overwritten.
  • Such an input unit 11 can, for. B. a switch on the hearing aid 1 or
  • Remote control which is operated by the user.

Landscapes

  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurosurgery (AREA)
  • Otolaryngology (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

Die Erfindung betrifft zunächst ein Verfahren zum Betrieb eines Hörgerätes (1), wobei das Verfahren darin besteht, dass in einer Extraktionsphase charakteristische Merkmale aus einem mit mindestens einem Mikrophon (2a, 2b) aufgenommenen akustischen Signal extrahiert werden, und dass in einer Identifikationsphase die charakteristischen unter Verwendung von Hidden Markov Modellen insbesondere zur Bestimmung einer momentanen akustischen Umgebungssituation bzw. von Geräuschen und/oder zur Sprecher- und Worterkennung verarbeitet werden. Des weiteren ist ein Hörgerät angegeben.

Description

Verfahren zum Betrieb eines Hörgerätes und ein Hörgerät
Die vorliegende Erfindung betrifft ein Verfahren zum Betrieb eines Hörgerätes sowie ein Hörgerät.
Moderne Hörgeräte können heute mit Hilfe verschiedener Hδrprogramme - typischerweise sind dies zwei bis maximal drei Programme - unterschiedlichen akustischen UmgebungsSituationen angepasst werden. Damit soll das
Hörgerät dem Benutzer in jeder Situation einen optimalen Nutzen bieten.
Die Wahl des Hδrprogramms kann entweder über die Fernbedienung oder über einen Schalter am Hörgerät selbst vorgenommen werden. Das Umschalten zwischen verschiedenen Hδrprogrammen ist jedoch für viele Benutzer lästig oder schwierig, wenn nicht sogar unmöglich. Welches Programm zu welchem Zeitpunkt den optimalen Komfort und die beste Sprachverständlichkeit bietet, ist auch für versierte Hörgeräteträger nicht immer einfach zu bestimmen. Ein automatisches Erkennen der akustischen Umgebungssituation und ein damit verbundenes automatisches Umschalten des Hδrprogramms im Hörgerät ist daher wünschenswert.
Es sind derzeit verschiedene Verfahren für die automatische Klassifizierung von akustischen Umgebungssituationen bekannt. Bei all diesen Verfahren werden aus dem Eingangssignal, das beim Hörgerät von einem oder mehreren Mikrophonen stammen kann, verschiedene Merkmale extrahiert. Basierend auf diesen Merkmalen trifft ein Mustererkenner unter Anwendung eines Algorithmus eine Entscheidung über die Zugehörigkeit des analysierten Eingangssignals zu einer bestimmten akustischen Umgebungssituation. Die verschiedenen bekannten Verfahren unterscheiden sich dabei einerseits durch die unterschiedlichen Merkmale, welche bei der Beschreibung der akustischen Umgebungssituation verwendet werden (Signalanalyse) , und andererseits durch den verwendeten Mustererkenner der die Merkmale klassifiziert (Signalidentifikation) .
Für die Merkmalsextraktion in Audiosignalen wurde im Aufsatz von J. M. Kates mit dem Titel "Classification of Background Noises für Hearing-Aid Applications" (1995, Journal of the Acoustical Society of America 97(1), Seiten 461 bis 469) vorgeschlagen, eine Analyse der zeitlichen Pegelschwankungen und des Spektrums vorzunehmen. Des weiteren wurde in der Europäischen Patentschrift mit der Nummer EP-B1-0 732 036 eine Analyse des Amplitudenhistogramms zur Erreichung des gleichen Ziels vorgeschlagen. Schliesslich wurde die Merkmalsextraktion auch durch eine Analyse verschiedener Modulationsfrequenzen untersucht und angewendet. Diesbezüglich wird auf die beiden Aufsätze von Ostendorf et. al. mit den Titeln "Empirische Klassifizierung verschiedener akustischer Signale und Sprache mittels einer
Modulationsfrequenzanalyse" (1997, DAGA 97, Seiten 608 bis 609) und "Klassifikation von akustischen Signalen basierend auf der Analyse von Modulationsspektren zur Anwendung in digitalen Hörgeräten" (1998, DAGA 98, Seiten 402 bis 403) verwiesen. Ein ähnlicher Ansatz ist auch in einem Aufsatz von Edwards et. al . mit dem Titel "Signal-processing algorithms for a new sofware-based, digital hearing device" (1998, The Hearing Journal 51, Seiten 44 bis 52) offenbart. Weitere mögliche Merkmale sind der Pegel selbst oder die Nulldurchgangsrate wie z.B. in H. L. Hirsch, "Statistical Signal Characterization" (Artech House 1992) beschrieben. Die bisher zur Audiosignalanalyse verwendeten Merkmale sind also rein technisch-basiert .
Die bekannten Methoden zur Geräuschklassifikation, bestehend aus Merkmalsextraktion und Mustererkennung, weisen die Nachteile auf, dass, obwohl eine eindeutige und robuste Identifikation von Sprachsignalen grundsätzlich möglich ist, mehrere verschiedene akustische UmgebungsSituationen nicht oder nur in unzureichender Weise klassifiziert werden können. So ist es zwar mit den bekannten Verfahren möglich, reine Sprachsignale von "Nicht-Sprache" - d.h. allen anderen akustischen UmgebungsSituationen - unterscheiden zu können. Dies reicht jedoch nicht aus, damit ein für eine momentane akustische Umgebungssituation zu verwendendes optimales Horprogramm gewählt werden kann. Als Folge davon ist entweder die Anzahl möglicher Hόrprogramme auf die zwei automatisch erkennbaren akustischen UmgebungsSituationen beschränkt oder der Hörgeräteträger muss die nicht abgedeckten akustischen Umgebungssituationen selber erkennen und das dazugehörige Horprogramm von Hand aktivieren.
Grundsätzlich lassen sich für die Geräuschklassifizierung bekannte Musteridentifikationsmethoden verwenden. So eignen sich insbesondere sogenannte Abstandsschätzer, Bayes Klassifizierer, Fuzzy Logic Systeme oder Neuronale Netzwerke als Mustererkenner. Weitere Informationen zu den zwei erst genannten Methoden können der Druckschrift "Pattern Classification and Scene Analysis" von Richard O. Duda und Peter E. Hart (John Wiley & Sons, 1973) entnommen werden. Bezüglich Neuronalen Netzwerken wird auf das Standardwerk von Christopher M. Bishop mit dem Titel "Neural Networks for Pattern Recognition" (1995, Oxford University Press) verwiesen. Des weiteren wird auf die folgenden Publikationen verwiesen: Ostendorf et. al . ,
"Klassifikation von akustischen Signalen basierend auf der Analyse von Modulationsspektren zur Anwendung in digitalen Hörgeräten" (Zeitschrift für Audiologie, 1998, Seiten 148 bis 150) ; F. Feldbusch, "Geräuscheerkennung mittels Neuronaler Netzwerke" (1998, Zeitschrift für Audiologie, Seiten 30 bis 36) ; Europäische Patentanmeldung mit der Veröffentlichungsnummer EP-AI-0 814 636; und US-Patent mit der Verδffentlichungsnummer US-5 604 812. All die genannten Mustererkennungsmethoden haben jedoch den Nachteil, dass sie lediglich statische Eigenschaften der interessierenden Geräuschklassen modellieren.
Der vorliegenden Erfindung liegt daher die Aufgabe zugrunde, zunächst ein Verfahren zum Betrieb eines Hörgerätes anzugeben, das gegenüber den bekannten Verfahren wesentlich robuster und genauer ist.
Diese Aufgabe wird durch die in Anspruch 1 angegebenen Massnahmen gelöst . Vorteilhafte Ausgestaltungen der Erfindung sowie ein Hörgerät sind in weiteren Ansprüchen angegeben.
Die Erfindung basiert auf einer Extraktion von Signalmerkmalen und einer nachfolgenden Separation verschiedener Geräuschquellen sowie einer Identifikation verschiedener Geräusche, wobei Hidden Markov Modelle in der Identifikationsphase eingesetzt werden, um eine momentane Umgebungssituation bzw. Geräusche und/oder einen Sprecher bzw. dessen Worte zu detektieren. Damit werden erstmals dynamische Eigenschaften der interessierenden Klassen berücksichtigt, womit eine erhebliche Verbesserung der Genauigkeit des erfindungsgemässen Verfahrens in allen Anwendungsbereichen, d.h. bei der Detektion der momentanen UmgebungsSituation bzw. von Geräuschen als auch bei der Detektion eines Sprechers und einzelner Worte, erreicht worden ist.
In einer weiteren Ausführungsform des erfindungsgemässen Verfahrens werden an Stelle von oder neben technischbasierten Merkmalen in der Extraktionsphase auditorisch- basierte Merkmale berücksichtigt. Diese auditorisch- basierten Merkmale werden vorzugsweise mit Methoden der Auditory Scene Analysis (ASA) ermittelt.
In einer noch weiteren Ausführungsform des erfindungsgemässen Verfahrens erfolgt in der Extraktionsphase eine Gruppierung der Merkmale mit Hilfe der Gestaltprinzipien kontextunabhängig oder kontextabhängig.
Die Erfindung wird nachfolgend anhand einer Zeichnung beispielsweise näher erläutert. Dabei zeigt die einzige Figur ein Blockschaltbild eines Hörgerätes, in dem das erfindungsgemässe Verfahren realisiert ist.
In der einzige Figur ist mit 1 ein Hörgerät bezeichnet, wobei im folgenden unter dem Begriff "Hörgerät" sowohl sogenannte Hörhilfen, welche zur Korrektur eines geschädigten Hδrvermδgens einer Person eingesetzt werden, als auch alle anderen akustischen Kommunikationssysteme, wie zum Beispiel Funkgeräte, zu verstehen sind.
Das Hörgerät 1 besteht in bekannter Weise zunächst aus zwei elektro-akustischen Wandlern 2a, 2b und 6, nämlich einem oder mehreren Mikrophonen 2a, 2b und einem Lautsprecher 6 - auch etwa als Hörer bezeichnet. Ein eigentlicher Hauptbestandteil eines Hörgerätes 1 ist eine mit 4 bezeichnete Übertragungseinheit, in welcher die - im Falle einer Hörhilfe - auf den Benutzer des Hörgerätes 1 abgestimmten Signalmodifikationen vorgenommen werden. Die in der Übertragungseinheit 4 vorgenommenen Operationen sind jedoch nicht nur von der Art einer vorgegebenen
Zielfunktion des Hörgerätes 1 abhängig, sondern werden insbesondere auch in Abhängigkeit der momentanen akustischen Umgebungssituation gewählt. Aus diesem Grund wurden z. B. bereits Hörhilfen angeboten, bei denen der Geräteträger eine manuelle Umschaltung zwischen verschiedenen Hόrprogrammen vornehmen kann, die auf bestimmte akustische UmgebungsSituationen angepasst sind. Ebenso sind Hörhilfen bekannt, bei denen die Erkennung der akustischen UmgebungsSituation automatisch vorgenommen wird. Diesbezüglich sei nochmals auf die europäischen Patentschriften mit den Verδffentlichungsnummern EP-B1-0 732 036 und EP-AI-0 814 636 sowie auf das US Patent mit der Verδffentlichungsnummer US-5 604 812, und auf die Broschüre "Claro Autoselect" der Firma Phonak hearing Systems (28148 (GB)/0300, 1999) verwiesen.
Neben den erwähnten Bestandteilen - wie Mikrophone 2a, 2b, Übertragungseinheit 4 und Hörer 6 - ist im Hörgerät 1 eine Signalanalyseeinheit 7 und eine Signalidentifikationseinheit 8 vorgesehen. Handelt es sich beim Hörgerät 1 um eine Realisierung mittels
Digitaltechnologie, so sind zwischen den Mikrophonen 2a, 2b und der Übertragungseinheit 4 ein oder mehrere Analog/Digital-Wandler 3a, 3b und zwischen der Übertragungseinheit 4 und dem Hörer 6 ein Digital/Analog- Wandler 5 vorgesehen. Obwohl die Realisierung in
Digitaltechnologie die bevorzugte Ausführungsform der vorliegenden Erfindung ist, ist grundsätzlich auch denkbar, dass alle Komponenten in Analogtechnologie realisiert sind. Diesfalls entfallen selbstverständlich die Wandler 3a, 3b und 5.
Die Signalanalyseeinheit 7 ist mit dem gleichen Eingangssignal beaufschlagt wie die Übertragungseinheit . Schliesslich ist die Signalidentifikationseinheit 8, welche mit dem Ausgang der Signalanalyseeinheit 7 verbunden ist, mit der Übertragungseinheit 4 und mit einer Steuereinheit 9 verbunden.
Mit 10 ist eine Trainingseinheit bezeichnet, mit Hilfe derer die Ermittlung von für die Klassifizierung in der Signalidentifikationseinheit 8 benötigten Parameter in einem "off-line" -Betrieb vorgenommen wird.
Die durch die Signalanalyseeinheit 7 und die Signalidentifikationseinheit 8 ermittelten Einstellungen der Übertragungseinheit 4 und der Steuereinheit 9 können durch den Benutzer mittels einer Benutzereingabeeinheit 11 überschrieben werden.
Im folgenden wird das erfindungsgemässe Verfahren erläutert:
Eine bevorzugte Ausführungsform des erfindungsgemässen Verfahrens basiert darauf, dass in einer Extraktionsphase charakteristische Merkmale aus einem akustischen Signal extrahiert werden, wobei anstelle oder zusätzlich zu technisch-basierten Merkmalen - wie z. B. die früher erwähnten Nulldurchgangsraten, zeitlichen Pegelschwankungen, verschiedenen Modulationsfrequenzen, oder der Pegel, der spektrale Schwerpunkt, die Amplitudenverteilung, etc. - auch auditorisch-basierte Merkmale verwendet werden. Diese auditorisch-basierten Merkmale werden mit Hilfe der Auditory Scene Analysis (ASA) ermittelt und umfassen insbesondere die Lautheit, die spektrale Form (timbre) , die harmonische Struktur (pitch) , gemeinsame Einschwing- und Ausschwingzeiten (on-/offsets) , kohärente Amplitudenmodulationen, kohärente Frequenzmodulationen, kohärente Frequenzübergänge, binaurale Effekte, etc. Erläuterungen zur Auditory Scene Analysis sind z. B. in den Werken von A. Bregman, "Auditory Scene Analysis" (MIT Press, 1990) und W. A. Yost,
"Fundamentals of Hearing - An Introduction" (Academic Press, 1977) zu finden. Angaben zu den einzelnen auditorisch-basierten Merkmalen findet man u.a. in W. A.Yost und S. Sheft, "Auditory Perception" (in "Human Psychophsics", herausgegeben von W. A. Yost, A. N. Popper und R. R. Fay, Springer 1993) , W. M. Hartmann, "Pitch, periodicity, and auditory organization" (Journal of the Acoustical Society of America, 100 (6) , Seiten 3491 bis 3502, 1996), sowie D. K. Mellinger und B. M. Mont-Reynaud, "Scene Analysis" (in "Auditory Computation" , herausgegeben von H. L. Hawkins, T. A. McMullen, A. N. Popper und R. R. Fay, Springer 1996) .
Als Beispiel für die Verwendung von auditorisch-basierten Merkmalen bei der Signalanalyse sei an dieser Stelle die Charakterisierung der Tonalität des akustischen Signals durch die Analyse der harmonischen Struktur angegeben, was speziell für die Identifikation tonaler Signale, wie Sprache und Musik, geeignet ist.
Bei einer weiteren Ausfύhrungsform des erfindungsgemässen Verfahrens ist es vorgesehen, in der Signalanalyseeinheit 7 des weiteren eine Gruppierung der Merkmale mittels Gestalt- Prinzipien vorzunehmen. Dabei werden die Prinzipien der Gestalttheorie, bei der qualitative Eigenschaften - wie Kontinuität, Nähe, Ähnlichkeit, gemeinsames Schicksal,
Geschlossenheit, gute Fortsetzung und andere - untersucht werden, auf die auditorisch-basierten und eventuell technischen Merkmale zur Bildung von auditorischen Objekten angewendet . Die Gruppierung kann - wie übrigens auch die Merkmalsextraktion in der Extraktionsphase - entweder kontext-unabhängig, also ohne Hinzunahme von zusätzlichem Wissen, durchgeführt werden (sogenannt "primitive" Gruppierung) , oder sie kann kontext-abhängig im Sinne der menschlichen auditorischen Wahrnehmung unter Verwendung von zusätzlicher Information oder Hypothesen über den Signalgehalt erfolgen (sogenannt "schema-basierte" Gruppierung) . Die kontext-abhängige Gruppierung ist also der jeweiligen akustischen Situation angepasst . Für ausführliche Erläuterungen der Prinzipien der Gestalttheorie und der Gruppierung mittels
Gestaltprinzipien sei stellvertretend auf folgende Veröffentlichungen verwiesen: "Wahrnehmungspsychologie" von E. B. Goldstein (Spektrum Akademischer Verlag, 1997), "Neuronale Grundlagen der Gestaltwahrnehmung" von A. K. Engel und W. Singer (Spektrum der Wissenschaft, 1998, Seiten 66-73) , sowie "Auditory Scene Analysis" von A. Bregman (MIT Press, 1990) .
Der Vorteil der Anwendung dieser Gruppierungsverfahren liegt darin, dass die Merkmale des Eingangssignals weiter differenziert werden können. Insbesondere sind dadurch
Signalteile identifizierbar, welche von unterschiedlichen Klangquellen stammen. Dies ermöglicht, dass die extrahierten Merkmale einzelnen Geräuschquellen zugeordnet werden können, womit zusätzliches Wissen über die vorhandenen Geräuschquellen - und damit über die momentane UmgebungsSituation - erhalten wird.
Der zweite Aspekt des hier beschriebenen erfindungsgemässen Verfahrens betrifft die Mustererkennung bzw. die Signalidentifikation, welche in der Identifikationsphase vorgenommen wird. In der bevorzugten Ausführungsform des erfindungsgemässen Verfahrens kommt in der Signalidentifikationseinheit 8 zur automatischen Klassifizierung der akustischen Umgebungssituation die Methode der Hidden Markov Modelle (HMM) zur Anwendung. Damit können auch zeitliche Änderungen der berechneten Merkmale zur Klassifizierung eingesetzt werden. Demzufolge können auch dynamische und nicht nur statische Eigenschaften der zu erkennenden Umgebungssituationen resp. Geräuschklassen berücksichtigt werden. Ebenfalls möglich ist die Kombination von HMMs mit anderen Klassifizierern, z. B. in einem mehrstufigen Erkennungsverfahren, zur Identifikation der akustischen Umgebung.
Erfindungsgemäss eignet sich der erwähnte zweite Aspekt des Verfahrens, d.h. die Verwendung von Hidden Markov Modellen, vorzüglich zur Bestimmung einer momentanen akustischen UmgebungsSituation bzw. von Geräuschen. Ebenfalls das Erkennen von einem Sprecher sowie die Detektion einzelner Worte oder Phrasen lassen sich mit äusserst guten Ergebnissen bewerkstelligen, und zwar auch für sich allein, d.h. auch ohne die Mitberücksichtigung von auditorisch- basierten Merkmalen in der Extraktionsphase bzw. auch ohne die Verwendung von ASA- (Auditory Scene Analysis) -Methoden, welche in einer weiteren Ausführungsform zur Bestimmung von charakteristischen Merkmalen eingesetzt wird.
Das Ausgangssignal der Signalidentifikationseinheit 8 enthält somit Informationen über die Art der akustischen Umgebung (akustische Umgebungssituation) . Diese Information wird der Übertragungseinheit 4 beaufschlagt, in der das für die erkannte Umgebungssituation geeignetste Programm bzw. der geeignetste Parametersatz für die Übertragung ausgewählt wird. Gleichzeitig wird die in der Signalidentifikation 8 ermittelte Information der Steuereinheit 9 für weitere Funktionen beaufschlagt, wo je nach Situation eine beliebige Funktion - z.B. ein akustisches Signal - ausgelöst werden kann.
Werden in der Identifikationsphase Hidden Markov Modelle verwendet, so wird ein aufwendiges Verfahren zur Ermittlung der für die Klassifizierung notwendigen Parameter notwendig. Diese Parameterermittlung erfolgt daher vorzugsweise in einem "Off-line"-Verfahren, und zwar für jede Klasse allein. Die eigentliche Identifikation verschiedener akustischer Umgebungssituationen erfordert nur geringen Speicherplatz und wenig Rechenkapazität. Daher wird vorgeschlagen, eine Trainingseinheit 9 vorzusehen, die zur Parameterbestimmung ausreichend Rechenleistung aufweist und die mit geeigneten Mitteln mit dem Hörgerät 1 zum Zweck des Datentransfers verbindbar sind. Solche Mittel können beispielsweise eine einfache Drahtverbindung mit entsprechenden Steckern sein.
Mit dem erfindungsgemässen Verfahren ist es somit möglich, aus einer Vielzahl verschiedener Einstellmöglichkeiten und automatisch abrufbaren Aktionen die geeignetste auszuwählen, ohne dass der Benutzer des Gerätes selber tätig werden muss. Der Komfort für den Benutzer ist damit wesentlich verbessert, denn es wird unmittelbar nach dem Erkennen einer neuen akustischen Umgebungssituation das richtige Programm bzw. die entsprechende Funktion im Hörgerät 1 selbsttätig gewählt .
Benutzer von Hörgeräten haben oft auch den Wunsch, die vorstehend beschriebene automatische Erkennung der Umgebungssituation und die damit verbundene automatische
Wahl des entsprechenden Programms auszuschalten. Aus diesem Grund ist eine Eingabeeinheit 11 vorgesehen, mit der automatische Reaktionen oder die automatische Programmwahl überschrieben werden kann. Eine solche Eingabeeinheit 11 kann z. B. ein Schalter am Hörgerät 1 oder eine
Fernbedienung sein, welche durch den Benutzer betätigt wird.
Andere Möglichkeiten wie z. B. eine sprachgesteuerte Benutzereingabe sind ebenfalls denkbar.

Claims

Patentansprüche:
1. Verfahren zum Betrieb eines Hörgerätes (1), wobei das Verfahren darin besteht,
- dass in einer Extraktionsphase charakteristische Merkmale aus einem mit mindestens einem Mikrophon (2a, 2b) aufgenommenen akustischen Signal extrahiert werden, und
- dass in einer Identifikationsphase die charakteristischen Merkmale unter Verwendung der Hidden Markov Modelle insbesondere zur Bestimmung einer momentanen akustischen UmgebungsSituation bzw. von Geräuschen und/oder zur Sprecher- und Worterkennung verarbeitet werden.
2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass in der Extraktionsphase zur Bestimmung der charakteristischen Merkmale ASA- (Auditory Scene Analysis) - Methoden verwendet werden.
3. Verfahren nach Anspruch 1 oder 2 , dadurch gekennzeichnet, dass ein oder mehrere der folgenden auditorisch-basierten Merkmale bei der Merkmalsextraktion ermittelt werden: Lautheit, spektrale Form, harmonische Struktur, gemeinsame Ein- und Ausschwingvorgänge, kohärente Amplitudenmodulationen, kohärente Frequenzmodulationen, kohärente Frequenztransitionen und binaurale Effekte.
4. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass zusätzlich zu auditorisch- basierten Merkmalen auch beliebige andere Merkmale ermittelt werden.
5. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass zur Bildung von auditorischen Objekten die auditorisch-basierten und die gegebenenfalls anderen Merkmale mit den Prinzipien der Gestalttheorie gruppiert werden.
6. Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass die Merkmalsextraktion und/oder die Gruppierung der Merkmale entweder kontext-unabhängig oder kontext-abhängig im Sinne der menschlichen auditorischen Wahrnehmung, unter Berücksichtigung von zusätzlicher Information oder
Hypothesen über den Signalgehalt und somit der jeweiligen akustischen Situation angepasst, durchgeführt wird.
7. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass in der Identifikationsphase auf Daten zugegriffen wird, welche in einer "off-line"- Trainingsphase ermittelt wurden.
8. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass die Extraktionsphase und die Identifikationsphase kontinuierlich resp. in regelmässigen oder unregelmässigen Zeitabständen erfolgt.
9. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass aufgrund einer ermittelten momentanen akustischen Umgebungssituation ein Programm bzw. eine Übertragungsfunktion zwischen mindestens einem Mikrophon (2a, 2b) und einem Hörer (6) im Hörgerät (1) eingestellt wird.
10. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass aufgrund einer ermittelten momentanen akustischen Umgebungssituation, einem detektierten Geräusch, einem detektierten Sprecher oder einem detektierten Wort eine bestimmte Funktion im Hörgerät (1) ausgelöst wird.
11. Hörgerät (1) mit einer Übertragungseinheit (4), die eingangsseitig mit mindestens einem Mikrophon (2a, 2b) und ausgangsseitig mit einem Hörer (6) wirkverbunden ist, dadurch gekennzeichnet, dass das Eingangssignal der Übertragungseinheit (4) gleichzeitig einer Signalanalyseeinheit (7) zur Extraktion von Merkmalen beaufschlagt ist, dass die Signalanalyseeinheit (7) mit einer Signalidentifikationseinheit (8) wirkverbunden ist, in der unter Verwendung von Hidden Markov Modellen insbesondere eine momentanen akustischen Umgebungssituation bzw. Geräusche und/oder ein Sprecher bzw. dessen Worte bestimmt werden.
12. Hörgerät nach Anspruch 11, dadurch gekennzeichnet, dass die Signalidentifikationseinheit (8) mit der Übertragungseinheit (4) zur Einstellung eines Programms bzw. einer Übertragungsfunktion wirkverbunden ist.
13. Hörgerät (1) nach Anspruch 11 oder 12, dadurch gekennzeichnet, dass eine Eingabeeinheit (11) vorgesehen ist, welche mit der Übertragungseinheit (4) wirkverbunden ist.
14. Hörgerät (1) nach einem der Ansprüche 11 bis 13, dadurch gekennzeichnet, dass eine Steuereinheit (9) vorgesehen ist, wobei die Signalidentifikationseinheit (8) mit der Steuereinheit (9) wirkverbunden ist.
15. Hörgerät (1) nach Anspruch 14, dadurch gekennzeichnet, dass die Eingabeeinheit (11) mit der Steuereinheit (9) wirkverbunden ist .
16. Hörgerät (1) nach einem der Ansprüche 11 bis 15, dadurch gekennzeichnet, dass beliebige Mittel zum Übertragen von Parametern von einer Trainingseinheit (10) zur Signalidentifikationseinheit (8) vorgesehen sind.
EP01900013A 2001-01-05 2001-01-05 Verfahren zum betrieb eines hörgerätes und ein hörgerät Expired - Lifetime EP1247425B1 (de)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CH2001/000007 WO2001022790A2 (de) 2001-01-05 2001-01-05 Verfahren zum betrieb eines hörgerätes und ein hörgerät

Publications (2)

Publication Number Publication Date
EP1247425A2 true EP1247425A2 (de) 2002-10-09
EP1247425B1 EP1247425B1 (de) 2008-07-02

Family

ID=4358166

Family Applications (1)

Application Number Title Priority Date Filing Date
EP01900013A Expired - Lifetime EP1247425B1 (de) 2001-01-05 2001-01-05 Verfahren zum betrieb eines hörgerätes und ein hörgerät

Country Status (6)

Country Link
EP (1) EP1247425B1 (de)
JP (1) JP2004500750A (de)
CA (1) CA2400089A1 (de)
DE (1) DE50114066D1 (de)
DK (1) DK1247425T3 (de)
WO (1) WO2001022790A2 (de)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1442628A2 (de) 2001-11-09 2004-08-04 Phonak Ag Verfahren zum betrieb eines hörgerätes sowie ein hörgerät
US20040175008A1 (en) 2003-03-07 2004-09-09 Hans-Ueli Roeck Method for producing control signals, method of controlling signal and a hearing device
DK1326478T3 (en) 2003-03-07 2014-12-08 Phonak Ag Method for producing control signals and binaural hearing device system
US8027495B2 (en) 2003-03-07 2011-09-27 Phonak Ag Binaural hearing device and method for controlling a hearing device system
US7286672B2 (en) 2003-03-07 2007-10-23 Phonak Ag Binaural hearing device and method for controlling a hearing device system
JP4939935B2 (ja) * 2003-06-24 2012-05-30 ジーエヌ リザウンド エー／エス 整合された音響処理を備える両耳用補聴器システム
US6912289B2 (en) 2003-10-09 2005-06-28 Unitron Hearing Ltd. Hearing aid and processes for adaptively processing signals therein
EP1513371B1 (de) 2004-10-19 2012-08-15 Phonak Ag Verfahren zum Betrieb eines Hörhilfegerätes sowie Hörhilfegerät
US7319769B2 (en) * 2004-12-09 2008-01-15 Phonak Ag Method to adjust parameters of a transfer function of a hearing device as well as hearing device
EP1653773B1 (de) 2005-08-23 2010-06-09 Phonak Ag Verfahren zum Betrieb eines Hörgerätes sowie ein Hörgerät
US7680291B2 (en) 2005-08-23 2010-03-16 Phonak Ag Method for operating a hearing device and a hearing device
US8396224B2 (en) 2006-03-03 2013-03-12 Gn Resound A/S Methods and apparatuses for setting a hearing aid to an omnidirectional microphone mode or a directional microphone mode
US8249284B2 (en) 2006-05-16 2012-08-21 Phonak Ag Hearing system and method for deriving information on an acoustic scene
EP1858292B2 (de) 2006-05-16 2022-02-23 Sonova AG Hörgerät sowie Verfahren zum Betrieb eines Hörgerätes
US7957548B2 (en) 2006-05-16 2011-06-07 Phonak Ag Hearing device with transfer function adjusted according to predetermined acoustic environments
EP2103177B1 (de) 2006-12-13 2011-01-26 Phonak AG Verfahren zum betrieb eines hörgeräts und hörgerät
DE102007056221B4 (de) 2007-11-27 2009-07-09 Siemens Ag Österreich Verfahren zur Spracherkennung
US9026821B2 (en) 2008-02-01 2015-05-05 Cochlear Limited Optimizing power consumption of a digital circuit
DK2569955T3 (en) 2010-05-12 2015-01-12 Phonak Ag Hearing system and method for operating the same
EP2656637B1 (de) 2010-12-20 2021-07-07 Sonova AG Verfahren für den betrieb eines hörgeräts und hörgerät

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE59410235D1 (de) * 1994-05-06 2003-03-06 Siemens Audiologische Technik Programmierbares Hörgerät
US6002776A (en) * 1995-09-18 1999-12-14 Interval Research Corporation Directional acoustic signal processor and method therefor
US5960397A (en) * 1997-05-27 1999-09-28 At&T Corp System and method of recognizing an acoustic environment to adapt a set of based recognition models to the current acoustic environment for subsequent speech recognition
ATE331417T1 (de) * 2000-04-04 2006-07-15 Gn Resound As Eine hörprothese mit automatischer hörumgebungsklassifizierung

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See references of WO0122790A3 *

Also Published As

Publication number Publication date
WO2001022790A3 (de) 2002-04-18
DK1247425T3 (da) 2008-10-27
EP1247425B1 (de) 2008-07-02
WO2001022790A2 (de) 2001-04-05
JP2004500750A (ja) 2004-01-08
DE50114066D1 (de) 2008-08-14
CA2400089A1 (en) 2001-04-05

Similar Documents

Publication Publication Date Title
WO2001020965A2 (de) Verfahren zur bestimmung einer momentanen akustischen umgebungssituation, anwendung des verfharens und ein hörgerät
EP1247425B1 (de) Verfahren zum betrieb eines hörgerätes und ein hörgerät
DE60120949T2 (de) Eine hörprothese mit automatischer hörumgebungsklassifizierung
EP1470735B1 (de) Verfahren zur bestimmung einer akustischen umgebungssituation, anwendung des verfahrens und ein hörhilfegerät
DE69816221T2 (de) Sprachschnellheitsveränderungsverfahren und vorrichtung
DE60027438T2 (de) Verbesserung eines verrauschten akustischen signals
DE3871711T2 (de) Verfahren und geraet zur verbesserung der verstaendlichkeit von stimmen in hoher geraeuschumgebung.
DE102019200954A1 (de) Signalverarbeitungseinrichtung, System und Verfahren zur Verarbeitung von Audiosignalen
EP3445067B1 (de) Verfahren zum betrieb eines hörgeräts und hörgerät
EP1404152B1 (de) Vorrichtung und Verfahren zum Anpasssen eines Hörgeräts
DE102019200956A1 (de) Signalverarbeitungseinrichtung, System und Verfahren zur Verarbeitung von Audiosignalen
EP2405673B1 (de) Verfahren zum Lokalisieren einer Audioquelle und mehrkanaliges Hörsystem
EP3386215B1 (de) Verfahren zum betrieb einer hörvorrichtung und hörvorrichtung
DE69616724T2 (de) Verfahren und System für die Spracherkennung
DE102010041740A1 (de) Verfahren zur Signalverarbeitung in einem Hörhilfegerät sowie Hörhilfegerät
DE2020753A1 (de) Einrichtung zum Erkennen vorgegebener Sprachlaute
EP2077059A1 (de) Verfahren zum betreiben einer hörhilfe, sowie hörhilfe
EP2200341B1 (de) Verfahren zum Betrieb eines Hörhilfegerätes sowie Hörhilfegerät mit einer Quellentrennungseinrichtung
EP2120484B1 (de) Verfahren zum Betreiben eines Hörgeräts und Hörgerät
EP1432282B1 (de) Verfahren zum Anpassen eines Hörgerätes an eine momentane akustische Umgebungssituation und Hörgerätesystem
DE19948907A1 (de) Verfahren zur Signalverarbeitung in einer Hörhilfe sowie Hörhilfe
WO2001047335A2 (de) Verfahren zur elimination von störsignalanteilen in einem eingangssignal eines auditorischen systems, anwendung des verfahrens und ein hörgerät
EP1348315B1 (de) Verfahren zum betrieb eines hörgeräts und hörgerät dafür
EP2792165B1 (de) Anpassung einer klassifikation eines audiosignals in einem hörgerät
DE69608822T2 (de) Hörgerät mit verbessertem perzentilgenerator

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20020807

AK Designated contracting states

Kind code of ref document: A2

Designated state(s): AT BE CH CY DE DK ES FI FR GB GR IE IT LI LU MC NL PT SE TR

AX Request for extension of the european patent

Free format text: AL;LT;LV;MK;RO;SI

17Q First examination report despatched

Effective date: 20030407

RBV Designated contracting states (corrected)

Designated state(s): CH DE DK FR GB IT LI

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): CH DE DK FR GB IT LI

REG Reference to a national code

Ref country code: GB

Ref legal event code: FG4D

Free format text: NOT ENGLISH

REG Reference to a national code

Ref country code: CH

Ref legal event code: NV

Representative=s name: TROESCH SCHEIDEGGER WERNER AG

Ref country code: CH

Ref legal event code: EP

REF Corresponds to:

Ref document number: 50114066

Country of ref document: DE

Date of ref document: 20080814

Kind code of ref document: P

PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

26N No opposition filed

Effective date: 20090403

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20080702

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: FR

Payment date: 20130204

Year of fee payment: 13

Ref country code: DK

Payment date: 20130110

Year of fee payment: 13

REG Reference to a national code

Ref country code: DK

Ref legal event code: EBP

Effective date: 20140131

REG Reference to a national code

Ref country code: FR

Ref legal event code: ST

Effective date: 20140930

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: FR

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20140131

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: DK

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20140131

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: CH

Payment date: 20160127

Year of fee payment: 16

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: GB

Payment date: 20160127

Year of fee payment: 16

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: DE

Payment date: 20170125

Year of fee payment: 17

REG Reference to a national code

Ref country code: CH

Ref legal event code: PL

GBPC Gb: european patent ceased through non-payment of renewal fee

Effective date: 20170105

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CH

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20170131

Ref country code: LI

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20170131

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: GB

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20170105

REG Reference to a national code

Ref country code: DE

Ref legal event code: R119

Ref document number: 50114066

Country of ref document: DE

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: DE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20180801