EP2785074A1 - Verfahren zum automatischen Einstellen eines Geräts und Klassifikator - Google Patents

Verfahren zum automatischen Einstellen eines Geräts und Klassifikator Download PDF

Info

Publication number
EP2785074A1
EP2785074A1 EP14158535.6A EP14158535A EP2785074A1 EP 2785074 A1 EP2785074 A1 EP 2785074A1 EP 14158535 A EP14158535 A EP 14158535A EP 2785074 A1 EP2785074 A1 EP 2785074A1
Authority
EP
European Patent Office
Prior art keywords
cluster
movable
clusters
fixed
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
EP14158535.6A
Other languages
English (en)
French (fr)
Other versions
EP2785074B1 (de
EP2785074B8 (de
Inventor
Roland Barthel
Clemens Dr. Otte
Florian Dr. Steinke
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sivantos Pte Ltd
Original Assignee
Siemens AG
Siemens Medical Instruments Pte Ltd
Siemens Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens AG, Siemens Medical Instruments Pte Ltd, Siemens Corp filed Critical Siemens AG
Publication of EP2785074A1 publication Critical patent/EP2785074A1/de
Publication of EP2785074B1 publication Critical patent/EP2785074B1/de
Application granted granted Critical
Publication of EP2785074B8 publication Critical patent/EP2785074B8/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; ELECTRIC HEARING AIDS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Electric hearing aids
    • H04R25/50—Customised settings for obtaining desired overall acoustical characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; ELECTRIC HEARING AIDS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Electric hearing aids
    • H04R25/50—Customised settings for obtaining desired overall acoustical characteristics
    • H04R25/505—Customised settings for obtaining desired overall acoustical characteristics using digital signal processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; ELECTRIC HEARING AIDS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Electric hearing aids
    • H04R25/70—Adaptation of deaf aid to hearing loss, e.g. initial electronic fitting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; ELECTRIC HEARING AIDS; PUBLIC ADDRESS SYSTEMS
    • H04R2225/00—Details of deaf aids covered by H04R25/00, not provided for in any of its subgroups
    • H04R2225/41—Detection or adaptation of hearing aid parameters or programs to listening situation, e.g. pub, forest

Definitions

  • the present invention relates to a method for automatically adjusting a device. Moreover, the present invention relates to a classifier for an automatically adjustable device.
  • the device is, for example, a transformer to be regulated, an industrial plant to be regulated or a hearing device.
  • a hearing device is understood to mean any device that can be worn in or on the ear and that generates a sound stimulus, such as a hearing aid, a headset, headphones and the like.
  • Hearing aids are portable hearing aids that are used to care for the hearing impaired.
  • different types of hearing aids such as behind-the-ear hearing aids (BTE), hearing aid with external receiver (RIC: receiver in the canal) and in-the-ear hearing aids (IDO), e.g. Concha hearing aids or canal hearing aids (ITE, CIC).
  • BTE behind-the-ear hearing aids
  • RIC hearing aid with external receiver
  • IDO in-the-ear hearing aids
  • ITE canal hearing aids
  • the hearing aids listed by way of example are worn on the outer ear or in the ear canal.
  • bone conduction hearing aids, implantable or vibrotactile hearing aids are also available on the market. The stimulation of the damaged hearing takes place either mechanically or electrically.
  • Hearing aids have in principle as essential components an input transducer, an amplifier and an output transducer.
  • the input transducer is usually a sound receiver, z. As a microphone, and / or an electromagnetic receiver, for. B. an induction coil.
  • the output transducer is usually used as an electroacoustic transducer, z. As miniature speaker, or as an electromechanical transducer, z. B. bone conduction, realized.
  • the amplifier is usually integrated in a signal processing unit. This basic structure is in FIG. 1 using the example of a behind-the-ear hearing aid shown. In a hearing aid housing 1 for carrying behind the ear, one or more microphones 2 for receiving the sound from the environment are installed.
  • a signal processing unit 3 which is also integrated in the hearing aid housing 1, processes the microphone signals and amplifies them.
  • the output signal of the signal processing unit 3 is transmitted to a loudspeaker or earpiece 4, which outputs an acoustic signal.
  • the sound is optionally transmitted via a sound tube, which is fixed with an earmold in the ear canal, to the eardrum of the device carrier.
  • the power supply of the hearing device and in particular the signal processing unit 3 is effected by a likewise integrated into the hearing aid housing 1 battery. 5
  • Hearing aids are able to perform certain device settings independently according to the particular hearing situation.
  • Such device setting can, for.
  • the current hearing situation is described here by an input vector (input feature vector).
  • This input vector is mapped to parameters that describe the corresponding device setting (also referred to below as setting variables).
  • the mapping rule which maps input vectors to parameters, is first determined by the manufacturer, which is usually trained by means of machine learning methods on a database of known listening situations. In later operation adjustments can be made due to user input.
  • User input may be changing a particular setting (eg, "louder"), assigning to a particular class (eg, "this is music”), or even indirectly, merely signaling the modification of the particular setting.
  • the following problems occur:
  • the listening situations of each user may be different than those used for training by the manufacturer. Specifically, this means that the input vectors are distributed differently in the feature space than by the manufacturer accepted. One reason can be the appearance of a completely new hearing situation. Another reason may be that the user often resides in certain situations (eg mixed situation "speech with background music and noise"), which are little represented in the database, so that the corresponding transitions in feature space are only roughly modeled. Although the problem could be reduced by better databases, these exist only to a limited extent and, as a matter of principle, never all possible listening situations can be stored.
  • the output parameter value may be instable instable, e.g. B. repeatedly jump between greatly different values, which is perceived by the user as very disturbing.
  • P4 Incorrect (eg, inconsistent / meaningless) user input or non-occurrence of a particular situation over an extended period of time may not significantly degrade system performance in certain situations. That is, the necessary adaptability of the hearing aid must be balanced against the preservation of a certain basic behavior, eg. B. good speech intelligibility in peace.
  • ETH ZURICH 2010 (http://e-collection.library.ethz.ch/eserv/eth:2801/eth-2801-01.pdf ).
  • the use as a regression function, ie as direct mapping of input vectors to parameter values, is not included. Clustering of the input vectors is not performed; instead, the input vectors of a time window to be defined are considered.
  • the object of the present invention is to provide a method for automatically adjusting a device with which improved adjustment can be achieved when input signals are in an unforeseen area of the input space.
  • At least one movable cluster and at least one fixed cluster are used for the automatic setting of the device.
  • Each of the clusters is assigned a set value (also referred to herein as "label") which may include one or more values by which the device can be set.
  • the clusters each have a cluster position. The position of the movable cluster is shifted based on the feature vector of the input signal, while the position of the fixed cluster remains unchanged. Moving the moving clusters is called input adaptation in the following. The effect of this input adaptation is that the setting of the device can be smoothly changed even if the input signal is outside the originally specified signal classes.
  • the shifting of the movable cluster occurs in response to a trigger signal different from the input signal.
  • the shifting can be specifically triggered in another way.
  • the trigger signal is a turn-on signal, a time signal or a user input signal. So it may be favorable, a shift of clusters only at the beginning of the operation of the respective device make. Alternatively, it may be advantageous to control the shifting of the clusters in time with a time signal, and thus, for example, to introduce an adaptation periodically. A further alternative is that the adaptation or shifting of the movable clusters takes place by means of a user input signal, that is to say on a manual input.
  • the feature vector is assigned to that of the movable clusters to which it has the smallest spatial separation, and this cluster is finally displaced.
  • This has the advantage that in the input space very specific one or a few clusters can be selectively moved.
  • one or more setting variables (labels) can be changed at least partially by a user input. This has the advantage that the device in question can be adapted very individually to the respective user.
  • each of the adjustment variables of the fixed and / or movable clusters can only be changed in a specific area given in each case. This can ensure that a basic characteristic of the device to be set is maintained.
  • the set size of the moved cluster or clusters is determined by neighborhood-based regression or recursive update. This results in a reduced computational effort compared to the principle of semi-supervised learning.
  • the set value can be a parameter value, a parameter vector or a predetermined or gradual class value.
  • the set value can thus embody a one-dimensional or multi-dimensional value, but also an intermediate variable (class value) for determining parameter values or parameter vectors.
  • a hearing device and in particular a hearing aid is equipped with the above-mentioned classifier, wherein the input signal is an audio signal.
  • the hearing device can make a smooth change to their setting even if the input signal can not be assigned directly to one of the given clusters (classes).
  • the classifier according to the invention or the method according to the invention can also be used generally for industrial installations where action selection rules are necessary for operation.
  • the moving clusters also provide an input adaptation, while the fixed clusters ensure that a basic behavior of the system is maintained. User input can then be used by the user to enter corrections into the system.
  • the term user input can also be abstracted in an industrial application to an external measurement or error signal. This external signal changes the label values of the clusters so that the setting of the underlying device corresponds more closely to the desired behavior.
  • a concrete example of an industrial plant to be controlled would be, for example, a transformer which transforms a medium voltage to a low voltage. This requires on the one hand that the output voltage remains constant, and on the other hand that the setting is not changed too often.
  • the settings of the system can be tracked with the input signals, with the fixed clusters again ensuring that a basic behavior of the system is ensured.
  • the input of a central unit could be interpreted here, which only turns on when a rough deviation from target specifications takes place.
  • the method according to the invention or the classifier according to the invention could also be used for the coupling of industrial processes.
  • the above method features can also be transferred to the mentioned classifier, resulting in corresponding functions of the respective devices of the classifier.
  • the examples may relate in particular to hearing devices and in particular hearing aids of the type mentioned above. Accordingly, the methods described below can be carried out in a hearing device or a hearing device. Likewise, the classifier according to the invention can be used in a hearing device, which has the eingangser Wegnten further components. The examples can also be applied to transformers z. B. for so-called "smart grids" or other to be controlled or regulated industrial plants.
  • an audio signal 10 is provided by a signal input device in a hearing device after the microphone or in a classifier. Another device is a different input signal.
  • the input signal 10 is supplied to a feature extractor 11. There, any features such as for a hearing aid "speech in noise”, “speech at rest”, “noise”, "music” or “car noise” are obtained from the input signal 10 and a corresponding input feature vector e is formed.
  • the set of all input feature vectors forms the input space.
  • Each input feature vector can be assigned to a class or a cluster.
  • Clusters are positioned in the input space (eg by a position allocator).
  • FC factor cluster
  • FC Pos 12 The positions of the fixedly positioned clusters FC in the multidimensional space are denoted by FC Pos 12.
  • MC Movable Cluster
  • MC Pos 13 The corresponding position of the MCs is referred to here as MC Pos 13.
  • the mobile clusters MC can be moved with each input feature vector e in space by means of an adaptation device.
  • the tracking of the movable clusters MC in the input space is referred to below as input adaptation IA (input adaptation).
  • IA input adaptation
  • the tracking affects either one, several or all moving clusters.
  • a trigger signal can be used to write the current positions MC Pos 13 in a special memory of the device and use for further online training.
  • MC Pos_dep 14 As a trigger signal, for example, the turn-on, a time signal or a user input signal can be used.
  • the aforementioned problems P1 and P2 are solved insofar as the mobile clusters are increasingly provided in the regions of the input space which are frequently addressed by the respective user. This makes it possible, for example, to represent transition zones between classes more finely and / or to achieve a smooth temporal output behavior (cf. FIG. 6 ).
  • the problem P3 is solvable, provided that the labels of the mobile cluster MC are recalculated periodically even without user input, z. B. at system startup.
  • Each cluster has a set size or label that describes the values of one or more parameters for adjusting the device (eg, hearing device or transformer).
  • a label indicates a volume setting in several steps. But it can also be a continuous size for the setting, d. H. in the starting room, denote. Thus, for example, a label could describe a gradual (eg probabilistic) class membership.
  • a variable label of a movable cluster is referred to herein as MC L 15.
  • An also changeable label of a fixed cluster FC is shown here as FC L 16.
  • the system has unchangeable labels FC L_ini 17, which are fixed by the manufacturer.
  • FC L_ini 17 are fixed by the manufacturer.
  • FC L_ini 17 unchangeable labels
  • the local neighbors in L are calculated using a suitable metric, then their labels are averaged and assigned to the cluster as a new label.
  • the local neighbors can be all neighbors with a distance within a fixed radius or the k nearest neighbors (k fixed or variable).
  • weighted median may alternatively be used.
  • the distance of the clusters in a neighborhood graph can be used.
  • the graph connects similar clusters so that the metric reflects the distances of the clusters in a so-called manifold of the input space.
  • the graph itself can be determined by semi-supervised learning.
  • each cluster preferably has an indication of how far the current label value may change from an initially specified value. It is thus possible to specify a cluster-specific limitation of the label changes. This makes it possible to ensure that a specific basic functionality of the hearing device, in particular a specific system behavior in certain listening situations, is always given, while for other hearing situations (eg. overlapping regions in the input space in music and speech in noise) the user receives more change possibilities.
  • the limits of allowed change may be cluster-specific, but they do not have to. For example, a fixed cluster FC that includes "language at rest" class feature vectors may have very narrow limits, while for a fixed cluster FC of the class "music" or a mixed situation, greater changes may be allowed by user input.
  • the limits may be automatically set during training at the manufacturer due to the class purity of the particular cluster.
  • This can be z.
  • clusters containing input vectors of multiple classes i. lie in an outlying area and their label is thus more likely to be changeable by the user. In this way, protection against inconsistent user input with regard to problem P4 can be achieved.
  • the labels MC L 15 of the moving clusters and the labels L L 16 of the fixed clusters are calculated together with the aid of a computing unit 19 at specific points in time.
  • fixed labels FC L_ini as well as the variable cluster positions MC Pos_dep and the fixed cluster positions FC Pos are optionally used.
  • label values L of user inputs 18 can be taken into account for the determination of the new labels.
  • the respective time for the calculation of the label can be determined by a user input, periodically or z. B. done at system startup.
  • a movable cluster is adapted to an input vector.
  • the nearest movable cluster is determined.
  • This movable cluster is shifted a little bit in the direction of the input vector.
  • the step size may be 1% or 1 ⁇ of the distance between the moving cluster and the input vector for a sample rate of 10 Hz.
  • the trained clusters and labels can be used during the operation of the device.
  • an input feature vector e is again obtained from the input signal 10 by the feature extraction unit 11, as shown in FIG. 3 is shown.
  • an output quantity 21, in particular a parameter vector is calculated with the aid of, for example, a k nearest neighbor algorithm 20.
  • This parameter vector is used to automatically set the device.
  • softer transitions in borderline situations in which the input signal could not be clearly assigned to the original clusters, can advantageously be achieved by the clusters modified in the input adaptation. It is thus possible to assign adjacent input values to neighboring output values.
  • FIG. 4 and 5 show a concrete example of an input adaptation.
  • FIG. 4 shows a two-dimensional projection of clusters in the input feature space before adaptation. Movable clusters are represented as triangles, while fixed clusters are represented as points. In particular, clusters of the class "Speech in Noise” SiN (Speach in Noise), the class “Noise” N (Noise), the class “Music” M (Music) and the class “Car Sound” C (Car) are marked with different symbols , The solid clusters and the mobile clusters are congruent prior to adaptation.
  • the hearing aid was trained here without the class "Language at rest” SiQ (Speach in Quiet). The thus trained hearing aid can not clearly classify audio signals of the class "Language at rest” before training.
  • the hearing aid is presented with a random mix of 90 minutes of speech at rest and 45 minutes of sound samples from other classes. Through training, some of the moving clusters (triangles) move into a new region 22, which can be called the SiQ region. In future, the hearing aid will also better classify sound examples of the language class in peace.
  • FIG. 6 shows that the input adaptation improves the temporal stability of the output signal.
  • the output signal is represented by three different methods with which a test audio file consisting of a mixture of speech and noise is classified.
  • the curves represent the output of a noise parameter over time t.
  • Curve 23 shows the output of a classifier that can output only binary output signals (0, 1).
  • the output signal shows undesirably high jumps.
  • the curve 24 shows the output signal of a system with which also intermediate values between 0 and 1 can be produced. However, the output signal still shows significant jumps since the test input signals are assigned to different clusters with different parameter labels (eg 0.8, 0.12, 0.05).
  • Curve 25 represents the output of the same system as that of curve 24 but with input adaptation.
  • the output variation disappears completely because the test input signals are assigned to movable clusters that have the same parameter labels here.
  • the input adaptation thus leads to a significantly improved listening experience.
  • FIG. 6 indicates how strong the current situation is a noise or noise
  • FIGS. 7 and 8 show a concrete example for calculating the cluster label via recursive updating.
  • the circles in the two figures represent clusters.
  • the values in the circles represent cluster labels.
  • the connecting lines between the clusters represent the respective cluster distances.
  • the in FIG. 7 displayed values in the graph. It is additional at the cluster position 26, a user input with the label value "2".

Landscapes

  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurosurgery (AREA)
  • Otolaryngology (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

Die Klassifikation und insbesondere deren zeitliche Stabilität soll verbessert werden. Dazu wird ein Verfahren zum automatischen Einstellen eines Geräts vorgeschlagen, bei der das Klassifizieren mit Hilfe von beweglichen Clustern (14) und festen Clustern (12) erfolgt. Damit kann zum einen die Klassifikation nachtrainiert werden, zum anderen kann aber auch ein bestimmtes Grundverhalten des Systems gewährleistet werden. Dies ist insbesondere für Hörgeräte und Transformatoren in Smart Grids von Vorteil.

Description

  • Die vorliegende Erfindung betrifft ein Verfahren zum automatischen Einstellen eines Geräts. Darüber hinaus betrifft die vorliegende Erfindung einen Klassifikator für ein automatisch einstellbares Gerät. Bei dem Gerät handelt es sich beispielsweise um einen zu regelnden Transformator, eine zu regelnde Industrieanlage oder eine Hörvorrichtung. Unter einer Hörvorrichtung wird hier jedes im oder am Ohr tragbare, einen Schallreiz erzeugende Gerät verstanden, wie ein Hörgerät, ein Headset, Kopfhörer und dergleichen.
  • Hörgeräte sind tragbare Hörvorrichtungen, die zur Versorgung von Schwerhörenden dienen. Um den zahlreichen individuellen Bedürfnissen entgegenzukommen, werden unterschiedliche Bauformen von Hörgeräten wie Hinter-dem-Ohr-Hörgeräte (HdO), Hörgerät mit externem Hörer (RIC: receiver in the canal) und In-dem-Ohr-Hörgeräte (IdO), z.B. auch Concha-Hörgeräte oder Kanal-Hörgeräte (ITE, CIC), bereitgestellt. Die beispielhaft aufgeführten Hörgeräte werden am Außenohr oder im Gehörgang getragen. Darüber hinaus stehen auf dem Markt aber auch Knochenleitungshörhilfen, implantierbare oder vibrotaktile Hörhilfen zur Verfügung. Dabei erfolgt die Stimulation des geschädigten Gehörs entweder mechanisch oder elektrisch.
  • Hörgeräte besitzen prinzipiell als wesentliche Komponenten einen Eingangswandler, einen Verstärker und einen Ausgangswandler. Der Eingangswandler ist in der Regel ein Schallempfänger, z. B. ein Mikrofon, und/oder ein elektromagnetischer Empfänger, z. B. eine Induktionsspule. Der Ausgangswandler ist meist als elektroakustischer Wandler, z. B. Miniaturlautsprecher, oder als elektromechanischer Wandler, z. B. Knochenleitungshörer, realisiert. Der Verstärker ist üblicherweise in eine Signalverarbeitungseinheit integriert. Dieser prinzipielle Aufbau ist in FIG 1 am Beispiel eines Hinter-dem-Ohr-Hörgeräts dargestellt. In ein Hörgerätegehäuse 1 zum Tragen hinter dem Ohr sind ein oder mehrere Mikrofone 2 zur Aufnahme des Schalls aus der Umgebung eingebaut. Eine Signalverarbeitungseinheit 3, die ebenfalls in das Hörgerätegehäuse 1 integriert ist, verarbeitet die Mikrofonsignale und verstärkt sie. Das Ausgangssignal der Signalverarbeitungseinheit 3 wird an einen Lautsprecher bzw. Hörer 4 übertragen, der ein akustisches Signal ausgibt. Der Schall wird gegebenenfalls über einen Schallschlauch, der mit einer Otoplastik im Gehörgang fixiert ist, zum Trommelfell des Geräteträgers übertragen. Die Energieversorgung des Hörgeräts und insbesondere die der Signalverarbeitungseinheit 3 erfolgt durch eine ebenfalls ins Hörgerätegehäuse 1 integrierte Batterie 5.
  • Hörgeräte sind in der Lage, bestimmte Geräteeinstellungen selbstständig entsprechend der jeweiligen Hörsituation vorzunehmen. Eine solche Geräteeinstellung kann z. B. das Aktivieren einer Rauschunterdrückung oder eines Richtmikrofons sein. Die momentane Hörsituation wird hierbei durch einen Eingangsvektor (input feature vector) beschrieben. Dieser Eingangsvektor wird auf Parameter abgebildet, die die entsprechende Geräteeinstellung beschreiben (nachfolgend auch Einstellgrößen genannt). Die Abbildungsvorschrift, die Eingangsvektoren auf Parameter abbildet, wird zunächst vom Hersteller festgelegt, wobei diese meist mittels maschineller Lernverfahren auf einer Datenbank mit bekannten Hörsituationen trainiert wird. Im späteren Betrieb können Anpassungen aufgrund von Benutzereingaben erfolgen. Benutzereingaben können das Ändern einer bestimmten Einstellung (z. B. "lauter"), das Zuweisen zu einer bestimmten Klasse (z. B. "dies ist Musik") sein oder auch indirekt erfolgen, indem lediglich die Modifikation der jeweiligen Einstellung signalisiert wird. Hierbei treten folgende Probleme auf:
  • P1: Die Hörsituationen beim jeweiligen Benutzer können unterschiedlich zu denen sein, die zum Training beim Hersteller verwendet werden. Konkret bedeutet dies, dass sich die Eingangsvektoren im Merkmalsraum anders verteilen als vom Hersteller angenommen. Ein Grund kann das Auftreten einer gänzlich neuen Hörsituation sein. Ein anderer Grund kann sein, dass sich der Benutzer häufig in bestimmten Situationen aufhält (z. B. Mischsituation "Sprache mit Hintergrundmusik und Störgeräuschen"), die in der Datenbank wenig repräsentiert sind, sodass die entsprechenden Übergänge im Merkmalsraum nur relativ grob modelliert sind. Das Problem ließe sich zwar durch bessere Datenbanken verringern, diese existieren jedoch nur eingeschränkt und prinzipbedingt können niemals alle möglichen Hörsituationen hinterlegt sein.
  • P2: Die Abweichungen zwischen den Eingangsvektoren beim Benutzer und denen beim Hersteller können zu einem unerwünschten Verhalten des Hörgeräts führen. Insbesondere kann in Mischsituationen der ausgegebene Parameterwert zeitig instabil sein, z. B. mehrfach zwischen stark unterschiedlichen Werten springen, was vom Benutzer als sehr störend empfunden wird.
  • P3: Üblicherweise ändert das Hörgerät sein Verhalten im späteren Betrieb nur aufgrund von Benutzereingaben. Das heißt, ohne Eingriff durch den Benutzer bleibt auch ein instabiles Verhalten in Mischsituationen bestehen, obwohl es eigentlich unerwünscht wäre.
  • P4: Fehlerhafte (z. B. unkonsistente/sinnlose) Benutzereingaben oder das Nichtauftreten einer bestimmten Situation über einen längeren Zeitraum dürfen das Systemverhalten für bestimmte Situationen nicht wesentlich verschlechtern. Das heißt, die notwendige Adaptivität des Hörgeräts muss abgewogen werden gegen das Bewahren eines bestimmten Grundverhaltens, z. B. gute Sprachverständlichkeit in Ruhe.
  • Für die obigen Probleme gibt es gewisse bekannte Lösungsansätze. So wird beispielsweise in dem Artikel Lamarche et al.: "Adaptive environment classification system for hearing aids", J. Acoust. Soz. und Am. 127 (5), Mai 2010, Seiten 3125 bis 3135 ein adaptiver Klassifikator beschrieben, der es erlaubt, bestehende Klassen zu teilen und/oder zu verschmelzen je nach Verteilung der Eingangsvektoren. Das Problem P1 ist damit zwar prinzipiell lösbar, jedoch mit folgenden Nachteilen: (a) das Festlegen entsprechender Kriterien, wann geteilt/verschmolzen werden soll, ist schwierig. (b) für eine neue abgespaltete Subklasse können statistische Größen wie Mittelwertvektor und optional Kovarianzmatrix geschätzt werden, was ungenau ist, sofern nicht bereits viele Eingangsvektoren der Subklasse angehören.
  • Die Probleme P2 und P3 sind damit schlecht lösbar, da eine abgespaltene Klasse zunächst die Parameterwerte der Klasse erbt, aus der sie hervorgeht. Regionen des Eingaberaums, die Mischsituationen präsentieren, können benachbarte Subklassen mit gegebenenfalls stark unterschiedlichen Parameterwerten enthalten, was zu einem instabilen Ausgabeverlauf führen kann. Problem P4 wird von dem Ansatz nicht adressiert.
  • In der Druckschrift WO2008/084116 A2 ("Method for operating a hearing device") wird eine adaptive Kombination mehrerer einzelner Klassifikatoren betrachtet. Bei einer neuen Hörsituation, die von den bisherigen Klassifikatoren nicht korrekt behandelt wird (erkennbar durch eine Benutzereingabe in dieser Situation), wird ein neuer Klassifikator für die neue Situation hinzugefügt. Das Verfahren nutzt halbüberwachtes Lernen, um die Gewichtungsfunktion zur Kombination der Einzelklassifikatoren zu bestimmen. Nachteilig ist hier eine hohe Komplexität (Rechenaufwand) des Verfahrens. Grundlage für die obige Patentanmeldung ist die Dissertation Tser Ling Yvonne Moh, "Semi-supervised online learning for accoustic data mining", DISS. ETH NO. 19395, ETH ZÜRICH, 2010 (http://e-collection.library.ethz.ch/eserv/eth:2801/eth-2801-01.pdf). In der genannten Arbeit werden Klassifikationsaufgaben betrachtet. Die Verwendung als Regressionsfunktion, d.h. als direkte Abbildung von Eingangsvektoren auf Parameterwerte ist nicht enthalten. Eine Clusterung der Eingangsvektoren wird nicht durchgeführt; stattdessen werden die Eingangsvektoren eines zu definierenden Zeitfensters betrachtet.
  • Die Aufgabe der vorliegenden Erfindung besteht darin, ein Verfahren zum automatischen Einstellen eines Geräts bereitzustellen, mit dem eine verbesserte Einstellung erzielt werden kann, wenn sich Eingangssignale in einem unvorhergesehenen Bereich des Eingangsraums befinden.
  • Erfindungsgemäß wird diese Aufgabe nach Patentanspruch 1 gelöst durch ein Verfahren zum automatischen Einstellen eines Geräts durch
    • Ermitteln eines Merkmalsvektors aus einem Eingangssignal des Geräts,
    • Bereitstellen (mindestens) eines bewegbaren und (mindestens) eines festen Clusters in einem mehrdimensionalen Raum, wobei sich das feste Cluster an einer festen ersten Clusterposition in dem mehrdimensionalen Raum befindet,
    • Verschieben des bewegbaren Clusters in Richtung auf den Merkmalsvektor zu einer zweiten Clusterposition,
    • Zuordnen je einer Einstellgröße, mit der das Gerät einstellbar ist, zu dem bewegbaren Cluster und dem festen Cluster ist, und
    • Einstellen des Geräts auf der Basis der ersten Clusterposition, der zweiten Clusterposition und der Einstellgrößen.
  • Darüber hinaus wird erfindungsgemäß bereitgestellt ein Klassifikator für ein automatisch einstellbares Gerät mit
    • einer Signaleingangseinrichtung zum Bereitstellen eines elektrischen Eingangssignals,
    • einer Merkmalsextraktionseinrichtung zum Ermitteln eines Merkmalsvektors aus dem Eingangssignal,
    • einer Positionszuordnungseinrichtung, in der ein bewegbares und ein festes Cluster in einem mehrdimensionalen Raum bereitgestellt sind, wobei sich das feste Cluster an einer festen ersten Clusterposition in dem mehrdimensionalen Raum befindet,
    • einer Adaptionseinrichtung zum Verschieben des bewegbaren Clusters in Richtung auf den Merkmalsvektor zu einer zweiten Clusterposition,
    • wobei je eine Einstellgröße, mit der das Gerät einstellbar ist, zu dem bewegbaren Cluster und dem festen Cluster zugeordnet ist, und
    • einer Ausgabeeinrichtung zum Ausgeben einer Ausgabegröße zum Einstellen des Geräts auf der Basis der ersten Clusterposition, der zweiten Clusterposition und der Einstellgrößen.
  • In vorteilhafter Weise werden für das automatische Einstellen des Geräts sowohl mindestens ein bewegbares Cluster als auch mindestens ein festes Cluster verwendet. Jedem der Cluster ist eine Einstellgröße (im vorliegenden Dokument auch "Label" genannt) zugeordnet, die einen oder mehrere Werte beinhalten kann, mittels welchen sich das Gerät einstellen lässt. Außerdem besitzen die Cluster jeweils eine Clusterposition. Die Position des bewegbaren Clusters wird anhand des Merkmalsvektors des Eingangssignals verschoben, während die Position des festen Clusters unverändert bleibt. Das Verschieben der beweglichen Cluster wird im Folgenden Eingangsadaption (input adaptation) genannt. Die Wirkung dieser Eingangsadaption besteht darin, dass die Einstellung des Geräts auch dann sanft verändert werden kann, wenn das Eingangssignal außerhalb der ursprünglich vorgegebenen Signalklassen liegt.
  • Vorzugsweise erfolgt das Verschieben des beweglichen Clusters in Abhängigkeit von einem Triggersignal, das von dem Eingangssignal verschieden ist. Damit ist es nicht notwendig, dass das bewegliche Cluster mit jedem Einganssignal verschoben wird. Vielmehr kann das Verschieben gezielt auf andere Weise angestoßen werden.
  • Beispielsweise handelt es sich bei dem Triggersignal um ein Einschaltsignal, ein Zeitsignal oder ein Nutzereingabesignal. So kann es unter Umständen günstig sein, eine Verschiebung der Cluster nur zu Beginn des Betriebs des jeweiligen Geräts vorzunehmen. Alternativ kann es von Vorteil sein, das Verschieben der Cluster zeitlich mit einem Zeitsignal zu steuern, und so beispielsweise periodisch eine Adaption herbeizuführen. Eine weitere Alternative besteht darin, dass die Adaption bzw. das Verschieben der beweglichen Cluster durch ein Nutzereingabesignal, also auf eine manuelle Eingabe hin, erfolgt.
  • In einer Ausgestaltung des erfindungsgemäßen Verfahrens liegt eine Vielzahl bewegbarer Cluster vor, und der Merkmalsvektor wird demjenigen der bewegbaren Cluster zugeordnet, zu dem er den geringsten räumlichen Abstand besitzt, und dieses Cluster wird schließlich verschoben. Dies hat den Vorteil, dass in dem Eingaberaum sehr spezifisch eines oder ein paar wenige Cluster gezielt verschoben werden können. Darüber hinaus können eine oder mehrere Einstellgrößen (Label) zumindest teilweise durch eine Nutzereingabe verändert werden. Dies hat den Vorteil, dass das betreffende Gerät sehr individuell an den jeweiligen Nutzer angepasst werden kann.
  • Günstigerweise ist jede der Einstellgrößen der festen und/oder bewegbaren Cluster nur in einem jeweils spezifisch vorgegebenen Bereich veränderbar. Dadurch kann gewährleistet werden, dass eine Grundcharakteristik des einzustellenden Geräts erhalten bleibt.
  • Vorteilhafterweise wird die Einstellgröße des verschobenen Clusters bzw. der Cluster über nachbarschaftsbasierte Regression oder rekursives Fortschreiben ermittelt. Dadurch ergibt sich ein verminderter Rechenaufwand gegenüber dem Prinzip des halbüberwachten Lernens.
  • Die Einstellgröße (Label) kann ein Parameterwert, ein Parametervektor oder ein vorgegebener oder gradueller Klassenwert sein. Somit kann die Einstellgröße also einen eindimensionalen oder mehrdimensionalen Wert, aber auch eine Zwischengröße (Klassenwert) zur Ermittlung von Parameterwerten oder Parametervektoren verkörpern.
  • In einem bevorzugten Ausführungsbeispiel wird eine Hörvorrichtung und insbesondere ein Hörgerät mit dem oben genannten Klassifikator ausgestattet, wobei das Eingangssignal ein Audiosignal ist. Damit kann die Hörvorrichtung auch dann eine sanfte Veränderung ihrer Einstellung vornehmen, wenn das Eingangssignal nicht direkt einer der vorgegebenen Cluster (Klassen) zugeordnet werden kann.
  • Der erfindungsgemäße Klassifikator bzw. das erfindungsgemäße Verfahren können auch allgemein für Industrieanlagen verwendet werden, bei denen Aktionsauswahlregeln für den Betrieb notwendig sind. Die beweglichen Cluster sorgen auch hier für eine Eingangsadaption, während die festen Cluster dafür garantieren, dass ein Grundverhalten des Systems erhalten bleibt. Durch Nutzereingaben können dann seitens des Anwenders Korrekturen in das System eingegebene werden. Der Begriff Nutzereingabe kann in einer industriellen Anwendung auch abstrahiert werden zu einem externen Mess- oder Fehlersignal. Anhand dieses externen Signals werden die Label-Werte der Cluster so verändert, dass die Einstellung des zugrundeliegenden Gerätes stärker dem gewünschten Verhalten entspricht.
  • Ein konkretes Beispiel für eine zu regelnde Industrieanlage wäre beispielsweise ein Transformator, der eine Mittelspannung auf eine Niederspannung transformiert. Dabei wird einerseits gefordert, dass die Ausgangsspannung konstant bleibt, und andererseits, dass die Einstellung nicht zu oft verändert wird. Die Einstellungen des Systems können mit den Eingangssignalen nachgeführt werden, wobei die festen Cluster wieder dafür sorgen, dass ein Grundverhalten des Systems gewährleistet bleibt. Als Nutzerinteraktion könnte hier die Eingabe einer Zentrale gedeutet werden, die sich nur dann einschaltet, wenn eine grobe Abweichung von Sollvorgaben stattfindet. Speziell könnte das erfindungsgemäße Verfahren bzw. der erfindungsgemäße Klassifikator auch für die Kopplung von Industrieprozessen verwendet werden.
  • Die obigen Verfahrensmerkmale lassen sich auch auf den genannten Klassifikator übertragen, wodurch sich entsprechende Funktionen der jeweiligen Einrichtungen des Klassifikators ergeben.
  • Die vorliegende Erfindung wird anhand der beigefügten Zeichnungen näher erläutert, in denen zeigen:
    • FIG 1
    eine Skizze eines Hörgeräts gemäß dem Stand der Technik;
    FIG 2
    ein Signalflussdiagramm für ein Online-Training;
    FIG 3
    ein Signalflussdiagramm für den Betrieb eines Geräts nach dem Training;
    FIG 4
    eine zweidimensionale Projektion von Clustern in einem Eingangsmerkmalsraum vor einer Eingabeadaption;
    FIG 5
    eine zweidimensionale Projektion der Cluster in dem Eingangsmerkmalsraum nach der Eingabeadaption;
    FIG 6
    das zeitliche Verhalten mehrerer Klassifikatoren;
    FIG 7
    eine Ausgangssituation von Clusterlabeln mit einer Benutzerinteraktion; und
    FIG 8
    die aufgrund der Benutzerinteraktion angepassten Clusterlabel.
  • Die nachfolgend näher geschilderten Ausführungsbeispiele stellen bevorzugte Ausführungsformen der vorliegenden Erfindung dar.
  • Die Beispiele können sich insbesondere auf Hörvorrichtungen und speziell Hörgeräte der eingangsgenannten Art beziehen. Dementsprechend können die nachfolgend geschilderten Verfahren in einer Hörvorrichtung bzw. einem Hörgerät ausgeführt werden. Ebenso kann der erfindungsgemäße Klassifikator in einer Hörvorrichtung eingesetzt werden, die die eingangserwähnten weiteren Komponenten besitzt. Die Beispiele lassen sich auch auf Transformatoren z. B. für sogenannte "Smart Grids" oder andere zu steuernde bzw. zu regelnde Industrieanlagen übertragen.
  • Gemäß FIG 2 wird bei einem Online-Training beispielsweise in einem Hörgerät nach dem Mikrofon oder in einem Klassifikator von einer Signaleingangseinrichtung ein Audiosignal 10 bereitgestellt. Bei einem anderen Gerät handelt es sich dabei um ein entsprechend anderes Eingangssignal. Das Eingangssignal 10 wird einer Merkmalsextraktionseinrichtung 11 zugeführt. Dort werden etwaige Merkmale wie für ein Hörgerät "Sprache in Störgeräusch", "Sprache in Ruhe", "Störgeräusch", "Musik" oder "Autogeräusch" von dem Eingangssignal 10 gewonnen und ein entsprechender Eingangsmerkmalsvektor e gebildet. Die Menge aller Eingangsmerkmalsvektoren bildet den Eingangsraum. Jeder Eingangsmerkmalsvektor lässt sich einer Klasse bzw. einem Cluster zuordnen.
  • Cluster (vorzugsweise definiert durch ihre Mittelwertsvektoren, optional auch Kovarianzmatritzen) werden im Eingangsraum (z. B. durch eine Positionszuordnungseinrichtung) positioniert. Eine Teilmenge der Cluster ist fest positioniert, wird hier FC (Factory Cluster) genannt und repräsentiert die Einstellungen des Herstellers. Die Positionen der fest positionierten Cluster FC im mehrdimensionalen Raum werden mit FC Pos 12 bezeichnet. Eine andere Teilmenge der Cluster ist beweglich, wird hier als MC (Movable Cluster) bezeichnet und folgt den dynamischen Hörsituationen des jeweiligen Benutzers im Eingangsraum. Die entsprechende Position der MCs wird hier mit MC Pos 13 bezeichnet.
  • Die beweglichen Cluster MC können mit jedem Eingangsmerkmalsvektor e im Raum durch eine Adaptionseinrichtung verschoben werden. Das Nachführen der beweglichen Cluster MC im Eingangsraum wird im Folgenden Eingangsadaption IA (Input Adaption) genannt. Von dem Nachführen ist entweder eines, mehrere oder alle beweglichen Cluster betroffen. Während des Online-Trainings ist es in der Regel nicht notwendig, dass die Position MC Pos eines, mehrerer oder aller beweglichen Cluster ständig aktualisiert wird. Vielmehr genügt es, abhängig von einem vorgegebenen Ereignis aktuelle Positionen der beweglichen Cluster MC zu verwenden. So kann beispielsweise ein Triggersignal dazu verwendet werden, die aktuellen Positionen MC Pos 13 in einen speziellen Speicher des Geräts zu schreiben und für das weitere Online-Training einzusetzen. Diese tatsächlich verwendeten Clusterpositionen werden hier mit MC Pos_dep 14 bezeichnet. Als Triggersignal kann beispielsweise das Einschaltsignal, ein Zeitsignal oder ein Nutzereingabesignal verwendet werden.
  • Bei der Eingangsadaption erfolgt also eine kontinuierliche Anpassung der Position im Eingangsraum für eines oder mehrere Cluster, die beweglich sind, während die festen Cluster nicht angepasst werden. Es werden deshalb keine Kriterien für das Aufspalten und Verschmelzen von Clustern benötigt.
  • Die genannten Probleme P1 und P2 werden dadurch insoweit gelöst, als die beweglichen Cluster vermehrt in den Regionen des Eingaberaums bereitgestellt werden, die beim jeweiligen Benutzer häufig bzw. aktuell angesprochen werden. Damit ist es möglich, beispielsweise Übergangszonen zwischen Klassen feiner zu repräsentieren und/oder ein glattes zeitliches Ausgabeverhalten zu erreichen (vgl. FIG 6). Darüber hinaus ist das Problem P3 lösbar, sofern die Label der beweglichen Cluster MC auch ohne Benutzereingabe periodisch neu berechnet werden, z. B. beim Systemstart.
  • Jedes Cluster besitzt eine Einstellgröße bzw. ein Label, das die Werte eines oder mehrerer Parameter zum Einstellen des Geräts (z. B. Hörvorrichtung oder Transformator) beschreibt. Ein Label bezeichnet beispielsweise eine Einstellung für die Lautstärke in mehreren Einstellschritten. Sie kann aber auch eine kontinuierliche Größe für die Einstellung, d. h. im Ausgangsraum, bezeichnen. Somit ließe sich beispielsweise mit einem Label eine graduelle (z. B. probabilistische) Klassenzugehörigkeit beschreiben. Ein veränderbares Label eines beweglichen Clusters wird hier als MC L 15 bezeichnet. Ein ebenfalls veränderbares Label eines festen Clusters FC wird hier als FC L 16 dargestellt. Außerdem verfügt das System über nicht veränderbare Label FC L_ini 17, die fest vom Hersteller vorgegeben sind. Natürlich ist die Verwendung von festen und veränderbaren Labels an die jeweilige Situation anpassbar. So können bei einem Online-Training auch nur feste oder nur veränderbare Labels für feste Cluster verwendet werden.
  • Die Label für verschobene Cluster müssen neu berechnet werden. Dazu eignen sich verschiedene Methoden. Gemeinsam ist allen Methoden, dass Cluster, die im Eingaberaum der Benutzereingabe benachbart sind, ähnliche Label wie die Benutzereingabe bekommen. Mögliche Methoden zur Berechnung der Clusterlabel sind:
    • halbüberwachtes Lernen wie es beispielsweise in der Druckschrift WO2008/084116 A2 verwendet wird.
    • nachbarschaftsbasierte Regression: Das Label eines bei der Eingangsadaption verschobenen Clusters wird mit Hilfe der Label der Nachbarcluster ermittelt. Sei hierbei L die Menge der Cluster mit bekanntem Label, so umfasst L die vom Hersteller vorbelegten festen Cluster FC sowie eine Anzahl von gespeicherten Benutzereingaben 18 (UI; User Input). Sei darüber hinaus M die Menge aller Cluster, mit L als Teilmenge aus M.
  • Für jedes Cluster aus M werden mittels einer geeigneten Metrik die lokalen Nachbarn in L berechnet, dann deren Label gemittelt und dem Cluster als neues Label zugewiesen.
  • Die lokalen Nachbarn können alle Nachbarn mit einem Abstand innerhalb eines festen Radius sein oder die k-nächsten Nachbarn sein (k fest oder auch variabel).
  • Statt einer gewichteten Mittelung kann alternativ ein gewichteter Median verwendet werden.
  • Als Metrik kann beispielsweise der Abstand der Cluster in einem Nachbarschafts-Graph benutzt werden. Der Graph verbindet ähnliche Cluster, sodass die Metrik die Abstände der Cluster in einer sogenannten Mannigfaltigkeit des Eingaberaums widerspiegelt. Der Graph selbst kann durch halbüberwachtes Lernen ermittelt werden.
  • Der Hauptunterschied zum halbüberwachten Lernen ist, dass die nachbarschaftsbasierte Regression einfacher zu berechnen ist als das halbüberwachte Lernen (letzteres erfordert unter anderem eine Matrixinversion).
    • rekursives Fortschreiben der Clusterlabel:
      • Die zur Benutzereingabe benachbarten Cluster werden ermittelt und deren Label wird jeweils rekursiv aktualisiert, y_new=f(y_old, d, u) mit y_new als das neue Label, y_old als das alte Label, d als der Abstand zwischen der Benutzereingabe und dem Cluster in einer geeigneten Metrik, u als das Label der Benutzereingabe und f als geeignete Funktion, bei der der Einfluss von u auf y_new mit zunehmendem Abstand d kleiner wird (vgl. FIG 7 und 8).
  • Neben dem Label besitzt jedes Cluster vorzugsweise eine Angabe, wie weit sich der aktuelle Labelwert von einem initial vorgegebenen Wert verändern darf. Es kann also eine cluster-spezifische Limitierung der Label-Veränderungen vorgegeben werden. Hierdurch kann sichergestellt werden, dass eine bestimmte Grundfunktionalität des Hörgeräts, insbesondere ein bestimmtes Systemverhalten in bestimmten Hörsituationen, immer gegeben ist, während für andere Hörsituationen (z. B. überlappende Regionen im Eingaberaum bei Musik und Sprachein-Rauschen) der Benutzer mehr Veränderungsmöglichkeiten erhält. Die Grenzen der erlaubten Veränderung können cluster-spezifisch sein, sie müssen es aber nicht. Beispielsweise kann ein festes Cluster FC, das Merkmalsvektoren der Klasse "Sprache in Ruhe" umfasst, sehr enge Grenzen haben, während für ein festes Cluster FC der Klasse "Musik" oder einer Mischsituation stärkere Änderungen durch Benutzereingaben erlaubt sind.
  • Die Grenzen können beispielsweise während des Trainings beim Hersteller aufgrund der Klassenreinheit des jeweiligen Clusters automatisch festgelegt werden. Dies kann z. B. in der Form erfolgen, dass gut separierte Cluster, denen nur Eingangsvektoren einer einzigen Klasse zugeordnet sind, engere Grenzen bekommen als Cluster, die Eingangsvektoren mehrerer Klassen enthalten, d.h. in einem Randgebiet liegen und deren Label damit eher durch den Benutzer veränderbar sein soll. Auf diese Weise kann ein Schutz gegen inkonsistente Benutzereingaben im Hinblick auf Problem P4 erreicht werden.
  • Die Label MC L 15 der beweglichen Cluster und die Label FC L 16 der festen Cluster werden mit Hilfe einer Recheneinheit 19 zusammen zu bestimmten Zeitpunkten berechnet. Dabei werden gegebenenfalls neben den ursprünglichen Labeln MC L und FC L auch feste Label FC L_ini sowie die variablen Clusterpositionen MC Pos_dep und die festen Clusterpositionen FC Pos verwendet. Außerdem können natürlich Labelwerte L von Benutzereingaben 18 für die Ermittlung der neuen Label berücksichtigt werden. Der jeweilige Zeitpunkt für die Berechnung der Label kann durch eine Benutzereingabe, periodisch oder z. B. beim Systemstart erfolgen.
  • Bei der Eingangs- bzw. Inputadaption wird also ein bewegliches Cluster an einen Eingangsvektor angepasst. Dazu wird beispielsweise das nächstgelegene bewegliche Cluster bestimmt. Dieses bewegliche Cluster wird ein kleines Stück in die Richtung des Eingangsvektors verschoben. Dabei kann die Schrittweite beispielsweise 1 % oder 1 ‰ des Abstands zwischen dem beweglichen Cluster und dem Eingangsvektor für eine Abtastrate von 10 Hz betragen.
  • Nach dem Online-Training gemäß FIG 2 können die gelernten Cluster und Label während des Betriebs des Geräts verwendet werden. Dabei wird wieder aus dem Eingangssignal 10 durch die Merkmalsextraktionseinheit 11 ein Eingangsmerkmalsvektor e gewonnen, wie dies in FIG 3 dargestellt ist. Aus den Clusterpositionen MC Pos_dep 14 und FC Pos 12 sowie den Labeln MC L 15 und FC L 16 gegebenenfalls auch FC L_ini 17 werden mit Hilfe beispielsweise eines k-nächster-Nachbar-Algorithmus 20 eine Ausgabegröße 21, insbesondere ein Parametervektor berechnet. Dieser Parametervektor dient zum automatischen Einstellen des Geräts. Durch die bei der Eingangsadaption veränderten Cluster können vorteilhafterweise insbesondere weichere Übergänge in Grenzsituationen erreicht werden, bei denen das Eingangssignal nicht eindeutig den ursprünglichen Clustern zugeordnet werden könnte. Es können damit benachbarte Eingangswerte eher benachbarten Ausgangswerten zugeordnet werden.
  • Die FIG 4 und 5 zeigen ein konkretes Beispiel für eine Eingangsadaption. FIG 4 zeigt eine zweidimensionale Projektion von Clustern im Eingangsmerkmalsraum vor einer Adaption. Bewegbare Cluster sind als Dreiecke dargestellt, während fest vorgegebene Cluster als Punkte dargestellt sind. Insbesondere sind Cluster der Klasse "Sprache in Störgeräusch" SiN (Speach in Noise), der Klasse "Störgeräusch" N (Noise), der Klasse "Musik" M (Music) und der Klasse "Autogeräusch" C (Car) mit unterschiedlichen Symbolen eingezeichnet. Die festen Cluster und die beweglichen Cluster sind vor der Adaption deckungsgleich. Das Hörgerät wurde hier ohne die Klasse "Sprache in Ruhe" SiQ (Speach in Quiet) trainiert. Das so trainierte Hörgerät kann also Audiosignale der Klasse "Sprache in Ruhe" vor dem Training nicht eindeutig klassifizieren.
  • Zum Training wird dem Hörgerät beispielsweise eine Zufallsmischung von 90 Minuten Sprache in Ruhe und 45 Minuten von Schallbeispielen anderer Klassen präsentiert. Durch das Training bewegen sich einige der beweglichen Cluster (Dreiecke) in eine neue Region 22, die als SiQ-Region bezeichnet werden kann. Zukünftig kann damit das Hörgerät auch Schallbeispiele der Klasse Sprache in Ruhe besser klassifizieren.
  • FIG 6 zeigt, dass die Eingangsadaption die zeitliche Stabilität des Ausgangssignals verbessert. Insbesondere ist das Ausgangssignal von drei verschiedenen Verfahren dargestellt, mit denen eine Testaudiodatei, die aus einer Mischung von Sprache und Störgeräusch besteht, klassifiziert wird. Die Kurven stellen die Ausgabe eines Störgeräuschparameters über der Zeit t dar. Die Kurve 23 zeigt das Ausgangssignal eines Klassifikators, der nur binäre Ausgangssignale (0, 1) ausgeben kann. Das Ausgangssignal zeigt unerwünscht hohe Sprünge. Die Kurve 24 zeigt das Ausgangssignal eines Systems, mit dem auch Zwischenwerte zwischen 0 und 1 produziert werden können. Das Ausgangssignal zeigt aber immer noch deutliche Sprünge, da die Testeingangssignale verschiedenen Clustern mit unterschiedlichen Parameter-Label (z. B. 0.8, 0.12, 0.05) zugeordnet werden. Die Kurve 25 gibt das Ausgangssignal des gleichen Systems wie dasjenige von Kurve 24 jedoch mit Eingangsadaption wieder. Die Ausgangsvariation verschwindet komplett, da die Testeingangssignale bewegbaren Clustern zugeordnet werden, die hier die gleichen Parameter-Label besitzen. Die Eingangsadaption führt also zu einem deutlich verbesserten Höreindruck. FIG 6 zeigt damit an, wie stark die jeweils jetzige Situation eine Störgeräusch- bzw. Rauschsituation ist.
  • Die FIG 7 und 8 zeigen ein konkretes Beispiel zur Berechnung der Clusterlabel über rekursives Fortschreiben. Die Kreise in den beiden Figuren stellen Cluster dar. Die Werte in den Kreisen repräsentieren Cluster-Label. Die Verbindungslinien zwischen den Clustern repräsentieren die jeweiligen Clusterabstände. In einem Iterationsschritt n ergeben sich die in FIG 7 dargestellten Werte im Graphen. Es erfolgt zusätzlich an der Clusterposition 26 eine Nutzereingabe mit dem Label-Wert "2".
  • In dem in FIG 8 dargestellten Iterationsschritt n+1 sind die Clusterlabel neu berechnet. Das der Clusterposition 26 nächstliegende Cluster erhält den Label-Wert "2". Die Label für den Iterationsschritt n+1 werden nach folgender Formel berechnet:
    • y(n+1)=(1-λc)yc (n)+λcyl, für alle Cluster c. Dabei bezeichnet y den jeweiligen Label-Wert, n den diskreten Zeitschritt. λc, das Werte zwischen 0 und 1 annehmen kann, stellt den Einfluss der Nutzereingabe auf das jeweilige Cluster-Label dar und kann beispielsweise eine monotone Funktion der jeweiligen Distanz auf dem Graphen sein.

Claims (10)

  1. Verfahren zum automatischen Einstellen eines Geräts durch
    - Ermitteln eines Merkmalsvektors (e) aus einem Eingangssignal (10) des Geräts,
    - Bereitstellen eines bewegbaren und eines festen Clusters in einem mehrdimensionalen Raum, wobei sich das feste Cluster an einer festen ersten Clusterposition (12) in dem mehrdimensionalen Raum befindet,
    - Verschieben des bewegbaren Clusters in Richtung auf den Merkmalsvektor zu einer zweiten Clusterposition (13, 14),
    - Zuordnen je einer Einstellgröße (15, 16), mit der das Gerät einstellbar ist, zu dem bewegbaren Cluster und dem festen Cluster, und
    - Einstellen des Geräts auf der Basis der ersten Clusterposition (12), der zweiten Clusterposition (13, 14) und der Einstellgrößen (15, 16).
  2. Verfahren nach Anspruch 1, wobei das Verschieben des beweglichen Clusters in Abhängigkeit von einem Triggersignal erfolgt.
  3. Verfahren nach Anspruch 2, wobei das Triggersignal ein Einschaltsignal, ein Zeitsignal oder ein Nutzereingabesignal ist.
  4. Verfahren nach einem der vorhergehenden Ansprüche, wobei eine Vielzahl bewegbarer Cluster vorliegt, und der Merkmalsvektor demjenigen der bewegbaren Cluster zugeordnet wird, zu dem er den geringsten räumlichen Abstand besitzt, und dieses Cluster von dem Verschieben betroffen ist.
  5. Verfahren nach einem der vorhergehenden Ansprüche, wobei eine oder mehrere der Einstellgrößen zumindest teilweise durch eine Nutzereingabe verändert wird/werden.
  6. Verfahren nach Anspruch 5, wobei jede der Einstellgrößen der festen und/oder bewegbaren Cluster nur in einem jeweils spezifischen vorgegebenen Bereich veränderbar ist.
  7. Verfahren nach einem der vorhergehenden Ansprüche, wobei die Einstellgröße (15) des verschobenen Clusters über nachbarschaftsbasierte Regression oder rekursives Fortschreiben ermittelt wird.
  8. Verfahren nach einem der vorhergehenden Ansprüche, wobei die jeweilige Einstellgröße (15, 16) ein Parameterwert, ein Parametervektor oder ein vorgegebener oder gradueller Klassenwert ist.
  9. Klassifikator für ein automatisch einstellbares Gerät mit
    - einer Signaleingangseinrichtung zum Bereitstellen eines elektrischen Eingangssignals (10),
    - einer Merkmalsextraktionseinrichtung zum Ermitteln eines Merkmalsvektors (e) aus dem Eingangssignal (10),
    - einer Positionszuordnungseinrichtung, in der ein bewegbares und ein festes Cluster in einem mehrdimensionalen Raum bereitgestellt sind, wobei sich das feste Cluster an einer festen ersten Clusterposition (12) in dem mehrdimensionalen Raum befindet,
    - einer Adaptionseinrichtung zum Verschieben des bewegbaren Clusters in Richtung auf den Merkmalsvektor zu einer zweiten Clusterposition (13, 14),
    - wobei je eine Einstellgröße (15, 16), mit der das Gerät einstellbar ist, zu dem bewegbaren Cluster und dem festen Cluster zugeordnet ist, und
    - einer Ausgabeeinrichtung zum Ausgeben einer Ausgabegröße (21) zum Einstellen des Geräts auf der Basis der ersten Clusterposition (12), der zweiten Clusterposition (13, 14) und der Einstellgrößen (15, 16).
  10. Hörvorrichtung mit dem Klassifikator nach Anspruch 9, wobei das Gerät die Hörvorrichtung und das Eingangssignal (10) ein Audiosignal ist.
EP14158535.6A 2013-03-26 2014-03-10 Verfahren zum automatischen Einstellen einer Hörvorrichtung und Klassifikator Active EP2785074B8 (de)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102013205357.6A DE102013205357B4 (de) 2013-03-26 2013-03-26 Verfahren zum automatischen Einstellen eines Geräts und Klassifikator sowie Hörvorrichtung

Publications (3)

Publication Number Publication Date
EP2785074A1 true EP2785074A1 (de) 2014-10-01
EP2785074B1 EP2785074B1 (de) 2018-05-09
EP2785074B8 EP2785074B8 (de) 2018-08-15

Family

ID=50236085

Family Applications (1)

Application Number Title Priority Date Filing Date
EP14158535.6A Active EP2785074B8 (de) 2013-03-26 2014-03-10 Verfahren zum automatischen Einstellen einer Hörvorrichtung und Klassifikator

Country Status (4)

Country Link
US (1) US9191754B2 (de)
EP (1) EP2785074B8 (de)
DE (1) DE102013205357B4 (de)
DK (1) DK2785074T3 (de)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020007478A1 (en) * 2018-07-05 2020-01-09 Sonova Ag Supplementary sound classes for adjusting a hearing device
DE102019216100A1 (de) * 2019-10-18 2021-04-22 Sivantos Pte. Ltd. Verfahren zum Betrieb eines Hörgeräts sowie Hörgerät
DE102019218808B3 (de) 2019-12-03 2021-03-11 Sivantos Pte. Ltd. Verfahren zum Trainieren eines Hörsituationen-Klassifikators für ein Hörgerät
DE102020208720B4 (de) * 2019-12-06 2023-10-05 Sivantos Pte. Ltd. Verfahren zum umgebungsabhängigen Betrieb eines Hörsystems

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008084116A2 (en) 2008-03-27 2008-07-17 Phonak Ag Method for operating a hearing device
WO2008155427A2 (en) * 2007-06-21 2008-12-24 University Of Ottawa Fully learning classification system and method for hearing aids

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5729658A (en) * 1994-06-17 1998-03-17 Massachusetts Eye And Ear Infirmary Evaluating intelligibility of speech reproduction and transmission across multiple listening conditions
US20090024050A1 (en) * 2007-03-30 2009-01-22 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Computational user-health testing
CN105392099B (zh) * 2008-04-10 2019-06-07 Gn瑞声达A/S 具有反馈消除的助听器

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008155427A2 (en) * 2007-06-21 2008-12-24 University Of Ottawa Fully learning classification system and method for hearing aids
WO2008084116A2 (en) 2008-03-27 2008-07-17 Phonak Ag Method for operating a hearing device

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
LAMARCHE ET AL.: "Adaptive environment classification system for hearing aids", J. ACOUST. SOZ. UND AM., vol. 127, no. 5, May 2010 (2010-05-01), pages 3125 - 3135
LAMARCHE LUC ET AL: "Adaptive environment classification system for hearing aids", THE JOURNAL OF THE ACOUSTICAL SOCIETY OF AMERICA, AMERICAN INSTITUTE OF PHYSICS FOR THE ACOUSTICAL SOCIETY OF AMERICA, NEW YORK, NY, US, vol. 127, no. 5, 1 May 2010 (2010-05-01), pages 3124 - 3135, XP012135432, ISSN: 0001-4966, DOI: 10.1121/1.3365301 *
TSER LING; YVONNE MOH: "Semi-supervised online learning for accoustic data mining", DISS. ETH NO. 19395, ETH ZÜRICH, 2010, Retrieved from the Internet <URL:http://e-collection.library.ethz.ch/eserv/eth:2801/eth-2801-01.pdf>

Also Published As

Publication number Publication date
DK2785074T3 (da) 2018-08-13
EP2785074B1 (de) 2018-05-09
EP2785074B8 (de) 2018-08-15
DE102013205357A1 (de) 2014-10-02
US20140294212A1 (en) 2014-10-02
DE102013205357B4 (de) 2019-08-29
US9191754B2 (en) 2015-11-17

Similar Documents

Publication Publication Date Title
EP1379102B1 (de) Richtungshören bei binauraler Hörgeräteversorgung
DE60222813T2 (de) Hörgerät und methode für das erhöhen von redeverständlichkeit
EP3304734B1 (de) Vorrichtung und verfahren zur lautstärkenregulierung
EP1912471B1 (de) Verarbeitung eines Eingangssignals in einer Hörhilfe
EP2785074B1 (de) Verfahren zum automatischen Einstellen einer Hörvorrichtung und Klassifikator
EP2405673B1 (de) Verfahren zum Lokalisieren einer Audioquelle und mehrkanaliges Hörsystem
DE102007017761A1 (de) Verfahren zur Anpassung eines binauralen Hörgerätesystems
EP2620940A1 (de) Verfahren und Hörvorrichtung zum Schätzen eines Bestandteils der eigenen Stimme
EP0917397A1 (de) Verfahren zum Bestimmen eines Parametersatzes eines Hörgerätes
EP2226795A1 (de) Hörvorrichtung und Verfahren zum Reduzieren eines Störgeräuschs für eine Hörvorrichtung
DE102007035171A1 (de) Verfahren zum Anpassen eines Hörgeräts mit Hilfe eines perzeptiven Modells
DE102008049396B4 (de) Hörgerät-Einstellvorrichtung, Hörgerät und Programm
EP2635047A2 (de) Verfahren zum Anpassen einer Hörvorrichtung anhand des Sensory Memory
DE10152197B4 (de) Verfahren zum Programmieren eines Hörgerätes, Programmiergerät sowie Fernbedienung für das Hörgerät
EP2584795B1 (de) Verfahren zum Ermitteln einer Kompressionskennlinie
EP2792165B1 (de) Anpassung einer klassifikation eines audiosignals in einem hörgerät
EP2658289B1 (de) Verfahren zum Steuern einer Richtcharakteristik und Hörsystem
EP2109330B1 (de) Verfahren zum Umschalten eines Hörgeräts zwischen zwei Betriebszuständen und Hörgerät
DE102012201158A1 (de) Anpassung einer Hörvorrichtung
EP2590437B1 (de) Periodisches Adaptieren einer Rückkopplungsunterdrückungseinrichtung
EP2262282A2 (de) Verfahren zur Ermittlung einer Frequenzantwort einer Hörvorrichtung und zugehörige Hörvorrichtung
EP3232684B1 (de) Verfahren zum übertragen eines audiosignals von einem sender zu einem empfänger
EP4342189B1 (de) Vorrichtung und verfahren zum bestimmen von audio-verarbeitungsparametern
DE102019124285A1 (de) Dekorrelation von eingangssignalen
EP4049461B1 (de) Verfahren und vorrichtung zur modifizierung eines lautsprechersignals zur vermeidung einer membranüberauslenkung

Legal Events

Date Code Title Description
17P Request for examination filed

Effective date: 20140310

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

R17P Request for examination filed (corrected)

Effective date: 20140919

RBV Designated contracting states (corrected)

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

RAP1 Party data changed (applicant data changed or rights of an application transferred)

Owner name: SIVANTOS PTE. LTD.

Owner name: SIEMENS AKTIENGESELLSCHAFT

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: GRANT OF PATENT IS INTENDED

INTG Intention to grant announced

Effective date: 20170719

RAP1 Party data changed (applicant data changed or rights of an application transferred)

Owner name: SIVANTOS PTE. LTD.

Owner name: SIEMENS AKTIENGESELLSCHAFT

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

RAP1 Party data changed (applicant data changed or rights of an application transferred)

Owner name: SIVANTOS PTE. LTD.

Owner name: SIEMENS AKTIENGESELLSCHAFT

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE PATENT HAS BEEN GRANTED

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

REG Reference to a national code

Ref country code: GB

Ref legal event code: FG4D

Free format text: NOT ENGLISH

REG Reference to a national code

Ref country code: CH

Ref legal event code: EP

Ref country code: AT

Ref legal event code: REF

Ref document number: 998591

Country of ref document: AT

Kind code of ref document: T

Effective date: 20180515

REG Reference to a national code

Ref country code: IE

Ref legal event code: FG4D

Free format text: LANGUAGE OF EP DOCUMENT: GERMAN

REG Reference to a national code

Ref country code: DE

Ref legal event code: R096

Ref document number: 502014008186

Country of ref document: DE

REG Reference to a national code

Ref country code: CH

Ref legal event code: NV

Representative=s name: E. BLUM AND CO. AG PATENT- UND MARKENANWAELTE , CH

Ref country code: CH

Ref legal event code: PK

Free format text: BERICHTIGUNG B8

RAP2 Party data changed (patent owner data changed or rights of a patent transferred)

Owner name: SIVANTOS PTE. LTD.

REG Reference to a national code

Ref country code: DE

Ref legal event code: R081

Ref document number: 502014008186

Country of ref document: DE

Owner name: SIVANTOS PTE. LTD., SG

Free format text: FORMER OWNERS: SIEMENS AKTIENGESELLSCHAFT, 80333 MUENCHEN, DE; SIVANTOS PTE. LTD., SINGAPORE, SG

REG Reference to a national code

Ref country code: DK

Ref legal event code: T3

Effective date: 20180806

REG Reference to a national code

Ref country code: NL

Ref legal event code: MP

Effective date: 20180509

REG Reference to a national code

Ref country code: LT

Ref legal event code: MG4D

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180509

Ref country code: SE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180509

Ref country code: BG

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180809

Ref country code: NO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180809

Ref country code: FI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180509

Ref country code: ES

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180509

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: GR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180810

Ref country code: NL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180509

Ref country code: HR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180509

Ref country code: LV

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180509

Ref country code: RS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180509

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: EE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180509

Ref country code: RO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180509

Ref country code: SK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180509

Ref country code: CZ

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180509

Ref country code: PL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180509

REG Reference to a national code

Ref country code: DE

Ref legal event code: R097

Ref document number: 502014008186

Country of ref document: DE

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SM

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180509

Ref country code: IT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180509

PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

26N No opposition filed

Effective date: 20190212

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180509

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MC

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180509

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: AL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180509

Ref country code: LU

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20190310

REG Reference to a national code

Ref country code: BE

Ref legal event code: MM

Effective date: 20190331

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20190310

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: BE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20190331

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: TR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180509

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180509

Ref country code: PT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180910

REG Reference to a national code

Ref country code: AT

Ref legal event code: MM01

Ref document number: 998591

Country of ref document: AT

Kind code of ref document: T

Effective date: 20190310

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: AT

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20190310

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CY

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180509

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180909

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: HU

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT; INVALID AB INITIO

Effective date: 20140310

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180509

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: CH

Payment date: 20250401

Year of fee payment: 12

REG Reference to a national code

Ref country code: CH

Ref legal event code: U11

Free format text: ST27 STATUS EVENT CODE: U-0-0-U10-U11 (AS PROVIDED BY THE NATIONAL OFFICE)

Effective date: 20260401

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: GB

Payment date: 20260219

Year of fee payment: 13

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: DK

Payment date: 20260219

Year of fee payment: 13

Ref country code: DE

Payment date: 20260219

Year of fee payment: 13

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: FR

Payment date: 20260220

Year of fee payment: 13