EP1971186A2 - Verfahren zur Reduzierung von Störgeräuschen mit trainierbaren Modellen - Google Patents
Verfahren zur Reduzierung von Störgeräuschen mit trainierbaren Modellen Download PDFInfo
- Publication number
- EP1971186A2 EP1971186A2 EP08102007A EP08102007A EP1971186A2 EP 1971186 A2 EP1971186 A2 EP 1971186A2 EP 08102007 A EP08102007 A EP 08102007A EP 08102007 A EP08102007 A EP 08102007A EP 1971186 A2 EP1971186 A2 EP 1971186A2
- Authority
- EP
- European Patent Office
- Prior art keywords
- signal
- model
- models
- noise
- useful
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Ceased
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; ELECTRIC HEARING AIDS; PUBLIC ADDRESS SYSTEMS
- H04R25/00—Electric hearing aids
- H04R25/50—Customised settings for obtaining desired overall acoustical characteristics
- H04R25/505—Customised settings for obtaining desired overall acoustical characteristics using digital signal processing
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
- G10L21/0216—Noise filtering characterised by the method used for estimating noise
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; ELECTRIC HEARING AIDS; PUBLIC ADDRESS SYSTEMS
- H04R2225/00—Details of deaf aids covered by H04R25/00, not provided for in any of its subgroups
- H04R2225/39—Aspects relating to automatic logging of sound environment parameters and the performance of the hearing aid during use, e.g. histogram logging, or of user selected programs or settings in the hearing aid, e.g. usage logging
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; ELECTRIC HEARING AIDS; PUBLIC ADDRESS SYSTEMS
- H04R2225/00—Details of deaf aids covered by H04R25/00, not provided for in any of its subgroups
- H04R2225/41—Detection or adaptation of hearing aid parameters or programs to listening situation, e.g. pub, forest
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; ELECTRIC HEARING AIDS; PUBLIC ADDRESS SYSTEMS
- H04R2460/00—Details of hearing devices, i.e. of ear- or headphones covered by H04R1/10 or H04R5/033 but not provided for in any of their subgroups, or of hearing aids covered by H04R25/00 but not provided for in any of its subgroups
- H04R2460/01—Hearing devices using active noise cancellation
Definitions
- the present invention relates to a method for reducing noise in hearing devices by receiving an input signal, modeling the input signal with a useful signal model and a Störsignalmodell and reducing the noise component of the input signal using the estimated by the Störsignalmodell Störschalls.
- hearing device is understood to mean in particular any device that can be worn on the ear, such as a hearing aid, a headset, headphones and the like.
- Hearing aids are portable hearing aids that are used to care for the hearing impaired.
- different types of hearing aids such as behind-the-ear hearing aids (BTE) and in-the-ear hearing aids (ITO), e.g. also Concha hearing aids or canal hearing aids (CIC), provided.
- BTE behind-the-ear hearing aids
- ITO in-the-ear hearing aids
- CIC canal hearing aids
- the hearing aids listed by way of example are worn on the outer ear or in the ear canal.
- bone conduction hearing aids, implantable or vibrotactile hearing aids are also available on the market. The stimulation of the damaged hearing takes place either mechanically or electrically.
- Hearing aids have in principle as essential components an input transducer, an amplifier and an output transducer.
- the input transducer is usually a sound receiver, z. As a microphone, and / or an electromagnetic receiver, for. B. an induction coil.
- the output transducer is usually used as an electroacoustic transducer, z. As miniature speaker, or as an electromechanical transducer, z. B. bone conduction, realized.
- the amplifier is usually integrated in a signal processing unit. This basic structure is in FIG. 1 shown using the example of a behind-the-ear hearing aid. In a hearing aid housing 1 for Carrying behind the ear, one or more microphones 2 are installed for recording the sound from the environment.
- a signal processing unit 3 which is also integrated in the hearing aid housing 1, processes the microphone signals and amplifies them.
- the output signal of the signal processing unit 3 is transmitted to a loudspeaker or earpiece 4, which outputs an acoustic signal.
- the sound is optionally transmitted via a sound tube, which is fixed with an earmold in the ear canal, to the eardrum of the device carrier.
- the power supply of the hearing device and in particular of the signal processing unit 3 is carried out by a likewise integrated into the hearing aid housing 1 battery. 5
- Monaural noise reduction methods are an integral part of hearing aids. For this purpose, procedures in the frequency domain with spectral weighting, z. As the Wiener filter or the spectral subtraction used.
- the proportion of the noise that is received must be estimated from the received noisy signal.
- the method of minimum statistics can be used for this estimation.
- the spectral weighting according to Ephraim-Malah also requires an estimate of the amplitude spectrum of the useful signal.
- the payload amplitude spectra are assumed to be Gaussian distributed in order to determine the weighting rules according to Ephraim-Malah. (see. EPHRAIM, Y .; MALAH, D .: Speech Enhancement Using a Minimum Mean-Square Error Short-Time Spectral Amplitude Estimator. In: IEEE Transactions on Acoustics, Speech and Signal Processing, Dec. 1984, Vol. ASSP-32 no. 6, pages 1109-1121 ).
- a method for processing an input signal in a signal processing unit of a hearing device is known.
- setting parameters of a signal processing unit related to the noise reduction are set depending on the result of signal analysis of the input signal. If interference signals are detected, they are assigned to different interference signal categories. Depending on the detected noise category, different algorithms for noise reduction on and off.
- the object of the present invention is thus to improve the effect of noise reduction methods.
- a method for reducing noise in hearing devices by recording an input signal, modeling the input signal with a useful signal model and a Störsignalmodell and reducing the noise component of the input signal using the Störsignalmodells and / or the Nutzsignalmodells and detecting a signal statistics of the Input signal and changing the Nutzsignalmodells and / or the Störsignalmodells depending on the signal statistics.
- the term "change” here does not mean a "replacement" of a model, but the content modification and adaptation of a model.
- the knowledge is used that apriori existing information for the detection of the signal statistics for obtaining the parameters of suitable models of the useful signal and the interference signal can be used.
- the fixed model parameters with statistically relevant training data must be set in such a way that the most comprehensive possible mapping of the signal statistics is achieved.
- the noise reduction according to the invention is thus not operated as in known methods with fixed assumptions to the signal estimate or with pre-trained parameters of signal models.
- the models of noise reduction can be optimally adapted to the current situation of the hearing device wearer or user of the hearing device.
- one or both of the useful signal model and the interference signal model of the invention Noise Reduction Algorithm autoregressive models with trained codebooks, models with over-complete codebooks, models based on transforms or wavelet representations, models with decompositions into tonal, transient and noise-like components, and signal-statistical modeling.
- the models to be trained can be started with "advance knowledge”.
- a data logging of the input signal and / or its signal statistics, which relates to model parameters of the model to be changed, is performed and the model to be changed is trained with the aid of the recorded data.
- the recorded data can be used to train in real time.
- the data logging and the training is carried out continuously automatically.
- a currently newly trained signal model is always available.
- At least one further model selectable by the user of the hearing device can be trained and used instead of the useful signal model or the interference signal model for noise reduction. This allows the user to intervene in the decision-making process about the model to be used and subjectively influence the noise reduction.
- the model to be changed can also be changed on the basis of a real-time estimation of an interference signal or useful signal.
- model parameters can also be obtained by estimates.
- a further preferred embodiment of the present invention consists in that at least one further model is used in addition to the interference signal model and the useful signal model for the estimation of the interference noise or useful sound.
- the use of multiple parallel Störsignalmodelle also complex, resulting from several different sources disturbances can be effectively suppressed.
- the noise suppression systems presented here relate to systems in which at least one noisy input signal is modeled by modeling.
- at least one model for a useful signal component and an interference signal component are used, the parameters of which are estimated as a function of the input signal such that the model optimally describes the input signal according to a specific criterion.
- autoregressive models with trained codebooks come as a model here and models with over-complete codebooks, models based on transformations such as Fourier transform, discrete cosine transformations or wavelet representations, models with decomposition into tonal, transient and noise-like components, signal-statistical modeling or other suitable models.
- a noise suppression can be carried out by means of various known techniques.
- the system according to FIG. 2 has a model-based noise reduction algorithm 10 as the central building block. It is supplied with an input signal E and delivers a corresponding output signal A.
- the noise reduction algorithm 10 is based on a useful signal model 11 on the one hand and on a noise signal model 12 on the other hand. It also supplies a data logging unit 13 in which the input signal E is also recorded. Thus, recorded model parameters M, recorded quality measures Q as well as the recorded input signal E can be read out by the datalogging unit 13.
- the input signal and / or its signal statistics which is mapped by the corresponding model parameters, are recorded in the datalogging unit 13 by means of data logging.
- the recording can be done constantly or depending on the quality of the currently achieved noise reduction.
- a corresponding quality measure Q is constantly available and can z. B. falls below a threshold recording start.
- the recording can also be started manually by the user, for example.
- the training for improved model parameters M of the useful signal and / or the interfering signal can then take place at the time of the evaluation by the hearing device acoustician.
- This night training is in FIG. 2 symbolized by the arrow 14.
- an exchange of the already used signal models by the newly trained models can take place.
- a further improvement can be achieved by using not only one implementation each for the useful or interference signal model, but in each case several models for different signal statistics.
- the core in turn is the model-based noise reduction algorithm 20, which is fed with an input signal E and which supplies a corresponding output signal A. It relies on several useful signal models 211, 212 and several Störsignalmodelle 221, 222 and 223.
- a dedicated model selection unit 24 selects for the noise reduction algorithm 20 each have a model of the Nutzsignalmodellen 211, 212 and the Störsignalmodellen 221, 222 and 223 from.
- the model selection is based on a situation detection, which performs a situation detection unit 25 on the basis of the input signal E. With the help of the algorithm for situation detection, the most suitable signal model for the current situation is selected.
- the situation detection is suitable, for example, to select the appropriate useful signal models for speech or music.
- a datalogging unit 23 which also records signals from the noise reduction unit 20 in addition to the input signal E. Optionally, it also records data about the selected models as indicated by the dashed arrows in FIG. 3 is shown symbolically.
- the Datalogging unit 23 then provides as in the embodiment of FIG. 2 recorded model parameters M, a recorded quality measure Q and the recorded input signal E.
- the model parameters M are used to change the useful signal models 211, 212 or the interference signal models 221, 222 and 223.
- the data provided by the datalogging unit 23 may be used by a hearing care professional to change the in-use static models 211, 212, 221, 222, and 223. That is, the hearing care professional may, for example, change the models with the recorded model parameters M and the recorded quality measure Q, as indicated by the arrow 26 in FIG. 3 is symbolized. During operation, the models are then static again.
- the models that have been newly trained with the aid of datalogging can then either be added to the existing signal models depending on the available memory space or existing models can be exchanged.
- the associated poor quality measures Q or their rare use can then be added to the existing signal models depending on the available memory space or existing models can be exchanged.
- FIG. 2 and FIG. 3 are the Nutzsignal- and Störsignalmodelle during operation static.
- Dynamic models are also used.
- the core of this system is in turn the model-based noise reduction algorithm 30, in which the input signal E is fed, and from which a corresponding output signal A with reduced noise can be obtained.
- the noise algorithm 30 relies here not only on a static payload model 31 and a static noise signal model 32, but also on an updatable or dynamic Nutzsignalmodell 37 and also updatable, dynamic Störsignalmodell 38.
- Both dynamic models can be trained automatically by a training algorithm 39. This one gains training information from the input signal E and receives additional situation data from the situation detection 35, which is also fed by the input signal E.
- the model selection unit 34 makes a selection of the models to be used on the basis of predetermined criteria, optionally fed back by the noise reduction algorithm 30.
- the system shown has the following mode of operation: In principle, it is possible to automatically adapt the signal models 37, 38 to the currently available signal statistics. For this purpose, depending on the detected situation in the situation recognition unit 35, at least one new model adapted to the individual signal statistics for the useful or interference signal is trained. This ongoing training usually provides constantly changing signal models. If the quality measure deteriorates from the model-based noise reduction 30 and if sufficiently stable signal statistics are present in the new adapted signal model, the currently used signal models can be replaced by the newly trained signal models or supplemented by these new signal models.
- the decision to replace a signal model by a newly trained signal model can also be left to the user.
- the ongoing training automatically pre-selects the new models, and the user can then switch between two combinations of effective signal models, for example by interaction via a remote control. The better combination for the user in the current situation is then selected.
- the parameters of the above-described signal models are obtained by a training algorithm.
- the signal models can also be extended by appropriate model parameters from a real-time estimate. This means that the model parameters instead of training or supplementary to be adjusted to this by estimate.
- To estimate the interference signal for example, the method of minimum statistics or the residual interference at the output of a directional microphone signal processing can be used.
- the parameters from the continuous training are provided by the estimated parameters with a hypothesis for the corresponding signal model.
Landscapes
- Engineering & Computer Science (AREA)
- Acoustics & Sound (AREA)
- Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Neurosurgery (AREA)
- Human Computer Interaction (AREA)
- Quality & Reliability (AREA)
- Multimedia (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Otolaryngology (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Circuit For Audible Band Transducer (AREA)
- Noise Elimination (AREA)
Abstract
Description
- Die vorliegende Erfindung betrifft ein Verfahren zur Reduzierung von Störgeräuschen bei Hörvorrichtungen durch Aufnehmen eines Eingangssignals, Modellieren des Eingangssignals mit einem Nutzsignalmodell und einem Störsignalmodell und Reduzieren des Störgeräuschanteils des Eingangssignals mit Hilfe des durch das Störsignalmodell geschätzten Störschalls. Unter dem Begriff "Hörvorrichtung" wird hier insbesondere jedes am Ohr tragbare Gerät, wie beispielsweise ein Hörgerät, ein Headset, Kopfhörer und dergleichen, verstanden.
- Hörgeräte sind tragbare Hörvorrichtungen, die zur Versorgung von Schwerhörenden dienen. Um den zahlreichen individuellen Bedürfnissen entgegenzukommen, werden unterschiedliche Bauformen von Hörgeräten wie Hinter-dem-Ohr-Hörgeräte (HdO) und In-dem-Ohr-Hörgeräte (IdO), z.B. auch Concha-Hörgeräte oder Kanal-Hörgeräte (CIC), bereitgestellt. Die beispielhaft aufgeführten Hörgeräte werden am Außenohr oder im Gehörgang getragen. Darüber hinaus stehen auf dem Markt aber auch Knochenleitungshörhilfen, implantierbare oder vibrotaktile Hörhilfen zur Verfügung. Dabei erfolgt die Stimulation des geschädigten Gehörs entweder mechanisch oder elektrisch.
- Hörgeräte besitzen prinzipiell als wesentliche Komponenten einen Eingangswandler, einen Verstärker und einen Ausgangswandler. Der Eingangswandler ist in der Regel ein Schallempfänger, z. B. ein Mikrofon, und/oder ein elektromagnetischer Empfänger, z. B. eine Induktionsspule. Der Ausgangswandler ist meist als elektroakustischer Wandler, z. B. Miniaturlautsprecher, oder als elektromechanischer Wandler, z. B. Knochenleitungshörer, realisiert. Der Verstärker ist üblicherweise in eine Signalverarbeitungseinheit integriert. Dieser prinzipielle Aufbau ist in
FIG 1 am Beispiel eines Hinter-dem-Ohr-Hörgeräts dargestellt. In ein Hörgerätegehäuse 1 zum Tragen hinter dem Ohr sind ein oder mehrere Mikrofone 2 zur Aufnahme des Schalls aus der Umgebung eingebaut. Eine Signalverarbeitungseinheit 3, die ebenfalls in das Hörgerätegehäuse 1 integriert ist, verarbeitet die Mikrofonsignale und verstärkt sie. Das Ausgangssignal der Signalverarbeitungseinheit 3 wird an einen Lautsprecher bzw. Hörer 4 übertragen, der ein akustisches Signal ausgibt. Der Schall wird gegebenenfalls über einen Schallschlauch, der mit einer Otoplastik im Gehörgang fixiert ist, zum Trommelfell des Geräteträgers übertragen. Die Stromversorgung des Hörgeräts und insbesondere die der Signalverarbeitungseinheit 3 erfolgt durch eine ebenfalls ins Hörgerätegehäuse 1 integrierte Batterie 5. - Monaurale Störgeräuschreduktionsverfahren sind fester Bestandteil von Hörgeräten. Dazu werden Verfahren im Frequenzbereich mit spektraler Gewichtung, z. B. das Wiener-Filter oder die spektrale Subtraktion, eingesetzt.
- Bei diesen Störgeräuschreduktionsverfahren muss aus dem empfangenen störbehafteten Signal der Anteil des Störgeräusches geschätzt werden. Für diese Schätzung kann beispielsweise das Verfahren der Minimum-Statistik verwendet werden. Neben der Störgeräuschschätzung ist für die spektrale Gewichtung nach Ephraim-Malah auch eine Schätzung des Amplitudenspektrums des Nutzsignals nötig.
- Sowohl die Algorithmen der Nutzsignalschätzung als auch die der Störsignalschätzung gehen von bestimmten, zumeist vereinfachenden Voraussetzungen bezüglich der Signalstatistik aus. So werden beispielsweise für die Bestimmung der Gewichtungsregeln nach Ephraim-Malah die Nutzsignalamplitudenspektren als Gauß-verteilt angenommen. (vgl. EPHRAIM, Y.; MALAH, D.: Speech Enhancement Using a Minimum Mean-Square Error Short-Time Spectral Amplitude Estimator. In: IEEE Transactions on Acoustics, Speech and Signal Processing, Dez. 1984, Vol. ASSP-32 No. 6, Seiten 1109 - 1121).
- Die realen statistischen Eigenschaften von Nutz- und Störsignal sind jedoch meist deutlich komplexer und gehen daher bei den genannten Verfahren nur bedingt ein. Weiterhin sind die Parameter für eine optimale Wirkung der Störgeräuschreduktion bei möglichst geringen Nutzsignalverzerrungen normalerweise während des Betriebs fest eingestellt.
- Bei nicht stationären Störgeräuschen ist die Wirkung der genannten Verfahren zur Störgeräuschreduktion stark eingeschränkt. Aufgrund einer hinreichend lange zu erfassenden Signalstatistik kann die Störgeräuschschätzung einer hohen zeitlichen Dynamik des Störgeräuschs nur verhältnismäßig langsam folgen. Dadurch wird in solchen Situationen die Wirkung der Störgeräuschreduktion verringert.
- Bei den bisher genannten Verfahren werden keine apriori vorhandenen Informationen zur Erfassung der Signalstatistik ausgenutzt. Auch unter Einbeziehung der Signalstatistik wird bei allen Verfahren nur auf eine endliche Anzahl von statistisch unterschiedlichen Signalmodellen während des Betriebs zurückgegriffen. Diese Signalmodelle liegen alle fest vor. Daneben ist die Modellierung insbesondere für das Nutzsignal sehr aufwendig und meist auch auf einen Nutzsignaltyp wie z. B. Sprache festgelegt. Auch die Modellierung des Störgeräuschs beschränkt sich meist nur auf die spektrale Einhüllende. Dadurch kann der in der Praxis im Allgemeinen auftretende Fall mehrerer, räumlich getrennter Störsignale nur sehr schwer abgebildet werden. Sowohl die räumlichen als auch die spektralen Eigenschaften können sich auch zeitlich ändern.
- Aus der Druckschrift
DE 101 14 101 A1 ist ein Verfahren zum Verarbeiten eines Eingangssignals in einer Signalverarbeitungseinheit eines Hörgeräts bekannt. Bei dem Hörgerät werden Einstellparameter einer Signalverarbeitungseinheit, die die Störgeräuschereduktion betreffen, in Abhängigkeit des Ergebnisses einer Signalanalyse des Eingangssignals eingestellt. Werden Störsignale detektiert, so werden sie unterschiedlichen Störsignalkategorien zugeordnet. In Abhängigkeit von der ermittelten Störgeräuschkategorie werden unterschiedliche Algorithmen zur Störgeräuschreduktion ein- und ausgeschaltet. Die Aufgabe der vorliegenden Erfindung besteht somit darin, die Wirkung von Störgeräuschreduktionsverfahren zu verbessern. - Erfindungsgemäß wird zur Lösung dieser Aufgabe vorgeschlagen ein Verfahren zur Reduzierung von Störgeräuschen bei Hörvorrichtungen durch Aufnehmen eines Eingangssignals, Modellieren des Eingangssignals mit einem Nutzsignalmodell und einem Störsignalmodell und Reduzieren des Störgeräuschanteils des Eingangssignals mit Hilfe des Störsignalmodells und/oder des Nutzsignalmodells sowie das Erfassen einer Signalstatistik des Eingangssignals und Ändern des Nutzsignalmodells und/oder des Störsignalmodells in Abhängigkeit von der Signalstatistik. Unter dem Begriff "Ändern" wird hier nicht ein "Ersetzen" eines Modells, sondern das inhaltliche Verändern und Anpassen eines Modells verstanden.
- In vorteilhafter Weise wird die Erkenntnis genutzt, dass apriori vorhandene Informationen zur Erfassung der Signalstatistik für die Gewinnung der Parameter geeigneter Modelle des Nutzsignals und des Störsignals verwendet werden können. Dabei sind die festen Modellparameter mit statistisch relevanten Trainingsdaten so einzustellen, dass eine möglichst umfassende Abbildung der Signalstatistik erreicht wird. Die erfindungsgemäße Störgeräuschreduktion wird also nicht wie in bekannten Verfahren mit festen Annahmen an die Signalschätzung bzw. mit vorab fest trainierten Parametern von Signalmodellen betrieben. Durch die Erfassung der individuellen Statistik von Nutz- und Störsignalen können im Gegensatz dazu die Modelle der Störgeräuschreduktion optimal an die aktuelle Situation des Hörgeräteträgers bzw. Nutzers der Hörvorrichtung angepasst werden.
- Gemäß einer speziellen Ausführungsform können eines oder beide von dem Nutzsignalmodell und dem Störsignalmodell des erfindungsgemäßen Geräuschereduktionsalgorithmus autoregressive Modelle mit trainierten Codebüchern, Modelle mit überkompletten Codebüchern, Modelle basierend auf Transformationen oder Waveletrepräsentationen, Modelle mit Zerlegungen in tonale, transiente und rauschartige Anteile und signalstatistische Modellierungen sein. Dadurch können die zu trainierenden Modelle mit "Vorabwissen" gestartet werden.
- Gemäß einer anderen Ausführungsform kann vorgesehen sein, dass während des Betriebs der Hörvorrichtung ein Datalogging des Eingangssignals und/oder von dessen Signalstatistik, die sich auf Modellparameter des zu ändernden Modells bezieht, durchgeführt und das zu ändernde Modell mit Hilfe der aufgezeichneten Daten trainiert wird. Mit den aufgezeichneten Daten kann so ein Trainieren in Echtzeit stattfinden. Vorzugsweise erfolgt das Datalogging und das Training fortlaufend automatisch. Damit steht immer ein aktuell neu trainiertes Signalmodell zur Verfügung.
- Zur Auswahl eines Nutzsignalmodells und eines Störsignalmodells kann ein Qualitätsmaß der Störgeräuschreduktion herangezogen werden.
- Zusätzlich zu dem Nutzsignalmodell und dem Störsignalmodell kann mindestens ein weiteres vom Nutzer der Hörvorrichtung wählbares Modell trainiert und anstelle des Nutzsignalmodells oder des Störsignalmodells zur Störgeräuschreduzierung verwendet werden. Damit kann der Nutzer in den Entscheidungsprozess über das zu verwendende Modell selbst eingreifen und die Störgeräuschreduzierung subjektiv beeinflussen.
- Entsprechend einer weiteren Ausführungsform des erfindungsgemäßen Verfahrens kann das zu ändernde Modell auch anhand einer in Echtzeit durchgeführten Schätzung eines Störsignals oder Nutzsignals geändert werden. Somit lassen sich auch Modellparameter durch Schätzungen gewinnen.
- Eine weitere bevorzugte Ausführungsform der vorliegenden Erfindung besteht darin, dass zur Schätzung des Störschalls oder Nutzschalls zusätzlich zu dem Störsignalmodell und dem Nutzsignalmodell mindestens ein weiteres Modell herangezogen wird. So können beispielsweise durch die Verwendung mehrerer paralleler Störsignalmodelle auch komplexe, aus mehreren verschiedenen Quellen herrührende Störungen effektiv unterdrückt werden.
- Die vorliegende Erfindung wird anhand der beigefügten Zeichnungen näher erläutert, in denen zeigen:
- FIG 1
- den prinzipiellen Aufbau eines Hörgeräts gemäß dem Stand der Technik;
- FIG 2
- ein Blockschaltbild zur Anpassung der Signalmodelle mittels Datalogging gemäß der vorliegenden Erfindung;
- FIG 3
- ein Blockschaltbild zur Anpassung mehrerer Signalmodelle mittels Datalogging und
- FIG 4
- ein Blockschaltbild mit automatischer Anpassung der Signalmodelle.
- Die nachfolgend näher geschilderten Ausführungsbeispiele stellen bevorzugte Ausführungsformen der vorliegenden Erfindung dar.
- Generell beziehen sich die hier vorgestellten Geräuschunterdrückungssysteme auf Systeme, in welchen mindestens ein verrauschtes Eingangssignal durch eine Modellierung nachgebildet wird. Hierbei kommen jeweils wenigstens ein Modell für einen Nutzsignalanteil und einen Störsignalanteil zum Einsatz, deren Parameter abhängig vom Eingangssignal so geschätzt werden, dass das Modell das Eingangssignal gemäß einem bestimmten Kriterium optimal beschreibt. Als Modell kommen hier beispielsweise autoregressive Modelle mit trainierten Codebüchern in Frage sowie Modelle mit überkompletten Codebüchern, Modelle basierend auf Transformationen wie der Fourriertransformation, der diskreten Cosinustransformation oder basierend auf Waveletrepräsentationen, Modelle mit Zerlegungen in tonale, transiente und rauschartige Anteile, signalstatistische Modellierungen oder weitere geeignete Modelle. Mit Hilfe der so gewonnenen modellhaften Beschreibungen für Nutz- und Störsignal kann eine Geräuschunterdrückung mittels verschiedener, bekannter Techniken vorgenommen werden.
- Für die erfindungsgemäße Störgeräuschunterdrückung erfolgt also eine geeignete, individuelle Anpassung eines oder mehrerer Signalmodelle an die tatsächlich vorliegende Statistik des Eingangssignals. Hierzu bestehen grundsätzlich verschiedene Möglichkeiten für die Anpassung, wie dies nachfolgend in Zusammenhang mit den
FIG 2 bis 4 näher dargestellt werden wird. - Das System gemäß
FIG 2 weist als zentralen Baustein einen modellbasierten Störgeräuschreduktionsalgorithmus 10 auf. Ihm wird ein Eingangssignal E zugeführt und er liefert ein entsprechendes Ausgangssignal A. Der Störgeräuschreduktionsalgorithmus 10 stützt sich einerseits auf ein Nutzsignalmodell 11 und andererseits auf ein Störsignalmodell 12. Außerdem beliefert er eine Datalogging-Einheit 13, in der auch das Eingangssignal E aufgezeichnet wird. Von der Datalogging-Einheit 13 können somit aufgezeichnete Modellparameter M, aufgezeichnete Qualitätsmaße Q sowie das aufgezeichnete Eingangssignal E ausgelesen werden. - Während des Betriebs der Hörvorrichtung bzw. des Hörgeräts werden mittels Datalogging das Eingangssignal und/oder dessen Signalstatistik, die durch die entsprechenden Modellparameter abgebildet wird, in der Datalogging-Einheit 13 aufgezeichnet. Die Aufzeichnung kann ständig erfolgen oder aber in Abhängigkeit der Qualität der aktuell erzielten Störgeräuschreduktion. Ein entsprechendes Qualitätsmaß Q liegt ständig vor und kann z. B. bei Unterschreiten einer Schwelle die Aufzeichnung starten. Die Aufzeichnung kann aber auch beispielsweise manuell vom Benutzer gestartet werden.
- Mit den aufgezeichneten Daten kann dann zum Zeitpunkt der Auswertung beim Hörgeräteakustiker das Training für verbesserte Modellparameter M des Nutzsignals und/oder des Störsignals erfolgen. Dieses Nachtrainieren ist in
FIG 2 mit dem Pfeil 14 symbolisiert. Je nach Häufigkeit der Aufzeichnungsperioden bei einem gleichzeitig schlechten Qualitätsmaß kann dann ein Austausch der bereits benutzten Signalmodelle durch die neu trainierten Modelle erfolgen. - Eine weitere Verbesserung lässt sich erzielen, indem nicht nur jeweils eine Realisierung für das Nutz- bzw. Störsignalmodell verwendet wird, sondern jeweils mehrere Modelle für unterschiedliche Signalstatistiken. Ein derartiges System ist exemplarisch in
FIG 3 wiedergegeben. Kern ist wiederum der modellbasierte Störgeräuschreduktionsalgorithmus 20, der mit einem Eingangssignal E gespeist wird und der ein entsprechendes Ausgangssignal A liefert. Er stützt sich auf mehrere Nutzsignalmodelle 211, 212 sowie mehrere Störsignalmodelle 221, 222 und 223. Eine eigens vorgesehene Modellauswahleinheit 24 wählt für den Störgeräuschreduktionsalgorithmus 20 jeweils ein Modell von den Nutzsignalmodellen 211, 212 und den Störsignalmodellen 221, 222 und 223 aus. Die Modellauswahl erfolgt anhand einer Situationserkennung, die eine Situationserkennungseinheit 25 auf der Basis des Eingangssignals E durchführt. Mit Hilfe des Algorithmus zur Situationserkennung wird jeweils das zur aktuellen Situation am besten geeignete Signalmodell ausgewählt. Die Situationserkennung ist beispielsweise geeignet, die passenden Nutzsignalmodelle für Sprache oder Musik auszuwählen. - Wiederum ist eine Datalogging-Einheit 23 vorgesehen, die neben dem Eingangssignal E auch Signale von der Störgeräuschreduktionseinheit 20 aufzeichnet. Optional zeichnet sie auch Daten über die ausgewählten Modelle auf, wie dies mit den gestrichelten Pfeilen in
FIG 3 symbolisch dargestellt ist. Die Datalogging-Einheit 23 stellt dann wie in dem Ausführungsbeispiel vonFIG 2 aufgezeichnete Modellparameter M, ein aufgezeichnetes Qualitätsmaß Q und das aufgezeichnete Eingangssignal E bereit. Die Modellparameter M werden zur Veränderung der Nutzsignalmodelle 211, 212 bzw. der Störsignalmodelle 221, 222 und 223 herangezogen. - Die von der Datalogging-Einheit 23 bereitgestellten Daten können beispielsweise von einem Hörgeräteakustiker dazu verwendet werden, die im Betrieb an sich statischen Modelle 211, 212, 221, 222 und 223 zu ändern. Das bedeutet, der Hörgeräteakustiker kann beispielsweise mit den aufgezeichneten Modellparametern M und dem aufgezeichneten Qualitätsmaß Q die Modelle ändern, wie dies mit dem Pfeil 26 in
FIG 3 symbolisiert ist. Während des Betriebs sind dann die Modelle wieder statisch. - Die mit Hilfe des Datalogging neu trainierten Modelle können dann je nach vorhandenem Speicherplatz entweder zu den vorhandenen Signalmodellen hinzugefügt oder es können existierende Modelle ausgetauscht werden. Für einen Austausch eines Modells sprechen die damit verbunden schlechten Qualitätsmaße Q oder deren seltene Verwendung
- Bei den Ausführungsbeispielen von
FIG 2 undFIG 3 sind die Nutzsignal- und Störsignalmodelle während des Betriebs statisch. Entsprechend dem Beispiel vonFIG 4 werden auch dynamische Modelle eingesetzt. Kernstück dieses Systems ist wiederum der modellbasierte Störgeräuschreduktionsalgorithmus 30, in den das Eingangssignal E eingespeist, und von dem ein entsprechendes Ausgangssignal A mit reduziertem Störgeräusch erhalten werden kann. Der Störgeräuschalgorithmus 30 stützt sich hier nicht nur auf ein statisches Nutzsignalmodell 31 und ein statisches Störsignalmodell 32, sondern auch auf ein aktualisierbares bzw. dynamisches Nutzsignalmodell 37 und ein ebenfalls aktualisierbares, dynamisches Störsignalmodell 38. Beide dynamischen Modelle sind durch einen Trainingsalgorithmus 39 automatisch trainierbar. Dieser gewinnt Trainingsinformationen aus dem Eingangssignal E und bezieht zusätzliche Situationsdaten aus der Situationserkennung 35, welche ebenfalls von dem Eingangssignal E gespeist wird. Die Modellauswahleinheit 34 trifft anhand vorbestimmter Kriterien, gegebenenfalls rückgekoppelt von dem Störgeräuschreduktionsalgorithmus 30 eine Auswahl der einzusetzenden Modelle. - Das in
FIG 4 dargestellte System besitzt die folgende Funktionsweise: Es besteht grundsätzlich die Möglichkeit, die Signalmodelle 37, 38 an die aktuell vorhandene Signalstatistik automatisch anzupassen. Dazu wird je nach der erkannten Situation in der Situationserkennungseinheit 35 wenigstens ein neues, an die individuelle Signalstatistik angepasstes Modell für das Nutz- bzw. Störsignal trainiert. Dieses fortlaufende Training liefert in der Regel beständig veränderte Signalmodelle. Verschlechtert sich das Qualitätsmaß aus der modellbasierten Störgeräuschreduktion 30 und liegt eine hinreichend stabile Signalstatistik in dem neuen anpassten Signalmodell vor, können die aktuell benutzten Signalmodelle durch die neu trainierten Signalmodelle ersetzt bzw. um diese neuen Signalmodelle ergänzt werden. - Die Entscheidung zum Austausch eines Signalmodells durch ein neu trainiertes Signalmodell kann aber auch dem Benutzer überlassen werden. Dazu wird, wie oben beschrieben, durch das fortlaufende Training eine automatische Vorauswahl der neuen Modelle getroffen, und der Benutzer kann dann jeweils zwischen zwei Kombinationen aus wirksamen Signalmodellen beispielsweise durch Interaktion über eine Fernbedienung wechseln. Die in der aktuellen Situation für den Benutzer bessere Kombination wird dann ausgewählt.
- Die Parameter der oben geschilderten Signalmodelle werden durch einen Trainingsalgorithmus gewonnen. Entsprechend einem weiteren Ausführungsbeispiel können die Signalmodelle auch durch entsprechende Modellparameter aus einer in Echtzeit durchgeführten Schätzung erweitert werden. Dies bedeutet, dass die Modellparameter anstelle von Training oder ergänzend zu diesem durch Schätzung anpasst werden. Zur Schätzung des Störsignals kann beispielsweise das Verfahren der Minimumstatistik oder die Reststörung am Ausgang einer Richtmikrofonsignalverarbeitung herangezogen werden. Die Parameter aus dem fortlaufenden Training werden durch die geschätzten Parameter mit einer Hypothese für das entsprechende Signalmodell versehen. Darüber hinaus ist in Abhängigkeit von der aktuellen Situation anstelle der Auswahl eines einzelnen Signalmodells auch die Kombination mehrerer Signalmodelle zur Beschreibung einer komplexen Signalstatistik möglich. Dadurch lassen sich dann z. B. mehrere Störquellen mit unterschiedlicher Signalstatistik beschreiben.
Claims (8)
- Verfahren zur Reduzierung von Störgeräuschen bei Hörvorrichtungen durch- Aufnehmen eines Eingangssignals (E),- Modellieren des Eingangssignals mit einem Nutzsignalmodell (11) und einem Störsignalmodell (12) und- Reduzieren des Störgeräuschanteils des Eingangssignals (E) mit Hilfe des Störsignalmodells (12) und/oder des Nutzsignalmodells (11),gekennzeichnet durch- Erfassen einer Signalstatistik des Eingangssignals (E) und- Ändern des Nutzsignalmodells (11) und/oder des Störsignalmodells (12) in Abhängigkeit von der Signalstatistik
- Verfahren nach Anspruch 1, wobei eines oder beide von dem Nutzsignalmodell (11) und dem Störsignalmodell (12) autoregressive Modelle mit trainierten Codebüchern, Modelle mit überkompletten Codebüchern, Modelle basierend auf Transformationen oder Waveletrepräsentationen, Modelle mit Zerlegungen in tonale, transiente und rauschartige Anteile und signalstatistische Modellierungen oder beliebige Kombinationen daraus sind.
- Verfahren nach Anspruch 1 oder 2, wobei während des Betriebs der Hörvorrichtung ein Datalogging (13) des Eingangssignals (E) und/oder von dessen Signalstatistik, die sich auf Modellparameter des zu ändernden Modells (11, 12) bezieht, durchgeführt und das zu ändernde Modell (11, 12) mit Hilfe der aufgezeichneten Daten trainiert wird.
- Verfahren nach Anspruch 3, wobei das Datalogging (13) und das Training (39) fortlaufend automatisch erfolgt.
- Verfahren nach Anspruch 4, wobei zusätzlich zu dem Nutzsignalmodell (11) und dem Störsignalmodell (12) ein weiteres vom Nutzer der Hörvorrichtung wählbares Modell trainiert und anstelle des Nutzsignalmodells oder Störsignalmodells zur Störgeräuschereduzierung verwendet wird.
- Verfahren nach einem der vorhergehenden Ansprüche, wobei das zu ändernde Modell (11, 12) auch anhand einer in Echtzeit durchgeführten Schätzung eines Störsignals oder Nutzsignals geändert wird.
- Verfahren nach einem der Ansprüche 1 bis 4, wobei zur Schätzung des Störschalls oder Nutzschalls zusätzlich zu dem Störsignalmodell (12) und dem Nutzsignalmodell (11) mindestens ein weiteres Modell herangezogen wird.
- Verfahren nach einem der Ansprüche 1 bis 4, wobei zur Auswahl eines Nutzsignalmodells (11) und eines Störsignalmodells (12) ein Qualitätsmaß der Störgeräuschreduktion herangezogen wird.
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE102007011808A DE102007011808A1 (de) | 2007-03-12 | 2007-03-12 | Verfahren zur Reduzierung von Störgeräuschen mit trainierbaren Modellen |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| EP1971186A2 true EP1971186A2 (de) | 2008-09-17 |
| EP1971186A3 EP1971186A3 (de) | 2016-07-20 |
Family
ID=39611753
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| EP08102007.5A Ceased EP1971186A3 (de) | 2007-03-12 | 2008-02-26 | Verfahren zur Reduzierung von Störgeräuschen mit trainierbaren Modellen |
Country Status (3)
| Country | Link |
|---|---|
| EP (1) | EP1971186A3 (de) |
| AU (1) | AU2008201143B2 (de) |
| DE (1) | DE102007011808A1 (de) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE10114101A1 (de) | 2001-03-22 | 2002-06-06 | Siemens Audiologische Technik | Verfahren zum Verarbeiten eines Eingangssignals in einer Signalverarbeitungseinheit eines Hörgerätes sowie Schaltung zur Durchführung des Verfahrens |
| US20040190739A1 (en) * | 2003-03-25 | 2004-09-30 | Herbert Bachler | Method to log data in a hearing device as well as a hearing device |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| ATE331417T1 (de) * | 2000-04-04 | 2006-07-15 | Gn Resound As | Eine hörprothese mit automatischer hörumgebungsklassifizierung |
| EP2866474A3 (de) * | 2002-04-25 | 2015-05-13 | GN Resound A/S | Anpassungsverfahren und Hörprothese auf Basis von Verlustdaten des Signal-Rausch-Verhältnisses |
| WO2006114101A1 (en) * | 2005-04-26 | 2006-11-02 | Aalborg Universitet | Detection of speech present in a noisy signal and speech enhancement making use thereof |
| EP1760696B1 (de) * | 2005-09-03 | 2016-02-03 | GN ReSound A/S | Verfahren und Vorrichtung zur verbesserten Bestimmung von nichtstationärem Rauschen für Sprachverbesserung |
-
2007
- 2007-03-12 DE DE102007011808A patent/DE102007011808A1/de not_active Withdrawn
-
2008
- 2008-02-26 EP EP08102007.5A patent/EP1971186A3/de not_active Ceased
- 2008-03-11 AU AU2008201143A patent/AU2008201143B2/en not_active Ceased
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE10114101A1 (de) | 2001-03-22 | 2002-06-06 | Siemens Audiologische Technik | Verfahren zum Verarbeiten eines Eingangssignals in einer Signalverarbeitungseinheit eines Hörgerätes sowie Schaltung zur Durchführung des Verfahrens |
| US20040190739A1 (en) * | 2003-03-25 | 2004-09-30 | Herbert Bachler | Method to log data in a hearing device as well as a hearing device |
Non-Patent Citations (1)
| Title |
|---|
| EPHRAIM, Y.;; MALAH, D.: "Speech Enhancement Using a Minimum Mean-Square Error Short-Time Spectral Amplitude Estimator", IEEE TRANSACTIONS ON ACOUSTICS, SPEECH AND SIGNAL PROCESSING, vol. 32, no. 6, December 1984 (1984-12-01), pages 1109 - 1121 |
Also Published As
| Publication number | Publication date |
|---|---|
| AU2008201143A1 (en) | 2008-10-02 |
| AU2008201143B2 (en) | 2010-06-24 |
| EP1971186A3 (de) | 2016-07-20 |
| DE102007011808A1 (de) | 2008-09-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3451705B1 (de) | Verfahren und vorrichtung zum schnellen erkennen der eigenen stimme | |
| DE60120949T2 (de) | Eine hörprothese mit automatischer hörumgebungsklassifizierung | |
| DE102008031150B3 (de) | Verfahren zur Störgeräuschunterdrückung und zugehöriges Hörgerät | |
| DE102011087984A1 (de) | Hörvorrichtung mit Sprecheraktivitätserkennung und Verfahren zum Betreiben einer Hörvorrichtung | |
| EP2645743B1 (de) | Hörvorrichtung für eine binaurale Versorgung und Verfahren zum Bereitstellen einer binauralen Versorgung | |
| EP2229010B1 (de) | Hörgerät und Verfahren zur Störschallkompensation bei einem Hörgerät | |
| EP2620940A1 (de) | Verfahren und Hörvorrichtung zum Schätzen eines Bestandteils der eigenen Stimme | |
| EP3065417B1 (de) | Verfahren zur unterdrückung eines störgeräusches in einem akustischen system | |
| DE102011006129B4 (de) | Hörvorrichtung mit Rückkopplungsunterdrückungseinrichtung und Verfahren zum Betreiben der Hörvorrichtung | |
| WO2011110239A1 (de) | Enthallen von signalen einer binauralen hörvorrichtung | |
| DE102007035174A1 (de) | Hörvorrichtung gesteuert durch ein perzeptives Modell und entsprechendes Verfahren | |
| DE102007035171A1 (de) | Verfahren zum Anpassen eines Hörgeräts mit Hilfe eines perzeptiven Modells | |
| EP2200341B1 (de) | Verfahren zum Betrieb eines Hörhilfegerätes sowie Hörhilfegerät mit einer Quellentrennungseinrichtung | |
| EP2981099B1 (de) | Verfahren und vorrichtung zur rückkopplungsunterdrückung | |
| EP2109329A2 (de) | Mehrstufiges Schätzverfahren zur Störgeräuschreduktion und Hörvorrichtung | |
| EP1912470B1 (de) | Verfahren zur Dynamikkompression eines Audiosignals und entsprechende Hörvorrichtung | |
| DE102008046040A1 (de) | Verfahren zum Betrieb einer Hörvorrichtung mit Richtwirkung und zugehörige Hörvorrichtung | |
| EP1926087A1 (de) | Anpassung einer Hörvorrichtung an ein Sprachsignal | |
| EP2584795B1 (de) | Verfahren zum Ermitteln einer Kompressionskennlinie | |
| EP2495724A1 (de) | Verfahren und Vorrichtung zum Schätzen eines Störgeräusches | |
| EP2373063A1 (de) | Hörvorrichtung und Verfahren zum Einstellen derselben für einen rückkopplungsfreien Betrieb | |
| DE102007008739A1 (de) | Hörvorrichtung mit Störsignaltrennung und entsprechendes Verfahren | |
| EP2590437B1 (de) | Periodisches Adaptieren einer Rückkopplungsunterdrückungseinrichtung | |
| EP1971186A2 (de) | Verfahren zur Reduzierung von Störgeräuschen mit trainierbaren Modellen | |
| EP2219389A1 (de) | Vorrichtung und Verfahren zur Störgeräuschschätzung bei einer binauralen Hörgeräteversorgung |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PUAI | Public reference made under article 153(3) epc to a published international application that has entered the european phase |
Free format text: ORIGINAL CODE: 0009012 |
|
| AK | Designated contracting states |
Kind code of ref document: A2 Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MT NL NO PL PT RO SE SI SK TR |
|
| AX | Request for extension of the european patent |
Extension state: AL BA MK RS |
|
| RAP1 | Party data changed (applicant data changed or rights of an application transferred) |
Owner name: SIVANTOS GMBH |
|
| PUAL | Search report despatched |
Free format text: ORIGINAL CODE: 0009013 |
|
| AK | Designated contracting states |
Kind code of ref document: A3 Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MT NL NO PL PT RO SE SI SK TR |
|
| AX | Request for extension of the european patent |
Extension state: AL BA MK RS |
|
| RIC1 | Information provided on ipc code assigned before grant |
Ipc: H04R 25/00 20060101AFI20160610BHEP |
|
| STAA | Information on the status of an ep patent application or granted ep patent |
Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE |
|
| 17P | Request for examination filed |
Effective date: 20161130 |
|
| RBV | Designated contracting states (corrected) |
Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MT NL NO PL PT RO SE SI SK TR |
|
| RBV | Designated contracting states (corrected) |
Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MT NL NO PL PT RO SE SI SK TR |
|
| AKX | Designation fees paid |
Designated state(s): CH DE DK FR GB LI |
|
| AXX | Extension fees paid |
Extension state: BA Extension state: MK Extension state: RS Extension state: AL |
|
| STAA | Information on the status of an ep patent application or granted ep patent |
Free format text: STATUS: EXAMINATION IS IN PROGRESS |
|
| 17Q | First examination report despatched |
Effective date: 20180308 |
|
| STAA | Information on the status of an ep patent application or granted ep patent |
Free format text: STATUS: THE APPLICATION HAS BEEN REFUSED |
|
| 18R | Application refused |
Effective date: 20191009 |