EP3065417B1 - Verfahren zur unterdrückung eines störgeräusches in einem akustischen system - Google Patents
Verfahren zur unterdrückung eines störgeräusches in einem akustischen system Download PDFInfo
- Publication number
- EP3065417B1 EP3065417B1 EP16151092.0A EP16151092A EP3065417B1 EP 3065417 B1 EP3065417 B1 EP 3065417B1 EP 16151092 A EP16151092 A EP 16151092A EP 3065417 B1 EP3065417 B1 EP 3065417B1
- Authority
- EP
- European Patent Office
- Prior art keywords
- signal
- filter
- microphone
- output signal
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 28
- 230000003044 adaptive effect Effects 0.000 claims description 39
- 230000006870 function Effects 0.000 claims description 13
- 230000036962 time dependent Effects 0.000 claims description 8
- 238000012546 transfer Methods 0.000 claims description 5
- 230000006978 adaptation Effects 0.000 description 17
- 230000002596 correlated effect Effects 0.000 description 11
- 238000012545 processing Methods 0.000 description 7
- 230000000875 corresponding effect Effects 0.000 description 5
- 238000001514 detection method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 239000013598 vector Substances 0.000 description 4
- 230000001629 suppression Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000001276 controlling effect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000002087 whitening effect Effects 0.000 description 2
- 230000005534 acoustic noise Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000021615 conjugation Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 238000010183 spectrum analysis Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000017105 transposition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
- G10K11/00—Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
- G10K11/002—Devices for damping, suppressing, obstructing or conducting sound in acoustic devices
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
- H04R25/45—Prevention of acoustic reaction, i.e. acoustic oscillatory feedback
- H04R25/453—Prevention of acoustic reaction, i.e. acoustic oscillatory feedback electronically
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
- G10K2210/00—Details of active noise control [ANC] covered by G10K11/178 but not provided for in any of its subgroups
- G10K2210/30—Means
- G10K2210/301—Computational
- G10K2210/3026—Feedback
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
- G10K2210/00—Details of active noise control [ANC] covered by G10K11/178 but not provided for in any of its subgroups
- G10K2210/30—Means
- G10K2210/301—Computational
- G10K2210/3028—Filtering, e.g. Kalman filters or special analogue or digital filters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/02—Circuits for transducers, loudspeakers or microphones for preventing acoustic reaction, i.e. acoustic oscillatory feedback
Definitions
- the invention relates to a method for suppressing a noise in an acoustic system, wherein the acoustic system comprises at least one microphone and at least one speaker, and wherein the at least one microphone generates an input signal, wherein the at least one loudspeaker generates an acoustic signal, which partially the at least one microphone feeds back.
- noise may occur due to feedback.
- Acoustic feedback may result from the fact that the acoustic signal generated by the speaker is partially perceived by the microphone, and thereby re-entry into the acoustic system.
- the input signal generated by the microphone is amplified in the acoustic system, so that within the closed loop, which is formed by the speaker, the acoustic signal generated by this, the microphone, and the signal processing within the acoustic system, a signal component by the feedback continues is amplified to a whistling noise when the gain in the signal processing within the acoustic system exceeds a certain limit.
- k is the discrete time index
- x is the input to the feedback cancellation system
- ⁇ is the step size over which the speed of adaptation or convergence is controlled, and * denotes the complex conjugation.
- the input signal m is often first digitized with a comparatively high sampling rate and thereby converted into time-discrete sampled values. Subsequently, in each case a multiplicity, for example 128, of consecutive samples is combined to form a so-called frame.
- a spectral analysis of the input signal can now be carried out on the basis of the samples forming the frame by means of Fourier transformation.
- the window to be considered is shifted in the direction of the time axis by a few sample values, for example 32, so that the windows of the respective samples to be taken into account for one frame overlap partially for adjacent frames.
- the time index can in this case be understood as a frame index, whereby the adaptive filter can also be used in the frequency domain.
- the filter coefficients h are vectors whose entries each correspond to a spectral subband.
- the application is not limited to this case. Details can be found for example in S. Haykin, "Adaptive Filter Theory” (Englewood Cliffs, NJ: Prentice-Hall, 1996 ) or T. v. Waterschoot & M. Moonen, "Fifty years of acoustic feedback control: state of the art and future challenges "(Proc. IEEE, Vol. 99, No. 2, Feb. 2011, pages 288-327 ).
- correlated input signals such as may be generated by the recording of music or spoken language
- an adaptive filter which may result in at least partial cancellation of a target signal.
- This can produce noticeable signal artifacts in the output signal, resulting in a significant deterioration of the sound quality.
- the whistling noise generated by acoustic feedback also has a high correlation in the signals concerned, particularly when there is a correlated target signal which is picked up and fed back through a loudspeaker after playback. If an adaptive filter is to be used to suppress the interference noise generated thereby, signal components of the target signal can also be at least partially extinguished in the suppression of the interference signal of the feedback, which has a negative effect on the sound quality of the output signal.
- the EP 2 736 271 A1 discloses a system for estimating a feedback noise signal in which an output signal is shifted in frequency. The frequency-shifted output signal is then supplied as an input to an adaptive filter for rejecting a noise signal and to an algorithm for adjusting the filter parameters of the adaptive filter.
- the invention is therefore based on the object of mentioning a method for suppressing an acoustic noise caused by noise, which allows the use of an adaptive filter, and at the same time has the highest possible sound quality in the output signal.
- the acoustic system comprises at least one microphone and at least one speaker, wherein the at least one microphone generates an input signal and wherein the at least one loudspeaker generates an acoustic signal, which partially feeds back to the at least one microphone, wherein along a main signal path in response to the input signal, a first intermediate signal and from the first intermediate signal by a frequency distortion an output signal is formed, wherein the output signal is coupled out of the main signal path in a signal feedback path, wherein in the signal Feedback path from the output signal by decorrelation a second intermediate signal is formed, which is used as an input to an adaptive filter, which generates a compensation signal, and wherein the Kompensat ion signal is supplied to the input signal for compensation, wherein from the input signal and / or from the compensated input signal, a third intermediate signal is formed, which is used as an input to the adaptive filter, and wherein the output signal is supplied to the at
- the output signal can also be used as a further input variable for the adaptive filter, wherein the second intermediate signal and the third intermediate signal are used in the adaptive filter for determining filter coefficients, by means of which the output signal is filtered and the compensation signal is thereby generated.
- the invention is based on the following considerations: A reduction in the step size p of an adaptive filter used would result in the filter diverging much more slowly in the case of a correlated input signal, so that undesired artifacts in the output signal could be reduced or become inaudible.
- the reduction of the step size could, for example, always take place when a correlated or tonal input signal is registered.
- a disadvantage of such a procedure is that any change in the acoustic feedback path while the correlated signal is being registered can not be tracked fast enough to avoid feedback noise, because of the reduced step size p limitations on the adaptability of the filter be placed.
- the step size is therefore always to be seen as a trade-off between sound quality and the ability to respond to changes in the acoustic feedback path.
- Another way to solve the problems of an adaptive filter for a strongly correlated input signal is a possible decorrelation of the input signal (so-called "pre-whitening"). Since only correlated input signals cause matching problems in the adaptive filter, such decorrelation could first solve the problem.
- Such decorrelation is often implemented by a linear predictor. For a correlated input signal, a prediction is made for one or more future samples of the signal as a function of past observed samples of the signal. This prediction then becomes the actual input signal subtracted. The result of this subtraction is called the prediction error signal ("residual signal"). For example, a sinusoidal signal is completely deterministic and therefore perfectly predictable. In this case, for a corresponding prediction order, the residual signal would be zero.
- s (k) represents the sample of the input signal for the prediction at time k
- a (i) denotes the filter coefficient of decorrelation
- P the order of prediction.
- the prediction error signal thus generated is generally of complex value.
- Interference caused by feedback also has significantly correlated signal components. If a decorrelation is applied to such a signal, the signal strength of the resulting prediction error signal is very low. For reuse in an adaptive filter, this would mean that the adaptive filter is not excited at the frequency of the noise generated by the feedback. Thus, the filter can not adapt to the acoustic feedback path at this frequency, whereby the noise remains until the acoustic feedback path changes.
- the autocorrelation values are time-dependent, and therefore preferred to be repeatedly determined.
- most non-stationary signals can be considered nearly stationary within a time window of a certain duration. The length of this time window depends on the degree to which the signal is not stationary.
- the adaptation speed of a filter or estimator which calculates the autocorrelation values of an input signal, plays an important role in this case: the faster the estimator, the better it is not possible to track stationary signals, which improves the decorrelation of an input signal.
- the adaptation speed and thus the ability to decorrelate nonstationary signals is regulated by the step size.
- a correlated target signal for the adaptive filter for canceling out a feedback-related noise is preferably decorrelated beforehand, but that a decorrelation of the adaptive filter at the frequencies of the feedback-induced noise no longer stimulates, could now be avoided, that in a first step, such a noise is detected, and in response to such detection in a second step in this case, the decorrelation omitted.
- this has several practical disadvantages: First, such a detection in practice is always faulty. In particular, if the acoustical feedback stimulates a plurality of closely spaced frequencies, these may not be sufficiently suppressed due to insufficient spectral resolution in the detection.
- Another possibility could be to determine the filter coefficients for the decorrelation in another acoustic system, and to transmit these filter coefficients continuously between the participating acoustic systems for adaptation. This possibility would be given in particular in a binaural hearing aid system.
- the above idea would be based on the assumption that the sound signals from the environment recorded by the respective acoustic systems have a high degree of similarity, but that noise caused by feedback in a single system affects only the individual acoustic system. Since feedback noise at a given frequency will most likely only occur in one acoustic system, the filter coefficients for decorrelation determined in another acoustic system may be considered a good estimate for the decorrelation of a target signal in the feedback acoustic system are used.
- the presence of a further acoustic system is first required, which is often not the case.
- the filter coefficients occur so that they are no longer up-to-date when receiving in the other acoustic system, or due to the spatial arrangement of the acoustic systems involved, the respective filter coefficients are not a sufficiently good estimate for the other system. This may, for example, in a binaural hearing aid system caused by the head of the user shading effects occur.
- the invention proposes to first subject an output signal of the acoustic system, which is to be fed into a signal feedback path, to frequency distortion, and then to decorrelate it.
- a time-dependent frequency distortion can be used here.
- Noise caused by feedback usually has a nearly perfectly sinusoidal signal. Due to the frequency distortion, this form is lost. If, for example, a time-dependent frequency shift is selected for the frequency distortion, the signals of the noise follow this frequency shift.
- the autocorrelation values of frequency-distorted signals decrease as the time interval increases, so that the window of time during which the feedback-induced noise can be considered stationary is shortened.
- a decorrelator such that it does not adapt to the interference signal of the feedback.
- the time window in which signals can be considered stationary is preferably to be chosen so that the interference signal of the feedback is not considered stationary by the frequency distortion, the actually non-stationary signal components of a target signal already.
- the decorrelation is not adapted to the interference signal, but only to the signal components of the target signal, which are decorrelated.
- the decorrelated signal the non-stationary correlated signal components are removed, as they occur in the recording of spoken speech, but not caused by the feedback Signal components.
- the decorrelated signal is now supplied as an intermediate signal to the adaptive filter, which can generate a compensation signal based on the feedback caused by feedback, which is fed back to the main signal path for the suppression of the noise.
- the input signal is favorably time-discretized, whereby a "least mean square” algorithm (LMS) is used as the adaptive filter.
- LMS least mean square algorithm
- the output signal is preferably used as the reference signal, and the error signal of the LMS filter is formed by the difference between the input signal and the compensation signal.
- the specified method is particularly advantageous in the use of an LMS algorithm in the adaptive filter, since the frequency distortion of the output signal solves the divergence problems which occur when using an LMS algorithm for the adaptive filtering of feedback-related interference signals.
- the step size in the LMS algorithm is normalized via the second intermediate signal.
- This procedure is also called “normalized least mean square” (NLMS).
- NLMS normalized least mean square
- Such normalization improves the convergence properties of the algorithm.
- the optimal filter coefficients are generally given by the solution of the filter equation by means of a Wiener filter. However, due to the static properties and the limited conversion time, this can usually not be used, which is why estimates are used for the filter coefficients given by the Wiener filter, the estimates converging ideally against the Wiener solution.
- the frequency distortion to form the output signal from the first intermediate signal is achieved by a frequency shift.
- a frequency shift is used.
- This provides the ability to tune the decorrelator's adaptation speed to the frequency offset, and thus effectively exclude the frequency-shifted signal components of the acoustic feedback noise from the decorrelation.
- frequency distortion may also be by phase modification, frequency transposition, or non-linear transformation.
- the adaptation speed of the decorrelator is preferably to be tuned to the respective degree of frequency distortion.
- the output signal for decoding the second intermediate signal is decorrelated by means of a linear prediction filter.
- the filter coefficients of the linear prediction filter are preferably to be determined by means of a Levinson-Durbin recursion or by means of an LMS or NLMS algorithm.
- the advantage of a linear prediction filter is that only linear systems of equations have to be solved, which limits the numerical complexity for the respective filter problem.
- the input signal or the compensated input signal can also be decorrelated by means of a linear prediction filter, and used to form the third intermediate signal, which is supplied as an input variable to the adaptive filter.
- time-dependent autocorrelation values of the output signal and / or of a signal based on the input signal are preferred for the filter coefficients of the linear prediction filter Error signal used.
- the autocorrelation values can be used for a Levinson-Durbin algorithm. Taking into account the time dependence of the autocorrelation values allows the decorrelation to be adjusted to the degree of frequency distortion via the appropriate choice of a corresponding time window, after which the autocorrelation values are again determined.
- the filter coefficients of, in particular, each linear prediction filter are adapted as a function of the decorrelation strength of the frequency distortion.
- the time window in which signals can be regarded as stationary depends on the decorrelation strength of the frequency distortion.
- this can be done, for example, via a repeated adaptation of the autocorrelation values in the mentioned time intervals, from which the filter coefficients are to be determined again.
- the step size can instead be adjusted accordingly in the time intervals specified.
- the described functional dependence of the time intervals or of the stationary time window can influence which signal components are still perceived as stationary by the decorrelator, so that the signal components of the interference signal affected by the frequency distortion are not decorrelated.
- a decorrelator which has too short a "stationary time window", could also perceive signal components of a frequency-distorted originally monofrequency signal as stationary and therefore decorrelate it. This is circumvented by adapting the rate of adaptation of the decorrelation to the degree of frequency distortion, in particular to that of its own decorrelation strength. If, for example, a time-dependent frequency shift is selected, then this is preferably carried out more quickly than signals are considered to be stationary in the time window for the decorrelation.
- the filter coefficients of the, in particular each linear prediction filter are adapted in dependence on a transfer function of a model of the acoustic system, which comprises the at least one microphone and at least one speaker reproducing the corrected output signal.
- the time intervals for the adaptation of the filter coefficients may additionally depend on the decorrelation strength of the frequency distortion.
- the transfer function may hereby contain the specific characteristics of the acoustic system, e.g. Gain values in individual sub-bands. In such a model, it is also possible, at least implicitly via coefficients of the transfer function, to enter into the probability that a feedback causes noise at a certain frequency.
- the decorrelation adaptation rate may be reduced to ensure that the frequency-distorted components of the original monofrequency noise are not considered stationary and decorrelated. If feedback is unlikely, the time window for the decorrelator adaptation can be shortened so that tonal signal components, e.g. generated by voice recording, are quickly detected, and decorrelated.
- the invention further provides an acoustic system comprising at least one microphone for generating an input signal, at least one loudspeaker for reproducing an output signal, and a control unit which is adapted to generate a noise by feedback of the output signal reproduced via the at least one loudspeaker is caused in the input signal generated by the at least one microphone, suppress by the above-described method.
- the acoustic system is here as a hearing aid, and advantageous as a Hearing aid formed.
- FIG. 1 3 shows a schematic block diagram of the sequence of a method 1 for suppressing a noise g in an acoustic system 2.
- the acoustic system 2 which is given here by a hearing device 3, for example a hearing aid device, comprises a microphone 4 and a loudspeaker 6.
- the microphone signal m recorded by the microphone 4 is fed to a signal processing unit 10 in a main signal path 8 where it amplifies, among other things becomes.
- an output signal xs is output to the microphone 4, which generates an acoustic signal p from the output signal xs.
- a part of the acoustic signal p generated by the loudspeaker 6 is again recorded by the microphone 4 as feedback fb, and thus finds its way into the microphone signal m.
- the feedback fb signal components of the acoustic signal p in the microphone signal m are fed again to the signal processing unit 10 and further amplified there.
- the repeated amplification, playback and recording in a closed process produces noise g in the form of almost monofrequente whistling sounds.
- the signal feedback path 16 is provided.
- the output signal x s is coupled out of the main signal path 8 and fed to a decorrelator 18.
- the decorrelator 18 is formed by a linear prediction filter 20.
- the signal processing unit 10 outputs a first intermediate signal x, which is converted by a frequency distortion 22 in the output signal xs.
- the frequency distortion 22, which is achieved in the present case by a frequency shift 23, has the consequence that the linear prediction filter 20 does not decorrelate the signal components corresponding to the noise g, but only signal components of a target signal.
- a second intermediate signal xw is output as an input to an adaptive filter 24.
- the adaptive filter 24 generates from the output signal xs a compensation signal c, which is subtracted from the microphone signal m to compensate for the noise g. As a result, the signal feedback path 16 is closed.
- the adaptive filter 24 is supplied with an additional intermediate signal ew as an input signal.
- This third intermediate signal ew is formed from the error signal e, which results from the microphone signal m compensated for the compensation signal, c.
- the error signal e is now likewise decorrelated by a linear prediction filter 26, and the decorrelated error signal ew is supplied as a second input variable to the adaptive filter 24.
- the coefficients h are calculated in a filter block 28 of the adaptive filter 24, from which a signal block 30 of the adaptive filter together with the output signal xs generates the compensation signal c.
- the frequency shift 23 ensures that the linear prediction filter 20 does not decorrelate any signal components associated with the noise g, whereby the adaptive filter 24 would no longer compensate for these with the compensation signal c.
- the length of the stationary time window T of the linear prediction filters 20, 26, and thus their adaptation speed, is thereby controlled as a function of the frequency shift 23.
- a control unit 32 in the hearing aid 3 performs all specified method steps.
- FIG. 2 is in a block diagram a slight modification of the in FIG. 1 shown method 1 shown.
- the decorrelated error signal ew which is supplied as an input to the adaptive filter, is formed from an input signal mw decorrelated in the linear prediction filter 26 and a decorrelated compensation signal cw.
- the decorrelated compensation signal cw is formed in the filter block 28 of the adaptive filter from the error signal ew decorrelated in the linear prediction filter 26 and the second intermediate signal xw, which is given by the output signal xs decorrelated in the linear prediction filter 20.
- the length of the stationary time window T of the linear prediction filters 20, 26, and thus their adaptation speed is hereby determined by an adaptation control 34, in which the degree df of the frequency shift 23, the gain n of the signal processing unit 10 in individual sub-bands, and a non find more detailed transfer function of the acoustic system 2 input and used to determine the time window T.
- an adaptation control 34 in which the degree df of the frequency shift 23, the gain n of the signal processing unit 10 in individual sub-bands, and a non find more detailed transfer function of the acoustic system 2 input and used to determine the time window T.
- a model of the acoustic feedback path fb determined by the filter coefficients h can also be used, so that the adaptation speed of the decorrelation in the linear prediction filters 20, 26 is also determined as a function of the feedback estimated by this model.
- the use of such an adjustment control 34 is thereby not on the in FIG. 2 illustrated form of the signal feedback path 16 is limited, but can in principle in various embodiments, in particular
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Acoustics & Sound (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Neurosurgery (AREA)
- Otolaryngology (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Soundproofing, Sound Blocking, And Sound Damping (AREA)
Description
- Die Erfindung betrifft ein Verfahren zur Unterdrückung eines Störgeräusches in einem akustischen System, wobei das akustische System wenigstens ein Mikrofon und wenigstens einen Lautsprecher umfasst, und wobei das wenigstens eine Mikrofon ein Eingangssignal erzeugt, wobei der wenigstens eine Lautsprecher ein akustisches Signal erzeugt, welches teilweise auf das wenigstens eine Mikrofon rückkoppelt.
- In einem akustischen System der oben beschriebenen Art, wie es beispielsweise durch ein Hörgerät gegeben sein kann, können durch Rückkopplung bedingte Störgeräusche auftreten. Eine akustische Rückkopplung kann dadurch entstehen, dass das durch den Lautsprecher erzeugte akustische Signal teilweise vom Mikrofon wahrgenommen wird, und hierdurch erneut Eingang in das akustische System findet. Das vom Mikrofon erzeugte Eingangssignal wird im akustischen System verstärkt, so dass innerhalb der geschlossenen Schleife, welche durch den Lautsprecher, das durch diesen erzeugte akustische Signal, das Mikrofon, und die Signalverarbeitung innerhalb des akustischen Systems gebildet wird, ein Signalanteil durch die Rückkopplung immer weiter zu einem pfeifenden Störgeräusch verstärkt wird, wenn die Verstärkung bei der Signalverarbeitung innerhalb des akustischen Systems einen bestimmten Grenzwert übersteigt.
- Derartige Störgeräusche können durch sog. Rückkopplungs-Unterdrückungsverfahren ("feedback cancellers") reduziert oder sogar eliminiert werden. Hierfür werden nach Stand der Technik oftmals adaptive feedback-cancellation-Methoden verwendet, in welchen ein adaptives Filter mit Filterkoeffizienten h die zeitabhängige Impulsantwort des akustischen Rückkopplungspfades modelliert. Ein oft verwendetes Beispiel für eine Vorschrift zur Anpassung der Filterkoeffizienten h ist durch den "normalized least mean square" Algorithmus (NLMS) gegeben:
- Hierbei ist k der diskrete Zeitindex, x der Input in das System zur Auslöschung der Rückkopplung, e = m-c das Fehlersignal, welches definiert ist als die Differenz zwischen dem vom Mikrofon erzeugten Eingangssignal m und dem Kompensationssignal c zur Kompensation der Rückkopplung. µ ist die Schrittweite, über welche die Geschwindigkeit der Anpassung bzw. der Konvergenz gesteuert wird, und * bezeichnet die komplexe Konjugation.
- In einem realistischen akustischen System wird dabei das Eingangssignal m oftmals zunächst mit einer vergleichsweise hohen Abtastrate digitalisiert und hierdurch in zeitdiskrete Abtastwerte umgewandelt. Anschließend wird jeweils eine Vielzahl, beispielsweise 128, von aufeinander folgenden Abtastwerten zu einem sogenannten Frame zusammengefasst. Innerhalb eines Frames kann nun anhand der den Frame bildenden Abtastwerte mittels Fouriertransformation eine spektrale Analyse des Eingangssignals durchgeführt werden. Für die Erzeugung bzw. die Analyse eines nächsten Frames wird das zu betrachtende Fenster um einige Abtastwerte, beispielsweise 32, in Richtung der Zeitachse verschoben, sodass die Fenster der jeweils für einen Frame zu berücksichtigenden Abtastwerte sich für benachbarte Frames teilweise deutlich überlappen. Der Zeitindex kann in diesem Fall als ein Frame-Index aufgefasst werden, wobei das adaptive Filter auch im Frequenzraum verwendet werden kann. In diesem Fall sind die Filterkoeffizienten h Vektoren, deren Einträge jeweils einem spektralen Subband entsprechen. Die Anwendung ist jedoch nicht auf diesen Fall beschränkt. Einzelheiten hierzu finden sich beispielsweise in S. Haykin, "Adaptive Filter Theory" (Englewood Cliffs, NJ: Prentice-Hall, 1996) oder T. v. Waterschoot & M. Moonen, "Fifty years of acoustic feedback control: state of the art and future challenges" (Proc. IEEE, Bd. 99, Nr. 2, Feb. 2011, Seiten 288-327).
- Es ist nun ein bekanntes Problem, dass korrelierte Eingangssignale, wie sie beispielsweise durch die Aufnahme von Musik oder auch von gesprochener Sprache erzeugt werden können, in einem adaptiven Filter zu einer Divergenz führen können, was zu einer mindestens teilweisen Auslöschung eines Zielsignals führen kann. Dies kann im Ausgangssignal deutlich wahrnehmbare Signal-Artefakte produzieren, was zu einer erheblichen Verschlechterung der Klangqualität führt. Die durch eine akustische Rückkopplung erzeugten pfeifenden Störgeräusche weisen in den betreffenden Signalen ebenfalls eine hohe Korrelation auf, insbesondere, wenn ein korreliertes Zielsignal vorliegt, welches aufgenommen und nach der Wiedergabe durch einen Lautsprecher rückgekoppelt wird. Soll nun zur Unterdrückung der hierdurch erzeugten Störgeräusche ein adaptives Filter verwendet werden, so können bei der Unterdrückung des Störsignals der Rückkopplung auch Signalanteile des Zielsignals zumindest teilweise ausgelöscht werden, was sich negativ auf die Klangqualität des Ausgangssignals auswirkt.
- Aus der
EP 2 503 795 A2 ist ein Verfahren zum Betreiben einer binauralen Hörvorrichtung mit einer Rückkopplungsunterdrückungseinrichtung bekannt, bei welchem ein Pre-Whitening-Filter eines ersten Hörgeräts in Abhängigkeit eines Signals eines zweiten Hörgeräts gesteuert wird. - In der
DE 2013 207 403 B3 ist ein Verfahren zur Steuerung einer Adaptionsschrittweite eines adaptiven Filters einer Hörvorrichtung beschrieben, bei welchem ein Ausgangssignal zur Ansteuerung eines adaptiven Filters frequenzverschoben wird. Hierbei wird ein Autokorrelationswert eines Eingangssignals in Abhängigkeit der Frequenzverschiebung zur Ansteuerung der Adaptionsschrittweite verwendet. - Die
EP 2 736 271 A1 offenbart ein System zur Schätzung eines Rückkopplungs-Störsignals, bei welchem ein Ausgangssignal frequenzverschoben wird. Das frequenzverschobene Ausgangssignal wird anschließend als eine Eingangsgröße für ein adaptives Filter zur Unterdrückung eines Störsignals und an einen Algorithmus zur Einstellung der Filterparameter des adaptiven Filters zugeführt. - Der Erfindung liegt daher die Aufgabe zugrunde, ein Verfahren zur Unterdrückung eines durch akustische Rückkopplung bedingten Störgeräusches zu nennen, welches die Verwendung eines adaptiven Filters erlaubt, und gleichzeitig eine möglichst hohe Klangqualität im Ausgangssignal aufweist.
- Die genannte Aufgabe wird erfindungsgemäß gelöst durch ein Verfahren zur Unterdrückung eines Störgeräusches in einem akustischen System, wobei das akustische System wenigstens ein Mikrofon und wenigstens einen Lautsprecher umfasst, wobei das wenigstens eine Mikrofon ein Eingangssignal erzeugt und wobei der wenigstens eine Lautsprecher ein akustisches Signal erzeugt, welches teilweise auf das wenigstens eine Mikrofon rückkoppelt, wobei entlang eines Hauptsignalpfades in Abhängigkeit vom Eingangssignal ein erstes Zwischensignal und aus dem ersten Zwischensignal durch eine Frequenzverzerrung ein Ausgangssignal gebildet wird, wobei aus dem Hauptsignalpfad das Ausgangssignal in einen Signal-Rückkopplungspfad ausgekoppelt wird, wobei im Signal-Rückkopplungspfad aus dem Ausgangssignal durch eine Dekorrelierung ein zweites Zwischensignal gebildet wird, das als Eingangsgröße für ein adaptives Filter herangezogen wird, welches ein Kompensationssignal erzeugt, und wobei das Kompensationssignal dem Eingangssignal zur Kompensation zugeführt wird, wobei aus dem Eingangssignal und/oder aus dem kompensierten Eingangssignal ein drittes Zwischensignal gebildet wird, welches als Eingangsgröße für das adaptive Filter herangezogen wird, und wobei das Ausgangssignal dem wenigstens einen Lautsprecher zur Wiedergabe zugeführt wird. Vorteilhafte und teils für sich gesehen erfinderische Ausgestaltungsformen sind in den Unteransprüchen und der nachfolgenden Beschreibung dargelegt.
- Insbesondere kann auch das Ausgangssignal als weitere Eingangsgröße für das adaptive Filter herangezogen werden, wobei das zweite Zwischensignal und das dritte Zwischensignal im adaptiven Filter zur Bestimmung von Filterkoeffizienten herangezogen werden, mittels derer das Ausgangssignal gefiltert und hierdurch das Kompensationssignal erzeugt wird.
- Die Erfindung geht dabei von folgenden Überlegungen aus: Eine Verringerung der Schrittweite p eines verwendeten adaptiven Filters hätte zur Folge, dass im Fall eines korrelierten Eingangssignals das Filter deutlich langsamer divergiert, so dass ungewünschte Artefakte im Ausgangssignal reduziert werden könnten bzw. unhörbar werden. Die Reduktion der Schrittweite könnte hierbei beispielsweise immer dann erfolgen, wenn ein korreliertes bzw. tonales Eingangssignal registriert wird. Ein Nachteil eines solchen Vorgehens ist jedoch, dass jede Veränderung des akustischen Rückkopplungspfades, während das korrelierte Signal registriert wird, nicht schnell genug verfolgt werden kann, um durch die Rückkopplung hervorgerufene Störgeräusche zu vermeiden, da infolge der verringerten Schrittweite p Beschränkungen an die Anpassungsfähigkeit des Filters gelegt werden. Die Schrittweite ist daher immer zu sehen als ein Trade-off zwischen der Klangqualität und der Fähigkeit, auf Veränderungen im akustischen Rückkopplungspfad zu reagieren.
- Eine andere Möglichkeit, die Probleme eines adaptiven Filters für ein stark korreliertes Eingangssignal zu beheben, liegt in einer möglichen Dekorrelierung des Eingangssignals (sog. "pre-whitening"). Da im adaptiven Filter nur korrelierte Eingangssignale Probleme mit der Anpassung hervorrufen, könnte eine derartige Dekorrelierung zunächst das Problem lösen. Eine solche Dekorrelierung wird oftmals durch eine lineare Prädiktion ("linear predictor") implementiert. Für ein korreliertes Eingangssignal wird dabei eine Vorhersage für ein oder mehrere zukünftige Samples des Signals in Abhängigkeit von vergangenen beobachteten Samples des Signals getroffen. Diese Vorhersage wird anschließend vom eigentlichen Eingangssignal subtrahiert. Das Resultat dieser Subtraktion wird Prädiktions-Fehlersignal ("residual signal") genannt. So ist beispielsweise ein Sinussignal vollständig deterministisch und daher perfekt vorhersagbar. In diesem Fall wäre für eine entsprechende Prädiktions-Ordnung das residuale Signal null.
- Im Fall einer linearen Prädiktion kann das Prädiktions-Fehlersignal geschrieben werden als
- Durch eine Rückkopplung verursachte Störgeräusche weisen ebenfalls erheblich korrelierte Signalanteile auf. Wendet man nun eine Dekorrelierung auf ein solches Signal an, so ist die Signalstärke des daraus resultierenden Prädiktions-Fehlersignals sehr gering. Für eine Weiterverwendung in einem adaptiven Filter würde dies bedeuten, dass das adaptive Filter an der Frequenz des durch die Rückkopplung erzeugten Störgeräusches nicht angeregt ist. Somit kann das Filter an dieser Frequenz keine Anpassung an den akustischen Rückkopplungspfad vornehmen, wodurch das Störgeräusch solange verbleibt, bis der akustische Rückkopplungspfad sich verändert.
- Zum Abschätzen der Filterkoeffizienten für die Dekorrelierung mittels linearer Prädiktion existieren verschiedene Methoden, beispielsweise der NLMS-Algorithmus und die Lewinson-Durbin-Rekursion. Bei letzterer wird folgende matrixwertige Gleichung rekursiv gelöst:
- Für nicht stationäre Signale, wie z.B. Sprache, sind die Autokorrelationswerte zeitabhängig, und daher bevorzugt wiederholt zu ermitteln. Die meisten nicht stationären Signale können jedoch innerhalb eines Zeitfensters einer bestimmten Dauer als nahezu stationär betrachtet werden. Die Länge dieses Zeitfensters hängt dabei vom Grad ab, in welchem das Signal nicht stationär ist. Die Anpassungsgeschwindigkeit eines Filters bzw. Schätzers, welcher die Autokorrelationswerte eines Input-Signals berechnet, spielt hierbei eine wichtige Rolle: Je schneller der Schätzer, desto besser können nicht stationäre Signale verfolgt werden, wodurch sich eine Dekorrelierung eines Input-Signals verbessert. Um also ein nicht stationäres Signal für eine Dekorrelierung innerhalb eines kurzen Zeitfensters als stationär behandeln zu können, bedarf es eines möglichst schnellen Schätzers. Dies gilt auch für jene Dekorrelierungen, welche sich eines anderen Verfahrens bedienen. So wird beispielsweise im NLMS-Algorithmus die Anpassungsgeschwindigkeit und damit die Fähigkeit, nicht stationäre Signale zu dekorrelieren, über die Schrittweite geregelt.
- Das Problem, dass ein korreliertes Zielsignal für das adaptive Filter zum Auslöschen eines durch Rückkopplung bedingten Störgeräusches vorher bevorzugt zu dekorrelieren ist, jedoch durch eine Dekorrelierung das adaptive Filter bei den Frequenzen des durch Rückkopplung hervorgerufenen Störgeräusches nicht mehr angeregt ist, könnte nun dadurch umgangen werden, dass in einem ersten Schritt ein derartiges Störgeräusch detektiert wird, und in Abhängigkeit einer solchen Detektion in einem zweiten Schritt in diesem Fall die Dekorrelierung unterbleibt. Dies hat jedoch mehrere praktische Nachteile: Zum einen ist eine solche Detektion in der Praxis stets fehlerbehaftet. Insbesondere, wenn durch die akustische Rückkopplung mehrere nahe beieinander liegende Frequenzen angeregt werden, können diese gegebenenfalls aufgrund einer unzureichenden spektralen Auflösung bei der Detektion nicht hinreichend unterdrückt werden. Überdies erfordert ein solches Vorgehen zunächst immer eine wenigstens ansatzweise Entwicklung eines durch die Rückkopplung bedingten Störgeräusches, um bei dessen Detektion den entsprechenden Signalverarbeitungsblock der Dekorrelierung zu umgehen. Dies bedeutet, dass ein internes Signal im akustischen System nie gänzlich rückkopplungsfrei ist, sondern Signalanteile des Störgeräusches bis zum Schwellwert der Detektion enthält. Dies ist jedoch aus Gründen der Klangqualität unerwünscht.
- Eine weitere Möglichkeit könnte darin bestehen, die Filterkoeffizienten für die Dekorrelierung in einem weiteren akustischen System zu bestimmen, und diese Filterkoeffizienten zwischen den beteiligten akustischen Systemen kontinuierlich zur Anpassung zu übermitteln. Diese Möglichkeit wäre insbesondere bei einem binauralen Hörgerätesystem gegeben. Der genannten Idee läge die Annahme zugrunde, dass die von den beteiligten akustischen Systemen jeweils aufgezeichneten Schallsignale aus der Umgebung eine hohe Ähnlichkeit aufweisen, durch Rückkopplung in einem einzelnen System hervorgerufene Störgeräusche jedoch nur das einzelne akustische System betreffen. Da ein durch Rückkopplung hervorgerufenes Störgeräusch bei einer bestimmten Frequenz unter hoher Wahrscheinlichkeit nur in einem akustischen System auftreten wird, können die Filterkoeffizienten für die Dekorrelierung, welche in einem anderen akustischen System ermittelt werden, als ein guter Schätzwert für die Dekorrelierung eines Zielsignals im von Rückkopplung betroffenen akustischen System herangezogen werden. Hierfür ist jedoch zunächst das Vorhandensein eines weiteren akustischen Systems erforderlich, was oft nicht gegeben ist. Überdies kann infolge der Übertragung auch eine Zeitverzögerung der Filterkoeffizienten auftreten, sodass diese beim Empfang im jeweils anderen akustischen System nicht mehr aktuell sind, oder aufgrund der räumlichen Anordnung der beteiligten akustischen Systeme stellen die jeweiligen Filterkoeffizienten keine hinreichend gute Abschätzung für das jeweils andere System dar. Dies kann beispielsweise bei einem binauralen Hörgerätesystem aufgrund von durch den Kopf des Anwenders bedingte Abschattungseffekte auftreten.
- Demgegenüber schlägt nun die Erfindung vor, ein Ausgangssignal des akustischen Systems, welches in einen Signal-Rückkopplungspfad einzuspeisen ist, zunächst einer Frequenzverzerrung zu unterziehen, und daraufhin zu dekorrelieren. Insbesondere kann hierbei eine zeitabhängige Frequenzverzerrung verwendet werden. Durch eine Rückkopplung hervorgerufene Störgeräusche weisen im Normalfall ein nahezu perfekt sinusförmiges Signal auf. Durch die Frequenzverzerrung geht diese Form verloren. Wird beispielsweise für die Frequenzverzerrung eine zeitabhängige Frequenzverschiebung gewählt, folgen die Signale der Störgeräusche dieser Frequenzverschiebung.
- Die Autokorrelationswerte von frequenzverzerrten Signalen nehmen mit zunehmendem Zeitabstand ab, sodass das Zeitfenster, währenddessen das durch Rückkopplung hervorgerufene Störsignal als stationär betrachtet werden kann, verkürzt wird. Somit ist es möglich, einen Dekorrelierer derart zu implementieren, dass sich dieser nicht an das Störsignal der Rückkopplung anpasst. Das Zeitfenster, in welchem Signale als stationär betrachtet werden können, ist dabei bevorzugt so zu wählen, dass durch die Frequenzverzerrung das Störsignal der Rückkopplung nicht als stationär betrachtet wird, die eigentlich nicht stationären Signalanteile eines Zielsignals schon. Somit wird die Dekorrelierung nicht an das Störsignal, sondern nur an die Signalanteile des Zielsignals angepasst, welche dekorreliert werden. Im dekorrelierten Signal sind nun die nicht stationären korrelierten Signalanteile entfernt, wie sie bei der Aufzeichnung von gesprochener Sprache auftreten, nicht jedoch die durch die Rückkopplung hervorgerufenen Signalanteile. Das dekorrelierte Signal wird nun als ein Zwischensignal dem adaptiven Filter zugeführt, welches basierend auf dem durch Rückkopplung hervorgerufenen Störsignal ein Kompensationssignal erzeugen kann, welches zur Unterdrückung der Störgeräusche in den Hauptsignalpfad zurückgeführt wird.
- Günstigerweise wird das Eingangssignal zeitdiskretisiert, wobei als adaptives Filter ein "least mean square"-Algorithmus (LMS) verwendet wird. Bevorzugt wird dabei das Ausgangssignal als das Referenzsignal verwendet, und das Fehlersignal des LMS-Filters durch die Differenz aus dem Eingangssignal und dem Kompensationssignal gebildet. Das angegebene Verfahren ist insbesondere bei der Verwendung eines LMS-Algorithmus im adaptiven Filter vorteilhaft, da durch die Frequenzverzerrung des Ausgangssignals die Divergenz-Probleme, welche bei der Verwendung eines LMS-Algorithmus zur adaptiven Filterung von durch Rückkopplung bedingten Störsignalen auftreten, gelöst werden.
- Als weiter vorteilhaft erweist es sich hierbei, wenn die Schrittweite im LMS-Algorithmus über das zweite Zwischensignal normalisiert wird. Dieses Vorgehen wird auch bezeichnet als "Normalized least mean square" (NLMS). Durch eine solche Normalisierung werden die Konvergenzeigenschaften des Algorithmus verbessert. Die optimalen Filterkoeffizienten sind im Allgemeinen gegeben durch die Lösung der Filtergleichung mittels eines Wiener-Filters. Dieses kann jedoch aufgrund der statischen Eigenschaften und der begrenzten Umsetzungszeit meist nicht angewandt werden, weswegen Abschätzungen für die durch das Wiener-Filter gegebenen Filterkoeffizienten verwendet werden, wobei die Abschätzungen im Idealfall gegen die Wiener-Lösung konvergieren. Im Falle eines LMS-Algorithmus zur Abschätzung der im Sinne eines Wiener-Filters optimalen Filterkoeffizienten kann eine zu große Schrittweite p in der Nähe der optimalen Lösung die Konvergenz verschlechtern, da im Lösungsraum durch die Iterationsschritte eine relativ grobe Bewegung um die optimale Lösung stattfindet. Durch die Normalisierung der Schrittweite und damit durch den Übergang zum NLMS wird in der Nähe der optimalen Filterkoeffizienten die Bewegung verfeinert, wodurch in den einzelnen Iterationsschritten ein übermäßiges Entfernen von der optimalen Lösung im Lösungsraum unterbunden wird.
- Zweckmäßigerweise wird die Frequenzverzerrung zur Bildung des Ausgangssignals aus dem ersten Zwischensignal durch eine Frequenzverschiebung erreicht. Insbesondere wird dabei eine zeitabhängige Frequenzverschiebung verwendet. Dies bietet die Möglichkeit, die Anpassungsgeschwindigkeit des Dekorrelierers auf die Frequenzverschiebung abzustimmen, und somit die frequenzverschobenen Signalanteile des durch die akustische Rückkopplung hervorgerufenen Störgeräusches von der Dekorrelierung wirksam auszunehmen. Jedoch kann eine Frequenzverzerrung auch durch eine Phasenmodifikation, eine Frequenztransposition oder eine nicht-lineare Transformation erfolgen. Auch in diesem Fall ist die Anpassungsgeschwindigkeit des Dekorrelierers bevorzugt auf den jeweiligen Grad der Frequenzverzerrung abzustimmen.
- Als weiter vorteilhaft erweist sich, wenn das Ausgangssignal zur Bildung des zweiten Zwischensignals mittels eines linearen Prädiktionsfilters dekorreliert wird. Die Filterkoeffizienten des linearen Prädiktionsfilters sind dabei bevorzugt mittels einer Levinson-Durbin-Rekursion oder mittels eines LMS- bzw. NLMS-Algorithmus zu bestimmen. Der Vorteil eines linearen Prädiktionsfilters besteht darin, dass hierfür nur lineare Gleichungssysteme zu lösen sind, was die numerische Komplexität für das jeweilige Filterproblem begrenzt. Insbesondere kann auch das Eingangssignal oder das kompensierte Eingangssignal mittels eines linearen Prädiktionsfilters dekorreliert werden, und zur Bildung des dritten Zwischensignals herangezogen werden, welches als Eingangsgröße dem adaptiven Filter zugeführt wird.
- Bevorzugt werden dabei für die Filterkoeffizienten des linearen Prädiktionsfilters zeitabhängige Autokorrelationswerte des Ausgangssignals und/oder eines auf dem Eingangssignal basierenden Fehlersignals herangezogen. Insbesondere können die Autokorrelationswerte dabei für einen Levinson-Durbin-Algorithmus verwendet werden. Die Berücksichtigung der Zeitabhängigkeit der Autokorrelationswerte ermöglicht eine Abstimmung der Dekorrelierung an den Grad der Frequenzverzerrung über die geeignete Wahl eines entsprechenden Zeitfensters, nach welchem jeweils die Autokorrelationswerte erneut ermittelt werden.
- Besonders bevorzugt werden die Filterkoeffizienten des, insbesondere jedes linearen Prädiktionsfilters in Abhängigkeit von der Dekorrelierungsstärke der Frequenzverzerrung angepasst. Dies bedeutet insbesondere, dass das Zeitfenster, in welchem Signale als stationär betrachtet werden können, von der Dekorrelierungsstärke der Frequenzverzerrung abhängt. Im Fall eines Levinson-Durbin-Algorithmus kann dies beispielsweise über eine wiederholte Anpassung der Autokorrelationswerte in den genannten Zeitabständen erfolgen, aus welchen die Filterkoeffizienten erneut zu ermitteln sind. Im Fall eines NLMS-Algorithmus kann stattdessen entsprechend die Schrittweite in den genannten Zeitabständen angepasst werden.
- Durch die beschriebene funktionale Abhängigkeit der Zeitabstände bzw. des stationären Zeitfensters kann beeinflusst werden, welche Signalanteile vom Dekorrelierer noch als stationär wahrgenommen werden, so dass die von der Frequenzverzerrung betroffenen Signalanteile des Störsignals nicht mit dekorreliert werden. Ein Dekorrelierer, welcher ein zu kurzes "stationäres Zeitfenster" aufweist, könnte auch Signalanteile eines frequenzverzerrten ursprünglich monofrequenten Signals als stationär auffassen und daher mit dekorrelieren. Dies wird dadurch umgangen, dass die Anpassungsgeschwindigkeit der Dekorrelierung an den Grad der Frequenzverzerrung, insbesondere an die dieser eigenen Dekorrelierungsstärke, angepasst wird. wird beispielsweise eine zeitabhängige Frequenzverschiebung gewählt, so ist diese bevorzugt schneller durchzuführen, als im Zeitfenster für die Dekorrelierung Signale als stationär betrachtet werden.
- In einer weiter vorteilhaften Ausgestaltung der Erfindung werden die Filterkoeffizienten des, insbesondere jedes linearen Prädiktionsfilters in Abhängigkeit von einer Transferfunktion eines Modells des akustischen Systems angepasst, welches das wenigstens eine Mikrofon und wenigstens einen das korrigierte Ausgangssignal wiedergebenden Lautsprecher umfasst. Insbesondere können dabei die Zeitabstände für die Anpassung der Filterkoeffizienten zusätzlich auch von der Dekorrelierungsstärke der Frequenzverzerrung abhängen. Die Transferfunktion kann hierbei die spezifischen Kenndaten des akustischen Systems enthalten, wie z.B. Verstärkungswerte in einzelnen Sub-Bändern. In ein solches Modell kann dabei, wenigstens implizit über Koeffizienten der Transferfunktion, auch die Wahrscheinlichkeit eingehen, dass eine Rückkopplung Störgeräusche bei einer bestimmten Frequenz hervorruft. Ist eine Anregung durch Rückkopplung sehr wahrscheinlich bzw. oberhalb eines vorher festgelegten Grenzwertes für die Wahrscheinlichkeit, kann die Anpassungsgeschwindigkeit der Dekorrelierung verringert werden, um sicherzustellen, dass die frequenzverzerrten Anteile des ursprünglich monofrequenten Störsignals nicht als stationär betrachtet und mit dekorreliert werden. Ist eine Rückkopplung unwahrscheinlich, kann das Zeitfenster für die Anpassung des Dekorrelierers verkürzt werden, so dass tonale Signalkomponenten, welche z.B. durch Sprachaufnahme erzeugt wurden, schnell erkannt werden, und dekorreliert werden.
- Die Erfindung nennt weiter ein akustisches System, welches umfassend wenigstens ein Mikrofon zur Erzeugung eines Eingangssignals, wenigstens einen Lautsprecher zur Wiedergabe eines Ausgangssignals, und eine Steuereinheit umfasst, welche dazu eingerichtet ist, ein Störgeräusch, das durch Rückkopplung des über den wenigstens einen Lautsprecher wiedergegebenen Ausgangssignals in das vom wenigstens einen Mikrofon erzeugte Eingangssignal hervorgerufen wird, durch das vorbeschriebene Verfahren unterdrücken. Insbesondere ist das akustische System dabei als ein Hörgerät, und vorteilhaft als ein Hörhilfegerät ausgebildet. Die für das Verfahren und seine Weiterbildungen angegebenen Vorteile können dabei sinngemäß auf das akustische System übertragen werden.
- Nachfolgend wird ein Ausführungsbeispiel der Erfindung anhand einer Zeichnung näher erläutert. Hierbei zeigen jeweils schematisch:
- FIG 1
- in einem Blockdiagramm der Ablauf eines Verfahrens zur Unterdrückung eines Störgeräusches in einem akustischen System, und
- FIG 2
- in einem Blockdiagramm eine weitere Ausgestaltungsmöglichkeit des Verfahrens nach
FIG 1 . - Einander entsprechende Teile und Größen sind in allen Figuren jeweils mit gleichen Bezugszeichen versehen.
- In
FIG 1 ist schematisch in einem Blockdiagramm der Ablauf eines Verfahrens 1 zur Unterdrückung eines Störgeräusches g in einem akustischen System 2 dargestellt. Das akustische System 2, welches hier gegeben ist durch ein Hörgerät 3, beispielsweise ein Hörhilfegerät, umfasst dabei ein Mikrofon 4 und einen Lautsprecher 6. Das vom Mikrofon 4 aufgezeichnete Mikrofonsignal m wird in einem Hauptsignalpfad 8 einer Signalverarbeitungseinheit 10 zugeführt, wo es unter anderem verstärkt wird. Am Ende des Hauptsignalpfads 8 wird ein Ausgangssignal xs an das Mikrofon 4 ausgegeben, welches aus dem Ausgangssignal xs ein akustisches Signal p erzeugt. Ein Teil des vom Lautsprecher 6 erzeugten akustischen Signals p wird als Rückkopplung fb erneut vom Mikrofon 4 aufgezeichnet, und findet somit Eingang in das Mikrofonsignal m. Durch die Rückkopplung fb werden Signalanteile des akustischen Signals p im Mikrofonsignal m erneut der Signalverarbeitungseinheit 10 zugeführt und dort weiter verstärkt. Durch die wiederholte Verstärkung, Wiedergabe und Aufnahme in einem geschlossenen Prozess entstehen Störgeräusche g in der Form von nahezu monofrequenten Pfeiftönen. Zur Unterdrückung der Störgeräusche g ist der Signal-Rückkopplungspfad 16 vorgesehen. - Für den Signal-Rückkopplungspfad 16 wird aus dem Hauptsignalpfad 8 das Ausgangssignal xs ausgekoppelt und einem Dekorrelierer 18 zugeführt. Der Dekorrelierer 18 wird hierbei gebildet durch ein lineares Prädiktionsfilter 20.
- Im Hauptsignalpfad 8 gibt die Signalverarbeitungseinheit 10 ein erstes Zwischensignal x aus, welches durch eine Frequenzverzerrung 22 in das Ausgangssignal xs umgewandelt wird. Die Frequenzverzerrung 22, welche im vorliegenden Fall durch eine Frequenzverschiebung 23 erreicht wird, hat zur Folge, dass das lineare Prädiktionsfilter 20 nicht die den Störgeräuschen g entsprechenden Signalanteile dekorreliert, sondern nur Signalanteile eines Zielsignals. Vom linearen Prädiktionsfilter 20 wird ein zweites Zwischensignal xw als Eingangsgröße an ein adaptives Filter 24 ausgegeben. Das adaptive Filter 24 erzeugt aus dem Ausgangssignal xs ein Kompensationssignal c, welches zur Kompensation der Störgeräusche g vom Mikrofonsignal m subtrahiert wird. Hierdurch wird der Signal-Rückkopplungspfad 16 geschlossen.
- Für die Erzeugung des Kompensationssignals c wird dem adaptiven Filter 24 ein weiteres Zwischensignal ew als Eingangssignal zugeführt. Dieses dritte Zwischensignal ew wird gebildet aus dem Fehlersignal e, welches sich aus dem um das Kompensationssignal, c kompensierten Mikrofonsignal m ergibt. Das Fehlersignal e wird nun ebenso durch ein lineares Prädiktionsfilter 26 dekorreliert und das dekorrelierte Fehlersignal ew als zweite Eingangsgröße dem adaptiven Filter 24 zugeführt. Aus dem dekorrelierten Fehlersignal ew und dem zweiten Zwischensignal xw werden nun in einem Filterblock 28 des adaptiven Filters 24 die Koeffizienten h berechnet, aus welchen ein Signalblock 30 des adaptiven Filters zusammen mit dem Ausgangssignal xs das Kompensationssignal c erzeugt.
- Durch die Frequenzverschiebung 23 wird hierbei sichergestellt, dass das lineare Prädiktionsfilter 20 keine den Störgeräuschen g zugehörige Signalanteile dekorreliert, wodurch das adaptive Filter 24 diese nicht mehr mit dem Kompensationssignal c kompensieren würde. Die Länge des stationären Zeitfensters T der linearen Prädiktionsfilter 20, 26, und damit ihre Anpassungsgeschwindigkeit, wird dabei in Abhängigkeit der Frequenzverschiebung 23 gesteuert. Eine Steuereinheit 32 im Hörgerät 3 führt dabei alle angegebenen Verfahrensschritte durch.
- In
FIG 2 ist in einem Blockdiagramm eine leichte Abwandlung des inFIG 1 dargestellten Verfahrens 1 gezeigt. Hier wird im akustischen System 2, also insbesondere in einem Hörgerät 3, beispielsweise in einem Hörhilfegerät, das dekorrelierte Fehlersignal ew, welches als Eingangsgröße dem adaptiven Filter zugeführt wird, aus einem im linearen Prädiktionsfilter 26 dekorrelierten Eingangssignal mw und einem dekorrelierten Kompensationssignal cw gebildet. Das dekorrelierte Kompensationssignal cw wird dabei im Filterblock 28 des adaptiven Filters aus dem im linearen Prädiktionsfilter 26 dekorrelierten Fehlersignal ew und dem zweiten Zwischensignal xw gebildet, welches durch das im linearen Prädiktionsfilter 20 dekorrelierten Ausgangssignal xs gegeben ist. Die Länge des stationären Zeitfensters T der linearen Prädiktionsfilter 20, 26, und damit ihre Anpassungsgeschwindigkeit, wird hierbei durch eine Anpassungsregelung 34 bestimmt, in welche der Grad df der Frequenzverschiebung 23, der Gain n der Signalverarbeitungseinheit 10 in einzelnen Sub-Bändern, und eine nicht näher dargestellte Transferfunktion des akustischen Systems 2 Eingang finden und zur Bestimmung des Zeitfensters T herangezogen werden. Ebenso kann dabei auch ein durch die Filterkoeffizienten h bestimmtes Modell des akustischen Rückkopplungspfades fb mit herangezogen werden, so dass die Anpassungsgeschwindigkeit der Dekorrelierung in den linearen Prädiktionsfilter 20, 26 auch in Abhängigkeit der durch dieses Modell geschätzten Rückkopplung bestimmt werden. Die Verwendung einer derartigen Anpassungsregelung 34 ist dabei nicht auf die inFIG 2 dargestellte Form des Signal-Rückkopplungspfades 16 beschränkt, sondern kann prinzipiell in verschiedenen Ausführungsvarianten, insbesondere im inFIG 1 gezeigten Ausführungsbeispiel, Verwendung finden. - Obwohl die Erfindung im Detail durch das bevorzugte Ausführungsbeispiel näher illustriert und beschrieben wurde, ist die Erfindung nicht durch dieses Ausführungsbeispiel eingeschränkt. Andere Variationen können vom Fachmann hieraus abgeleitet werden, ohne den Schutzumfang der Erfindung zu verlassen.
Claims (8)
- Verfahren (1) zur Unterdrückung eines Störgeräusches (g) in einem akustischen System (2),
wobei das akustische System (2) wenigstens ein Mikrofon (4) und wenigstens einen Lautsprecher (6) umfasst,
wobei das wenigstens eine Mikrofon (4) ein Eingangssignal (m) erzeugt und wobei der wenigstens eine Lautsprecher (6) ein akustisches Signal (p) erzeugt, welches teilweise auf das wenigstens eine Mikrofon (4) rückkoppelt,
wobei entlang eines Hauptsignalpfades (8) in Abhängigkeit vom Eingangssignal (m) ein erstes Zwischensignal (x), und aus dem ersten Zwischensignal (x) durch eine Frequenzverzerrung (22) ein Ausgangssignal (xs) gebildet wird,
wobei aus dem Hauptsignalpfad (8) das Ausgangssignal (xs) in einen Signal-Rückkopplungspfad (16) ausgekoppelt wird,
wobei im Signal-Rückkopplungspfad (16) aus dem Ausgangssignal (xs) durch eine Dekorrelierung (18) mittels eines linearen Prädiktionsfilters (20) ein zweites Zwischensignal (xw) gebildet wird, wobei die Filterkoeffizienten des linearen Prädiktionsfilters (20) in Abhängigkeit von der Dekorrelierungsstärke der Frequenzverzerrung (22) angepasst werden, wobei das zweite Zwischensignal (xw) als Eingangsgröße für ein adaptives Filter (24) herangezogen wird, welches ein Kompensationssignal (c) erzeugt, und wobei das Kompensationssignal (c) dem Eingangssignal (m) zur Kompensation zugeführt wird,
wobei aus dem Eingangssignal (m) und/oder aus dem kompensierten Eingangssignal (e) ein drittes Zwischensignal (ew) gebildet wird, welches als Eingangsgröße für das adaptive Filter herangezogen wird, und
wobei das Ausgangssignal (xw) dem wenigstens einen Lautsprecher (4) zur Wiedergabe zugeführt wird. - Verfahren (1) nach Anspruch 1,
wobei das Eingangssignal (m) zeitdiskretisiert wird, und
wobei als adaptives Filter ein "least mean square"-Algorithmus (LMS) verwendet wird. - Verfahren (1) nach Anspruch 2,
wobei die Schrittweite im LMS-Algorithmus über das zweite Zwischensignal (xw) normalisiert wird. - Verfahren (1) nach einem der vorhergehenden Ansprüche,
wobei die Frequenzverzerrung (22) zur Bildung des Ausgangssignals (xs) aus dem ersten Zwischensignal (x) durch eine Frequenzverschiebung (23) erreicht wird. - Verfahren (1) nach einem der vorhergehenden Ansprüche,
wobei für die Filterkoeffizienten des linearen Vorhersage-Filters (20) zeitabhängige Autokorrelationswerte des Ausgangssignals (xs) und/oder eines auf dem Eingangssignal (m) basierenden Fehlersignals (e) herangezogen werden. - Verfahren (1) nach einem der vorhergehenden Ansprüche,
wobei die Filterkoeffizienten des linearen Prädiktionsfilters (20) in Abhängigkeit von einer Transferfunktion eines Modells des akustischen Systems (2) angepasst werden, welches das wenigstens eine Mikrofon (4) und wenigstens einen das korrigierte Ausgangssignal (xs) wiedergebenden Lautsprecher (6) umfasst. - Akustisches System (2), umfassend wenigstens ein Mikrofon (4) zur Erzeugung eines Eingangssignals (m), wenigstens einen Lautsprecher (6) zur Wiedergabe eines Ausgangssignals (xs), und eine Steuereinheit (32), welche dazu eingerichtet ist, ein Störgeräusch (g) durch Rückkopplung des über den wenigstens einen Lautsprecher (6) wiedergegebenen Ausgangssignals (xs) in das vom wenigstens einen Mikrofon (4) erzeugte Eingangssignal (m) durch ein Verfahren (1) nach einem der vorhergehenden Ansprüche zu unterdrücken.
- Akustisches System (2) nach Anspruch 7, welches als Hörgerät (3), insbesondere als ein Hörhilfegerät, ausgebildet ist.
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102015204010.0A DE102015204010B4 (de) | 2015-03-05 | 2015-03-05 | Verfahren zur Unterdrückung eines Störgeräusches in einem akustischen System |
Publications (2)
Publication Number | Publication Date |
---|---|
EP3065417A1 EP3065417A1 (de) | 2016-09-07 |
EP3065417B1 true EP3065417B1 (de) | 2018-11-14 |
Family
ID=55085608
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
EP16151092.0A Active EP3065417B1 (de) | 2015-03-05 | 2016-01-13 | Verfahren zur unterdrückung eines störgeräusches in einem akustischen system |
Country Status (4)
Country | Link |
---|---|
US (1) | US9824675B2 (de) |
EP (1) | EP3065417B1 (de) |
DE (1) | DE102015204010B4 (de) |
DK (1) | DK3065417T3 (de) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106454461A (zh) * | 2016-10-21 | 2017-02-22 | 安徽协创物联网技术有限公司 | 一种视频直播回看系统 |
DE102017203631B3 (de) * | 2017-03-06 | 2018-05-17 | Sivantos Pte. Ltd. | Verfahren zur Frequenzverzerrung eines Audiosignals |
US11468873B2 (en) | 2017-09-29 | 2022-10-11 | Cirrus Logic, Inc. | Gradual reset of filter coefficients in an adaptive noise cancellation system |
US11153684B2 (en) * | 2018-11-15 | 2021-10-19 | Maxim Integrated Products, Inc. | Dynamic debuzzer for speakers |
JP2022547860A (ja) * | 2019-09-11 | 2022-11-16 | ディーティーエス・インコーポレイテッド | コンテキスト適応の音声了解度を向上させる方法 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7340063B1 (en) * | 1999-07-19 | 2008-03-04 | Oticon A/S | Feedback cancellation with low frequency input |
CN1926920A (zh) * | 2004-03-03 | 2007-03-07 | 唯听助听器公司 | 包括自适应反馈抑制系统的助听器 |
DK2002690T4 (da) | 2006-04-01 | 2020-01-20 | Widex As | Høreapparat, og fremgangsmåde til styring af adaptationshastighed i anti-tilbagekoblingssystemer til høreapparater |
DK2086250T3 (da) | 2008-02-01 | 2020-07-06 | Oticon As | Lyttesystem med et forbedret feedback-undertrykkelsessystem, en fremgangsmåde og anvendelse |
EP2148528A1 (de) * | 2008-07-24 | 2010-01-27 | Oticon A/S | Adaptive Langzeit-Prädiktionsfilter für adaptive Weißung |
KR101225556B1 (ko) * | 2008-08-25 | 2013-01-23 | 돌비 레버러토리즈 라이쎈싱 코오포레이션 | 프리-화이트닝을 사용한 lms 알고리즘에 의해 적응된 적응형 필터의 갱신된 필터 계수를 결정하기 위한 방법 |
US8630437B2 (en) * | 2010-02-23 | 2014-01-14 | University Of Utah Research Foundation | Offending frequency suppression in hearing aids |
DE102011006129B4 (de) * | 2011-03-25 | 2013-06-06 | Siemens Medical Instruments Pte. Ltd. | Hörvorrichtung mit Rückkopplungsunterdrückungseinrichtung und Verfahren zum Betreiben der Hörvorrichtung |
DK2736271T3 (da) | 2012-11-27 | 2019-09-16 | Oticon As | Fremgangsmåde til styring af en opdateringsalgoritme for et adaptivt feedbackestimeringssystem og en de-korrelationsenhed |
DE102013207403B3 (de) | 2013-04-24 | 2014-03-13 | Siemens Medical Instruments Pte. Ltd. | Verfahren zur Steuerung einer Adaptionsschrittweite und Hörvorrichtung |
-
2015
- 2015-03-05 DE DE102015204010.0A patent/DE102015204010B4/de not_active Expired - Fee Related
-
2016
- 2016-01-13 DK DK16151092.0T patent/DK3065417T3/da active
- 2016-01-13 EP EP16151092.0A patent/EP3065417B1/de active Active
- 2016-03-07 US US15/062,284 patent/US9824675B2/en active Active
Non-Patent Citations (1)
Title |
---|
None * |
Also Published As
Publication number | Publication date |
---|---|
DK3065417T3 (da) | 2019-03-04 |
DE102015204010B4 (de) | 2016-12-15 |
US20160260423A1 (en) | 2016-09-08 |
DE102015204010A1 (de) | 2016-09-08 |
US9824675B2 (en) | 2017-11-21 |
EP3065417A1 (de) | 2016-09-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE69738288T2 (de) | Einrichtung zur unterdrückung einer störenden komponente eines eingangssignals | |
EP3065417B1 (de) | Verfahren zur unterdrückung eines störgeräusches in einem akustischen system | |
DE60310725T2 (de) | Verfahren und vorrichtung zur verarbeitung von subbandsignalen mittels adaptiver filter | |
DE60108752T2 (de) | Verfahren zur rauschunterdrückung in einem adaptiven strahlformer | |
DE102010023615B4 (de) | Signalverarbeitungsvorrichtung und Signalverarbeitungsverfahren | |
EP1143416A2 (de) | Geräuschunterdrückung im Zeitbereich | |
DE112009000805T5 (de) | Rauschreduktion | |
EP1091349A2 (de) | Verfahren und Vorrichtung zur Geräuschunterdrückung bei der Sprachübertragung | |
EP3197181B1 (de) | Verfahren zur reduktion der latenzzeit einer filterbank zur filterung eines audiosignals sowie verfahren zum latenzarmen betrieb eines hörsystems | |
DE102007030209A1 (de) | Glättungsverfahren | |
EP3089481B1 (de) | Verfahren zur frequenzabhängigen rauschunterdrückung eines eingangssignals | |
DE102015216822B4 (de) | Verfahren zur Unterdrückung einer Rückkopplung in einem Hörgerät | |
EP3393143B1 (de) | Verfahren zum betrieb eines hörgerätes | |
EP1189419A2 (de) | Verfahren und Vorrichtung zur Elimination Lautsprecherinterferenzen aus Mikrofonsignalen | |
AT504164B1 (de) | Vorrichtung zur gerauschunterdruckung bei einem audiosignal | |
DE102008017550A1 (de) | Mehrstufiges Schätzverfahren zur Störgeräuschreduktion und Hörvorrichtung | |
DE102018117557B4 (de) | Adaptives nachfiltern | |
DE69817461T2 (de) | Verfahren und Vorrichtung zur optimierten Verarbeitung eines Störsignals während einer Tonaufnahme | |
DE102018117558A1 (de) | Adaptives nachfiltern | |
EP2495724A1 (de) | Verfahren und Vorrichtung zum Schätzen eines Störgeräusches | |
DE60033039T2 (de) | Vorrichtung und verfahren zur unterdrückung von zischlauten unter verwendung von adaptiven filteralgorithmen | |
DE102019105458B4 (de) | System und Verfahren zur Zeitverzögerungsschätzung | |
EP1929465A1 (de) | Verfahren zur aktiven geräuschverminderung und eine vorrichtung zur durchführung des verfahrens | |
DE102018117556B4 (de) | Einzelkanal-rauschreduzierung | |
DE4445983C2 (de) | Verfahren zur Rauschunterdrückung und Vorrichtungen zur Durchführung der Verfahren |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PUAI | Public reference made under article 153(3) epc to a published international application that has entered the european phase |
Free format text: ORIGINAL CODE: 0009012 |
|
AK | Designated contracting states |
Kind code of ref document: A1 Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR |
|
AX | Request for extension of the european patent |
Extension state: BA ME |
|
STAA | Information on the status of an ep patent application or granted ep patent |
Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE |
|
17P | Request for examination filed |
Effective date: 20170109 |
|
RBV | Designated contracting states (corrected) |
Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR |
|
RAP1 | Party data changed (applicant data changed or rights of an application transferred) |
Owner name: SIVANTOS PTE. LTD. |
|
GRAP | Despatch of communication of intention to grant a patent |
Free format text: ORIGINAL CODE: EPIDOSNIGR1 |
|
STAA | Information on the status of an ep patent application or granted ep patent |
Free format text: STATUS: GRANT OF PATENT IS INTENDED |
|
RIC1 | Information provided on ipc code assigned before grant |
Ipc: G10K 11/00 20060101ALN20180702BHEP Ipc: H04R 25/00 20060101ALI20180702BHEP Ipc: H04R 3/02 20060101ALI20180702BHEP Ipc: H04R 1/10 20060101AFI20180702BHEP |
|
INTG | Intention to grant announced |
Effective date: 20180719 |
|
GRAS | Grant fee paid |
Free format text: ORIGINAL CODE: EPIDOSNIGR3 |
|
GRAA | (expected) grant |
Free format text: ORIGINAL CODE: 0009210 |
|
STAA | Information on the status of an ep patent application or granted ep patent |
Free format text: STATUS: THE PATENT HAS BEEN GRANTED |
|
AK | Designated contracting states |
Kind code of ref document: B1 Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR |
|
REG | Reference to a national code |
Ref country code: CH Ref legal event code: EP Ref country code: AT Ref legal event code: REF Ref document number: 1066262 Country of ref document: AT Kind code of ref document: T Effective date: 20181115 |
|
REG | Reference to a national code |
Ref country code: DE Ref legal event code: R096 Ref document number: 502016002461 Country of ref document: DE |
|
REG | Reference to a national code |
Ref country code: IE Ref legal event code: FG4D Free format text: LANGUAGE OF EP DOCUMENT: GERMAN |
|
REG | Reference to a national code |
Ref country code: CH Ref legal event code: NV Representative=s name: E. BLUM AND CO. AG PATENT- UND MARKENANWAELTE , CH |
|
REG | Reference to a national code |
Ref country code: DK Ref legal event code: T3 Effective date: 20190225 |
|
REG | Reference to a national code |
Ref country code: NL Ref legal event code: MP Effective date: 20181114 |
|
REG | Reference to a national code |
Ref country code: LT Ref legal event code: MG4D |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: BG Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20190214 Ref country code: IS Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20190314 Ref country code: LT Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20181114 Ref country code: FI Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20181114 Ref country code: LV Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20181114 Ref country code: HR Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20181114 Ref country code: ES Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20181114 Ref country code: NO Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20190214 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: PT Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20190314 Ref country code: GR Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20190215 Ref country code: NL Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20181114 Ref country code: SE Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20181114 Ref country code: RS Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20181114 Ref country code: AL Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20181114 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: CZ Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20181114 Ref country code: IT Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20181114 Ref country code: PL Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20181114 |
|
REG | Reference to a national code |
Ref country code: DE Ref legal event code: R097 Ref document number: 502016002461 Country of ref document: DE |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: MC Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20181114 Ref country code: SK Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20181114 Ref country code: RO Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20181114 Ref country code: EE Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20181114 Ref country code: SM Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20181114 |
|
PLBE | No opposition filed within time limit |
Free format text: ORIGINAL CODE: 0009261 |
|
STAA | Information on the status of an ep patent application or granted ep patent |
Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: LU Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20190113 |
|
REG | Reference to a national code |
Ref country code: BE Ref legal event code: MM Effective date: 20190131 |
|
26N | No opposition filed |
Effective date: 20190815 |
|
REG | Reference to a national code |
Ref country code: IE Ref legal event code: MM4A |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: SI Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20181114 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: BE Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20190131 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: IE Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20190113 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: TR Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20181114 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: MT Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20181114 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: CY Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20181114 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: HU Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT; INVALID AB INITIO Effective date: 20160113 |
|
REG | Reference to a national code |
Ref country code: AT Ref legal event code: MM01 Ref document number: 1066262 Country of ref document: AT Kind code of ref document: T Effective date: 20210113 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: AT Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20210113 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: MK Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20181114 |
|
PGFP | Annual fee paid to national office [announced via postgrant information from national office to epo] |
Ref country code: DE Payment date: 20240119 Year of fee payment: 9 Ref country code: GB Payment date: 20240124 Year of fee payment: 9 Ref country code: CH Payment date: 20240202 Year of fee payment: 9 |
|
PGFP | Annual fee paid to national office [announced via postgrant information from national office to epo] |
Ref country code: FR Payment date: 20240124 Year of fee payment: 9 Ref country code: DK Payment date: 20240123 Year of fee payment: 9 |