EP2622879B1 - Verfahren und vorrichtung zur frequenzkompression - Google Patents

Verfahren und vorrichtung zur frequenzkompression Download PDF

Info

Publication number
EP2622879B1
EP2622879B1 EP10763664.9A EP10763664A EP2622879B1 EP 2622879 B1 EP2622879 B1 EP 2622879B1 EP 10763664 A EP10763664 A EP 10763664A EP 2622879 B1 EP2622879 B1 EP 2622879B1
Authority
EP
European Patent Office
Prior art keywords
channel
frequency
amplitude
signal
spectral model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
EP10763664.9A
Other languages
English (en)
French (fr)
Other versions
EP2622879A1 (de
Inventor
Ulrich Kornagel
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sivantos Pte Ltd
Original Assignee
Sivantos Pte Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sivantos Pte Ltd filed Critical Sivantos Pte Ltd
Publication of EP2622879A1 publication Critical patent/EP2622879A1/de
Application granted granted Critical
Publication of EP2622879B1 publication Critical patent/EP2622879B1/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/35—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception using translation techniques
    • H04R25/353—Frequency, e.g. frequency shift or compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2225/00—Details of deaf aids covered by H04R25/00, not provided for in any of its subgroups
    • H04R2225/43—Signal processing in hearing aids to enhance the speech intelligibility

Definitions

  • the present invention relates to a method for frequency compression of an audio signal in a listening device. Moreover, the present invention relates to a corresponding device for frequency compression.
  • a hearing device is understood to mean any sound-emitting device which can be worn in or on the ear, in particular a hearing aid, a headset, headphones and the like.
  • Hearing aids are portable hearing aids that are used to care for the hearing impaired.
  • different types of hearing aids such as behind-the-ear hearing aids (BTE), hearing aid with external receiver (RIC: receiver in the canal) and in-the-ear hearing aids (IDO), e.g. Concha hearing aids or canal hearing aids (ITE, CIC).
  • BTE behind-the-ear hearing aids
  • RIC hearing aid with external receiver
  • IDO in-the-ear hearing aids
  • ITE canal hearing aids
  • the hearing aids listed by way of example are worn on the outer ear or in the ear canal.
  • bone conduction hearing aids, implantable or vibrotactile hearing aids are also available on the market. The stimulation of the damaged hearing takes place either mechanically or electrically.
  • Hearing aids have in principle as essential components an input transducer, an amplifier and an output transducer.
  • the input transducer is usually a sound receiver, z. As a microphone, and / or an electromagnetic receiver, for. B. an induction coil.
  • the output transducer is usually used as an electroacoustic transducer, z. As miniature speaker, or as an electromechanical transducer, z. B. bone conduction, realized.
  • the amplifier is usually integrated in a signal processing unit. This basic structure is in FIG. 1 shown using the example of a behind-the-ear hearing aid. In a hearing aid housing 1 for carrying behind the ear, one or more microphones 2 for receiving the sound from the environment are installed.
  • a signal processing unit 3 which is also integrated into the hearing aid housing 1, processes the microphone signals and amplifies them.
  • the output signal of the signal processing unit 3 is transmitted to a loudspeaker or earpiece 4, which outputs an acoustic signal.
  • the sound is optionally transmitted via a sound tube, which is fixed with an earmold in the ear canal, to the eardrum of the device carrier.
  • the power supply of the hearing device and in particular the signal processing unit 3 is effected by a likewise integrated into the hearing aid housing 1 battery. 5
  • Dead regions are frequency ranges in which spectral components can no longer be audibly amplified.
  • spectral components from a source frequency range typically at higher frequencies and in which no gain is to be applied (e.g., "dead region"), are shifted to a lower target frequency range. Audibility is generally guaranteed in this target frequency range, which is why amplification can be usefully applied.
  • Known frequency compressions work as follows, for example: A compression rule for an individual hearing loss is tailored, wherein the compression rule defines which source frequency should be compressed or mapped to which target frequency.
  • the practical realization of this compression rule is carried out by a filter bank. This means that the compression rule defines which source channel of the filter bank is mapped or compressed to which target channel. The smallest element So this process is a channel. This means that the spectral components within a channel are not compressed.
  • the possible positions of the channels are defined by the structure of the filter bank and thus fixed (fixed filter bank grid). Such a system is for example from the US 6,577,739 B1 known.
  • the described method for frequency compression is particularly unsuitable for speech sound.
  • voiced sounds is a fundamental frequency and several harmonics, which are found at integer multiples of the fundamental frequency.
  • the fine structure is responsible for the perception of the pitch of the speech sound.
  • the amplitudes of the fundamental frequency and the harmonics define the color of the sound and form the so-called spectral envelope.
  • the spectral envelope of vowels shows a typical formant structure in each case.
  • the spectral envelope carries the essential information that allows discrimination of the different sounds (e.g., distinguishing the vowels).
  • prior art frequency compression is accomplished by shifting source channels on a fixed filter bank grid.
  • the fixed filter bank grid is defined by the filter bank structure and not by the harmonic structure of the signal. Therefore, movement of source channels on the fixed filter bank grid to their destination channels in accordance with the compression rule destroys the harmonic structure.
  • the reason for this is that when moving the harmonic structure is just not considered. That the harmonics no longer inevitably appear at integer multiples of the fundamental frequency after compression. The destruction of the harmonic structure, however, leads to audible artifacts.
  • FFT Fast Fourier Transform
  • the object of the present invention is therefore to be able to better avoid artifacts in the frequency compression.
  • this object is achieved by a method for frequency compression of an audio signal in a listening device by obtaining an amplitude information of a source channel from a plurality of frequency channels of the audio signal and impressing an amplitude corresponding to the amplitude information to a signal in a destination channel of the plurality of frequency channels to which the source channel at Frequency compression is mapped, wherein the phase of the signal is maintained in the target channel.
  • an apparatus for frequency-compressing an audio signal for a listening device comprising estimating means for obtaining amplitude information of a source channel of a plurality of frequency channels of the audio signal and processing means for impressing an amplitude corresponding to the amplitude information on a signal in a destination channel of the plurality of frequency channels the source channel for frequency compression is to be mapped, wherein the processing means is adapted to maintain the phase of the signal in the target channel.
  • the amplitude information in a source channel of an audio signal is separated from the actual signal and used to impose a corresponding amplitude on a signal in a destination channel. Frequencies in the target channel are not affected thereby, whereby the harmonic structure of the audio signal can be maintained.
  • the amplitude information may be a mean channel amplitude. This is easy to win for a channel and can also be transferred to a target channel with little effort.
  • the amplitude information is preferably a spectral model of the audio signal, the spectral model is subjected to frequency compression, and the amplitude to be applied to the signal of the destination channel is determined from the compressed spectral model.
  • the spectral model is the spectral envelope resulting from the amplitudes the fundamental frequency and harmonic of a harmonic signal.
  • the spectral model thus represents a function that models the amplitude values over the frequency.
  • the amplitude to be recorded for the target channel can be obtained by sampling the compressed spectral model.
  • the amplitude for a certain frequency is obtained from the compressed spectral model or the compressed spectral envelope.
  • the amplitude to be recorded can be obtained by integrating or summing values of the compressed spectral model in the region of the target channel. As a result, a mean amplitude value for the target channel is determined from the spectral model.
  • At least one channel amplitude is obtained for each of the frequency channels and the spectral model of the audio signal is obtained from the channel amplitudes.
  • at least one value per frequency channel is provided for the spectral model.
  • the spectral model can be obtained by interpolation (spline). The individual points are connected by linear functions, quadratic functions, cubic functions and the like.
  • the spectral model can also be a polynomial function. In this case, the spectral model or the spectral envelope is simulated by an analytical function. From this in turn, amplitude values can be obtained without high computational effort.
  • the spectral model can also be obtained by a linear predictive coefficient (LPC) analysis in the time domain. This can be dispensed with a filter bank.
  • LPC linear predictive coefficient
  • the device for frequency compression comprises a polyphase filter bank to provide the audio signal in multiple frequency channels. This makes it possible to generate only positive frequency components in the channels.
  • the device according to the invention is particularly advantageously used in a listening device and in particular in a hearing aid.
  • a frequency compression in hearing aid users can be realized with fewer artifacts.
  • the main object of the present invention is to leave the spectral fine structure, in particular of a harmonic signal, untouched by subjecting only the amplitude information of a spectrum to compression.
  • a spectral envelope which represents a measure of the magnitude of the amplitude in the spectrum, is compressed.
  • the input signal is spectrally decomposed by a filter bank.
  • a corresponding Channel strength calculated for each channel participating in the compression process. Examples of channel strengths are the amplitude, the amplitude square, or any other measure of the power or strength of the signal in the corresponding channel.
  • the channel strengths can be interpreted as samples of the spectral envelopes that are to be compressed.
  • the channel strength represents an amplitude information in the sense of the present application.
  • the compression is achieved by shifting the channel strengths from the source channels to the destination channels according to a predetermined compression rule.
  • the original channel strengths of the destination channel (before compression) will be overwritten. That is, according to the present invention, the phase of an original signal (before compression) is maintained in the target channel. Only the channel strengths are modified. Thus, for example, after the filter bank, the envelope is impressed on the respective signals, and the phases are retained.
  • the compression rule according to the present invention is similar to the compression rule of a compression system according to the prior art.
  • the difference between the prior art approach and the inventive approach is that, according to the approach of the invention, only the channel strengths are shifted while in the prior art approach the complete channel signals are shifted. In the approach according to the invention, therefore, the spectral fine structure is retained. A harmonic remains a harmonic. Optionally, only its amplitude is varied.
  • the input signal is spectrally decomposed using a filter bank.
  • the channel strengths of all channels to be compressed are used to obtain a spectral model (eg an envelope).
  • This spectral model is obtained, for example, by linear interpolation, quadratic interpolation, cubic interpolation or by analytical modeling obtained using a polynomial function.
  • the spectral model or the envelope is compressed according to the compression rule.
  • the compressed spectral model is used to calculate the strengths of the target channels.
  • the phases of the destination channels are not modified as in the first implementation variant described above.
  • FIG. 2 shows a spectral model of an input signal of a hearing aid.
  • the channel strength (eg, amplitude, power, etc.) is plotted against frequency f for each of the frequency channels 10. The respective channel strength is symbolized by a point 11. Adjacent points 11 are each connected by a straight line. This results in a spectral envelope 12 by linear spline interpolation.
  • the spectral envelope 12 thus represents a spectral model of the input signal.
  • a high-frequency portion 13 of the entire spectrum is to be compressed.
  • the compression starts at a frequency f_cut_off.
  • the range to be compressed ranges from this frequency f_cut_off to the highest processed frequency channel.
  • the channels in the compression area 13 may be referred to as source channels 14 for frequency compression.
  • FIG. 4 shows a section of the target channels 15 of FIG. 3 , In the middle between the channel boundaries of each target channel 15, the compressed envelope 12 'is scanned.
  • the sampled values are not necessarily at the break points of the compressed envelope 12 '.
  • the value for the channel strength of the target channel is obtained directly from the sample, which results at the respective channel center of the compressed envelope 12 '.
  • the sampling may also be performed at a different frequency position within each destination channel 15.
  • the sampling can also take place at a channel boundary.
  • the value of a destination channel 15 is determined in another way. Namely, it is determined by averaging based on an integral or a sum of all values of the compressed envelope 12 'within each channel.
  • the respective mean value 16 is then a measure of the strength of the target channel 15. Again, the channel structure and in particular the distance between harmonics of the frequency compression remains unaffected. Only the amplitude of the spectral components in the compressed range is adapted or changed.
  • the decomposition of the input signal into the spectral fine structure and the spectral envelope can also be effected by means of an LPC (linear predictive coefficient) analysis and calculation of the residual signal in the time domain.
  • LPC linear predictive coefficient
  • a decomposition of the input signal into a spectral fine structure and a spectral envelope takes place and the spectral envelope is compressed independently of the spectral fine structure by a compression rule dependent on the hearing loss.
  • the spectral fine structure is retained. Consequently, the harmonic structure of a tonal signal remains unaffected, so that the described artifacts do not occur or are reduced. Frequency estimation is not necessary for this procedure.

Landscapes

  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurosurgery (AREA)
  • Otolaryngology (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Stereophonic System (AREA)

Description

  • Die vorliegende Erfindung betrifft ein Verfahren zur Frequenzkompression eines Audiosignals bei einer Höreinrichtung. Darüber hinaus betrifft die vorliegende Erfindung eine entsprechende Vorrichtung zur Frequenzkompression. Unter einer Höreinrichtung wird hier jedes im oder am Ohr tragbare, schallausgebende Gerät verstanden, insbesondere ein Hörgerät, ein Headset, Kopfhörer und dergleichen.
  • Hörgeräte sind tragbare Hörvorrichtungen, die zur Versorgung von Schwerhörenden dienen. Um den zahlreichen individuellen Bedürfnissen entgegenzukommen, werden unterschiedliche Bauformen von Hörgeräten wie Hinter-dem-Ohr-Hörgeräte (HdO), Hörgerät mit externem Hörer (RIC: receiver in the canal) und In-dem-Ohr-Hörgeräte (IdO), z.B. auch Concha-Hörgeräte oder Kanal-Hörgeräte (ITE, CIC), bereitgestellt. Die beispielhaft aufgeführten Hörgeräte werden am Außenohr oder im Gehörgang getragen. Darüber hinaus stehen auf dem Markt aber auch Knochenleitungshörhilfen, implantierbare oder vibrotaktile Hörhilfen zur Verfügung. Dabei erfolgt die Stimulation des geschädigten Gehörs entweder mechanisch oder elektrisch.
  • Hörgeräte besitzen prinzipiell als wesentliche Komponenten einen Eingangswandler, einen Verstärker und einen Ausgangswandler. Der Eingangswandler ist in der Regel ein Schallempfänger, z. B. ein Mikrofon, und/oder ein elektromagnetischer Empfänger, z. B. eine Induktionsspule. Der Ausgangswandler ist meist als elektroakustischer Wandler, z. B. Miniaturlautsprecher, oder als elektromechanischer Wandler, z. B. Knochenleitungshörer, realisiert. Der Verstärker ist üblicherweise in eine Signalverarbeitungseinheit integriert. Dieser prinzipielle Aufbau ist in FIG 1 am Beispiel eines Hinter-dem-Ohr-Hörgeräts dargestellt. In ein Hörgerätegehäuse 1 zum Tragen hinter dem Ohr sind ein oder mehrere Mikrofone 2 zur Aufnahme des Schalls aus der Umgebung eingebaut. Eine Signalverarbeitungseinheit 3, die ebenfalls in das Hörgerätegehäuse 1 integriert ist, verarbeitet die Mikrofonsignale und verstärkt sie. Das Ausgangssignal der Signalverarbeitungseinheit 3 wird an einen Lautsprecher bzw. Hörer 4 übertragen, der ein akustisches Signal ausgibt. Der Schall wird gegebenenfalls über einen Schallschlauch, der mit einer Otoplastik im Gehörgang fixiert ist, zum Trommelfell des Geräteträgers übertragen. Die Energieversorgung des Hörgeräts und insbesondere die der Signalverarbeitungseinheit 3 erfolgt durch eine ebenfalls ins Hörgerätegehäuse 1 integrierte Batterie 5.
  • Viele Hörverluste können mithilfe einer frequenzabhängigen Verstärkung in Kombination mit einer dynamischen Kompression kompensiert werden. Es gibt jedoch auch Hörverluste, bei denen eine Verstärkung keinen Effekt hat bzw. nachteilig ist. Ein Beispiel hierfür sind Hörverluste mit so genannten "toten Regionen". "Tote Regionen" sind Frequenzbereiche, in denen Spektralanteile nicht mehr durch Verstärkung hörbar gemacht werden können.
  • Eine mögliche Technik, um mit obigem Problem umzugehen, ist die Frequenzkompression. Hierbei werden Spektralanteile aus einem Quellfrequenzbereich, der typischerweise bei höheren Frequenzen liegt und in dem keine Verstärkung angewendet werden soll (z.B. "tote Region"), in einen tieferliegenden Zielfrequenzbereich geschoben. In diesem Zielfrequenzbereich ist in der Regel Hörbarkeit prinzipiell gewährleistet, weswegen eine Verstärkung nutzbringend appliziert werden kann.
  • Bekannte Frequenzkompressionen funktionieren beispielsweise folgendermaßen: Es wird eine Kompressionsvorschrift für einen individuellen Hörverlust maßgeschneidert, wobei die Kompressionsvorschrift definiert, welche Quellfrequenz auf welche Zielfrequenz komprimiert bzw. abgebildet werden soll. Die praktische Realisierung dieser Kompressionsvorschrift erfolgt durch eine Filterbank. D.h. die Kompressionsvorschrift definiert, welcher Quellkanal der Filterbank auf welchen Zielkanal abgebildet bzw. komprimiert wird. Das kleinste Element dieses Verfahrens ist also ein Kanal. Dies bedeutet, dass die spektralen Komponenten innerhalb eines Kanals nicht komprimiert werden. Darüber hinaus sind die möglichen Positionen der Kanäle durch die Struktur der Filterbank definiert und somit fest vorgegeben (festes Filterbankraster). Ein solches System ist beispielsweise aus der US 6,577,739 B1 bekannt.
  • Das geschilderte Verfahren zur Frequenzkompression ist jedoch insbesondere für Sprachschall ungeeignet. Bei einem Sprachschall liegt bei stimmhaften Lauten eine Grundfrequenz und mehrere Harmonische vor, die bei ganzzahligen Vielfachen der Grundfrequenz anzutreffen sind. Dies wird als Feinstruktur des Signals bezeichnet. Die Feinstruktur ist verantwortlich für die Wahrnehmung der Tonhöhe des Sprachschalls. Die Amplituden der Grundfrequenz und der Harmonischen definieren die Farbe des Schalls und bilden die so genannte spektrale Einhüllende. Beispielsweise zeigt die spektrale Einhüllende von Vokalen eine jeweils typische Formantenstruktur. Die spektrale Einhüllende trägt die wesentliche Information, die die Unterscheidung der unterschiedlichen Laute ermöglicht (z.B. Unterscheidung der Vokale).
  • Wie oben beschrieben wurde, wird die Frequenzkompression nach dem Stand der Technik durch Verschieben von Quellkanälen auf einem festen Filterbankraster erreicht. Das feste Filterbankraster ist durch die Filterbankstruktur definiert und nicht durch die harmonische Struktur des Signals. Daher zerstört eine Bewegung von Quellkanälen auf dem festen Filterbankraster zu ihren Zielkanälen entsprechend der Kompressionsvorschrift die harmonische Struktur. Der Grund hierfür ist, dass bei dem Verschieben die harmonische Struktur eben nicht berücksichtigt wird. D.h. die Harmonischen treten nach der Kompression nicht mehr zwangsläufig bei ganzzahligen Vielfachen der Grundfrequenz auf. Die Zerstörung der harmonischen Struktur führt jedoch zur hörbaren Artefakten.
  • In dem Dokument EP 2 099 235 A2 ist ein System für eine Frequenzkompression beschrieben, mittels welchem ein hochfrequenter Anteil einer spektralen Einhüllenden komprimiert wird, während ein niederfrequenter Bereich unverändert bleibt. Um Artefakte zu vermeiden, wie sie durch die Frequenzkompression in dem hochfrequenten Signalanteil hervorgerufen werden können, ist bei dem System vorgesehen, die Phaseninformation des hochfrequenten Anteils zu randomisieren.
  • In dem Dokument US 4,051,331 A sind ein Hörhilfesystem und ein Verfahren beschrieben, bei welchen eine Frequenzkompression eines Sprachsignals durchgeführt wird, indem sowohl eine Formantfrequenz als auch eine Grundfrequenz ermittelt und verändert werden. Auf Grundlage der so erhaltenenen veränderten Frequenzwerte wird mittels eines Tongenerators ein künstliches Ausgabesignal erzeugt.
  • In dem Dokument WO 2006/133 431 A2 wird eine Frequenzkompression auf der Grundlage von FFT-Koeffizienten (FFT - Fast Fourier Transform) beschrieben, wobei in der Frequenz aufwärts verschobene Frequenzbins mit einem komplexen Wert multipliziert werden, um deren Phasewerte anzupassen.
  • Die Aufgabe der vorliegenden Erfindung besteht somit darin, Artefakte bei der Frequenzkompression besser vermeiden zu können.
  • Erfindungsgemäß wird diese Aufgabe gelöst durch ein Verfahren zur Frequenzkompression eines Audiosignals bei einer Höreinrichtung, durch Gewinnen einer Amplitudeninformation eines Quellkanals von mehreren Frequenzkanälen des Audiosignals und Aufprägen einer Amplitude entsprechend der Amplitudeninformation auf ein Signal in einem Zielkanal der mehreren Frequenzkanäle, auf den der Quellkanal bei der Frequenzkompression abgebildet wird, wobei die Phase des Signals in dem Zielkanal beibehalten wird.
  • Darüber hinaus wird erfindungsgemäß bereitgestellt eine Vorrichtung zur Frequenzkompression eines Audiosignals für eine Höreinrichtung, umfassend eine Schätzeinrichtung zum Gewinnen einer Amplitudeninformation eines Quellkanals von mehreren Frequenzkanälen des Audiosignals und eine Verarbeitungseinrichtung zum Aufprägen einer Amplitude entsprechend der Amplitudeninformation auf ein Signal in einem Zielkanal der mehreren Frequenzkanäle, auf den der Quellkanal für die Frequenzkompression abzubilden ist, wobei die Verarbeitungseinrichtung dazu eingerichtet ist, die Phase des Signals in dem Zielkanal beizubehalten.
  • In vorteilhafter Weise wird die Amplitudeninformation in einem Quellkanal eines Audiosignals von dem eigentlichen Signal abgetrennt und dazu genutzt, eine entsprechende Amplitude einem Signal in einem Zielkanal aufzuprägen. Frequenzen im Zielkanal werden dadurch nicht beeinflusst, wodurch die harmonische Struktur des Audiosignals erhalten bleiben kann.
  • Die Amplitudeninformation kann eine mittlere Kanalamplitude sein. Diese ist für einen Kanal leicht zu gewinnen und kann ebenso mit wenig Aufwand auf einen Zielkanal übertragen werden.
  • Vorzugsweise ist die Amplitudeninformation ein Spektralmodell des Audiosignals, das Spektralmodell wird der Frequenzkompression unterworfen und die dem Signal des Zielkanals aufzuprägende Amplitude wird aus dem komprimierten Spektralmodell ermittelt. Bei dem Spektralmodell handelt es sich beispielsweise um die spektrale Einhüllende, die sich aus den Amplituden der Grundfrequenz und der Harmonischen eines harmonischen Signals ergibt. Das Spektralmodell stellt also eine Funktion dar, die die Amplitudenwerte über der Frequenz modellhaft wiedergibt.
  • Die aufzuprägende Amplitude für den Zielkanal kann durch Abtasten des komprimierten Spektralmodells gewonnen werden. Es wird also die Amplitude für eine bestimmte Frequenz aus dem komprimierten Spektralmodell bzw. der komprimierten spektralen Einhüllenden gewonnen.
  • Die aufzuprägende Amplitude kann alternativ durch Integral- oder Summenbildung von Werten des komprimierten Spektralmodells im Bereich des Zielkanals gewonnen werden. Dadurch wird ein mittlerer Amplitudenwert für den Zielkanal aus dem Spektralmodell ermittelt.
  • In einem Ausführungsbeispiel wird für jeden der Frequenzkanäle mindestens eine Kanalamplitude und aus den Kanalamplituden das Spektralmodell des Audiosignals gewonnen. Es wird somit für das Spektralmodell mindestens ein Wert pro Frequenzkanal bereitgestellt.
  • Das Spektralmodell kann durch Interpolation gewonnen werden (Spline). Dabei werden die einzelnen Punkte durch lineare Funktionen, quadratische Funktionen, kubische Funktionen und dergleichen miteinander verbunden. Das Spektralmodell kann aber auch eine Polynomfunktion sein. Dabei wird das Spektralmodell bzw. die spektrale Einhüllende durch eine analytische Funktion nachgebildet. Aus dieser wiederum sind Amplitudenwerte ohne hohen Rechenaufwand zu gewinnen.
  • Das Spektralmodell kann aber auch durch eine LPC-Analyse (linear predictive coefficient) im Zeitbereich gewonnen werden. Dadurch kann auf eine Filterbank verzichtet werden.
  • Wird das Spektralmodell aber beispielsweise durch eine Interpolation gewonnen, so ist es günstig, wenn die Vorrichtung für die Frequenzkompression eine Polyphasen-Filterbank aufweist, um das Audiosignal in mehreren Frequenzkanälen bereitzustellen. Damit ist es möglich, in den Kanälen nur positive Frequenzanteile zu erzeugen.
  • Besonders vorteilhaft wird die erfindungsgemäße Vorrichtung in einer Höreinrichtung und insbesondere in einem Hörgerät eingesetzt. Damit kann eine Frequenzkompression bei Hörgeräteträgern mit weniger Artefakten realisiert werden.
  • Die vorliegende Erfindung wird nun anhand der beigefügten Zeichnungen näher erläutert, in denen zeigen:
    • FIG 1
    den prinzipiellen Aufbau eines Hörgeräts gemäß dem Stand der Technik;
    FIG 2
    ein Spektralmodell eines Audiosignals vor einer Kompression;
    FIG 3
    das Spektralmodell von FIG 2 nach der Kompression;
    FIG 4
    ein harmonisches Signal mit den Amplituden des komprimierten Spektralmodells; und
    FIG 5
    ein harmonisches Signal, bei dem die Amplituden durch Integralbildung gewonnen werden.
  • Die nachfolgend näher geschilderten Ausführungsbeispiele stellen bevorzugte Ausführungsformen der vorliegenden Erfindung dar.
  • Das Hauptziel der vorliegenden Erfindung besteht darin, die spektrale Feinstruktur insbesondere eines harmonischen Signals unberührt zu lassen, indem nur die Amplitudeninformation eines Spektrums einer Kompression unterworfen wird. Insbesondere wird beispielsweise nur die spektrale Einhüllende, die ein Maß für die Höhe der Amplitude im Spektrum darstellt, komprimiert.
  • Bei einer ersten Realisierungsvariante wird das Eingangssignal durch eine Filterbank spektral zerlegt. Für jeden Kanal, der an dem Kompressionsprozess teilnimmt, wird eine entsprechende Kanalstärke berechnet. Beispiele für Kanalstärken sind die Amplitude, das Amplitudenquadrat oder irgendein anderes Maß für die Leistung oder Stärke des Signals in dem entsprechenden Kanal. Die Kanalstärken können als Abtastwerte der spektralen Einhüllenden interpretiert werden, die komprimiert werden sollen. Die Kanalstärke stellt hier eine Amplitudeninformation im Sinne der vorliegenden Anmeldung dar.
  • Die Kompression wird durch Verschieben der Kanalstärken von den Quellkanälen zu den Zielkanälen gemäß einer vorgegebenen Kompressionsvorschrift erreicht. Die Originalkanalstärken des Zielkanals (vor der Kompression) werden überschrieben. Dies bedeutet, dass entsprechend der vorliegenden Erfindung die Phase eines Originalsignals (vor der Kompression) in dem Zielkanal beibehalten wird. Nur die Kanalstärken werden modifiziert. So ist dann beispielsweise nach der Filterbank die Einhüllende auf die jeweiligen Signale aufgeprägt, und die Phasen bleiben erhalten.
  • Prinzipiell ist die Kompressionsvorschrift gemäß der vorliegenden Erfindung ähnlich wie die Kompressionsvorschrift eines Kompressionssystems gemäß dem Stand der Technik. Der Unterschied zwischen dem Ansatz gemäß dem Stand der Technik und dem erfindungsgemäßen Ansatz besteht darin, dass entsprechend dem erfindungsgemäßen Ansatz nur die Kanalstärken verschoben werden, während bei dem Ansatz gemäß dem Stand der Technik die kompletten Kanalsignale verschoben werden. Bei dem erfindungsgemäßen Ansatz bleibt also die spektrale Feinstruktur erhalten. Eine Harmonische bleibt eine Harmonische. Gegebenenfalls wird nur ihre Amplitude variiert.
  • Bei einer zweiten Realisierungsvariante wird das Eingangssignal mithilfe einer Filterbank spektral zerlegt. Die Kanalstärken aller Kanäle, die komprimiert werden sollen, werden verwendet, um ein Spektralmodell (z.B. eine Hüllkurve bzw. Einhüllende) zu gewinnen. Dieses Spektralmodell wird beispielsweise durch lineare Interpolation, quadratische Interpolation, kubische Interpolation oder durch analytisches Modellieren mithilfe einer Polynomfunktion gewonnen. Das Spektralmodell bzw. die Einhüllende wird gemäß der Kompressionsvorschrift komprimiert. Schließlich wird das komprimierte Spektralmodell benutzt, um die Stärken der Zielkanäle zu berechnen. Die Phasen der Zielkanäle werden nicht modifiziert wie bei der oben beschriebenen, ersten Realisierungsvariante.
  • Im Anschluss werden konkrete Ausführungsbeispiele im Detail wiedergegeben.
  • FIG 2 zeigt ein Spektralmodell eines Eingangssignals eines Hörgeräts. Die Kanalstärke (z.B. Amplitude, Leistung etc.) ist für jeden der Frequenzkanäle 10 über der Frequenz f aufgetragen. Die jeweilige Kanalstärke ist durch einen Punkt 11 symbolisiert. Benachbarte Punkte 11 sind jeweils durch eine Gerade miteinander verbunden. Es entsteht dadurch eine spektrale Einhüllende 12 durch lineare Spline-Interpolation. Die spektrale Einhüllende 12 stellt also ein Spektralmodell des Eingangssignals dar.
  • Aufgrund einer hörgeräteinternen Kompressionsvorschrift soll ein hochfrequenter Anteil 13 des gesamten Spektrums komprimiert werden. Die Kompression beginnt bei einer Frequenz f_cut_off. Der zu komprimierende Bereich reicht von dieser Frequenz f_cut_off bis zum höchsten verarbeiteten Frequenzkanal. Die Kanäle in dem Kompressionsbereich 13 können als Quellkanäle 14 für die Frequenzkompression bezeichnet werden.
  • Alle Frequenzen oberhalb der Frequenz f_cut_off werden also gemäß der gleichen, vom Hörverlust abhängigen Kompressionsvorschrift komprimiert. Bei dieser Kompression wird die ursprüngliche Einhüllende 12 zu der komprimierten Einhüllenden 12' gemäß FIG 3 komprimiert. In einem Frequenzbereich unterhalb der Frequenz f_cut_off stimmen die beiden Einhüllenden 12 und 12' miteinander überein. Oberhalb der Frequenz f_cut_off ist die linear interpolierte Kurve von FIG 2 entsprechend der Kompressionsvorschrift auf deutlich weniger Frequenzkanäle komprimiert. Die Struktur der Einhüllenden ist zwar, was die Amplitudenfolge betrifft, im Wesentlichen erhalten geblieben, aber die Kurve wurde in Frequenzrichtung gestaucht. Die höchste Frequenz f_max' nach der Kompression liegt also unter der Frequenz f_max im unkomprimierten Fall gemäß FIG 2. Dies bedeutet aber auch, dass eine Vielzahl von Quellkanälen 14 auf weniger Zielkanäle 15 abgebildet werden. Die Zielkanäle 15 besitzen jeweils die gleiche Breite wie ein Quellkanal 14. Die Kanalstruktur ist also von der Kompression unberührt. Aus der komprimierten Einhüllenden 12' (komprimiertes Spektralmodell) lässt sich somit für jeden Zielkanal 15 die Kanalstärke ermitteln, wie dies anhand der Beispiele von FIG 4 und FIG 5 gezeigt werden wird.
  • FIG 4 zeigt einen Ausschnitt der Zielkanäle 15 von FIG 3. In der Mitte zwischen den Kanalgrenzen jedes Zielkanals 15 wird die komprimierte Einhüllende 12' abgetastet. Es ist bereits hier zu erkennen, dass die Abtastwerte nicht zwangsläufig auf den Knickpunkten der komprimierten Einhüllenden 12' liegen. Es wird hier also nicht die Stärke eines Quellkanals 14 exakt auf die Stärke eines Zielkanals 15 abgebildet. Vielmehr wird der Wert für die Kanalstärke des Zielkanals unmittelbar aus dem Abtastwert gewonnen, der sich an der jeweiligen Kanalmitte von der komprimierten Einhüllenden 12' ergibt. Gemäß einem anderen Ausführungsbeispiel kann das Abtasten aber auch an einer anderen Frequenzposition innerhalb jedes Zielkanals 15 erfolgen. So kann beispielsweise das Abtasten auch an einer Kanalgrenze erfolgen.
  • Entsprechend dem Beispiel von FIG 5 wird der Wert eines Zielkanals 15 auf andere Weise ermittelt. Er wird nämlich durch Mittelwertbildung auf der Basis eines Integrals oder einer Summe aller Werte der komprimierten Einhüllenden 12' innerhalb jedes Kanals ermittelt. Der jeweilige Mittelwert 16 ist dann ein Maß für die Stärke des Zielkanals 15. Auch hierbei bleibt die Kanalstruktur und insbesondere auch der Abstand zwischen Harmonischen von der Frequenzkompression unberührt. Es wird lediglich die Amplitude der Spektralanteile im komprimierten Bereich angepasst bzw. verändert.
  • Gemäß einer modifizierten Ausführungsform kann die Zerlegung des Eingangssignals in die spektrale Feinstruktur und die spektrale Einhüllende auch mithilfe einer LPC-Analyse (linear predictive coefficient) und Berechnen des Restsignals im Zeitbereich erfolgen. Damit ist zum Gewinnen der Einhüllenden keine Filterbank notwendig, wie dies für die Berechnung im Frequenzbereich erforderlich ist.
  • Erfindungsgemäß erfolgt also eine Zerlegung des Eingangssignals in eine spektrale Feinstruktur und eine spektrale Einhüllende (Spektralmodell) und die spektrale Einhüllende wird unabhängig von der spektralen Feinstruktur durch eine von dem Hörverlust abhängige Kompressionsregel komprimiert. Die spektrale Feinstruktur bleibt dabei erhalten. Folglich bleibt auch die harmonische Struktur eines tonalen Signals unberührt, sodass die beschriebenen Artefakte nicht auftreten bzw. reduziert werden. Eine Frequenzschätzung ist für dieses Verfahren nicht notwendig.

Claims (12)

  1. Verfahren zur Frequenzkompression eines Audiosignals bei einer Höreinrichtung, durch
    - Gewinnen einer Amplitudeninformation eines Quellkanals (14) von mehreren Frequenzkanälen (10) des Audiosignals,
    gekennzeichnet durch
    - Aufprägen einer Amplitude entsprechend der Amplitudeninformation auf ein Signal in einem Zielkanal (15) der mehreren Frequenzkanäle (10), auf den der Quellkanal (14) bei der Frequenzkompression abgebildet wird, wobei die Phase des Signals in dem Zielkanal beibehalten wird.
  2. Verfahren nach Anspruch 1, wobei die Amplitudeninformation eine Kanalstärke ist, welche ein Maß für die Signalleistung oder Signalstärke in dem entsprechenden Kanal darstellt.
  3. Verfahren nach Anspruch 1, wobei die Amplitudeninformation ein Spektralmodell (12) des Audiosignals ist, welches Amplitudenwerte einer spektralen Einhüllenden modellhaft wiedergibt, das Spektralmodell (12) zur Bildung eines komprimierten Spektralmodells der Frequenzkompression unterworfen wird und die dem Signal des Zielkanals (15) aufzuprägende Amplitude aus dem komprimierten Spektralmodell (12') ermittelt wird.
  4. Verfahren nach Anspruch 3, wobei die aufzuprägende Amplitude durch Abtasten des komprimierten Spektralmodells (12') gewonnen wird.
  5. Verfahren nach Anspruch 3, wobei die aufzuprägende Amplitude durch Integral- oder Summenbildung von Amplitudenwerten des komprimierten Spektralmodells (12') im Bereich des Zielkanals (15) gewonnen wird.
  6. Verfahren nach einem der Ansprüche 3 bis 5, wobei für jeden der Frequenzkanäle (10) mindestens eine Kanalamplitude und aus den Kanalamplituden das Spektralmodell (12) des Audiosignals gewonnen wird.
  7. Verfahren nach Anspruch 6, wobei das Spektralmodell (12) durch Interpolation der Kanalamplituden gewonnen wird.
  8. Verfahren nach Anspruch 6 oder 7, wobei das Spektralmodell (12) eine Polynomfunktion ist.
  9. Verfahren nach Anspruch 6, wobei das Spektralmodell (12) durch LPC-Analyse im Zeitbereich gewonnen wird.
  10. Vorrichtung zur Frequenzkompression eines Audiosignals für eine Höreinrichtung, umfassend
    - eine Schätzeinrichtung zum Gewinnen einer Amplitudeninformation eines Quellkanals (14) von mehreren Frequenzkanälen (10) des Audiosignals und
    gekennzeichnet durch
    - eine Verarbeitungseinrichtung zum Aufprägen einer Amplitude entsprechend der Amplitudeninformation auf ein Signal in einem Zielkanal (15) der mehreren Frequenzkanäle (10), auf den der Quellkanal (14) für die Frequenzkompression abzubilden ist, wobei die Verarbeitungseinrichtung dazu eingerichtet ist, die Phase des Signals in dem Zielkanal beizubehalten.
  11. Vorrichtung nach Anspruch 10, die eine Polyphasen-Filterbank aufweist, um das Audiosignal spektral zu zerlegen und hierdurch in mehreren Frequenzkanälen (10) bereitzustellen.
  12. Höreinrichtung mit einer Vorrichtung gemäß Anspruch 10 oder 11.
EP10763664.9A 2010-09-29 2010-09-29 Verfahren und vorrichtung zur frequenzkompression Active EP2622879B1 (de)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/EP2010/064480 WO2012041373A1 (de) 2010-09-29 2010-09-29 Verfahren und vorrichtung zur frequenzkompression

Publications (2)

Publication Number Publication Date
EP2622879A1 EP2622879A1 (de) 2013-08-07
EP2622879B1 true EP2622879B1 (de) 2015-11-11

Family

ID=44012481

Family Applications (1)

Application Number Title Priority Date Filing Date
EP10763664.9A Active EP2622879B1 (de) 2010-09-29 2010-09-29 Verfahren und vorrichtung zur frequenzkompression

Country Status (4)

Country Link
US (1) US8923538B2 (de)
EP (1) EP2622879B1 (de)
DK (1) DK2622879T3 (de)
WO (1) WO2012041373A1 (de)

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4051331A (en) 1976-03-29 1977-09-27 Brigham Young University Speech coding hearing aid system utilizing formant frequency transformation
US6577739B1 (en) 1997-09-19 2003-06-10 University Of Iowa Research Foundation Apparatus and methods for proportional audio compression and frequency shifting
CA2492091C (en) * 2002-07-12 2009-04-28 Widex A/S Hearing aid and a method for enhancing speech intelligibility
AU2004201374B2 (en) * 2004-04-01 2010-12-23 Phonak Ag Audio amplification apparatus
WO2006133431A2 (en) 2005-06-08 2006-12-14 The Regents Of The University Of California Methods, devices and systems using signal processing algorithms to improve speech intelligibility and listening comfort
KR100678770B1 (ko) * 2005-08-24 2007-02-02 한양대학교 산학협력단 궤환 신호 제거 기능을 구비한 보청기
US8000487B2 (en) 2008-03-06 2011-08-16 Starkey Laboratories, Inc. Frequency translation by high-frequency spectral envelope warping in hearing assistance devices

Also Published As

Publication number Publication date
WO2012041373A1 (de) 2012-04-05
EP2622879A1 (de) 2013-08-07
US8923538B2 (en) 2014-12-30
US20130188815A1 (en) 2013-07-25
DK2622879T3 (da) 2016-02-15

Similar Documents

Publication Publication Date Title
EP2437258B1 (de) Verfahren und Vorrichtung zur Frequenzkompression mit selektiver Frequenzverschiebung
DE102010026884B4 (de) Verfahren zum Betreiben einer Hörvorrichtung mit zweistufiger Transformation
EP2919485B1 (de) Übertragung eines windreduzierten Signals mit verminderter Latenzzeit
EP2229010B1 (de) Hörgerät und Verfahren zur Störschallkompensation bei einem Hörgerät
DE102008031150B3 (de) Verfahren zur Störgeräuschunterdrückung und zugehöriges Hörgerät
EP2620940A1 (de) Verfahren und Hörvorrichtung zum Schätzen eines Bestandteils der eigenen Stimme
EP3926982A2 (de) Verfahren zur richtungsabhängigen rauschunterdrückung für ein hörsystem, welches eine hörvorrichtung umfasst
EP2124335B1 (de) Verfahren zum Optimieren einer mehrstufigen Filterbank sowie entsprechende Filterbank und Hörvorrichtung
EP1912470B1 (de) Verfahren zur Dynamikkompression eines Audiosignals und entsprechende Hörvorrichtung
DE102008017550A1 (de) Mehrstufiges Schätzverfahren zur Störgeräuschreduktion und Hörvorrichtung
EP2584795B1 (de) Verfahren zum Ermitteln einer Kompressionskennlinie
EP2437521B2 (de) Verfahren zur Frequenzkompression mit harmonischer Korrektur und entsprechende Vorrichtung
DE102007008739A1 (de) Hörvorrichtung mit Störsignaltrennung und entsprechendes Verfahren
EP2622879B1 (de) Verfahren und vorrichtung zur frequenzkompression
EP1945000A1 (de) Verfahren zur Reduktion von Störleistungen und entsprechendes Akustiksystem
EP2190218B1 (de) Filterbanksystem mit spezifischen Sperrdämpfungsanteilen für eine Hörvorrichtung
DE102013207080B4 (de) Binaurale Mikrofonanpassung mittels der eigenen Stimme
DE102011006472B4 (de) Verfahren zur Verbesserung der Sprachverständlichkeit mit einem Hörhilfegerät sowie Hörhilfegerät
EP3048813B1 (de) Verfahren und vorrichtung zur rauschunterdrückung basierend auf inter-subband-korrelation
DE102011087692B4 (de) Hörvorrichtung und Verfahren zur Verbesserung der Wahrnehmbarkeit eines Anteils eines Eingangssignals für einen Benutzer der Hörvorrichtung
WO2012041372A1 (de) Verfahren zur frequenzkompression, anpasseinrichtung und hörvorrichtung
DE102009015564A1 (de) Verfahren zum Erzeugen eines direktionalen Signals und entsprechende Hörvorrichtung
DE102008064382A1 (de) Hörvorrichtung mit Transpositionsmöglichkeit und entsprechendes Verfahren
EP2699020A2 (de) Verfahren und Vorrichtung zum Bestimmen eines Verstärkungsfaktors eines Hörhilfegeräts

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20130320

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO SE SI SK SM TR

DAX Request for extension of the european patent (deleted)
GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

INTG Intention to grant announced

Effective date: 20150611

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO SE SI SK SM TR

RAP1 Party data changed (applicant data changed or rights of an application transferred)

Owner name: SIVANTOS PTE. LTD.

REG Reference to a national code

Ref country code: GB

Ref legal event code: FG4D

Free format text: NOT ENGLISH

REG Reference to a national code

Ref country code: CH

Ref legal event code: EP

REG Reference to a national code

Ref country code: IE

Ref legal event code: FG4D

Free format text: LANGUAGE OF EP DOCUMENT: GERMAN

REG Reference to a national code

Ref country code: AT

Ref legal event code: REF

Ref document number: 760970

Country of ref document: AT

Kind code of ref document: T

Effective date: 20151215

Ref country code: CH

Ref legal event code: NV

Representative=s name: E. BLUM AND CO. AG PATENT- UND MARKENANWAELTE , CH

REG Reference to a national code

Ref country code: DE

Ref legal event code: R096

Ref document number: 502010010654

Country of ref document: DE

REG Reference to a national code

Ref country code: DK

Ref legal event code: T3

Effective date: 20160209

REG Reference to a national code

Ref country code: LT

Ref legal event code: MG4D

REG Reference to a national code

Ref country code: NL

Ref legal event code: MP

Effective date: 20160211

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20151111

Ref country code: NL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20151111

Ref country code: HR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20151111

Ref country code: IS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160311

Ref country code: IT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20151111

Ref country code: NO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160211

Ref country code: ES

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20151111

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20151111

Ref country code: PL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20151111

Ref country code: FI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20151111

Ref country code: LV

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20151111

Ref country code: GR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160212

Ref country code: PT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160311

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CZ

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20151111

REG Reference to a national code

Ref country code: DE

Ref legal event code: R097

Ref document number: 502010010654

Country of ref document: DE

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20151111

Ref country code: EE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20151111

Ref country code: SM

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20151111

Ref country code: RO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20151111

PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 7

26N No opposition filed

Effective date: 20160812

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20151111

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: BE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20160930

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MC

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20151111

REG Reference to a national code

Ref country code: IE

Ref legal event code: MM4A

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20160929

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LU

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20160929

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 8

REG Reference to a national code

Ref country code: AT

Ref legal event code: MM01

Ref document number: 760970

Country of ref document: AT

Kind code of ref document: T

Effective date: 20160929

REG Reference to a national code

Ref country code: BE

Ref legal event code: MM

Effective date: 20160930

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: AT

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20160929

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: HU

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT; INVALID AB INITIO

Effective date: 20100929

Ref country code: CY

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20151111

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: TR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20151111

Ref country code: MK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20151111

Ref country code: MT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20151111

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: BG

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20151111

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 9

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: AL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20151111

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: CH

Payment date: 20231001

Year of fee payment: 14

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: DE

Payment date: 20240820

Year of fee payment: 15

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: DK

Payment date: 20240820

Year of fee payment: 15

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: GB

Payment date: 20240820

Year of fee payment: 15

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: FR

Payment date: 20240820

Year of fee payment: 15