EP2622879A1 - Verfahren und vorrichtung zur frequenzkompression - Google Patents

Verfahren und vorrichtung zur frequenzkompression

Info

Publication number
EP2622879A1
EP2622879A1 EP10763664.9A EP10763664A EP2622879A1 EP 2622879 A1 EP2622879 A1 EP 2622879A1 EP 10763664 A EP10763664 A EP 10763664A EP 2622879 A1 EP2622879 A1 EP 2622879A1
Authority
EP
European Patent Office
Prior art keywords
channel
amplitude
frequency
compression
audio signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
EP10763664.9A
Other languages
English (en)
French (fr)
Other versions
EP2622879B1 (de
Inventor
Ulrich Kornagel
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sivantos Pte Ltd
Original Assignee
Siemens Medical Instruments Pte Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens Medical Instruments Pte Ltd filed Critical Siemens Medical Instruments Pte Ltd
Publication of EP2622879A1 publication Critical patent/EP2622879A1/de
Application granted granted Critical
Publication of EP2622879B1 publication Critical patent/EP2622879B1/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; ELECTRIC HEARING AIDS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Electric hearing aids
    • H04R25/35—Electric hearing aids using translation techniques
    • H04R25/353—Frequency, e.g. frequency shift or compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; ELECTRIC HEARING AIDS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Electric hearing aids
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; ELECTRIC HEARING AIDS; PUBLIC ADDRESS SYSTEMS
    • H04R2225/00—Details of deaf aids covered by H04R25/00, not provided for in any of its subgroups
    • H04R2225/43—Signal processing in hearing aids to enhance the speech intelligibility

Definitions

  • the present invention relates to a process for Fre ⁇ quenzkompression an audio signal at a listening device. Moreover, the present invention relates to an ent ⁇ speaking device for frequency compression.
  • a hearing device is understood to mean any sound-emitting device which can be worn in or on the ear, in particular a hearing aid, a headset, headphones and the like.
  • Hearing aids are portable hearing aids that are used to care for the hearing impaired.
  • different types of hearing aids such as behind-the-ear hearing aids (BTE), hearing aid with external receiver (RIC: receiver in the canal) and in-the-ear hearing aids (IDO), e.g. Concha hearing aids or canal hearing aids (ITE, CIC).
  • BTE behind-the-ear hearing aids
  • RIC hearing aid with external receiver
  • IDO in-the-ear hearing aids
  • ITE canal hearing aids
  • the hearing aids listed by way of example are worn on the outer ear or in the ear canal.
  • bone conduction hearing aids, implantable or vibrotactile hearing aids are also available on the market. The stimulation of the damaged hearing takes place either mechanically or electrically.
  • Hearing aids have in principle as essential components an input transducer, an amplifier and an output transducer.
  • the input transducer is usually a sound receiver, z. As a microphone, and / or an electromagnetic receiver, for. B. an induction coil.
  • the output transducer is usually used as an electroacoustic transducer, z. As miniature speaker, or as an electromechanical transducer, z. B. bone conduction, realized.
  • the amplifier is usually integrated in a signal processing unit. This basic structure is shown in FIG. 1 using the example of a behind-the-ear hearing device. In a hearing aid housing 1 for carrying behind the ear, one or more microphones 2 for receiving the sound from the environment are installed.
  • a signal Processing unit 3 which is also integrated in the hearing aid housing 1, processes the microphone signals and ver ⁇ strengthens them.
  • the output signal of the signal processing unit 3 is transmitted to a loudspeaker or earpiece 4, which outputs an acoustic signal.
  • the sound is optionally transmitted via a sound tube, which is fixed with an earmold in the ear canal, to the eardrum of the equipment wearer ⁇ gene.
  • the power supply of the hearing aid and in particular the signal processing unit 3 is carried out by a likewise integrated into the hearing aid housing 1 battery. 5
  • Dead regions are frequency ranges in which spectral components can no longer be audibly amplified.
  • spectral components from a source frequency range which is typically at higher frequencies and in which no amplification is to be applied (eg "dead region"), are pushed into a lower-lying target frequency range gain
  • Known frequency compression can be applied usefully for example, function as follows. It is a compression requirement for an individual hearing loss tailored, wherein the Kompres ⁇ sion regulations define which source frequency is to be on which target frequency compressed or mapped the practical realization of this compression procedure carried out by a filter bank. . that is, the compression rule defi ned ⁇ which source channel of the filter bank to which the target channel mapped or compressed. the smallest element So this process is a channel. This means that the spectral components within a channel are not compressed.
  • the possible positions of the channels are defined by the structure of the filter bank and thus fixed (fixed filter bank grid).
  • a speech ⁇ sound is voiced sounds in front of a fundamental frequency and multiple harmonics, which are found at integer multiples of the fundamental frequency. This is called the fine structure of the signal.
  • the fine structure is responsible for the perception of the pitch of the speech sound.
  • the Ampli ⁇ amplitudes of the fundamental frequency and the harmonics define the color of the sound, and form the so-called spectral A ⁇ hüllende.
  • the spectral envelope of vowels shows a typical formant structure in each case.
  • the spektra ⁇ le envelope carries the essential information which allows the Un ⁇ terscheidung the different sounds (eg distinc- tion of vowels).
  • prior art frequency compression is accomplished by shifting source channels on a fixed filter bank grid.
  • the fixed filter bank raster is defined by the filter bank structure and not by the harmonic structure of the signal. Therefore, movement of source channels on the fixed filter bank grid to their destination channels in accordance with the compression rule destroys the harmonic structure.
  • the reason for this is that when you move the harmonic structure just be ⁇ is not taken into account. This means that the harmonics no longer inevitably occur at integer multiples of the fundamental frequency after compression. The destruction of the harmonic structure, however, leads to audible artifacts.
  • the object of the present invention is therefore to be able to better avoid artifacts in the frequency compression.
  • this object is achieved by a method for frequency compression of an audio signal in a listening device, by obtaining an amplitude information of a source channel of a plurality of frequency channels of the audio signal and impressing an amplitude corresponding to the Amplitudeninforma ⁇ tion to a signal in a target channel of the plurality of frequency channels, to which the source channel is mapped in the frequency compression.
  • the invention provides an on ⁇ direction of the frequency compression of an audio signal for a listening device, comprising an estimating means for obtaining an amplitude information of a source channel of a plurality of frequency channels of said audio signal and processing means for impressing an amplitude corresponding to the amplitude information to a signal in a target channel of the plurality of frequency channels to which the source channel for Fre ⁇ Compression compression is to map.
  • the amplitude information in a source channel of an audio signal is separated from the actual signal and used to impose a corresponding amplitude ei ⁇ nem signal in a target channel. Frequencies in the target channel are not affected thereby, whereby the har ⁇ monic structure of the audio signal can be maintained.
  • the amplitude information may be a mean channel amplitude. This is easy to win for one channel and can transmit as well with little effort to a target channel ⁇ to.
  • the amplitude information is a spectral model of the audio signal
  • the spectral model is subjected to the pression Frequenzkom- and the signal of the target channel
  • ⁇ formative amplitude is determined from the compressed spectral model.
  • the spectral model is ⁇ example, be the spectral envelope, resulting from the Ampiitu- the fundamental frequency and harmonic of a harmonic signal.
  • the spectral model thus represents a function that models the amplitude values over the frequency.
  • the réelle josgende amplitude for the target channel can be obtained by Ab ⁇ keys of the compressed spectral model.
  • the amplitude for a specific frequency is obtained from the compressed spectral model or the compressed spectral envelope.
  • the impressed to amplitude can be obtained alternatively by integral ⁇ or summation of values of the compressed spectral model within the range of the target channel.
  • a medium amplitude value for the target channel from the Spekt ⁇ ralmodell is determined.
  • the spectral model of the audio signal is obtained for each of the at least one channel Frequenzkanä ⁇ le amplitude and the channel amplitudes.
  • at least one value per frequency channel is provided for the spectral model.
  • the spectral model can be obtained by interpolation (spline).
  • the individual points are linear
  • the spectral model can also be a polynomial function.
  • the spectral model or the spectral envelope is simulated by an analytical function. From this in turn, amplitude values can be obtained without high computational effort.
  • the spectral model can also be obtained by an LPC analysis (li ⁇ near predictive coefficient) in the time domain. This can be dispensed with a filter bank.
  • the device for the frequency compression has a polyphase filter bank to deliver the audio signal in several frequency channels ⁇ ready. This makes it possible to generate only positive frequency components in the channels.
  • the device according to the invention is particularly advantageously used in a listening device and in particular in a hearing aid.
  • frequency compression in Hörgerä ⁇ teierin can be realized with fewer artifacts.
  • FIG. 1 shows the basic structure of a hearing aid according to the
  • FIG. 3 shows the spectral model of FIG. 2 after the compression
  • the main object of the present invention is to leave the spectral fine structure, in particular of a harmonic signal, untouched by subjecting only the amplitude information of a spectrum to compression.
  • a spectral envelope which represents a measure of the magnitude of the amplitude in the spectrum, is compressed.
  • the providedssig ⁇ nal is spectrally dispersed by means of a filter bank.
  • a corresponding calculated channel strength For each channel participating in the compression process, a corresponding calculated channel strength. Examples of channel strengths are the amplitude, the square of the amplitude or any other measure of the power or strength of the signal in the entspre ⁇ sponding channel.
  • the channel strengths can be interpreted as samples of the spectral envelopes that are to be compressed.
  • the channel strength represents an amplitude information in the sense of the present application.
  • the compression is achieved by shifting the channel strengths from the source channels to the destination channels according to a predetermined compression rule.
  • the original channel strengths of the destination channel (before compression) will be overwritten. That is, according to the present invention, the phase of an original signal (before compression) is maintained in the target channel. Only the channel strengths are modified. Thus, for example, after the filter bank, the envelope is impressed on the respective signals, and the phases are retained.
  • the compression rule according to the vorlie ⁇ constricting invention is similar to the compression provision of a compression system according to the prior art.
  • the sub ⁇ difference between the approach according to the prior art and the inventive approach is that only the channel strengths are shifted according to the inventive approach, while the complete channel signals are shifted in the approach according to the prior art. In the approach according to the invention, therefore, the spectral fine structure is retained. A harmonic remains a harmonic. If necessary, only its amplitude is varied.
  • the obtained spectral model (such as an envelope or envelope).
  • This spectral model is at ⁇ example by linear interpolation, quadratic Inter ⁇ polation, cubic interpolation or by analytical Mo- obtained using a polynomial function.
  • the spectral model or the envelope is compressed according to the compression rule ⁇ .
  • the compressed spectral model is used to calculate the strengths of the target channels.
  • the phases of the destination channels are not modified as in the first implementation variant described above.
  • FIG. 2 shows a spectral model of an input signal of a hearing device.
  • the channel strength (e.g., amplitude, power, etc.) is plotted for each of the frequency channels 10 over the frequency f.
  • the respective channel strength is symbolized by a point 11.
  • Neighboring points 11 are each by a
  • the spectral envelope 12 thus represents a spectral model of the input signal.
  • a high-frequency portion 13 of the entire spectrum is to be compressed.
  • the compression starts at a frequency f_cut_off.
  • the range to be compressed ranges from this frequency f_cut_off to the highest processed frequency channel.
  • the channels in the compression area 13 may be referred to as source channels 14 for frequency compression.
  • f_cut_off is the linearly interpolated curve of Figure 2 ent ⁇ speaking compresses the compression rule to significantly less frequency channels.
  • the structure of the envelope is Although in terms of the amplitude sequence, remained essentially he ⁇ hold, but the curve was compressed in the frequency direction. The highest frequency f_max 'after the compression is thus below the frequency f_max in the uncompressed case according to FIG. 2. However, this also means that a large number of source channels 14 are mapped onto fewer destination channels 15. The target channels 15 each have the same width as a source channel 14. The channel structure is therefore unaffected by the compression. From the compressed envelope 12 '(compressed spectral model), the channel strength can thus be determined for each target channel 15, as will be shown with reference to the examples of FIG. 4 and FIG.
  • the compressed envelope 12 ' is scanned. It can already be seen here that the sampled values are not necessarily at the break points of the compressed envelope 12 '. Thus, it is not the strength of a source channel 14 that maps exactly to the strength of a target channel 15. Rather, the value for the channel strength of the target channel is obtained directly from the sample, which results at the respective channel center of the compressed envelope 12 '.
  • the sampling may also be performed at a different frequency position within each destination channel 15. Thus, for example, the sampling can also take place at a channel boundary.
  • the value of a destination channel 15 is determined in another way. Namely, it is determined by averaging based on an integral or a sum of all values of the compressed envelope 12 'within each channel. The respective mean value 16 is then a measure of the strength of the target channel 15. Again, the channel structure and in particular the distance between harmonics of the frequency compression remains unaffected. The amplitude of the spectral components in komp ⁇ rim convinced range is only adjusted or changed. According to a modified embodiment, the decomposition of the input signal into the spectral fine structure and the spectral envelope can also be performed by means of an LPC (linear predictive coefficient) analysis and calculating the residual signal in the

Landscapes

  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurosurgery (AREA)
  • Otolaryngology (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Stereophonic System (AREA)

Abstract

Artefakte bei der Frequenzkompression eines Audiosignals bei einer Hörvorrichtung und insbesondere bei einem Hörgerät sollen reduziert werden. Daher wird ein Verfahren vorgeschlagen, bei dem eine Amplitudeninformation eines Quellkanals, z.B. eine spektrale Einhüllende, von mehreren Frequenzkanälen des Audiosignals gewonnen wird. Anschließend wird eine Amplitude entsprechend der Amplitudeninformation auf ein Signal in einem Zielkanal (15) der mehreren Frequenzkanäle, auf den der Quellkanal bei der Frequenzkompression abgebildet wird, aufgeprägt.

Description

Beschreibung
Verfahren und Vorrichtung zur Frequenzkompression Die vorliegende Erfindung betrifft ein Verfahren zur Fre¬ quenzkompression eines Audiosignals bei einer Höreinrichtung. Darüber hinaus betrifft die vorliegende Erfindung eine ent¬ sprechende Vorrichtung zur Frequenzkompression. Unter einer Höreinrichtung wird hier jedes im oder am Ohr tragbare, schallausgebende Gerät verstanden, insbesondere ein Hörgerät, ein Headset, Kopfhörer und dergleichen.
Hörgeräte sind tragbare Hörvorrichtungen, die zur Versorgung von Schwerhörenden dienen. Um den zahlreichen individuellen Bedürfnissen entgegenzukommen, werden unterschiedliche Bauformen von Hörgeräten wie Hinter-dem-Ohr-Hörgeräte (HdO) , Hörgerät mit externem Hörer (RIC: receiver in the canal) und In-dem-Ohr-Hörgeräte (IdO), z.B. auch Concha-Hörgeräte oder Kanal-Hörgeräte (ITE, CIC) , bereitgestellt. Die beispielhaft aufgeführten Hörgeräte werden am Außenohr oder im Gehörgang getragen. Darüber hinaus stehen auf dem Markt aber auch Knochenleitungshörhilfen, implantierbare oder vibrotaktile Hörhilfen zur Verfügung. Dabei erfolgt die Stimulation des geschädigten Gehörs entweder mechanisch oder elektrisch.
Hörgeräte besitzen prinzipiell als wesentliche Komponenten einen Eingangswandler, einen Verstärker und einen Ausgangswandler. Der Eingangswandler ist in der Regel ein Schallempfänger, z. B. ein Mikrofon, und/oder ein elektromagnetischer Empfänger, z. B. eine Induktionsspule. Der Ausgangswandler ist meist als elektroakustischer Wandler, z. B. Miniaturlautsprecher, oder als elektromechanischer Wandler, z. B. Knochenleitungshörer, realisiert. Der Verstärker ist üblicherweise in eine Signalverarbeitungseinheit integriert. Dieser prinzipielle Aufbau ist in FIG 1 am Beispiel eines Hinter- dem-Ohr-Hörgeräts dargestellt. In ein Hörgerätegehäuse 1 zum Tragen hinter dem Ohr sind ein oder mehrere Mikrofone 2 zur Aufnahme des Schalls aus der Umgebung eingebaut. Eine Signal- Verarbeitungseinheit 3, die ebenfalls in das Hörgerätegehäuse 1 integriert ist, verarbeitet die Mikrofonsignale und ver¬ stärkt sie. Das Ausgangssignal der Signalverarbeitungseinheit 3 wird an einen Lautsprecher bzw. Hörer 4 übertragen, der ein akustisches Signal ausgibt. Der Schall wird gegebenenfalls über einen Schallschlauch, der mit einer Otoplastik im Gehörgang fixiert ist, zum Trommelfell des Geräteträgers übertra¬ gen. Die Energieversorgung des Hörgeräts und insbesondere die der Signalverarbeitungseinheit 3 erfolgt durch eine ebenfalls ins Hörgerätegehäuse 1 integrierte Batterie 5.
Viele Hörverluste können mithilfe einer frequenzabhängigen Verstärkung in Kombination mit einer dynamischen Kompression kompensiert werden. Es gibt jedoch auch Hörverluste, bei de- nen eine Verstärkung keinen Effekt hat bzw. nachteilig ist.
Ein Beispiel hierfür sind Hörverluste mit so genannten „toten Regionen". „Tote Regionen" sind Frequenzbereiche, in denen Spektralanteile nicht mehr durch Verstärkung hörbar gemacht werden können.
Eine mögliche Technik, um mit obigem Problem umzugehen, ist die Frequenzkompression. Hierbei werden Spektralanteile aus einem Quellfrequenzbereich, der typischerweise bei höheren Frequenzen liegt und in dem keine Verstärkung angewendet wer- den soll (z.B. „tote Region"), in einen tieferliegenden Zielfrequenzbereich geschoben. In diesem Zielfrequenzbereich ist in der Regel Hörbarkeit prinzipiell gewährleistet, weswegen eine Verstärkung nutzbringend appliziert werden kann. Bekannte Frequenzkompressionen funktionieren beispielsweise folgendermaßen: Es wird eine Kompressionsvorschrift für einen individuellen Hörverlust maßgeschneidert, wobei die Kompres¬ sionsvorschrift definiert, welche Quellfrequenz auf welche Zielfrequenz komprimiert bzw. abgebildet werden soll. Die praktische Realisierung dieser Kompressionsvorschrift erfolgt durch eine Filterbank. D.h. die Kompressionsvorschrift defi¬ niert, welcher Quellkanal der Filterbank auf welchen Zielkanal abgebildet bzw. komprimiert wird. Das kleinste Element dieses Verfahrens ist also ein Kanal. Dies bedeutet, dass die spektralen Komponenten innerhalb eines Kanals nicht komprimiert werden. Darüber hinaus sind die möglichen Positionen der Kanäle durch die Struktur der Filterbank definiert und somit fest vorgegeben (festes Filterbankraster) .
Das geschilderte Verfahren zur Frequenzkompression ist jedoch insbesondere für Sprachschall ungeeignet. Bei einem Sprach¬ schall liegt bei stimmhaften Lauten eine Grundfrequenz und mehrere Harmonische vor, die bei ganzzahligen Vielfachen der Grundfrequenz anzutreffen sind. Dies wird als Feinstruktur des Signals bezeichnet. Die Feinstruktur ist verantwortlich für die Wahrnehmung der Tonhöhe des Sprachschalls. Die Ampli¬ tuden der Grundfrequenz und der Harmonischen definieren die Farbe des Schalls und bilden die so genannte spektrale Ein¬ hüllende. Beispielsweise zeigt die spektrale Einhüllende von Vokalen eine jeweils typische Formantenstruktur. Die spektra¬ le Einhüllende trägt die wesentliche Information, die die Un¬ terscheidung der unterschiedlichen Laute ermöglicht (z.B. Un- terscheidung der Vokale) .
Wie oben beschrieben wurde, wird die Frequenzkompression nach dem Stand der Technik durch Verschieben von Quellkanälen auf einem festen Filterbankraster erreicht. Das feste Filterbank- raster ist durch die Filterbankstruktur definiert und nicht durch die harmonische Struktur des Signals. Daher zerstört eine Bewegung von Quellkanälen auf dem festen Filterbankraster zu ihren Zielkanälen entsprechend der Kompressionsvorschrift die harmonische Struktur. Der Grund hierfür ist, dass bei dem Verschieben die harmonische Struktur eben nicht be¬ rücksichtigt wird. D.h. die Harmonischen treten nach der Kompression nicht mehr zwangsläufig bei ganzzahligen Vielfachen der Grundfrequenz auf. Die Zerstörung der harmonischen Struktur führt jedoch zur hörbaren Artefakten.
Die Aufgabe der vorliegenden Erfindung besteht somit darin, Artefakte bei der Frequenzkompression besser vermeiden zu können . Erfindungsgemäß wird diese Aufgabe gelöst durch ein Verfahren zur Frequenzkompression eines Audiosignals bei einer Höreinrichtung, durch Gewinnen einer Amplitudeninformation eines Quellkanals von mehreren Frequenzkanälen des Audiosignals und Aufprägen einer Amplitude entsprechend der Amplitudeninforma¬ tion auf ein Signal in einem Zielkanal der mehreren Frequenzkanäle, auf den der Quellkanal bei der Frequenzkompression abgebildet wird.
Darüber hinaus wird erfindungsgemäß bereitgestellt eine Vor¬ richtung zur Frequenzkompression eines Audiosignals für eine Höreinrichtung, umfassend eine Schätzeinrichtung zum Gewinnen einer Amplitudeninformation eines Quellkanals von mehreren Frequenzkanälen des Audiosignals und eine Verarbeitungseinrichtung zum Aufprägen einer Amplitude entsprechend der Amplitudeninformation auf ein Signal in einem Zielkanal der mehreren Frequenzkanäle, auf den der Quellkanal für die Fre¬ quenzkompression abzubilden ist.
In vorteilhafter Weise wird die Amplitudeninformation in einem Quellkanal eines Audiosignals von dem eigentlichen Signal abgetrennt und dazu genutzt, eine entsprechende Amplitude ei¬ nem Signal in einem Zielkanal aufzuprägen. Frequenzen im Zielkanal werden dadurch nicht beeinflusst, wodurch die har¬ monische Struktur des Audiosignals erhalten bleiben kann.
Die Amplitudeninformation kann eine mittlere Kanalamplitude sein. Diese ist für einen Kanal leicht zu gewinnen und kann ebenso mit wenig Aufwand auf einen Zielkanal übertragen wer¬ den .
Vorzugsweise ist die Amplitudeninformation ein Spektralmodell des Audiosignals, das Spektralmodell wird der Frequenzkom- pression unterworfen und die dem Signal des Zielkanals aufzu¬ prägende Amplitude wird aus dem komprimierten Spektralmodell ermittelt. Bei dem Spektralmodell handelt es sich beispiels¬ weise um die spektrale Einhüllende, die sich aus den Ampiitu- den der Grundfrequenz und der Harmonischen eines harmonischen Signals ergibt. Das Spektralmodell stellt also eine Funktion dar, die die Amplitudenwerte über der Frequenz modellhaft wiedergibt .
Die aufzuprägende Amplitude für den Zielkanal kann durch Ab¬ tasten des komprimierten Spektralmodells gewonnen werden. Es wird also die Amplitude für eine bestimmte Frequenz aus dem komprimierten Spektralmodell bzw. der komprimierten spektra- len Einhüllenden gewonnen.
Die aufzuprägende Amplitude kann alternativ durch Integral¬ oder Summenbildung von Werten des komprimierten Spektralmodells im Bereich des Zielkanals gewonnen werden. Dadurch wird ein mittlerer Amplitudenwert für den Zielkanal aus dem Spekt¬ ralmodell ermittelt.
In einem Ausführungsbeispiel wird für jeden der Frequenzkanä¬ le mindestens eine Kanalamplitude und aus den Kanalamplituden das Spektralmodell des Audiosignals gewonnen. Es wird somit für das Spektralmodell mindestens ein Wert pro Frequenzkanal bereitgestellt .
Das Spektralmodell kann durch Interpolation gewonnen werden (Spline) . Dabei werden die einzelnen Punkte durch lineare
Funktionen, quadratische Funktionen, kubische Funktionen und dergleichen miteinander verbunden. Das Spektralmodell kann aber auch eine Polynomfunktion sein. Dabei wird das Spektralmodell bzw. die spektrale Einhüllende durch eine analytische Funktion nachgebildet. Aus dieser wiederum sind Amplitudenwerte ohne hohen Rechenaufwand zu gewinnen.
Das Spektralmodell kann aber auch durch eine LPC-Analyse (li¬ near predictive coefficient) im Zeitbereich gewonnen werden. Dadurch kann auf eine Filterbank verzichtet werden.
Wird das Spektralmodell aber beispielsweise durch eine Inter¬ polation gewonnen, so ist es günstig, wenn die Vorrichtung für die Frequenzkompression eine Polyphasen-Filterbank aufweist, um das Audiosignal in mehreren Frequenzkanälen bereit¬ zustellen. Damit ist es möglich, in den Kanälen nur positive Frequenzanteile zu erzeugen.
Besonders vorteilhaft wird die erfindungsgemäße Vorrichtung in einer Höreinrichtung und insbesondere in einem Hörgerät eingesetzt. Damit kann eine Frequenzkompression bei Hörgerä¬ teträgern mit weniger Artefakten realisiert werden.
Die vorliegende Erfindung wird nun anhand der beigefügten Zeichnungen näher erläutert, in denen zeigen:
FIG 1 den prinzipiellen Aufbau eines Hörgeräts gemäß dem
Stand der Technik;
FIG 2 ein Spektralmodell eines Audiosignals vor einer
Kompression;
FIG 3 das Spektralmodell von FIG 2 nach der Kompression;
FIG 4 ein harmonisches Signal mit den Amplituden des
komprimierten Spektralmodells; und
FIG 5 ein harmonisches Signal, bei dem die Amplituden
durch Integralbildung gewonnen werden.
Die nachfolgend näher geschilderten Ausführungsbeispiele stellen bevorzugte Ausführungsformen der vorliegenden Erfin dung dar.
Das Hauptziel der vorliegenden Erfindung besteht darin, die spektrale Feinstruktur insbesondere eines harmonischen Sig- nals unberührt zu lassen, indem nur die Amplitudeninformation eines Spektrums einer Kompression unterworfen wird. Insbesondere wird beispielsweise nur die spektrale Einhüllende, die ein Maß für die Höhe der Amplitude im Spektrum darstellt, komprimiert .
Bei einer ersten Realisierungsvariante wird das Eingangssig¬ nal durch eine Filterbank spektral zerlegt. Für jeden Kanal, der an dem Kompressionsprozess teilnimmt, wird eine entspre- chende Kanalstärke berechnet. Beispiele für Kanalstärken sind die Amplitude, das Amplitudenquadrat oder irgendein anderes Maß für die Leistung oder Stärke des Signals in dem entspre¬ chenden Kanal. Die Kanalstärken können als Abtastwerte der spektralen Einhüllenden interpretiert werden, die komprimiert werden sollen. Die Kanalstärke stellt hier eine Amplitudeninformation im Sinne der vorliegenden Anmeldung dar.
Die Kompression wird durch Verschieben der Kanalstärken von den Quellkanälen zu den Zielkanälen gemäß einer vorgegebenen Kompressionsvorschrift erreicht. Die Originalkanalstärken des Zielkanals (vor der Kompression) werden überschrieben. Dies bedeutet, dass entsprechend der vorliegenden Erfindung die Phase eines Originalsignals (vor der Kompression) in dem Zielkanal beibehalten wird. Nur die Kanalstärken werden modifiziert. So ist dann beispielsweise nach der Filterbank die Einhüllende auf die jeweiligen Signale aufgeprägt, und die Phasen bleiben erhalten. Prinzipiell ist die Kompressionsvorschrift gemäß der vorlie¬ genden Erfindung ähnlich wie die Kompressionsvorschrift eines Kompressionssystems gemäß dem Stand der Technik. Der Unter¬ schied zwischen dem Ansatz gemäß dem Stand der Technik und dem erfindungsgemäßen Ansatz besteht darin, dass entsprechend dem erfindungsgemäßen Ansatz nur die Kanalstärken verschoben werden, während bei dem Ansatz gemäß dem Stand der Technik die kompletten Kanalsignale verschoben werden. Bei dem erfindungsgemäßen Ansatz bleibt also die spektrale Feinstruktur erhalten. Eine Harmonische bleibt eine Harmonische. Gegebe- nenfalls wird nur ihre Amplitude variiert.
Bei einer zweiten Realisierungsvariante wird das Eingangssig¬ nal mithilfe einer Filterbank spektral zerlegt. Die Kanal¬ stärken aller Kanäle, die komprimiert werden sollen, werden verwendet, um ein Spektralmodell (z.B. eine Hüllkurve bzw. Einhüllende) zu gewinnen. Dieses Spektralmodell wird bei¬ spielsweise durch lineare Interpolation, quadratische Inter¬ polation, kubische Interpolation oder durch analytisches Mo- dellieren mithilfe einer Polynomfunktion gewonnen. Das Spektralmodell bzw. die Einhüllende wird gemäß der Kompressions¬ vorschrift komprimiert. Schließlich wird das komprimierte Spektralmodell benutzt, um die Stärken der Zielkanäle zu be- rechnen. Die Phasen der Zielkanäle werden nicht modifiziert wie bei der oben beschriebenen, ersten Realisierungsvariante.
Im Anschluss werden konkrete Ausführungsbeispiele im Detail wiedergegeben .
FIG 2 zeigt ein Spektralmodell eines Eingangssignals eines Hörgeräts. Die Kanalstärke (z.B. Amplitude, Leistung etc.) ist für jeden der Frequenzkanäle 10 über der Frequenz f aufgetragen. Die jeweilige Kanalstärke ist durch einen Punkt 11 symbolisiert. Benachbarte Punkte 11 sind jeweils durch eine
Gerade miteinander verbunden. Es entsteht dadurch eine spektrale Einhüllende 12 durch lineare Spline-Interpolation . Die spektrale Einhüllende 12 stellt also ein Spektralmodell des Eingangssignals dar.
Aufgrund einer hörgeräteinternen Kompressionsvorschrift soll ein hochfrequenter Anteil 13 des gesamten Spektrums komprimiert werden. Die Kompression beginnt bei einer Frequenz f_cut_off. Der zu komprimierende Bereich reicht von dieser Frequenz f_cut_off bis zum höchsten verarbeiteten Frequenzkanal. Die Kanäle in dem Kompressionsbereich 13 können als Quellkanäle 14 für die Frequenzkompression bezeichnet werden.
Alle Frequenzen oberhalb der Frequenz f_cut_off werden also gemäß der gleichen, vom Hörverlust abhängigen Kompressions¬ vorschrift komprimiert. Bei dieser Kompression wird die ur¬ sprüngliche Einhüllende 12 zu der komprimierten Einhüllenden 12' gemäß FIG 3 komprimiert. In einem Frequenzbereich unterhalb der Frequenz f_cut_off stimmen die beiden Einhüllenden 12 und 12' miteinander überein. Oberhalb der Frequenz
f_cut_off ist die linear interpolierte Kurve von FIG 2 ent¬ sprechend der Kompressionsvorschrift auf deutlich weniger Frequenzkanäle komprimiert. Die Struktur der Einhüllenden ist zwar, was die Amplitudenfolge betrifft, im Wesentlichen er¬ halten geblieben, aber die Kurve wurde in Frequenzrichtung gestaucht. Die höchste Frequenz f_max' nach der Kompression liegt also unter der Frequenz f_max im unkomprimierten Fall gemäß FIG 2. Dies bedeutet aber auch, dass eine Vielzahl von Quellkanälen 14 auf weniger Zielkanäle 15 abgebildet werden. Die Zielkanäle 15 besitzen jeweils die gleiche Breite wie ein Quellkanal 14. Die Kanalstruktur ist also von der Kompression unberührt. Aus der komprimierten Einhüllenden 12' (kompri- miertes Spektralmodell) lässt sich somit für jeden Zielkanal 15 die Kanalstärke ermitteln, wie dies anhand der Beispiele von FIG 4 und FIG 5 gezeigt werden wird.
FIG 4 zeigt einen Ausschnitt der Zielkanäle 15 von FIG 3. In der Mitte zwischen den Kanalgrenzen jedes Zielkanals 15 wird die komprimierte Einhüllende 12' abgetastet. Es ist bereits hier zu erkennen, dass die Abtastwerte nicht zwangsläufig auf den Knickpunkten der komprimierten Einhüllenden 12' liegen. Es wird hier also nicht die Stärke eines Quellkanals 14 exakt auf die Stärke eines Zielkanals 15 abgebildet. Vielmehr wird der Wert für die Kanalstärke des Zielkanals unmittelbar aus dem Abtastwert gewonnen, der sich an der jeweiligen Kanalmitte von der komprimierten Einhüllenden 12' ergibt. Gemäß einem anderen Ausführungsbeispiel kann das Abtasten aber auch an einer anderen Frequenzposition innerhalb jedes Zielkanals 15 erfolgen. So kann beispielsweise das Abtasten auch an einer Kanalgrenze erfolgen.
Entsprechend dem Beispiel von FIG 5 wird der Wert eines Ziel- kanals 15 auf andere Weise ermittelt. Er wird nämlich durch Mittelwertbildung auf der Basis eines Integrals oder einer Summe aller Werte der komprimierten Einhüllenden 12' innerhalb jedes Kanals ermittelt. Der jeweilige Mittelwert 16 ist dann ein Maß für die Stärke des Zielkanals 15. Auch hierbei bleibt die Kanalstruktur und insbesondere auch der Abstand zwischen Harmonischen von der Frequenzkompression unberührt. Es wird lediglich die Amplitude der Spektralanteile im komp¬ rimierten Bereich angepasst bzw. verändert. Gemäß einer modifizierten Ausführungsform kann die Zerlegung des Eingangssignals in die spektrale Feinstruktur und die spektrale Einhüllende auch mithilfe einer LPC-Analyse (linear predictive coefficient) und Berechnen des Restsignals im
Zeitbereich erfolgen. Damit ist zum Gewinnen der Einhüllenden keine Filterbank notwendig, wie dies für die Berechnung im Frequenzbereich erforderlich ist. Erfindungsgemäß erfolgt also eine Zerlegung des Eingangssig¬ nals in eine spektrale Feinstruktur und eine spektrale Ein¬ hüllende (Spektralmodell) und die spektrale Einhüllende wird unabhängig von der spektralen Feinstruktur durch eine von dem Hörverlust abhängige Kompressionsregel komprimiert. Die spektrale Feinstruktur bleibt dabei erhalten. Folglich bleibt auch die harmonische Struktur eines tonalen Signals unbe¬ rührt, sodass die beschriebenen Artefakte nicht auftreten bzw. reduziert werden. Eine Frequenzschätzung ist für dieses Verfahren nicht notwendig.

Claims

Patentansprüche
1. Verfahren zur Frequenzkompression eines Audiosignals bei einer Höreinrichtung,
gekennzeichnet durch
Gewinnen einer Amplitudeninformation eines Quellkanals (14) von mehreren Frequenzkanälen (10) des Audiosignals und
Aufprägen einer Amplitude entsprechend der Amplitudenin- formation auf ein Signal in einem Zielkanal (15) der mehreren Frequenzkanäle (10), auf den der Quellkanal (14) bei der Frequenzkompression abgebildet wird.
2. Verfahren nach Anspruch 1, wobei die Amplitudeninformation eine mittlere Kanalamplitude ist.
3. Verfahren nach Anspruch 1, wobei die Amplitudeninformation ein Spektralmodell (12) des Audiosignals ist, das Spektralmo¬ dell (12) der Frequenzkompression unterworfen wird und die dem Signal des Zielkanals (15) aufzuprägende Amplitude aus dem komprimierten Spektralmodell (12') ermittelt wird.
4. Verfahren nach Anspruch 3, wobei die aufzuprägende Amplitude durch Abtasten des komprimierten Spektralmodells (12') gewonnen wird.
5. Verfahren nach Anspruch 3, wobei die aufzuprägende Amplitude durch Integral- oder Summenbildung von Werten des komprimierten Spektralmodells (12') im Bereich des Zielkanals (15) gewonnen wird.
6. Verfahren nach einem der Ansprüche 3 bis 5, wobei für je¬ den der Frequenzkanäle (10) mindestens eine Kanalamplitude und aus den Kanalamplituden das Spektralmodell (12) des Au- diosignals gewonnen wird.
7. Verfahren nach Anspruch 6, wobei das Spektralmodell (12) durch Interpolation gewonnen wird.
8. Verfahren nach Anspruch 6 oder 7, wobei das Spektralmodell (12) eine Polynomfunktion ist.
9. Verfahren nach Anspruch 6, wobei das Spektralmodell (12) durch LPC-Analyse im Zeitbereich gewonnen wird.
10. Vorrichtung zur Frequenzkompression eines Audiosignals für eine Höreinrichtung, gekennzeichnet durch
- eine Schätzeinrichtung zum Gewinnen einer Amplitudeninformation eines Quellkanals (14) von mehreren Frequenzkanälen (10) des Audiosignals und
eine Verarbeitungseinrichtung zum Aufprägen einer Amplitude entsprechend der Amplitudeninformation auf ein Signal in einem Zielkanal (15) der mehreren Frequenzkanäle (10), auf den der Quellkanal (14) für die Frequenzkompression abzubilden ist.
11. Vorrichtung nach Anspruch 10, die eine Polyphasen- Filterbank aufweist, um das Audiosignal in mehreren Frequenzkanälen (10) bereitzustellen.
12. Höreinrichtung mit einer Vorrichtung gemäß Anspruch 10 oder 11.
EP10763664.9A 2010-09-29 2010-09-29 Verfahren und vorrichtung zur frequenzkompression Active EP2622879B1 (de)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/EP2010/064480 WO2012041373A1 (de) 2010-09-29 2010-09-29 Verfahren und vorrichtung zur frequenzkompression

Publications (2)

Publication Number Publication Date
EP2622879A1 true EP2622879A1 (de) 2013-08-07
EP2622879B1 EP2622879B1 (de) 2015-11-11

Family

ID=44012481

Family Applications (1)

Application Number Title Priority Date Filing Date
EP10763664.9A Active EP2622879B1 (de) 2010-09-29 2010-09-29 Verfahren und vorrichtung zur frequenzkompression

Country Status (4)

Country Link
US (1) US8923538B2 (de)
EP (1) EP2622879B1 (de)
DK (1) DK2622879T3 (de)
WO (1) WO2012041373A1 (de)

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4051331A (en) 1976-03-29 1977-09-27 Brigham Young University Speech coding hearing aid system utilizing formant frequency transformation
US6577739B1 (en) 1997-09-19 2003-06-10 University Of Iowa Research Foundation Apparatus and methods for proportional audio compression and frequency shifting
DK1522206T3 (da) * 2002-07-12 2007-11-05 Widex As Höreapparat og en fremgangmsåde til at forbedre taleforståelighed
AU2004201374B2 (en) * 2004-04-01 2010-12-23 Phonak Ag Audio amplification apparatus
WO2006133431A2 (en) 2005-06-08 2006-12-14 The Regents Of The University Of California Methods, devices and systems using signal processing algorithms to improve speech intelligibility and listening comfort
KR100678770B1 (ko) * 2005-08-24 2007-02-02 한양대학교 산학협력단 궤환 신호 제거 기능을 구비한 보청기
US8000487B2 (en) * 2008-03-06 2011-08-16 Starkey Laboratories, Inc. Frequency translation by high-frequency spectral envelope warping in hearing assistance devices

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See references of WO2012041373A1 *

Also Published As

Publication number Publication date
US8923538B2 (en) 2014-12-30
WO2012041373A1 (de) 2012-04-05
EP2622879B1 (de) 2015-11-11
DK2622879T3 (da) 2016-02-15
US20130188815A1 (en) 2013-07-25

Similar Documents

Publication Publication Date Title
DE102010026884B4 (de) Verfahren zum Betreiben einer Hörvorrichtung mit zweistufiger Transformation
EP2919485B1 (de) Übertragung eines windreduzierten Signals mit verminderter Latenzzeit
EP2437258B1 (de) Verfahren und Vorrichtung zur Frequenzkompression mit selektiver Frequenzverschiebung
EP2114089A1 (de) Verfahren und Vorrichtung zur Bestimmung eines Verschlussgrads bei Hörgeräten
EP3926982B1 (de) Verfahren zur richtungsabhängigen rauschunterdrückung für ein hörsystem, welches eine hörvorrichtung umfasst
DE202019107201U1 (de) Binaurales Hörgerät für eine verbesserte räumliche Hörwahrnehmung
EP2172062B1 (de) Verfahren zum anpassen eines hörgeräts mit hilfe eines perzeptiven modells
EP2811762B1 (de) Logik-basiertes binaurales Beam-Formungssystem
EP2981099B1 (de) Verfahren und vorrichtung zur rückkopplungsunterdrückung
DE102008017550A1 (de) Mehrstufiges Schätzverfahren zur Störgeräuschreduktion und Hörvorrichtung
EP1912470B1 (de) Verfahren zur Dynamikkompression eines Audiosignals und entsprechende Hörvorrichtung
EP2822300B1 (de) Erkennen von Hörsituationen mit unterschiedlichen Signalquellen
EP2584795B1 (de) Verfahren zum Ermitteln einer Kompressionskennlinie
EP2437521B2 (de) Verfahren zur Frequenzkompression mit harmonischer Korrektur und entsprechende Vorrichtung
DE102013207080B4 (de) Binaurale Mikrofonanpassung mittels der eigenen Stimme
DE102010041775B4 (de) Verfahren zum Anpassen einer Hörvorrichtung mit Perzentilanalyse und Anpassvorrichtung
EP2622879B1 (de) Verfahren und vorrichtung zur frequenzkompression
EP2635048A2 (de) Verstärken eines Sprachsignals in Abhängigkeit vom Eingangspegel
EP2190218B1 (de) Filterbanksystem mit spezifischen Sperrdämpfungsanteilen für eine Hörvorrichtung
WO2012041372A1 (de) Verfahren zur frequenzkompression, anpasseinrichtung und hörvorrichtung
EP4404591A1 (de) Binaurales hörsystem mit zwei hörinstrumenten sowie verfahren zum betrieb eines solchen hörsystems
DE102011089865A1 (de) Verfahren zum Anpassen einer Frequenzkompressionseinrichtung einer Hörvorrichtung und entsprechende Anpassungsvorrichtung
DE102011087692A1 (de) Hörvorrichtung und Verfahren zur Verbesserung der Wahrnehmbarkeit eines Anteils eines Eingangssignals für einen Benutzer der Hörvorrichtung

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20130320

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO SE SI SK SM TR

DAX Request for extension of the european patent (deleted)
GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

INTG Intention to grant announced

Effective date: 20150611

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO SE SI SK SM TR

RAP1 Party data changed (applicant data changed or rights of an application transferred)

Owner name: SIVANTOS PTE. LTD.

REG Reference to a national code

Ref country code: GB

Ref legal event code: FG4D

Free format text: NOT ENGLISH

REG Reference to a national code

Ref country code: CH

Ref legal event code: EP

REG Reference to a national code

Ref country code: IE

Ref legal event code: FG4D

Free format text: LANGUAGE OF EP DOCUMENT: GERMAN

REG Reference to a national code

Ref country code: AT

Ref legal event code: REF

Ref document number: 760970

Country of ref document: AT

Kind code of ref document: T

Effective date: 20151215

Ref country code: CH

Ref legal event code: NV

Representative=s name: E. BLUM AND CO. AG PATENT- UND MARKENANWAELTE , CH

REG Reference to a national code

Ref country code: DE

Ref legal event code: R096

Ref document number: 502010010654

Country of ref document: DE

REG Reference to a national code

Ref country code: DK

Ref legal event code: T3

Effective date: 20160209

REG Reference to a national code

Ref country code: LT

Ref legal event code: MG4D

REG Reference to a national code

Ref country code: NL

Ref legal event code: MP

Effective date: 20160211

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20151111

Ref country code: NL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20151111

Ref country code: HR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20151111

Ref country code: IS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160311

Ref country code: IT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20151111

Ref country code: NO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160211

Ref country code: ES

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20151111

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20151111

Ref country code: PL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20151111

Ref country code: FI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20151111

Ref country code: LV

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20151111

Ref country code: GR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160212

Ref country code: PT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160311

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CZ

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20151111

REG Reference to a national code

Ref country code: DE

Ref legal event code: R097

Ref document number: 502010010654

Country of ref document: DE

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20151111

Ref country code: EE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20151111

Ref country code: SM

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20151111

Ref country code: RO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20151111

PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 7

26N No opposition filed

Effective date: 20160812

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20151111

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: BE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20160930

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MC

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20151111

REG Reference to a national code

Ref country code: IE

Ref legal event code: MM4A

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20160929

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LU

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20160929

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 8

REG Reference to a national code

Ref country code: AT

Ref legal event code: MM01

Ref document number: 760970

Country of ref document: AT

Kind code of ref document: T

Effective date: 20160929

REG Reference to a national code

Ref country code: BE

Ref legal event code: MM

Effective date: 20160930

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: AT

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20160929

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: HU

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT; INVALID AB INITIO

Effective date: 20100929

Ref country code: CY

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20151111

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: TR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20151111

Ref country code: MK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20151111

Ref country code: MT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20151111

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: BG

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20151111

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 9

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: AL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20151111

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: GB

Payment date: 20240820

Year of fee payment: 15

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: FR

Payment date: 20240820

Year of fee payment: 15

REG Reference to a national code

Ref country code: CH

Ref legal event code: U11

Free format text: ST27 STATUS EVENT CODE: U-0-0-U10-U11 (AS PROVIDED BY THE NATIONAL OFFICE)

Effective date: 20251001

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: DE

Payment date: 20250820

Year of fee payment: 16

Ref country code: DK

Payment date: 20250820

Year of fee payment: 16

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: CH

Payment date: 20251001

Year of fee payment: 16