EP0535425B1 - Verfahren zur Verstärkung von akustischen Signalen für Hörbehinderte, sowie Vorrichtung zur Durchführung des Verfahrens - Google Patents

Verfahren zur Verstärkung von akustischen Signalen für Hörbehinderte, sowie Vorrichtung zur Durchführung des Verfahrens Download PDF

Info

Publication number
EP0535425B1
EP0535425B1 EP92115626A EP92115626A EP0535425B1 EP 0535425 B1 EP0535425 B1 EP 0535425B1 EP 92115626 A EP92115626 A EP 92115626A EP 92115626 A EP92115626 A EP 92115626A EP 0535425 B1 EP0535425 B1 EP 0535425B1
Authority
EP
European Patent Office
Prior art keywords
stage
frequency
spectrum
hearing
energy
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
EP92115626A
Other languages
English (en)
French (fr)
Other versions
EP0535425A2 (de
EP0535425A3 (en
Inventor
Thomas Fröhlich
Norbert Dr. Dillier
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bernafon AG
Original Assignee
Ascom Audiosys AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ascom Audiosys AG filed Critical Ascom Audiosys AG
Publication of EP0535425A2 publication Critical patent/EP0535425A2/de
Publication of EP0535425A3 publication Critical patent/EP0535425A3/de
Application granted granted Critical
Publication of EP0535425B1 publication Critical patent/EP0535425B1/de
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/50Customised settings for obtaining desired overall acoustical characteristics
    • H04R25/505Customised settings for obtaining desired overall acoustical characteristics using digital signal processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2225/00Details of deaf aids covered by H04R25/00, not provided for in any of its subgroups
    • H04R2225/43Signal processing in hearing aids to enhance the speech intelligibility
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/35Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception using translation techniques
    • H04R25/353Frequency, e.g. frequency shift or compression

Definitions

  • the present invention relates to a method for amplifying acoustic signals for the hearing impaired by transforming signals that are not audible for the hearing impaired into the audible range, the hearing loss being determined in the hearing impaired person and this hearing loss being used to determine the necessary amplification, for which purpose the acoustic
  • the signal is digitized and transformed block by block from the time domain into the frequency domain and the resulting short-term spectrum is used to estimate the loudness, as well as a device for carrying out this method, with an amplifier stage for amplifying the acoustic signals and for determining the amplifier factors of the amplifier stage, in which one
  • the hearing loss is calculated for different frequencies as a function of the sound level, an input stage for the acoustic signal, in which the signals are filtered and digitized, which r the input stage is followed by a block formation stage for multiplying the digitized signal by a window function and the block formation stage is followed by a transformation stage for transforming the output signal of the block formation stage from the time domain to
  • the symptoms of partial hearing loss are varied, the following may be mentioned here: reduced intensity resolution, reduced frequency selectivity, reduced time resolution, reduced noise tolerance, and, as the most serious consequence, reduced speech discrimination ability.
  • the invention is now intended to provide a method by means of which the functionality of hearing aids can be significantly improved.
  • the device for carrying out said method which also relates to the invention, is characterized by the features according to the characterizing part of claim 2.
  • the particularly important level of analysis therefore serves to determine a function which, for each sound level at a certain frequency, indicates the amplification with which a signal has to be amplified so that the hearing-impaired person experiences the same loudness as normal hearing people.
  • signals that are not audible for the hearing impaired, in particular voice information are transformed into the audible range in such a way that the perceived loudness is the same for people with normal hearing and for people with hearing impairment.
  • simple signals such as sine tones or narrow-band or white noise
  • the determination is relatively simple and corresponding methods are known (E. Zwicker: “Psychoacoustics", Springer Verlag, Berlin, Heidelberg, New York, 1982).
  • the loudness determination is more difficult and, above all, mathematically complex.
  • the hearing threshold and the limit of the uncomfortable volume are measured at a certain test frequency f t and then the test subject is offered short tones with a randomly changing sound level (dB SPL) within the measured dynamic range.
  • dB SPL randomly changing sound level
  • the test person has to assess the loudness on a continuous scale from "very quiet” to "quiet”, “medium”, “loud” to "very loud”.
  • these attributes of the loudness perception are assigned values between 0 and 100 for mathematical handling.
  • the measurements are carried out at various frequencies from 250 to 5000 Hz.
  • the scales naturally show a scatter in each test subject; 1 each shows the meridian values of 4 scalings. A regression function is determined for these averaged measured values, which results in a good correlation.
  • L denotes the sound level (dB SPL) as a variable
  • SL N (L, f) the scaled loudness of people with normal hearing as a function of sound level and frequency
  • a N (f), B N (f) the parameters of the regress function for people with normal hearing, where A and B are frequency-dependent.
  • Correlating regress function can also be used, the subsequent functions then changing according to the selected function.
  • a P (f) and B P (f) denote the parameters of the regress function for hearing impaired people.
  • the left dashed curve shows the scaled loudness SL N for people with normal hearing and the right, fully drawn curve shows the scaled loudness SL P for a hearing impaired person, namely for a test frequency f t of 3000 Hz.
  • the hearing loss HV can thus be calculated by comparing the measurements of people with normal hearing and hearing impairments for each measurement frequency as a function of the sound level.
  • the hearing loss HV is generally dependent on the sound level, so that compensation for the hearing loss requires a sound level-dependent amplification (compression).
  • FIG. 3 and 4 show the results of the loudness measurement of FIG. 1 in a frequency-sound level representation, FIG. 3 for people with normal hearing and FIG. 4 for a person with hearing impairment.
  • the different curves are curves of the same loudness similar to the so-called isophones, but the labeling of the curves is not phono but corresponds to the scaled loudness.
  • the conversion from scaled loudness to phon was and is not carried out here. Accordingly, the expression isophone is used below for curves of the same scaled loudness.
  • the input signal is low-pass filtered and digitized in an input stage 1 and then fed to a block formation stage 2, in which the signal curve is additionally weighted with a hanning window.
  • This block formation is necessary in order to obtain a spectrum, or in other words in order to be able to transform the signal from the time domain into the frequency domain.
  • the signal is multiplied by a window function, as mentioned.
  • the hanning window is now such a window function, namely a cosine-shaped one, which has the advantage over a rectangular window function that the spectrum is practically not smeared.
  • FIG. 7 shows a block of length T of the signal in the time domain after the multiplication by the Hanning window.
  • the time signal shown in FIG. 7 is now transformed in a transformation stage 3 from the time domain with a discrete Fourier transform (DFT, FFT) into the frequency domain and the resulting short-term spectrum is transformed into one Analysis block 4 calculates an estimate of the loudness.
  • the real and imaginary parts of the spectrum obtained by the Fourier transformation are denoted by Re 1 ... n and Im 1 ... n , respectively.
  • N indicates the number of frequency lines in the frequency range.
  • the amplitude spectrum of the input signal is replaced by the amplitude spectrum of a pure sine tone.
  • the frequency and amplitude of this sine tone are calculated so that the loudness of the sine tone corresponds to the loudness of the input signal.
  • the frequency is calculated as the "center of gravity" of the energy spectrum.
  • E s energy of the equivalent sine tone at the frequency of the spectral "center of gravity"
  • E tot total energy in the frequency domain
  • This formula is also useful for speech signals. For evenly stimulating noise, a measurement can be found in the book by E. Zwicker already cited.
  • Formula (11) thus establishes the relationship between the measurements on the one hand and the numerical values used in the frequency domain on the other.
  • the information contained in the spectral energy distribution is calculated in parallel with the determination of the isophones.
  • the latter is done by a strong smoothing of the logarithmic amplitude spectrum calculated in a stage 7 in a smoothing stage 8. Only the rough distribution of the energy, ie the Question whether it is a flat, rising or falling spectrum. With this smoothing, the amplitudes A i of the logarithmic amplitude spectrum are replaced by the mean of the neighboring amplitudes A im to A i + m .
  • n 64, a value between 20 and 40 makes sense for m).
  • the smoothed spectrum A ' i is now corrected in a correction stage 9 by a constant ⁇ K, in accordance with FIG. 9 such that the amplitude at the frequency f s of the center of gravity has exactly the same energy as the calculated energy E s of the center of gravity.
  • two functions are available for further processing, namely on the one hand the isopones R 1 ... n. and on the other hand the strongly smoothed spectrum S 1 ... n corrected by ⁇ K.
  • Both functions which according to FIG. 9 have the same value at the frequency f s of the center of gravity, are fed to a stage 10, in which an individual adaptation to the hearing impaired person takes place.
  • Experiments with the hearing impaired person determine a constant with which the influence of R 1 ... n and S 1 ... n on the subsequent gain calculation can be determined.
  • the gain factors in a stage 11 are determined with the aid of function (3).
  • FIGS. 11 and 12 show an original spectrum with isophones of people with normal hearing, and FIG. 12 shows a modified spectrum with isophones of a hearing-impaired person. With ⁇ you can set how much those spectral components that are far from the center of gravity should be amplified.
  • the spectrum modified in the function stage 12 is now transformed back into the time domain in a function block 13 with an inverse Fourier transformation.
  • 13 shows the time signal after processing.
  • the processed blocks according to FIG. 13 are added in an overlapping manner in a reconstruction stage 14.
  • the signal processing is carried out according to Allen's overlap add algorithm (JB Allen: "Short Term Spectral Analysis, Synthesis and Modification by Discrete Fourier Transform", IEEE Trans. Acoust., Speech, Signal Processing, Vol. ASSP-25, 235- 238, 1977), whereby a continuous time signal is again obtained.
  • the latter is converted in an output stage 15 via a D / A converter and low-pass filter into an acoustic signal which is directed to the eardrum of the hearing-impaired person and thus forms the input signal for their ear.

Description

  • Die vorliegende Erfindung betrifft ein Verfahren zur Verstärkung von akustischen Signalen für Hörbehinderte durch Transformation von für den Hörbehinderten nicht hörbaren Signalen in den hörbaren Bereich, wobei bei der hörbehinderten Person der Hörverlust bestimmt wird und dieser Hörverlust zur Bestimmung der notwendigen Verstärkung verwendet wird, wozu das akustische Signal digitalisiert und blockweise vom Zeitbereich in den Frequenzbereich transformiert wird und aus dem dadurch entstehenden Kurzzeitspektrum eine Schätzung der Lautheit erfolgt, sowie eine Vorrichtung zur Durchführung dieses Verfahrens, mit einer Verstärkerstufe zur Verstärkung der akustischen Signale und zur Bestimmung der Verstärkerfaktoren der Verstärkerstufe, in welcher eine Berechnung des Hörverlustes für verschiedene Frequenzen in Abhängigkeit des Schallpegels erfolgt, einer Eingangsstufe für das akustische Signal, in welcher eine Filterung und eine Digitalisierung der Signale erfolgt, welcher Eingangsstufe eine Blockbildungsstufe zur Multiplikation des digitalisierten Signals mit einer Fensterfunktion nachgeschaltet ist und der Blockbildungsstufe eine Transformationsstufe zur Transformation des Ausgangssignals der Blockbildungsstufe vom Zeit- in den Frequenzbereich nachgeschaltet ist, wobei die Ausgangssignale der Transformationsstufe der Analysestufe zugeführt sind.
  • Bei den meisten der heute gebräuchlichen Hörgeräte werden die für den Hörbehinderten nicht hörbaren Signale pauschal in den hörbaren Bereich transformiert, was zur Folge hat, dass auch die als störend empfundenen Hintergrund- und Nebengeräusche verstärkt werden, und zwar in einer Weise, die vom Hörbehinderten als äusserst störend und lästig empfunden wird. Es ist zwar bekannt, gewisse Frequenzen durch wahlweise einschaltbare Filter teilweise auszufiltern, trotzdem kann aber vielen hörbehinderten Personen mit den kommerziell erhältlichen Hörgeräten oft nur schlecht oder gar nicht geholfen werden.
  • Dies liegt neben den schon genannten Mängeln auch an den noch mangelhaften Erkenntnissen über die Funktionsweise des Gehörs, vor allem des geschädigten Gehörs, und am Mangel an technischen Möglichkeiten, ein dem Restgehör einer Person entsprechendes Hörgerät herzustellen.
  • Die Symptome eines teilweisen Hörverlusts sind vielfältig, es seien hier die folgenden genannt: Verminderte Intensitätsauflösung, verminderte Frequenzselektivität, verminderte Zeitauflösung, verminderte Störgeräuschtoleranz, und als schwerste Folge, die reduzierte Sprachdiskriminationsfähigkeit.
  • Aus GB-A-2 184 629 sind zwar ein weiterentwickeltes Verfahren und eine Vorrichtung mit den eingangs definierten Merkmalen bekannt. Aehnliche Techniken werden auch durch EP-A-252 205 und EP-A-71 845 offenbart.
  • Dieser bekannte Stand der Technik verspricht zwar, gegenüber den konventionellen Hörgeräten Fortschritte zu bringen, vermag jedoch den angestrebten Effekt nicht wesentlich zu verbessern, d.h. er stellt für hörbehinderte Personen keine wirklich entscheidende Hilfe in Richtung "normales" Hören dar.
  • Durch die Erfindung soll nun ein Verfahren angegeben werden, mit dessen Hilfe die Funktionsfähigkeit von Hörgeräten ganz entscheidend verbessert werden kann.
  • Diese Aufgabe wird bei einem Verfahren der eingangs definierten Art erfindungsgemäss durch die Merkmale gemäss dem kennzeichnenden Teil von Anspruch 1 gelöst.
  • Die ebenfalls Gegenstand der Erfindung betreffende Vorrichtung zur Durchführung des genannten Verfahrens zeichnet sich durch die Merkmale gemäss kennzeichnendem Teil von Anspruch 2 aus.
  • Die besonders wichtige Analysestufe dient also dazu, eine Funktion zu bestimmen, die für jeden Schallpegel bei einer bestimmten Frequenz diejenige Verstärkung angibt, mit der ein Signal verstärkt werden muss, damit die hörbehinderte Person die gleiche Lautheit empfindet wie normalhörende Personen.
  • Im folgenden wird die Erfindung anhand eines Ausführungsbeispiels und der Zeichnungen näher erläutert. Es zeigen:
  • Fig. 1
    ein Diagramm einer gemessenen Lautheitsfunktion bei einer normalhörenden und bei einer hörbehinderten Person,
    Fig. 2
    ein Diagramm der für einen bestimmten Ton erforderlichen Verstärkung, damit dieser bei einer normalhörenden und bei einer hörbehinderten Person die gleiche Lautheit hervorruft,
    Fig. 3
    ein Diagramm von Kurven gleicher Lautheit bei normalhörenden Personen,
    Fig. 4
    ein Diagramm von Kurven gleicher Lautheit bei einer hörbehinderten Person,
    Fig. 5
    ein Blockdiagramm der Signalverarbeitung,
    Fig. 6
    ein Blockdiagramm des Analyseteils der Signalverarbeitung von Fig. 5; und
    Fig. 7-13
    Diagramme zur Funktionserläuterung.
  • Wie schon erwähnt wurde, werden für den Hörbehinderten nicht hörbare Signale, insbesondere Sprachinformationen, in der Weise in den hörbaren Bereich transformiert, dass die empfundene Lautheit bei normalhörenden und bei hörbehinderten Personen die gleiche ist. Für einfache Signale, wie Sinustöne oder schmalbandiges oder weisses Rauschen ist die Bestimmung relativ einfach und entsprechende Methoden sind bekannt (E. Zwicker: "Phsychoakustik", Springer Verlag, Berlin, Heidelberg, New York, 1982). Für komplexere Signale, wie Sprache, ist die Lautheitsbestimmung schwieriger und vor allem mathematisch aufwendig.
  • Zur Lautheitsbestimmung wird zuerst eine sogenannte Hörfeldskalierung durchgeführt (J.B. Allen, J.L. Hall, P.S. Jeng: "Loudness growth in ½-octave bands (LGOB) - A procedure for the assessment of loudness", J. Acoustic Society Am., 88/2: 745-753, 1990; R.H. Margolis: "Magnitude estimation of loudness III: Performance of selected hearing aid users", J. Speech and Hearing Res. 28: 411-420, 1985). Dies erfolgt durch Versuche an einer normalhörenden und an der jeweiligen hörbehinderten Person.
  • Zuerst werden bei einer bestimmten Testfrequenz ft die Hörschwelle und die Grenze der unbehaglichen Lautstärke gemessen und dann werden der Versuchsperson kurze Töne mit zufällig wechselndem Schallpegel (dB SPL) innerhalb der gemessenen Dynamik angeboten. Nach jedem Ton muss die Versuchsperson die Lautheit auf einer kontinuierlichen Skala von "sehr leise" über "leise", "mittel", "laut" bis "sehr laut" beurteilen. Diesen Attributen der Lautheitsempfindung werden gemäss Fig. 1 zur mathematischen Handhabung Werte zwischen 0 und 100 zugeordnet. Die Messungen werden bei verschiedenen Frequenzen von 250 bis 5000 Hz durchgeführt. Die Skalierungen weisen naturgemäss bei jeder Versuchsperson eine Streuung auf; in Fig. 1 sind jeweils die Meridianwerte von 4 Skalierungen angegeben. Zu diesen gemittelten Messwerten wird eine Regressfunktion bestimmt, welche eine gute Korrelation ergibt.
  • Für das Verfahren wurde eine Funktion der folgenden Form verwendet: SL N (L,f)=A N (f)+B N (f)·L 2
    Figure imgb0001
    In dieser Formel bezeichnet L den Schallpegel (dB SPL) als Variable; SLN(L,f) die skalierte Lautheit von normalhörenden Personen in Funktion von Schallpegel und Frequenz und AN(f), BN(f) die Parameter der Regressfunktion für normalhörende Personen, wobei A und B frequenzabhängig sind. Jede andere gut korrelierende Regressfunktion kann ebenfalls verwendet werden, wobei sich dann die nachfolgenden Funktionen entsprechend der gewählten Funktion ändern.
  • Die gleiche Messungen werden auch mit hörbehinderten Personen durchgeführt und man erhält die skalierte Lautheit SLP (L,f) für die hörbehinderte Person: SL P (L,f)=A P (f)+B P (f)·L 2
    Figure imgb0002
  • Analog zu Formel (1) bezeichnen AP(f) und BP(f) die Parameter der Regressfunktion für hörbehinderte Personen. In Fig. 1 gibt die linke, gestrichelte Kurve die skalierte Lautheit SLN für normalhörende Personen und die rechte, voll ausgezogene Kurve die skalierte Lautheit SLP für eine hörbehinderte Person wieder, und zwar für eine Testfrequenz ft von 3000 Hz. Die beiden Lautheitskurven weisen naturgemäss einen gegenseitigen Abstand auf, der den Hörverlust HV der hörbehinderten Person gegenüber einer normalhörenden angibt. Dieser Hörverlust ist von der Frequenz und vom Schallpegel abhängig; in Fig. 1 sind die Hörverlustwerte HV bei der Testfrequenz ft = 3000 Hz für die beiden Schallpegelwerte 20dB und 60 dB eingetragen.
  • Der Hörverlust HV kann somit durch Vergleiche der Messungen von normalhörenden und hörbehinderten Personen für jede Messfrequenz in Abhängigkeit des Schallpegels berechnet werden.
  • Der Hörverlust HV ist im allgemeinen vom Schallpegel abhängig, so dass zur Kompensation des Hörverlusts eine schallpegelabhängige Verstärkung (Kompression) nötig ist.
  • Die Formel für die Berechnung des Hörverlusts HV HV(L,f)= A N f +B N f .L 2 -A P f B P f -L
    Figure imgb0003
    liefert eine Funktion, welche für jeden Schallpegel L bei der Frequenz f die erforderliche Verstärkung angibt, mit der ein sinusförmiges Signal verstärkt werden muss, damit die hörbehinderte Person die gleiche Lautheit empfindet wie normalhörende Personen (Fig. 2).
  • Die Fig. 3 und 4 zeigen die Ergebnisse der Lautheitsmessung von Fig. 1 in einer Frequenz- Schallpegel-Darstellung, Fig. 3 für normalhörende Personen und Fig. 4 für eine hörbehinderte Person. Die verschiedenen Kurven sind Kurven gleicher Lautheit ähnlich den sogenannten Isophonen, wobei die Beschriftung der Kurven jedoch nicht Phon ist sondern der skalierten Lautheit entspricht. Die Umrechung von der skalierten Lautheit in Phon wurde und wird hier nicht durchgeführt. Entsprechend wird im weiteren der Ausdruck Isophone für Kurven gleicher skalierter Lautheit verwendet.
  • Die Funktion gemäss Formel (3) wird nun zur Bestimmung einer frequenz- und intensitätsabhängigen Verstärkung verwendet, um sowohl für sinusförmige als auch für komplexere Signale bei normalhörenden und bei hörbehinderten Personen die gleiche Lautheitsempfindung zu erzielen. Die Signalverarbeitung ist in den Fig. 5 und 6 dargestellt.
  • Gemäss Fig. 5 wird das Eingangssignal in einer Eingangsstufe 1 tiefpassgefiltert und digitalisiert und anschliessend einer Blockbildungsstufe 2 zugeführt, in welcher der Signalverlauf zusätzlich mit einem Hanning-Window gewichtet wird. Diese Blockbildung ist erforderlich, um ein Spektrum zu erhalten, oder mit anderen Worten, um das Signal aus dem Zeitbereich in den Frequenzbereich transformieren zu können. In der Blockbildungsstufe 2 wird das Signal wie erwähnt mit einer Fensterfunktion multipliziert. Das Hanning-Window ist nun eine solche Fensterfunktion, und zwar eine kosinusförmige, die gegenüber einer rechteckigen Fensterfunktion den Vorteil besitzt, dass das Spektrum praktisch nicht verschmiert wird. In Fig. 7 ist ein Block der Länge T des Signals im Zeitbereich nach der Multiplikation mit dem Hanning-Window dargestellt.
  • Das in Fig. 7 dargestellte Zeitsignal wird nun in einer Transformationsstufe 3 vom Zeitbereich mit einer diskreten Fouriertransformation (DFT, FFT) in den Frequenzbereich transformiert und aus dem dabei entstehenden Kurzzeitspektrum wird in einem Analyseblock 4 eine Schätzung der Lautheit errechnet. Die Real- und Imaginärteile des durch die Fouriertransformation erhaltenen Spektrums sind mit Re1...n beziehungsweise Im1...n bezeichnet. Dabei gibt n die Anzahl der Frequenzlinien im Frequenzbereich an. Die Grösse von n ist durch die gewählte Fouriertransformation bestimmt; bei dem hier beschriebenen Ausführungsbeispiel wurde n = 64 gewählt.
  • Im Analyseblock 4, welcher in Fig. 6 im Detail dargestellt ist, wird das Amplitudenspektrum des Eingangssignals durch das Amplitudenspektrum eines reinen Sinustons ersetzt. Frequenz und Amplitude dieses Sinustons werden so berechnet, dass die Lautheit des Sinustons der Lautheit des Eingangssignals entspricht. Die Frequenz wird berechnet als "Schwerpunkt" des Energiespektrums. Der Lautheitsbildung des Gehörs wird Rechnung getragen durch Umwandlung der Frequenz f in die Tonheit z in Bark (E. Zwicker: "Psychoakustik", Springer Verlag Berlin, Heidelberg, New York; 1982) nach folgender Formel (f in Kilohertz): z(f)=13 arctan (0,76 f)+3,5 arctan f 7,5
    Figure imgb0004
  • Für die Tonheit zs des spektralen "Schwerpunkts" gilt:
    Figure imgb0005
    und für die Energie Ei pro Tonheit
    Figure imgb0006
    wobei
    Figure imgb0007
    mit i=1...n. Die Indices mo und mu sind Ober- und Untergrenzen von Spektralbändern oder Frequenzgruppen. Formel 6 berechnet also die in eine Frequenzgruppe gehörende Energie; Fig. 8 illustriert Formel (6). Als Näherung für die Berechnung nach Formel (6) gilt, dass die Frequenzgruppenbandbreite 20% der Mittenfrequenz (nach dem schon zitierten Buch von E. Zwicker) beträgt. Aus Formel (5) erhält man den "Schwerpunkt" in Bark und mit Formel (4) erfolgt die Umrechung in die Frequenz fS des spektralen "Schwerpunkts" in kHz (iterative Berechnung).
  • Die Energie Es , die der Sinuston bei der Frequenz fs haben muss (Es = Energie des äquivalenten Sinustons bei der Frequenz des spektralen "Schwerpunkts"), ist eine Funktion der Gesamtenergie Etot (Etot = Gesamtenergie im Frequenzbereich) im Kurzzeitspektrum des Eingangssignals. E s = F(E tot )
    Figure imgb0008
    Figure imgb0009
  • Die Funktion F in Formel (7) ist abhängig von den spektralen Eigenschaften des Eingangssignals, wobei für sinusförmige Signale natürlich gilt: E s = E tot
    Figure imgb0010
  • Diese Formel ist auch für Sprachsignale brauchbar. Für gleichmässig anregendes Rauschen findet man eine Messung in dem schon zitierten Buch von E. Zwicker.
  • Aus der Energie Es des äquivalenten Sinustons wird nun der Schallpegel Ls des äquivalenten Sinutons bestimmt: L s = 10log(E s )
    Figure imgb0011
  • Alle diese Berechnungen erfolgen in einer Lautheitsschätzungsstufe 5, an deren Ausgang die Frequenz fs des spektralen "Schwerpunkts" und der Schallpegel Ls des äquivalenten Sinustons erhältlich sind. Mit den Angaben fs und Ls ist es nun möglich, mit Hilfe der anhand von Fig. 1 beschriebenen Messungen mit normalhörenden Personen, in einer Stufe die zugehörigen Isophone R1...n (Kurven gleicher Lautheit) zu berechnen. Dazu wird Ls in Formel (1) eingesetzt, wodurch man die skalierte Lautheit SL(Ls, fs) erhält. Um R1...n zu erhalten, löst man Formel (1) nach L auf und setzt die berechnete skalierte Lautheit und die entsprechende Frequenz ein.
  • Für den Zusammenhang zwischen den effektiven Schallpegelwerten, die bei der Messung verwendet werden, und den Zahlenwerten im Frequenzbereich gilt folgende Ueberlegung: Ein sinusförmiges Signal am Eingang des Systems muss entsprechend der Funktion des Hörverlusts nach Formel (3) verstärkt werden. Im Frequenzbereich sind die Zahlen nun so normiert, dass der aus der Gesamtenergie Etot berechnete Schallpegel Ls für ein sinusförmiges Signal gerade dem Schallpegel Ltot entspricht. Daher kann die Formel (10) auch auf folgende Weise angeschrieben werden: L tot = 10log(E tot )
    Figure imgb0012
  • Die Formel (11) stellt also den Zusammenhang zwischen den Messungen einerseits und den im Frequenzbereich benutzten Zahlenwerten andererseits her.
  • Wie Fig. 6 weiter zu entnehmen ist, wird parallel zur Bestimmung der Isophone die in der spektralen Energieverteilung steckende Information berechnet. Letzteres erfolgt durch eine starke Glättung des in einer Stufe 7 berechneten logarithmischen Amplitudenspektrums in einer Glättungsstufe 8. Dabei interessiert nur die grobe Verteilung der Energie, also die Frage, ob es sich um ein flaches, ansteigendes oder abfallendes Spektrum handelt. Bei dieser Glättung werden die Amplituden Ai des logarithmischen Amplitudenspektrums durch den Mittelwert der benachbarten Amplituden Ai-m bis Ai+m ersetzt.
  • Für das geglättete logarithmische Amplitudenspektrum A ' i
    Figure imgb0013
    gilt folgende Formel
    Figure imgb0014
    mit A k = 10log(Re k 2 +Im k 2 )
    Figure imgb0015
  • Dabei wird m so gewählt, dass die Formantstruktur des Spektrums nicht mehr erkennbar ist (bei n=64 ist für m ein Wert zwischen 20 und 40 sinnvoll).
  • Das geglättete Spektrum A ' i
    Figure imgb0016
    wird nun in einer Korrekturstufe 9 um eine Konstante ΔK korrigiert, und zwar gemäss Fig. 9 derart, dass die Amplitude bei der Frequenz fs des Schwerpunkts gerade die gleiche Energie hat wie die berechnete Energie Es des Schwerpunkts. Für die Korrekturkonstante ΔK und für das korrigierte geglättete logische Amplitudenspektrum Si gelten folgende Formeln: ΔK=L s - A s '    (L S und A s ' in dB)
    Figure imgb0017
    S i = A i ' +ΔK    i=1...n
    Figure imgb0018
  • Gemäss Fig. 6 stehen für die weitere Bearbeitung zwei Funktionen zur Verfügung, und zwar einerseits die Isopone R1...n. und andererseits das um ΔK korrigierte stark geglättete Spektrum S1...n. Beide Funktionen, die gemäss Fig. 9 bei der Frequenz fs des Schwerpunkts den gleichen Wert haben, werden einer Stufe 10 zugeführt, in welcher eine individuelle Anpassung an die hörbehinderte Person erfolgt. Durch Versuche mit der hörbehinderten Person wird eine Konstante ermittelt, mit welcher der Einfluss von R1...n und S1...n auf die nachfolgende Verstärkungsberechnung bestimmt werden kann.
  • Für die äquivalenten Schallpegel Li zur Steuerung der Verstärkung gilt: L i =R i +α(S i -R i )    i=1...n,    0≤α≤1
    Figure imgb0019
  • Die Bestimmung der Verstärkungsfaktoren in einer Stufe 11 erfolgt mit Hilfe der Funktion (3).
  • Zur Erhöhung des Schallpegels eines sinusförmigen Signals um 1dB muss Etot im Frequenzbereich um 1dB erhöht werden. Dies erreicht man durch Multiplikation des Spektrums (Real- und Imaginärteile) mit 10 1 20 ,
    Figure imgb0020
    so dass sich die Verstärkungsfaktoren direkt aus der Formel (3) in dB ergeben (0dB = Verstärkung 1). Nach der Umrechnung in lineare Faktoren wird das Eingangsspektrum mit diesen Faktoren G multipliziert, was in einer Modifikationsstufe 12 (Fig. 5) erfolgt. Es werden Real- und Imaginärteil je mit dem gleichen Faktor multipliziert, so dass nur das Amplitudenspektrum verändert wird, das Phasenspektrum aber gleich bleibt.
  • Fig. 10 zeigt die Verstärkungsfaktoren für die beiden Grenzwerten α=0 und α=1. Wird α=0 gewählt, dann wird Li=Ri . Damit erreicht man, da R eine Isophone ist, dass die Verstärkungsfaktoren Gi so festgelegt werden, dass die in dB angegebenen Differenzen des geglätteten logarithmischen Eingangsamplitudenspektrums A ' i
    Figure imgb0021
    und der Isophone Ri gleich gross sind wie die Differenzen des modifizierten Eingangsspektrums und der entsprechenden Isophone der hörbehinderten Person. (Die Berechnung des modifizierten Amplitudenspektrums ist für die Verarbeitung nicht nötig und wird auch nicht durchgeführt; sie dient hier lediglich der Illustration). Mit dieser Wahl von α wird sichergestellt, dass diejenigen Anteile des Signals, welche am meisten zur Lautheitsbildung beitragen, richtig, oder mit anderen Worten, so verstärkt werden, dass die hörbehinderte Person den gleichen Lautheitseindruck hat wie eine normalhörende Person.
  • Wird α=1 gewählt, dann wird Li=Si. Dadurch werden diejenigen Signalanteile verstärkt, welche zur Bildung der Lautheit nur wenig beitragen, und zwar soweit, dass sie für den Hörbehinderten hörbar werden, aber nicht zu einer wesentlichen Erhöhung der Lautheit führen. Letzteres lässt sich den Fig. 11 und 12 entnehmen, von denen Fig. 11 ein Originalspektrum mit Isophonen normalhörender Personen und Fig. 12 ein modifiziertes Sepktrum mit Isophonen einer hörbehinderten Person zeigt. Mit α kann eingestellt werden, wie stark diejenigen spektralen Anteile verstärkt werden sollen, die weit entfernt von der Schwerpunktfrequenz liegen.
  • Das in der Funktionsstufe 12 modifizierte Spektrum wird nun in einem Funktionsblock 13 mit einer inversen Fouriertransformation in den Zeitbereich zurücktransformiert. Fig. 13 zeigt das Zeitsignal nach der Verarbeitung. Die verarbeiteten Blöcke gemäss Fig. 13 werden in einer Rekonstruktionsstufe 14 überlappend addiert. Die Signalverarbeitung erfolgt nach dem Overlap-Add-Algorithmus von Allen (J.B. Allen: "Short Term Spectral Analysis, Synthesis and Modification by Discrete Fourier Transform", IEEE Trans. Acoust., Speech, Signal Processing, Vol. ASSP-25, 235-238, 1977), wodurch man wieder ein kontinuierliches Zeitsignal erhält. Letzteres wird in einer Ausgangsstufe 15 über einen D/A-Wandler und Tiefpassfilter in ein akustisches Signal umgewandelt, welches an das Trommelfell der hörbehinderten Person geführt ist und somit das Eingangssignal für deren Ohr bildet.

Claims (2)

  1. Verfahren zur Verstärkung von akustischen Signalen für Hörbehinderte durch Transformation von für den Hörbehinderten nicht hörbaren Signalen in den hörbaren Bereich, wobei bei der hörbehinderten Person der Hörverlust (HV) bestimmt wird und dieser Hörverlust zur Bestimmung der notwendigen Verstärkung verwendet wird, wozu das akustische Signal digitalisiert und blockweise vom Zeitbereich in den Frequenzbereich transformiert wird und aus dem dadurch entstehenden Kurzzeitspektrum eine Schätzung der Lautheit erfolgt, dadurch gekennzeichnet, dass zur Lautheitsschätzung ein äquivalentes Spektrum berechnet wird, welches aus einer Frequenzlinie einer bestimmten Frequenz (fs) mit einer entsprechenden Energie (Es) besteht, und aus dieser die Energie des äquivalenten Tons bei der genannten Frequenz darstellenden Amplitude der Schallpegel (Ls) berechnet wird, wobei letzterer dem Zehnfachen des Zehnerlogarithmus der genannten Energie entspricht, wobei die genannte Frequenz (fs) als Schwerpunkt eines Energiespecktrums berechnet wird, dessen Bandbreite einige Prozent, vorzugsweise 10 bis 25%, der Mittenfrequenz dieses Spektrums beträgt, dass aus der Frequenz (fs) und aus dem entsprechenden Schallpegel (Ls) die dazugehörige Isophone (Ri) berechnet, und dass die in der spektralen Energieverteilung des Amplitudenspektrums des Kurzzeitspektrums enthaltene Information bestimmt wird, wobei letzteres durch eine Glättung des Amplitudenspektrums erfolgt, und dass das geglättete Spektrum um eine Konstante (ΔK) so korrigiert wird, dass die Amplitude bei der Frequenz (fs) des Schwerpunkts die gleiche Energie hat wie dessen berechnete Energie (Es), und dass das so korrigierte geglättete Spektrum (Si) zusammen mit der Isophone (Ri) zur Steuerung der Verstärkungsfaktoren verwendet wird.
  2. Vorrichtung zur Durchführung des Verfahrens nach Anspruch 1, mit einer Verstärkungsstufe zur Verstärkung der akustischen Signale, mit einer Stufe (4) zur Analyse der genannten Signale und zur Bestimmung der Verstärkungsfaktoren (Gi) der Verstärkungsstufe, in welcher eine Berechnung des Hörverlust (HV) für verschiedene Frequenzen (f) in Abhängigkeit des Schallpegels (L) erfolgt, einer Eingangsstufe (1) für die akustischen Signale, in welcher eine Filterung und eine Digitalisierung der Signale erfolgt, welcher Eingangsstufe (1) eine Blockbildungsstufe (2) zur Multiplikation des digitalisierten Signals mit einer Fensterfunktion, vorzugsweise mit einem sogenannten Hanning-Window, nachgeschaltet ist und der Blockbildungsstufe (2) eine Transformationsstufe (3) zur Transformation des Ausgangssignals der Blockbildungsstufe vom Zeit- in den Frequenzbereich nachgeschaltet ist, wobei die Ausgangssignale der Transformationsstufe der Analysestufe (4) zugeführt sind, dadurch gekennzeichnet, dass die Analysestufe (4) eine Funktionsstufe (5) zur Lautheitsschätzung aufweist, durch welche die Berechnung eines äquivalenten, aus einer Frequenzlinie einer bestimmten Frequenz (fs) und einer bestimmten Energie (Es) bestehenden Spektrums erfolgt, wobei die genannte Frequenz (fs) als Schwerpunkt eines Energie-spektrums berechnet wird, dessen Bandbreite einige prozent, vorzugsweise 10 bis 25%, der Mittenfrequenz dieses Spektrums beträgt, ferner durch eine Funktionsstufe (7, 8) zur Berechnung des Amplitudenspektrums (Ai) des Kurzzeitspektrums des Eingangssignals der Analysestufe (4) und zu dessen Glättung, und durch Mittel (9) zur Korrektur des geglätteten Amplitudenspektrums (Ai) mit einer Konstanten (ΔK), wobei diese Korrektur so erfolgt, dass die Amplitude bei der Frequenz (fs) des Schwerpunkts die gleiche Energie aufweist wie dessen berechnete Energie (Es), wobei in der Stufe (5) zur Lautheitsschätzung aus der die Energie (Es) des äquivalenten Tons bei der genannten Frequenz (fs) darstellenden Amplitude eine Berechnung des Schallpegels (Ls) erfolgt, und dass eine Funktionsstufe (6) zur Berechnung der Isophone (Ri) aus dem Schallpegel und der genannten Frequenz vorgesehen ist, welche Isophone (Ri) und das korrigierte, geglättete Amplitudenspektrum (Si) einer gemeinsamen Stufe (11) zur Bestimmung der Verstärkungsfaktoren (Gi) zugeführt sind.
EP92115626A 1991-10-03 1992-09-12 Verfahren zur Verstärkung von akustischen Signalen für Hörbehinderte, sowie Vorrichtung zur Durchführung des Verfahrens Expired - Lifetime EP0535425B1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CH292391 1991-10-03
CH2923/91 1991-10-03

Publications (3)

Publication Number Publication Date
EP0535425A2 EP0535425A2 (de) 1993-04-07
EP0535425A3 EP0535425A3 (en) 1993-11-10
EP0535425B1 true EP0535425B1 (de) 1997-03-19

Family

ID=4244663

Family Applications (1)

Application Number Title Priority Date Filing Date
EP92115626A Expired - Lifetime EP0535425B1 (de) 1991-10-03 1992-09-12 Verfahren zur Verstärkung von akustischen Signalen für Hörbehinderte, sowie Vorrichtung zur Durchführung des Verfahrens

Country Status (3)

Country Link
EP (1) EP0535425B1 (de)
AT (1) ATE150609T1 (de)
DE (1) DE59208225D1 (de)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7715571B2 (en) 2006-03-23 2010-05-11 Phonak Ag Method for individually fitting a hearing instrument
EP2278827A1 (de) 2006-03-23 2011-01-26 Phonak Ag Verfahren zur individuellen Anpassung eines Hörgeräts

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4427044A1 (de) * 1994-07-29 1996-02-01 Geers Hoergeraete Verfahren zur Optimierung der Anpassung von Hörgeräten
EP0661905B1 (de) * 1995-03-13 2002-12-11 Phonak Ag Verfahren zur Anpassung eines Hörgerätes, Vorrichtung hierzu und Hörgerät
US6327366B1 (en) 1996-05-01 2001-12-04 Phonak Ag Method for the adjustment of a hearing device, apparatus to do it and a hearing device
JP4147445B2 (ja) * 2001-02-26 2008-09-10 アドフォクス株式会社 音響信号処理装置
CN114615599A (zh) * 2022-03-11 2022-06-10 游密科技(深圳)有限公司 音频处理方法、装置、计算机设备、存储介质和程序产品

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE2843923C2 (de) * 1978-10-09 1985-09-12 Philips Patentverwaltung Gmbh, 2000 Hamburg Verfahren und Anordnung zum Anpassen eines Hörgerätes
DE3131193A1 (de) * 1981-08-06 1983-02-24 Siemens AG, 1000 Berlin und 8000 München Geraet zur kompensation von gehoerschaeden
GB2184629B (en) * 1985-12-10 1989-11-08 Colin David Rickson Compensation of hearing
AU596633B2 (en) * 1986-01-21 1990-05-10 Antin, Mark Digital hearing enhancement apparatus
WO1990009760A1 (en) * 1989-03-02 1990-09-07 Ensoniq Corporation Apparatus and a method for fitting a hearing aid

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7715571B2 (en) 2006-03-23 2010-05-11 Phonak Ag Method for individually fitting a hearing instrument
EP2278827A1 (de) 2006-03-23 2011-01-26 Phonak Ag Verfahren zur individuellen Anpassung eines Hörgeräts

Also Published As

Publication number Publication date
EP0535425A2 (de) 1993-04-07
DE59208225D1 (de) 1997-04-24
EP0535425A3 (en) 1993-11-10
ATE150609T1 (de) 1997-04-15

Similar Documents

Publication Publication Date Title
DE602004008455T2 (de) Verfahren, vorrichtung und computerprogramm zur berechung und einstellung der wahrgenommenen lautstärke eines audiosignals
DE69531828T2 (de) Hörhilfegerät mit signalverarbeitungstechniken
DE69933141T2 (de) Tonprozessor zur adaptiven dynamikbereichsverbesserung
EP0661905B1 (de) Verfahren zur Anpassung eines Hörgerätes, Vorrichtung hierzu und Hörgerät
DE69433662T2 (de) Adaptive verstärkung und filterschaltung für tonwiedergabesystem
EP0820212B1 (de) Lautheitsgesteuerte Verarbeitung akustischer Signale
EP1290914B1 (de) Verfahren zur anpassung eines hörgerätes an ein individuum
EP1453194A2 (de) Verfahren zur automatischen Verstärkungseinstellung in einem Hörhilfegerät sowie Hörhilfegerät
EP1360872A2 (de) Verfahren zum automatischen einstellen der filterparameter eines digitalen equalizers und wiedergabeeinrichtung für audiosignale zur realisierung eines solchen verfahrens
EP2172063B1 (de) Hörgerät mit Initialisierungsmodul und Benutzeranpassung
EP1088300A1 (de) Verfahren zur durchführung einer maschinengestützten beurteilung der übertragungsqualität von audiosignalen
DE60205232T2 (de) Verfahren und vorrichtung zur bestimmung der qualität eines sprachsignals
EP3266222B1 (de) Vorrichtung und verfahren zum ansteuern der dynamikkompressoren einer binauralen hörhilfe
DE602004010634T2 (de) Verfahren und system zur sprachqualitätsvorhersage eines audioübertragungssystems
EP0535425B1 (de) Verfahren zur Verstärkung von akustischen Signalen für Hörbehinderte, sowie Vorrichtung zur Durchführung des Verfahrens
DE2843923C2 (de) Verfahren und Anordnung zum Anpassen eines Hörgerätes
EP1369994A2 (de) Verfahren zur zugehörrichtigen Basspegelanhebung und zugeordnetes Wiedergabesystem
EP1048025B1 (de) Verfahren zur instrumentellen sprachqualitätsbestimmung
DE602004006912T2 (de) Verfahren zur Verarbeitung eines akustischen Signals und ein Hörgerät
EP2584795A2 (de) Verfahren zum Ermitteln einer Kompressionskennlinie
DE4107903A1 (de) Verfahren zur optimierung der anpassung von hoergeraeten
DE2417146A1 (de) Geraet fuer kompensatorische verstaerkung fuer gehoergeschaedigte personen und verfahren zu dessen anpassung an patienten
EP3586526B1 (de) Verfahren zur patientenspezifischen konfiguration eines hörgerätes und verfahren zum erzeugen von testsignalen dafür
DE3923447C2 (de)
DE2217006C3 (de) Verfahren zur Bestimmung einer Frequenzgangkurve für von gehörbehinderten Personen verwendete Audioverstärker

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

AK Designated contracting states

Kind code of ref document: A2

Designated state(s): AT CH DE DK FR GB IT LI SE

PUAL Search report despatched

Free format text: ORIGINAL CODE: 0009013

AK Designated contracting states

Kind code of ref document: A3

Designated state(s): AT CH DE DK FR GB IT LI SE

17P Request for examination filed

Effective date: 19931209

17Q First examination report despatched

Effective date: 19940712

GRAG Despatch of communication of intention to grant

Free format text: ORIGINAL CODE: EPIDOS AGRA

GRAH Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOS IGRA

GRAH Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOS IGRA

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): AT CH DE DK FR GB IT LI SE

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRE;WARNING: LAPSES OF ITALIAN PATENTS WITH EFFECTIVE DATE BEFORE 2007 MAY HAVE OCCURRED AT ANY TIME BEFORE 2007. THE CORRECT EFFECTIVE DATE MAY BE DIFFERENT FROM THE ONE RECORDED.SCRIBED TIME-LIMIT

Effective date: 19970319

Ref country code: DK

Effective date: 19970319

Ref country code: GB

Effective date: 19970319

REF Corresponds to:

Ref document number: 150609

Country of ref document: AT

Date of ref document: 19970415

Kind code of ref document: T

REG Reference to a national code

Ref country code: CH

Ref legal event code: EP

Ref country code: CH

Ref legal event code: NV

Representative=s name: TROESCH SCHEIDEGGER WERNER AG

REF Corresponds to:

Ref document number: 59208225

Country of ref document: DE

Date of ref document: 19970424

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SE

Effective date: 19970619

ET Fr: translation filed
PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: AT

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 19970912

GBV Gb: ep patent (uk) treated as always having been void in accordance with gb section 77(7)/1977 [no translation filed]

Effective date: 19970319

PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

26N No opposition filed
PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: DE

Payment date: 20100927

Year of fee payment: 19

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: CH

Payment date: 20110914

Year of fee payment: 20

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: FR

Payment date: 20111012

Year of fee payment: 20

REG Reference to a national code

Ref country code: DE

Ref legal event code: R071

Ref document number: 59208225

Country of ref document: DE

REG Reference to a national code

Ref country code: DE

Ref legal event code: R071

Ref document number: 59208225

Country of ref document: DE

REG Reference to a national code

Ref country code: CH

Ref legal event code: PL

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: DE

Free format text: LAPSE BECAUSE OF EXPIRATION OF PROTECTION

Effective date: 20120913