EP2672732B2 - Verfahren zum Fokussieren eines Hörinstruments-Beamformers - Google Patents

Verfahren zum Fokussieren eines Hörinstruments-Beamformers

Info

Publication number
EP2672732B2
EP2672732B2 EP13167409.5A EP13167409A EP2672732B2 EP 2672732 B2 EP2672732 B2 EP 2672732B2 EP 13167409 A EP13167409 A EP 13167409A EP 2672732 B2 EP2672732 B2 EP 2672732B2
Authority
EP
European Patent Office
Prior art keywords
acoustic
solid angle
head
acoustic signals
source
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
EP13167409.5A
Other languages
English (en)
French (fr)
Other versions
EP2672732A2 (de
EP2672732B1 (de
EP2672732A3 (de
Inventor
Vaclav Bouse
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sivantos Pte Ltd
Original Assignee
Sivantos Pte Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=49625951&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=EP2672732(B2) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Sivantos Pte Ltd filed Critical Sivantos Pte Ltd
Publication of EP2672732A2 publication Critical patent/EP2672732A2/de
Publication of EP2672732A3 publication Critical patent/EP2672732A3/de
Publication of EP2672732B1 publication Critical patent/EP2672732B1/de
Application granted granted Critical
Publication of EP2672732B2 publication Critical patent/EP2672732B2/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/40—Arrangements for obtaining a desired directivity characteristic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/40—Arrangements for obtaining a desired directivity characteristic
    • H04R25/407—Circuits for combining signals of a plurality of transducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/50—Customised settings for obtaining desired overall acoustical characteristics
    • H04R25/505—Customised settings for obtaining desired overall acoustical characteristics using digital signal processing
    • H04R25/507—Customised settings for obtaining desired overall acoustical characteristics using digital signal processing implemented by neural network or fuzzy logic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/55—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception using an external connection, either wireless or wired
    • H04R25/552—Binaural
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/55—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception using an external connection, either wireless or wired
    • H04R25/554—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception using an external connection, either wireless or wired using a wireless connection, e.g. between microphone and amplifier or using Tcoils

Definitions

  • the invention relates to a method for focusing a beamformer of a hearing instrument.
  • Hearing instruments can, for example, be designed as hearing aids worn on or in the ear.
  • a hearing aid is used to supply a hearing-impaired person with acoustic ambient signals that are processed and amplified to compensate for or treat the specific hearing impairment. It essentially consists of one or more input transducers, a signal processing device, an amplification device, and an output transducer.
  • the input transducer is usually a sound receiver, e.g., a microphone, and/or an electromagnetic receiver, e.g., an induction coil.
  • the output transducer is usually implemented as an electroacoustic transducer, e.g., a miniature loudspeaker, an electromechanical transducer, e.g., a bone conduction receiver, or a stimulation electrode for cochlear stimulation. It is also referred to as a receiver.
  • the output transducer generates output signals that are transmitted to the patient's ear and are intended to produce an auditory perception in the patient.
  • the amplifier is usually integrated into the signal processing device.
  • the hearing aid is powered by a battery integrated into the hearing aid housing.
  • the essential components of a hearing aid are usually arranged on or connected to a printed circuit board (PCB).
  • PCB printed circuit board
  • the problem is determining the direction in which the beamformer should be directed and finding the optimal width, or aperture angle, of the beam.
  • the problem is to find the spatial direction in which the directional microphone array should have the highest sensitivity and the angle, or aperture angle, over which the sensitivity should be increased. It is obvious that better directionality and sensitivity can be achieved by directing the beam as precisely as possible toward the acoustic source of interest and focusing it as tightly as possible.
  • interesting acoustic sources can primarily be speakers or speech signals, but there are also a number of other possibilities, such as music or cue signals.
  • a hearing aid uses a method for acoustic source separation. Using a binaural microphone array, the spatial direction of an acoustic source is determined. A binaural receiver array then generates an acoustic output signal dependent on the determined direction.
  • a hearing aid that determines the spatial direction of acoustic signals. Based on the determined spatial-acoustic information, the acoustic environment is then classified, and the transfer characteristics of the signal processing are adjusted depending on the classification.
  • a hearing aid determines the spatial direction of acoustic sources. A beamformer is then directed toward a determined direction to focus on the acoustic source in question.
  • the spatial direction can be determined based on, among other things, the user's head orientation or line of sight.
  • a hearing aid uses a method for "blind source separation" of different acoustic sources. The user can select the various detected sources one after the other by pressing a switch.
  • SpeechFocus a process known from Siemens hearing aids, automatically scans the acoustic environment for speech components. Once speech components are identified, their spatial direction is determined. The amplification of acoustic signals from that direction is then increased compared to signals from other directions.
  • the simplest way to shape the beam is to assume that the desired source or speaker is located directly in front of the hearing instrument user and that the beam should therefore be directed forward, with the beam direction being changed by head movements of the user.
  • the hearing instrument can direct the beam in a desired direction using an algorithm for processing the microphone signals, regardless of the orientation of the head.
  • the beam direction can be controlled, for example, by a remote control.
  • the disadvantage is that the user cannot hear or can hardly hear sources outside the beam and thus cannot register them. Furthermore, having to control the beam via remote control is uncomfortable and unintuitive for the user.
  • the hearing aid can automatically analyze the direction of potentially interesting acoustic sources and automatically align the beam in that direction, as in the SpeechFocus process from Siemens.
  • this can be confusing for the user, as the hearing aid can automatically and potentially unexpectedly jump between different sources without any user intervention.
  • a continuously adapting beamformer alters the binaural "cues," making it difficult or even impossible for the user to locate the source of interest.
  • the beam width is usually constant or can be manually adjusted by the user between different preset opening angles.
  • a known method involves classifying the audio signal before localizing an audio source.
  • the classification can be based on features such as harmonic signal components or the presence of formants.
  • the subsequent localization benefits from the previous classification.
  • the object of the invention is to enable an automatic adaptation of the beam width and/or the beam direction, which can be used comfortably and intuitively, which avoids unexpected focusing of the beam without intervention by the hearing instrument user, and which makes it possible to make acoustic sources outside the beam known to the user in a simple and easy-to-use manner.
  • Directivity is a property of the beamformer that can be represented as a metric, the higher the directivity the beamformer is focused, i.e., the smaller the solid angle of the beam.
  • acoustic source such as a speaker
  • suitable tolerance values or thresholds such as at least 15° rotation, must be specified in order to distinguish unintentional or irrelevant minimal head movements from relevant head movements.
  • Manual triggering of focusing for example, by pressing a button on the hearing instrument or using a remote control, is not required, which significantly contributes to the practicality and comfort of the method.
  • the probability is increased that the method actually focuses on a source of interest to the user, and not on a randomly set focus spatial angle depending on the source.
  • the focus is better aligned with the source of interest to the user. This subsequently enables sharper focusing due to a narrower focus solid angle, thus increasing directionality. Increasing directionality, in turn, results in a further enhancement of the source signal of interest.
  • a further advantageous embodiment is that the method is only performed if a head movement was detected before the absence of head movement was detected. This prevents, for example, automatic focusing from occurring even though the user has not turned toward an acoustic source, for example because the source is non-acoustic or because the user does not want to devote their increased attention to any one source.
  • a further advantageous embodiment is that the method is only performed if an acoustic source was detected within the focus solid angle before focusing. This prevents focusing despite the absence of acoustic sources, which would obviously be impractical.
  • Figure 1 is a schematic view of a user 1 with left hearing instrument 2 and right hearing instrument 3 in plan view.
  • the microphones of the left and right hearing instruments 2, 3 are each combined to form a directional microphone arrangement, so that it is possible to direct the respective beam essentially either forwards or backwards as seen from user 1.
  • a wireless link e2e
  • This essentially enables directions to the right and left as seen from user 1 as additional beam directions of the arrangement.
  • the automatic focusing of the beam can be carried out both for each monaural hearing instrument individually (front/back) and for the binaural arrangement (right/left) together.
  • the left and right hearing instruments 2, 3, including the essential signal processing components, are shown schematically.
  • the hearing instruments 2, 3 are constructed identically and may differ in their external shape to accommodate their respective use on the left or right ear.
  • the left hearing instrument 2 comprises two microphones 4, 5, which are arranged spatially separately and together form a directional microphone arrangement.
  • the signals from the microphones 4, 5 are processed by a signal processing device 11, which emits an output signal via the receiver 8.
  • a battery 10 supplies power to the hearing instrument 2.
  • a motion sensor 9 is also provided, the function of which in the automatic focusing process will be explained further below.
  • the right hearing instrument 3 comprises the microphones 6, 7, which are also combined to form a directional microphone arrangement.
  • FIG. 3 The essential signal processing components of the automatically focusing beamformer are shown schematically.
  • the signals from microphones 4 and 5 of the left hearing instrument 2 are processed by the beamformer to create a beam directed straight forward (0°, "broadside") as seen from the user's perspective, which has a variable beam width.
  • Variable beam width is synonymous with variable directionality (a smaller beam width means greater directionality and vice versa, with higher directionality being synonymous with greater directional dependence).
  • the beamformer is constructed in a conventional manner, for example, as an array of fixed beamformers, as a mixture of a fixed beamformer with a direction-independent omnidirectional signal, as a beamformer with variable beam width, etc.
  • Output signals of the beamformer 13 are the desired beam signal, which contains all acoustic signals from the direction of the beam, the direction-independent omni signal (which contains all acoustic sources in all directions with under-distorted binaural cues) and the anti-signal, which contains all acoustic signals from directions outside the beam.
  • the three signals are fed to the mixer 19 and, in parallel, to the source detectors 15, 16, 17.
  • the source detectors 15, 16, 17 continuously determine the probability (or a comparable measure) that an acoustic source of interest, for example a speech source, is present in the three signals.
  • the motion sensor 9 is designed to detect head movements of the hearing instrument user, including rotation, and also to determine the extent of each movement.
  • a dedicated hardware sensor of the conventional type is the fastest and most reliable way to detect head movements.
  • other options for detecting head movements are also available, for example, based on a spatial analysis of the acoustic signals or using additional alternative sensor systems.
  • a head movement detector 14 analyzes the signals from the motion sensor 9 and uses them to determine the direction and extent of head movements.
  • All signals are fed to the focus control 18, which determines the beam width based on the signals. The determined beam width is then fed by the focus control 18 to the beamformer 13 as an input signal.
  • the focus control also controls the mixer 19, which mixes the three previously explained signals (omni, anti, beam) and forwards them to a hearing instrument signal processor 20.
  • the hearing instrument signal processor 20 the acoustic signals are further processed in the manner customary for hearing instruments and amplified, then output to the receiver 8.
  • the receiver 8 generates the acoustic output signal for the hearing instrument user.
  • the focus control 18 is preferably designed as a finite state machine (FSM), the finite states of which will be explained further below.
  • FSM finite state machine
  • the three signals (Omni, Anti, Beam) are mixed by the mixer 19 so that the user receives a natural-sounding spatial signal. This also includes ensuring smooth transitions rather than abrupt ones. Further processing steps take place in the hearing instrument signal processing 20, which primarily serve to compensate for or treat the user's hearing impairment.
  • FIG 4 An exemplary situation is shown schematically. It shows hearing instrument user 1 with left and right hearing instruments 2, 3 in a top view. An acoustic source 21 is located directly in front of user 1, toward which user 1 is looking. The beam of the respective hearing instrument 2, 3 is focused on acoustic source 21 by reducing the beam width to an angle of ⁇ 1. Thus, the additional acoustic source 22 lies outside the beam, but would be within a beam with a beam width of ⁇ 2. The additional acoustic source 23 lies even further outside the beam and is located almost next to user 1.
  • the finite states of the Finite State Machine are explained.
  • the FSM starts in the "Omni" state 40 (no directionality, the mixer outputs the Omni signal), in which the hearing instrument user hears normally and independently of direction. In this state, they are able to localize acoustic sources normally. They can move and turn their head in a normal and natural manner, for example, to search for an acoustic source of interest, such as a speaker.
  • the FSM enters the "Focusing" state 42, and the directionality of the beamformer is gradually increased (the beam width is reduced, and a correspondingly more direction-dependent signal is output to the user). This increases the proportion of the source signal in the beam signal, and the mixer passes on the filtered signal by outputting exclusively or primarily the beam signal.
  • the maximum directionality (minimum beam width) is reached, which corresponds to the previous Figure 5 and Figure 8 If the beam width corresponds to the state described above, the proportion of the source signal of interest in the beam signal cannot be increased any further. The directionality is not further changed (beam width is not further reduced), and the FSM exits loop 43 and enters the "Focused" state 44. In the "Focused" state 44, the automatic beam control continuously monitors the user's head movements using the motion sensor (loop 47). As long as no head movements are detected, the FSM remains in the "Focused" state 44.
  • the system continuously monitors whether any acoustic sources of interest are present outside the beam in the Omni and Anti signals. If a new source is detected, the FSM switches to the "Glimpsing" state 45. In the "Glimpsing" state 45, a small portion of the Omni signal, which contains the potential additional source, is mixed into the output signal for the user by the mixer. This alerts the user that another source is present. If the user does not turn toward this new source, they do not move their head.
  • the automatic focus control detects this with the help of the motion sensor and, after a certain period of time, adjusts the portion of the Omni signal back to zero (fade out), allowing the user to fully concentrate on the focused signal again.
  • the described "glimpsing" is performed every time a new source appears in the acoustic environment or when the acoustic environment changes significantly.
  • the head movement is detected and the focus control immediately switches to the Omni signal, ie the beam width is greatly enlarged and/or the mixer outputs the omni signal additionally or exclusively. This is represented in the figure by element 46.
  • the Omni signal allows the user to survey the acoustic environment with all undistorted spatial cues that are distorted or missing in the beam signal. This allows the user to localize acoustic sources normally. As soon as the user focuses on a different acoustic source, which is similar to the previously explained Figure 7 , the FSM returns to the focusing state 42. Beam focusing then begins again.
  • the method explained above enables a function that closely mimics the human ability to focus on different sources by combining the various beamformer signals with the head movement detector.
  • Head movement is used to provide natural feedback for automatic focusing and rapid defocusing on a target to control the beamformer. Focusing occurs gradually when the user is not moving their head. Defocusing upon head movement, or the transition from the beam signal to the omni-signal, occurs quickly to quickly provide an undistorted signal with all spatial information in the event of changes.
  • the glimpsing function allows the user to remain focused on one source while maintaining an overview of new sources and changes.
  • an acoustic source for example a speaker

Landscapes

  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurosurgery (AREA)
  • Otolaryngology (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Circuit For Audible Band Transducer (AREA)

Description

  • Die Erfindung betrifft ein Verfahren zum Fokussieren eines Beamformers eines Hörinstruments.
  • Hörinstrumente können beispielsweise als am oder im Ohr zu tragende Hörgeräte ausgeführt sein. Ein Hörgerät dient der Versorgung einer hörgeschädigten Person mit akustischen Umgebungssignalen, die zur Kompensation bzw. Therapie der jeweiligen Hörschädigung verarbeitet und verstärkt sind. Es besteht prinzipiell aus einem oder mehreren Eingangswandlern, aus einer Signalverarbeitungseinrichtung, einer Verstärkungseinrichtung, und aus einem Ausgangswandler. Der Eingangswandler ist in der Regel ein Schallempfänger, z.B. ein Mikrofon, und/oder ein elektromagnetischer Empfänger, z.B. eine Induktionsspule. Der Ausgangswandler ist in der Regel als elektroakustischer Wandler, z. B. Miniaturlautsprecher, als elektromechanischer Wandler, z. B. Knochenleitungshörer, oder als Stimulationselektrode zur Cochlea Stimulation realisiert. Er wird auch als Hörer oder Receiver bezeichnet. Der Ausgangswandler erzeugt Ausgangssignale, die zum Gehör des Patienten geleitet werden und beim Patienten eine Hörwahrnehmung erzeugen sollen. Der Verstärker ist in der Regel in die Signalverarbeitungseinrichtung integriert. Die Stromversorgung des Hörgeräts erfolgt durch eine ins Hörgerätegehäuse integrierte Batterie. Die wesentlichen Komponenten eines Hörgeräts sind in der Regel auf einer gedruckten Leiterplatine als Schaltungsträger angeordnet bzw. damit verbunden.
  • Für Hörinstrument-Benutzer ist es außerordentlich schwierig, einen einzelnen Sprecher zu verstehen oder ausschließlich in eine bestimmte Richtung zu hören, insbesondere in problematischen akustischen Umgebungen mit mehreren akustischen Quellen (beispielsweise das sog. Cocktail-Party-Szenario). Um das gerichtete, fokussierte Hören bzw. auch das Sprachverstehen zu verbessern, ist es bekannt, in Hörgeräten sog. Beamformer einzusetzen, um die jeweilige akustische Quelle, z.B. einen Sprecher, zu betonen, indem andere Geräusche weniger verstärkt werden, als das gewünschte akustische Signal. Die Verwendung von Beamformern setzt das Vorhandensein einer direktionalen Mikrofonanordnung voraus, was mindestens zwei Mikrofone in räumlich getrennter Anordnung erfordert. Bereits zwei Mikrofone an einem einzigen Hörinstrument sind ausreichend, um eine direktionale, also räumlich gerichtete Empfindlichkeit der Mikrofonanordnung zu erreichen. Eine Erweiterung der direktionalen Fähigkeiten bei Hörinstrumenten kann dadurch erreicht werden, dass die Mikrofone beider Hörinstrumente eines binauralen Hörsystems zu einer direktionalen Mikrofonanordnung zusammengeschlossen werden. Dies setzt eine, vorzugsweise kabellose, Verbindung (Wireless Link, e2e = Ear-to-Ear) der beiden Hörgeräte voraus.
  • Bei Hörinstrumenten mit direktionaler Mikrofonanordnung und Beamformer besteht das Problem, die Richtung festzulegen, in die der Beamformer gerichtet werden soll, sowie eine optimale Weite, also einen optimalen Öffnungswinkel, des Beams zu finden. Mit anderen Worten besteht das Problem darin, die Raumrichtung zu finden, in welcher die direktionale Mikrofonanordnung die höchste Empfindlichkeit haben soll, sowie den Winkel oder Öffnungswinkel zu finden, über den hinweg die Empfindlichkeit erhöht sein soll. Es liegt auf der Hand, dass eine bessere Direktionalität und Sensitivität dadurch erreicht werden kann, dass der Beam möglichst exakt auf die interessierende akustische Quelle gerichtet und möglichst eng fokussiert ist.
  • Interessierende akustische Quellen können vor allem Sprecher bzw. Sprachsignale sein, es kommt jedoch auch eine Reihe weiterer Möglichkeiten in Frage, beispielsweise Musik oder Hinweissignale.
  • Aus der Druckschrift US 2011/0103620 A1 ist ein Verfahren zur Wiedergabe akustischer Signale mit mehreren Lautsprechern bekannt. Durch geeignete Filterung der einzelnen Lautsprechersignale wird eine gewünschte räumliche Wiedergabecharakteristik eingestellt.
  • Aus der Druckschrift US 2012/0020503 A1 ist ein Hörgerät bekannt, das mit einem Verfahren zur akustischen Quellentrennung arbeitet. Unter Verwendung einer binauralen Mikrofonanordnung wird die räumliche Richtung einer akustischen Quelle ermittelt. Durch eine binaurale Receiver-Anordnung wird sodann ein von der ermittelten Richtung abhängiges akustisches Ausgangssignal erzeugt.
  • Aus der Druckschrift US 2007/0223754 A1 ist ein Hörgerät bekannt, das die räumliche Richtung akustischer Signale ermittelt. Auf Basis der ermittelten räumlich-akustischen Information wird die akustische Umgebung sodann klassifiziert und in Abhängigkeit von der Klassifikation die Transfer-Charakteristik der Signalverarbeitung eingestellt.
  • Aus der Druckschrift US 2010/0074460 A1 ist ein Hörgerät bekannt, das die räumliche Richtung akustischer Quellen ermittelt. Ein Beamformer wird sodann auf eine ermittelte Richtung ausgerichtet, um auf die betreffende akustische Quelle zu fokussieren. Die räumliche Richtung kann unter anderem anhand der Ausrichtung des Kopfes oder Blickrichtung des Benutzers ermittelt werden.
  • Aus der Druckschrift US 2010/0158289 A1 ist ein Hörgerät bekannt, das mit einem Verfahren zur "blinden Quellentrennung" (Blind Source Separation) verschiedener akustischer Quellen arbeitet. Der Benutzer kann durch Betätigen eines Schalters die verschiedenen erkannten Quellen nacheinander anwählen.
  • Aus Hörgeräten des Herstellers Siemens ist unter der Bezeichnung SpeechFocus ein Verfahren bekannt, bei dem die akustische Umgebung automatisch nach Sprachanteilen durchsucht wird. Werden Sprachanteile identifiziert, wird deren räumliche Richtung ermittelt. Sodann wird die Verstärkung akustischer Signale aus dieser Richtung im Vergleich zu Signalen aus anderen Richtungen angehoben.
  • Unter Verwendung der bekannten Verfahren und Vorrichtungen besteht die einfachste Möglichkeit der Beamformung darin, anzunehmen, dass die gewünschte Quelle bzw. der gewünschte Sprecher frontal vor dem Hörinstrument-Benutzer befindlich ist und dass der Beam mithin frontal nach vorne gerichtet sein soll, wobei durch Kopfbewegungen des Benutzers die Beam-Richtung verändert wird. Alternativ dazu kann das Hörinstrument dem Beam mittels eines Algorithmus zur Verarbeitung der Mikrofonsignale unabhängig von der Orientierung des Kopfs in eine gewünschte Richtung richten, wobei die Beam-Richtung beispielsweise durch eine Fernbedienung gesteuert werden kann. Nachteiligerweise kann der Benutzer jedoch Quellen außerhalb des Beams nicht oder kaum hören und somit auch nicht registrieren. Außerdem ist es für den Benutzer wenig angenehm und wenig intuitiv, den Beam per Fernsteuerung steuern zu müssen.
  • Alternativ kann das Hörinstrument die Richtung möglicherweise interessierender akustischer Quellen automatisch analysieren und den Beam automatisch in diese Richtung ausrichten, wie beispielsweise im Verfahren SpeechFocus des Herstellers Siemens. Dies kann jedoch für den Benutzer verwirrend sein, da das Hörinstrument automatisch und möglicherweise unerwartet zwischen verschiedenen Quellen hin- und herspringen kann, ohne Einflussnahme für den Benutzer. Darüber hinaus verändert ein sich laufend adaptierender Beamformer die binauralen "Cues" und erschwert somit für den Benutzer die Lokalisierung der interessierenden Quelle oder macht sie sogar unmöglich.
  • Im Unterschied zur Beam-Richtung ist die Beam-Weite herkömmlich für gewöhnlich konstant oder kann zwischen verschiedenen voreingestellten Öffnungswinkeln vom Benutzer manuell verstellt werden.
  • Aus der Veröffentlichung DE 10 2010 026 381 A1 ist ein Verfahren bekannt, bei dem vor Lokalisierung eine Audioquelle eine Klassifizierung des Audiosignals durchgeführt wird. Die Klassifizierung kann anhand von Merkmalen wie harmonischen Signalanteilen oder der Ausprägung von Formanten vorgenommen werden. Die anschließende Lokalisierung profitiert von der vorangegangenen Klassifizierung.
  • Die Aufgabe der Erfindung besteht darin, eine automatische Adaption der Beam-Weite und/oder der Beam-Richtung zu ermöglichen, die komfortabel und intuitiv genutzt werden kann, die unerwartetes Fokussieren des Beams ohne Zutun des Hörinstrument-Benutzers vermeidet, und die es auf einfache und einfach bedienbare Weise ermöglicht, dem Benutzer auch akustische Quellen außerhalb des Beams zur Kenntnis zu bringen.
  • Diese Aufgabe wird durch ein Verfahren mit den Merkmalen des Anspruchs 1 erfindungsgemäß gelöst.
  • Dabei ist Direktivität eine Eigenschaft des Beamformers, die sich als Maßzahl darstellen lässt, welche je höher ist, je mehr der Beamformer fokussiert ist, das heißt je kleiner der Raumwinkel des Beams ist. Durch Erhöhung der Direktivität eines Beamformers, beispielsweise durch Erhöhen eines der erwähnten Maßzahl entsprechenden Parameters des Beamformers, werden Signale im Beam gegenüber Signalen außerhalb stärker verstärkt. Das beschriebene Verfahren steuert dabei den erwähnten Parameter des Beamformers.
  • Dadurch wird vorteilhaft die richtungsabhängige, direktionale Erfassung akustischer Signale automatisch gestartet, sobald der Benutzer in Richtung einer akustischen Quelle, beispielsweise eines Sprechers, blickt, den Kopf nicht mehr weiter bewegt und die Quelle sodann seinerseits fokussiert, d.h. unverwandt ansieht. Für die Detektion von Kopfbewegungen müssen dabei geeignete Toleranzwerte bzw. Schwellwerte, beispielsweise mindestens 15° Drehung, vorgegeben werden, um unbeabsichtigte oder irrelevante minimale Kopfbewegungen von relevanten Kopfbewegungen zu unterscheiden. Eine manuelle Auslösung des Fokussierens, beispielsweise durch Knopfdruck am Hörinstrument oder mithilfe einer Fernbedienung, ist nicht erforderlich, was wesentlich zu Praktikabilität und Komfort in der Anwendung des Verfahrens beiträgt.
  • Dadurch, dass das Fokussieren anhand einer identifizierten akustischen Quelle gesteuert bzw. beendet wird, wird die Wahrscheinlichkeit erhöht, dass das Verfahren tatsächlich auf eine den Benutzer interessierende Quelle gerichtet fokussiert, und nicht etwa auf einen quellenuriabhängig zufällig gesetzten Fokus-Raumwinkel.
  • Eine vorteilhafte Ausgestaltung besteht in den weiteren Schritten:
    • Identifizieren einer akustischen Quelle im Fokus-Raumwinkel anhand der akustischen Signale aus dem Fokus- Raumwinkel, beispielsweise durch Verwendung eines Frequenz- oder Frequenzspektrum-Kriteriums, eines 4Hz Sprachmodulations-Detektors, eines Bayes Detektors, oder eines Hidden Markov Model Detektors,
    • Ermitteln der räumlichen Richtung, in der sich die akustische Quelle befindet,
    • Zentrieren des Fokus-Raumwinkels In diese Richtung.
  • Durch richtungsmäßiges Ausrichten des Fokus-Raumwinkels wird der Fokus besser auf die den Benutzer interessierende Quelle ausgerichtet. Dies ermöglicht anschließend eine schärfere Fokussierung durch einen engeren Fokus-Raumwinkel und erhöht somit die Direktionalität. Die Erhöhung der Direktionalität wiederum resultiert in einer weiteren Anhebung des interessierenden Quell-Signals.
  • Eine weitere vorteilhafte Ausgestaltung besteht in den weiteren Schritten:
    • Anschließend erfassen weiterer akustischer Signale, die aus anderen Raumwinkeln als dem Fokus-Raumwinkel kommen,
    • Erfassen weiterer akustischer Quellen anhand der weiteren akustischen Signale, beispielsweise durch Verwendung eines Frequenz- oder Frequenzspektrum-Kriteriums, eines 4Hz Sprachmodulations-Detektor, eines Bayes Detektors, oder eines Hidden Markov Model Detektors.
    • Bei Erfassen einer weiteren akustischen Quelle anheben der Verstärkung der weiteren akustischen Signale.
    • Erfassen der räumlichen Orientierung und/oder Position des Kopfs des Hörinstrument-Benutzers nach dem Anheben der Verstärkung der weiteren akustischen Signale,
    • Bei Erfassen des Ausbleibens von Kopfbewegungen innerhalb einer vorbestimmten Zeitdauer nach dem Anheben der Verstärkung der weiteren akustischen Signale wiederabsenken der Verstärkung,
    • Bei Erfassen einer Kopfbewegung innerhalb der vorbestimmten Zeitdauer defokussieren durch Wiedervergrößern des Fokus-Raumwinkels und anschließend Durchführen des Verfahrens nach einem der vorhergehenden Ansprüche.
  • Dadurch wird, während sich das Verfahren im auf eine Quelle fokussierten Stadium befindet, während für die Wahrnehmung des Benutzers also nur die Signale dieser Quelle hervorgehoben werden, der weitere Raum um den Benutzer herum nach weiteren, hinzukommenden Quellen abgesucht. Wird eine solche weitere Quelle gefunden, wird sie für den Benutzer durch Anheben der Verstärkung wahrnehmbar gemacht, der Benutzer wird gleichsam auf das Vorhandensein der weiteren Quelle hingewiesen. Reagiert der Benutzer darauf durch Bewegen oder Drehen des Kopfes, so wird der bisherige Fokus automatisch aufgehoben und es erfolgt eine Neu-Fokussierung. So wird vorteilhaft auch die Neu-Fokussierung automatisch gestartet und braucht nicht manuell ausgelöst zu werden, was weiter zu Praktikabilität und Komfort in der Anwendung des Verfahrens beiträgt.
  • Eine weitere vorteilhafte Ausgestaltung besteht in den weiteren Schritten:
    • Bei Ausbleiben des Erfassens weiterer akustischer Quellen erfassen der räumlichen Orientierung und/oder Position des Kopfs des Hörinstrument-Benutzers,
    • Bei Erfassen einer Kopfbewegung defokussieren durch Wiedervergrößern des Fokus-Raumwinkels oder durch Wechseln von richtungsabhängigem auf richtungsunabhängiges Erfassen von akustischen Signalen.
  • Dadurch wird die Fokussierung automatisch beendet, sobald der Benutzer den Blick von der jeweils gerade fokussierten Quelle abwendet, was weiter zu Praktikabilität und Komfort in der Anwendung des Verfahrens beiträgt.
  • Eine weitere vorteilhafte Ausgestaltung besteht darin, dass das Verfahren nur dann durchgeführt wird, wenn vor dem Erfassen des Ausbleibens von Kopfbewegungen eine Kopfbewegung erfasst wurde. Dadurch wird vermieden, dass beispielsweise eine automatische Fokussierung einsetzt, obwohl der Benutzer sich keiner akustischen Quelle zugewandt hat, beispielsweise weil es sich um eine nicht-akustische Quelle handelt oder weil der Benutzer keiner Quelle seine gesteigerte Aufmerksamkeit widmen möchte.
  • Eine weitere vorteilhafte Ausgestaltung besteht darin, dass das Verfahren nur dann durchgeführt wird, wenn vor dem Fokussieren eine akustische Quelle im Fokus-Raumwinkel erfasst wurde. Damit wird verhindert, dass trotz Fehlens von akustischen Quellen fokussiert wird, was offensichtlich nicht sinnvoll wäre.
  • Weitere Vorteile und Weiterbildungen ergeben sich aus den abhängigen Patentansprüchen und aus der nachfolgenden Beschreibung von Ausführungsbeispielen und Figuren. Es zeigen:
    • Fig 1
    Benutzer mit linkem und rechtem Hörinstrument
    Fig 2
    Hörinstrument samt wesentlicher Komponenten
    Fig 3
    Signalverarbeitungskomponenten des adaptiven Beamformers
    Fig 4
    Benutzer und mehrere akustische Quellen
    Fig 5
    Fokussierter Beam
    Fig 6
    Akustische Quelle außerhalb des Beams
    Fig 7
    Ändern der Beam-Richtung
    Fig 8
    Neu-fokussierter Beam
    Fig 9
    Ablaufdiagramm, Fokussierung und D-Fokussierung
  • In Figur 1 ist schematisch ein Nutzer 1 mit linkem Hörinstrument 2 und rechtem Hörinstrument 3 in Draufsicht dargestellt. Die Mikrofone des linken und rechten Hörinstruments 2, 3 sind jeweils zu einer direktionalen Mikrofonanordnung zusammengeschlossen, so dass die Möglichkeit besteht, den jeweiligen Beam vom Benutzer 1 aus gesehen im Wesentlichen entweder nach vorne oder nach hinten zu richten. Weiter besteht die Möglichkeit, linkes und rechtes Hörinstrument 2, 3 mit einem Wireless Link (e2e) zu verbinden, um eine binaurale Konfiguration mit binauraler Mikrofonanordnung zu ermöglichen. Damit werden im Wesentlichen Richtungen vom Benutzer 1 aus gesehen nach rechts und links als weitere Beam-Richtungen der Anordnung ermöglicht. Die automatische Fokussierung des Beams kann sowohl für jedes monaurale Hörinstrument einzeln (vorne/hinten) als auch für die binaurale Anordnung (rechts/links) gemeinsam erfolgen.
  • In Figur 2 sind das linke und rechte Hörinstrument 2, 3 samt der wesentlichen Signalverarbeitungskomponenten schematisch dargestellt. Die Hörinstrumente 2, 3 sind gleich aufgebaut und unterscheiden sich ggf. in ihrer äußeren Form, um der jeweiligen Verwendung am linken oder rechten Ohr Rechnung zu tragen. Das linke Hörinstrument 2 umfasst zwei Mikrofone 4, 5, die räumlich getrennt angeordnet sind und gemeinsam eine direktionale Mikrofonanordnung bilden. Die Signale der Mikrofone 4, 5 werden durch eine Signalverarbeitungseinrichtung 11 verarbeitet, die ein Ausgangssignal über den Receiver 8 abgibt. Eine Batterie 10 dient der Energieversorgung des Hörinstruments 2. Zusätzlich ist ein Bewegungssensor 9 vorgesehen, dessen Funktion bei der automatischen Fokussierung weiter unten erläutert werden soll. Das rechte Hörinstrument 3 umfasst die Mikrofone 6, 7, die ebenfalls zu einer direktionalen Mikrofonanordnung zusammengeschlossen sind. Bezüglich der weiteren Komponenten wird auf die vorangehende Beschreibung verwiesen.
  • In Figur 3 sind die wesentlichen Signalverarbeitungskomponenten des automatisch fokussierenden Beamformers schematisch dargestellt. Die Signale der Mikrofone 4, 5 des linken Hörinstruments 2 werden vom Beamformer so verarbeitet, dass ein vom Benutzer aus gesehen gerade frontal nach vorne gerichteter Beam entsteht (0°, "Broadside"), der eine variable Beam-Weite aufweist. Die variable Beam-Weite ist gleichbedeutend mit einer variablen Direktionalität (kleinere Beam-Weite bedeutet höhere Direktionalität und umgekehrt, wobei höhere Direktionalität gleichbedeutend mit größerer Richtungsabhängigkeit ist). Der Beamformer ist auf herkömmliche Art und Weise aufgebaut, beispielsweise als Anordnung fester Beamformer, als Gemisch eines festen Beamformers mit einem richtungsunabhängigen Omni-Signal, als Beamformer mit variabler Beam-Weite, etc.
  • Ausgangssignale des Beamformers 13 sind das gewünschte Beam-Signal, das sämtliche akustischen Signale aus Richtung des Beams enthält, das richtungsunabhängige Omni-Signal (das sämtliche akustischen Quellen in allen Richtungen mit unterverfälschten binauralen Cues beinhaltet) und das Anti-Signal, das sämtliche akustischen Signale aus Richtungen außerhalb des Beams enthält.
  • Die drei Signale werden dem Mixer 19 zugeführt, und parallel den Quellen-Detektoren 15, 16, 17. Die Quellen-Detektoren 15, 16, 17 ermitteln laufend die Wahrscheinlichkeit (oder ein vergleichbares Maß) davon, dass eine interessierende akustische Quelle, beispielsweise eine Sprachquelle, in den drei Signalen vorhanden ist.
  • Der Bewegungssensor 9 hat die Aufgabe, Kopfbewegungen des Hörinstruments-Benutzers zu erfassen, beispielsweise auch Rotation, und zudem ein Maß für die Weite der jeweiligen Bewegung zu ermitteln. Ein dedizierter Hardware-Sensor herkömmlicher Art ist die schnellste und verlässlichste Möglichkeit, um Kopfbewegungen zu detektieren. Allerdings stehen andere Möglichkeiten, Kopfbewegungen zu detektieren, ebenfalls zur Verfügung, beispielsweise basierend auf einer räumlichen Analyse der akustischen Signale, oder unter Verwendung zusätzlicher alternativer Sensor-Systeme. Ein Kopfbewegungsdetektor 14 analysiert die Signale des Bewegungssensors 9 und ermittelt daraus Richtung und Maß von Kopfbewegungen.
  • Sämtliche Signale werden der Fokussteuerung 18 zugeführt, die in Abhängigkeit der Signale die Beam-Weite ermittelt. Die ermittelte Beam-Weite wird von der Fokussteuerung 18 daraufhin dem Beamformer 13 als Eingangssignal zugeführt. Weiter steuert die Fokussteuerung neben der Beam-Weite auch den Mixer 19, der die vorangehend erläuterten drei Signale (Omni, Anti, Beam) mischt und an eine Hörinstrumentsignalverarbeitung 20 weiterleitet. In der Hörinstrument-Signalverarbeitung 20 werden die akustischen Signale in der für Hörinstrumente üblichen Weise weiterverarbeitet und verstärkt an den Receiver 8 ausgegeben. Der Receiver 8 erzeugt das akustische Ausgangssignal für den Hörinstrument-Benutzer.
  • Die Fokussteuerung 18 ist vorzugsweise als Finite-State-Machine (FSM) ausgeführt, deren finite Zustände weiter unten erläutert werden sollen.
  • Die drei Signale (Omni, Anti, Beam) werden vom Mixer 19 so gemixt, dass der Benutzer ein natürlich klingendes räumliches Signal erhält. Dazu gehört auch, dass keine abrupten Übergänge stattfinden, sondern sanfte Übergänge. In der Hörinstrument-Signalverarbeitung 20 finden die weiteren Verarbeitungsschritte statt, die insbesondere einer Kompensation oder Therapie einer Hörschädigung des Benutzers dienen.
  • In Figur 4 ist eine beispielhafte Situation schematisch dargestellt. Dargestellt ist der Hörinstrument-Benutzer 1 mit linkem und rechtem Hörinstrument 2, 3 in Draufsicht. Frontal vor dem Benutzer 1 befindet sich eine akustische Quelle 21, in deren Richtung der Benutzer 1 blickt. Der Beam des jeweiligen Hörinstruments 2, 3 ist auf die akustische Quelle 21 fokussiert, in dem die Beam-Weite auf den Winkel α1 verringert wurde. Somit liegt die weitere akustische Quelle 22 außerhalb des Beams, würde jedoch innerhalb eines Beams mit der Beam-Weite α2 liegen. Die weitere akustische Quelle 23 liegt noch weiter außerhalb des Beams und befindet sich nahezu neben dem Benutzer 1.
  • In Figur 5 bis 8 wird die Funktionsweise des automatischen Fokussierens des Beams schematisch erläutert. In Figur 5 ist der Beam mit der Weite β auf die akustische Quelle 21 fokussiert. In Figur 6 bewegt der Benutzer den Kopf weg von der Quelle 21 und hin zur Quelle 23. Die Kopfbewegung wird durch die automatische Fokussteuerung (bzw. durch den Bewegungssensor) detektiert. Die automatische Fokussteuerung defokussiert den Beam daraufhin, indem auf das Signal Omni umgestellt wird. Wahlweise kann auch dadurch defokussiert werden, dass die Beam-Weite auf einen vorgegebenen, erheblich größeren Öffnungswinkel als im fokussierten Zustand eingestellt wird.
  • In Figur 7 hat der Benutzer 1 den Kopf vollständig zur akustischen Quelle 23 gewendet. Die Kopfbewegung endet und der Benutzer 1 blickt zur Quelle 23. Das Ende der Kopfbewegung wird detektiert, woraufhin die automatische Fokussierung des Beams auf die Quelle 23 beginnt. Dabei wird ggf. vom richtungsunabhängigen Omni-Signal auf das richtungsabhängige Beam-Signal umgestellt und/oder die stark erhöhte Beam-Weite nach und nach reduziert. Die Beam-Weite wird solange reduziert, bis die Signalquelle 23 voll fokussiert ist. Weitere Reduzierung der Beam-Weite führt dazu, dass die Quelle nicht mehr vollständig innerhalb des Beams liegt, sodass das Signal der Quelle 23 bzw. dessen Anteil im Beam-Signal abnimmt. Die Fokussierung des Beams, d.h. die Reduzierung des Öffnungswinkels des Beams, wird beendet, sobald die Quelle 23 scharf fokussiert ist, was beim in der Figur 8 eingezeichneten Winkel β der Fall ist. Eine möglicherweise darüber hinausgegangene Reduzierung des Beam-Winkels wird wieder rückgängig gemacht.
  • In Figur 9 sind die finiten Zustände der Finite State Machine (FSM) erläutert. Die FSM startet im Zustand "Omni" 40 (keine Direktionalität, der Mixer gibt das Signal Omni aus), indem der Hörinstrument-Benutzer normal und richtungsunabhängig hört. Er ist in diesem Zustand in der Lage, akustische Quellen normal zu lokalisieren. Er kann seinen Kopf in normaler und natürlicher Weise bewegen und drehen, um beispielsweise nach einer interessierenden akustischen Quelle, etwa einem Sprecher, zu suchen.
  • Sobald der Benutzer seine Aufmerksamkeit einer Quelle zuwendet und sich auf diese Quelle konzentriert, wendet er den Kopf in Richtung dieser Quelle und bewegt seinen Kopf dann nicht mehr. Die Schleife 41 wird verlassen. Stattdessen geht die FSM in den Zustand "Fokussieren" 42 über und die Direktionalität des Beamformers wird nach und nach vergrößert (die Beam-Weite wird reduziert und ein entsprechend stärker richtungsabhängiges Signal an den Benutzer ausgegeben). Damit wächst der Anteil des Signals der Quelle im Beam-Signal und der Mixer gibt das derart gefilterte Signal weiter, indem er ausschließlich oder hauptsächlich das Signal Beam ausgibt.
  • Sobald die maximale Direktionalität (minimale Beam-Weite) erreicht ist, was dem vorangehend in Figur 5 und Figur 8 beschriebenen Zustand entspricht, kann der Anteil des interessierenden Quellsignals im Beam-Signal nicht weiter erhöht werden. Die Direktionalität wird nicht weiter verändert (Beam-Weite nicht weiter verringert) und die FSM verlässt die Schleife 43 und wechselt in den Zustand "Fokussiert" 44. Im Zustand "Fokussiert" 44 überwacht die automatische Beam-Steuerung laufend mithilfe des Bewegungssensors Kopfbewegungen des Benutzers (Schleife 47). Solange keine Kopfbewegungen detektiert werden, bleibt die FSM im Zustand "Fokussiert" 44.
  • Weiter wird laufend überwacht, ob außerhalb des Beams in den Signalen Omni und Anti möglicherweise interessierende akustische Quellen vorhanden sind. Wird eine neue Quelle entdeckt, wechselt die FSM in den Zustand "Glimpsing" 45. Im Zustand "Glimpsing" 45 wird ein geringer Anteil des Omni-Signals, das die mögliche weitere Quelle enthält, vom Mixer in das Ausgangssignal für den Benutzer beigemischt. Dadurch registriert der Benutzer, dass eine weitere Quelle vorhanden ist. Wenn der Benutzer sich dieser neuen Quelle nicht zuwendet, bewegt er seinen Kopf nicht. Die automatische Fokussteuerung stellt dies mit Hilfe des Bewegungssensors fest und regelt den Anteil des Omni-Signals nach einer bestimmten Zeitdauer wieder auf null zurück (fade out), so dass der Benutzer sich wieder voll auf fokussierte Signal konzentrieren kann. Das beschriebene "Glimpsing" wird jedes Mal durchgeführt, wenn eine neue Quelle in der akustischen Umgebung auftaucht oder wenn die akustische Umgebung sich signifikant verändert.
  • Bewegt der Benutzer seinen Kopf jedoch, weil er ein neues Signal fokussieren will oder einfach die akustische Umgebung überblicken will, was in der vorangehenden Figur 6 dargestellt ist, wird die Kopfbewegung detektiert und die Fokussteuerung schaltet sofort auf das Omni-Signal um, d.h. die Beam-Weite wird wieder stark vergrößert und/oder der Mixer gibt zusätzlich oder ausschließlich das Omni-Signal aus. Dies ist in der Abbildung durch Element 46 wiedergegeben.
  • Das Omni-Signal ermöglicht es dem Benutzer, die akustische Umgebung mit allen unverzerrten räumlichen Cues zu überblicken, die im Beam-Signal verzerrt sind oder fehlen. Dies ermöglicht dem Benutzer die normale Lokalisierung akustischer Quellen. Sobald der Benutzer sich auf eine andere akustische Quelle konzentriert, was der vorangehend erläuterten Figur 7 entspricht, geht die FSM erneut in den Zustand Fokussing 42 über. Damit beginnt die Beam-Fokussierung erneut.
  • Es versteht sich von selbst, dass für eine angenehme akustische Wahrnehmung des Benutzers sämtliche Zustände sowohl der Beam-Fokussierung als auch des Mixers sanft und ohne plötzliche Schritte gewechselt werden.
  • Das vorangehend erläuterte Verfahren ermöglicht durch die Kombination der verschiedenen Beamformer-Signale mit dem Kopfbewegungs-Detektor eine Funktion, die eng an die menschliche Weise angelehnt ist, sich verschiedene Quellen zu konzentrieren. Dabei wird die Kopfbewegung genutzt, um ein natürliches Feedback für das automatische Fokussieren und schnelle Defokussieren auf ein Ziel genutzt, um den Beamformer zu steuern. Die Fokussierung erfolgt nach und nach, wenn der Benutzer seinen Kopf nicht bewegt. Die Defokussierung bei Kopfbewegung bzw. der Übergang vom Beam-Signal ins Omni-Signal erfolgt schnell, um bei Veränderungen schnell ein unverzerrtes Signal mit allen räumlichen Informationen zur Verfügung zu haben. Die Funktion des Glimpsing gibt dem Benutzer die Möglichkeit, einerseits auf eine Quelle konzentriert zu bleiben, andererseits jedoch den Überblick über neue Quellen und Veränderungen zu erhalten.
  • Ein Grundgedanke der Erfindung lässt sich wie folgt zusammenfassen: Die Erfindung betrifft ein Verfahren zum Fokussieren eines Beamformers eines Hörinstruments. Die Aufgabe der Erfindung besteht darin, eine automatische Adaption der Beam-Weite und/oder der Beam-Richtung zu ermöglichen, die komfortabel und intuitiv genutzt werden kann. Ein Grundgedanke der Erfindung besteht in einem Verfahren zum Fokussieren eines Beamformers eines Hörinstruments umfassend die Schritte:
    • Erfassen der räumlichen Orientierung und/oder Position des Kopfs des Hörinstrument-Benutzers,
    • Bei Erfassen des Ausbleibens von Kopfbewegungen richtungsabhängiges erfassen von akustischen Signalen,
    • Danach anheben der Verstärkung akustischer Signale, die aus einem Fokus-Raumwinkel vor dem Kopf des Hörinstrument-Benutzers kommen, gegenüber akustischen Signalen aus anderen Raumwinkeln, und dadurch Aktivieren oder Erhöhen der Direktivität,
    • Danach nach und nach fokussieren durch verringern des Fokus-Raumwinkels, und dadurch Erhöhen der Direktivität, solange, bis der Pegel akustischer Signale aus dem Fokus-Raumwinkel, eigentlich die Präsenz der gewünschten Signale im Fokus-Raumwinkel (rein theoretisch die Wahrscheinlichkeit, dass das gewünschte Signal im Fokus-Raumwinkel präsent ist), aufgrund der Verringerung des Fokus-Raumwinkels abnimmt.
  • Dadurch wird vorteilhaft die richtungsabhängige, direktionale Erfassung akustischer Signale automatisch gestartet, sobald der Benutzer in Richtung einer akustischen Quelle, beispielsweise eines Sprechers, blickt und die Quelle sodann unverwandt ansieht.

Claims (9)

  1. Verfahren zum Fokussieren eines Beamformers (13) eines Hörinstruments (2, 3) umfassend die Schritte:
    - Erfassen der räumlichen Orientierung und/oder Position des Kopfs des Hörinstrument-Benutzers (1),
    - Erfassen von Bewegungen des Kopfes des Hörinstrument-Benutzers (1) durch einen Bewegungssensor (9) oder basierend auf einer räumlichen Analyse von akustischen Signalen,
    - Richtungsabhängiges Erfassen von akustischen Signalen, wenn der Hörinstrument-Benutzer (1) den Kopf in Richtung einer Quelle eines akustischen Signals (21) bewegt hat und den Kopf nicht mehr weiter bewegt,
    - Danach Anheben der Verstärkung akustischer Signale, die aus einem Fokus-Raumwinkel (α1, α2, β) frontal vor dem Kopf des Hörinstrument-Benutzers (1), in welche Richtung der Hörinstrument-Benutzer (1) blickt, kommen, gegenüber akustischen Signalen aus anderen Raumwinkeln,
    - Danach nach und nach Fokussieren durch Verringern des Fokus-Raumwinkels (α2) solange, bis der Pegel akustischer Signale aus dem Fokus-Raumwinkel (α2) aufgrund der Verringerung des Fokus-Raumwinkels (α2) abnimmt und ein minimaler Fokus-Raumwinkel (α1, β) erreicht ist.
  2. Verfahren nach Anspruch 1 umfassend den weiteren Schritt:
    - Identifizieren der akustischen Quelle (21) im Fokus-Raumwinkel (α2) anhand der akustischen Signale aus dem Fokus-Raumwinkel (α2).
  3. Verfahren nach Anspruch 2, umfassend den weiteren Schritt:
    - Fokussieren solange, bis der Pegel akustischer Signale der akustischen Quelle (21) im Fokus-Raumwinkel (α2) aufgrund der Verringerung des Fokus-Raumwinkels (α2) abnimmt.
  4. Verfahren nach Anspruch 2 oder 3 umfassend die weiteren Schritte:
    - Ermitteln der räumlichen Richtung, in der sich die akustische Quelle (21) befindet,
    - Zentrieren des Fokus-Raumwinkels (α2) in diese Richtung.
  5. Verfahren nach einem der vorhergehenden Ansprüche umfassend die weiteren Schritte:
    - Anschließend erfassen weiterer akustischer Signale, die aus anderen Raumwinkeln (γ) als dem Fokus-Raumwinkel (α2) kommen,
    - Erfassen weiterer akustischer Quellen (23) anhand der weiteren akustischen Signale.
  6. Verfahren nach Anspruch 5 umfassend die weiteren Schritte:
    - Bei Erfassen einer weiteren akustischen Quelle (23) anheben der Verstärkung der weiteren akustischen Signale.
    - Erfassen der räumlichen Orientierung und/oder Position des Kopfs des Hörinstrument-Benutzers (1) nach dem Anheben der Verstärkung der weiteren akustischen Signale,
    - Bei Erfassen des Ausbleibens von Kopfbewegungen innerhalb einer vorbestimmten Zeitdauer nach dem Anheben der Verstärkung der weiteren akustischen Signale wiederabsenken der Verstärkung,
    - Bei Erfassen einer Kopfbewegung innerhalb der vorbestimmten Zeitdauer Defokussieren durch Wiedervergrößern des Fokus-Raumwinkels (α2) und anschließend Durchführen des Verfahrens nach einem der vorhergehenden Ansprüche.
  7. Verfahren nach Anspruch 5 umfassend die weiteren Schritte:
    - Bei Ausbleiben des Erfassens weiterer akustischer Quellen (23) erfassen der räumlichen Orientierung und/oder Position des Kopfs des Hörinstrument-Benutzers (1),
    - Bei Erfassen einer Kopfbewegung defokussieren durch Wiedervergrößern des Fokus-Raumwinkels (α2) oder durch Wechseln von richtungsabhängigem auf richtungsunabhängiges Erfassen von akustischen Signalen.
  8. Verfahren nach einem der vorhergehenden Ansprüche, wobei das Verfahren nur dann durchgeführt wird, wenn vor dem Erfassen des Ausbleibens von Kopfbewegungen eine Kopfbewegung erfasst wurde.
  9. Verfahren nach einem der vorhergehenden Ansprüche, wobei das Verfahren nur dann durchgeführt wird, wenn vor dem Fokussieren eine akustische Quelle (21) im Fokus-Raumwinkel (α2) erfasst wurde.
EP13167409.5A 2012-06-06 2013-05-13 Verfahren zum Fokussieren eines Hörinstruments-Beamformers Active EP2672732B2 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201261656110P 2012-06-06 2012-06-06
DE102012214081A DE102012214081A1 (de) 2012-06-06 2012-08-08 Verfahren zum Fokussieren eines Hörinstruments-Beamformers

Publications (4)

Publication Number Publication Date
EP2672732A2 EP2672732A2 (de) 2013-12-11
EP2672732A3 EP2672732A3 (de) 2014-07-16
EP2672732B1 EP2672732B1 (de) 2016-07-27
EP2672732B2 true EP2672732B2 (de) 2025-09-10

Family

ID=49625951

Family Applications (1)

Application Number Title Priority Date Filing Date
EP13167409.5A Active EP2672732B2 (de) 2012-06-06 2013-05-13 Verfahren zum Fokussieren eines Hörinstruments-Beamformers

Country Status (5)

Country Link
US (1) US8867763B2 (de)
EP (1) EP2672732B2 (de)
CN (1) CN103475974B (de)
DE (1) DE102012214081A1 (de)
DK (1) DK2672732T4 (de)

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102012214081A1 (de) 2012-06-06 2013-12-12 Siemens Medical Instruments Pte. Ltd. Verfahren zum Fokussieren eines Hörinstruments-Beamformers
US9124990B2 (en) * 2013-07-10 2015-09-01 Starkey Laboratories, Inc. Method and apparatus for hearing assistance in multiple-talker settings
EP3097702A1 (de) * 2014-01-24 2016-11-30 Bragi GmbH Multifunktionskopfhörersystem für sportliche aktivitäten
EP2928210A1 (de) 2014-04-03 2015-10-07 Oticon A/s Binaurales Hörgerätesystem mit binauraler Rauschunterdrückung
CN103901401B (zh) * 2014-04-10 2016-08-17 北京大学深圳研究生院 一种基于双耳匹配滤波器的双耳声音源定位方法
WO2015154282A1 (zh) * 2014-04-10 2015-10-15 华为终端有限公司 一种通话设备及应用于通话设备的切换方法、装置
US9961456B2 (en) 2014-06-23 2018-05-01 Gn Hearing A/S Omni-directional perception in a binaural hearing aid system
CN106686185B (zh) * 2014-06-30 2019-07-19 歌尔科技有限公司 提高免提通话设备通话质量的方法、装置和免提通话设备
WO2016118656A1 (en) * 2015-01-21 2016-07-28 Harman International Industries, Incorporated Techniques for amplifying sound based on directions of interest
US10499164B2 (en) * 2015-03-18 2019-12-03 Lenovo (Singapore) Pte. Ltd. Presentation of audio based on source
CN106162427B (zh) * 2015-03-24 2019-09-17 青岛海信电器股份有限公司 一种声音获取元件的指向性调整方法和装置
DE102015211747B4 (de) * 2015-06-24 2017-05-18 Sivantos Pte. Ltd. Verfahren zur Signalverarbeitung in einem binauralen Hörgerät
WO2017016587A1 (en) * 2015-07-27 2017-02-02 Sonova Ag Clip-on microphone assembly
DE102015219572A1 (de) 2015-10-09 2017-04-13 Sivantos Pte. Ltd. Verfahren zum Betrieb einer Hörvorrichtung und Hörvorrichtung
EP3411873B1 (de) * 2016-02-04 2022-07-13 Magic Leap, Inc. Verfahren zum lenken von audio in einem system der erweiterten realität
US11445305B2 (en) * 2016-02-04 2022-09-13 Magic Leap, Inc. Technique for directing audio in augmented reality system
EP3270608B1 (de) * 2016-07-15 2021-08-18 GN Hearing A/S Hörgerät mit adaptiver verarbeitung und zugehöriges verfahren
IL288137B2 (en) 2017-02-28 2023-09-01 Magic Leap Inc Virtual and real object registration in a mixed reality device
WO2019084214A1 (en) * 2017-10-24 2019-05-02 Whisper.Ai, Inc. AUDIO SEPARATION AND RECOMBINATION FOR INTELLIGIBILITY AND COMFORT
US10536785B2 (en) * 2017-12-05 2020-01-14 Gn Hearing A/S Hearing device and method with intelligent steering
DE102018206979A1 (de) 2018-05-04 2019-11-07 Sivantos Pte. Ltd. Verfahren zum Betrieb eines Hörgeräts und Hörgerät
US11089402B2 (en) * 2018-10-19 2021-08-10 Bose Corporation Conversation assistance audio device control
US10795638B2 (en) 2018-10-19 2020-10-06 Bose Corporation Conversation assistance audio device personalization
EP3672280B1 (de) 2018-12-20 2023-04-12 GN Hearing A/S Hörgerät mit beschleunigungsbasierter strahlformung
EP3687188B1 (de) * 2019-01-25 2022-04-27 ams AG Audiosystem mit rauschunterdrückung und verfahren zur anpassung einer zieltransferfunktion eines audiosystems mit rauschunterdrückung
US10798499B1 (en) 2019-03-29 2020-10-06 Sonova Ag Accelerometer-based selection of an audio source for a hearing device
TWI725668B (zh) * 2019-12-16 2021-04-21 陳筱涵 注意力集中輔助系統
DE102020202483A1 (de) 2020-02-26 2021-08-26 Sivantos Pte. Ltd. Hörsystem mit mindestens einem im oder am Ohr des Nutzers getragenen Hörinstrument sowie Verfahren zum Betrieb eines solchen Hörsystems
DE102020207586B4 (de) * 2020-06-18 2025-05-08 Sivantos Pte. Ltd. Hörsystem mit mindestens einem am Kopf des Nutzers getragenen Hörinstrument sowie Verfahren zum Betrieb eines solchen Hörsystems
US11482238B2 (en) 2020-07-21 2022-10-25 Harman International Industries, Incorporated Audio-visual sound enhancement
EP4226370A4 (de) 2020-10-05 2024-08-21 The Trustees of Columbia University in the City of New York Systeme und verfahren zur trennung von gehirninformierter sprache
JP7567345B2 (ja) * 2020-10-09 2024-10-16 ヤマハ株式会社 音信号処理方法および音信号処理装置
JP7567344B2 (ja) 2020-10-09 2024-10-16 ヤマハ株式会社 音信号処理方法および音信号処理装置
CN113938804A (zh) * 2021-09-28 2022-01-14 武汉左点科技有限公司 一种范围性助听方法及装置
DE102022201706B3 (de) 2022-02-18 2023-03-30 Sivantos Pte. Ltd. Verfahren zum Betrieb eines binauralen Hörvorrichtungssystems und binaurales Hörvorrichtungssystem
CN115620727B (zh) * 2022-11-14 2023-03-17 北京探境科技有限公司 音频处理方法、装置、存储介质及智能眼镜
DE102024203743A1 (de) * 2024-04-22 2025-10-23 Sivantos Pte. Ltd. Verfahren zur direktionalen Signalverarbeitung für ein Hörinstrument

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5964994A (ja) † 1982-10-05 1984-04-13 Matsushita Electric Ind Co Ltd マイクロホン装置
US5473701A (en) † 1993-11-05 1995-12-05 At&T Corp. Adaptive microphone array
US20100074460A1 (en) † 2008-09-25 2010-03-25 Lucent Technologies Inc. Self-steering directional hearing aid and method of operation thereof
EP2672732A2 (de) † 2012-06-06 2013-12-11 Siemens Medical Instruments Pte. Ltd. Verfahren zum Fokussieren eines Hörinstruments-Beamformers

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ATE331417T1 (de) 2000-04-04 2006-07-15 Gn Resound As Eine hörprothese mit automatischer hörumgebungsklassifizierung
US20040175008A1 (en) 2003-03-07 2004-09-09 Hans-Ueli Roeck Method for producing control signals, method of controlling signal and a hearing device
DE10351509B4 (de) * 2003-11-05 2015-01-08 Siemens Audiologische Technik Gmbh Hörgerät und Verfahren zur Adaption eines Hörgeräts unter Berücksichtigung der Kopfposition
EP1946610A2 (de) * 2005-11-01 2008-07-23 Koninklijke Philips Electronics N.V. Hearing aid comprising sound tracking means
DE102007005861B3 (de) * 2007-02-06 2008-08-21 Siemens Audiologische Technik Gmbh Hörvorrichtung mit automatischer Ausrichtung des Richtmikrofons und entsprechendes Verfahren
US8509454B2 (en) * 2007-11-01 2013-08-13 Nokia Corporation Focusing on a portion of an audio scene for an audio signal
JP5139577B2 (ja) 2008-04-09 2013-02-06 フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ フィルタ特性を生成する装置および方法
EP2200341B1 (de) 2008-12-16 2015-02-25 Siemens Audiologische Technik GmbH Verfahren zum Betrieb eines Hörhilfegerätes sowie Hörhilfegerät mit einer Quellentrennungseinrichtung
US8670583B2 (en) 2009-01-22 2014-03-11 Panasonic Corporation Hearing aid system
DK2360943T3 (da) * 2009-12-29 2013-07-01 Gn Resound As Beamforming i høreapparater
US9113247B2 (en) * 2010-02-19 2015-08-18 Sivantos Pte. Ltd. Device and method for direction dependent spatial noise reduction
DE102010026381A1 (de) 2010-07-07 2012-01-12 Siemens Medical Instruments Pte. Ltd. Verfahren zum Lokalisieren einer Audioquelle und mehrkanaliges Hörsystem
US8989413B2 (en) * 2011-09-14 2015-03-24 Cochlear Limited Sound capture focus adjustment for hearing prosthesis

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5964994A (ja) † 1982-10-05 1984-04-13 Matsushita Electric Ind Co Ltd マイクロホン装置
US5473701A (en) † 1993-11-05 1995-12-05 At&T Corp. Adaptive microphone array
US20100074460A1 (en) † 2008-09-25 2010-03-25 Lucent Technologies Inc. Self-steering directional hearing aid and method of operation thereof
EP2672732A2 (de) † 2012-06-06 2013-12-11 Siemens Medical Instruments Pte. Ltd. Verfahren zum Fokussieren eines Hörinstruments-Beamformers

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HOFFMAN ET AL.: "Constrained Optimum Filtering for Multi-Microphone digital hearing aids", CONFERENCE RECORD TWENTY-FOURTH ASILOMAR CONFERENCE ON SIGNALS, SYSTEMS AND COMPUTERS, 1990, pages 28 - 32, XP032290890 †
PETERSON ET AL.: "Multimicrophone adaptive beamforming for interference reduction in hearing aids", JOURNAL OF REHABILITATION RESEARCH AND DEVELOPMENT, vol. 24, no. 4, 1987, pages 103 - 110, XP055376583 †

Also Published As

Publication number Publication date
EP2672732A2 (de) 2013-12-11
EP2672732B1 (de) 2016-07-27
DK2672732T4 (da) 2025-10-06
DE102012214081A1 (de) 2013-12-12
CN103475974B (zh) 2016-07-27
DK2672732T3 (da) 2016-11-28
CN103475974A (zh) 2013-12-25
EP2672732A3 (de) 2014-07-16
US20130329923A1 (en) 2013-12-12
US8867763B2 (en) 2014-10-21

Similar Documents

Publication Publication Date Title
EP2672732B2 (de) Verfahren zum Fokussieren eines Hörinstruments-Beamformers
EP1589784B1 (de) Hörhilfegerät mit einer Bedieneinrichtung
EP1307072B1 (de) Verfahren zum Betrieb eines Hörgerätes sowie Hörgerät
EP1489885B1 (de) Verfahren zum Betrieb eines Hörhilfegerätes sowie Hörhilfegerät mit einem Mikrofonsystem, bei dem unterschiedliche Richtcharakteristiken einstellbar sind
DE102007008738A1 (de) Verfahren zur Verbesserung der räumlichen Wahrnehmung und entsprechende Hörvorrichtung
EP1489884B1 (de) Verfahren zum Betrieb eines Hörhilfegerätes sowie Hörhilfegerät mit einem Mikrofonsystem, bei dem unterschiedliche Richtcharakteristiken einstellbar sind
DE102013215131A1 (de) Verfahren zur Verfolgung einer Schallquelle
EP2182741B1 (de) Hörvorrichtung mit spezieller Situationserkennungseinheit und Verfahren zum Betreiben einer Hörvorrichtung
DE10133126A1 (de) Richtungssensitives Audioaufnahmesystem mit Anzeige von Aufnahmegebiet und/oder Störquelle
EP3926981A1 (de) Hörsystem mit mindestens einem am kopf des nutzers getragenen hörinstrument sowie verfahren zum betrieb eines solchen hörsystems
EP2373062A2 (de) Duales Einstellverfahren für ein Hörsystem
EP1432282A2 (de) Verfahren zum Anpassen eines Hörgerätes an eine momentane akustische Umgebungssituation und Hörgerätesystem
EP1881738B1 (de) Verfahren zum Betrieb eines Hörgerätes und Anordnung mit einem Hörgerät
EP2658289B1 (de) Verfahren zum Steuern einer Richtcharakteristik und Hörsystem
EP3926983B1 (de) Hörsystem mit mindestens einem am kopf des nutzers getragenen hörinstrument sowie verfahren zum betrieb eines solchen hörsystems
EP4149121A1 (de) Verfahren zum betrieb eines hörgeräts
DE102022201706B3 (de) Verfahren zum Betrieb eines binauralen Hörvorrichtungssystems und binaurales Hörvorrichtungssystem
WO2004100609A1 (de) System zur ortssensitiven wiedergabe von audiosignalen
DE102019201879B3 (de) Verfahren zum Betrieb eines Hörsystems und Hörsystem
DE102018208502B3 (de) Anpassung von Hörgeräteparametern mittels Ultraschall-Signalgeber
EP2592850B1 (de) Automatisches Aktivieren und Deaktivieren eines binauralen Hörsystems
DE102005019604B4 (de) Aktiv-Richtlautsprecher zum Beschallen einer Hörzone und Verfahren zum automatischen Anpassen der Wiedergabelautstärke eines einer Hörzone zugeordneten Richtlautsprechers
DE102013219636A1 (de) Vorrichtung und verfahren zur überlagerung eines schallsignals
DE102015219582A1 (de) Verfahren zum Betrieb eines Hörgerätesystems und Hörgerätesystem
EP2169984A2 (de) Hörhilfegerät mit einem Richtmikrofonsystem sowie Verfahren zum Betrieb eines derartigen Hörhilfegerätes

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

AK Designated contracting states

Kind code of ref document: A2

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

PUAL Search report despatched

Free format text: ORIGINAL CODE: 0009013

AK Designated contracting states

Kind code of ref document: A3

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

RIC1 Information provided on ipc code assigned before grant

Ipc: H04R 25/00 20060101AFI20140606BHEP

17P Request for examination filed

Effective date: 20141120

RBV Designated contracting states (corrected)

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

17Q First examination report despatched

Effective date: 20150611

RAP1 Party data changed (applicant data changed or rights of an application transferred)

Owner name: SIVANTOS PTE. LTD.

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

INTG Intention to grant announced

Effective date: 20160309

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE PATENT HAS BEEN GRANTED

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

REG Reference to a national code

Ref country code: GB

Ref legal event code: FG4D

Free format text: NOT ENGLISH

REG Reference to a national code

Ref country code: CH

Ref legal event code: EP

REG Reference to a national code

Ref country code: CH

Ref legal event code: NV

Representative=s name: E. BLUM AND CO. AG PATENT- UND MARKENANWAELTE , CH

Ref country code: AT

Ref legal event code: REF

Ref document number: 816653

Country of ref document: AT

Kind code of ref document: T

Effective date: 20160815

REG Reference to a national code

Ref country code: IE

Ref legal event code: FG4D

Free format text: LANGUAGE OF EP DOCUMENT: GERMAN

REG Reference to a national code

Ref country code: DE

Ref legal event code: R096

Ref document number: 502013003857

Country of ref document: DE

REG Reference to a national code

Ref country code: LT

Ref legal event code: MG4D

REG Reference to a national code

Ref country code: DK

Ref legal event code: T3

Effective date: 20161122

REG Reference to a national code

Ref country code: NL

Ref legal event code: MP

Effective date: 20160727

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160727

Ref country code: NL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160727

Ref country code: NO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20161027

Ref country code: LT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160727

Ref country code: HR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160727

Ref country code: IS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20161127

Ref country code: FI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160727

Ref country code: RS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160727

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160727

Ref country code: LV

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160727

Ref country code: PT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20161128

Ref country code: PL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160727

Ref country code: ES

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160727

Ref country code: GR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20161028

REG Reference to a national code

Ref country code: DE

Ref legal event code: R026

Ref document number: 502013003857

Country of ref document: DE

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: RO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160727

Ref country code: EE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160727

PLBI Opposition filed

Free format text: ORIGINAL CODE: 0009260

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 5

26 Opposition filed

Opponent name: GN HEARING A/S / WIDEX A/S / OTICON A/S

Effective date: 20170427

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SM

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160727

Ref country code: CZ

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160727

Ref country code: SK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160727

Ref country code: BG

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20161027

PLAX Notice of opposition and request to file observation + time limit sent

Free format text: ORIGINAL CODE: EPIDOSNOBS2

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LU

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20170531

Ref country code: SI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160727

PLBB Reply of patent proprietor to notice(s) of opposition received

Free format text: ORIGINAL CODE: EPIDOSNOBS3

PLAB Opposition data, opponent's data or that of the opponent's representative modified

Free format text: ORIGINAL CODE: 0009299OPPO

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MC

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160727

R26 Opposition filed (corrected)

Opponent name: GN HEARING A/S / WIDEX A/S / OTICON A/S

Effective date: 20170427

RAP2 Party data changed (patent owner data changed or rights of a patent transferred)

Owner name: SIVANTOS PTE. LTD.

REG Reference to a national code

Ref country code: IE

Ref legal event code: MM4A

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LU

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20170513

REG Reference to a national code

Ref country code: BE

Ref legal event code: MM

Effective date: 20170531

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20170513

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 6

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: BE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20170531

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160727

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: AL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160727

APBM Appeal reference recorded

Free format text: ORIGINAL CODE: EPIDOSNREFNO

APBP Date of receipt of notice of appeal recorded

Free format text: ORIGINAL CODE: EPIDOSNNOA2O

APAH Appeal reference modified

Free format text: ORIGINAL CODE: EPIDOSCREFNO

PLAB Opposition data, opponent's data or that of the opponent's representative modified

Free format text: ORIGINAL CODE: 0009299OPPO

APBM Appeal reference recorded

Free format text: ORIGINAL CODE: EPIDOSNREFNO

APBP Date of receipt of notice of appeal recorded

Free format text: ORIGINAL CODE: EPIDOSNNOA2O

R26 Opposition filed (corrected)

Opponent name: GN HEARING A/S / OTICON A/S

Effective date: 20170427

APBQ Date of receipt of statement of grounds of appeal recorded

Free format text: ORIGINAL CODE: EPIDOSNNOA3O

APBQ Date of receipt of statement of grounds of appeal recorded

Free format text: ORIGINAL CODE: EPIDOSNNOA3O

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: HU

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT; INVALID AB INITIO

Effective date: 20130513

REG Reference to a national code

Ref country code: AT

Ref legal event code: MM01

Ref document number: 816653

Country of ref document: AT

Kind code of ref document: T

Effective date: 20180513

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CY

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20160727

Ref country code: AT

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20180513

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160727

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: TR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160727

PLAB Opposition data, opponent's data or that of the opponent's representative modified

Free format text: ORIGINAL CODE: 0009299OPPO

R26 Opposition filed (corrected)

Opponent name: GN HEARING A/S / OTICON A/S

Effective date: 20170427

PLAB Opposition data, opponent's data or that of the opponent's representative modified

Free format text: ORIGINAL CODE: 0009299OPPO

R26 Opposition filed (corrected)

Opponent name: GN HEARING A/S / OTICON A/S

Effective date: 20170427

APBU Appeal procedure closed

Free format text: ORIGINAL CODE: EPIDOSNNOA9O

PLAB Opposition data, opponent's data or that of the opponent's representative modified

Free format text: ORIGINAL CODE: 0009299OPPO

R26 Opposition filed (corrected)

Opponent name: OTICON A/S

Effective date: 20170427

APAH Appeal reference modified

Free format text: ORIGINAL CODE: EPIDOSCREFNO

APBM Appeal reference recorded

Free format text: ORIGINAL CODE: EPIDOSNREFNO

APBP Date of receipt of notice of appeal recorded

Free format text: ORIGINAL CODE: EPIDOSNNOA2O

APBQ Date of receipt of statement of grounds of appeal recorded

Free format text: ORIGINAL CODE: EPIDOSNNOA3O

APBU Appeal procedure closed

Free format text: ORIGINAL CODE: EPIDOSNNOA9O

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: DE

Payment date: 20250423

Year of fee payment: 13

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: GB

Payment date: 20250423

Year of fee payment: 13

Ref country code: DK

Payment date: 20250423

Year of fee payment: 13

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: FR

Payment date: 20250424

Year of fee payment: 13

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: CH

Payment date: 20250601

Year of fee payment: 13

PUAH Patent maintained in amended form

Free format text: ORIGINAL CODE: 0009272

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: PATENT MAINTAINED AS AMENDED

27A Patent maintained in amended form

Effective date: 20250910

AK Designated contracting states

Kind code of ref document: B2

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

REG Reference to a national code

Ref country code: DE

Ref legal event code: R102

Ref document number: 502013003857

Country of ref document: DE

REG Reference to a national code

Ref country code: DK

Ref legal event code: T4

Effective date: 20251002