EP2672732B1 - Verfahren zum Fokussieren eines Hörinstruments-Beamformers - Google Patents

Verfahren zum Fokussieren eines Hörinstruments-Beamformers Download PDF

Info

Publication number
EP2672732B1
EP2672732B1 EP13167409.5A EP13167409A EP2672732B1 EP 2672732 B1 EP2672732 B1 EP 2672732B1 EP 13167409 A EP13167409 A EP 13167409A EP 2672732 B1 EP2672732 B1 EP 2672732B1
Authority
EP
European Patent Office
Prior art keywords
acoustic
solid angle
head
acoustic signals
focus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
EP13167409.5A
Other languages
English (en)
French (fr)
Other versions
EP2672732B2 (de
EP2672732A3 (de
EP2672732A2 (de
Inventor
Vaclav Bouse
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sivantos Pte Ltd
Original Assignee
Sivantos Pte Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=49625951&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=EP2672732(B1) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Sivantos Pte Ltd filed Critical Sivantos Pte Ltd
Publication of EP2672732A2 publication Critical patent/EP2672732A2/de
Publication of EP2672732A3 publication Critical patent/EP2672732A3/de
Application granted granted Critical
Publication of EP2672732B1 publication Critical patent/EP2672732B1/de
Publication of EP2672732B2 publication Critical patent/EP2672732B2/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; ELECTRIC HEARING AIDS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Electric hearing aids
    • H04R25/40—Arrangements for obtaining a desired directivity characteristic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; ELECTRIC HEARING AIDS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Electric hearing aids
    • H04R25/40—Arrangements for obtaining a desired directivity characteristic
    • H04R25/407—Circuits for combining signals of a plurality of transducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; ELECTRIC HEARING AIDS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Electric hearing aids
    • H04R25/50—Customised settings for obtaining desired overall acoustical characteristics
    • H04R25/505—Customised settings for obtaining desired overall acoustical characteristics using digital signal processing
    • H04R25/507—Customised settings for obtaining desired overall acoustical characteristics using digital signal processing implemented by neural network or fuzzy logic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; ELECTRIC HEARING AIDS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Electric hearing aids
    • H04R25/55—Electric hearing aids using an external connection, either wireless or wired
    • H04R25/552—Binaural
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; ELECTRIC HEARING AIDS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Electric hearing aids
    • H04R25/55—Electric hearing aids using an external connection, either wireless or wired
    • H04R25/554—Electric hearing aids using an external connection, either wireless or wired using a wireless connection, e.g. between microphone and amplifier or using Tcoils

Definitions

  • the invention relates to a method for focusing a beamformer of a hearing instrument.
  • Hearing instruments can be embodied, for example, as hearing aids to be worn on or in the ear.
  • a hearing aid is used to supply a hearing-impaired person with acoustic ambient signals that are processed and amplified for compensation or therapy of the respective hearing impairment. It consists in principle of one or more input transducers, of a signal processing device, of an amplification device, and of an output transducer.
  • the input transducer is typically a sound receiver, e.g. a microphone, and / or an electromagnetic receiver, e.g. an induction coil.
  • the output transducer is usually as an electroacoustic transducer, z.
  • miniature speaker as an electromechanical transducer, z. B.
  • bone conduction or realized as a stimulation electrode for cochlear stimulation. He is also referred to as a handset or receiver.
  • the output transducer generates output signals that are routed to the patient's ear and are intended to produce a hearing sensation in the patient.
  • the amplifier is usually integrated in the signal processing device.
  • the hearing aid is powered by a battery integrated into the hearing aid housing.
  • the essential components of a hearing aid are usually arranged on a printed circuit board as a circuit carrier or connected thereto.
  • the problem is to determine the direction in which the Beamformer should be directed, and to find an optimal width, so an optimal opening angle of the beam.
  • the problem is to find the spatial direction in which the directional microphone array is to have the highest sensitivity, and to find the angle or aperture angle over which the sensitivity should be increased.
  • better directionality and sensitivity can be achieved by aiming the beam as accurately as possible at the acoustic source of interest and focusing it as closely as possible.
  • interested acoustic sources can be speakers or voice signals, but a number of other possibilities are also possible, for example music or warning signals.
  • a hearing aid uses a method for acoustic source separation.
  • a binaural microphone arrangement uses a binaural microphone arrangement to determine the spatial direction of an acoustic source.
  • a binaural receiver arrangement then dependent on the determined direction acoustic output signal is generated.
  • a hearing aid which determines the spatial direction of acoustic sources.
  • a beamformer is then aligned in a direction determined to focus on the particular acoustic source.
  • the spatial direction can be determined inter alia on the basis of the orientation of the head or viewing direction of the user.
  • a hearing aid which uses a method for "blind source separation" of different acoustic sources. The user can select the various recognized sources in succession by pressing a switch.
  • SpeechFocus a method in which the acoustic environment is searched automatically for language parts . If speech components are identified, their spatial direction is determined. Then the gain becomes more acoustic Signals from this direction are raised compared to signals from other directions.
  • the hearing instrument may direct the beam to a desired direction by an algorithm for processing the microphone signals, irrespective of the orientation of the head, the beam direction being controllable by, for example, a remote control.
  • the user can not hear or hardly hear sources outside the beam and therefore can not register.
  • it is not pleasant for the user and not very intuitive to control the beam remotely.
  • the hearing instrument can automatically analyze the direction of any acoustic sources of interest and automatically align the beam in that direction, such as in the SpeechFocus method of the manufacturer Siemens.
  • this can be confusing for the user, as the hearing instrument can automatically and unexpectedly toggle between different sources without user interference.
  • a constantly adapting beamformer alters the binaural "cues", making it difficult for the user to locate the source of interest or even make it impossible.
  • the beam width is usually constant or can be manually adjusted between different preset opening angles by the user.
  • a method is known in which, prior to localization of an audio source, a classification of the audio signal is performed.
  • the classification can be made on the basis of features such as harmonic signal components or the expression of formants.
  • the subsequent localization benefits from the previous classification.
  • the object of the invention is to allow an automatic adaptation of the beam width and / or the beam direction, which can be used comfortably and intuitively, avoids the unexpected focusing of the beam without the intervention of the hearing instrument user, and it on simple and easy to use way to bring the user also acoustic sources outside the beam to the knowledge.
  • directivity is a property of the beamformer, which can be represented as a measure, which is the higher, the more the beamformer is focused, that is, the smaller the solid angle of the beam is.
  • the direction-dependent, directional detection of acoustic signals is automatically started as soon as the user looks in the direction of an acoustic source, such as a speaker, the head stops moving and the source then in turn focused, i. looks steadfastly.
  • suitable tolerance values or threshold values for example at least 15 ° rotation, must be specified in order to distinguish unintentional or irrelevant minimum head movements from relevant head movements.
  • a manual triggering of the focusing for example by pressing a button on the hearing instrument or using a remote control, is not required, which contributes significantly to practicality and comfort in the application of the method.
  • Directional alignment of the focus solid angle better aligns the focus with the source of interest to the user. This then allows a sharper focus through a narrower focus solid angle and thus increases the directionality. The increase in directionality, in turn, results in a further increase in the source signal of interest.
  • the process is focused on a source, while for the user's perception, only the signals from that source are highlighted, the additional space around the user is searched for other, additional sources. If such a further source is found, it is made perceptible to the user by increasing the gain, the user is as it were pointed out the presence of the other source. If the user responds by moving or rotating the head, the previous focus is automatically canceled and the focus is re-focused.
  • the re-focusing is started automatically and does not need to be triggered manually, which further contributes to practicability and convenience in the application of the method.
  • a further advantageous embodiment is that the method is only performed if a head movement has been detected before the detection of the absence of head movements. This avoids that, for example, an automatic focusing begins, even though the user has not turned to an acoustic source, for example because it is a non-acoustic source or because the user does not want to devote any of his attention to any source.
  • a further advantageous embodiment consists in that the method is only performed if, before focusing, an acoustic source in the focus solid angle has been detected. This prevents focusing despite the lack of acoustic sources, which obviously would not make sense.
  • FIG. 1 schematically a user 1 with left hearing instrument 2 and right hearing instrument 3 is shown in plan view.
  • the microphones of the left and right hearing instrument 2, 3 are each connected to form a directional microphone arrangement, so that there is the possibility of the respective beam from the user 1 from looking essentially either forward or backward.
  • e2e wireless link
  • essentially directions as seen by the user 1 are made possible to the right and left as further beam directions of the arrangement.
  • the automatic focusing of the beam can be done together for each monaural hearing instrument individually (front / back) as well as for the binaural arrangement (right / left).
  • the left and right hearing instrument 2, 3 together with the essential signal processing components are shown schematically.
  • the hearing instruments 2, 3 have the same structure and may differ in their outer shape, in order to take account of the respective use on the left or right ear.
  • the left-hand hearing instrument 2 comprises two microphones 4, 5, which are arranged spatially separated and together form a directional microphone arrangement.
  • the signals of the microphones 4, 5 are processed by a signal processing device 11, which outputs an output signal via the receiver 8.
  • a battery 10 is used to supply power to the hearing instrument 2.
  • a motion sensor 9 is provided, whose function is to be explained below in the automatic focusing.
  • the right-hand hearing instrument 3 comprises the microphones 6, 7, which are likewise joined together to form a directional microphone arrangement.
  • FIG. 3 the main signal processing components of the automatic focusing beamformer are schematic shown.
  • the signals of the microphones 4, 5 of the left-hand hearing instrument 2 are processed by the beamformer in such a way that a beam directed straight ahead from the user is produced (0 °, "broadside"), which has a variable beam width.
  • the variable beam width is equivalent to a variable directionality (smaller beam width means higher directionality and vice versa, where higher directionality is synonymous with greater directional dependence).
  • the beamformer is constructed in a conventional manner, for example as an arrangement of fixed beamformers, as a mixture of a fixed beamformer with a omni-directional signal, as a beamformer with variable beam width, etc.
  • Beamformer 13 output signals are the desired beam signal that contains all the acoustic signals from the direction of the beam, the omnidirectional omni signal (which includes all the acoustic sources in all directions with under-distorted binaural cues), and the anti-signal, which is all the acoustic signals from directions outside the beam.
  • the three signals are fed to the mixer 19, and in parallel to the source detectors 15, 16, 17.
  • the source detectors 15, 16, 17 continuously determine the likelihood (or comparable measure) of an acoustic source of interest, such as a Voice source in which there are three signals.
  • the motion sensor 9 has the task to detect head movements of the hearing instrument user, for example, rotation, and also to determine a measure of the width of the respective movement.
  • a dedicated hardware sensor of conventional type is the fastest and most reliable way to detect head movements. However, other ways to detect head movements are also available, for example, based on spatial analysis of the acoustic signals, or using additional ones alternative sensor systems.
  • a head movement detector 14 analyzes the signals of the motion sensor 9 and determines therefrom direction and amount of head movements.
  • All signals are fed to the focus control 18, which determines the beam width as a function of the signals.
  • the determined beam width is then supplied by the focus controller 18 to the beamformer 13 as an input signal.
  • the focus control also controls the mixer 19 in addition to the beam width, which mixes the above-explained three signals (Omni, Anti, Beam) and forwards to a hearing instrument signal processing 20.
  • the hearing instrument signal processing 20 the acoustic signals are further processed in the usual way for hearing instruments and amplified output to the receiver 8.
  • the receiver 8 generates the acoustic output signal for the hearing instrument user.
  • Focus control 18 is preferably implemented as a finite-state machine (FSM), the finite states of which are explained below.
  • FSM finite-state machine
  • the three signals (Omni, Anti, Beam) are mixed by Mixer 19 so that the user receives a natural-sounding spatial signal. This also means that no abrupt transitions take place, but gentle transitions. In the hearing instrument signal processing 20, the further processing steps take place, which in particular serve to compensate or to treat a hearing impairment of the user.
  • FIG. 4 an exemplary situation is shown schematically. Shown is the hearing instrument user 1 with left and right hearing instrument 2, 3 in plan view. Frontally in front of the user 1 is an acoustic source 21, in the direction of the user 1 looks. The beam of the respective hearing instrument 2, 3 is focused on the acoustic source 21, in which the beam width was reduced to the angle ⁇ 1 . Thus, the further acoustic source 22 is outside the beam, but would be within a beam with the Beam width ⁇ 2 lie. The further acoustic source 23 is still further outside the beam and is located almost next to the user. 1
  • FIGS. 5 to 8 The operation of the automatic focusing of the beam is explained schematically.
  • the beam with the width ⁇ is focused on the acoustic source 21.
  • the user moves the head away from the source 21 and towards the source 23.
  • the head movement is detected by the automatic focus control (or by the motion sensor).
  • the automatic focus control then defocuses the beam by switching to the Omni signal.
  • it can also be defocused that the beam width is set to a predetermined, significantly larger opening angle than in the focused state.
  • the user 1 has completely turned his head to the acoustic source 23.
  • the head movement ends and the user 1 looks towards the source 23.
  • the end of the head movement is detected, whereupon the automatic focusing of the beam on the source 23 begins.
  • the omnidirectional signal is changed over to the direction-dependent beam signal and / or the greatly increased beam width is gradually reduced.
  • the beam width is reduced until the signal source 23 is fully focused. Further reduction of the beam width results in the source no longer being completely within the beam so that the signal from the source 23 or its portion in the beam signal decreases.
  • the focusing of the beam ie the reduction of the opening angle of the beam, is stopped as soon as the source 23 is focused sharply, what in the FIG. 8 drawn angle ⁇ is the case. A possibly further reduction of the beam angle is reversed.
  • the FSM starts in the "Omni" 40 state (no directionality, the mixer outputs the Omni signal), making the hearing instrument user normal and direction independent hear.
  • the FSM starts in the "Omni" 40 state (no directionality, the mixer outputs the Omni signal), making the hearing instrument user normal and direction independent hear.
  • This state he is able to locate acoustic sources normally. He can move his head in a normal and natural way and turn, for example, to search for an interesting acoustic source, such as a speaker.
  • the FSM enters the focus state 42 and the directionality of the beamformer is gradually increased (the beam width is reduced and a correspondingly more directional signal is output to the user).
  • the proportion of the signal of the source in the beam signal increases and the mixer passes the filtered signal thus by exclusively or mainly outputs the signal beam.
  • the proportion of the source signal of interest in the beam signal can not be further increased.
  • the directionality is not further changed (beam width not further reduced) and the FSM exits the loop 43 and changes to the "Focused" state 44.
  • the automatic beam control continuously monitors head movements of the user by means of the motion sensor (Loop 47). As long as no head movements are detected, the FSM remains in the "Focused" state 44.
  • the FSM changes to the Glimpsing state 45.
  • the Glimpsing state 45 a small portion of the Omni signal containing the possible other source is mixed by the mixer into the output signal for the user.
  • the user registers that there is another source. If the user does not turn to this new source, he does not move his head.
  • the automatic focus control detects this with the help of the motion sensor and regulates the proportion of the omni signal after a certain period of time back to zero (fade out), so that the user can concentrate fully on focused signal again.
  • the described "glimpsing" is performed each time a new source appears in the acoustic environment or when the acoustic environment changes significantly.
  • the user moves his head because he wants to focus on a new signal or simply wants to survey the acoustic environment, which in the previous one FIG. 6 is shown, the head movement is detected and the focus control switches immediately to the omni signal, ie the beam width is greatly increased again and / or the mixer outputs additionally or exclusively the omni signal. This is shown in the figure by element 46.
  • the omnidirectional signal allows the user to survey the acoustic environment with all undistorted spatial cues that are distorted or missing in the beam signal. This allows the user to normal localization of acoustic sources. Once the user concentrates on another acoustic source, as explained above FIG. 7 corresponds, the FSM goes again in the state Focusing 42. This starts the beam focusing again.
  • the foregoing method by combining the various beamformer signals with the head motion detector, allows a function closely related to the human approach of focusing on different sources.
  • the head movement is used to provide natural feedback for automatic focusing and fast defocusing on a target to control the beamformer. Focusing occurs gradually when the user does not move his head.
  • the defocusing during head movement or the transition from the beam signal to the omnidirectional signal takes place quickly in order to quickly have an undistorted signal with all spatial information available in the case of changes.
  • the function of Glimpsing gives the user the possibility to stay focused on one source, but on the other hand to get an overview of new sources and changes.
  • the direction-dependent, directional detection of acoustic signals is advantageously started automatically as soon as the user looks in the direction of an acoustic source, for example a speaker, and then looks at the source in an unrelated manner.

Landscapes

  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurosurgery (AREA)
  • Otolaryngology (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Circuit For Audible Band Transducer (AREA)

Description

  • Die Erfindung betrifft ein Verfahren zum Fokussieren eines Beamformers eines Hörinstruments.
  • Hörinstrumente können beispielsweise als am oder im Ohr zu tragende Hörgeräte ausgeführt sein. Ein Hörgerät dient der Versorgung einer hörgeschädigten Person mit akustischen Umgebungssignalen, die zur Kompensation bzw. Therapie der jeweiligen Hörschädigung verarbeitet und verstärkt sind. Es besteht prinzipiell aus einem oder mehreren Eingangswandlern, aus einer Signalverarbeitungseinrichtung, einer Verstärkungseinrichtung, und aus einem Ausgangswandler. Der Eingangswandler ist in der Regel ein Schallempfänger, z.B. ein Mikrofon, und/oder ein elektromagnetischer Empfänger, z.B. eine Induktionsspule. Der Ausgangswandler ist in der Regel als elektroakustischer Wandler, z. B. Miniaturlautsprecher, als elektromechanischer Wandler, z. B. Knochenleitungshörer, oder als Stimulationselektrode zur Cochlea Stimulation realisiert. Er wird auch als Hörer oder Receiver bezeichnet. Der Ausgangswandler erzeugt Ausgangssignale, die zum Gehör des Patienten geleitet werden und beim Patienten eine Hörwahrnehmung erzeugen sollen. Der Verstärker ist in der Regel in die Signalverarbeitungseinrichtung integriert. Die Stromversorgung des Hörgeräts erfolgt durch eine ins Hörgerätegehäuse integrierte Batterie. Die wesentlichen Komponenten eines Hörgeräts sind in der Regel auf einer gedruckten Leiterplatine als Schaltungsträger angeordnet bzw. damit verbunden.
  • Für Hörinstrument-Benutzer ist es außerordentlich schwierig, einen einzelnen Sprecher zu verstehen oder ausschließlich in eine bestimmte Richtung zu hören, insbesondere in problematischen akustischen Umgebungen mit mehreren akustischen Quellen (beispielsweise das sog. Cocktail-Party-Szenario). Um das gerichtete, fokussierte Hören bzw. auch das Sprachverstehen zu verbessern, ist es bekannt, in Hörgeräten sog. Beamformer einzusetzen, um die jeweilige akustische Quelle, z.B. einen Sprecher, zu betonen, indem andere Geräusche weniger verstärkt werden, als das gewünschte akustische Signal. Die Verwendung von Beamformern setzt das Vorhandensein einer direktionalen Mikrofonanordnung voraus, was mindestens zwei Mikrofone in räumlich getrennter Anordnung erfordert. Bereits zwei Mikrofone an einem einzigen Hörinstrument sind ausreichend, um eine direktionale, also räumlich gerichtete Empfindlichkeit der Mikrofonanordnung zu erreichen. Eine Erweiterung der direktionalen Fähigkeiten bei Hörinstrumenten kann dadurch erreicht werden, dass die Mikrofone beider Hörinstrumente eines binauralen Hörsystems zu einer direktionalen Mikrofonanordnung zusammengeschlossen werden. Dies setzt eine, vorzugsweise kabellose, Verbindung (Wireless Link, e2e = Ear-to-Ear) der beiden Hörgeräte voraus.
  • Bei Hörinstrumenten mit direktionaler Mikrofonanordnung und Beamformer besteht das Problem, die Richtung festzulegen, in die der Beamformer gerichtet werden soll, sowie eine optimale Weite, also einen optimalen Öffnungswinkel, des Beams zu finden. Mit anderen Worten besteht das Problem darin, die Raumrichtung zu finden, in welcher die direktionale Mikrofonanordnung die höchste Empfindlichkeit haben soll, sowie den Winkel oder Öffnungswinkel zu finden, über den hinweg die Empfindlichkeit erhöht sein soll. Es liegt auf der Hand, dass eine bessere Direktionalität und Sensitivität dadurch erreicht werden kann, dass der Beam möglichst exakt auf die interessierende akustische Quelle gerichtet und möglichst eng fokussiert ist.
  • Interessierende akustische Quellen können vor allem Sprecher bzw. Sprachsignale sein, es kommt jedoch auch eine Reihe weiterer Möglichkeiten in Frage, beispielsweise Musik oder Hinweissignale.
  • Aus der Druckschrift US 2011/0103620 A1 ist ein Verfahren zur Wiedergabe akustischer Signale mit mehreren Lautsprechern bekannt. Durch geeignete Filterung der einzelnen Lautsprechersignale wird eine gewünschte räumliche Wiedergabecharakteristik eingestellt.
  • Aus der Druckschrift US 2012/0020503 A1 ist ein Hörgerät bekannt, das mit einem Verfahren zur akustischen Quellentrennung arbeitet. Unter Verwendung einer binauralen Mikrofonanordnung wird die räumliche Richtung einer akustischen Quelle ermittelt. Durch eine binaurale Receiver-Anordnung wird sodann ein von der ermittelten Richtung abhängiges akustisches Ausgangssignal erzeugt.
  • Aus der Druckschrift US 2007/0223754 A1 ist ein Hörgerät bekannt, das die räumliche Richtung akustischer Signale ermittelt. Auf Basis der ermittelten räumlich-akustischen Information wird die akustische Umgebung sodann klassifiziert und in Abhängigkeit von der Klassifikation die Transfer-Charakteristik der Signalverarbeitung eingestellt.
  • Aus der Druckschrift US 2010/0074460 A1 ist ein Hörgerät bekannt, das die räumliche Richtung akustischer Quellen ermittelt. Ein Beamformer wird sodann auf eine ermittelte Richtung ausgerichtet, um auf die betreffende akustische Quelle zu fokussieren. Die räumliche Richtung kann unter anderem anhand der Ausrichtung des Kopfes oder Blickrichtung des Benutzers ermittelt werden.
  • Aus der Druckschrift US 2010/0158289 A1 ist ein Hörgerät bekannt, das mit einem Verfahren zur "blinden Quellentrennung" (Blind Source Separation) verschiedener akustischer Quellen arbeitet. Der Benutzer kann durch Betätigen eines Schalters die verschiedenen erkannten Quellen nacheinander anwählen.
  • Aus Hörgeräten des Herstellers Siemens ist unter der Bezeichnung SpeechFocus ein Verfahren bekannt, bei dem die akustische Umgebung automatisch nach Sprachanteilen durchsucht wird. Werden Sprachanteile identifiziert, wird deren räumliche Richtung ermittelt. Sodann wird die Verstärkung akustischer Signale aus dieser Richtung im Vergleich zu Signalen aus anderen Richtungen angehoben.
  • Unter Verwendung der bekannten Verfahren und Vorrichtungen besteht die einfachste Möglichkeit der Beamformung darin, anzunehmen, dass die gewünschte Quelle bzw. der gewünschte Sprecher frontal vor dem Hörinstrument-Benutzer befindlich ist und dass der Beam mithin frontal nach vorne gerichtet sein soll, wobei durch Kopfbewegungen des Benutzers die Beam-Richtung verändert wird. Alternativ dazu kann das Hörinstrument dem Beam mittels eines Algorithmus zur Verarbeitung der Mikrofonsignale unabhängig von der Orientierung des Kopfs in eine gewünschte Richtung richten, wobei die Beam-Richtung beispielsweise durch eine Fernbedienung gesteuert werden kann. Nachteiligerweise kann der Benutzer jedoch Quellen außerhalb des Beams nicht oder kaum hören und somit auch nicht registrieren. Außerdem ist es für den Benutzer wenig angenehm und wenig intuitiv, den Beam per Fernsteuerung steuern zu müssen.
  • Alternativ kann das Hörinstrument die Richtung möglicherweise interessierender akustischer Quellen automatisch analysieren und den Beam automatisch in diese Richtung ausrichten, wie beispielsweise im Verfahren SpeechFocus des Herstellers Siemens. Dies kann jedoch für den Benutzer verwirrend sein, da das Hörinstrument automatisch und möglicherweise unerwartet zwischen verschiedenen Quellen hin- und herspringen kann, ohne Einflussnahme für den Benutzer. Darüber hinaus verändert ein sich laufend adaptierender Beamformer die binauralen "Cues" und erschwert somit für den Benutzer die Lokalisierung der interessierenden Quelle oder macht sie sogar unmöglich.
  • Im Unterschied zur Beam-Richtung ist die Beam-Weite herkömmlich für gewöhnlich konstant oder kann zwischen verschiedenen voreingestellten Öffnungswinkeln vom Benutzer manuell verstellt werden.
  • Aus der Veröffentlichung DE 10 2010 026 381 A1 ist ein Verfahren bekannt, bei dem vor Lokalisierung eine Audioquelle eine Klassifizierung des Audiosignals durchgeführt wird. Die Klassifizierung kann anhand von Merkmalen wie harmonischen Signalanteilen oder der Ausprägung von Formanten vorgenommen werden. Die anschließende Lokalisierung profitiert von der vorangegangenen Klassifizierung.
  • Die Aufgabe der Erfindung besteht darin, eine automatische Adaption der Beam-Weite und/oder der Beam-Richtung zu ermöglichen, die komfortabel und intuitiv genutzt werden kann, die unerwartetes Fokussieren des Beams ohne Zutun des Hörinstrument-Benutzers vermeidet, und die es auf einfache und einfach bedienbare Weise ermöglicht, dem Benutzer auch akustische Quellen außerhalb des Beams zur Kenntnis zu bringen.
  • Diese Aufgabe wird durch ein Verfahren mit den Merkmalen des Anspruchs 1 erfindungsgemäß gelöst.
  • Das Verfahren zum Fokussieren eines Beamformers eines Hörinstruments umfassend die Schritte:
    • Erfassen der räumlichen Orientierung und/oder Position des Kopfs des Hörinstrument-Benutzers,
    • Bei Erfassen des Ausbleibens von Kopfbewegungen richtungsabhängiges erfassen von akustischen Signalen,
    • Danach Anheben der Verstärkung akustischer Signale, die aus einem Fokus-Raumwinkel vor dem Kopf des Hörinstrument-Benutzers kommen, gegenüber akustischen Signalen aus anderen Raumwinkeln, und dadurch Aktivieren oder Erhöhen der Direktivität,
    • Danach nach und nach Fokussieren durch Verringern des Fokus-Raumwinkels, und dadurch Erhöhen der Direktivität solange, bis der Pegel akustischer Signale aus dem Fokus-Raumwinkel aufgrund der Verringerung des Fokus-Raumwinkels abnimmt und ein minimaler Fokus-Raumwinkel erreicht ist. Unter dem Begriff "Pegel" ist die Präsenz der gewünschten Signale im Fokus-Raumwinkel (rein theoretisch die Wahrscheinlichkeit, dass das gewünschte Signal im Fokus-Raumwinkel präsent ist), zu verstehen.
  • Dabei ist Direktivität eine Eigenschaft des Beamformers, die sich als Maßzahl darstellen lässt, welche je höher ist, je mehr der Beamformer fokussiert ist, das heißt je kleiner der Raumwinkel des Beams ist. Durch Erhöhung der Direktivität eines Beamformers, beispielsweise durch Erhöhen eines der erwähnten Maßzahl entsprechenden Parameters des Beamformers, werden Signale im Beam gegenüber Signalen außerhalb stärker verstärkt. Das beschriebene Verfahren steuert dabei den erwähnten Parameter des Beamformers.
  • Dadurch wird vorteilhaft die richtungsabhängige, direktionale Erfassung akustischer Signale automatisch gestartet, sobald der Benutzer in Richtung einer akustischen Quelle, beispielsweise eines Sprechers, blickt, den Kopf nicht mehr weiter bewegt und die Quelle sodann seinerseits fokussiert, d.h. unverwandt ansieht. Für die Detektion von Kopfbewegungen müssen dabei geeignete Toleranzwerte bzw. Schwellwerte, beispielsweise mindestens 15° Drehung, vorgegeben werden, um unbeabsichtigte oder irrelevante minimale Kopfbewegungen von relevanten Kopfbewegungen zu unterscheiden. Eine manuelle Auslösung des Fokussierens, beispielsweise durch Knopfdruck am Hörinstrument oder mithilfe einer Fernbedienung, ist nicht erforderlich, was wesentlich zu Praktikabilität und Komfort in der Anwendung des Verfahrens beiträgt.
  • Eine vorteilhafte Ausgestaltung besteht in den weiteren Schritten:
    • Identifizieren einer akustischen Quelle im Fokus-Raumwinkel anhand der akustischen Signale aus dem Fokus-Raumwinkel, beispielsweise durch Verwendung eines Frequenz- oder Frequenzspektrum-Kriteriums, eines 4Hz Sprachmodulations-Detektor, eines Bayes Detektors, oder eines Hidden Markov Model Detektors,
    • Fokussieren solange, bis der Pegel der akustischen Signale der akustischen Quelle im Fokus-Raumwinkel aufgrund der Verringerung des Fokus-Raumwinkels abnimmt.
  • Dadurch, dass das Fokussieren anhand einer identifizierten akustischen Quelle gesteuert bzw. beendet wird, wird die Wahrscheinlichkeit erhöht, dass das Verfahren tatsächlich auf eine den Benutzer interessierende Quelle gerichtet fokussiert, und nicht etwa auf einen quellenunabhängig zufällig gesetzten Fokus-Raumwinkel.
  • Eine vorteilhafte Ausgestaltung besteht in den weiteren Schritten:
    • Identifizieren einer akustischen Quelle im Fokus-Raumwinkel anhand der akustischen Signale aus dem Fokus-Raumwinkel, beispielsweise durch Verwendung eines Frequenz- oder Frequenzspektrum-Kriteriums, eines 4Hz Sprachmodulations-Detektors, eines Bayes Detektors, oder eines Hidden Markov Model Detektors,
    • Ermitteln der räumlichen Richtung, in der sich die akustische Quelle befindet,
    • Zentrieren des Fokus-Raumwinkels in diese Richtung.
  • Durch richtungsmäßiges Ausrichten des Fokus-Raumwinkels wird der Fokus besser auf die den Benutzer interessierende Quelle ausgerichtet. Dies ermöglicht anschließend eine schärfere Fokussierung durch einen engeren Fokus-Raumwinkel und erhöht somit die Direktionalität. Die Erhöhung der Direktionalität wiederum resultiert in einer weiteren Anhebung des interessierenden Quell-Signals.
  • Eine weitere vorteilhafte Ausgestaltung besteht in den weiteren Schritten:
    • Anschließend erfassen weiterer akustischer Signale, die aus anderen Raumwinkeln als dem Fokus-Raumwinkel kommen,
    • Erfassen weiterer akustischer Quellen anhand der weiteren akustischen Signale, beispielsweise durch Verwendung eines Frequenz- oder Frequenzspektrum-Kriteriums, eines 4Hz Sprachmodulations-Detektor, eines Bayes Detektors, oder eines Hidden Markov Model Detektors.
    • Bei Erfassen einer weiteren akustischen Quelle anheben der Verstärkung der weiteren akustischen Signale.
    • Erfassen der räumlichen Orientierung und/oder Position des Kopfs des Hörinstrument-Benutzers nach dem Anheben der Verstärkung der weiteren akustischen Signale,
    • Bei Erfassen des Ausbleibens von Kopfbewegungen innerhalb einer vorbestimmten Zeitdauer nach dem Anheben der Verstärkung der weiteren akustischen Signale wiederabsenken der Verstärkung,
    • Bei Erfassen einer Kopfbewegung innerhalb der vorbestimmten Zeitdauer defokussieren durch Wiedervergrößern des Fokus-Raumwinkels und anschließend Durchführen des Verfahrens nach einem der vorhergehenden Ansprüche.
  • Dadurch wird, während sich das Verfahren im auf eine Quelle fokussierten Stadium befindet, während für die Wahrnehmung des Benutzers also nur die Signale dieser Quelle hervorgehoben werden, der weitere Raum um den Benutzer herum nach weiteren, hinzukommenden Quellen abgesucht. Wird eine solche weitere Quelle gefunden, wird sie für den Benutzer durch Anheben der Verstärkung wahrnehmbar gemacht, der Benutzer wird gleichsam auf das Vorhandensein der weiteren Quelle hingewiesen. Reagiert der Benutzer darauf durch Bewegen oder Drehen des Kopfes, so wird der bisherige Fokus automatisch aufgehoben und es erfolgt eine Neu-Fokussierung. So wird vorteilhaft auch die Neu-Fokussierung automatisch gestartet und braucht nicht manuell ausgelöst zu werden, was weiter zu Praktikabilität und Komfort in der Anwendung des Verfahrens beiträgt.
  • Eine weitere vorteilhafte Ausgestaltung besteht in den weiteren Schritten:
    • Bei Ausbleiben des Erfassens weiterer akustischer Quellen erfassen der räumlichen Orientierung und/oder Position des Kopfs des Hörinstrument-Benutzers,
    • Bei Erfassen einer Kopfbewegung defokussieren durch Wiedervergrößern des Fokus-Raumwinkels oder durch Wechseln von richtungsabhängigem auf richtungsunabhängiges Erfassen von akustischen Signalen.
  • Dadurch wird die Fokussierung automatisch beendet, sobald der Benutzer den Blick von der jeweils gerade fokussierten Quelle abwendet, was weiter zu Praktikabilität und Komfort in der Anwendung des Verfahrens beiträgt.
  • Eine weitere vorteilhafte Ausgestaltung besteht darin, dass das Verfahren nur dann durchgeführt wird, wenn vor dem Erfassen des Ausbleibens von Kopfbewegungen eine Kopfbewegung erfasst wurde. Dadurch wird vermieden, dass beispielsweise eine automatische Fokussierung einsetzt, obwohl der Benutzer sich keiner akustischen Quelle zugewandt hat, beispielsweise weil es sich um eine nicht-akustische Quelle handelt oder weil der Benutzer keiner Quelle seine gesteigerte Aufmerksamkeit widmen möchte.
  • Eine weitere vorteilhafte Ausgestaltung besteht darin, dass das Verfahren nur dann durchgeführt wird, wenn vor dem Fokussieren eine akustische Quelle im Fokus-Raumwinkel erfasst wurde. Damit wird verhindert, dass trotz Fehlens von akustischen Quellen fokussiert wird, was offensichtlich nicht sinnvoll wäre.
  • Weitere Vorteile und Weiterbildungen ergeben sich aus den abhängigen Patentansprüchen und aus der nachfolgenden Beschreibung von Ausführungsbeispielen und Figuren. Es zeigen:
    • Fig 1
    Benutzer mit linkem und rechtem Hörinstrument
    Fig 2
    Hörinstrument samt wesentlicher Komponenten
    Fig 3
    Signalverarbeitungskomponenten des adaptiven Beamformers
    Fig 4
    Benutzer und mehrere akustische Quellen
    Fig 5
    Fokussierter Beam
    Fig 6
    Akustische Quelle außerhalb des Beams
    Fig 7
    Ändern der Beam-Richtung
    Fig 8
    Neu-fokussierter Beam
    Fig 9
    Ablaufdiagramm, Fokussierung und D-Fokussierung
  • In Figur 1 ist schematisch ein Nutzer 1 mit linkem Hörinstrument 2 und rechtem Hörinstrument 3 in Draufsicht dargestellt. Die Mikrofone des linken und rechten Hörinstruments 2, 3 sind jeweils zu einer direktionalen Mikrofonanordnung zusammengeschlossen, so dass die Möglichkeit besteht, den jeweiligen Beam vom Benutzer 1 aus gesehen im Wesentlichen entweder nach vorne oder nach hinten zu richten. Weiter besteht die Möglichkeit, linkes und rechtes Hörinstrument 2, 3 mit einem Wireless Link (e2e) zu verbinden, um eine binaurale Konfiguration mit binauraler Mikrofonanordnung zu ermöglichen. Damit werden im Wesentlichen Richtungen vom Benutzer 1 aus gesehen nach rechts und links als weitere Beam-Richtungen der Anordnung ermöglicht. Die automatische Fokussierung des Beams kann sowohl für jedes monaurale Hörinstrument einzeln (vorne/hinten) als auch für die binaurale Anordnung (rechts/links) gemeinsam erfolgen.
  • In Figur 2 sind das linke und rechte Hörinstrument 2, 3 samt der wesentlichen Signalverarbeitungskomponenten schematisch dargestellt. Die Hörinstrumente 2, 3 sind gleich aufgebaut und unterscheiden sich ggf. in ihrer äußeren Form, um der jeweiligen Verwendung am linken oder rechten Ohr Rechnung zu tragen. Das linke Hörinstrument 2 umfasst zwei Mikrofone 4, 5, die räumlich getrennt angeordnet sind und gemeinsam eine direktionale Mikrofonanordnung bilden. Die Signale der Mikrofone 4, 5 werden durch eine Signalverarbeitungseinrichtung 11 verarbeitet, die ein Ausgangssignal über den Receiver 8 abgibt. Eine Batterie 10 dient der Energieversorgung des Hörinstruments 2. Zusätzlich ist ein Bewegungssensor 9 vorgesehen, dessen Funktion bei der automatischen Fokussierung weiter unten erläutert werden soll. Das rechte Hörinstrument 3 umfasst die Mikrofone 6, 7, die ebenfalls zu einer direktionalen Mikrofonanordnung zusammengeschlossen sind. Bezüglich der weiteren Komponenten wird auf die vorangehende Beschreibung verwiesen.
  • In Figur 3 sind die wesentlichen Signalverarbeitungskomponenten des automatisch fokussierenden Beamformers schematisch dargestellt. Die Signale der Mikrofone 4, 5 des linken Hörinstruments 2 werden vom Beamformer so verarbeitet, dass ein vom Benutzer aus gesehen gerade frontal nach vorne gerichteter Beam entsteht (0°, "Broadside"), der eine variable Beam-Weite aufweist. Die variable Beam-Weite ist gleichbedeutend mit einer variablen Direktionalität (kleinere Beam-Weite bedeutet höhere Direktionalität und umgekehrt, wobei höhere Direktionalität gleichbedeutend mit größerer Richtungsabhängigkeit ist). Der Beamformer ist auf herkömmliche Art und Weise aufgebaut, beispielsweise als Anordnung fester Beamformer, als Gemisch eines festen Beamformers mit einem richtungsunabhängigen Omni-Signal, als Beamformer mit variabler Beam-Weite, etc.
  • Ausgangssignale des Beamformers 13 sind das gewünschte Beam-Signal, das sämtliche akustischen Signale aus Richtung des Beams enthält, das richtungsunabhängige Omni-Signal (das sämtliche akustischen Quellen in allen Richtungen mit unterverfälschten binauralen Cues beinhaltet) und das Anti-Signal, das sämtliche akustischen Signale aus Richtungen außerhalb des Beams enthält.
  • Die drei Signale werden dem Mixer 19 zugeführt, und parallel den Quellen-Detektoren 15, 16, 17. Die Quellen-Detektoren 15, 16, 17 ermitteln laufend die Wahrscheinlichkeit (oder ein vergleichbares Maß) davon, dass eine interessierende akustische Quelle, beispielsweise eine Sprachquelle, in den drei Signalen vorhanden ist.
  • Der Bewegungssensor 9 hat die Aufgabe, Kopfbewegungen des Hörinstruments-Benutzers zu erfassen, beispielsweise auch Rotation, und zudem ein Maß für die Weite der jeweiligen Bewegung zu ermitteln. Ein dedizierter Hardware-Sensor herkömmlicher Art ist die schnellste und verlässlichste Möglichkeit, um Kopfbewegungen zu detektieren. Allerdings stehen andere Möglichkeiten, Kopfbewegungen zu detektieren, ebenfalls zur Verfügung, beispielsweise basierend auf einer räumlichen Analyse der akustischen Signale, oder unter Verwendung zusätzlicher alternativer Sensor-Systeme. Ein Kopfbewegungsdetektor 14 analysiert die Signale des Bewegungssensors 9 und ermittelt daraus Richtung und Maß von Kopfbewegungen.
  • Sämtliche Signale werden der Fokussteuerung 18 zugeführt, die in Abhängigkeit der Signale die Beam-Weite ermittelt. Die ermittelte Beam-Weite wird von der Fokussteuerung 18 daraufhin dem Beamformer 13 als Eingangssignal zugeführt. Weiter steuert die Fokussteuerung neben der Beam-Weite auch den Mixer 19, der die vorangehend erläuterten drei Signale (Omni, Anti, Beam) mischt und an eine Hörinstrumentsignalverarbeitung 20 weiterleitet. In der Hörinstrument-Signalverarbeitung 20 werden die akustischen Signale in der für Hörinstrumente üblichen Weise weiterverarbeitet und verstärkt an den Receiver 8 ausgegeben. Der Receiver 8 erzeugt das akustische Ausgangssignal für den Hörinstrument-Benutzer.
  • Die Fokussteuerung 18 ist vorzugsweise als Finite-State-Machine (FSM) ausgeführt, deren finite Zustände weiter unten erläutert werden sollen.
  • Die drei Signale (Omni, Anti, Beam) werden vom Mixer 19 so gemixt, dass der Benutzer ein natürlich klingendes räumliches Signal erhält. Dazu gehört auch, dass keine abrupten Übergänge stattfinden, sondern sanfte Übergänge. In der Hörinstrument-Signalverarbeitung 20 finden die weiteren Verarbeitungsschritte statt, die insbesondere einer Kompensation oder Therapie einer Hörschädigung des Benutzers dienen.
  • In Figur 4 ist eine beispielhafte Situation schematisch dargestellt. Dargestellt ist der Hörinstrument-Benutzer 1 mit linkem und rechtem Hörinstrument 2, 3 in Draufsicht. Frontal vor dem Benutzer 1 befindet sich eine akustische Quelle 21, in deren Richtung der Benutzer 1 blickt. Der Beam des jeweiligen Hörinstruments 2, 3 ist auf die akustische Quelle 21 fokussiert, in dem die Beam-Weite auf den Winkel α1 verringert wurde. Somit liegt die weitere akustische Quelle 22 außerhalb des Beams, würde jedoch innerhalb eines Beams mit der Beam-Weite α2 liegen. Die weitere akustische Quelle 23 liegt noch weiter außerhalb des Beams und befindet sich nahezu neben dem Benutzer 1.
  • In Figur 5 bis 8 wird die Funktionsweise des automatischen Fokussierens des Beams schematisch erläutert. In Figur 5 ist der Beam mit der Weite β auf die akustische Quelle 21 fokussiert. In Figur 6 bewegt der Benutzer den Kopf weg von der Quelle 21 und hin zur Quelle 23. Die Kopfbewegung wird durch die automatische Fokussteuerung (bzw. durch den Bewegungssensor) detektiert. Die automatische Fokussteuerung defokussiert den Beam daraufhin, indem auf das Signal Omni umgestellt wird. Wahlweise kann auch dadurch defokussiert werden, dass die Beam-Weite auf einen vorgegebenen, erheblich größeren Öffnungswinkel als im fokussierten Zustand eingestellt wird.
  • In Figur 7 hat der Benutzer 1 den Kopf vollständig zur akustischen Quelle 23 gewendet. Die Kopfbewegung endet und der Benutzer 1 blickt zur Quelle 23. Das Ende der Kopfbewegung wird detektiert, woraufhin die automatische Fokussierung des Beams auf die Quelle 23 beginnt. Dabei wird ggf. vom richtungsunabhängigen Omni-Signal auf das richtungsabhängige Beam-Signal umgestellt und/oder die stark erhöhte Beam-Weite nach und nach reduziert. Die Beam-Weite wird solange reduziert, bis die Signalquelle 23 voll fokussiert ist. Weitere Reduzierung der Beam-Weite führt dazu, dass die Quelle nicht mehr vollständig innerhalb des Beams liegt, sodass das Signal der Quelle 23 bzw. dessen Anteil im Beam-Signal abnimmt. Die Fokussierung des Beams, d.h. die Reduzierung des Öffnungswinkels des Beams, wird beendet, sobald die Quelle 23 scharf fokussiert ist, was beim in der Figur 8 eingezeichneten Winkel β der Fall ist. Eine möglicherweise darüber hinausgegangene Reduzierung des Beam-Winkels wird wieder rückgängig gemacht.
  • In Figur 9 sind die finiten Zustände der Finite State Machine (FSM) erläutert. Die FSM startet im Zustand "Omni" 40 (keine Direktionalität, der Mixer gibt das Signal Omni aus), indem der Hörinstrument-Benutzer normal und richtungsunabhängig hört. Er ist in diesem Zustand in der Lage, akustische Quellen normal zu lokalisieren. Er kann seinen Kopf in normaler und natürlicher Weise bewegen und drehen, um beispielsweise nach einer interessierenden akustischen Quelle, etwa einem Sprecher, zu suchen.
  • Sobald der Benutzer seine Aufmerksamkeit einer Quelle zuwendet und sich auf diese Quelle konzentriert, wendet er den Kopf in Richtung dieser Quelle und bewegt seinen Kopf dann nicht mehr. Die Schleife 41 wird verlassen. Stattdessen geht die FSM in den Zustand "Fokussieren" 42 über und die Direktionalität des Beamformers wird nach und nach vergrößert (die Beam-Weite wird reduziert und ein entsprechend stärker richtungsabhängiges Signal an den Benutzer ausgegeben). Damit wächst der Anteil des Signals der Quelle im Beam-Signal und der Mixer gibt das derart gefilterte Signal weiter, indem er ausschließlich oder hauptsächlich das Signal Beam ausgibt.
  • Sobald die maximale Direktionalität (minimale Beam-Weite) erreicht ist, was dem vorangehend in Figur 5 und Figur 8 beschriebenen Zustand entspricht, kann der Anteil des interessierenden Quellsignals im Beam-Signal nicht weiter erhöht werden. Die Direktionalität wird nicht weiter verändert (Beam-Weite nicht weiter verringert) und die FSM verlässt die Schleife 43 und wechselt in den Zustand "Fokussiert" 44. Im Zustand "Fokussiert" 44 überwacht die automatische Beam-Steuerung laufend mithilfe des Bewegungssensors Kopfbewegungen des Benutzers (Schleife 47). Solange keine Kopfbewegungen detektiert werden, bleibt die FSM im Zustand "Fokussiert" 44.
  • Weiter wird laufend überwacht, ob außerhalb des Beams in den Signalen Omni und Anti möglicherweise interessierende akustische Quellen vorhanden sind. Wird eine neue Quelle entdeckt, wechselt die FSM in den Zustand "Glimpsing" 45. Im Zustand "Glimpsing" 45 wird ein geringer Anteil des Omni-Signals, das die mögliche weitere Quelle enthält, vom Mixer in das Ausgangssignal für den Benutzer beigemischt. Dadurch registriert der Benutzer, dass eine weitere Quelle vorhanden ist. Wenn der Benutzer sich dieser neuen Quelle nicht zuwendet, bewegt er seinen Kopf nicht. Die automatische Fokussteuerung stellt dies mit Hilfe des Bewegungssensors fest und regelt den Anteil des Omni-Signals nach einer bestimmten Zeitdauer wieder auf null zurück (fade out), so dass der Benutzer sich wieder voll auf fokussierte Signal konzentrieren kann. Das beschriebene "Glimpsing" wird jedes Mal durchgeführt, wenn eine neue Quelle in der akustischen Umgebung auftaucht oder wenn die akustische Umgebung sich signifikant verändert.
  • Bewegt der Benutzer seinen Kopf jedoch, weil er ein neues Signal fokussieren will oder einfach die akustische Umgebung überblicken will, was in der vorangehenden Figur 6 dargestellt ist, wird die Kopfbewegung detektiert und die Fokussteuerung schaltet sofort auf das Omni-Signal um, d.h. die Beam-Weite wird wieder stark vergrößert und/oder der Mixer gibt zusätzlich oder ausschließlich das Omni-Signal aus. Dies ist in der Abbildung durch Element 46 wiedergegeben.
  • Das Omni-Signal ermöglicht es dem Benutzer, die akustische Umgebung mit allen unverzerrten räumlichen Cues zu überblicken, die im Beam-Signal verzerrt sind oder fehlen. Dies ermöglicht dem Benutzer die normale Lokalisierung akustischer Quellen. Sobald der Benutzer sich auf eine andere akustische Quelle konzentriert, was der vorangehend erläuterten Figur 7 entspricht, geht die FSM erneut in den Zustand Fokussing 42 über. Damit beginnt die Beam-Fokussierung erneut.
  • Es versteht sich von selbst, dass für eine angenehme akustische Wahrnehmung des Benutzers sämtliche Zustände sowohl der Beam-Fokussierung als auch des Mixers sanft und ohne plötzliche Schritte gewechselt werden.
  • Das vorangehend erläuterte Verfahren ermöglicht durch die Kombination der verschiedenen Beamformer-Signale mit dem Kopfbewegungs-Detektor eine Funktion, die eng an die menschliche Weise angelehnt ist, sich verschiedene Quellen zu konzentrieren. Dabei wird die Kopfbewegung genutzt, um ein natürliches Feedback für das automatische Fokussieren und schnelle Defokussieren auf ein Ziel genutzt, um den Beamformer zu steuern. Die Fokussierung erfolgt nach und nach, wenn der Benutzer seinen Kopf nicht bewegt. Die Defokussierung bei Kopfbewegung bzw. der Übergang vom Beam-Signal ins Omni-Signal erfolgt schnell, um bei Veränderungen schnell ein unverzerrtes Signal mit allen räumlichen Informationen zur Verfügung zu haben. Die Funktion des Glimpsing gibt dem Benutzer die Möglichkeit, einerseits auf eine Quelle konzentriert zu bleiben, andererseits jedoch den Überblick über neue Quellen und Veränderungen zu erhalten.
  • Ein Grundgedanke der Erfindung lässt sich wie folgt zusammenfassen: Die Erfindung betrifft ein Verfahren zum Fokussieren eines Beamformers eines Hörinstruments. Die Aufgabe der Erfindung besteht darin, eine automatische Adaption der Beam-Weite und/oder der Beam-Richtung zu ermöglichen, die komfortabel und intuitiv genutzt werden kann. Ein Grundgedanke der Erfindung besteht in einem Verfahren zum Fokussieren eines Beamformers eines Hörinstruments umfassend die Schritte:
    • Erfassen der räumlichen Orientierung und/oder Position des Kopfs des Hörinstrument-Benutzers,
    • Bei Erfassen des Ausbleibens von Kopfbewegungen richtungsabhängiges erfassen von akustischen Signalen,
    • Danach anheben der Verstärkung akustischer Signale, die aus einem Fokus-Raumwinkel vor dem Kopf des Hörinstrument-Benutzers kommen, gegenüber akustischen Signalen aus anderen Raumwinkeln, und dadurch Aktivieren oder Erhöhen der Direktivität,
    • Danach nach und nach fokussieren durch verringern des Fokus-Raumwinkels, und dadurch Erhöhen der Direktivität, solange, bis der Pegel akustischer Signale aus dem Fokus-Raumwinkel, eigentlich die Präsenz der gewünschten Signale im Fokus-Raumwinkel (rein theoretisch die Wahrscheinlichkeit, dass das gewünschte Signal im Fokus-Raumwinkel präsent ist), aufgrund der Verringerung des Fokus-Raumwinkels abnimmt.
  • Dadurch wird vorteilhaft die richtungsabhängige, direktionale Erfassung akustischer Signale automatisch gestartet, sobald der Benutzer in Richtung einer akustischen Quelle, beispielsweise eines Sprechers, blickt und die Quelle sodann unverwandt ansieht.

Claims (9)

  1. Verfahren zum Fokussieren eines Beamformers (13) eines Hörinstruments (2, 3) umfassend die Schritte:
    - Erfassen der räumlichen Orientierung und/oder Position des Kopfs des Hörinstrument-Benutzers (1),
    - Erfassen von Bewegungen des Kopfes des Hörinstrument-Benutzers (1) durch einen Bewegungssensor (9) oder basierend auf einer räumlichen Analyse von akustischen Signalen,
    - Richtungsabhängiges Erfassen von akustischen Signalen, wenn der Hörinstrument-Benutzer (1) den Kopf in Richtung einer Quelle eines akustischen Signals (21) bewegt hat,
    - Danach Anheben der Verstärkung akustischer Signale, die aus einem Fokus-Raumwinkel (α1, α2, β) frontal vor dem Kopf des Hörinstrument-Benutzers (1), in welche Richtung der Hörinstrument-Benutzer (1) blickt, kommen, gegenüber akustischen Signalen aus anderen Raumwinkeln,
    - Danach nach und nach Fokussieren durch Verringern des Fokus-Raumwinkels (α2) solange, bis der Pegel akustischer Signale aus dem Fokus-Raumwinkel (α2) aufgrund der Verringerung des Fokus-Raumwinkels (α2) abnimmt und ein minimaler Fokus-Raumwinkel (α1, β) erreicht ist.
  2. Verfahren nach Anspruch 1 umfassend den weiteren Schritt:
    - Identifizieren der akustischen Quelle (21) im Fokus-Raumwinkel (α2) anhand der akustischen Signale aus dem Fokus-Raumwinkel (α2).
  3. Verfahren nach Anspruch 2, umfassend den weiteren Schritt:
    - Fokussieren solange, bis der Pegel akustischer Signale der akustischen Quelle (21) im Fokus-Raumwinkel (α2) aufgrund der Verringerung des Fokus-Raumwinkels (α2) abnimmt.
  4. Verfahren nach Anspruch 2 oder 3 umfassend die weiteren Schritte:
    - Ermitteln der räumlichen Richtung, in der sich die akustische Quelle (21) befindet,
    - Zentrieren des Fokus-Raumwinkels (α2) in diese Richtung.
  5. Verfahren nach einem der vorhergehenden Ansprüche umfassend die weiteren Schritte:
    - Anschließend erfassen weiterer akustischer Signale, die aus anderen Raumwinkeln (γ) als dem Fokus-Raumwinkel (α2) kommen,
    - Erfassen weiterer akustischer Quellen (23) anhand der weiteren akustischen Signale.
  6. Verfahren nach Anspruch 5 umfassend die weiteren Schritte:
    - Bei Erfassen einer weiteren akustischen Quelle (23) anheben der Verstärkung der weiteren akustischen Signale.
    - Erfassen der räumlichen Orientierung und/oder Position des Kopfs des Hörinstrument-Benutzers (1) nach dem Anheben der Verstärkung der weiteren akustischen Signale,
    - Bei Erfassen des Ausbleibens von Kopfbewegungen innerhalb einer vorbestimmten Zeitdauer nach dem Anheben der Verstärkung der weiteren akustischen Signale wiederabsenken der Verstärkung,
    - Bei Erfassen einer Kopfbewegung innerhalb der vorbestimmten Zeitdauer Defokussieren durch Wiedervergrößern des Fokus-Raumwinkels (α2) und anschließend Durchführen des Verfahrens nach einem der vorhergehenden Ansprüche.
  7. Verfahren nach Anspruch 5 umfassend die weiteren Schritte:
    - Bei Ausbleiben des Erfassens weiterer akustischer Quellen (23) erfassen der räumlichen Orientierung und/oder Position des Kopfs des Hörinstrument-Benutzers (1),
    - Bei Erfassen einer Kopfbewegung defokussieren durch Wiedervergrößern des Fokus-Raumwinkels (α2) oder durch Wechseln von richtungsabhängigem auf richtungsunabhängiges Erfassen von akustischen Signalen.
  8. Verfahren nach einem der vorhergehenden Ansprüche, wobei das Verfahren nur dann durchgeführt wird, wenn vor dem Erfassen des Ausbleibens von Kopfbewegungen eine Kopfbewegung erfasst wurde.
  9. Verfahren nach einem der vorhergehenden Ansprüche, wobei das Verfahren nur dann durchgeführt wird, wenn vor dem Fokussieren eine akustische Quelle (21) im Fokus-Raumwinkel (α2) erfasst wurde.
EP13167409.5A 2012-06-06 2013-05-13 Verfahren zum Fokussieren eines Hörinstruments-Beamformers Active EP2672732B2 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201261656110P 2012-06-06 2012-06-06
DE102012214081A DE102012214081A1 (de) 2012-06-06 2012-08-08 Verfahren zum Fokussieren eines Hörinstruments-Beamformers

Publications (4)

Publication Number Publication Date
EP2672732A2 EP2672732A2 (de) 2013-12-11
EP2672732A3 EP2672732A3 (de) 2014-07-16
EP2672732B1 true EP2672732B1 (de) 2016-07-27
EP2672732B2 EP2672732B2 (de) 2025-09-10

Family

ID=49625951

Family Applications (1)

Application Number Title Priority Date Filing Date
EP13167409.5A Active EP2672732B2 (de) 2012-06-06 2013-05-13 Verfahren zum Fokussieren eines Hörinstruments-Beamformers

Country Status (5)

Country Link
US (1) US8867763B2 (de)
EP (1) EP2672732B2 (de)
CN (1) CN103475974B (de)
DE (1) DE102012214081A1 (de)
DK (1) DK2672732T4 (de)

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102012214081A1 (de) 2012-06-06 2013-12-12 Siemens Medical Instruments Pte. Ltd. Verfahren zum Fokussieren eines Hörinstruments-Beamformers
US9124990B2 (en) * 2013-07-10 2015-09-01 Starkey Laboratories, Inc. Method and apparatus for hearing assistance in multiple-talker settings
CN106464996A (zh) * 2014-01-24 2017-02-22 布拉吉有限公司 用于体育活动的多功能耳机系统
EP2928210A1 (de) * 2014-04-03 2015-10-07 Oticon A/s Binaurales Hörgerätesystem mit binauraler Rauschunterdrückung
WO2015154282A1 (zh) * 2014-04-10 2015-10-15 华为终端有限公司 一种通话设备及应用于通话设备的切换方法、装置
CN103901401B (zh) * 2014-04-10 2016-08-17 北京大学深圳研究生院 一种基于双耳匹配滤波器的双耳声音源定位方法
US9961456B2 (en) * 2014-06-23 2018-05-01 Gn Hearing A/S Omni-directional perception in a binaural hearing aid system
CN104052851B (zh) 2014-06-30 2017-07-21 歌尔科技有限公司 提高免提通话设备通话质量的方法、装置和免提通话设备
WO2016118656A1 (en) * 2015-01-21 2016-07-28 Harman International Industries, Incorporated Techniques for amplifying sound based on directions of interest
US10499164B2 (en) * 2015-03-18 2019-12-03 Lenovo (Singapore) Pte. Ltd. Presentation of audio based on source
CN106162427B (zh) * 2015-03-24 2019-09-17 青岛海信电器股份有限公司 一种声音获取元件的指向性调整方法和装置
DE102015211747B4 (de) * 2015-06-24 2017-05-18 Sivantos Pte. Ltd. Verfahren zur Signalverarbeitung in einem binauralen Hörgerät
US10681457B2 (en) * 2015-07-27 2020-06-09 Sonova Ag Clip-on microphone assembly
DE102015219572A1 (de) * 2015-10-09 2017-04-13 Sivantos Pte. Ltd. Verfahren zum Betrieb einer Hörvorrichtung und Hörvorrichtung
US11445305B2 (en) * 2016-02-04 2022-09-13 Magic Leap, Inc. Technique for directing audio in augmented reality system
CN114189793B (zh) * 2016-02-04 2024-03-19 奇跃公司 增强现实系统中定向音频的技术
DK3270608T3 (da) 2016-07-15 2021-11-22 Gn Hearing As Høreindretning med adaptiv behandling og relateret fremgangsmåde
JP6961007B2 (ja) 2017-02-28 2021-11-05 マジック リープ, インコーポレイテッドMagic Leap, Inc. 複合現実デバイスにおける仮想および実オブジェクトの記録
WO2019084214A1 (en) * 2017-10-24 2019-05-02 Whisper.Ai, Inc. AUDIO SEPARATION AND RECOMBINATION FOR INTELLIGIBILITY AND COMFORT
US10536785B2 (en) * 2017-12-05 2020-01-14 Gn Hearing A/S Hearing device and method with intelligent steering
DE102018206979A1 (de) * 2018-05-04 2019-11-07 Sivantos Pte. Ltd. Verfahren zum Betrieb eines Hörgeräts und Hörgerät
US11089402B2 (en) * 2018-10-19 2021-08-10 Bose Corporation Conversation assistance audio device control
US10795638B2 (en) 2018-10-19 2020-10-06 Bose Corporation Conversation assistance audio device personalization
DK3672280T3 (da) 2018-12-20 2023-06-26 Gn Hearing As Høreaggregat med accelerationsbaseret stråleformning
EP3687188B1 (de) 2019-01-25 2022-04-27 ams AG Audiosystem mit rauschunterdrückung und verfahren zur anpassung einer zieltransferfunktion eines audiosystems mit rauschunterdrückung
US10798499B1 (en) 2019-03-29 2020-10-06 Sonova Ag Accelerometer-based selection of an audio source for a hearing device
TWI725668B (zh) * 2019-12-16 2021-04-21 陳筱涵 注意力集中輔助系統
DE102020202483A1 (de) 2020-02-26 2021-08-26 Sivantos Pte. Ltd. Hörsystem mit mindestens einem im oder am Ohr des Nutzers getragenen Hörinstrument sowie Verfahren zum Betrieb eines solchen Hörsystems
DE102020207586B4 (de) * 2020-06-18 2025-05-08 Sivantos Pte. Ltd. Hörsystem mit mindestens einem am Kopf des Nutzers getragenen Hörinstrument sowie Verfahren zum Betrieb eines solchen Hörsystems
US11482238B2 (en) 2020-07-21 2022-10-25 Harman International Industries, Incorporated Audio-visual sound enhancement
WO2022076404A1 (en) 2020-10-05 2022-04-14 The Trustees Of Columbia University In The City Of New York Systems and methods for brain-informed speech separation
JP7567345B2 (ja) * 2020-10-09 2024-10-16 ヤマハ株式会社 音信号処理方法および音信号処理装置
JP7567344B2 (ja) 2020-10-09 2024-10-16 ヤマハ株式会社 音信号処理方法および音信号処理装置
CN113938804A (zh) * 2021-09-28 2022-01-14 武汉左点科技有限公司 一种范围性助听方法及装置
DE102022201706B3 (de) 2022-02-18 2023-03-30 Sivantos Pte. Ltd. Verfahren zum Betrieb eines binauralen Hörvorrichtungssystems und binaurales Hörvorrichtungssystem
CN115620727B (zh) * 2022-11-14 2023-03-17 北京探境科技有限公司 音频处理方法、装置、存储介质及智能眼镜
DE102024203743A1 (de) * 2024-04-22 2025-10-23 Sivantos Pte. Ltd. Verfahren zur direktionalen Signalverarbeitung für ein Hörinstrument

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5964994A (ja) 1982-10-05 1984-04-13 Matsushita Electric Ind Co Ltd マイクロホン装置
US5473701A (en) 1993-11-05 1995-12-05 At&T Corp. Adaptive microphone array
US20100074460A1 (en) 2008-09-25 2010-03-25 Lucent Technologies Inc. Self-steering directional hearing aid and method of operation thereof
EP2672732A2 (de) 2012-06-06 2013-12-11 Siemens Medical Instruments Pte. Ltd. Verfahren zum Fokussieren eines Hörinstruments-Beamformers

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001076321A1 (en) 2000-04-04 2001-10-11 Gn Resound A/S A hearing prosthesis with automatic classification of the listening environment
US20040175008A1 (en) 2003-03-07 2004-09-09 Hans-Ueli Roeck Method for producing control signals, method of controlling signal and a hearing device
DE10351509B4 (de) * 2003-11-05 2015-01-08 Siemens Audiologische Technik Gmbh Hörgerät und Verfahren zur Adaption eines Hörgeräts unter Berücksichtigung der Kopfposition
US20080260189A1 (en) * 2005-11-01 2008-10-23 Koninklijke Philips Electronics, N.V. Hearing Aid Comprising Sound Tracking Means
DE102007005861B3 (de) 2007-02-06 2008-08-21 Siemens Audiologische Technik Gmbh Hörvorrichtung mit automatischer Ausrichtung des Richtmikrofons und entsprechendes Verfahren
US8509454B2 (en) * 2007-11-01 2013-08-13 Nokia Corporation Focusing on a portion of an audio scene for an audio signal
JP5139577B2 (ja) 2008-04-09 2013-02-06 フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ フィルタ特性を生成する装置および方法
DK2200341T3 (en) 2008-12-16 2015-06-01 Siemens Audiologische Technik A method for driving of a hearing aid as well as the hearing aid with a source separation device
WO2010084769A1 (ja) 2009-01-22 2010-07-29 パナソニック株式会社 補聴装置
DK2360943T3 (da) * 2009-12-29 2013-07-01 Gn Resound As Beamforming i høreapparater
AU2010346387B2 (en) * 2010-02-19 2014-01-16 Sivantos Pte. Ltd. Device and method for direction dependent spatial noise reduction
DE102010026381A1 (de) * 2010-07-07 2012-01-12 Siemens Medical Instruments Pte. Ltd. Verfahren zum Lokalisieren einer Audioquelle und mehrkanaliges Hörsystem
US8989413B2 (en) * 2011-09-14 2015-03-24 Cochlear Limited Sound capture focus adjustment for hearing prosthesis

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5964994A (ja) 1982-10-05 1984-04-13 Matsushita Electric Ind Co Ltd マイクロホン装置
US5473701A (en) 1993-11-05 1995-12-05 At&T Corp. Adaptive microphone array
US20100074460A1 (en) 2008-09-25 2010-03-25 Lucent Technologies Inc. Self-steering directional hearing aid and method of operation thereof
EP2672732A2 (de) 2012-06-06 2013-12-11 Siemens Medical Instruments Pte. Ltd. Verfahren zum Fokussieren eines Hörinstruments-Beamformers

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HOFFMAN ET AL.: "Constrained Optimum Filtering for Multi-Microphone digital hearing aids", CONFERENCE RECORD TWENTY-FOURTH ASILOMAR CONFERENCE ON SIGNALS, SYSTEMS AND COMPUTERS, 1990, pages 28 - 32, XP032290890
PETERSON ET AL.: "Multimicrophone adaptive beamforming for interference reduction in hearing aids", JOURNAL OF REHABILITATION RESEARCH AND DEVELOPMENT, vol. 24, no. 4, 1987, pages 103 - 110, XP055376583

Also Published As

Publication number Publication date
DK2672732T3 (da) 2016-11-28
EP2672732B2 (de) 2025-09-10
CN103475974A (zh) 2013-12-25
CN103475974B (zh) 2016-07-27
DK2672732T4 (da) 2025-10-06
US8867763B2 (en) 2014-10-21
EP2672732A3 (de) 2014-07-16
US20130329923A1 (en) 2013-12-12
DE102012214081A1 (de) 2013-12-12
EP2672732A2 (de) 2013-12-11

Similar Documents

Publication Publication Date Title
EP2672732B1 (de) Verfahren zum Fokussieren eines Hörinstruments-Beamformers
EP1307072B1 (de) Verfahren zum Betrieb eines Hörgerätes sowie Hörgerät
EP3451705B1 (de) Verfahren und vorrichtung zum schnellen erkennen der eigenen stimme
DE102017214164B3 (de) Verfahren zum Betrieb eines Hörgeräts und Hörgerät
DE102007008738A1 (de) Verfahren zur Verbesserung der räumlichen Wahrnehmung und entsprechende Hörvorrichtung
EP1589784A2 (de) Hörhilfegerät mit einer Bedieneinrichtung
EP2645743B1 (de) Hörvorrichtung für eine binaurale Versorgung und Verfahren zum Bereitstellen einer binauralen Versorgung
EP2373064B1 (de) Verfahren und Anordnung zur Sprachsteuerung von binaurales Hörgeräten
DE102013215131A1 (de) Verfahren zur Verfolgung einer Schallquelle
EP1489884A2 (de) Verfahren zum Betrieb eines Hörhilfegerätes sowie Hörhilfegerät mit einem Mikrofonsystem, bei dem unterschiedliche Richtcharakteristiken einstellbar sind
EP1561363B1 (de) Spracheingabe-interface
EP2182741B1 (de) Hörvorrichtung mit spezieller Situationserkennungseinheit und Verfahren zum Betreiben einer Hörvorrichtung
EP2373062A2 (de) Duales Einstellverfahren für ein Hörsystem
EP1881738B1 (de) Verfahren zum Betrieb eines Hörgerätes und Anordnung mit einem Hörgerät
WO2008043758A1 (de) Verfahren zum betreiben einer hörhilfe, sowie hörhilfe
EP1432282A2 (de) Verfahren zum Anpassen eines Hörgerätes an eine momentane akustische Umgebungssituation und Hörgerätesystem
EP2658289B1 (de) Verfahren zum Steuern einer Richtcharakteristik und Hörsystem
EP4149121B1 (de) Verfahren zum betrieb eines hörgeräts
EP3697107B1 (de) Verfahren zum betrieb eines hörsystems und hörsystem
WO2004100609A1 (de) System zur ortssensitiven wiedergabe von audiosignalen
DE102022201706B3 (de) Verfahren zum Betrieb eines binauralen Hörvorrichtungssystems und binaurales Hörvorrichtungssystem
EP2592850B1 (de) Automatisches Aktivieren und Deaktivieren eines binauralen Hörsystems
DE102005019604B4 (de) Aktiv-Richtlautsprecher zum Beschallen einer Hörzone und Verfahren zum automatischen Anpassen der Wiedergabelautstärke eines einer Hörzone zugeordneten Richtlautsprechers
EP3576432A1 (de) Anpassung von hörgeräteparametern mittels ultraschall-signalgeber
DE102010011730A1 (de) Hörvorrichtung und Verfahren zum Erzeugen einer omnidirektionalen Richtcharakteristik

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

AK Designated contracting states

Kind code of ref document: A2

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

PUAL Search report despatched

Free format text: ORIGINAL CODE: 0009013

AK Designated contracting states

Kind code of ref document: A3

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

RIC1 Information provided on ipc code assigned before grant

Ipc: H04R 25/00 20060101AFI20140606BHEP

17P Request for examination filed

Effective date: 20141120

RBV Designated contracting states (corrected)

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

17Q First examination report despatched

Effective date: 20150611

RAP1 Party data changed (applicant data changed or rights of an application transferred)

Owner name: SIVANTOS PTE. LTD.

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

INTG Intention to grant announced

Effective date: 20160309

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE PATENT HAS BEEN GRANTED

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

REG Reference to a national code

Ref country code: GB

Ref legal event code: FG4D

Free format text: NOT ENGLISH

REG Reference to a national code

Ref country code: CH

Ref legal event code: EP

REG Reference to a national code

Ref country code: CH

Ref legal event code: NV

Representative=s name: E. BLUM AND CO. AG PATENT- UND MARKENANWAELTE , CH

Ref country code: AT

Ref legal event code: REF

Ref document number: 816653

Country of ref document: AT

Kind code of ref document: T

Effective date: 20160815

REG Reference to a national code

Ref country code: IE

Ref legal event code: FG4D

Free format text: LANGUAGE OF EP DOCUMENT: GERMAN

REG Reference to a national code

Ref country code: DE

Ref legal event code: R096

Ref document number: 502013003857

Country of ref document: DE

REG Reference to a national code

Ref country code: LT

Ref legal event code: MG4D

REG Reference to a national code

Ref country code: DK

Ref legal event code: T3

Effective date: 20161122

REG Reference to a national code

Ref country code: NL

Ref legal event code: MP

Effective date: 20160727

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160727

Ref country code: NL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160727

Ref country code: NO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20161027

Ref country code: LT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160727

Ref country code: HR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160727

Ref country code: IS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20161127

Ref country code: FI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160727

Ref country code: RS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160727

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160727

Ref country code: LV

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160727

Ref country code: PT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20161128

Ref country code: PL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160727

Ref country code: ES

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160727

Ref country code: GR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20161028

REG Reference to a national code

Ref country code: DE

Ref legal event code: R026

Ref document number: 502013003857

Country of ref document: DE

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: RO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160727

Ref country code: EE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160727

PLBI Opposition filed

Free format text: ORIGINAL CODE: 0009260

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 5

26 Opposition filed

Opponent name: GN HEARING A/S / WIDEX A/S / OTICON A/S

Effective date: 20170427

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SM

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160727

Ref country code: CZ

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160727

Ref country code: SK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160727

Ref country code: BG

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20161027

PLAX Notice of opposition and request to file observation + time limit sent

Free format text: ORIGINAL CODE: EPIDOSNOBS2

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LU

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20170531

Ref country code: SI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160727

PLBB Reply of patent proprietor to notice(s) of opposition received

Free format text: ORIGINAL CODE: EPIDOSNOBS3

PLAB Opposition data, opponent's data or that of the opponent's representative modified

Free format text: ORIGINAL CODE: 0009299OPPO

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MC

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160727

R26 Opposition filed (corrected)

Opponent name: GN HEARING A/S / WIDEX A/S / OTICON A/S

Effective date: 20170427

RAP2 Party data changed (patent owner data changed or rights of a patent transferred)

Owner name: SIVANTOS PTE. LTD.

REG Reference to a national code

Ref country code: IE

Ref legal event code: MM4A

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LU

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20170513

REG Reference to a national code

Ref country code: BE

Ref legal event code: MM

Effective date: 20170531

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20170513

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 6

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: BE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20170531

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160727

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: AL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160727

APBM Appeal reference recorded

Free format text: ORIGINAL CODE: EPIDOSNREFNO

APBP Date of receipt of notice of appeal recorded

Free format text: ORIGINAL CODE: EPIDOSNNOA2O

APAH Appeal reference modified

Free format text: ORIGINAL CODE: EPIDOSCREFNO

PLAB Opposition data, opponent's data or that of the opponent's representative modified

Free format text: ORIGINAL CODE: 0009299OPPO

APBM Appeal reference recorded

Free format text: ORIGINAL CODE: EPIDOSNREFNO

APBP Date of receipt of notice of appeal recorded

Free format text: ORIGINAL CODE: EPIDOSNNOA2O

R26 Opposition filed (corrected)

Opponent name: GN HEARING A/S / OTICON A/S

Effective date: 20170427

APBQ Date of receipt of statement of grounds of appeal recorded

Free format text: ORIGINAL CODE: EPIDOSNNOA3O

APBQ Date of receipt of statement of grounds of appeal recorded

Free format text: ORIGINAL CODE: EPIDOSNNOA3O

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: HU

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT; INVALID AB INITIO

Effective date: 20130513

REG Reference to a national code

Ref country code: AT

Ref legal event code: MM01

Ref document number: 816653

Country of ref document: AT

Kind code of ref document: T

Effective date: 20180513

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CY

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20160727

Ref country code: AT

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20180513

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160727

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: TR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160727

PLAB Opposition data, opponent's data or that of the opponent's representative modified

Free format text: ORIGINAL CODE: 0009299OPPO

R26 Opposition filed (corrected)

Opponent name: GN HEARING A/S / OTICON A/S

Effective date: 20170427

PLAB Opposition data, opponent's data or that of the opponent's representative modified

Free format text: ORIGINAL CODE: 0009299OPPO

R26 Opposition filed (corrected)

Opponent name: GN HEARING A/S / OTICON A/S

Effective date: 20170427

APBU Appeal procedure closed

Free format text: ORIGINAL CODE: EPIDOSNNOA9O

PLAB Opposition data, opponent's data or that of the opponent's representative modified

Free format text: ORIGINAL CODE: 0009299OPPO

R26 Opposition filed (corrected)

Opponent name: OTICON A/S

Effective date: 20170427

APAH Appeal reference modified

Free format text: ORIGINAL CODE: EPIDOSCREFNO

APBM Appeal reference recorded

Free format text: ORIGINAL CODE: EPIDOSNREFNO

APBP Date of receipt of notice of appeal recorded

Free format text: ORIGINAL CODE: EPIDOSNNOA2O

APBQ Date of receipt of statement of grounds of appeal recorded

Free format text: ORIGINAL CODE: EPIDOSNNOA3O

APBU Appeal procedure closed

Free format text: ORIGINAL CODE: EPIDOSNNOA9O

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: DE

Payment date: 20250423

Year of fee payment: 13

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: GB

Payment date: 20250423

Year of fee payment: 13

Ref country code: DK

Payment date: 20250423

Year of fee payment: 13

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: FR

Payment date: 20250424

Year of fee payment: 13

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: CH

Payment date: 20250601

Year of fee payment: 13

PUAH Patent maintained in amended form

Free format text: ORIGINAL CODE: 0009272

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: PATENT MAINTAINED AS AMENDED

27A Patent maintained in amended form

Effective date: 20250910

AK Designated contracting states

Kind code of ref document: B2

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

REG Reference to a national code

Ref country code: DE

Ref legal event code: R102

Ref document number: 502013003857

Country of ref document: DE

REG Reference to a national code

Ref country code: DK

Ref legal event code: T4

Effective date: 20251002