EP4231667B1 - Verfahren zum betrieb eines binauralen hörvorrichtungssystems und binaurales hörvorrichtungssystem - Google Patents

Verfahren zum betrieb eines binauralen hörvorrichtungssystems und binaurales hörvorrichtungssystem Download PDF

Info

Publication number
EP4231667B1
EP4231667B1 EP23154327.3A EP23154327A EP4231667B1 EP 4231667 B1 EP4231667 B1 EP 4231667B1 EP 23154327 A EP23154327 A EP 23154327A EP 4231667 B1 EP4231667 B1 EP 4231667B1
Authority
EP
European Patent Office
Prior art keywords
music
sources
hearing
user
listening
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
EP23154327.3A
Other languages
English (en)
French (fr)
Other versions
EP4231667C0 (de
EP4231667A1 (de
Inventor
Cecil Wilson
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sivantos Pte Ltd
Original Assignee
Sivantos Pte Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sivantos Pte Ltd filed Critical Sivantos Pte Ltd
Publication of EP4231667A1 publication Critical patent/EP4231667A1/de
Application granted granted Critical
Publication of EP4231667B1 publication Critical patent/EP4231667B1/de
Publication of EP4231667C0 publication Critical patent/EP4231667C0/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1058—Manufacture or assembly
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/40—Arrangements for obtaining a desired directivity characteristic
    • H04R25/405—Arrangements for obtaining a desired directivity characteristic by combining a plurality of transducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/40—Arrangements for obtaining a desired directivity characteristic
    • H04R25/407—Circuits for combining signals of a plurality of transducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/50—Customised settings for obtaining desired overall acoustical characteristics
    • H04R25/505—Customised settings for obtaining desired overall acoustical characteristics using digital signal processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/55—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception using an external connection, either wireless or wired
    • H04R25/552—Binaural
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/60—Mounting or interconnection of hearing aid parts, e.g. inside tips, housings or to ossicles
    • H04R25/604—Mounting or interconnection of hearing aid parts, e.g. inside tips, housings or to ossicles of acoustic or vibrational transducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2201/00—Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
    • H04R2201/10—Details of earpieces, attachments therefor, earphones or monophonic headphones covered by H04R1/10 but not provided for in any of its subgroups
    • H04R2201/105—Manufacture of mono- or stereophonic headphone components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2225/00—Details of deaf aids covered by H04R25/00, not provided for in any of its subgroups
    • H04R2225/41—Detection or adaptation of hearing aid parameters or programs to listening situation, e.g. pub, forest
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2225/00—Details of deaf aids covered by H04R25/00, not provided for in any of its subgroups
    • H04R2225/43—Signal processing in hearing aids to enhance the speech intelligibility
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H04R2430/20—Processing of the output signals of the acoustic transducers of an array for obtaining a desired directivity characteristic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/15—Aspects of sound capture and related signal processing for recording or reproduction

Definitions

  • the invention relates to a method for operating a binaural hearing device system.
  • the invention also relates to such a binaural hearing device system.
  • Hearing aids are usually used to output a sound signal to the hearing of the person wearing the hearing aid.
  • the output is made by means of an output transducer, usually acoustically via airborne sound using a loudspeaker (also referred to as a "receiver” or “earpiece”).
  • a loudspeaker also referred to as a "receiver” or “earpiece”
  • hearing aids are often used as so-called hearing aids (also called hearing aids for short).
  • the hearing aids normally comprise an acoustic input transducer (in particular a microphone) and a signal processor which is set up to process the input signal (also called a microphone signal) generated by the input transducer from the ambient sound using at least one signal processing algorithm, usually stored for the specific user, in such a way that any hearing loss of the person wearing the hearing aid is at least partially compensated.
  • the output transducer can be a loudspeaker or alternatively a so-called bone conduction receiver or a cochlear implant, which are set up to mechanically or electrically couple the sound signal into the hearing of the person wearing the hearing aid.
  • hearing aids also includes devices such as so-called tinnitus maskers, headsets, headphones and the like.
  • Typical designs of hearing aids, especially hearing devices, are behind-the-ear (“BTE”) and in-the-ear (“ITE” or “ITE”) hearing aids. These terms refer to the intended wearing position.
  • Behind-the-ear hearing aids have a (main) housing that is worn behind the auricle.
  • In-the-ear hearing aids on the other hand, have a housing that is worn in the auricle or even completely in the ear canal.
  • monaural or binaural fitting may be an option.
  • the former is usually the case when only one ear has a hearing loss.
  • the latter is usually the case when both ears have a hearing loss.
  • binaural fitting data is exchanged between the two hearing devices assigned to the user's ears in order to have more acoustic information available and thus make the hearing experience even more pleasant, preferably more realistic, for the user.
  • a so-called classifier is often used, which is intended to recognize certain listening situations - e.g. a quiet conversation, a conversation with background noise, music, quiet, driving a car and the like - usually using pattern recognition, artificial intelligence and the like.
  • the signal processing can be adapted to improve the listening experience of the respective listening situation.
  • a comparatively narrow directivity can be specified and noise suppression can be used.
  • this is less useful for music, as the widest possible directivity or omnidirectionality, as well as low or deactivated noise suppression are advantageous in order to "lose” as little "acoustic information" as possible.
  • hearing aids While classic hearing aids were referred to as "hearing programs" that have relatively fixed parameter sets, modern hearing aids usually use a step-by-step adjustment of the individual parameters to enable intermediate stages between two listening situations, a smooth transition between different settings, or the like.
  • a hearing aid in addition to a microphone and a processor.
  • the microphone records an audio signal.
  • the acceleration sensor outputs acceleration data that is connected to the hearing aid.
  • the processor is configured to identify a musical feature of the audio signal that indicates that the audio signal contains musical content, identify a motion feature of the acceleration sensor data that represents a movement of the user while the microphone is recording the audio signal, determine a similarity measure between the musical feature and the motion feature, and perform an operation with respect to a sound processing program executable by the processor based on the similarity measure.
  • US 2004/175008 A1 describes that in a hearing aid, acoustic signals from the acoustic environment are evaluated and their direction of arrival is determined. A histogram is formed from the signals that indicate such a direction of arrival. The behavior of such a histogram is classified according to various aspects or criteria and, depending on the classification results, the hearing aid and thus in particular its signal transmission characteristics from acoustic input signals to mechanical output signals are controlled or adjusted.
  • EP 1 858 291 A1 describes a method for operating a hearing system comprising an input unit, an output unit and a transmission unit, which functionally connects the input unit and the output unit.
  • the transfer unit implements a transfer function that describes how audio signals generated by the input unit are processed to derive audio signals that are fed to the output unit and can be adjusted by one or more transfer function parameters.
  • the method comprises obtaining, by means of the input unit and with a first directional characteristic, first audio signals from incoming acoustic sound; deriving a first set of sound characterizing data from the first audio signals; and deriving a value for each of the one or more transfer function parameters depending on the first directional information, which is data containing information about the first directional characteristic, and on the first set of sound characterizing data. This enables insight into the acoustic environment and better automatic adjustment of the transfer function.
  • WO 2021/023667 A1 describes a system and a corresponding method for supporting selective hearing is provided.
  • the system comprises a detector for detecting an audio source signal portion of one or more audio sources using at least two received microphone signals of a listening environment.
  • the system further comprises a position determiner for assigning position information to each of the one or more audio sources.
  • the system further comprises an audio type classifier for assigning an audio signal type to the audio source signal portion of each of the one or more audio sources.
  • the system further comprises a signal portion modifier for changing the audio source signal portion of at least one audio source of the one or more audio sources depending on the audio signal type of the audio source signal portion of the at least one audio source in order to obtain a modified audio signal portion of the at least one audio source.
  • the system further comprises a signal generator for generating a plurality of binaural room impulse responses for each audio source of the one or more audio sources depending on the position information of this audio source and an orientation of a user's head, and for generating at least two loudspeaker signals depending on the plurality of binaural Room impulse responses and depending on the modified audio signal portion of the at least one audio source.
  • a device and a corresponding method for determining one or more room acoustic parameters are provided.
  • the device is designed to receive microphone data that include one or more microphone signals.
  • the device is designed to receive tracking data relating to a position and/or an orientation of a user.
  • the device is designed to determine the one or more room acoustic parameters depending on the microphone data and depending on the tracking data.
  • the invention is based on the object of further improving the comfort of use of a hearing aid system.
  • the method according to the invention is used to operate a binaural hearing device system.
  • the latter has a hearing device assigned or to be assigned to a left ear and a right ear of a user (in normal operation).
  • Each of the hearing devices in turn has at least one microphone.
  • acoustic information is collected by means of the two hearing devices and the acoustic information (in particular in the form of ambient noise, preferably in the form of electronic signals representing the ambient noise) is evaluated to determine whether it contains music.
  • the acoustic information in particular in the form of ambient noise, preferably in the form of electronic signals representing the ambient noise
  • it is determined whether two (in particular spatially separate) sources can be detected for the music (ie when the presence of music is detected).
  • a solid angle range is determined in relation to a The direction in which the respective music source is positioned is determined by the user's line of sight. If the respective spatial angle range of the two music sources is in a front half-space in relation to the line of sight, a probability (in particular a probability value) is increased that a situation in which the user is consciously listening to music exists, and if a predetermined probability threshold is exceeded (i.e. in the case of conscious listening to music), signal processing for both hearing devices is adjusted to ensure the most natural reproduction of the music possible.
  • a probability in particular a probability value
  • the "direction of view” of the user here and below refers in particular to the direction in which the user's head is directed, regardless of the actual direction of view of the eyes.
  • the "direction of view” here and below refers in particular to a (head) direction also referred to as “rostral” (or possibly “nasal”). This designation is based on the fact that the two hearing devices of the binaural hearing device system are worn approximately symmetrically on the head during normal operation (within the scope of anatomical possibilities), with the direction of view usually corresponding to a direction used for signal processing as the 0-degree direction of the hearing device system.
  • solid angle range is understood to mean a comparatively small-angle range, preferably conically open and extending from the user's face and/or the respective hearing device.
  • range takes into account the fact that spatial localization of a source is regularly associated with comparatively high tolerances, so that an exact position specification is usually not possible. Nevertheless, the term “solid angle range” also covers a vector that points to the localized source.
  • frontal hemispace is understood here and in the following in particular as the space which is defined by a frontal plane of the head, the preferably positioned at the user's ears, is stretched rostrally.
  • the front half-space is the one into which the user "looks”.
  • adaptation of the signal processing means in particular a change in parameters that influence the reproduction of recorded sound signals (in particular the microphone signals recorded by the respective microphone that represent them or signals derived from them).
  • These parameters are, for example, (in particular frequency-dependent) amplification factors, settings for so-called compression, settings of filters (which are used, for example, for noise suppression) and the like.
  • the information that two sources for the music are "located" in the front half-space, i.e. recognized, leads to the conclusion or at least increases the probability that the music is presented in stereo and that the user, since the "music sources” are in the front half-space, is facing these stereo sources and is therefore consciously listening to the music.
  • the classification result that music is present can advantageously be “refined” to the extent that the user is also consciously listening to the music (at least with a sufficiently high probability). Under these conditions, adapting the signal processing to improve the reproduction of the music is therefore less prone to errors, i.e. more reliable than simply recognizing that music is present in the ambient noise.
  • the risk that the signal processing will mistakenly switch to a music setting even though the user is not consciously listening to the music can be reduced.
  • This also creates the possibility of adjusting the signal processing to a comparatively high degree (or to a different degree or "aggressiveness” depending on the situation) for the playback of music. This has been avoided so far due to the possible misinterpretations, for example in order not to limit the user's understanding of speech too much if, despite the classification of music, there is no situation in which music is consciously heard.
  • the "localization" of the music sources in the front half-space described above therefore represents a criterion for determining the probability of conscious music listening. and, if necessary, adjust the signal processing for better music reproduction.
  • the probability threshold is specified in such a way that the arrangement of the music sources in the front half-space is sufficient to exceed the probability threshold.
  • acoustic signals emanating from the two music sources are dissimilar to one another within a framework typical for music, in particular for a stereo presentation of music, i.e. in particular within predetermined limits.
  • a stereo presentation of a piece of music regularly contains signal components on both stereo channels that are comparatively similar to one another, but also comparatively dissimilar, in order to convey the stereo impression. If such a difference between the two music sources is detected, a particularly high probability is assumed in this optional variant of the method for the presence of a true stereo presentation and in particular also for conscious listening to this stereo presentation (in other words, the probability value described above is further increased).
  • the signal processing can be adapted to the (as natural as possible) reproduction of music in a more "aggressive" manner, i.e. with comparatively stronger negative effects on speech comprehension or the like, compared to the mere presence of two music sources in the front half-space.
  • the signal processing is only adjusted for better (i.e. as natural as possible) reproduction of the music if, as above, a situation with a true stereo presentation is concluded. This determination of whether a true stereo presentation is present therefore preferably represents a refined criterion for adjusting the signal processing.
  • a correlation in particular a so-called “stereo correlation coefficient”
  • a frequency-dependent ie carried out separately on different frequency bands
  • limits are preferably specified within which this stereo correlation coefficient must lie in order to conclude a dissimilarity typical for stereo.
  • the above-mentioned limits (in particular the upper and lower limits) for the stereo correlation coefficient (in particular the respective frequency-dependent) are preferably chosen such that they are below values that are typical for a mono presentation and above those for uncorrelated (or only slightly correlated) noises.
  • a mono presentation could theoretically be assumed to be 100 percent, but in a normal listening environment, due to tolerances of the microphones used, ambient noise, etc., lower values of the correlation coefficient are regularly achieved for a mono presentation (e.g. "only" 90 percent).
  • correlation values of completely uncorrelated signals are also usually above “zero” percent, since this value can only be assumed for white noise, but ambient noise (and thus also music from just one music source or "mono music” from several music sources) is regularly recorded equally by all microphones used.
  • the limits mentioned above are therefore specified in such a way that they limit a range between 40 and 90 percent, further, for example, between 50 and 80 or even only 70 percent (the latter to allow sufficient distance from a mono performance).
  • the situation of conscious listening to music by the user is inferred (or at least the probability value that such a situation exists is further increased) if the respective spatial angle range of the music sources is in an angle range of up to about +/- 60 degrees, preferably up to about +/- 45 degrees, to the line of sight.
  • the respective spatial angle range of the music sources is in an angle range of up to about +/- 60 degrees, preferably up to about +/- 45 degrees, to the line of sight.
  • Such a situation indicates with a comparatively high degree of probability that a stereo presentation is being consciously listened to, since in private rooms in particular the stereo loudspeakers are the limited spatial boundary is usually located in such an angular range in relation to the position of the listener.
  • a listener will usually also have his line of sight, at least the associated sagittal plane (or in particular the median plane), directed at least roughly between the stereo loudspeakers.
  • each hearing device has two microphones.
  • the respective solid angle range of the two music sources is determined in particular based on a time delay of a signal associated with the music, expediently between the two microphones of a hearing device.
  • a "direction of arrival" is determined.
  • the recognition or detection of the music sources described at the beginning is carried out by means of a so-called (in particular "blind") source separation.
  • the recognition of the music sources, in particular the two "stereo sources” optionally takes place before the determination of the assigned solid angle range.
  • the solid angle range in which a signal source is located can also be determined first and only then can it be determined whether this signal source represents a music source. In the latter case, for example, a solid angle range is assigned to different (in particular separable from one another) sound sources.
  • the source separation described above for example based on frequency bands to which a source type (e.g. music, speech, natural sounds) is assigned, optionally also takes place in parallel.
  • the source type can be assigned, for example, by determining whether the frequencies of the source assigned to this level value sufficiently match the frequencies detected for music, or whether the frequency band for the music recorded level value sufficiently matches the level value assigned to the source. If the levels and/or frequencies match, a probability value is increased that the identified source type can be assigned to this specific source (and thus also to the solid angle range determined for it). If the probability value is sufficiently high (e.g. based on a threshold comparison), the source type (in particular the source type "music”) is assigned to the localized source.
  • each hearing device preferably also has two microphones
  • the respective solid angle range of the two sources is determined by means of a type of scanning using a directional sensitivity, which is formed in particular by means of two microphones of a hearing device.
  • the directional sensitivity is formed by a binaural combination of both hearing devices. In the latter case, this is also referred to as binaural directional microphony.
  • each hearing device can in principle also have just one microphone.
  • the front half-space is scanned in the present method variant.
  • the space around the head of the user of the hearing device, preferably the front half-space is divided into sectors.
  • a type of directional lobe or a "sensitivity range" of the directional microphone formed is directed into each of these sectors.
  • the acoustic intensities (also "levels") recorded for the respective sectors are compared with one another and intensity or level values that are higher than other sectors are used as an indicator that a signal source is located in this sector.
  • intensity or level values that are higher than other sectors are used as an indicator that a signal source is located in this sector.
  • only sources with a relatively directional radiation pattern - as is the case with loudspeakers, for example - are recognized.
  • only radiation angles of around 90 degrees are recognized for a source.
  • sources up to a specified distance from the user e.g. up to 8 or even up to 5 meters, are recognized as (music) sources.
  • a binaural processing and evaluation of the information recorded by both hearing devices with regard to the presence of music and the spatial angle range of the respective source is carried out.
  • data is exchanged between the two hearing devices.
  • the acoustic information from both hearing devices is further processed together in order to increase the spatial information content, for example in the context of binaural directional microphones, and if necessary to bring the sound experience even closer to the real listening situation and/or (in particular by using the increased information content) to improve speech comprehension, noise suppression and the like.
  • the evaluation also in particular by using the increased information content - the situation classification (in particular whether music is present at all) as well as the recognition and localization of individual music sources are carried out.
  • the two music sources i.e. in particular the stereo sources for the music
  • the two music sources are each "tracked". This means that a change in the position of the respective source, in particular the spatial angular range in which it was located, is recorded and “tracked” (e.g. by directing a directional effect towards it).
  • a movement of the sources relative to the direction of view can occur, for example, if the user of the hearing device turns his head and/or changes his (body) position in space relative to the music sources.
  • the two music sources remain constant relative to each other or only move within a comparatively narrow spatial angular range.
  • an angle between the two (from the user) pointing to the two music sources remains constant. If the user bends forward from an armchair, for example, to have a drink, eat something or something similar, the angle between the two vectors will change, but usually only comparatively slightly (e.g. by a maximum of 20 degrees). If the two music sources remain within this permissible angle range (e.g. up to 10 or 20 degrees), it is still assumed that the situation of conscious music listening exists. If there is a greater movement of the music sources relative to each other, e.g.
  • a waiting period is started and the system waits to see whether the user returns to their previous position relative to the two music sources. This can be useful, for example, if the user only leaves the same room for a short time, e.g. just to get something (e.g. to drink) but basically wants to continue listening to the music.
  • the presence of a situation of conscious music listening is excluded if movement is only detected for one of the two music sources.
  • a movement is recorded as described above.
  • the fact that only one source is moving can be recognized in particular by the fact that the solid angle range that was detected for the other source remains constant, but changes for the "first" source.
  • Such a case cannot be reconciled with a stereo presentation in particular and rather indicates a different situation, e.g. two independent and possibly different music sources.
  • spectral differences between the sound produced by the respective hearing device and/or for the respective The music recorded by the source is determined.
  • a type of music is then determined based on these differences.
  • classical music especially orchestral music
  • a comparatively large spectral difference between the two stereo channels and thus the sound emitted by the two (stereo) music sources is to be expected due to the classical orchestra structure that is usually used.
  • a comparatively larger spectral difference is also to be expected for recordings of jazz bands.
  • pop, rock or electronic music on the other hand, a comparatively small spectral difference is to be expected.
  • a further spectral e.g.
  • Every hearing device primarily records the acoustic signals in the assigned front quarter space, i.e. in particular with a stronger level.
  • the acoustic signals from the other quarter space i.e. those assigned to the other half of the face
  • the signal processing is then adapted to the type of music, in particular further refined.
  • the parameters mentioned above are adapted to the type of music in a known manner (compare, for example, equalizer presets in audio systems).
  • the "treble" or high frequencies are emphasized ("emphasized") compared to the other frequencies, for jazz a setting that is as balanced as possible is chosen, while in hip hop or pop, for example, bass is emphasized.
  • the signal processing is gradually adapted to the reproduction of music in cases where several of the criteria described above are taken into account, for example whether, in addition to the arrangement of the music sources in the front half-space, they are in a smaller solid angle range than 180 degrees and/or whether a true stereo presentation is present.
  • the signal processing is less "aggressive", ie other Aspects of hearing (in particular speech understanding) are changed with a comparatively small negative impact when the two music sources are only located in the front half-space.
  • the signal processing is adapted more and more aggressively towards music reproduction, e.g. by reducing noise suppression and/or directivity and the like.
  • the binaural hearing device system has, as described above, the hearing devices assigned or to be assigned to the left ear and the right ear of the user. These each have at least one microphone.
  • the hearing device system has a controller which is set up to carry out the method described above automatically or in interaction with the user.
  • the hearing device system thus has the physical features described above in the respective method variants in the corresponding embodiments.
  • the controller is also set up accordingly to carry out the measures described in the context of the above method variants in associated embodiments.
  • the controller is embodied, for example, in one of the two hearing aids or in a control device assigned to them but separate from them.
  • each of the two hearing aids has its own controller (also referred to as a signal processor), which communicate with each other in binaural operation and together form the controller of the hearing aid system, preferably under a master-slave control.
  • the (or the respective) controller is formed at least in its core by a microcontroller with a processor and a data memory in which the functionality for carrying out the method according to the invention is implemented in the form of operating software (firmware) so that the method - if necessary in interaction with the user - can be carried out in Execution of the operating software in the microcontroller is carried out automatically.
  • the respective controller is formed by a non-programmable or not completely freely programmable electronic component, e.g. an ASIC, in which the functionality for carrying out the method according to the invention is implemented using circuitry.
  • the hearing aid system described above and the method described above also work advantageously with sound systems with more than two sound sources, e.g. 5.1 systems or the like.
  • the presence of two music sources in the front half-space is used as a basic criterion for determining whether a situation of conscious music listening exists. If there are more than these two music sources, especially in the rear half-space, these are not recorded, for example, or are disregarded as not relevant for assessing the current (music) listening situation.
  • FIG. 1 A binaural hearing aid system 1 is shown schematically. This has two hearing aids 2 and 4.
  • the hearing aid 2 is in normal operation - shown schematically in Fig. 2 or 3 - assigned to a left ear 6 of a user 8.
  • the hearing device 4 is correspondingly assigned to the right ear 10 of the user 8.
  • Each hearing device 2, 4 has a front microphone 12 and a rear microphone 14.
  • both hearing devices 2 and 4 have a signal processor 16, as well as a loudspeaker 18, a communication device 20 and a power source 22.
  • the signal processor 16 is designed to process ambient sound, which was recorded by the microphones 12 and 14 and converted into microphone signals MS, depending on a hearing loss of the user 8, specifically to filter and amplify it depending on the frequency, and to output it as an output signal AS to the loudspeaker 18. The latter in turn converts the output signal AS into sound for output to the hearing of the user 8.
  • both hearing aids 2 and 4 are in communication with each other.
  • both signal processors 16 transmit data to each other using the respective communication devices 20 (indicated by a double arrow 24).
  • One of the signal processors 16 forms a "master", the other a "slave”.
  • the two signal processors 16 thus also form a controller of the hearing aid system 1.
  • the controller (usually the signal processor 16 acting as the master) processes, among other things, the microphone signals MS of both hearing aids 2 and 4 into a binaural directional microphone signal.
  • the controller is set up to classify different hearing situations based on the information contained in the microphone signals MS and, depending on the classification, to change the signal processing of the microphone signals MS, i.e. to adapt signal processing parameters.
  • the signal processors 16, specifically the controller are set up to carry out an operating procedure described in more detail below.
  • the controller determines whether music is included in the ambient noise. However, in order to avoid the signal processing being incorrectly set to music, even though music is only coincidentally included in the ambient noise, the controller determines whether there are several sound sources for the music, indicated here by two loudspeakers 26, in the environment of the user 8. Specifically, the controller determines whether the two loudspeakers 26 are located in a front half-space 28.
  • the front half-space 28 represents the area in the viewing direction 30 (see Fig. 2 ) in front of a frontal plane 32 intersecting the two ears 6 and 10.
  • both signal processors 16 use a "detection stage 34" (see Fig. 4 ), which uses the two microphones 12 and 14 to determine a so-called direction of arrival for the sound emanating from the two loudspeaker boxes 26 in a known manner.
  • the respective direction of arrival is used as a solid angle range 36 (in particular in the form of a vector) (related to the viewing direction 30 as a zero-degree direction) in which the respective loudspeaker box 26 is arranged.
  • the current listening situation is classified in a classification stage 38. Here it is determined whether music is present.
  • a fusion stage 40 in which the information from the classification stage 38 and the detection stage 34 is combined, checks whether both sound sources are emitting the same music. For both hearing aids 2 and 4, a sound source is determined for the music recognised in classification level 38 within a solid angle range 36 arranged in the front half-space 28 - which is determined on the basis of the communication between both hearing aids 2 and 4 (cf. Fig. 4 ) -, the controller assumes in the fusion stage 40 that a situation with a stereo presentation of the music exists. The controller takes this as an indication to increase a probability value that a situation of conscious listening to music exists.
  • the controller adjusts parameters for a subsequent processing stage 42 for the signal processing of music. For example, the controller sets a so-called compression linearly and reduces noise suppression.
  • the fusion stage 40 is preceded by a stereo detection stage 44, which determines whether both sound sources emit sufficiently similar but not exactly the same sound signals; the latter is the case with a stereo presentation using a stereo system with two loudspeaker boxes 26, provided the output is not set to "mono".
  • the probability value is increased further than in the previously described variant if such a stereo presentation is detected. Only with this "additional" increase does the probability value reach a limit value, from which the parameters for the signal processing of music are changed.
  • the probability value is also increased if the two sound sources are not only in the front half-space 28, but also in a narrow spatial area of 60 degrees on both sides of the viewing direction 30.
  • the controller does not switch the signal processing between two parameter sets when the probability limit is reached, but changes the parameters increasingly with increasing probability, so that a situation-dependent increasing change in the signal processing is realized.
  • Fig. 3 an alternative embodiment is shown. Instead of detecting the direction of arrival, the directional sensitivity of a binaural directional microphone is set in the detection stage 34 in such a way that several sectors 46 with increased sensitivity compared to the other spatial areas are distributed in a fan-like manner in the front half-space 28. A level value is recorded for each sector 46 and compared with those of the other sectors 46. An increased level value indicates a sound source in the area of the sector 46. For a more precise localization In an optional variant, an interpolation is carried out between the sectors 46, so that a sound source arranged between two sectors 46 (in Fig. 3 indicated by the loudspeaker box 26 shown on the left) can be detected, specifically its solid angle range 36 can be narrowed down.
  • the decision as to whether two sound sources are present for the music and the measures resulting therefrom, in particular the decision as to whether to change the signal processing parameters is made by the signal processor 16 acting as the master and transmitted to the signal processor 16 acting as the slave.
  • the signal processing is only changed by the controller when two sound sources for the music, in this case the two loudspeaker boxes 26, are detected. Misinterpretation and adaptation of the signal processing for music for cases in which, for example, only one sound source is present, e.g. in the case of an advertising loudspeaker in a pedestrian zone or the like, is thus effectively avoided.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurosurgery (AREA)
  • Otolaryngology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Manufacturing & Machinery (AREA)
  • Stereophonic System (AREA)

Description

  • Die Erfindung betrifft ein Verfahren zum Betrieb eines binauralen Hörvorrichtungssystems. Außerdem betrifft die Erfindung ein solches binaurales Hörvorrichtungssystem.
  • Hörvorrichtungen dienen üblicherweise zur Ausgabe eines Tonsignals an das Gehör des Trägers dieser Hörvorrichtung. Die Ausgabe erfolgt dabei mittels eines Ausgabewandlers, meist auf akustischem Weg über Luftschall mittels eines Lautsprechers (auch als "Hörer" oder "Receiver" bezeichnet). Häufig kommen derartige Hörvorrichtungen dabei als sogenannte Hörhilfegeräte (auch kurz: Hörgeräte) zum Einsatz. Dazu umfassen die Hörvorrichtungen normalerweise einen akustischen Eingangswandler (insbesondere ein Mikrofon) und einen Signalprozessor, der dazu eingerichtet ist, das von dem Eingangswandler aus dem Umgebungsschall erzeugte Eingangssignal (auch: Mikrofonsignal) unter Anwendung mindestens eines üblicherweise nutzerspezifisch hinterlegten Signalverarbeitungsalgorithmus derart zu verarbeiten, dass eine Hörminderung des Trägers der Hörvorrichtung zumindest teilweise kompensiert wird. Insbesondere im Fall eines Hörhilfegeräts kann es sich bei dem Ausgabewandler neben einem Lautsprecher auch alternativ um einen sogenannten Knochenleitungshörer oder ein Cochlea-Implantat handeln, die zur mechanischen oder elektrischen Einkopplung des Tonsignals in das Gehör des Trägers eingerichtet sind. Unter dem Begriff Hörvorrichtungen fallen zusätzlich insbesondere auch Geräte wie z.B. sogenannte Tinnitus-Masker, Headsets, Kopfhörer und dergleichen.
  • Typische Bauformen von Hörvorrichtungen, insbesondere Hörgeräten, sind Hinter-dem-Ohr- ("BTE"-) und In-dem-Ohr- ("IdO"- oder"ITE"-) Hörvorrichtungen. Diese Bezeichnungen zielen auf die bestimmungsgemäße Trageposition ab. So weisen Hinter-dem-Ohr-Hörvorrichtungen ein (Haupt-) Gehäuse auf, das hinter der Ohrmuschel getragen wird. Hier kann in Modelle unterschieden werden, deren Lautsprecher in diesem Gehäuse angeordnet ist. Die Schallausgabe an das Ohr erfolgt dabei üblicherweise mittels eines Schallschlauchs, der im Gehörgang getragen wird, sowie in Modelle, die einen externen Lautsprecher, der im Gehörgang platziert wird, aufweisen. In-dem-Ohr-Hörvorrichtungen weisen hingegen ein Gehäuse auf, das in der Ohrmuschel oder sogar vollständig im Gehörgang getragen wird.
  • Je nach Hörminderung kann auch eine monaurale oder eine binaurale Versorgung in Frage kommen. Ersteres ist regelmäßig dann der Fall, wenn nur ein Ohr eine Hörmindung aufweist. Letzteres meist dann, wenn beide Ohren eine Hörminderung aufweisen. Bei einer binauralen Versorgung erfolgt ein Datenaustausch zwischen den beiden, den Ohren des Nutzers zugeordneten Hörvorrichtungen, um mehr akustische Informationen zur Verfügung zu haben und so das Hörerlebnis für den Nutzer noch angenehmer, vorzugsweise realistischer gestalten zu können.
  • Außerdem kommt häufig ein sogenannter Klassifikator zum Einsatz, der bestimmte Hörsituationen - bspw. ein Gespräch in Ruhe, ein Gespräch mit Störgeräusch, Musik, Ruhe, Autofahren und dergleichen - erkennt, meist mittels Mustererkennung, künstlicher Intelligenz und dergleichen, erkennen soll. Auf Basis dieser Hörsituationen kann die Signalverarbeitung angepasst werden, um das Hörerlebnis der jeweiligen Hörsituation zu verbessern. So kann bspw. bei Gesprächen mit Störgeräuschen eine vergleichsweise schmale Richtwirkung vorgegeben und eine Rauschunterdrückung eingesetzt werden. Dies ist allerdings für Musik weniger zweckmäßig, da hier eine möglichst breite Richtwirkung oder Omnidirektionalität, sowie auch eine geringe oder deaktivierte Rauschunterdrückung von Vorteil sind, um möglichst wenig "akustische Information" zu "verlieren".
  • Insbesondere im Fall von Musik kann aber eine Fehlinterpretation des Klassifikators - nämlich, wenn zwar Musik vorhanden ist, der Nutzer aber dieser gar nicht zuhört oder zuhören möchte - die Einstellung zur Verbesserung des Musikhörens negative Auswirkungen auf das Sprachverständnis und dergleichen haben.
  • War bei klassischen Hörgeräten von sogenannten "Hörprogrammen" die Rede, die vergleichsweise fest vorgegebene Parametersätze aufweisen, wird bei modernen Hörgeräten meist eine schrittweise Verstellung der einzelnen Parameter angewendet, um Zwischenstufen zwischen zwei Hörsituationen, ein sanftes Überblenden zwischen verschiedenen Einstellungen oder dergleichen zu ermöglichen.
  • In EP 3 684 075 A1 ist beispielsweise ein Hörgerät beschrieben, das neben einem Mikrofon und einem Prozessor auch einen Beschleunigungssensor umfasst. Das Mikrofon nimmt ein Audiosignal auf. Der Beschleunigungssensor gibt Beschleunigungsdaten aus, die mit dem Hörgerät verbunden sind. Der Prozessor ist so konfiguriert, dass er ein Musikmerkmal des Audiosignals identifiziert, das anzeigt, dass das Audiosignal einen Musikinhalt enthält, ein Bewegungsmerkmal der Beschleunigungssensordaten identifiziert, das eine Bewegung des Benutzers darstellt, während das Mikrofon das Audiosignal erfasst, ein Ähnlichkeitsmaß zwischen dem Musikmerkmal und dem Bewegungsmerkmal bestimmt, und auf der Grundlage des Ähnlichkeitsmaßes eine Operation in Bezug auf ein vom Prozessor ausführbares Tonverarbeitungsprogramm durchführt.
  • US 2004/175008 A1 beschreibt, dass bei einem Hörgerät akustische Signale aus der akustischen Umgebung ausgewertet und deren Ankunftsrichtung bestimmt werden. Aus den Signalen, die eine solche Ankunftsrichtung anzeigen, wird ein Histogramm gebildet. Das Verhalten eines solchen Histogramms wird unter verschiedenen Gesichtspunkten oder Kriterien klassifiziert und abhängig von den Klassifizierungsergebnissen wird das Hörgerät und damit insbesondere dessen Signalübertragungscharakteristik von akustischen Eingangssignalen zu mechanischen Ausgangssignalen gesteuert oder eingestellt.
  • EP 1 858 291 A1 beschreibt ein Verfahren zum Betrieb eines Hörsystems, das eine Eingangseinheit, eine Ausgangseinheit und eine Übertragungseinheit umfasst, die die Eingangseinheit und die Ausgangseinheit funktionell miteinander verbindet. Die Übertragungseinheit implementiert eine Übertragungsfunktion, die beschreibt, wie von der Eingangseinheit erzeugte Audiosignale verarbeitet werden, um Audiosignale abzuleiten, die der Ausgangseinheit zugeführt werden, und kann durch einen oder mehrere Übertragungsfunktionsparameter eingestellt werden. Das Verfahren umfasst das Erhalten, mittels der Eingangseinheit und mit einer ersten Richtcharakteristik, von ersten Audiosignalen aus ankommendem akustischem Schall; das Ableiten eines ersten Satzes von schallcharakterisierenden Daten aus den ersten Audiosignalen; und Ableiten eines Wertes für jeden der einen oder mehreren Übertragungsfunktionsparameter in Abhängigkeit von der ersten Richtungsinformation, bei der es sich um Daten handelt, die Informationen über die erste Richtcharakteristik enthalten, und von dem ersten Satz von schallcharakterisierenden Daten. Dies ermöglicht einen Einblick in die akustische Umgebung und eine bessere automatische Einstellung der Übertragungsfunktion.
  • WO 2021/023667 A1 beschreibt ein System und ein entsprechendes Verfahren zur Unterstützung von selektivem Hören wird bereitgestellt. Das System umfasst einen Detektor zur Detektion eines Audioquellen-Signalanteils von ein oder mehreren Audioquellen unter Verwendung von wenigstens zwei empfangenen Mikrofonsignalen einer Hörumgebung. Des Weiteren umfasst das System einen Positionsbestimmer zur Zuweisung von Positionsinformation zu jeder der ein oder mehreren Audioquellen. Ferner umfasst das System einen Audiotyp-Klassifikator zur Zuordnung eines Audiosignaltyps zu dem Audioquellen-Signalanteil jeder der ein oder mehreren Audioquellen. Des Weiteren umfasst das System einen Signalanteil-Modifizierer zur Veränderung des Audioquellen-Signalanteils von wenigstens einer Audioquelle der ein oder mehreren Audioquellen abhängig von dem Audiosignaltyp des Audioquellen-Signalanteils der wenigstens einen Audioquelle, um einen modifizierten Audiosignalanteil der wenigstens einen Audioquelle zu erhalten. Ferner umfasst das System einen Signalgenerator zur Erzeugung von einer Mehrzahl von binauralen Raumimpulsantworten für jede Audioquelle der ein oder mehreren Audioquellen abhängig von der Positionsinformation dieser Audioquelle und einer Orientierung eines Kopfes eines Nutzers, und zur Erzeugung von wenigstens zwei Lautsprechersignalen abhängig von der Mehrzahl der binauralen Raumimpulsantworten und abhängig von dem modifizierten Audiosignalanteil der wenigstens einen Audioquelle. Des Weiteren wird eine Vorrichtung und ein entsprechendes Verfahren zur Bestimmung von ein oder mehreren Raumakustik-Parametern bereitgestellt. Die Vorrichtung ist ausgebildet, Mikrofon-Daten zu erhalten, die ein oder mehrere Mikrofonsignale umfassen. Ferner ist die Vorrichtung ausgebildet, Nachverfolgungsdaten betreffend eine Position und/oder eine Orientierung eines Nutzers zu erhalten. Darüber hinaus ist die Vorrichtung ausgebildet, die ein oder mehreren Raumakustik-Parameter abhängig von den Mikrofon-Daten und abhängig von den Nachverfolgungsdaten zu bestimmen.
  • Der Erfindung liegt die Aufgabe zugrunde, den Nutzungskomfort eines Hörvorrichtungssystem weiter zu verbessern.
  • Diese Aufgabe wird erfindungsgemäß gelöst durch ein Verfahren mit den Merkmalen des Anspruchs 1. Des Weiteren wird diese Aufgabe erfindungsgemäß gelöst durch ein Hörvorrichtungssystem mit den Merkmalen des Anspruchs 11. Vorteilhafte und teils für sich erfinderische Ausführungsformen und Weiterentwicklungen der Erfindung sind in den Unteransprüchen und der nachfolgenden Beschreibung dargelegt.
  • Das erfindungsgemäße Verfahren dient zum Betrieb eines binauralen Hörvorrichtungssystems. Letzteres weist eine einem linken Ohr und eine einem rechten Ohr eines Nutzers (im bestimmungsgemäßen Betrieb) zugeordnete oder zuzuordnende Hörvorrichtung auf. Jede der Hörvorrichtungen weist wiederum jeweils wenigstens ein Mikrofon auf. Im Rahmen des Verfahrens (d. h. insbesondere im bestimmungsgemäßen Betrieb) werden mittels der beiden Hörvorrichtungen akustische Informationen erhoben und die akustischen Informationen (insbesondere in Form von Umgebungsgeräuschen, vorzugsweise in Form von die Umgebungsgeräusche darstellenden elektronischen Signalen) dahingehend ausgewertet, ob diese Musik enthalten. Außerdem wird ermittelt, ob für die Musik (d. h. wenn das Vorliegen von Musik erkannt wird) zwei (insbesondere räumlich getrennte) Quellen detektiert werden können. Ferner wird ein Raumwinkelbereich in Bezug auf eine Blickrichtung des Nutzers ermittelt, in dem die jeweilige Quelle der Musik positioniert ist. Für den Fall, dass der jeweilige Raumwinkelbereich der beiden Quellen der Musik in einem in Bezug auf die Blickrichtung vorderen Halbraum liegt, wird eine Wahrscheinlichkeit (insbesondere ein Wahrscheinlichkeitswert) erhöht, dass eine Situation bewussten Musikhörens des Nutzers vorliegt, und bei Überschreiten eines vorgegebenen Wahrscheinlichkeitsgrenzwerts (also für den Fall des bewussten Musikhörens) eine Signalverarbeitung für beide Hörvorrichtungen hinsichtlich einer möglichst natürlichen Wiedergabe der Musik angepasst.
  • Die "Blickrichtung" des Nutzers bezeichnet hier und im Folgenden insbesondere die Richtung, in die der Kopf des Nutzers gerichtet ist, unabhängig von der tatsächlichen Blickrichtung der Augen. In Bezug auf das medizinische Verständnis der Körperrichtungen bezeichnet die "Blickrichtung" hier im Folgenden also insbesondere eine auch mit "rostral" (gegebenenfalls auch mit "nasal") bezeichnete (Kopf-) Richtung. Diese Bezeichnung beruht darauf, dass die beiden Hörvorrichtungen des binauralen Hörvorrichtungssystems im bestimmungsgemäßen Betrieb (im Rahmen der anatomischen Möglichkeiten) näherungsweise symmetrisch am Kopf getragen werden, wobei die Blickrichtung üblicherweise einer für die Signalverarbeitung als 0-Grad-Richtung des Hörvorrichtungssystems herangezogenen Richtung entspricht.
  • Unter "Raumwinkelbereich" wird hier und im Folgenden insbesondere ein vergleichsweise kleinwinkeliger Bereich, vorzugsweise kegelartig geöffnet und ausgehend vom Gesicht des Nutzers und/oder der jeweiligen Hörvorrichtung, verstanden. Als "Bereich" trägt dieser dem Umstand Rechnung, dass eine räumliche Lokalisation einer Quelle regelmäßig mit vergleichsweise hohen Toleranzen verbunden ist, so dass eine exakte Positionsangabe meist nicht möglich ist. Gleichwohl deckt der Begriff "Raumwinkelbereich" auch einen Vektor ab, der auf die lokalisierte Quelle weist.
  • Der vorstehend bezeichnete "vordere Halbraum" wird hier und im Folgenden insbesondere als der Raum verstanden, der von einer Frontalebene des Kopfs, die vorzugsweise an den Ohren des Nutzers positioniert ist, rostral aufgespannt wird. Somit ist der vordere Halbraum derjenige, in den der Nutzer "hineinblickt".
  • Unter Anpassung der Signalverarbeitung wird hier und im Folgenden insbesondere eine Veränderung von Parametern, die die Widergabe von erfassten Tonsignalen (insbesondere der diese repräsentierenden von dem jeweiligen Mikrofon erfassten Mikrofonsignale oder aus diesen abgeleiteten Signalen) beeinflussen. Diese Parameter sind dabei beispielsweise (insbesondere frequenzabhängige) Verstärkungsfaktoren, Einstellungen für eine sogenannte Kompression, Einstellungen von Filtern (die bspw. zur Rauschunterdrückung dienen) und dergleichen.
  • Insbesondere wird aus der Information, dass für die Musik zwei Quellen im vorderen Halbraum "geortet", also erkannt werden, der Schluss gezogen oder zumindest eine Wahrscheinlichkeit dafür erhöht, dass eine Stereo-Darbietung der Musik vorliegt und der Nutzer, da sich die "Musik-Quellen" im vorderen Halbraum befinden, diesen Stereo-Quellen zugewandt ist und somit der Musik bewusst zuhört. Somit kann also vorteilhafterweise das Klassifikationsergebnis, dass Musik vorliegt, dahingehend "verfeinert" werden, dass der Nutzer der Musik (zumindest mit einer hinreichend hohen Wahrscheinlichkeit) auch bewusst zuhört. Eine Anpassung der Signalverarbeitung zur besseren Wiedergabe der Musik ist somit unter diesen Voraussetzungen weniger fehleranfällig, also verlässlicher im Vergleich zur bloßen Erkenntnis, dass Musik in den Umgebungsgeräuschen vorliegt. Insbesondere kann also ein Risiko, dass fälschlicherweise die Signalverarbeitung in eine Musikeinstellung wechselt, obwohl der Nutzer der Musik gar nicht bewusst zuhört, verringert werden. Außerdem wird hierdurch die Möglichkeit geschaffen, die Signalverarbeitung vergleichsweise stark (oder auch situationsabhängig unterschiedlich stark oder "aggressiv") für die Wiedergabe von Musik anzupassen. Dies wird aufgrund der bisher möglichen Fehlinterpretationen bisher vermieden, um bspw. ein Sprachverständnis des Nutzers nicht zu sehr einzuschränken, falls trotz der Klassifikation Musik keine Situation bewussten Musikhörens vorliegt. Die vorstehend beschriebene "Lokalisierung" der Musik-Quellen im vorderen Halbraum stellt somit ein Kriterium dar, um die Wahrscheinlichkeit für bewusstes Muskhören zu erhöhen und gegebenenfalls die Signalverarbeitung zur besseren Wiedergabe von Musik anzupassen.
  • Optional wird der Wahrscheinlichkeitsgrenzwert derart vorgegeben, dass bereits die Anordnung der Musik-Quellen im vorderen Halbraum ausreichend ist, um den Wahrscheinlichkeitsgrenzwert zu überschreiten.
  • In einer zweckmäßigen Verfahrensvariante wird (vorzugsweise zusätzlich) ermittelt, ob die von den beiden Musik-Quellen ausgehenden akustischen Signale innerhalb eines für Musik, insbesondere für eine Stereo-Darbietung der Musik, typischen Rahmens, d. h. insbesondere innerhalb vorgegebener Grenzen, einander unähnlich sind. So enthält eine Stereo-Darbietung eines Musikstücks regelmäßig auf beiden Stereo-Kanälen einander vergleichsweise ähnliche Signalanteile aber auch wiederum vergleichsweise unähnliche, um den Stereoeindruck zu vermitteln. Wird ein solcher Unterschied zwischen den beiden Musik-Quellen erkannt, wird in dieser optionalen Verfahrensvariante eine besonders hohe Wahrscheinlichkeit für das Vorliegen einer echten Stereo-Darbietung und insbesondere auch für ein bewusstes Anhören dieser Stereo-Darbietung angenommen (anders ausgedrückt der vorstehend beschriebene Wahrscheinlichkeitswert weiter erhöht). In diesem Fall kann die Signalverarbeitung, im Vergleich zum bloßen Vorliegen zweier im vorderen Halbraum Musik-Quellen, "aggressiver", d. h. mit vergleichsweise stärkeren negativen Auswirkungen auf ein Sprachverstehen oder dergleichen, auf die (möglichst natürliche) Wiedergabe von Musik angepasst werden. In einer optionalen Weiterbildung wird die Signalverarbeitung nur dann zur besseren (also möglichst natürlichen) Wiedergabe der Musik angepasst, wenn wie vorstehend auf eine Situation mit einer echten Stereo-Darbietung geschlossen wird. Diese Ermittlung, ob eine echte Stereo-Darbietung vorliegt, stellt mithin vorzugsweise ein verfeinertes Kriterium zur Anpassung der Signalverarbeitung dar.
  • Beispielsweise wird für die vorstehend beschriebene Detektion der echten Stereo-Darbietung eine, vorzugsweise frequenzabhängige (d. h. insbesondere auf unterschiedlichen Frequenzbändern separat durchgeführte), Korrelation (insbesondere ein sogenannter "Stereo-Korrelationskoeffizient") zwischen den den beiden Musik-Quellen zugeordneten akustischen Signalen ermittelt. Für diesen (insbesondere den jeweiligen frequenzabhängigen) Stereo-Korrelationskoeffizienten werden vorzugsweise Grenzen vorgegeben, innerhalb derer dieser Stereo-Korrelationskoeffizient liegen muss, um auf eine für Stereo typische Unähnlichkeit zu schließen.
  • Die vorstehend genannten Grenzen (insbesondere die Ober- und Untergrenzen) für den (insbesondere den jeweiligen, frequenzabhängigen) Stereo-Korrelationskoeffizienten werden bevorzugt derart gewählt, dass sie unterhalb von Werten liegen, die für eine Mono-Darbietung typisch sind, und oberhalb derer für unkorrelierte (oder nur gering korrelierte) Geräusche. Einerseits könnte eine Mono-Darbietung zwar theoretisch mit 100 Prozent angenommen werden, allerdings werden in einem üblichen Hörumfeld aufgrund von z. B. Toleranzen der eingesetzten Mikrofone, Umgebungsgeräuschen etc. regelmäßig geringere Werte des Korrelationskoeffizienten für eine Mono-Darbietung erreicht (bspw. "nur" 90 Prozent). Andererseits liegen auch Korrelationswerte völlig unkorrelierter Signale üblicherweise oberhalb von "Null" Prozent, da dieser Wert nur für weißes Rauschen anzunehmen ist, aber regelmäßig Umgebungsgeräusche (und so auch Musik von nur einer Musik-Quelle oder "Mono-Musik" von mehreren Musik-Quellen) von allen eingesetzten Mikrofonen gleichermaßen aufgenommen werden. Beispielsweise werden deshalb die vorstehend genannten Grenzen so vorgegeben, dass diese einen Bereich zwischen 40 und 90 Prozent, weiter beispielsweise zwischen 50 und 80 oder sogar nur 70 Prozent (letzteres um einen hinreichenden Abstand zu einer Mono-Darbietung zu ermöglichen) eingrenzen.
  • In einer zweckmäßigen Verfahrensvariante wird (insbesondere im Rahmen eines weiteren verfeinerten, zur Detektion der echten Stereo-Darbietung zusätzlichen oder auch alternativen Kriteriums) auf die Situation bewussten Musikhörens des Nutzers geschlossen (oder zumindest der Wahrscheinlichkeitswert, dass eine solche Situation vorliegt, weiter erhöht), wenn der jeweilige Raumwinkelbereich der Musik-Quellen in einem Winkelbereich bis etwa +/- 60 Grad, vorzugsweise bis etwa +/- 45 Grad, zur Blickrichtung liegt. Eine solche Situation deutet mit vergleichsweise hoher Wahrscheinlichkeit auf ein bewusstes Hören einer Stereo-Darbietung hin, da insbesondere in Privaträumen die Stereo-Lautsprecher aufgrund der begrenzten Raumgrenze sich meist in einem derartigen Winkelbereich in Bezug auf die Position des Zuhörers befinden. Ein Zuhörer wird beim bewussten Stereo-Hören üblicherweise auch seine Blickrichtung, zumindest die zugeordnete Sagittalebene (oder insbesondere Medianebene), zumindest grob zwischen die Stereo-Lautsprecher gerichtet haben.
  • In einer weiteren zweckmäßigen Verfahrensvariante weist jede Hörvorrichtung jeweils zwei Mikrofone auf. In diesem Fall wird der jeweilige Raumwinkelbereich der beiden Musik-Quellen insbesondere anhand einer Zeitverzögerung eines der Musik zugeordneten Signals, zweckmäßigerweise zwischen den beiden Mikrofonen einer Hörvorrichtung, ermittelt. Hierbei wird insbesondere eine "Ankunftsrichtung" oder "Einfallsrichtung" (engl.: "direction of arrival") bestimmt. Hierzu wird beispielhaft auf WO 2019 086 435 A1 und WO 2019 086 439 A1 verwiesen, deren Inhalt hiermit vollumfänglich aufgenommen wird.
  • Beispielsweise erfolgt die eingangs beschriebene Erkennung oder Detektion der Musik-Quellen mittels einer sogenannten (insbesondere "blinden") Quellentrennung. Die Erkennung der Musik-Quellen, insbesondere der beiden "Stereo-Quellen", erfolgt dabei optional vor der Ermittlung des zugeordneten Raumwinkelbereichs. Alternativ kann aber auch zunächst der Raumwinkelbereich bestimmt werden, in dem eine Signalquelle liegt und erst danach ermittelt werden, ob diese Signalquelle eine Musik-Quelle darstellt. In letzterem Fall wird also bspw. verschiedenen (insbesondere voneinander separierbaren) Schallquellen ein Raumwinkelbereich zugeordnet. Die vorstehend beschriebene Quellentrennung, bspw. anhand von Frequenzbändern, denen eine Quellenart (bspw. Musik, Sprache, Naturgeräusche) zugeordnet wird, erfolgt dabei optional auch parallel. In einem nachgelagerten Schritt werden dann die Informationen über die Lokalisation der einzelnen Quellen und über die Quellenart zusammengeführt. Für den Fall, dass die Quellen anhand eines erhöhten Pegels in einem bestimmten Segment lokalisiert werden, kann bspw. die Quellenart zugeordnet werden, indem ermittelt wird, ob die Frequenzen der diesem Pegelwert zugeordneten Quelle mit den für Musik erkannten Frequenzen hinreichend übereinstimmen, oder auch, ob der für das Musik-Frequenzband erfasste Pegelwert mit dem der Quelle zugeordneten Pegelwert hinreichend übereinstimmt. Stimmen die Pegel und/oder Frequenzen überein, wird ein Wahrscheinlichkeitswert erhöht, dass die ermittelte Quellenart dieser spezifischen Quelle (und somit auch dem für diese ermittelten Raumwinkelbereich) zuzuordnen ist. Ist der Wahrscheinlichkeitswert hinreichend hoch (bspw. anhand eines Schwellwertvergleichs), wird der lokalisierten Quelle die Quellenart (insbesondere also die Quellenart "Musik") zugeordnet.
  • In einer alternativen, optional aber auch zusätzlichen, Verfahrensvariante, in der jede Hörvorrichtung vorzugsweise ebenfalls zwei Mikrofone aufweist, wird der jeweilige Raumwinkelbereich der beiden Quellen mittels einer Art Abtastung mittels einer Richtungssensibilität ermittelt, die insbesondere mittels zweier Mikrofone einer Hörvorrichtung gebildet wird. Optional wird die Richtungssensibilität durch eine binaurale Kombination beider Hörvorrichtungen gebildet. In letzterem Fall ist auch von binauraler Richtmikrofonie die Rede. In diesem Fall kann jede Hörvorrichtung grundsätzlich auch nur ein Mikrofon aufweisen. Vorzugsweise wird in der vorliegenden Verfahrensvariante der vordere Halbraum abgetastet. Insbesondere wird im vorliegenden Fall der Raum um den Kopf des Nutzers der Hörvorrichtung, vorzugsweise der vordere Halbraum, in Sektoren unterteilt. In jeden dieser Sektoren ist eine Art Richtkeule oder ein "Empfindlichkeitsbereich" des gebildeten Richtmikrofons gerichtet. Die für die jeweiligen Sektoren erfassten akustischen Intensitäten (auch "Pegel") werden miteinander verglichen und gegenüber anderen Sektoren erhöhte Intensitäts- bzw. Pegelwerte als Indikator herangezogen, dass in diesem Sektor eine Signalquelle angeordnet ist. Durch Interpolation zwischen zwei Sektoren kann dabei auch eine am Sektorrand oder zwischen zwei Sektoren angeordnete Signalquelle erfasst, konkret dieser ein Raumwinkelbereich, in dem diese angeordnet ist, zugeordnet werden.
  • In einer weiteren zweckmäßigen Verfahrensvariante werden nur Quellen mit einer vergleichsweise gerichteten Abstrahlcharakteristik - wie es bspw. bei Lautsprechern der Fall ist - erkannt. Bspw. werden nur Abstrahlwinkel von etwa 90 Grad für eine Quelle erkannt.
  • Zusätzlich oder alternativ werden auch nur Quellen bis zu einer vorgegebenen Entfernung zum Nutzer, bspw. bis zu 8 oder auch nur bis zu 5 Metern, als (Musik-) Quellen erkannt.
  • In einer weiteren zweckmäßigen Verfahrensvariante wird - wie auch bereits in vorstehender Verfahrensvariante angesprochen - eine binaurale Verarbeitung und Auswertung der mittels beider Hörvorrichtungen erfassten Informationen hinsichtlich dem Vorhandensein der Musik sowie des Raumwinkelbereichs der jeweiligen Quelle durchgeführt. Insbesondere erfolgt also ein Datenaustausch zwischen beiden Hörvorrichtungen. Im Rahmen einer solchen binauralen Signalverarbeitung werden insbesondere die akustischen Informationen beider Hörvorrichtungen zusammen weiterverarbeitet, um bspw. im Rahmen binauraler Richtmikrofonie den räumlichen Informationsgehalt zu erhöhen und gegebenenfalls das Klangerlebnis noch näher an die reale Hörsituation anzunähern und/oder (insbesondere unter Nutzung des erhöhten Informationsgehalts) das Sprachverstehen, Rauschunterdrückung und dergleichen zu verbessern. Im Rahmen der Auswertung werden dabei - insbesondere ebenfalls unter Nutzung des erhöhten Informationsgehalts - die Situationsklassifikation (insbesondere also, ob Musik überhaupt vorliegt) sowie auch die Erkennung und Lokalisierung einzelner Musik-Quellen durchgeführt.
  • In einer vorteilhaften Verfahrensvariante wird überwacht, dass sich die beiden Musik-Quellen (d. h. insbesondere die Stereo-Quellen für die Musik) nur innerhalb eines vorgegebenen, zulässigen (Raum-) Winkelbereichs relativ zueinander bewegen. Insbesondere werden die beiden Musik-Quellen jeweils "nachgeführt". Das heißt, dass eine Änderung der Position der jeweiligen Quelle, insbesondere deren Raumwinkelbereichs, in dem diese lokalisiert wurde, erfasst und "verfolgt" (bspw. indem eine Richtwirkung auf diese ausgerichtet) wird. Eine Bewegung der Quellen relativ zur Blickrichtung kann bspw. vorkommen, wenn der Nutzer der Hörvorrichtung seinen Kopf dreht und/oder seine (Körper-) Position im Raum relativ zu den Musik-Quellen ändert. Handelt es sich bei den Musik-Quellen um Lautsprecherboxen, bleiben die beiden Musik-Quellen zueinander konstant oder bewegen sich nur innerhalb eines vergleichsweise engen Raumwinkelbereichs. Bei einer reinen Kopfdrehung ist dabei anzunehmen, dass ein Winkel zwischen den beiden (vom Nutzer ausgehenden) auf die beiden Musik-Quellen weisenden Vektoren konstant bleibt. Beugt sich der Nutzer bspw. aus einem Sessel nach vorne, um bspw. etwas zu trinken, zu essen oder dergleichen wird sich der Winkel zwischen den beiden Vektoren verändern, aber üblicherweise nur vergleichsweise gering (bspw. um maximal 20 Grad). Verbleiben die beiden Musik-Quellen innerhalb dieses zulässigen Winkelbereichs (bspw. bis 10 oder bis 20 Grad), wird weiter vom Vorliegen der Situation des bewussten Musikhörens ausgegangen. Erfolgt eine größere Bewegung der Musik-Quellen zueinander, bspw. weil der Nutzer der Hörvorrichtungen seine Position im Raum aufgibt, den Raum gar verlässt, wird dagegen davon ausgegangen, dass die Situation des bewussten Musikhörens nicht mehr vorliegt und insbesondere die Signalverarbeitung auf die vorhergehenden Einstellungen zurückgesetzt oder eine neue Klassifikation der Hörsituation vorgenommen. Optional wird hierbei, insbesondere solange die beiden Musik-Quellen noch vorhanden sind (bspw. weil der Nutzer nur in einen anderen Bereich des Raums gegangen ist) eine Wartezeit gestartet und abgewartet, ob der Nutzer wieder in seine vorherige Position relativ zu den beiden Musik-Quellen zurückwechselt. Dies kann bspw. zweckmäßig sein, wenn der Nutzer sich nur kurzzeitig im gleichen Raum entfernt, z. B. nur etwas (z. B. zum Trinken) holt, aber grundsätzlich weiter der Musik zuhören möchte.
  • In einer weiteren vorteilhaften Verfahrensvariante wird das Vorliegen der Situation bewussten Musikhörens ausgeschlossen, wenn nur für eine der beiden Musik-Quellen eine Bewegung erkannt wird. Insbesondere wird eine solche Bewegung wie vorstehend beschrieben erfasst. Dass nur eine Quelle sich bewegt, kann insbesondere daran erkannt werden, dass für die andere Quelle der Raumwinkelbereich, der für diese detektiert wurde, konstant bleibt, sich für die "erste" Quelle aber ändert. Ein solcher Fall ist insbesondere mit einer Stereo-Darbietung nicht zu vereinen und deutet eher auf eine andere Situation hin, bspw. zwei voneinander unabhängige und gegebenenfalls unterschiedliche Musik-Quellen.
  • In einer weiteren zweckmäßigen Verfahrensvariante werden spektrale Unterschiede zwischen der mittels der jeweiligen Hörvorrichtung und/oder für die jeweilige Quelle erfassten Musik ermittelt. Anhand dieser Unterschiede wird anschließend auf eine Musikart geschlossen. Für klassische Musik, insbesondere orchestrale Musik, ist regelmäßig aufgrund eines üblicherweise zum Einsatz kommenden klassischen Orchester-Aufbaus, ein vergleichsweise großer spektraler Unterschied der beiden Stereo-Kanäle und somit des von den beiden (Stereo-) Musik-Quellen ausgestrahlten Schalls zu erwarten. Auch für Aufnahmen von Jazzbands ist vergleichsweise ein eher größerer spektraler Unterschied zu erwarten. Für Pop-, Rock-Musik oder elektronische Musik ist dagegen ein vergleichsweise geringer spektraler Unterschied zu erwarten. Um die jeweiligen Unterarten der Musik, bspw. als Pop- und Rockmusik weiter zu unterscheiden, kann eine weitere spektrale (bspw. hinsichtlich einer "Betonung" bestimmter Frequenzen) und/oder auch eine harmonische Auswertung erfolgen. Dieser Ausführung liegt die Erkenntnis zugrunde, dass jede Hörvorrichtung vornehmlich, d. h. insbesondere mit einem stärkeren Pegel, die akustischen Signale der im zugeordneten vorderen Viertelraum erfasst. Die aus dem anderen Viertelraum (also der anderen Gesichtshälfte zugeordneten) akustischen Signale werden dagegen meist aufgrund Abschattungseffekten nicht oder nur abgeschwächt erfasst.
  • Vorzugsweise wird die Signalverarbeitung anschließend, insbesondere weiter verfeinert, auf die Musikart angepasst. So werden beispielsweise vorstehend angesprochene Parameter in an sich bekannter Weise (vergleiche bspw. Equalizer-Voreinstellungen in Audio-Systemen) auf die Musikart angepasst. Beispielsweise werden bei Klassik die "Höhen" also hohe Frequenzen gegenüber den übrigen Frequenzen hervorgehoben ("betont"), bei Jazz eine möglichst ausgewogene Einstellung gewählt, während bei Hip-Hop oder Pop bspw. Bässe hervorgehoben werden.
  • In einer zweckmäßigen Verfahrensvariante wird die Signalverarbeitung für Fälle, in denen mehrere der vorstehend beschriebenen Kriterien betrachtet werden, also bspw. ob neben der Anordnung der Musik-Quellen im vorderen Halbraum, diese in einem kleineren Raumwinkelbereich als 180 Grad liegen und/oder ob eine echte Stereo-Darbietung vorliegt, gleitend an die Wiedergabe von Musik angepasst. Anders ausgedrückt wird die Signalverarbeitung weniger "aggressiv", d. h. andere Aspekte des Hörens (insbesondere das Sprachverstehen) vergleichsweise gering negativ beeinflussend, verändert, wenn die beiden Musik-Quellen nur im vorderen Halbraum lokalisiert werden. Bei weiter zunehmender Wahrscheinlichkeit (d. h. kumuliertem Erfüllen mehrere Kriterien) für die Situation bewussten Musikhörens, bspw. wenn der Raumwinkelbereich verkleinert ist, wird die Signalverarbeitung zunehmend aggressiver in Richtung Musikwiedergabe angepasst, bspw. indem eine Rauschunterdrückung und/oder eine Richtwirkung reduziert wird und dergleichen.
  • Das erfindungsgemäße binaurale Hörvorrichtungssystem weist, wie vorstehend beschrieben, die dem linken Ohr und die dem rechten Ohr des Nutzers zugeordneten oder zuzuordnenden Hörvorrichtungen auf. Diese weisen jeweils wenigstens ein Mikrofon auf. Außerdem weist das Hörvorrichtungssystem einen Controller auf, der dazu eingerichtet ist, das vorstehend beschriebene Verfahren selbsttätig oder in Interaktion mit dem Nutzer durchzuführen.
  • Somit weist das Hörvorrichtungssystem die vorstehend in den jeweiligen Verfahrensvarianten beschriebenen körperlichen Merkmale in entsprechenden Ausführungsformen gleichermaßen auf. Der Controller ist ebenfalls entsprechend dazu eingerichtet, in zugeordneten Ausführungen die im Rahmen der vorstehenden Verfahrensvarianten beschriebenen Maßnahmen durchzuführen.
  • Der Controller ist bspw. in einer der beiden Hörvorrichtungen oder einem diesen zugeordneten, aber von diesen separaten Steuergerät verkörpert. Insbesondere aber weist jede der beiden Hörvorrichtungen einen eigenen Controller (auch als Signalprozessor bezeichnet) auf, die im binauralen Betrieb miteinander in Kommunikation stehen und dabei vorzugsweise unter einer Master-Slave-Regelung untereinander gemeinsam den Controller des Hörvorrichtungssystems bilden.
  • In bevorzugter Ausgestaltung ist der (oder der jeweilige) Controller zumindest im Kern durch einen Mikrocontroller mit einem Prozessor und einem Datenspeicher gebildet, in dem die Funktionalität zur Durchführung des erfindungsgemäßen Verfahrens in Form einer Betriebssoftware (Firmware) programmtechnisch implementiert ist, so dass das Verfahren - gegebenenfalls in Interaktion mit Nutzer - bei Ausführung der Betriebssoftware in dem Mikrocontroller automatisch durchgeführt wird. Alternativ ist der oder der jeweilige Controller durch ein nicht oder nicht vollständig frei programmierbares elektronisches Bauteil, z.B. einen ASIC, gebildet, in dem die Funktionalität zur Durchführung des erfindungsgemäßen Verfahrens mit schaltungstechnischen Mitteln implementiert ist.
  • Das vorstehend beschriebene Hörvorrichtungssystem sowie auch das vorstehend beschriebene Verfahren funktionieren vorteilhafterweise auch bei Sound-Systemen mit mehr als zwei Schallquellen, bspw. 5.1-System oder dergleichen. Wie vorstehend beschrieben wird das Vorhandensein von zwei Musik-Quellen im vorderen Halbraum als grundlegendes Kriterium herangezogen, ob eine Situation bewussten Musikhörens vorliegt. Liegen mehr als diese zwei Musik-Quellen, insbesondere im hinteren Halbraum vor, werden diese bspw. nicht erfasst oder als nicht für die Beurteilung der aktuellen (Musik-) Hörsituation relevant unberücksichtigt gelassen.
  • Die Konjunktion "und/oder" ist hier und im Folgenden insbesondere derart zu verstehen, dass die mittels dieser Konjunktion verknüpften Merkmale sowohl gemeinsam als auch als Alternativen zueinander ausgebildet sein können.
  • Nachfolgend werden Ausführungsbeispiele der Erfindung anhand einer Zeichnung näher erläutert. Darin zeigen:
    • Fig. 1
    in einer schematischen Darstellung ein binaurales Hörvorrichtungssystem,
    Fig. 2
    in einer schematischen Ansicht von oben einen Kopf eines Nutzers der Hörvorrichtung mit dem Hörvorrichtungssystem im Betrieb,
    Fig. 3
    in Ansicht gemäß Fig. 2 das Hörvorrichtungssystem in einem alternativen Ausführungsbeispiel des Betriebs, und
    Fig. 4
    anhand eines schematischen Blockschaltbilds beider Hörvorrichtungen das von diesen durchgeführte Betriebsverfahren.
  • Einander entsprechende Teile und Größen sind in allen Figuren stets mit gleichen Bezugszeichen versehen.
  • In Fig. 1 ist ein binaurales Hörvorrichtungssystem 1 schematisch dargestellt. Dieses weist zwei Hörvorrichtungen 2 und 4 auf. Die Hörvorrichtung 2 ist im bestimmungsgemäßen Betrieb - schematisch dargestellt in Fig. 2 oder 3 - einem linken Ohr 6 eines Nutzers 8 zugeordnet. Die Hörvorrichtung 4 ist entsprechend dem rechten Ohr 10 des Nutzers 8 zugeordnet. Jede Hörvorrichtung 2, 4 weist ein vorderes Mikrofon 12 und ein hinteres Mikrofon 14 auf. Außerdem weisen beide Hörvorrichtungen 2 und 4 einen Signalprozessor 16, sowie einen Lautsprecher 18, eine Kommunikationseinrichtung 20 und eine Energiequelle 22 auf.
  • Der Signalprozessor 16 ist dazu eingerichtet, Umgebungsschall, der mittels der Mikrofone 12 und 14 erfasst und in Mikrofonsignale MS gewandelt wurde, in Abhängigkeit von einer Hörminderung des Nutzers 8 zu verarbeiten, konkret frequenzabhängig zu filtern und zu verstärken, und als Ausgangssignal AS an den Lautsprecher 18 auszugeben. Letzterer wiederum wandelt das Ausgangssignal AS in Schall zur Ausgabe an das Gehör des Nutzers 8 um.
  • In einem binauralen Betrieb des Hörvorrichtungssystems 1 stehen beide Hörvorrichtungen 2 und 4 in Kommunikation miteinander. Konkret übertragen beide Signalprozessoren 16 Daten mittels der jeweiligen Kommunikationseinrichtungen 20 untereinander (angedeutet durch einen Doppelpfeil 24). Einer der Signalprozessor 16 bildet dabei einen "Master", der andere einen "Slave". Gemeinsam bilden die beiden Signalprozessoren 16 somit auch einen Controller des Hörvorrichtungssystems 1. Der Controller (meist der als Master fungierende Signalprozessor 16) verarbeitet unter anderem die Mikrofonsignale MS beider Hörvorrichtungen 2 und 4 zu einem binauralen Richtmikrofonsignal. Des Weiteren ist der Controller dazu eingerichtet, unterschiedliche Hörsituationen anhand der in den Mikrofonsignalen MS enthaltenen Informationen zu klassifizieren und abhängig von der Klassifikation die Signalverarbeitung der Mikrofonsignale MS zur verändern, d. h. Signalverarbeitungsparameter anzupassen. Außerdem sind die Signalprozessoren 16, konkret der Controller, dazu eingerichtet, ein nachfolgend näher beschriebenes Betriebsverfahren durchzuführen.
  • Dabei ermittelt der Controller, ob Musik in den Umgebungsgeräuschen enthalten ist. Um jedoch zu vermeiden, dass die Signalverarbeitung fälschlicherweise auf Musik eingestellt wird, obwohl nur zufällig Musik in den Umgebungsgeräuschen enthalten ist, ermittelt der Controller, ob mehrere Schallquellen für die Musik, hier durch zwei Lautsprecherboxen 26 angedeutet, in der Umgebung des Nutzers 8 vorhanden sind. Konkret ermittelt der Controller, ob die beiden Lautsprecherboxen 26 in einem vorderen Halbraum 28 lokalisiert sind. Der vordere Halbraum 28 stellt dabei den in Blickrichtung 30 (s. Fig. 2) vor einer die beiden Ohren 6 und 10 schneidenden Frontalebene 32 liegenden Raumbereich dar.
  • Gemäß einem anhand von Fig. 2 und 4 beschriebenen Ausführungsbeispiel nutzen beide Signalprozessoren 16 dazu eine "Detektionsstufe 34" (s. Fig. 4), die mittels der beiden Mikrofone 12 und 14 in bekannter Weise eine sogenannte Ankunftsrichtung für den von den beiden Lautsprecherboxen 26 ausgehend Schall ermittelt. Die jeweilige Ankunftsrichtung wird dabei als ein (auf die Blickrichtung 30 als Null-Grad-Richtung bezogener) Raumwinkelbereich 36 (insbesondere in Form eines Vektors) herangezogen, in dem die jeweilige Lautsprecherbox 26 angeordnet ist. Parallel erfolgt eine Klassifikation der aktuellen Hörsituation in einer Klassifikationsstufe 38. Hier wird ermittelt, ob Musik vorhanden ist. Ist dies der Fall und werden zwei unterschiedliche, also in jeweils einem Raumwinkelbereich 36 angeordnete Schallquellen erfasst, wird in einer Fusionsstufe 40, in der die Informationen der Klassifikationsstufe 38 und der Detektionsstufe 34 zusammengeführt werden, geprüft, ob beide Schallquellen die gleiche Musik ausgeben. Wird für beide Hörvorrichtungen 2 und 4 also jeweils eine Schallquelle für die in der Klassifikationsstufe 38 erkannte Musik innerhalb eines im vorderen Halbraum 28 angeordneten Raumwinkelbereich 36 ermittelt - was anhand der Kommunikation beider Hörvorrichtungen 2 und 4 untereinander festgestellt wird (vgl. Fig. 4) -, nimmt der Controller in der Fusionsstufe 40 an, dass eine Situation mit einer Stereo-Darbietung der Musik vorliegt. Dies nimmt der Controller als Hinweis, einen Wahrscheinlichkeitswert, dass eine Situation bewussten Musikhörens vorliegt, heraufzusetzen. Bei hinreichend hoher Wahrscheinlichkeit (was der Fall ist, wenn nur überprüft wird, dass die beiden Schallquellen im vorderen Halbraum 28 angeordnet sind) passt der Controller für eine nachgelagerte Bearbeitungsstufe 42 Parameter für die Signalverarbeitung von Musik an. Beispielsweise stellt der Controller eine sogenannte Kompression linear ein und verringert eine Rauschunterdrückung.
  • In einer optionalen Variante ist der Fusionsstufe 40 eine Stereo-Detektionsstufe 44 vorgeschaltet, in der ermittelt wird, ob beide Schallquellen hinreichend ähnliche aber nicht exakt die gleichen Schallsignale ausgeben, letzteres ist bei einer Stereo-Darbietung mittels einer Stereo-Anlage mit zwei Lautsprecherboxen 26, sofern die Ausgabe nicht auf "mono" gestellt ist, der Fall. In dieser Variante wird der Wahrscheinlichkeitswert gegenüber der vorausgehend beschriebenen Variante weiter erhöht, wenn eine solche Stereo-Darbietung erkannt wird. Hierbei erreicht der Wahrscheinlichkeitswert erst mit dieser "zusätzlichen" Erhöhung einen Grenzwert, ab dem die Parameter für die Signalverarbeitung von Musik verändert werden.
  • Zusätzlich oder alternativ wird in einer optionalen weiteren Variante der Wahrscheinlichkeitswert auch erhöht, wenn die beiden Schallquellen nicht nur im vorderen Halbraum 28, sondern auch in einem schmalen Raumbereich von 60 Grad beidseitig zur Blickrichtung 30.
  • Weiter optional schaltet der Controller die Signalverarbeitung bei Erreichen des Wahrscheinlichkeitsgrenzwerts nicht zwischen zwei Parametersätzen um, sondern verändert die Parameter zunehmend mit zunehmender Wahrscheinlichkeit, so dass eine situationsabhängig zunehmende Veränderung der Signalverarbeitung realisiert ist.
  • In Fig. 3 ist ein alternatives Ausführungsbeispiel dargestellt. Anstelle der Erfassung der Ankunftsrichtung wird in der Detektionsstufe 34 eine Richtungssensibilität eines binauralen Richtmikrofons derart eingestellt, dass in den vorderen Halbraum 28 mehrere Sektoren 46 mit gegenüber den übrigen Raumbereichen erhöhter Sensibilität fächerartig verteilt sind. Für jeden Sektor 46 wird ein Pegelwert erfasst und mit denen der anderen Sektoren 46 verglichen. Ein erhöhter Pegelwert deutet auf eine Schallquelle im Bereich des Sektors 46 hin. Für eine präzisere Lokalisation wird in einer optionalen Variante eine Interpolation zwischen den Sektoren 46 vorgenommen, so dass auch eine zwischen zwei Sektoren 46 angeordnete Schallquelle (in Fig. 3 angedeutet durch die links dargestellte Lautsprecherbox 26) detektiert, konkret deren Raumwinkelbereich 36 enger eingegrenzt, werden kann.
  • Das weitere Vorgehen entspricht wiederum dem vorhergehenden Ausführungsbeispiel und gegebenenfalls seinen Varianten.
  • Die Entscheidung, ob zwei Schallquellen für die Musik vorliegen sowie die daraus folgenden Maßnahmen, insbesondere also die Entscheidung über die Veränderung der Signalverarbeitungsparameter, wird in einer Variante der vorstehend beschriebenen Ausführungsbeispiele durch den als Master fungierenden Signalprozessor 16 getroffen und an den als Slave fungierenden Signalprozessor 16 übermittelt.
  • Aufgrund der vorstehend beschriebenen Vorgehensweise wird die Signalverarbeitung erst dann durch den Controller verändert, wenn zwei Schallquellen für die Musik, hier also die zwei Lautsprecherboxen 26 erkannt werden. Eine Fehlinterpretation und Anpassen der Signalverarbeitung für Musik für Fälle, in denen bspw. nur eine Schallquelle vorliegt, bspw. bei einem Werbelautsprecher in einer Fußgängerzone oder dergleichen, wird somit effektiv vermieden.
  • Der Gegenstand der Erfindung ist nicht auf die vorstehend beschriebenen Ausführungsbeispiele beschränkt. Vielmehr können weitere Ausführungsformen der Erfindung von dem Fachmann aus der vorstehenden Beschreibung abgeleitet werden. Insbesondere können die anhand der verschiedenen Ausführungsbeispiele beschriebenen Einzelmerkmale der Erfindung und deren Ausgestaltungsvarianten auch in anderer Weise miteinander kombiniert werden.
    • Bezugszeichenliste
    • 1
    Hörvorrichtungssystem
    2
    Hörvorrichtung
    4
    Hörvorrichtung
    6
    Ohr
    8
    Nutzer
    10
    Ohr
    12
    Mikrofon
    14
    Mikrofon
    16
    Signalprozessor
    18
    Lautsprecher
    20
    Kommunikationseinrichtung
    22
    Energiequelle
    24
    Doppelpfeil
    26
    Lautsprecherbox
    28
    Halbraum
    30
    Blickrichtung
    32
    Frontalebene
    34
    Detektionsstufe
    36
    Raumwinkelbereich
    38
    Klassifikationsstufe
    40
    Fusionsstufe
    42
    Bearbeitungsstufe
    44
    Stereo-Detektionsstufe
    46
    Sektor
    AS
    Ausgangssignal
    MS
    Mikrofonsignal

Claims (11)

  1. Verfahren zum Betrieb eines binauralen Hörvorrichtungssystems (1) mit einer einem linken Ohr (6) und einer einem rechten Ohr (10) eines Nutzers (8) zugeordneten oder zuzuordnenden Hörvorrichtung (2, 4), die jeweils wenigstens ein Mikrofon (12, 14) aufweisen, wobei verfahrensgemäß
    - mittels der jeweiligen Mikrofone der beiden Hörvorrichtungen (2, 4) akustische Informationen erhoben werden,
    - die akustischen Informationen dahingehend ausgewertet werden, ob diese Musik enthalten,
    - ermittelt wird, ob für die Musik zwei Quellen (26) detektiert werden können,
    - ein Raumwinkelbereich (36), in dem die jeweilige Quelle (26) der Musik positioniert ist, in Bezug auf eine Blickrichtung (30) des Nutzers (8) ermittelt wird, und
    - für den Fall, dass der jeweilige Raumwinkelbereich (36) der beiden Quellen (26) der Musik in einem in Bezug auf die Blickrichtung (30) vorderen Halbraum (28) liegt, eine Wahrscheinlichkeit erhöht wird, dass eine Situation bewussten Musikhörens des Nutzers (8) vorliegt, und bei Überschreiten eines vorgegebenen Wahrscheinlichkeitsgrenzwerts eine Signalverarbeitung für beide Hörvorrichtungen (2, 4) hinsichtlich einer möglichst natürlichen Wiedergabe der Musik angepasst wird.
  2. Verfahren nach Anspruch 1,
    wobei ermittelt wird, ob die von den beiden Quellen (26) ausgehenden akustischen Signale innerhalb eines für Musik typischen Rahmens einander unähnlich sind, und wobei die Wahrscheinlichkeit, dass die Situation bewussten Musikhörens vorliegt, weiter erhöht wird, wenn eine solche Unähnlichkeit erkannt wird.
  3. Verfahren nach Anspruch 1 oder 2,
    wobei die Wahrscheinlichkeit, dass die Situation bewussten Musikhörens vorliegt, weiter erhöht wird, wenn der jeweilige Raumwinkelbereich (36) der Quellen (26) der Musik in einem Winkelbereich bis etwa +/- 60 Grad, vorzugsweise bis etwa +/- 45 Grad, zur Blickrichtung (30) liegt.
  4. Verfahren nach einem der Ansprüche 1 bis 3,
    wobei jede Hörvorrichtung (2, 4) zwei Mikrofone (12, 14) aufweist und wobei der jeweilige Raumwinkelbereich (36) der beiden Quellen (26) anhand einer Zeitverzögerung eines der Musik zugeordneten Signals ermittelt wird.
  5. Verfahren nach einem der Ansprüche 1 bis 4,
    wobei der jeweilige Raumwinkelbereich (36) der beiden Quellen (26) mittels einer Art Abtastung, insbesondere des vorderen Halbraums (28), mittels einer Richtungssensibilität ermittelt wird.
  6. Verfahren nach einem der Ansprüche 1 bis 5,
    wobei eine binaurale Verarbeitung und Auswertung der mittels beider Hörvorrichtungen (2, 4) erfassten Informationen hinsichtlich des Vorhandenseins der Musik sowie des Raumwinkelbereichs (36) der jeweiligen Quelle (26) durchgeführt wird.
  7. Verfahren nach einem der Ansprüche 1 bis 6,
    wobei überwacht wird, dass sich die beiden Quellen (26) nur innerhalb eines vorgegebenen, zulässigen Winkelbereichs relativ zueinander bewegen.
  8. Verfahren nach einem der Ansprüche 1 bis 7,
    wobei das Vorliegen der Situation bewussten Musikhörens ausgeschlossen wird, wenn eine Bewegung nur für eine der beiden Quellen (26) erkannt wird.
  9. Verfahren nach einem der Ansprüche 1 bis 8,
    wobei spektrale Unterschiede zwischen der mittels der jeweiligen Hörvorrichtung (2, 4) und/oder für die jeweilige Quelle (26) erfassten Musik ermittelt werden und daraus auf eine Musikart geschlossen wird.
  10. Verfahren nach Anspruch 9,
    wobei die Signalverarbeitung auf die Musikart angepasst wird.
  11. Binaurales Hörvorrichtungssystem (1) aufweisend eine einem linken Ohr (6) und eine einem rechten Ohr (10) eines Nutzers (8) zugeordneten oder zuzuordnenden Hörvorrichtung (2, 4), die jeweils wenigstens ein Mikrofon (12, 14) aufweisen, sowie einen Controller, der dazu eingerichtet ist, ein Verfahren nach einem der Ansprüche 1 bis 10 durchzuführen.
EP23154327.3A 2022-02-18 2023-01-31 Verfahren zum betrieb eines binauralen hörvorrichtungssystems und binaurales hörvorrichtungssystem Active EP4231667B1 (de)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102022201706.4A DE102022201706B3 (de) 2022-02-18 2022-02-18 Verfahren zum Betrieb eines binauralen Hörvorrichtungssystems und binaurales Hörvorrichtungssystem

Publications (3)

Publication Number Publication Date
EP4231667A1 EP4231667A1 (de) 2023-08-23
EP4231667B1 true EP4231667B1 (de) 2024-11-27
EP4231667C0 EP4231667C0 (de) 2024-11-27

Family

ID=85150853

Family Applications (1)

Application Number Title Priority Date Filing Date
EP23154327.3A Active EP4231667B1 (de) 2022-02-18 2023-01-31 Verfahren zum betrieb eines binauralen hörvorrichtungssystems und binaurales hörvorrichtungssystem

Country Status (4)

Country Link
US (1) US20230269548A1 (de)
EP (1) EP4231667B1 (de)
CN (1) CN116634322A (de)
DE (1) DE102022201706B3 (de)

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040175008A1 (en) * 2003-03-07 2004-09-09 Hans-Ueli Roeck Method for producing control signals, method of controlling signal and a hearing device
ATE527829T1 (de) * 2003-06-24 2011-10-15 Gn Resound As Binaurales hörhilfesystem mit koordinierter schallverarbeitung
EP1858291B1 (de) * 2006-05-16 2011-10-05 Phonak AG Hörsystem und Verfahren zur Ermittlung von Informationen über eine akustische Szene
DE102006047983A1 (de) 2006-10-10 2008-04-24 Siemens Audiologische Technik Gmbh Verarbeitung eines Eingangssignals in einem Hörgerät
EP2373062A3 (de) 2010-03-31 2015-01-14 Siemens Medical Instruments Pte. Ltd. Duales Einstellverfahren für ein Hörsystem
WO2011158506A1 (ja) * 2010-06-18 2011-12-22 パナソニック株式会社 補聴器、信号処理方法及びプログラム
DE102012214081A1 (de) 2012-06-06 2013-12-12 Siemens Medical Instruments Pte. Ltd. Verfahren zum Fokussieren eines Hörinstruments-Beamformers
DE102015210652B4 (de) * 2015-06-10 2019-08-08 Sivantos Pte. Ltd. Verfahren zur Verbesserung eines Aufnahmesignals in einem Hörsystem
DE102016225204B4 (de) 2016-12-15 2021-10-21 Sivantos Pte. Ltd. Verfahren zum Betrieb eines Hörgerätes
DK3425928T3 (da) * 2017-07-04 2021-10-18 Oticon As System omfattende hørehjælpesystemer og systemsignalbehandlingsenhed og fremgangsmåde til at generere et forbedret elektrisk audiosignal
DK3468228T3 (da) * 2017-10-05 2021-10-18 Gn Hearing As Binauralt høresystem med lokalisering af lydkilder
WO2019086439A1 (en) 2017-10-31 2019-05-09 Widex A/S Method of operating a hearing aid system and a hearing aid system
US10728676B1 (en) * 2019-02-01 2020-07-28 Sonova Ag Systems and methods for accelerometer-based optimization of processing performed by a hearing device
JP7536083B2 (ja) * 2019-08-06 2024-08-19 フラウンホッファー－ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ 選択的受聴を補助するためのシステムおよび方法

Also Published As

Publication number Publication date
DE102022201706B3 (de) 2023-03-30
US20230269548A1 (en) 2023-08-24
EP4231667C0 (de) 2024-11-27
EP4231667A1 (de) 2023-08-23
CN116634322A (zh) 2023-08-22

Similar Documents

Publication Publication Date Title
EP2603018B1 (de) Hörvorrichtung mit Sprecheraktivitätserkennung und Verfahren zum Betreiben einer Hörvorrichtung
EP3451705B1 (de) Verfahren und vorrichtung zum schnellen erkennen der eigenen stimme
EP3104627B1 (de) Verfahren zur verbesserung eines aufnahmesignals in einem hörsystem
US8249284B2 (en) Hearing system and method for deriving information on an acoustic scene
EP3386215B1 (de) Verfahren zum betrieb einer hörvorrichtung und hörvorrichtung
EP2833651A1 (de) Verfahren zur Verfolgung einer Schallquelle
EP2226795B1 (de) Hörvorrichtung und Verfahren zum Reduzieren eines Störgeräuschs für eine Hörvorrichtung
DE102007035174B4 (de) Hörvorrichtung gesteuert durch ein perzeptives Modell und entsprechendes Verfahren
EP1471770B1 (de) Verfahren zur Erzeugung einer angenäherten Teilübertragungsfunktion
EP3926981A1 (de) Hörsystem mit mindestens einem am kopf des nutzers getragenen hörinstrument sowie verfahren zum betrieb eines solchen hörsystems
EP4231667B1 (de) Verfahren zum betrieb eines binauralen hörvorrichtungssystems und binaurales hörvorrichtungssystem
WO2019215200A1 (de) Verfahren zum betrieb eines hörsystems sowie hörsystem
EP2658289B1 (de) Verfahren zum Steuern einer Richtcharakteristik und Hörsystem
EP1858291A1 (de) Hörsystem und Verfahren zur Ermittlung von Informationen über ein akustisches Scenario
DE102023202437B4 (de) Verfahren zur Lokalisierung einer Schallquelle für ein binaurales Hörsystem
EP3926983B1 (de) Hörsystem mit mindestens einem am kopf des nutzers getragenen hörinstrument sowie verfahren zum betrieb eines solchen hörsystems
EP3863306B1 (de) Hörsystem mit mindestens einem im oder am ohr des nutzers getragenen hörinstrument sowie verfahren zum betrieb eines solchen hörsystems
EP4149121A1 (de) Verfahren zum betrieb eines hörgeräts
DE102023202422B4 (de) Verfahren zur direktionalen Signalverarbeitung für ein binaurales Hörsystem
DE102023200412B3 (de) Verfahren zum Betrieb eines Hörgeräts
EP4642053A1 (de) Verfahren zur direktionalen signalverarbeitung für ein hörinstrument
EP0723381B2 (de) Vorrichtung zur Hörunterstützung
DE102024203808A1 (de) Verfahren zum Betrieb eines Hörvorrichtungssystems
DE102024202870A1 (de) Verfahren zur Unterstützung des Hörverständnisses eines Hörinstrumenten-Nutzers sowie Hörsystem mit einem Hörinstrument
DE102024204901A1 (de) Verfahren zur Klassifizierung einer akustischen Umgebungssituation für ein Hörinstrument

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION HAS BEEN PUBLISHED

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC ME MK MT NL NO PL PT RO RS SE SI SK SM TR

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20240216

RBV Designated contracting states (corrected)

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC ME MK MT NL NO PL PT RO RS SE SI SK SM TR

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: GRANT OF PATENT IS INTENDED

INTG Intention to grant announced

Effective date: 20240712

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE PATENT HAS BEEN GRANTED

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC ME MK MT NL NO PL PT RO RS SE SI SK SM TR

REG Reference to a national code

Ref country code: GB

Ref legal event code: FG4D

Free format text: NOT ENGLISH

REG Reference to a national code

Ref country code: CH

Ref legal event code: EP

REG Reference to a national code

Ref country code: DE

Ref legal event code: R096

Ref document number: 502023000323

Country of ref document: DE

REG Reference to a national code

Ref country code: IE

Ref legal event code: FG4D

Free format text: LANGUAGE OF EP DOCUMENT: GERMAN

U01 Request for unitary effect filed

Effective date: 20241127

U07 Unitary effect registered

Designated state(s): AT BE BG DE DK EE FI FR IT LT LU LV MT NL PT RO SE SI

Effective date: 20241203

U20 Renewal fee for the european patent with unitary effect paid

Year of fee payment: 3

Effective date: 20241218

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20250327

Ref country code: HR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20241127

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: ES

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20241127

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: NO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20250227

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: GR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20250228

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: PL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20241127

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: RS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20250227

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SM

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20241127

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20241127

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CZ

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20241127

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MC

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20241127

PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

REG Reference to a national code

Ref country code: CH

Ref legal event code: L10

Free format text: ST27 STATUS EVENT CODE: U-0-0-L10-L00 (AS PROVIDED BY THE NATIONAL OFFICE)

Effective date: 20251008

26N No opposition filed

Effective date: 20250828

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20250131

U20 Renewal fee for the european patent with unitary effect paid

Year of fee payment: 4

Effective date: 20251217

REG Reference to a national code

Ref country code: CH

Ref legal event code: U11

Free format text: ST27 STATUS EVENT CODE: U-0-0-U10-U11 (AS PROVIDED BY THE NATIONAL OFFICE)

Effective date: 20260201