CN111432317A - 基于脑电图（eeg）信号的具有自我调节能力的助听器 - Google Patents

基于脑电图（eeg）信号的具有自我调节能力的助听器 Download PDF

Info

Publication number
CN111432317A
CN111432317A CN201911377112.8A CN201911377112A CN111432317A CN 111432317 A CN111432317 A CN 111432317A CN 201911377112 A CN201911377112 A CN 201911377112A CN 111432317 A CN111432317 A CN 111432317A
Authority
CN
China
Prior art keywords
hearing aid
processing unit
sound
microphone
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911377112.8A
Other languages
English (en)
Other versions
CN111432317B (zh
Inventor
T·皮乔维亚克
A·B·迪特贝尔纳
L·C·帕拉
I·V·伊奥佐夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GN Hearing AS
Research Foundation of City University of New York
Original Assignee
GN Hearing AS
Research Foundation of City University of New York
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US16/236,373 external-priority patent/US11228849B2/en
Application filed by GN Hearing AS, Research Foundation of City University of New York filed Critical GN Hearing AS
Publication of CN111432317A publication Critical patent/CN111432317A/zh
Application granted granted Critical
Publication of CN111432317B publication Critical patent/CN111432317B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/02—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception adapted to be supported entirely by ear
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4836—Diagnosis combined with treatment in closed-loop systems or methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/12—Audiometering
    • A61B5/121—Audiometering evaluating hearing capacity
    • A61B5/125—Audiometering evaluating hearing capacity objective methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/377—Electroencephalography [EEG] using evoked responses
    • A61B5/38—Acoustic or auditory stimuli
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6813—Specially adapted to be attached to a specific body part
    • A61B5/6814—Head
    • A61B5/6815—Ear
    • A61B5/6817—Ear canal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/50—Customised settings for obtaining desired overall acoustical characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/60—Mounting or interconnection of hearing aid parts, e.g. inside tips, housings or to ossicles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4803—Speech analysis specially adapted for diagnostic purposes

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Neurosurgery (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Multimedia (AREA)
  • Psychiatry (AREA)
  • Psychology (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

本发明涉及一种助听器，其包括：麦克风，配置为提供与助听器的用户自然接收的声音刺激相对应的麦克风信号；处理单元，其耦合至麦克风，所述处理单元配置为至少基于麦克风信号提供经处理的信号；扬声器，其耦合至处理单元，所述扬声器配置为基于经处理的信号提供声音信号；以及传感器，配置为测量用户对声音刺激的神经响应，并提供传感器输出；其中，处理单元配置为基于麦克风信号检测语音的存在，并处理传感器输出和麦克风信号以估计语音可懂度；以及处理单元还配置为至少基于所估计的语音可懂度来调节助听器的声音处理参数。

Description

基于脑电图（EEG）信号的具有自我调节能力的助听器
技术领域
本发明涉及一种助听器。
背景技术
助听器的验配是一项难题，必须根据个人的需要选择许多声音放大的自由参数，但这样做的最佳标准尚未确定。听力图很容易获得，并为不同频带的增益提供了客观标准，但是其他参数(例如压缩)的选择没有客观标准。仅基于听力图所产生的放大通常不会转化为良好的语音可懂度(intelligibility)，有时可能会产生令人不适的背景噪声放大。为解决这些问题，听力专家会征求用户的主观反馈，并根据他们的个人经验做出选择。然而，与听力学专家在一起的时间仅限于短暂的验配过程，行为反馈可能不可靠，并且临床环境通常不能很好地预测日常体验。这可能会导致助听器调整不良，从而导致用户满意度差，包括虽然消费者购买成本很高但却未使用的设备。简而言之，验配过程容易出错，超出制造商的控制，并且会对品牌带来很大风险。在设备发出后，征求更频繁或持续的用户反馈可能会很麻烦，并且对于典型的老年人群来说，可能价值有限。
因此，迫切需要基于客观标准，基于用户的日常经验来调节助听器参数，并且，将对用户反馈的需要最小化或不需要用户反馈。
发明内容
本文描述的实施例涉及一种助听器，该助听器可调节自身以改善语音可懂度。在一个实施方式中，助听器记录用户自然接收的声音，例如声音刺激(acoustic stimulus)，以及与声音同时测量的用户的神经响应(neural responses)。当检测到语音时，声音与神经响应相关，并且这种相关性的强度将用于估计语音可懂度。基于上述估计，逐步调整助听器中声音处理参数以改善可懂度。
本发明的一方面涉及一种助听器，其包括：麦克风，配置为提供与助听器的用户自然接收的声音刺激相对应的麦克风信号；处理单元，其耦合至麦克风，所述处理单元配置为至少基于麦克风信号提供经处理的信号；扬声器，其耦合至处理单元，所述扬声器配置为基于经处理的信号提供声音信号；以及传感器，配置为测量用户对声音刺激的神经响应，并提供传感器输出；其中，处理单元配置为基于麦克风信号检测语音的存在，并处理传感器输出和麦克风信号以估计语音可懂度；以及其中，处理单元还配置为至少基于所估计的语音可懂度来调节助听器的声音处理参数。
在本发明的某些实施例中，处理单元配置为处理传感器输出，而不检测麦克风信号中的语音或语音信号的各个语音特征或分量，例如音节和/或音位。这些单独的语音功能或分量的持续时间或长度通常小于1秒，例如小于500ms。处理单元可配置为在不检测与各个语音特征或分量相关联的所谓的晚正电位或类似事件相关电位(ERP)的情况下处理传感器输出。例如，处理单元可配置为基于助听器正常操作期间的连续语音，例如持续时间超过5秒或10秒甚至超过30秒或1分钟的整个句子的语音片段，根据神经响应(例如，EEG信号)来估计语音可懂度。从而，可减轻处理单元将检测到的语音分为单个语音特征或成分并测量对这些单个语音特征或成分中的每一个的神经响应。使用连续语音而不是单个语音特征或分量可显著减少处理单元的计算资源消耗，例如MIPS和/或内存使用量，因为与检测和/或分离单个语音特征或连续语音的分量相比，仅检测例如在麦克风信号中语音的存在或不存在通常对处理单元的资源需求要少得多。
可选地，神经响应包括脑电活动(encephalographic activity)。
可选地，传感器被配置为放置在助听器用户的耳道内或耳外。
可选地，助听器进一步包括附加传感器，该附加传感器配置为放置在助听器用户的另一耳道内或另一耳朵外。
可选地，处理单元配置为基于包含语音的声音刺激与神经响应之间的刺激-响应相关性的强度来估计语音可懂度。
可选地，刺激-响应相关性包括声音刺激的特征与神经响应的特征的时间相关性(temporal correlation)。
可选地，声音刺激的特征包括基于麦克风的输出记录在助听器中的声音的振幅包络，例如语音振幅包络或语音包络。
可选地，神经响应的特征包括脑电图诱发反应 (electroencephalographicevoked response)。
可选地，处理单元配置为使用多元回归技术确定刺激-响应相关性。
可选地，声音处理参数包括助听器的长期处理参数。
可选地，助听器的长期处理参数包括放大增益、压缩系数、功率估计的时间常数、放大拐点或声音增强模块的任何其他参数。
可选地，长期处理参数可重复使用，以处理多个未来信号。
可选地，处理单元配置为使用自适应算法来提高所估计的语音可懂度。
可选地，处理单元配置为执行强化学习以提高所估计的语音可懂度。
可选地，处理单元配置为执行典型相关性分析，以将神经响应与声音刺激相关联。
可选地，处理单元配置为执行典型相关性分析，以建立使神经响应和声音刺激之间的相关性最大化的模型。
可选地，助听器进一步包括用于存储传感器输出的存储器。
可选地，传感器输出包括至少30秒的数据。
可选地，处理单元进一步包括声音增强模块，该声音增强模块配置为提供更好的听力。
可选地，处理单元进一步包括存储器，其中传感器输出和麦克风信号同时记录在助听器的存储器中。
可选地，处理单元进一步包括存储器，其中基于暂时将传感器输出与麦克风信号相关联的数据结构，将传感器输出和麦克风信号存储在存储器中。
本发明的第二方面涉及一种由助听器执行的方法，所述助听器具有配置为提供与助听器的用户自然接收的声音刺激相对应的麦克风信号的麦克风；配置为至少基于麦克风信号提供经处理的信号的处理单元；配置为基于经处理的信号提供声音信号的扬声器；以及传感器，所述方法包括：通过传感器获得对声音刺激的神经响应；基于神经响应提供传感器输出；通过处理单元处理传感器输出和麦克风信号，以估计语音可懂度；以及至少基于所估计的语音可懂度，调节助听器的声音处理参数。
当结合附图阅读以下详细描述时，实施例的其他优点和特征将变得显而易见。
附图说明
附图示出了实施例的设计和实用性，其中相似的元件由共同的附图标记指代。这些附图不必按比例绘制。为了更好地理解如何获得上述及其他优点和目的，将给出在附图中示出的实施例的更具体描述。这些附图仅描绘了典型的实施例，因此不应被认为是对其范围的限制。
图1A至图1F示出了根据不同实施例的具有语音可懂度估计器的助听器。
图2示出了具有语音可懂度估计器的助听器中的信号流。
图3示出了基于来自语音可懂度估计器的输出的用于助听器的波束形成器、降噪模块和压缩器的助听器调节参数中的调节器。
图4示出了具有语音可懂度估计器和声音分类器的助听器。
图5示出了助听器执行的方法。
具体实施方式
在下文中，参照附图描述各种示例性实施例和细节。应当注意，附图可以或可以不按比例绘制，并且在所有附图中相似结构或功能的元件由相同的附图标记表示。还应注意，附图仅旨在便于实施例的描述。它们并非旨在作为对本发明的详尽描述或作为对本发明范围的限制。此外，所示实施例不需要具有所示的所有方面或优点。结合特定实施例描述的方面或优点不必限于该实施例，并且即使没有如此示出，也可以在任何其他实施例中实施。
图1A示出了助听器100。助听器100包括麦克风102、耦合至麦克风102的处理单元104以及耦合至处理单元104的扬声器106。麦克风102配置为接收声音并基于用户自然接收到的声音刺激提供麦克风信号。因此，麦克风信号与声音刺激相对应。处理单元104配置为至少基于麦克风信号来提供经处理的信号。扬声器106配置为基于经处理的信号来提供声音信号。尽管仅示出了一个麦克风102，但在一些实施例中，助听器100可包括多个麦克风102(例如，两个麦克风)。助听器100还包括传感器110，配置为响应于用户听到或感知的声音信号来测量神经活动。该神经响应与传感器输出相对应。处理单元104配置为处理传感器输出和麦克风信号以估计语音可懂度，并且至少基于所估计的语音可懂度来调节助听器100的声音处理参数。具体地，如图所示，处理单元104包括：语音可懂度估计器112，配置为处理传感器输出和麦克风信号以估计语音可懂度；以及调整器114，配置为至少基于所估计的语音可懂度来调节助听器100的声音处理参数。
处理单元104还包括配置为提供更好的听力(例如，提供听力损失补偿)的声音增强模块(未示出)，例如听力损失处理模块。声音增强模块配置为基于麦克风102提供的麦克风信号来生成增强的声音信号，例如听力损失补偿信号。随后扬声器106基于增强的声音信号来生成或提供声音信号。
在所示的实施例中，传感器输出可包括30秒或更长时间的数据(例如，至少1分钟的数据、至少2分钟的数据、至少3分钟的数据、至少5分钟的数据、至少60分钟的数据、至少20分钟的数据、至少30 分钟的数据等)，以供处理单元104处理以估计语音可懂度。在其他实施例中，传感器输出可包括少于30秒的数据。此外，在一些实施例中，处理单元104所利用的数据量可能要持续一段时间才能平均传感器响应以减少或消除噪声。
在一些实施例中，由处理单元104调节的声音处理参数可包括助听器的短期处理参数和/或长期处理参数。短期处理参数是指在几秒或更短的时间尺度上变化的参数，而长期处理参数是指在一分钟或更长时间的尺度上变化的参数。例如，声音放大增益参数可以是长期处理参数。短期参数可能是波束形成器或波束形成算法的优选方向，其可能需要从一秒更改为下一秒。
在所示的实施例中，助听器100是耳内式(ITE)助听器。然而，在其他实施例中，助听器100可以是其他类型的助听器。通过非限制性示例，助听器100可以是耳道式(ITC)助听器(图1B)、具有BTE 单元196的耳后式(BTE)助听器(图1C)、或耳内接收器式(RITE) (有时也称为耳道内接收器式(RIC))助听器(图1D)。在一些实施例中，助听器100可以是双侧配置的，即，在用户的每只耳朵中各一个助听器。在这种情况下，助听器100可以是双耳助听器。此外，在一些实施例中，助听器100可以是无需处方即可获得的非处方(OTC) 助听器。OTC助听器可以是ITE助听器、ITC助听器、BTE助听器、 RIC助听器或双耳助听器。
传感器110可配置为放置在助听器100的用户的耳道中。在一些实施例中，传感器110配置为感测助听器100的用户的脑电活动。在这种情况下，神经响应包括脑电活动，例如，脑电图诱发反应。
在一些实施例中，传感器110可配置为放置在助听器100的用户的耳朵外部。例如，如图1E所示，在一些实施例中，助听器100可在 BTE单元196上具有用于测量神经活动的附加传感器110。传感器110 位于BTE单元196的侧面上，配置为抵靠助听器100的用户的皮肤放置。在其他实施例中，代替或除了在耳机处具有传感器之外，助听器 100可包括承载传感器110的基板198，以放置在助听器的用户的耳朵周围(图1F)。基板198可固定地附接到BTE单元196，或者可替代地，经由连接器可拆卸地耦接到BTE单元196。可替代地，基板198 可与助听器100分离。在这种情况下，基板198可包括配置成将信号从传感器110传输到助听器100的发射器。在其他实施例中，助听器 100可包括传感器，该传感器放置在用户的两个耳道中、用户的两只耳朵周围、或者在耳道中以及用户的耳朵周围。
在一些实施例中，处理单元104配置为基于由包含语音的麦克风信号表示的声音刺激与神经响应(由传感器输出表示)之间的刺激-响应相关性(SRC)的强度来估计语音可懂度，其中传感器输出和麦克风信号同时记录在助听器100的存储器中。在一个实施方式中，刺激- 响应相关性包括麦克风信号的特征与传感器输出的特征的时间相关性。例如，麦克风信号的特征可包括由麦克风接收的声音的振幅包络。此外，在一些实施例中，处理单元104可配置为使用多元回归技术来确定刺激-响应相关性。
在一些实施例中，为了使用刺激-响应相关性来调节助听器100以改善可懂度，处理单元104可配置为在记录有限量的数据(例如，麦克风信号和传感器输出)之后，检测用户的SRC的变化。在一些实施例中，处理单元104配置为使用至少30秒的数据(例如，传感器输出和麦克风信号)，例如，至少1分钟的数据、至少2分钟的数据、至少3分钟的数据、至少5分钟的数据、至少60分钟的数据、至少20 分钟的数据、至少30分钟的数据等。
因此，在一些实施例中，助听器100进一步包括存储器，该存储器用于存储传感器输出(例如，表示神经响应)和麦克风信号(例如，表示与神经响应相关的引起神经响应的刺激)。助听器100的存储器可使用捕获传感器输出和麦克风信号之间的时间关系的数据结构来存储传感器输出和麦克风信号。例如，该数据结构可包括将传感器输出和麦克风信号联系在一起的时间戳。这使得处理单元104知道哪个传感器输出对应于用户对其产生神经响应的哪个麦克风信号。在一些实施例中，存储器可存储至少30秒的数据，例如，至少1分钟的数据、至少2分钟的数据、至少3分钟的数据、至少5分钟的数据、至少60 分钟的数据、至少20分钟的数据、至少30分钟的数据等。这使得助听器100的处理单元104利用足够量的传感器输出和对应的麦克风信号来估计语音可懂度。
在一些实施例中，处理单元104配置为使用自适应算法来改善对语音可懂度的估计。例如，在一些实施例中，处理单元104配置为执行增强学习以改善对语音可懂度的估计。
在一些实施方式中，助听器100的处理单元104配置为执行典型相关性分析，以使传感器输出与麦克风信号相关联。在一种实施方式中，为了计算声音包络和EEG诱发的反应之间的刺激-响应相关性，处理单元104(例如，语音可懂度估计器)配置为执行典型相关性分析，其提取与刺激和响应之间相关联的若干分量。此外，在一些实施例中，助听器100的处理单元104配置为执行典型相关性分析，以建立使神经响应和刺激之间的相关性最大化的模型。
在一些实施例中，助听器的长期处理参数可以是供处理单元104 用来处理声音信号的一个或多个参数。通过非限制性示例，长期处理参数可包括放大增益、压缩因子、功率估计的时间常数等。在某些情况下，长期处理参数可能会重复使用以处理多个未来信号，例如连续施加的音量放大增益以补偿听力损失。
图2示出了助听器100中涉及的信号流。如图所示，助听器100 的麦克风102接收来自助听器100的用户的自然环境的声音，例如，音频刺激，并基于接收到的声音提供麦克风信号210。随后可将麦克风信号210记录在助听器100中。声音可包括语音，因此麦克风信号210 具有语音分量。助听器100的处理单元104对麦克风信号210进行预处理。在所示的实施例中，预处理可包括特征检测，例如，语音检测。在一个实施方式中，处理单元104可配置为执行语音检测以检测麦克风信号210中的语音。此外，在一些实施例中，预处理可包括估计声音包络。声音包络可以例如通过对语音频带(例如100-400Hz)中的信号进行带通滤波，以及低通滤波(例如，在25Hz的低通截止频率时对该带通滤波后的声音信号的绝对值)来估计。处理单元104还可以执行附加的预处理以处理记录的麦克风信号210。通过非限制性示例，预处理可包括滤波、缩放、放大、平均、求和、上采样、下采样或前述的任意组合。
当用户听到语音时，用户还基于所感知的语音表现出神经响应。例如，神经响应可包括脑电活动。传感器110感测神经响应并提供传感器输出212，例如，EEG信号。随后助听器100的处理单元104对传感器输出212进行预处理以获得处理后的传感器输出212。例如，处理单元104可具有配置为执行特征检测、滤波、缩放、放大、平均、求和、上采样、下采样或其任意组合的预处理单元。
在一些实施例中，听力设备100可包括多个传感器110，每个传感器配置为提供EEG信号。助听器100的处理单元104可检查EEG数据，并且可以可选地舍弃由于电极或记录质量问题而导致噪声过大的通道中的数据，例如通过将它们设置为0。另外，处理单元104可以可选地舍弃例如在某个段的持续时间内例如超过中位数的一定数量的标准偏差的任何样本，例如，1、2、3、4，例如通过将它们设置为0。
在一些实施例中，音频信号210可上采样或下采样。附加地或替代地，在一些实施例中，传感器输出212可上采样或下采样。
如图2所示，助听器100还包括用于处理麦克风信号210的第一信号调节器180和用于处理传感器输出212的第二信号调节器190。第一信号调节器180配置为以某种方式调节麦克风信号210，使得调节后的麦克风信号210可与传感器输出212或调节后的传感器输出212相关联。类似地，第二信号调节器190配置为以某种方式调节传感器输出212，使得其可与麦克风信号210(或调节后的音频信号210)相关联。在一些实施例中，第一信号调节器180可配置为基于声音信号如何在脑信号中表示来调节麦克风信号210，因此第一信号调节器180 可认为是“编码器”的形式。此外，在一些实施例中，第二信号调节器190可配置为基于传感器输出212如何解译来调节传感器输出212，因此第二信号调节器182可认为是“编码器”的形式。第一和第二信号调节器180、190可配置为去除数据，例如离群值、组合数据、缩放数据、创建数据包络等、或者前述的任意组合。例如，根据下面解释的等式1，第一信号调节器180可及时组合声音包络估计(例如，对其进行时间滤波)，并且第二信号调节器190可组合空间中的多个神经信号(跨电极)。请注意，声音包络只是语音在这种情况下可使用的众多功能之一。其他可包括在不同频带(频谱图)上的功率包络、语音特征、或预期会驱动神经元反应的任何其他有意义的特征。在其他实施例中，助听器100可不包括第一信号调节器180和/或第二信号调节器190。
在对麦克风信号210和传感器输出212进行预处理之后，处理单元104基于获得的处理后的麦克风信号210和处理后的传感器输出212 执行关联，以获得相关性结果230。在一些实施例中，处理单元104 可配置为确定(例如，计算)处理后的麦克风信号210与处理后的传感器输出212之间的相关性。另一方面，如果相关性高，则认为语音是可理解的；另一方面，如果相关性低，则认为语音是难以理解的。因此，本文描述的助听器100的优点在于它可在用户暴露于自然环境中的声音的同时，在正常、日常使用助听器100的过程中测量指示语音可懂度的神经活动。其优点在于不需要生成与EEG信号相关联的人工探测声音。这种人工声音可能会干扰和分散用户的注意力。在一些实施例中，传感器110感测EEG活动，并响应于感测到的EEG活动提供EEG信号。EEG信号用作神经标记，以使得助听器100估计用户理解语音的能力(估计语音可懂度)。EEG信号是被动获得的，不需要用户主动有意识地提供用户反馈。相反，EEG信号代表用户对语音的认知反应。
在一些实施例中，处理单元104可配置为通过确定皮尔逊相关值来确定传感器输出212与麦克风信号210之间的相关性。在一些实施例中，如果存在用于提供多个传感器输出212的多个传感器110，则处理单元104可确定各个传感器输出212的多个相关值，然后可确定这些传感器输出212的总和的平均值。
在一些实施例中，处理单元104基于获得的处理后的麦克风信号 210和处理后的传感器输出212进行相关联，以获得刺激-响应相关性(SRC)作为相关性结果230。处理单元104可使用SRC来调节助听器100的声音处理参数。在一些实施例中，可将SRC视为语音可懂度的示例。在其他实施例中，处理单元104可使用SRC来确定表示所估计的语音可懂度的语音可懂度参数。在这种情况下，处理单元104可使用语音可懂度参数来调节助听器100的声音处理参数。此外，在一些实施例中，语音可懂度参数本身可认为是语音可懂度的示例(相关性结果230)。
处理单元104可采用各种技术来确定SRC。在一种方法中，处理单元104配置为将语音的振幅包络s(t)与每个EEG信道ri(t)中的响应相关联。这将大脑反应建模为语音振幅的线性“编码”。可替代地，处理单元104可线性过滤EEG反应并将其跨电极组合。然后，该刺激的“解码”模型与语音的振幅包络相关联。在两种情况下，模型性能均通过刺激s(t)(解码)或响应ri(t)(编码)的相关性来衡量。在进一步的实施例中，处理单元104可配置为使用混合编码和解码方法，即，通过建立最大化编码的刺激u^(t)(例如，处理后的麦克风信号210)和解码的响应v^(t)(例如，处理后的传感器输出212)之间的相关性的模型。这两个信号可定义为：
Figure BDA0002341264430000101
其中，在这种情况下，s(t)表示时间t处的声音振幅包络，h(t)是应用于激励信号(例如，麦克风信号210)的编码滤波器，*表示卷积， wi是应用于神经响应(例如，传感器输出212)的权重，并且ri(t)是电极i在时间t的神经响应。在一些实施例中，处理单元104配置为使用典型相关性分析(CCA)来建立使编码刺激和解码响应之间的相关性最大化的模型。CCA计算几个分量(它们是多个信号的线性组合)，每个分量捕获相关信号的一部分。例如，对于第一信号调节器180，分量可捕获声音特征(包络)的时间采样的组合。对于第二信号调节器 190，分量可捕获多个神经传感器信号的线性组合。刺激-响应相关性 (SRC)可计算为不同分量的u^(t)和v^(t)的相关性之和。在一种实现方式中，处理单元104将CCA应用于两种矩阵，一种用于刺激特征(声音幅度)，另一种用于脑反应(EEG诱发反应)。CCA可提供在两个数据矩阵之间的时间相关的多个维度(分量)。
应当注意，确定SRC的方式不限于所描述的示例，并且处理单元 104可使用其他技术来确定SRC。例如，在其他实施例中，处理单元 104可使用最小二乘算法通过线性回归神经响应和从麦克风信号中提取的声音特征来确定SRC。此外，SRC不应局限于上述示例，在其他实施例中，SRC可以是基于麦克风信号210和传感器输出212获得的任何相关性结果。此外，在一些实施例中，可将SRC视为语音可懂度估计器112输出的语音可懂度示例。
如图3所示，在一些实施例中，处理单元104的调节器114可执行验配过程，以基于语音可懂度估计器112提供的输出来调节助听器 100的一个或多个声音处理参数。语音可懂度估计器112的输出可以是 SRC、相关性值、语音可懂度参数或前述任意组合。如图示的实施例中所示，处理单元104可调节用于助听器100的波束形成器的波束形成参数(例如，通过选择“全向”设置、“固定”设置、“双侧”设置、设置波束宽度等)、用于助听器100的降噪模块的增益减少或增加的量、用于助听器100的声音增强(例如，听力损失补偿)的增益参数、压缩器的一个或多个压缩器的时间常数(例如，将一个或多个时间常数设置为快、慢或所需值)、设置用于压缩器的一个或多个拐点、或前述的任意组合。
在一些实施例中，处理单元104可包括评估器，该评估器配置为确定SRC是否低于某个特定阈值，该特定阈值指示用户正在对语音信号失去注意力或者用户不打算注意语音信号。如果确定SRC低于阈值，则处理单元104将针对助听器100的压缩器、波束形成器或降噪模块调节一个或多个声音处理参数。
在一些实施例中，处理单元104可针对相应的压缩器、波束形成器和降噪模块调节多个声音处理参数，以为助听器100提供集体优化的设置。在一个实施方式中，可将SRC用作成本函数，基于该函数，处理单元104执行优化以确定压缩器、波束形成器、降噪模块或前述任意组合的声音处理参数。
在一些实施例中，声音处理参数的调节可基于所估计的语音可懂度和由助听器100的分类器确定的声音分类。特别地，助听器100可包括声音分类器400(例如，语音检测器或环境分类器)，配置为基于由麦克风102接收并记录在助听器100中的声音来确定声音分类(例如，语音检测或环境分类)(图4)。例如，声音分类器可确定助听器 100的用户处于餐馆、图书馆、飞机等内。在这种情况下，处理单元 104可利用这种信息来约束参数空间以进行优化，以便确定对设置进行更好的验配。例如，当声音分类指示助听器100的用户位于饭店时，随后处理单元104的调节器114可致力于相应地调节波束形成参数。另外，在一些实施例中，当语音检测器检测语音时，刺激-响应相关性估计230可限于在记录的麦克风信号中存在语音时的时间。处理单元 104可使用该信息来将长期处理参数的更新限制为仅在语音存在期间获得的语音可懂度的估计。
在本文描述的一个或多个实施例中，处理单元104可配置为迭代地估计语音可懂度并且调节声音处理参数直到获得期望的结果。例如，期望的结果可以是SRC达到一定的规定水平(例如，最大可能水平)。在这种情况下，当处理单元104检测到SRC低于阈值(指示低语音可懂度)时，处理单元104随后调节助听器100的一个或多个声音处理参数。处理单元104继续确定SRC并确定SRC是否增加回到期望水平。如果否，则处理单元104随后再次调节助听器100的一个或多个声音处理参数，以试图使SRC达到期望水平。处理单元104重复以上操作，直到SRC达到期望水平(例如，最高可能水平)。上述技术的优点在于它不需要用户确认对一个或多个声音处理参数进行的调节是否可接受。相反，可推断SRC的增加表示用户可接受声音处理参数的调节。
在其他实施例中，助听器100可以可选地包括使得用户确认调节是否可接受的用户界面(例如，按钮)。例如，每当助听器100自动调节声音处理参数时，处理单元104就可操作扬声器106以生成音频信号，以通知用户已经进行了调节。然后，用户可具有有限的时间(例如3秒)来按下按钮，以指示该调节是不可接受的。如果用户在该时限内没有按下按钮，则处理单元104可假定调节是可接受的。另一方面，如果用户在时限内按下按钮以表示异议，则处理单元104可返回到助听器100的先前的声音处理参数。
在一些实施例中，如果听力设备100包含此类组件，则处理单元 104(例如，图2所示的调谐器192)可使用估计的语音可懂度来调节 (例如，调谐)第一信号调节器180(编码器)和/或第二信号调节器 190(解码器)。这使得处理单元104获得更好的相关性结果。在一种技术中，处理单元104可配置为执行相关分量分析以执行调谐。
如以上实施例中所示，基于语音可懂度来调节助听器100的参数是有利的，因为它是由助听器100自动且“被动地”执行的，而不需要助听器100的用户主动提供用户反馈。助听器本质上是完全自适应的，不需要(或非常有限)用户或听力专家干预。这与要求用户主动提供输入以指示语音可懂度水平的方法相反，该方法麻烦且给用户带来不便。本文描述的方法也比仅使用对纯音的阈值敏感度基于听力图调节助听器参数的解决方案更好，后者可能会或可能不会预测日常生活中的语音可懂度。此外，本文描述的技术不需要像通常估计听觉阈值那样向用户呈现人工音调或声音，包括使用EEG检测对那些合成音调的响应的现有解决方案。相反，通过将神经响应与自然感知的声音相关联，可在日常生活过程中连续且毫不干扰地估计用户大脑对声音有何反应。此外，因为声音处理参数的调节是基于涉及长期听觉经验的优化技术，所以它克服了短期噪声EEG信号的局限性。因此，本文所述的实施例将是对当前助听器(包括现有的自适应助听器)的重大改进。本文所述的实施例对于场外交易(OTC)市场也将具有很高的价值，因为它将允许进行验配而无需用户进行主动输入，也无需分配器或听力学家。
图5示出了由助听器执行的方法500。助听器可以是例如图1的助听器。助听器可具有麦克风，配置为提供与声音刺激相对应的麦克风信号；处理单元，配置为至少基于麦克风信号提供经处理的信号，扬声器，配置为基于经处理的信号提供声音信号；以及传感器。如图5 所示，方法500包括：通过传感器获得神经响应(步骤501)；基于神经响应通过传感器提供传感器输出(步骤502)；获取基于麦克风检测到的声音生成的麦克风信号(步骤503)；通过处理单元处理传感器输出和麦克风信号以估计语音可懂度(步骤504)；以及至少基于所估计的语音可懂度来调节助听器的声音处理参数(步骤506)。神经响应可包括30秒或更长时间的数据，以供处理单元处理以估计语音可懂度。可替代地，神经响应可包括少于30秒的数据。此外，在一些实施例中，声音处理参数可包括助听器的长期处理参数。在一些实施例中，步骤 504可由语音可懂度估计器112执行，其提供相关性结果230作为语音可懂度的示例。
尽管以上实施例描述为助听器100基于所估计的语音可懂度来调节其自身，但是在其他实施例中，基于所估计的语音可懂度，用于助听器的声音处理参数的调节可以可替代地由与助听器100通信的验配设备来执行。例如，在一个实施方式中，在验配期间，在最初由验配设备根据听力图设置助听器之后，验配者可操作第一扬声器为助听器 100的用户呈现语音，而第二扬声器则提示噪音。然后，当用户佩戴的传感器测量神经活动时，可要求用户尝试听语音信号。在某些情况下，传感器可能是EEG传感器。传感器可置于耳机中以放置在用户的耳道中。可替代地，传感器可置于佩戴在用户的耳朵周围和耳道外部的装置中。在其他情况下，传感器可置于用户佩戴的帽子或头戴设备上。根据本文描述的技术的实施例，验配设备的处理单元基于传感器的输出信号来估计语音可懂度。基于所估计的语音可懂度，验配设备可调节助听器100的一个或多个声音处理参数。例如，验配设备可调节声音增强模块的一个或多个参数，助听器100的波束形成器的一个或多个参数、助听器100的降噪模块的一个或多个参数、助听器100的压缩器的一个或多个参数或前述任意组合，如参照图3的实施例类似地讨论的。
在其他实施例中，处理单元104的一个或多个特征可在移动设备，例如手机、iPad、平板电脑、膝上型计算机等上实现。例如，在一些实施例中，可将传感器的传感器输出以及助听器100的麦克风信号发送到移动设备，然后移动设备根据传感器的输出和麦克风信号估计语音可懂度，如上所述。移动设备还可配置为确定用于助听器100的一个或多个声音处理参数的一个或多个调整。移动设备可将信号发送到助听器100以在助听器100上实现这种调节。
应当注意，术语“处理单元”可以指代软件、硬件或两者的组合。在一些实施例中，处理单元104可包括一个或多个处理器和/或一个或多个集成电路，配置为实现本文所述的处理单元104的组件(例如，语音可懂度估计器112、调节器114、声音增强模块)。
此外，应注意的是，本说明书中使用的术语“麦克风信号”可以指代麦克风直接输出的信号，或者可以指代已经由一个或多个组件(例如，助听器)处理过的麦克风信号。类似地，在本说明书中使用的术语“传感器输出”可以指代由传感器直接输出的信号，或者可以指代已经由一个或多个组件(例如，助听器)处理过的传感器输出。
另外，术语“麦克风信号”可以指代由麦克风输出或由麦克风输出并由组件处理的一个或多个信号。类似地，术语“传感器输出”可以指代由传感器输出或由传感器输出并由组件处理的一个或多个信号。
此外，在本说明书中使用的术语“语音可懂度”可以指代表示或与助听器用户的语音可懂度、语音理解、语音解读、单词识别或单词检测或与之相关的任何数据、参数和/或功能。
尽管已经示出和描述了特定的实施例，但是应当理解，它们并不旨在限制要求保护的发明，并且对于本领域技术人员而言显而易见的是，在不脱离本发明的精神和范围的情况下，可以进行各种改变和修改。因此，说明书和附图应被认为是说明性的而不是限制性的。要求保护的发明旨在覆盖替代方案、修改和等同物。

Claims (15)

1.一种助听器，包括：
麦克风，配置为提供与所述助听器的用户自然接收的声音刺激相对应的麦克风信号；
处理单元，耦合至所述麦克风，所述处理单元配置为至少基于所述麦克风信号提供经处理的信号；
扬声器，耦合至所述处理单元，所述扬声器配置为基于所述经处理的信号提供声音信号；以及
传感器，配置为测量所述用户对所述声音刺激的神经响应，并提供传感器输出；
其中，所述处理单元配置为基于所述麦克风信号检测语音的存在，并处理所述传感器输出和所述麦克风信号，以估计语音可懂度；以及
其中，所述处理单元还配置为至少基于所估计的语音可懂度来调节所述助听器的声音处理参数。
2.根据权利要求1所述的助听器，其特征在于，所述神经响应包括脑电活动。
3.根据前述权利要求中任一项所述的助听器，其特征在于，所述处理单元配置为基于所述声音刺激与所述神经响应之间的刺激-响应相关性的强度，来估计所述语音可懂度，所述声音刺激包含语音。
4.根据权利要求3所述的助听器，其特征在于，所述刺激-响应相关性包括所述声音刺激的特征与所述神经响应的特征的时间相关性。
5.根据权利要求4所述的助听器，其特征在于，所述声音刺激的特征包括基于所述麦克风的输出，记录在所述助听器中的声音的振幅包络。
6.根据权利要求4所述的助听器，其特征在于，所述神经响应的特征包括脑电图诱发反应。
7.根据权利要求3至权利要求6中的任一项所述的助听器，其特征在于，所述处理单元配置为使用多元回归技术来确定所述刺激-响应相关性。
8.根据前述权利要求中任一项所述的助听器，其特征在于，所述声音处理参数包括所述助听器的长期处理参数。
9.根据前述权利要求中任一项所述的助听器，其特征在于，所述处理单元配置为执行强化学习以提高所估计的语音可懂度。
10.根据权利要求1所述的助听器，其特征在于，所述处理单元配置为执行典型相关性分析，以将所述神经响应与所述声音刺激相关联。
11.根据前述权利要求中任一项所述的助听器，其特征在于，所述处理单元配置为执行典型相关性分析，以建立使所述神经响应和所述声音刺激之间的相关性最大化的模型。
12.根据前述权利要求中任一项所述的助听器，其特征在于，所述传感器输出包括至少30秒的数据。
13.根据前述权利要求中任一项所述的助听器，还包括存储器，所述传感器输出和所述麦克风信号同时记录在所述助听器的所述存储器中。
14.根据前述权利要求中任一项所述的助听器，还包括存储器，其中，基于将所述传感器输出与所述麦克风信号暂时关联的数据结构，将所述传感器输出和所述麦克风信号存储在所述存储器中。
15.一种由助听器执行的方法，所述助听器具有：麦克风，配置为提供与所述助听器的用户自然接收的声音刺激相对应的麦克风信号；处理单元，配置为至少基于所述麦克风信号提供经处理的信号；扬声器，配置为基于所述经处理的信号提供声音信号；以及传感器，所述方法包括：
通过所述传感器获得对所述声音刺激的神经响应；
基于所述神经响应提供传感器输出；
通过所述处理单元处理所述传感器输出和所述麦克风信号，以估计语音可懂度；以及
至少基于所估计的语音可懂度，调节所述助听器的声音处理参数。
CN201911377112.8A 2018-12-29 2019-12-27 基于脑电图（eeg）信号的具有自我调节能力的助听器 Active CN111432317B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US16/236,373 2018-12-29
US16/236,373 US11228849B2 (en) 2018-12-29 2018-12-29 Hearing aids with self-adjustment capability based on electro-encephalogram (EEG) signals
EP19167727 2019-04-08
EP19167727.7 2019-04-08

Publications (2)

Publication Number Publication Date
CN111432317A true CN111432317A (zh) 2020-07-17
CN111432317B CN111432317B (zh) 2024-04-26

Family

ID=68841038

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911377112.8A Active CN111432317B (zh) 2018-12-29 2019-12-27 基于脑电图（eeg）信号的具有自我调节能力的助听器

Country Status (4)

Country Link
EP (1) EP3675525B1 (zh)
JP (1) JP2020109961A (zh)
CN (1) CN111432317B (zh)
DK (1) DK3675525T3 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024016608A1 (zh) * 2022-07-21 2024-01-25 香港中文大学（深圳） 类脑助听方法、装置、助听设备、计算机设备和存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230320669A1 (en) * 2022-04-06 2023-10-12 Meta Platforms Technologies, Llc Real-time in-ear electroencephalography signal verification

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110150253A1 (en) * 2009-12-22 2011-06-23 Siemens Medical Instruments Pte. Ltd. Method and device for setting a hearing device by detecting listening effort
CN102265335A (zh) * 2009-07-03 2011-11-30 松下电器产业株式会社 助听器的调整装置、方法以及程序
CN102474696A (zh) * 2009-07-13 2012-05-23 唯听助听器公司 适于检测脑电波的助听器和用于调适这类助听器的方法
US20140148724A1 (en) * 2011-08-03 2014-05-29 Widex A/S Hearing aid with self fitting capabilities
CN107147981A (zh) * 2016-03-01 2017-09-08 奥迪康有限公司 单耳侵入语音可懂度预测单元、助听器及双耳助听器系统
KR101845342B1 (ko) * 2016-11-10 2018-04-04 (주)로임시스템 지능형 오디오 밴드 조절 보청기 피팅 방법
WO2018154143A1 (en) * 2017-02-27 2018-08-30 Tympres Bvba Measurement-based adjusting of a device such as a hearing aid or a cochlear implant

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9700261B2 (en) * 2014-09-22 2017-07-11 Oticon A/S Hearing assistance system comprising electrodes for picking up brain wave signals

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102265335A (zh) * 2009-07-03 2011-11-30 松下电器产业株式会社 助听器的调整装置、方法以及程序
CN102474696A (zh) * 2009-07-13 2012-05-23 唯听助听器公司 适于检测脑电波的助听器和用于调适这类助听器的方法
US20110150253A1 (en) * 2009-12-22 2011-06-23 Siemens Medical Instruments Pte. Ltd. Method and device for setting a hearing device by detecting listening effort
US20140148724A1 (en) * 2011-08-03 2014-05-29 Widex A/S Hearing aid with self fitting capabilities
CN107147981A (zh) * 2016-03-01 2017-09-08 奥迪康有限公司 单耳侵入语音可懂度预测单元、助听器及双耳助听器系统
KR101845342B1 (ko) * 2016-11-10 2018-04-04 (주)로임시스템 지능형 오디오 밴드 조절 보청기 피팅 방법
WO2018154143A1 (en) * 2017-02-27 2018-08-30 Tympres Bvba Measurement-based adjusting of a device such as a hearing aid or a cochlear implant

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024016608A1 (zh) * 2022-07-21 2024-01-25 香港中文大学（深圳） 类脑助听方法、装置、助听设备、计算机设备和存储介质

Also Published As

Publication number Publication date
EP3675525B1 (en) 2023-05-24
DK3675525T3 (da) 2023-08-14
JP2020109961A (ja) 2020-07-16
EP3675525A1 (en) 2020-07-01
CN111432317B (zh) 2024-04-26

Similar Documents

Publication Publication Date Title
US11363390B2 (en) Perceptually guided speech enhancement using deep neural networks
US9232904B2 (en) Electroencephalogram recording apparatus, hearing aid, electroencephalogram recording method, and program thereof
CN110062318B (zh) 助听器系统
US11564048B2 (en) Signal processing in a hearing device
CN107046668B (zh) 单耳语音可懂度预测单元、助听器及双耳听力系统
US11871187B2 (en) Method for configuring a hearing-assistance device with a hearing profile
US11510018B2 (en) Hearing system containing a hearing instrument and a method for operating the hearing instrument
US11388528B2 (en) Method for operating a hearing instrument and hearing system containing a hearing instrument
CN113891225A (zh) 听力装置的算法参数的个人化
US11895467B2 (en) Apparatus and method for estimation of eardrum sound pressure based on secondary path measurement
CN111432317B (zh) 基于脑电图（eeg）信号的具有自我调节能力的助听器
CN110602620A (zh) 包括自适应声源频率降低的听力装置
CN114830691A (zh) 包括压力评估器的听力设备
EP3879853A1 (en) Adjusting a hearing device based on a stress level of a user
US11228849B2 (en) Hearing aids with self-adjustment capability based on electro-encephalogram (EEG) signals
DK2688067T3 (en) SYSTEM FOR LEARNING AND IMPROVING NOISE REDUCTION IN HEARING DEVICES
US10537268B2 (en) Automated assessment and adjustment of tinnitus-masker impact on speech intelligibility during use
CN114830692A (zh) 包括计算机程序、听力设备和压力评估设备的系统
EP4090241B1 (en) A method of estimating a hearing loss, a hearing loss estimation system and a computer readable medium
US20230047868A1 (en) Hearing system including a hearing instrument and method for operating the hearing instrument

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant