CN105872923B - 包括双耳语音可懂度预测器的听力系统 - Google Patents

包括双耳语音可懂度预测器的听力系统 Download PDF

Info

Publication number
CN105872923B
CN105872923B CN201610084850.3A CN201610084850A CN105872923B CN 105872923 B CN105872923 B CN 105872923B CN 201610084850 A CN201610084850 A CN 201610084850A CN 105872923 B CN105872923 B CN 105872923B
Authority
CN
China
Prior art keywords
binaural
hearing
signal
speech intelligibility
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610084850.3A
Other languages
English (en)
Other versions
CN105872923A (zh
Inventor
J·延森
A·H·安德森
J·M·德哈恩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Oticon AS
Original Assignee
Oticon AS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Oticon AS filed Critical Oticon AS
Publication of CN105872923A publication Critical patent/CN105872923A/zh
Application granted granted Critical
Publication of CN105872923B publication Critical patent/CN105872923B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/40—Arrangements for obtaining a desired directivity characteristic
    • H04R25/407—Circuits for combining signals of a plurality of transducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/55—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception using an external connection, either wireless or wired
    • H04R25/552—Binaural
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/50—Customised settings for obtaining desired overall acoustical characteristics
    • H04R25/505—Customised settings for obtaining desired overall acoustical characteristics using digital signal processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2225/00—Details of deaf aids covered by H04R25/00, not provided for in any of its subgroups
    • H04R2225/43—Signal processing in hearing aids to enhance the speech intelligibility
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2225/00—Details of deaf aids covered by H04R25/00, not provided for in any of its subgroups
    • H04R2225/55—Communication between hearing aids and external devices via a network for data exchange

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Neurosurgery (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Stereophonic System (AREA)

Abstract

本申请公开了包括双耳语音可懂度预测器的听力系统，该听力系统包括左和右听力装置，每一听力装置包括：a)多个输入单元IUi，每一输入单元配置成提供表示在第i个输入单元处接收的声音的时变电输入信号；b)用于处理所述电输入信号并提供处理后的信号的可配置信号处理单元；c)输出单元，用于基于来自信号处理单元的处理后的信号产生配置成可由用户感知为声音的输出刺激；d)收发器电路；e)双耳语音可懂度预测单元，用于在用户暴露于输出刺激时，基于来自相应的左和右听力装置的信号处理单元的处理后的信号提供预测的语音可懂度的双耳SI估量；其中可配置信号处理单元适于基于双耳SI估量控制相应电输入信号的处理。

Description

包括双耳语音可懂度预测器的听力系统
技术领域
本申请涉及包括处于双耳运行模式的听力装置的听力系统，尤其涉及语音可懂度。本发明具体涉及包括左和右听力装置的双耳听力系统，每一听力装置包括使能在左和右听力装置之间建立通信链路并交换信息的收发器电路。
本申请还涉及提供双耳语音可懂度预测器的方法。
本申请还涉及包括处理器和程序代码的数据处理系统，程序代码使得处理器执行本发明方法的至少部分步骤。
本发明的实施例如可用在如双耳听力系统的应用中。
背景技术
任何助听器(HA)的基本目标均是提高对话情形下的语音可懂度(SI)。当对话在安静环境中进行时，目前的HA能较大程度地成功实现该目标。然而，在复杂声学情形下，如具有干扰噪声源和/或回响的情形下，现有HA仍不能足够地提高SI。
现有的HA趋于处理传声器信号以使假设或已知与可懂度相关联的其它数量最大化，而不是试图直接优化SI。例如，HA降噪系统趋于使信噪比(SNR)最大化，因为a)这在实践中是可能的；及b)已知增大SNR将增加SI。该方法的缺点在于其为间接/内隐方法：增大SNR趋于增加SI，但不总是有清楚的一对一映射。
发明内容
本发明提出应用更直接/明确的方法，其中SI由HA系统(如两个无线连接的助听器或者无线连接到一个或多个外部装置的两个助听器)中的语音可懂度模型在线估计，及其中HA系统中采用的信号处理可适于使该SI估计量最大化。
所提出的想法要求到达HA用户的耳鼓的两个声信号(即左和右HA的输出)可一起处理以产生特定HA用户在给定时刻体验的SI的估计量。随着无线技术最近的发展，该要求可被满足，因为这些信号之一如右HA的输出信号可无线传给左HA，其中可产生SI估计量。
本申请的目标在于在双耳听力系统中提供提高的语音可懂度。
本申请的目标由所附权利要求限定的及下面描述的发明实现。
双耳听力系统
在本申请的一方面，本申请的目标由包括左和右听力装置的双耳听力系统实现，左和右听力装置适于位于用户的左和右耳之处或之中或者适于完全或部分植入在用户头部中，左和右听力装置中的每一个包括：
a)多个输入单元IUi，i＝1,…,M，M大于或等于2，每一输入单元配置成提供表示在第i个输入单元处接收的声音的时变电输入信号xi(t)，t表示时间，电输入信号xi(t)包括目标信号分量si(t)和噪声信号分量vi(t)，目标信号分量源自目标信号源；
b)用于处理电输入信号并提供处理后的信号y(t)的可配置信号处理单元；
c)输出单元，用于基于来自信号处理单元的处理后的信号产生配置成可由用户感知为声音的输出刺激；
d)收发器电路，用于使能在左和右听力装置之间建立通信链路并在其间交换信息，其中双耳听力系统还包括：
e)双耳语音可懂度预测单元，用于在用户暴露于输出刺激时，基于来自相应的左和右听力装置的信号处理单元的处理后的信号yl(t),yr(t)提供预测的语音可懂度的双耳SI估量；
其中左和右听力装置的可配置信号处理单元适于基于双耳SI估量控制相应电输入信号的处理。
该系统的优点在于提供在双耳听力系统中提高语音可懂度的备选方案。
在实施例中，通信链路基于左和右听力装置之间的有线连接建立。在实施例中，左和右听力装置中的每一个包括使通信链路为无线链路的天线和收发器电路。
在实施例中，双耳听力系统配置成提供左和右听力装置的处理后的信号yl(t),yr(t)和/或一个或多个电输入信号xi,l(t),xi,r(t),i＝1,2,…,M在多个频带和多个时刻的时频表示Yl(k,m),Yr(k,m),Xi,l(k,m),Xi,r(k,m)，k为频带指数，m为时间指数。
在实施例中，可懂度预测单元位于左和右听力装置的第一听力装置中。
在实施例中，双耳听力系统包括辅助装置，可懂度预测单元位于辅助装置中，左和右听力装置及辅助装置中的每一个包括相应的天线和收发器电路，用于使能在辅助装置及左和右听力装置之间建立通信链路和交换信息。
在实施例中，双耳语音可懂度预测单元包括听力损失模型单元，用于对用户的听力损失建模以分别基于处理后的信号yl(t)和yr(t)提供HL修正的信号y’l(t)和y’r(t)。
通过将已遭受信号处理(如为了补偿用户的听力损失)的双耳语音信号(如图2-4中的信号yl,yr)输入给听力损失模型，双耳语音可懂度预测单元可提供语音信号针对受助听力受损人员的可懂度估量。这样的方案因此可用于在线优化听力装置(如助听器)中的信号处理。
在实施例中，听力损失模型单元配置成向相应的左和右听力装置的处理后的信号yl(t),yr(t)增加不相关的噪声以提供HL修正的信号y’l(t)和y’r(t)，不相关的噪声根据用户的随频率而变的听力损失进行谱成形。在本说明书中，术语“不相关的噪声”意指与目标信号(实质上)不相关的噪声。给定耳朵的随频率而变的听力损失例如可基于用户该耳朵的听力图。
在实施例中，双耳语音可懂度预测单元包括协方差估计单元，配置成对所涉及信号的每一频带分别提供耳间目标和噪声协方差矩阵Cs(k,m)和Cv(k,m)的估计量。在实施例中，耳间目标和噪声协方差矩阵Cs(k,m)和Cv(k,m)通过最大似然方法确定，例如基于目标信号源的方向(例如通过视向量d(k,m)确定)已知的假设。
在实施例中，双耳语音可懂度预测单元包括波束形成单元(例如参见图4中的BFWGT单元)，用于分别提供每一频带和时刻的、通常包括复值波束形成器权重wl(k,m)和wr(k,m)的SNR最佳波束形成器的估计量。
在实施例中，双耳语音可懂度预测单元包括扰动单元，用于将抖动应用于SNR最佳波束形成器权重wl(k,m)和wr(k,m)以提供相应的抖动的波束形成器权重
Figure BDA0000923923930000041
和
Figure BDA0000923923930000042
在实施例中，抖动的波束形成器权重例如通过将随机增益误差和延迟误差引入SNR最佳波束形成器权重而产生。
在实施例中，双耳语音可懂度预测单元包括波束形成器滤波器(例如参见图4中的(应用)BF模块)，其中左和右听力装置的处理后的信号yl(t)和yr(t)分别使用相应的SNR最佳波束形成器权重wl(k,m)和wr(k,m)或者相应的抖动的波束形成器权重
Figure BDA0000923923930000043
和
Figure BDA0000923923930000044
进行滤波以提供计算为时间和频率的函数的、估计的信噪比snr(k,m)。
在实施例中，双耳语音可懂度预测单元包括用于基于估计的随时间频率而变的信噪比snr(k,m)提供合成SI估量的语音可懂度预测单元。
在实施例中，合成SI估量还基于耳间目标和噪声协方差矩阵Cs(k,m)和Cv(k,m)的估计量。
在实施例中，双耳语音可懂度预测单元包括处理控制单元，用于基于双耳或合成SI估量提供相应的处理控制信号以控制左和右听力装置的可配置信号处理单元中的相应电输入信号的处理。
在实施例中，双耳语音可懂度预测单元配置成基于左和右听力装置的处理后的信号yl(t)和yr(t)及左和右听力装置的一个或多个电输入信号xi,l(t),xi,r(t),i＝1,2,…,M和/或关于当前应用于左和右听力装置的信号处理单元的电输入信号的处理的信息提供双耳或SI估量。
在实施例中，关于当前应用于左和右听力装置的信号处理单元的电输入信号的处理的信息包括关于下述方面的一个或多个信息：a)波束形成器的作为频率的函数的滤波器权重；b)由单通道降噪滤波器施加的作为频率的函数的增益/抑制；c)由放大/动态范围压缩系统施加的作为频率的函数的增益。
在实施例中，该听力系统包括辅助装置。
在实施例中，该系统适于在听力装置和辅助装置之间建立通信链路以使信息(如控制和状态信号，可能音频信号)能在其间进行交换或从一装置转发给另一装置。
在实施例中，辅助装置是或包括音频网关设备，其适于(如从娱乐装置例如TV或音乐播放器，从电话装置例如移动电话，或从计算机例如PC)接收多个音频信号，及适于选择和/或组合所接收音频信号(或信号组合)中的适当信号以传给至少一听力装置。在实施例中，辅助装置是或包括遥控器，用于控制听力装置的功能和运行。在实施例中，遥控器的功能实施在智能电话中，该智能电话可能运行使能经智能电话控制音频处理装置的功能的APP(听力装置包括适当的到智能电话的无线接口，例如基于蓝牙或一些其它标准化或专有方案)。
在实施例中，听力装置适于提供随频率而变的增益和/或随电平而变的压缩和/或一个或多个频率范围到一个或多个其它频率范围的移频(具有或没有频率压缩)以补偿用户的听力受损。在实施例中，听力装置包括用于增强输入信号并提供处理后的输出信号的信号处理单元。
听力装置包括用于基于处理后的电信号提供由用户感知为声信号的刺激的输出单元。在实施例中，输出单元包括多个耳蜗植入电极。在实施例中，输出单元包括输出变换器。在实施例中，输出变换器包括用于将刺激作为声信号提供给用户的接收器(扬声器)。在实施例中，输出变换器包括用于将刺激作为颅骨的机械振动提供给用户的振动器(例如在附着到骨头的或骨锚式听力装置中)。
在实施例中，听力装置包括用于从另一装置如通信装置或另一听力装置接收直接电输入信号的天线和收发器电路。在实施例中，听力装置包括(可能标准化的)电接口(例如连接器的形式)，用于从另一装置如通信装置或另一听力装置接收有线直接电输入信号。在实施例中，直接电输入信号表示或包括音频信号和/或控制信号和/或信息信号。在实施例中，听力装置包括用于对所接收的直接电输入进行解调的解调电路，以提供表示音频信号和/或控制信号的直接电输入信号，例如用于设置听力装置的运行参数(如音量)和/或处理参数。总的来说，听力装置的发射器和天线及收发器电路建立的无线链路可以是任何类型。在实施例中，无线链路在功率约束条件下使用，例如由于听力装置是或包括便携式(通常电池驱动的)装置。在实施例中，无线链路为基于近场通信的链路，例如基于发射器部分和接收器部分的天线线圈之间的感应耦合的感应链路。在另一实施例中，无线链路基于远场电磁辐射。在实施例中，经无线链路的通信根据特定调制方案进行安排，例如模拟调制方案，如FM(调频)或AM(调幅)或PM(调相)，或数字调制方案，如ASK(幅移键控)如开-关键控、FSK(频移键控)、PSK(相移键控)或QAM(正交调幅)。
在实施例中，听力装置和另一装置之间的通信处于基带(音频频率范围，如在0和20kHz之间)。优选地，听力装置和另一装置之间的通信基于高于100kHz的频率下的某类调制。优选地，用于在听力装置和另一装置之间建立通信链路的频率低于50GHz，例如位于从50MHz到50GHz的范围中，例如高于300MHz，例如在高于300MHz的ISM范围中，例如在900MHz范围中或在2.4GHz范围中或在5.8GHz范围中或在60GHz范围中(ISM＝工业、科学和医学，这样的标准化范围例如由国际电信联盟ITU定义)。在实施例中，无线链路基于标准化或专用技术。在实施例中，无线链路基于蓝牙技术(如蓝牙低功率技术)。
在实施例中，听力装置具有0.08m级的最大外尺寸(如头戴式耳机)。在实施例中，听力装置具有0.04m级的最大外尺寸(如听力仪器)。
在实施例中，听力装置为便携装置，如包括本机能源如电池例如可再充电电池的装置。
在实施例中，听力装置包括输入变换器(传声器系统和/或直接电输入(如无线接收器))和输出变换器之间的正向或信号通路。在实施例中，信号处理单元位于该正向通路中。在实施例中，信号处理单元适于根据用户的特定需要提供随频率而变的增益。在实施例中，听力装置包括具有用于分析输入信号(如确定电平、调制、信号类型、声反馈估计量等)的功能件的分析通路。在实施例中，分析通路和/或信号通路的部分或所有信号处理在频域进行。在实施例中，分析通路和/或信号通路的部分或所有信号处理在时域进行。
在实施例中，听力装置包括模数(AD)转换器以按预定采样速率如20kHz使模拟输入数字化。在实施例中，听力装置包括数模(DA)转换器以将数字信号转换为模拟输出信号，例如用于经输出变换器呈现给用户。
在实施例中，听力装置如传声器单元和/或收发器单元包括用于提供输入信号的时频表示的TF转换单元。在实施例中，时频表示包括所涉及信号在特定时间和频率范围的相应复值或实值的阵列或映射。在实施例中，TF转换单元包括用于对(时变)输入信号进行滤波并提供多个(时变)输出信号的滤波器组，每一输出信号包括截然不同的输入信号频率范围。在实施例中，TF转换单元包括用于将时变输入信号转换为频域中的(时变)信号的傅里叶变换单元。在实施例中，听力装置考虑的、从最小频率fmin到最大频率fmax的频率范围包括从20Hz到20kHz的典型人听频范围的一部分，例如从20Hz到12kHz的范围的一部分。在实施例中，听力装置的正向通路和/或分析通路的信号拆分为NI个频带，其中NI例如大于5，如大于10，如大于50，如大于100，如大于500，至少其部分个别进行处理。在实施例中，听力装置适于在NP个不同频道处理正向和/或分析通路的信号(NP≤NI)。频道可以宽度一致或不一致(如宽度随频率增加)、重叠或不重叠。
在实施例中，听力装置包括电平检测器(LD)，用于确定输入信号的电平(例如基于频带级和/或全(宽带)信号)。从用户声环境拾取的电传声器信号的输入电平是声环境的分类参数。在实施例中，电平检测器适于根据多个不同的(如平均)信号电平对用户当前的声环境进行分类，如分类为高电平或低电平环境。
在特定实施例中，听力装置包括话音活动检测器(VAD)，用于确定输入信号(在特定时间点)是否包括话音信号。在本说明书中，话音信号包括来自人类的语音信号。其还可包括由人类语音系统产生的其它形式的发声(如唱歌)。在实施例中，话音活动检测器单元适于将用户当前的声环境分类为“话音”或“无话音”环境。这具有下述优点：包括用户环境中的人发声(如语音)的电传声器信号的时间段可被识别，因而与仅包括其它声源(如人工产生的噪声)的时间段分离。在实施例中，话音活动检测器适于将用户自己的话音也检测为“话音”。作为备选，话音活动检测器适于从“话音”的检测排除用户自己的话音。
在实施例中，听力装置包括自我话音检测器，用于检测特定输入声音(如话音)是否源自系统用户的话音。在实施例中，听力装置的传声器系统适于能够在用户自己的话音及另一人的话音之间进行区分及可能与无话音声音区分。
在实施例中，听力装置还包括用于所涉及应用的其它适宜功能，如压缩、反馈减少等。
在实施例中，听力装置包括听音装置如助听器、听力仪器例如适于位于用户耳朵处或者完全或部分位于耳道中的听力仪器，例如头戴式耳机、耳麦、耳朵保护装置或其组合。
用途
此外，本发明提供上面描述的、“具体实施方式”中详细描述的及权利要求中限定的听力装置的用途。在实施例中，提供在包括一个或多个听力仪器、头戴式耳机、耳麦、有源耳朵保护系统等的系统中的用途，例如免提电话系统、远程会议系统、广播系统、卡拉OK系统、教室放大系统等。
方法
一方面，本申请还提供在包括左和右听力装置的双耳听力系统中提供双耳语音可懂度预测器的方法，左和右听力装置适于位于用户的左和右耳之处或之中或者适于完全或部分植入在用户头部中。该方法包括通过增加根据用户的听力损失谱成形的不相关噪声而对潜在的听力损失建模；
-针对左和右听力装置的输出信号的每一子频带估计耳间目标和噪声协方差矩阵；
-针对左和右听力装置的每一频带估计通常复值波束形成器权重形式的SNR最佳波束形成器；
-通过将抖动应用于针对左和右听力装置的每一频带的波束形成器权重而产生抖动的波束形成器权重；
-将抖动的波束形成器权重应用于左和右听力装置的输出信号从而提供作为时间和频率的函数的表观信噪比；及
-产生用户体验的语音可懂度的最终估计量。
当由对应的过程适当代替时，上面描述的、“具体实施方式”中详细描述的及权利要求中限定的系统的部分或所有结构特征可与本发明方法的实施结合，反之亦然。方法的实施具有与对应系统一样的优点。
计算机可读介质
本发明进一步提供保存包括程序代码的计算机程序的有形计算机可读介质，当计算机程序在数据处理系统上运行时，使得数据处理系统执行上面描述的、“具体实施方式”中详细描述的及权利要求中限定的方法的至少部分(如大部分或所有)步骤。
作为例子但非限制，前述有形计算机可读介质可包括RAM、ROM、EEPROM、CD-ROM或其他光盘存储器、磁盘存储器或其他磁性存储装置，或者可用于执行或保存指令或数据结构形式的所需程序代码并可由计算机访问的任何其他介质。如在此使用的，盘包括压缩磁盘(CD)、激光盘、光盘、数字多用途盘(DVD)、软盘及蓝光盘，其中这些盘通常磁性地复制数据，同时这些盘可用激光光学地复制数据。上述盘的组合也应包括在计算机可读介质的范围内。除保存在有形介质上之外，计算机程序也可经传输介质如有线或无线链路或网络如因特网进行传输并载入数据处理系统从而在不同于有形介质的位置处运行。
数据处理系统
本发明进一步提供数据处理系统，包括处理器和程序代码，程序代码使得处理器执行上面描述的、“具体实施方式”中详细描述的及权利要求中限定的方法的至少部分(如大部分或所有)步骤。
定义
在本说明书中，“听力装置”指适于改善、增强和/或保护用户的听觉能力的装置如听力仪器或有源耳朵保护装置或其它音频处理装置，其通过从用户环境接收声信号、产生对应的音频信号、可能修改该音频信号、及将可能已修改的音频信号作为可听见的信号提供给用户的至少一只耳朵而实现。“听力装置”还指适于以电子方式接收音频信号、可能修改该音频信号、及将可能已修改的音频信号作为听得见的信号提供给用户的至少一只耳朵的装置如头戴式耳机或耳麦。听得见的信号例如可以下述形式提供：辐射到用户外耳内的声信号、作为机械振动通过用户头部的骨结构和/或通过中耳的部分传到用户内耳的声信号、及直接或间接传到用户耳蜗神经的电信号。
听力装置可构造成以任何已知的方式进行佩戴，如作为佩戴在耳后的单元(具有将辐射的声信号导入耳道内的管或者具有安排成靠近耳道或位于耳道中的扬声器)、作为整个或部分安排在耳廓和/或耳道中的单元、作为连到植入在颅骨内的固定结构的单元、或作为整个或部分植入的单元等。听力装置可包括单一单元或几个彼此电子通信的单元。
更一般地，听力装置包括用于从用户环境接收声信号并提供对应的输入音频信号的输入变换器和/或以电子方式(即有线或无线)接收输入音频信号的接收器、用于处理输入音频信号的信号处理电路、及用于根据处理后的音频信号将听得见的信号提供给用户的输出装置。在一些听力装置中，放大器可构成信号处理电路。在一些听力装置中，输出装置可包括输出变换器，例如用于提供空传声信号的扬声器或用于提供结构或液体传播的声信号的振动器。在一些听力装置中，输出装置可包括一个或多个用于提供电信号的输出电极。
在一些听力装置中，振动器可适于经皮或由皮将结构传播的声信号传给颅骨。在一些听力装置中，振动器可植入在中耳和/或内耳中。在一些听力装置中，振动器可适于将结构传播的声信号提供给中耳骨和/或耳蜗。在一些听力装置中，振动器可适于例如通过卵圆窗将液体传播的声信号提供到耳蜗液体。在一些听力装置中，输出电极可植入在耳蜗中或植入在颅骨内侧上，并可适于将电信号提供给耳蜗的毛细胞、一个或多个听觉神经、听觉皮层和/或大脑皮层的其它部分。
“听力系统”指包括一个或两个听力装置的系统。“双耳听力系统”指包括两个听力装置并适于协同地向用户的两只耳朵提供听得见的信号的系统。听力系统或双耳听力系统还可包括“辅助装置”，其与听力装置通信并影响和/或受益于听力装置的功能。辅助装置例如可以是遥控器、音频网关设备、移动电话(如智能电话)、广播系统、汽车音频系统或音乐播放器。听力装置、听力系统或双耳听力系统例如可用于补偿听力受损人员的听觉能力损失、增强或保护正常听力人员的听觉能力和/或将电子音频信号传给人。
附图说明
本发明的各个方面将从下面结合附图进行的详细描述得以最佳地理解。为清晰起见，这些附图均为示意性及简化的图，它们只给出了对于理解本发明所必要的细节，而省略其他细节。在整个说明书中，同样的附图标记用于同样或对应的部分。每一方面的各个特征可与其他方面的任何或所有特征组合。这些及其他方面、特征和/或技术效果将从下面的图示明显看出并结合其阐明，其中：
图1示出了根据本发明的双耳听力系统的第一实施例。
图2示出了基于双耳听力系统的左和右听力装置的输出信号yl(t)和yr(t)提供双耳语音可懂度预测器的方法的流程图。
图3示出了基于可观察的信号y(k,m)的协方差矩阵估计目标和不想要的(噪声)分量(二者均不可直接观察)的协方差矩阵的例子。
图4示出了根据本发明的双耳语音可懂度预测单元的实施例。
图5示出了根据本发明的双耳听力系统的第二实施例。
图6示出了根据本发明的双耳听力系统的左听力装置的实施例。
通过下面给出的详细描述，本发明进一步的适用范围将显而易见。然而，应当理解，在详细描述和具体例子表明本发明优选实施例的同时，它们仅为说明目的给出。对于本领域技术人员来说，基于下面的详细描述，本发明的其它实施方式将显而易见。
具体实施方式
下面结合附图提出的具体描述用作多种不同配置的描述。具体描述包括用于提供多个不同概念的彻底理解的具体细节。然而，对本领域技术人员显而易见的是，这些概念可在没有这些具体细节的情形下实施。装置和方法的几个方面通过多个不同的块、功能单元、模块、元件、电路、步骤、处理、算法等(统称为“元素”)进行描述。根据特定应用、设计限制或其他原因，这些元素可使用电子硬件、计算机程序或其任何组合实施。
电子硬件可包括微处理器、微控制器、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、可编程逻辑器件(PLD)、选通逻辑、分立硬件电路、及配置成执行本说明书中描述的多个不同功能的其它适当硬件。计算机程序应广义地解释为指令、指令集、代码、代码段、程序代码、程序、子程序、软件模块、应用、软件应用、软件包、例程、子例程、对象、可执行、执行线程、程序、函数等，无论是称为软件、固件、中间件、微码、硬件描述语言还是其他名称。
图1示出了根据本发明的双耳听力系统的第一实施例。左和右听力装置中的每一个的信号处理由助听器用户体验的语音可懂度的估计量引导(参见从双耳语音可懂度预测器(BIN-SI)到左和右听力装置的相应信号处理单元(SPU)的控制信号pcntl,pcntr)。在该例子中，SI估计/预测在左耳听力装置中使用两个HA的输出信号进行(右耳听力装置的输出信号无线传给左耳听力装置)。虚线指明经通信链路的有线或无线信号传输。
本发明的总体想法如图1中所示。在该图中，每一听力装置示意性地示为包括两个传声器、信号处理模块(SPU，可能及双耳SI预测模块BIN-SI)和扬声器。传声器拾取可能有噪声的(时变)信号x(t)，其通常由目标信号分量s(t)和不想要的信号分量v(t)组成(在图中，下标1、2分别指第一和第二(如前和后)传声器，而下标l、r指其是左还是右耳听力装置(分别为HDl,HDr))。听力装置无线连接。在所示情形下，假定双耳SI处理(参见BIN-SI单元)在左听力装置中进行。这需要使用左耳听力装置HDl的扬声器的输出信号yl(t)(其容易获得)及右耳听力装置HDr的扬声器的输出信号yr(t)(假定其经两个听力装置之间的通信链路(如无线)传输(虚线))。基于预测的SI，每一听力装置的信号处理可(个别)进行调整(参见信号pcntl,pcntr)。由于SI预测在左耳听力装置HDl中进行，右耳听力装置HDr中的处理的调整需要无线控制处理信号pcntr从左耳听力装置传给右耳听力装置(虚线)。
在图1中，左和右听力装置中的每一个包括两个传声器。在其它实施例中，听力装置中的每一个(或之一)可包括三个以上传声器。同样，在图1中，双耳语音可懂度预测器BIN-SI位于左听力装置HDl中。作为备选，双耳语音可懂度预测器BIN-SI可位于右听力装置HDr中，或者作为备选，位于两个听力装置中，优选在每一听力装置中执行同样的功能。后一实施方式消耗更多功率并需要输出音频信号yl,yr的双向交换，而处理控制信号(图1中的pcntr)的交换可省略。在另一实施例中，双耳语音可懂度预测器BIN-SI位于单独的辅助装置如遥控器(例如体现在智能电话中)中，这要求可在听力装置和辅助装置之间建立音频链路以从相应听力装置HDl,HDl接收输出信号yl,yr并将处理控制信号pcntl,pcntr传给相应听力装置。
在信号处理单元SPU中进行的及受来自双耳语音可懂度预测器BIN-SI的相应左和右听力装置HDl,HDl的控制信号pcntl,pcntr控制或影响的处理原则上可包括影响语音可懂度的任何处理算法，例如空间滤波(波束成形)和降噪、压缩、反馈消除等(例如参见图6)。听力装置的信号处理基于估计的双耳SI的调整包括(但不限于)：
1、调整听力系统的波束形成器的进攻性。具体地，对于双耳波束形成器，众所周知，波束形成器配置涉及降噪和噪声线索的空间正确性之间的平衡。在一极端设置中，噪声被最大程度地降低，但所有噪声信号听起来就像源自目标信号源的方向一样。导致最大SI的平衡通常时变且通常未知。然而，使用本发明提出的方法，可能调整给定听力装置的波束形成器级以始终产生最大SI。
2、调整(单通道(SC))降噪系统的进攻性。通常，波束形成器级之后为SC降噪级(例如参见图6)。SC降噪滤波器的进攻性可调整(例如通过改变SC降噪滤波器允许的最大衰减)。本发明提出的方法使能选择SI最佳平衡，即抑制适当量的噪声而不在目标语音信号中引入SI干扰非自然信号的系统。
3、对于具有可调整分析/合成滤波器组的系统，可选择导致最大SI的分析/合成滤波器组。这意味着根据目标信号和声情形(如噪声类型、电平、空间分布等)改变时间-频率平铺即各个子频带下使用的带宽和/或采样率以传输最大SI。
4、如果双耳SI预测单元估计双耳听力系统的最大SI太低以致于对用户没用，则可给用户指示(如经声音信号)，其表明HA系统不能在给定声条件下运行，之后，可调整其处理，如至少不引入声音质量降级，或者进入“节能”模式，其中信号处理受限以节能。
双耳语音可懂度预测
本发明提出的方法依赖于预测听力系统用户体验的SI的能力，在图1的实施例中给定双耳信号(yl(t)和yr(t))。为此，需要双耳SI预测算法。在这样的算法从文献如[1-6]知道的同时，这些方法不能用于手边的情形，因为它们通常需要使用抵达左和右耳鼓的目标信号分量和不想要的信号分量，每一分量相互隔离。在目前情形下，这些信号分量不可分离地获得：仅可连同处理后的输出信号获得由听力装置的传声器拾取的有噪声的信号(即组合的目标和不想要的信号分量)。
现有的方法及为什么它们不能使用
然而，如下面所述，提出了一种方案，即使目标语音信号和干扰噪声分量不可分离地获得，其也可提供双耳SI估计量。具体地，参考文献[1,2]中提出的、不能用在目前情形中的方法使用目标信号分量和噪声信号分量(可分开地获得)以建立SNR最佳双耳波束形成器。换言之，它们找到了传声器信号(各个子频带)的线性组合的系数，其导致波束形成器输出的SNR最大。然而，应认识到，在参考文献[1,2]中，最佳波束形成器权重导致SI预测，其优于人类SI性能。为解决该问题，抖动(即噪声)被添加到最佳波束形成器权重以降低波束形成器性能从而与人的能力一致。最后，在参考文献[1,2]中，目标和噪声信号分量通过该抖动的波束形成器，然后所得的波束成形目标和噪声信号分量通过单耳SI预测器(ESII,[7,8])以产生SI估计量。
本发明提出的方法
在本发明情形下，不能使用参考文献[1,2]的方案，因为目标和噪声信号不能分开地观察。为提出可用在这种情形中的方法，假定噪声v(n)为附加噪声且不与目标信号s(n)相关。在语音增强领域传统上均进行这样的假定，因为其在许多实际情形下均是合理的假定：其在噪声产生过程与目标语音产生过程无关的情形下显然有效，如在驾驶的同时在车厢环境中的对话；此外，即使在不想要的信号分量并非明显与目标语音信号无关联的情形下其也是可使用的假定，例如在回响环境中，例如参见参考文献[12]。此外，假定听力装置的信号处理跨足够短的持续时间为线性。该假定对听力装置的许多标准信号处理算法如波束成形近似有效，这些算法通常为时变线性运算。其它算法如放大和动态范围压缩[13]固有地为非线性运算，然而，由于这些算法趋于跨时间相对缓慢地变化，它们可被假定为跨几十毫秒通常跨几百毫秒的持续时间大体上线性(恒定不变)。基于这些假定，我们提出基于用户的“耳鼓信号”(图1例子中的yl(t)和yr(t))估计SI，如图2中所示。
图2示出了基于双耳听力系统的左和右听力装置的输出信号yl(t)和yr(t)提供双耳语音可懂度预测器的方法的流程图。假定这些运算在频域进行。具体地，假定这些运算(并行)应用于具有带宽的子频带，其类似于人听觉系统的关键带通滤波器。
首先，对潜在的听力损失建模(图2中的“建模听力损失”模块)。这可通过简单地添加根据用户的听力图谱成形的不相关噪声实现，如参考文献[1,2]中提出的。在很难基于信号yl(t)和yr(t)或者信号x1,l(t)和x1,r(t)可靠地估计目标和噪声分量的同时，可能估计耳间目标和噪声协方差矩阵(针对所涉及信号的每一子频带)，参见图中的“估计耳间协方差矩阵”模块，也可参见图3。
图3示出了基于可观察的信号y(k,m)的协方差矩阵估计目标和不想要的(噪声)分量(二者均不可直接观察)的协方差矩阵的例子。
这些协方差矩阵在下面准确地定义。为更接近实际实施，我们在时间-频率平面进行描述。使yl(k,m)指左耳助听器在频率指数k和时间指数m时的输出信号yl(n)。类似地，使yr(k,m)指右耳助听器在频率指数k和时间指数m的输出信号yr(n)。使用听力装置的信号处理为线性及噪声为附加噪声的假设，左耳和右耳助听器的输出信号yl(k,m)和yr(k,m)可分别写为：
yl(k,m)＝sl(k,m)+vl(k,m)
及
yr(k,m)＝sr(k,m)+vr(k,m)
其中
sl(k,m)＝f(sl,1(k,m)+sl,2(k,m)),
sr(k,m)＝f(sr,1(k,m)+sr,2(k,m)),
vl(k,m)＝f(vl,1(k,m)+vl,2(k,m)),
vr(k,m)＝f(vr,1(k,m)+vr,2(k,m)),
及其中函数f(.)表示助听器信号处理(其假定在上面的等式中为线性)。此外，使
y(k,m)＝[yl(k,m)yr(k,m)]T
指具有左和右耳听力装置(对于特定时频指数)的输出信号的(在该情形下，2x1)向量，及类似地定义向量
s(k,m)＝[sl(k,m)sr(k,m)]T
及
v(k,m)＝[vl(k,m)vr(k,m)]T,
其中上标T指向量转置。
输出信号的交互协方差矩阵Cy(k,m)(即耳间协方差矩阵)则定义为
Cy(k,m)＝E[y(k,m)y(k,m)H],
其中E[.]指统计预期算子，上标H指厄米(复共轭)转置。对于耳间目标信号协方差矩阵Cs(k,m)和不想要的信号协方差矩阵Cv(k,m)，保持类似的定义。
从不相关噪声的假设，其遵循
Cy(k,m)＝Cs(k,m)+Cv(k,m).
这些目标和噪声协方差矩阵Cs(k,m)和Cv(k,m)的估计使用所处理的目标和噪声不相关(的假设)是可能的，可能使用目标源位于助听器用户前面的现有知识。作为例子(其可在目前的情形中应用但需进行少量修改)，图3示出了参考文献[9,10]中描述的最大似然方法，用于基于目标信号源的方向已知的假设及关于Cv(k,m)的结构的知识估计矩阵Cs(k,m)和Cv(k,m)(这些假设在典型助听器情形中特别适宜)。在图2中，向量d(k,m)(称为视向量)指从目标源到系统中的每一传感器的传递函数，或者作为备选，指相对传递函数(定义为从任何传声器到参考传声器的传递函数，详细参见[9,10])。
基于这些估计的矩阵，可产生SNR最佳波束形成器的估计量(参见图2中的“估计SNR最佳波束形成器”模块)，对于每一频带，一对通常复值的波束形成器权重w(k,m)＝[wl(k,m)wr(k,m)]。例如，对于本发明讨论的情形，SNR最佳波束形成器权重由下式给出：
Figure BDA0000923923930000171
与[1,2]类似，这些最佳波束形成器权重被抖动(参见图2中的“计算抖动的波束形成器权重”模块)。这可写为
Figure BDA0000923923930000172
及
Figure BDA0000923923930000173
其中，在[1,2]中，函数g(w(k,m))将随机及统计上独立的增益误差和延迟误差引入最佳波束形成器权重；在[1,2]中，增益误差和延迟误差在对数和线性标尺上分别高斯分布，及这些误差的标准偏差为最佳波束形成器权重w(k,m)本身的函数，因此记为g(w(k,m))。
之后，双耳信号(yl(t)和yr(t))通过抖动的波束形成器
Figure BDA0000923923930000181
(参见图2中的“应用抖动的波束形成器”模块)，及使用估计的耳间目标和噪声协方差矩阵，表观信噪比计算为时间和频率的函数。最后，这些SNR值用在标准单耳SI预测中，如扩展语音可懂度指数(ESII)[7,8]或短期客观可懂度(STOI)估量[11]以产生助听器用户体验的可懂度的最终估计(参见图2中的“评估单耳SI预测器和信号SI估计量”模块)。在实践中，绝对的SI(即理解的单词的百分比)很难估计，因为其取决于如讲话速度、语音信号冗长等，这些量在实践中很难获得(及在助听器系统中很难估计)。然而，相对SI即SI是提高还是降级可被估计，而不需要详细了解目标语音信号。
图4示出了根据本发明的双耳语音可懂度预测单元的实施例。图4的实施例将图2的流程图基本上示为功能模块，但具有下面描述的几个另外的特征。听力损失模型单元HLM对应于将用户的听力损失的模型应用于左和右听力装置HDl,HDr的输出信号yl,yr的步骤(图2中的“对听力损失建模”)。听力损失模型单元HLM提供所得的修正的输出信号y’l,y’r，例如通过添加根据用户相应耳朵的听力图谱成形的不相关噪声(到初始输出信号yl,yr)。耳间协方差估计单元IACOV对应于估计耳间目标信号协方差矩阵Cs(k,m)和不想要的信号协方差矩阵Cv(k,m)的步骤(参见图2中的“估计耳间协方差矩阵”)。耳间协方差估计单元IACOV包括相应的分析滤波器组(图4中的TF单元)以按多个频带k和多个时刻m的时频域表示提供时域信号y’l,y’r，例如按时间帧顺序。耳间协方差估计单元IACOV例如可包括图3中所示的目标和噪声协方差矩阵的最大似然估计单元。图3中的输入视向量d(k,m)示为图4的IACOV单元的输入d(k,m)(虚线箭头)。波束形成器权重估计单元BFWGT对应于针对每一频带估计波束形成器权重w(k,m)＝[wl(k,m)wr(k,m)]形式的SNR最佳波束形成器(参见图2中的“估计SNR最佳波束形成器”模块)。抖动的波束形成器权重估计单元J-BFWGT对应于将抖动应用于SNR最佳波束形成器权重w(k,m)＝[wl(k,m)wr(k,m)](参见图2中的“计算抖动波束形成器权重”模块)从而提供抖动波束形成器权重
Figure BDA0000923923930000191
(在图4中分别记为wjl(k,m)和wjr(k,m))的步骤。波束形成器滤波器((应用)BF)对应于将抖动波束形成器权重
Figure BDA0000923923930000192
应用于左和右听力装置HDl,HDr的输出信号yl,yr的步骤(参见图2中的“应用抖动波束形成器”模块)。在图4的实施例中，假定输出信号yl,yr的时间到时频变换在波束形成器滤波器中进行以提供时频域表示(k,m)的输出信号yl,yr。作为备选，输出信号yl,yr可按时频域表示(k,m)提供给HLM和(应用)BF单元。在该情形下，IACOV和(应用)BF单元中分开的转换可省掉。波束形成器滤波器将作为时间和频率的函数的表观信噪比snr(k,m)提供为输出。用于产生助听器用户体验的可懂度的最终估计量si-m的语音可懂度估计单元SI-P对应于图2中的“评估单耳SI预测器和信号SI估计”模块。语音可懂度估计单元SI-P还可受益于其它输入，例如如虚线箭头所示的目标和噪声耳间协方差矩阵Cs,Cv。在图4的框图中，另一处理控制单元P-CNT示为向左和右听力装置HDl,HDr的信号处理单元SPU提供分开的控制信号pcntl和pcntr，用于分别控制或影响电输入信号x1,l,…,xM,l和x1,r,…,xM,r的处理(如图1、5和6中所示)。
图5示出了根据本发明的双耳听力系统的第二实施例。图5的实施例类似于图1的实施例，但额外的输入信号(图5中的虚或点线所示)提供给双耳语音可懂度预测单元BIN-SI，如下所述。左和右听力装置中的每一个的信号处理由助听器用户体验的双耳语音可懂度的估计量引导。为帮助估计耳间协方差矩阵，双耳语音可懂度预测模块BIN-SI(在左耳听力装置HDl中运行)使用来自左听力装置HDl的传声器信号x1,l,x2,l及来自右听力装置HDr的传声器信号x1,r,x2,r(从右听力装置无线传给左听力装置)，即图5中虚线所示的所有四个信号。此外，其使用应用于左听力装置的传声器信号的信号处理的知识(从左听力装置HDl的信号处理单元SPU到双耳语音可懂度预测单元BIN-SI的记为prl的点线箭头)及无线传输的应用于右听力装置HDr中的传声器信号的信号处理的知识(从右听力装置HDr的信号处理单元SPU到双耳语音可懂度预测模块BIN-SI的点线箭头)。
本发明提出的用于提供双耳语音可懂度预测器的方案中的重要步骤是估计助听器输出信号yl,yr的耳间目标和噪声协方差矩阵Cs,Cv。该估计很难仅基于听力装置的输出信号yl(t)和yr(t)可靠地进行。作为代替或另外，这些协方差矩阵可使用下述进行估计：a)有噪声的传声器信号x1,l,x2,l和x1,r,x2,r；及b)施加到它们以得到y,l(t)和y,r(t)的信号处理prl,prr(这些非必需的额外输入在图4中同样示为IACOV单元的输入(点线箭头))。因此，在本发明想法的扩展版本中，双耳可懂度预测模块将部分或所有有噪声的传声器信号连同关于施加到每一HA中的这些信号的信号处理的信息用作输入。该信息(由信号prl,prr表示)例如可以是波束形成器的滤波器权重(作为频率的函数)、由单通道降噪滤波器施加的增益/抑制(作为频率的函数)等，如图5中所示。相较于图1的基本系统，更多的信号需要无线通信(图5中的另外的虚线)。显然，在图1的相对简单的系统和图5的更复杂的系统“之间”的系统是可能的。
图6示出了根据本发明的双耳听力系统的左听力装置的实施例。图6的左听力装置实施例HDl与结合图5所示和所述的相当。区别在于a)代替2个传声器，图6的左听力装置HDl包括M个输入单元(如传声器)，其中M≥2，每一输入单元适于从环境拾取声音x1,l,…,xM,l并将其转换为对应的电信号，这些电信号连同经通信链路从双耳听力系统的右听力装置HDr接收的电输入信号x1,r,…,xM,r一起输入给信号处理单元SPU和双耳语音可懂度预测单元BIN-SI。另一区别在于b)信号处理单元SPU包括用于提供目标信号的噪声降低的估计量的多输入降噪系统(包括波束形成器滤波器BF和单通道降噪单元SC-NR)，及包括用于将另外的处理算法应用于目标信号的噪声降低的估计量的另一处理单元FP，例如包括根据用户的需要应用随电平和频率而变的增益等，以提供所得的输出信号yl。所提及的算法可受来自双耳语音可懂度预测单元BIN-SI的控制信号pcntl的影响以提供优化的组合双耳语音可懂度。同样，信号处理单元中当前应用的处理算法的特征可经信号prl传给双耳语音可懂度预测单元BIN-SI并用于产生处理控制信号pcntl(和pcntr)。
当由对应的过程适当代替时，上面描述的、“具体实施方式”中详细描述的及权利要求中限定的装置的结构特征可与本发明方法的实施结合。
除非明确指出，在此所用的单数形式“一”、“该”的含义均包括复数形式(即具有“至少一”的意思)。应当进一步理解，说明书中使用的术语“具有”、“包括”和/或“包含”表明存在所述的特征、整数、步骤、操作、元件和/或部件，但不排除存在或增加一个或多个其他特征、整数、步骤、操作、元件、部件和/或其组合。应当理解，除非明确指出，当元件被称为“连接”或“耦合”到另一元件时，可以是直接连接或耦合到其他元件，也可以存在中间插入元件。如在此所用的术语“和/或”包括一个或多个列举的相关项目的任何及所有组合。除非明确指出，在此公开的任何方法的步骤不必须精确按所公开的顺序执行。
应意识到，本说明书中提及“一实施例”或“实施例”或“方面”或者“可”包括的特征意为结合该实施例描述的特定特征、结构或特性包括在本发明的至少一实施方式中。此外，特定特征、结构或特性可在本发明的一个或多个实施方式中适当组合。提供前面的描述是为了使本领域技术人员能够实施在此描述的各个方面。各种修改对本领域技术人员将显而易见，及在此定义的一般原理可应用于其他方面。
权利要求不限于在此所示的各个方面，而是包含与权利要求语言一致的全部范围，其中除非明确指出，以单数形式提及的元件不意指“一个及只有一个”，而是指“一个或多个”。除非明确指出，术语“一些”指一个或多个。
因而，本发明的范围应依据权利要求进行判断。
参考文献
[1]R.Beutelmann and T.Brand,“Prediction of speech intelligibility inspatial noise and reverberation for normal-hearing and hearing-impairedlisteners,”J.Acoust.Soc.Am.,vol.120,pp.331–342,2006.
[2]R.Beutelmann,T.Brand,and B.Kollmeier,“Revision,extension,andevaluation of a binaural speech intelligibility model,”J.Acoust.Soc.Am.,vol.127,pp.2479–2497,2010.
[3]R.Wan,N.I.Durlach,and H.S.Colburn,“Application of an extendedequalization-cancellation model to speech intelligibility with spatiallydistributed maskers,”J.Acoust.Soc.Am.,vol.128,pp.3678—3690,2010
[4]S.J.van Wijngaarden and R.Drullman,“Binaural intelligibilityprediction based on the speech transmission index,”J.Acoust.Soc.Am.,vol.123,no.4514-4523,2008.
[5]M.Lavandier,S.Jelfs,J.Culling,A.J.Watkins,A.P.Raimond,andS.J.Makin,“Binaural prediction of speech intelligibility in reverberant roomswith multiple noise sources,”J.Acoust.Soc.Am.,vol.131,no.1,pp.218–231,January2012.
[6]J.Rennies,T.Brand,and B.Kollmeier,“Prediction of the influence ofreverberation on binaural speech intelligibility in noise and in quiet,”J.Acoust.Soc.Am.,vol.130,no.5,pp.2999–3012,November 2011.
[7]K.S.Rhebergen,“Modeling the speech intelligibility in fluctuatingnoise,”Ph.D.dissertation,Amsterdam University,2006.
[8]K.S.Rhebergen,N.J.Versfeld,and W.A.Dreschler,“Extended speechintelligibility index for the prediction of the speech reception threshold influctuating noise,”J.Acoust.Soc.Am.,vol.120,pp.3988–3997,December 2006.
[9]U.Kjems,and J.Jensen,“Maximum Likelihood Based Noise CovarianceMatrix Estimation for Multi-Microphone Speech Enhancement,”Proc.EuropeanSignal Processing Conference(Eusipco),pp.295-299,2012.
[10]J.Jensen and M.S.Pedersen,“Analysis of Beamformer DirectedSingle-Channel Noise Reduction System for Hearing Aid Applications,”Proc.International Conference on Audio,Speech,and Signal Processing(ICASSP),2015,Accepted.
[11]C.H.Taal,R.C.Hendriks,R.Heusdens,and J.Jensen,“An Algorithm forIntelligibility Prediction of Time-Frequency Weighted Noisy Speech,”IEEETrans.Audio.,Speech,Language Processing,vol.19,no.7,pp.2125–2136,September2011.
[12]A.Kuklasinski,S.Doclo,S.H.Jensen,and J.Jensen,“Maximum LikelihoodBased Multi-Channel Isotropic Reverberation Reduction for Hearing Aids,”Proc.European Signal Processing Conference(Eusipco),Sept.2014.
[13]H.Dillon,“Hearing Aids,”Boomerang Press–Thieme,2001.

Claims (16)

1.一种包括左和右听力装置的双耳听力系统，左和右听力装置适于位于用户的左和右耳之处或之中或者适于完全或部分植入在用户头部中，左和右听力装置中的每一个包括：
a)输入单元IU，配置成提供表示在所述输入单元处接收的声音的时变电输入信号x(t)，t表示时间，所述电输入信号x(t)包括目标信号分量s(t)和噪声信号分量v(t)，目标信号分量源自目标信号源；
b)用于处理所述电输入信号并提供处理后的信号y(t)的可配置信号处理单元；
c)输出单元，用于基于来自信号处理单元的处理后的信号产生配置成可由用户感知为声音的输出刺激；
d)左和右听力装置之间的通信链路，其中双耳听力系统还包括：
e)双耳语音可懂度预测单元，用于在用户暴露于输出刺激时，基于来自相应的左和右听力装置的信号处理单元的处理后的信号yl (t),yr (t)提供预测的语音可懂度的双耳SI估量；
其中左和右听力装置的可配置信号处理单元适于基于双耳SI估量控制相应电输入信号的处理。
2.根据权利要求1所述的双耳听力系统，配置成提供左和右听力装置的处理后的信号yl(t),yr(t)和/或一个或多个电输入信号xl(t),xr(t)在多个频带和多个时刻的时频表示Yl(k,m),Yr(k,m),Xl(k,m),Xr(k,m)，k为频带指数，m为时间指数。
3.根据权利要求1所述的双耳听力系统，其中双耳语音可懂度预测单元位于左和右听力装置的第一听力装置中。
4.根据权利要求1所述的双耳听力系统，包括辅助装置，其中所述双耳语音可懂度预测单元位于辅助装置中，左和右听力装置及辅助装置中的每一个包括相应的天线和收发器电路，用于使能在辅助装置及左和右听力装置之间建立通信链路和交换信息。
5.根据权利要求1所述的双耳听力系统，其中双耳语音可懂度预测单元包括听力损失模型单元，用于对用户的听力损失建模以分别基于处理后的信号yl(t)和yr(t)提供听力损失修正的信号y’l(t)和y’r(t)。
6.根据权利要求5所述的双耳听力系统，其中听力损失模型单元配置成向相应的左和右听力装置的处理后的信号yl(t),yr(t)添加不相关的噪声以提供听力损失修正的信号y’l(t)和y’r(t)，不相关的噪声根据用户的随频率而变的听力损失进行谱成形。
7.根据权利要求2所述的双耳听力系统，其中双耳语音可懂度预测单元包括协方差估计单元，配置成对所涉及信号的每一频带分别提供耳间目标和噪声协方差矩阵Cs(k,m)和Cv(k,m)的估计量。
8.根据权利要求1所述的双耳听力系统，其中双耳语音可懂度预测单元包括波束形成单元，用于分别提供每一频带和时刻的、包括通常复值的波束形成器权重wl(k,m)和wr(k,m)的SNR最佳波束形成器的相应估计量。
9.根据权利要求8所述的双耳听力系统，其中双耳语音可懂度预测单元包括扰动单元，用于将抖动应用于SNR最佳波束形成器权重wl(k,m)和wr(k,m)以提供相应的抖动波束形成器权重
Figure FDA0002265904330000021
和
Figure FDA0002265904330000022
10.根据权利要求1所述的双耳听力系统，其中双耳语音可懂度预测单元包括波束形成器滤波器，其中左和右听力装置的处理后的信号yl(t)和yr(t)分别使用相应的SNR最佳波束形成器权重wl(k,m)和wr(k,m)或者相应的抖动波束形成器权重
Figure FDA0002265904330000023
和
Figure FDA0002265904330000024
进行滤波以提供计算为时间和频率的函数的、估计的信噪比snr(k,m)。
11.根据权利要求10所述的双耳听力系统，其中双耳语音可懂度预测单元包括用于基于估计的随时间频率而变的信噪比snr(k,m)提供合成SI估量的语音可懂度预测单元。
12.根据权利要求11所述的双耳听力系统，其中合成SI估量还基于耳间目标和噪声协方差矩阵Cs(k,m)和Cv(k,m)的估计量。
13.根据权利要求1所述的双耳听力系统，其中双耳语音可懂度预测单元包括处理控制单元，用于基于双耳或合成SI估量提供相应的处理控制信号以控制左和右听力装置的可配置信号处理单元中的相应电输入信号的处理。
14.根据权利要求1所述的双耳听力系统，其中双耳语音可懂度预测单元配置成基于左和右听力装置的处理后的信号yl(t)和yr(t)及左和右听力装置的一个或多个电输入信号xl(t),xr(t)和/或关于当前应用于左和右听力装置的信号处理单元的电输入信号的处理的信息提供双耳或合成SI估量。
15.根据权利要求14所述的双耳听力系统，其中关于当前应用于左和右听力装置的信号处理单元的电输入信号的处理的信息包括关于下述方面的一个或多个信息：a)波束形成器的作为频率的函数的滤波器权重；b)由单通道降噪滤波器施加的作为频率的函数的增益/抑制；c)由放大/动态范围压缩系统施加的作为频率的函数的增益。
16.根据权利要求1所述的双耳听力系统，其中左和右听力装置包括助听器、头戴式耳机、耳麦或其组合。
CN201610084850.3A 2015-02-11 2016-02-14 包括双耳语音可懂度预测器的听力系统 Active CN105872923B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP15154666.0 2015-02-11
EP15154666 2015-02-11

Publications (2)

Publication Number Publication Date
CN105872923A CN105872923A (zh) 2016-08-17
CN105872923B true CN105872923B (zh) 2020-05-12

Family

ID=52589230

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610084850.3A Active CN105872923B (zh) 2015-02-11 2016-02-14 包括双耳语音可懂度预测器的听力系统

Country Status (4)

Country Link
US (2) US9924279B2 (zh)
EP (1) EP3057335B1 (zh)
CN (1) CN105872923B (zh)
DK (1) DK3057335T3 (zh)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102015211747B4 (de) * 2015-06-24 2017-05-18 Sivantos Pte. Ltd. Verfahren zur Signalverarbeitung in einem binauralen Hörgerät
EP3214620B1 (en) * 2016-03-01 2019-09-18 Oticon A/s A monaural intrusive speech intelligibility predictor unit, a hearing aid system
EP3220661B1 (en) * 2016-03-15 2019-11-20 Oticon A/s A method for predicting the intelligibility of noisy and/or enhanced speech and a binaural hearing system
US20170347348A1 (en) * 2016-05-25 2017-11-30 Smartear, Inc. In-Ear Utility Device Having Information Sharing
DK3306956T3 (da) 2016-10-05 2019-10-28 Oticon As En binaural stråleformerfiltreringsenhed, et høresystem og en høreanordning
DK3328097T3 (da) * 2016-11-24 2020-07-20 Oticon As Høreanordning, der omfatter en egenstemmedetektor
EP3611933A1 (en) * 2017-01-05 2020-02-19 Harman Becker Automotive Systems GmbH Active noise reduction earphones
EP3370440B1 (en) 2017-03-02 2019-11-27 GN Hearing A/S Hearing device, method and hearing system
EP3373602A1 (en) * 2017-03-09 2018-09-12 Oticon A/s A method of localizing a sound source, a hearing device, and a hearing system
EP3402217A1 (en) * 2017-05-09 2018-11-14 GN Hearing A/S Speech intelligibility-based hearing devices and associated methods
DK3413589T3 (da) * 2017-06-09 2023-01-09 Oticon As Mikrofonsystem og høreanordning der omfatter et mikrofonsystem
EP3760115A1 (en) * 2017-06-22 2021-01-06 Oticon A/s A system for capturing electrooculography signals
EP3429230A1 (en) * 2017-07-13 2019-01-16 GN Hearing A/S Hearing device and method with non-intrusive speech intelligibility prediction
EP3471440A1 (en) 2017-10-10 2019-04-17 Oticon A/s A hearing device comprising a speech intelligibilty estimator for influencing a processing algorithm
DK3499914T3 (en) * 2017-12-13 2020-12-14 Oticon As Høreapparatsystem
DK3506658T3 (da) * 2017-12-29 2020-11-30 Oticon As Høreanordning, der omfatter en mikrofon, som er tilpasset til at blive placeret ved eller i en brugers øregang
WO2020152255A1 (en) * 2019-01-24 2020-07-30 Frey Sandra Maria Hearing protection device
US10715933B1 (en) * 2019-06-04 2020-07-14 Gn Hearing A/S Bilateral hearing aid system comprising temporal decorrelation beamformers
CN110248268A (zh) * 2019-06-20 2019-09-17 歌尔股份有限公司 一种无线耳机降噪方法、系统及无线耳机和存储介质
EP4226370A1 (en) 2020-10-05 2023-08-16 The Trustees of Columbia University in the City of New York Systems and methods for brain-informed speech separation
CN112216301B (zh) * 2020-11-17 2022-04-29 东南大学 基于对数幅度谱和耳间相位差的深度聚类语音分离方法
EP4106349A1 (en) 2021-06-15 2022-12-21 Oticon A/s A hearing device comprising a speech intelligibility estimator
US20230154480A1 (en) * 2021-11-18 2023-05-18 Tencent America LLC Adl-ufe: all deep learning unified front-end system

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6549633B1 (en) * 1998-02-18 2003-04-15 Widex A/S Binaural digital hearing aid system
WO2007028250A2 (en) * 2005-09-09 2007-03-15 Mcmaster University Method and device for binaural signal enhancement

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7127076B2 (en) * 2003-03-03 2006-10-24 Phonak Ag Method for manufacturing acoustical devices and for reducing especially wind disturbances
DK2088802T3 (da) * 2008-02-07 2013-10-14 Oticon As Fremgangsmåde til estimering af lydsignalers vægtningsfunktion i et høreapparat
DK2306756T3 (da) * 2009-08-28 2011-12-12 Siemens Medical Instr Pte Ltd Fremgangsmåde til finindstilling af et høreapparat samt høreapparat
EP2372700A1 (en) * 2010-03-11 2011-10-05 Oticon A/S A speech intelligibility predictor and applications thereof
US9094769B2 (en) * 2013-06-27 2015-07-28 Gn Resound A/S Hearing aid operating in dependence of position

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6549633B1 (en) * 1998-02-18 2003-04-15 Widex A/S Binaural digital hearing aid system
WO2007028250A2 (en) * 2005-09-09 2007-03-15 Mcmaster University Method and device for binaural signal enhancement

Also Published As

Publication number Publication date
US20160234610A1 (en) 2016-08-11
DK3057335T3 (en) 2018-01-08
US9924279B2 (en) 2018-03-20
US20180176699A1 (en) 2018-06-21
EP3057335B1 (en) 2017-10-11
CN105872923A (zh) 2016-08-17
EP3057335A1 (en) 2016-08-17
US10225669B2 (en) 2019-03-05

Similar Documents

Publication Publication Date Title
CN105872923B (zh) 包括双耳语音可懂度预测器的听力系统
US10129663B2 (en) Partner microphone unit and a hearing system comprising a partner microphone unit
US10966034B2 (en) Method of operating a hearing device and a hearing device providing speech enhancement based on an algorithm optimized with a speech intelligibility prediction algorithm
CN106231520B (zh) 对等联网听力系统
CN109951785B (zh) 听力装置及包括双耳降噪系统的双耳听力系统
CN105848078B (zh) 双耳听力系统
CN111556420A (zh) 包括降噪系统的听力装置
CN108574922B (zh) 包括声音的无线接收器的听力装置
EP3220661B1 (en) A method for predicting the intelligibility of noisy and/or enhanced speech and a binaural hearing system
EP3506658B1 (en) A hearing device comprising a microphone adapted to be located at or in the ear canal of a user
CN109660928B (zh) 包括用于影响处理算法的语音可懂度估计器的听力装置
US20190378531A1 (en) Audio processing device and a method for estimating a signal-to-noise-ratio of a sound signal
CN111757233B (zh) 用于评估和选择外部音频源的听力装置或系统
US11330375B2 (en) Method of adaptive mixing of uncorrelated or correlated noisy signals, and a hearing device
EP3386216A1 (en) A binaural level and/or gain estimator and a hearing system comprising a binaural level and/or gain estimator
US11343619B2 (en) Binaural hearing system comprising frequency transition

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant