CN110636429A - 包括声学事件检测器的听力装置 - Google Patents
包括声学事件检测器的听力装置 Download PDFInfo
- Publication number
- CN110636429A CN110636429A CN201910543437.2A CN201910543437A CN110636429A CN 110636429 A CN110636429 A CN 110636429A CN 201910543437 A CN201910543437 A CN 201910543437A CN 110636429 A CN110636429 A CN 110636429A
- Authority
- CN
- China
- Prior art keywords
- hearing
- hearing device
- user
- signal
- self
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
- H04R25/40—Arrangements for obtaining a desired directivity characteristic
- H04R25/407—Circuits for combining signals of a plurality of transducers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
- H04R25/40—Arrangements for obtaining a desired directivity characteristic
- H04R25/405—Arrangements for obtaining a desired directivity characteristic by combining a plurality of transducers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
- H04R25/43—Electronic input selection or mixing based on input signal analysis, e.g. mixing or selection between microphone and telecoil or between microphones with different directivity characteristics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
- H04R25/50—Customised settings for obtaining desired overall acoustical characteristics
- H04R25/505—Customised settings for obtaining desired overall acoustical characteristics using digital signal processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
- H04R25/50—Customised settings for obtaining desired overall acoustical characteristics
- H04R25/505—Customised settings for obtaining desired overall acoustical characteristics using digital signal processing
- H04R25/507—Customised settings for obtaining desired overall acoustical characteristics using digital signal processing implemented by neural network or fuzzy logic
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
- H04R25/55—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception using an external connection, either wireless or wired
- H04R25/554—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception using an external connection, either wireless or wired using a wireless connection, e.g. between microphone and amplifier or using Tcoils
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R29/00—Monitoring arrangements; Testing arrangements
- H04R29/001—Monitoring arrangements; Testing arrangements for loudspeakers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2225/00—Details of deaf aids covered by H04R25/00, not provided for in any of its subgroups
- H04R2225/41—Detection or adaptation of hearing aid parameters or programs to listening situation, e.g. pub, forest
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2225/00—Details of deaf aids covered by H04R25/00, not provided for in any of its subgroups
- H04R2225/43—Signal processing in hearing aids to enhance the speech intelligibility
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2430/00—Signal processing covered by H04R, not provided for in its groups
- H04R2430/20—Processing of the output signals of the acoustic transducers of an array for obtaining a desired directivity characteristic
- H04R2430/23—Direction finding using a sum-delay beam-former
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
- H04R25/55—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception using an external connection, either wireless or wired
- H04R25/552—Binaural
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Otolaryngology (AREA)
- Neurosurgery (AREA)
- Computer Networks & Wireless Communication (AREA)
- Artificial Intelligence (AREA)
- Automation & Control Theory (AREA)
- Evolutionary Computation (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Circuit For Audible Band Transducer (AREA)
Abstract
本申请公开了包括声学事件检测器的听力装置,所述听力装置包括:输入单元;输出单元;连接到所述输入单元和所述输出单元的自适应波束形成器滤波单元,配置成基于所述多个电输入信号及自适应更新的自适应因子β(k)提供空间滤波的信号,其中k为频率指数;存储器,其中存储A)等于所述自适应因子β(k)的在存在用户话音时确定的值βov(k)或者随之而变的参考值REF;或者B)基于逻辑回归或神经网络的用于分类的一组参数;及自我话音检测器,配置成提供给定输入声音是否或者以何种概率源自用户话音的估计量,其中称为自我话音指示量的所述估计量随a)所述自适应因子β(k)的当前值及所述参考值REF或者b)基于逻辑回归或神经网络的用于分类的一组参数而变。
Description
技术领域
本申请涉及听力装置如助听器领域。
背景技术
通过助听器中的波束形成而具有方向性是衰减不想要的噪声的有效方式,因为随方向而变的增益可消除来自一方向的噪声而保留从另一方向撞击的感兴趣声音从而可能提高语音可懂度。通常,听力仪器中的波束形成器具有波束图,其被持续调整以在从目标方向撞击的声音不被改变的同时使噪声最小化。
发明内容
本发明涉及听力装置如助听器中的声学事件检测,其使用波束形成器滤波单元的估计的自适应因子进行。在实施例中,声学事件检测包括用户自我话音的检测。在实施例中,声学事件检测包括电话被保持在用户的哪一耳朵处的检测。在实施例中,声学事件检测包括用户的食物摄取的检测。
听力装置
在本申请的一方面,提供一种听力装置如助听器,配置成位于用户的耳朵处或耳朵中或者完全或部分植入在耳朵处的头部中。该听力装置包括:
-输入单元,用于提供表示用户环境中的声音的多个电输入信号;
-输出单元,用于基于所述电输入信号或其处理后版本提供可由用户感知为声音的刺激;
-连接到所述输入单元和所述输出单元的自适应波束形成器滤波单元,配置成基于所述多个电输入信号及自适应更新的自适应因子β(k)提供空间滤波的信号,其中k为频率指数。
该听力装置还包括:
-存储器,其中存储A)等于所述自适应因子β(k)的在存在用户话音时确定的βov(k)或者随之而变的参考值REF;或者B)基于逻辑回归或神经网络的用于分类的一组参数;及
-自我话音检测器,配置成估计给定输入声音是否或者以何种概率源自用户话音,其中称为自我话音指示量的估计量随a)所述自适应因子β(k)的当前值及所述参考值REF或者b)基于逻辑回归或神经网络的用于分类的一组参数而变。
从而可提供改进的听力装置。
输入单元可包括听力装置或双耳传声器配置的两个本地传声器,例如左和右听力装置中的每一个处各一个传声器。自我话音(OV)判断可基于“本地β” (基于来自一个听力装置的传声器)和/或双耳β(基于来自双耳听力系统的两个听力装置的传声器)。
自适应波束形成器滤波单元可包括第一组波束形成器C1和C2,其中自适应波束形成器滤波单元配置成提供合成定向信号Y(k)=C1(k)-β(k)C2(k),其中β(k)为所述自适应更新的自适应因子。
波束形成器C1和C2可包括:
-波束形成器C1,配置成保留来自目标方向的信号不被改变;及
-正交波束形成器C2,配置成消除来自目标方向的信号。
在该情形下,目标方向为用户嘴巴的方向(目标声源等于用户自我话音)。
两个波束形成器C1和C2可包括:
-正交波束形成器C1,配置成消除来自目标方向的信号;
-波束形成器C2,其与C1不正交,例如向前的心形。
自适应更新的自适应因子β(k)可表达为:
其中β(k)在来自目标方向的信号不被改变的约束条件下使噪声最小化,其中k为频率指数,*指复共轭,<·>指统计预期算子,及c为常数。
自适应更新的自适应因子β(k)可通过LMS或NLMS等式进行更新:
其中α为常数,n和k分别为时间和频率指数。
自我话音指示量OV可通过下面的表达式确定。
对于低于第一阈频的较低频道,加权函数可由ω(k)=1给出;而对于高于第二阈频的较高频道,加权函数由ω(k)=0给出。在实施例中,在较低频道 (k<kth)时的ω(k)高于在较高频道(k≥kth)时的ω(k)。第一和第二阈频可相等。第二阈频可大于第一阈频。
听力装置可配置成使得所述自适应因子β根据噪声标志例如根据话音活动检测器进行更新。
听力装置可包括天线和收发器电路,从而使能在听力装置与另一装置例如双耳听力系统的对侧听力装置之间交换信息和/或音频信号。
自我话音指示量可取决于由另一装置例如双耳听力系统的对侧听力装置提供的自我话音估计量。
自我话音指示量可取决于一个或多个其它检测器如话音活动检测器或者运动传感器如加速计。自我话音指示量可取决于所述多个电输入信号中的至少一个的电平。
听力装置可由助听器、头戴式耳机、耳麦、耳朵保护装置或其组合构成或者包括助听器、头戴式耳机、耳麦、耳朵保护装置或其组合。
在实施例中,听力装置适于提供随频率而变的增益和/或随电平而变的压缩和/或一个或多个频率范围到一个或多个其它频率范围的移频(具有或没有频率压缩)以补偿用户的听力受损。在实施例中,听力装置包括用于增强输入信号并提供处理后的输出信号的信号处理器。
在实施例中,输出单元包括耳蜗植入件的多个电极。在实施例中,输出单元包括输出变换器。在实施例中,输出变换器包括用于将刺激作为声信号提供给用户的接收器(扬声器)。在实施例中,输出变换器包括用于将刺激作为颅骨的机械振动提供给用户的振动器(例如在附着到骨头的或骨锚式听力装置中)。
在实施例中,输入单元包括用于将输入声音转换为电输入信号的输入变换器如传声器。在实施例中,输入单元包括用于接收包括声音的无线信号并提供表示所述声音的电输入信号的无线接收器。
听力装置包括定向传声器系统(波束形成器滤波单元),其适于对来自环境的声音进行空间滤波从而相对于佩戴听力装置的用户的局部环境中的多个声源增强目标声源。在实施例中,定向系统适于检测(如自适应检测)传声器信号的特定部分源自哪一方向。这可以例如现有技术中描述的多种不同方式实现。在听力装置中,传声器阵列波束形成器通常用于空间上衰减背景噪声源。许多波束形成器变型可在文献中找到。最小方差无失真响应(MVDR)波束形成器广泛用在传声器阵列信号处理中。理想地,MVDR波束形成器保持来自目标方向(也称为视向)的信号不变,而最大程度地衰减来自其它方向的声音信号。广义旁瓣抵消器(GSC)结构是MVDR波束形成器的等同表示,其相较原始形式的直接实施提供计算和数字表示优点。
在实施例中,听力装置包括用于从另一装置如从娱乐设备(例如电视机)、通信装置、无线传声器或另一听力装置接收直接电输入信号的天线和收发器电路(如无线接收器)。在实施例中,直接电输入信号表示或包括音频信号和/或控制信号和/或信息信号。在实施例中,听力装置包括用于对所接收的直接电输入进行解调的解调电路,以提供表示音频信号和/或控制信号的直接电输入信号,例如用于设置听力装置的运行参数(如音量)和/或处理参数。一般地,听力装置的天线及收发器电路建立的无线链路可以是任何类型。在实施例中,无线链路在两个装置如娱乐设备(例如TV)与听力装置之间或者两个听力装置之间建立,例如经第三、中间装置(如处理装置,例如遥控装置、智能电话等)。在实施例中,无线链路在功率约束条件下使用,例如由于听力装置是或包括便携式(通常电池驱动的)装置。在实施例中,无线链路为基于近场通信的链路,例如基于发射器部分和接收器部分的天线线圈之间的感应耦合的感应链路。在另一实施例中,无线链路基于远场电磁辐射。
优选地,听力装置和另一装置之间的通信基于高于100kHz的频率下的某类调制。优选地,用于在听力装置和另一装置之间建立通信链路的频率低于 70GHz,例如位于从50MHz到70GHz的范围中,例如高于300MHz,例如在高于300MHz的ISM范围中,例如在900MHz范围中或在2.4GHz范围中或在 5.8GHz范围中或在60GHz范围中(ISM=工业、科学和医学,这样的标准化范围例如由国际电信联盟ITU定义)。在实施例中,无线链路基于标准化或专用技术。在实施例中,无线链路基于蓝牙技术(如蓝牙低功率技术)。
在实施例中,听力装置为便携装置,如包括本机能源如电池例如可再充电电池的装置。
在实施例中,听力装置包括输入单元(如输入变换器,例如传声器或传声器系统和/或直接电输入(如无线接收器))和输出单元如输出变换器之间的正向或信号通路。在实施例中,信号处理器位于该正向通路中。在实施例中,信号处理器适于根据用户的特定需要提供随频率而变的增益。在实施例中,听力装置包括具有用于分析输入信号(如确定电平、调制、信号类型、声反馈估计量等)的功能件的分析通路。在实施例中,分析通路和/或信号通路的部分或所有信号处理在频域进行。在实施例中,分析通路和/或信号通路的部分或所有信号处理在时域进行。
在实施例中,听力装置包括模数(AD)转换器以按预定的采样速率如 20kHz对模拟输入(例如来自输入变换器如传声器)进行数字化。在实施例中,听力装置包括数模(DA)转换器以将数字信号转换为模拟输出信号,例如用于经输出变换器呈现给用户。
在实施例中,听力装置如传声器单元和/或收发器单元包括用于提供输入信号的时频表示的TF转换单元。在实施例中,时频表示包括所涉及信号在特定时间和频率范围的相应复值或实值的阵列或映射。在实施例中,TF转换单元包括用于对(时变)输入信号进行滤波并提供多个(时变)输出信号的滤波器组,每一输出信号包括截然不同的输入信号频率范围。在实施例中,TF转换单元包括用于将时变输入信号转换为(时-)频域中的(时变)信号的傅里叶变换单元。在实施例中,听力装置考虑的、从最小频率fmin到最大频率fmax的频率范围包括从20Hz到20kHz的典型人听频范围的一部分,例如从20Hz到12kHz的范围的一部分。通常,采样率fs大于或等于最大频率fmax的两倍,即fs≥2fmax。在实施例中,听力装置的正向通路和/或分析通路的信号拆分为NI个(例如均匀宽度的)频带,其中NI例如大于5,如大于10,如大于50,如大于100,如大于500,至少其部分个别进行处理。在实施例中,助听器适于在NP个不同频道处理正向和/或分析通路的信号(NP≤NI)。频道可以宽度一致或不一致(如宽度随频率增加)、重叠或不重叠。
在实施例中,听力装置包括多个检测器,其配置成提供与听力装置的当前网络环境(如当前声环境)有关、和/或与佩戴听力装置的用户的当前状态有关、和/或与听力装置的当前状态或运行模式有关的状态信号。作为备选或另外,一个或多个检测器可形成与听力装置(如无线)通信的外部装置的一部分。外部装置例如可包括另一听力装置、遥控器、音频传输装置、电话(如智能电话)、外部传感器等。
在实施例中,多个检测器中的一个或多个对全带信号起作用(时域)。在实施例中,多个检测器中的一个或多个对频带拆分的信号起作用((时-)频域),例如在有限的多个频带中。
在实施例中,多个检测器包括用于估计正向通路的信号的当前电平的电平检测器。在实施例中,预定判据包括正向通路的信号的当前电平是否高于或低于给定(L-)阈值。在实施例中,电平检测器作用于全频带信号(时域)。在实施例中,电平检测器作用于频带拆分信号((时-)频域)。
在特定实施例中,听力装置包括话音检测器(VD),用于估计输入信号 (在特定时间点)是否(或者以何种概率)包括话音信号。在本说明书中,话音信号包括来自人类的语音信号。其还可包括由人类语音系统产生的其它形式的发声(如唱歌)。在实施例中,话音检测器单元适于将用户当前的声环境分类为“话音”或“无话音”环境。这具有下述优点:包括用户环境中的人发声(如语音)的电传声器信号的时间段可被识别,因而与仅(或主要)包括其它声源(如人工产生的噪声)的时间段分离。在实施例中,话音检测器适于将用户自己的话音也检测为“话音”。作为备选,话音检测器适于从“话音”的检测排除用户自己的话音。
在实施例中,多个检测器包括运动检测器,例如加速度传感器。在实施例中,运动检测器配置成检测用户面部肌肉和/或骨头的例如因语音或咀嚼(如颌部运动)引起的运动并提供标示该运动的检测器信号。
在实施例中,听力装置还包括用于所涉及应用的其它适宜功能,如压缩、降噪、反馈减少等。
在实施例中,听力装置包括听音装置如助听器、听力仪器例如适于位于用户耳朵处或者完全或部分位于耳道中的听力仪器,例如头戴式耳机、耳麦、耳朵保护装置或其组合。
应用
一方面,提供如上所述的、“具体实施方式”部分中详细描述的和权利要求中限定的听力装置的应用。在实施例中,提供在包括音频分布的系统中的应用。在实施例中,提供在包括一个或多个助听器(听力仪器)的系统、头戴式耳机、耳麦、主动耳朵保护系统等中的应用,例如在免提电话系统、远程会议系统、广播系统、卡拉OK系统、教室放大系统等中的用途。
方法
本申请进一步提供听力装置如助听器的运行方法,其配置成位于用户的耳朵处或耳朵中或者完全或部分植入在耳朵处的头部中。所述方法包括:
-提供表示用户环境中的声音的多个电输入信号;
-基于所述电输入信号或其处理后版本提供可由用户感知为声音的刺激;
-基于所述多个电输入信号及自适应更新的自适应因子β(k)提供空间滤波的信号,其中k为频率指数。
所述方法还包括:
-存储等于所述自适应因子β(k)的在存在用户话音时确定的βov(k)或者随之而变的参考值REF(或者存储基于逻辑回归或神经网络的用于分类的一组参数);及
-提供给定输入声音是否或者以何种概率源自用户话音的估计量,其中所述估计量随所述自适应因子β(k)的当前值及所述参考值REF(或者基于逻辑回归或神经网络的用于分类的一组参数)而变。
当由对应的过程适当代替时,上面描述的、“具体实施方式”中详细描述的或权利要求中限定的装置的部分或所有结构特征可与本发明方法的实施结合,反之亦然。方法的实施具有与对应装置一样的优点。
参考值REF例如等于自适应因子β(k)的在存在用户话音时确定的参考值βov(k)。参考值例如可使用人头及躯干的模型(例如来自Brüel&的HATS) 确定,其中听力装置或多个听力装置安装在该模型的耳朵处及语音发生器位于该模型的“嘴”中。例如,有利地,参考值可在用户佩戴听力装置并使用其自己的话音作为声源时在针对该用户验配听力装置期间确定。作为备选(或者另外),参考值可在佩戴听力装置(或听力系统)时在特定训练阶段确定。训练阶段例如可经遥控器(例如实施为智能电话上的APP)的用户接口开始。优选地,环境噪声电平在确定参考值REF期间相当低。
有监督的学习
用户自我话音可通过逻辑回归形式或神经网络形式(例如参见图10A、 10B)的有监督的学习技术进行分类。
在实施例中,用户自我话音通过神经网络例如深度神经网络进行分类。
在实施例中,神经网络的输入由参数(例如向量)β给出。在另一实施例中,输入向量为β的子集,如β的与低于某一阈频fth的频率对应的值。这可能有利,因为β在低频带的值不太随用户而变且对耳朵附近的障碍物不太敏感。阈频fth例如可以是500Hz、750Hz或1000Hz。
在又一实施例中,神经网络的输入向量除β之外还可包含另外的特征。这样的特征例如可以是a)加速计数据;b)来自另一听力装置的β向量(β可在相应耳朵处的听力装置之间交换);c)Mel倒谱系数(Mel Frequency Cepstral Coefficients,MFCC);或d)从这些特征得到的特征,如用户特有特征如基音。
在另一实施例中,针对不同的应用可实施不同的OV检测器。对于同一组输入向量,针对不同的应用,可训练不同的神经网络,其中训练数据可(完全或部分)不同,例如一OV检测器用于关键字识别,另一OV检测器用于用户标识,第三OV检测器用于控制传声器匹配系统,及再一OV检测器结合电话对话使用(其中另外的特征可以是远端是否正在讲话)。
计算机可读介质
本发明进一步提供保存包括程序代码的计算机程序的有形计算机可读介质,当计算机程序在数据处理系统上运行时,使得数据处理系统执行上面描述的、“具体实施方式”中详细描述的及权利要求中限定的方法的至少部分(如大部分或所有)步骤。
作为例子但非限制,前述有形计算机可读介质可包括RAM、ROM、 EEPROM、CD-ROM或其他光盘存储器、磁盘存储器或其他磁性存储装置,或者可用于执行或保存指令或数据结构形式的所需程序代码并可由计算机访问的任何其他介质。如在此使用的,盘包括压缩磁盘(CD)、激光盘、光盘、数字多用途盘(DVD)、软盘及蓝光盘,其中这些盘通常磁性地复制数据,同时这些盘可用激光光学地复制数据。上述盘的组合也应包括在计算机可读介质的范围内。除保存在有形介质上之外,计算机程序也可经传输介质如有线或无线链路或网络如因特网进行传输并载入数据处理系统从而在不同于有形介质的位置处运行。
计算机程序
此外,本申请提供包括指令的计算机程序(产品),当该程序由计算机运行时,导致计算机执行上面描述的、“具体实施方式”中详细描述的及权利要求中限定的方法(的步骤)。
数据处理系统
一方面,本发明进一步提供数据处理系统,包括处理器和程序代码,程序代码使得处理器执行上面描述的、“具体实施方式”中详细描述的及权利要求中限定的方法的至少部分(如大部分或所有)步骤。
听力系统
另一方面,听力系统包括上面描述的、“具体实施方式”中详细描述的及权利要求中限定的听力装置,此外还提供辅助装置。
在实施例中,听力系统适于在听力装置与辅助装置之间建立通信链路以使得信息(如控制和状态信号,可能音频信号)可进行交换或者从一装置转发给另一装置。
在实施例中,听力系统包括辅助装置,例如遥控器、智能电话、或者其它便携或可穿戴电子设备如智能手表等。
在实施例中,辅助装置是或包括遥控器,用于控制听力装置的功能和运行。在实施例中,遥控器的功能实施在智能电话中,该智能电话可能运行使能经智能电话控制音频处理装置的功能的APP(听力装置包括适当的到智能电话的无线接口,例如基于蓝牙或一些其它标准化或专有方案)。
在实施例中,辅助装置是或包括音频网关设备,其适于(例如从娱乐装置如TV或音乐播放器、从电话设备如移动电话或者从计算机如PC)接收多个音频信号并适于选择和/或组合所接收的音频信号中的适当信号(或信号组合)以传给听力装置。
在实施例中,辅助装置是或包括另一听力装置。在实施例中,听力系统包括适于实施双耳听力系统如双耳助听器系统的两个听力装置。
APP
另一方面,本发明还提供称为APP的非短暂应用。APP包括可执行指令,其配置成在辅助装置上运行以实施用于上面描述的、“具体实施方式”中详细描述的及权利要求中限定的听力装置或听力系统的用户接口。在实施例中,该 APP配置成在移动电话如智能电话或另一使能与所述听力装置或听力系统通信的便携装置上运行。
定义
声源的“近场”为靠近声压和声粒子速度不同相(波前不平行)的声源的区域。在近场中,声音强度可随距离大大变化(相较于远场)。近场通常限于距声源的距离等于声音的约一个或两个波长。声音的波长λ由λ=c/f给出,其中c为声音在空气中的速度(343m/s,@20℃)及f为频率。在f=1kHz,例如声音的波长为0.343m(即34cm)。另一方面,在声学“远场”中,波前平行,及每当距声源的距离翻倍时,声场强度降低6dB(平方反比定律)。
在本说明书中,“听力装置”指适于改善、增强和/或保护用户的听觉能力的装置如助听器例如听力仪器或有源耳朵保护装置或其它音频处理装置,其通过从用户环境接收声信号、产生对应的音频信号、可能修改该音频信号、及将可能已修改的音频信号作为可听见的信号提供给用户的至少一只耳朵而实现。“听力装置”还指适于以电子方式接收音频信号、可能修改该音频信号、及将可能已修改的音频信号作为听得见的信号提供给用户的至少一只耳朵的装置如头戴式耳机或耳麦。听得见的信号例如可以下述形式提供:辐射到用户外耳内的声信号、作为机械振动通过用户头部的骨结构和/或通过中耳的部分传到用户内耳的声信号、及直接或间接传到用户耳蜗神经的电信号。
听力装置可构造成以任何已知的方式进行佩戴,如作为佩戴在耳后的单元 (具有将辐射的声信号导入耳道内的管或者具有安排成靠近耳道或位于耳道中的输出变换器如扬声器)、作为整个或部分安排在耳廓和/或耳道中的单元、作为连到植入在颅骨内的固定结构的单元如振动器、或作为可连接的或者整个或部分植入的单元等。听力装置可包括单一单元或几个彼此电子通信的单元。扬声器可连同听力装置的其它部件一起设置在壳体中,或者其本身可以是外部单元(可能与柔性引导元件如圆顶状元件组合)。
更一般地,听力装置包括用于从用户环境接收声信号并提供对应的输入音频信号的输入变换器和/或以电子方式(即有线或无线)接收输入音频信号的接收器、用于处理输入音频信号的(通常可配置的)信号处理电路(如信号处理器,例如包括可配置(可编程)的处理器,例如数字信号处理器)、及用于根据处理后的音频信号将听得见的信号提供给用户的输出单元。信号处理器可适于在时域或者在多个频带处理输入信号。在一些听力装置中,放大器和/或压缩器可构成信号处理电路。信号处理电路通常包括一个或多个(集成或单独的) 存储元件,用于执行程序和/或用于保存在处理中使用(或可能使用)的参数和 /或用于保存适合听力装置功能的信息和/或用于保存例如结合到用户的接口和/ 或到编程装置的接口使用的信息(如处理后的信息,例如由信号处理电路提供)。在一些听力装置中,输出单元可包括输出变换器,例如用于提供空传声信号的扬声器或用于提供结构或液体传播的声信号的振动器。在一些听力装置中,输出单元可包括一个或多个用于提供电信号的输出电极(例如用于电刺激耳蜗神经的多电极阵列)。
在一些听力装置中,振动器可适于经皮或由皮将结构传播的声信号传给颅骨。在一些听力装置中,振动器可植入在中耳和/或内耳中。在一些听力装置中,振动器可适于将结构传播的声信号提供给中耳骨和/或耳蜗。在一些听力装置中,振动器可适于例如通过卵圆窗将液体传播的声信号提供到耳蜗液体。在一些听力装置中,输出电极可植入在耳蜗中或植入在颅骨内侧上,并可适于将电信号提供给耳蜗的毛细胞、一个或多个听觉神经、听觉脑干、听觉中脑、听觉皮层和/或大脑皮层的其它部分。
听力装置如助听器可适应特定用户的需要如听力受损。听力装置的可配置的信号处理电路可适于施加输入信号的随频率和电平而变的压缩放大。定制的随频率和电平而变的增益(放大或压缩)可在验配过程中通过验配系统基于用户的听力数据如听力图使用验配基本原理(例如适应语音)确定。随频率和电平而变的增益例如可体现在处理参数中,例如经到编程装置(验配系统)的接口上传到听力装置,并由听力装置的可配置的信号处理电路执行的处理算法使用。
“听力系统”指包括一个或两个听力装置的系统。“双耳听力系统”指包括两个听力装置并适于协同地向用户的两只耳朵提供听得见的信号的系统。听力系统或双耳听力系统还可包括一个或多个“辅助装置”,其与听力装置通信并影响和/或受益于听力装置的功能。辅助装置例如可以是遥控器、音频网关设备、移动电话(如智能电话)或音乐播放器。听力装置、听力系统或双耳听力系统例如可用于补偿听力受损人员的听觉能力损失、增强或保护正常听力人员的听觉能力和/或将电子音频信号传给人。听力装置或听力系统例如可形成广播系统、主动耳朵保护系统、免提电话系统、汽车音频系统、娱乐(如卡拉OK) 系统、远程会议系统、教室放大系统等的一部分或者与其交互。
本发明的实施例如可用在如助听器或双耳助听器系统的应用中。
附图说明
本发明的各个方面将从下面结合附图进行的详细描述得以最佳地理解。为清晰起见,这些附图均为示意性及简化的图,它们只给出了对于理解本发明所必要的细节,而省略其他细节。在整个说明书中,同样的附图标记用于同样或对应的部分。每一方面的各个特征可与其他方面的任何或所有特征组合。这些及其他方面、特征和/或技术效果将从下面的图示明显看出并结合其阐明,其中:
图1示意性地示出了佩戴听力装置的人正在讲话的情形,其中自适应波束形成器将调整其波束图以消除/抵消该人自己的话音。
图2示出了近场声源(在此为自我话音)的几何学示例性图示。
图3示出了当α=1时,作为前和后传声器信号的振幅比的函数的β实部的分析解法。
图4示出了自适应波束形成器配置,其中在第k频道的自适应波束形成器Y(k)通过从全向波束形成器减去经自适应因子β(k)换算的目标消除波束形成器而产生。
图5示出了与图4中所示类似的自适应波束形成器配置,其中自适应波束图Y(k)通过从另一固定的波束图C1(k)减去经自适应因子β(k)换算的目标消除波束形成器C2(k)而产生。
图6A示意性地示出了第一电话对话情形,其中自我话音被呈现给两听力仪器。
图6B示出了电话对话情形的第二部分,其中当远端声音存在时,来自电话扬声器的近场声音被呈现给电话被保持到其上的听力仪器。
图7示出了根据本发明的听力装置的实施例,包括位于BTE部分及ITE部分中的传声器。
图8A示出了β的标记为“自我话音”的样本的示例性分布。
图8B示出了图8A的“自我话音β”的白化版,使得该数据以起点为中心并具有单位方差。
图9A示出了如图8A中所示的β的标记为“自我话音”的样本的示例性分布及β的未记为“自我话音”的样本的分布。
图9B示出了图9A的数据的白化效果。
图10A示意性地示出了通过逻辑回归形式的有监督的学习技术分类自我话音的例子。
图10B示意性地示出了通过神经网络形式的有监督的学习技术分类自我话音的例子。
图11A示出了对于ITE型听力装置,用于食物摄取声学检测的可能的传声器和加速计放置。
图11B示出了对于BTE+ITE型听力装置,用于食物摄取声学检测的可能的传声器和加速计放置。
图12示意性地示出了所提出的、可怎样基于不同传感器之间的相关检测食物摄取声音的方法。
图13A示出了自适应波束形成器配置,其中后滤波器增益被分别应用于全向波束形成器及目标消除波束形成器,并基于其平滑版本,确定自适应因子β(k)。
图13B示出了自我话音波束形成器配置,其示出了自我话音增强后滤波器增益可怎样基于噪声估计量进行估计。
通过下面给出的详细描述,本发明进一步的适用范围将显而易见。然而,应当理解,在详细描述和具体例子表明本发明优选实施例的同时,它们仅为说明目的给出。对于本领域技术人员来说,基于下面的详细描述,本发明的其它实施方式将显而易见。
具体实施方式
下面结合附图提出的具体描述用作多种不同配置的描述。具体描述包括用于提供多个不同概念的彻底理解的具体细节。然而,对本领域技术人员显而易见的是,这些概念可在没有这些具体细节的情形下实施。装置和方法的几个方面通过多个不同的块、功能单元、模块、元件、电路、步骤、处理、算法等 (统称为“元素”)进行描述。根据特定应用、设计限制或其他原因,这些元素可使用电子硬件、计算机程序或其任何组合实施。
电子硬件可包括微处理器、微控制器、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、可编程逻辑器件(PLD)、选通逻辑、分立硬件电路、及配置成执行本说明书中描述的多个不同功能的其它适当硬件。计算机程序应广义地解释为指令、指令集、代码、代码段、程序代码、程序、子程序、软件模块、应用、软件应用、软件包、例程、子例程、对象、可执行、执行线程、程序、函数等,无论是称为软件、固件、中间件、微码、硬件描述语言还是其他名称。
由于噪声信号的声学性质随时间变化,波束形成器被实施为自适应系统,其调整定向波束图以在目标声音(方向)不被改变的同时使噪声最小化。一些声学事件具有截然不同的定向波束图,这可与其它声学事件区分开。听力仪器用户的自我话音是这样的事件的例子。这在图1中示出,其中波束图已朝向消除用户自我话音的目标调整。
图1示出了佩戴听力装置的人正在讲话的情形,其中自适应波束形成器将调整其波束图以消除该人的自我话音。由于自我话音处于近场中,所获得的、对于自我话音消除最佳的波束图通常将不同于对于远场声源最佳的波束图。
我们提出如图4或5中所示的双传声器波束形成器配置。对于给定频带k,自适应波束图Y(k)通过线性组合两个波束形成器C1(k)和C2(k)而获得。C1(k)和 C2(k)为传声器信号的不同的(可能固定的)线性组合。
图4示出了自适应波束形成器配置,其中在第k频道的自适应波束形成器 Y(k)通过从全向波束形成器减去经自适应因子β(k)换算的目标消除波束形成器而产生。图4的两个波束形成器C1和C2例如正交。然而,实际上并非必须如此。图5的波束形成器不正交。当波束形成器C1和C2正交时,当β=0时,非相关的噪声将被衰减。
图4中的C1(k)为全向波束图,而图5中的波束图为朝向与C2(k)的方向相反方向具有零值的波束形成器。其它组的固定的波束图C1(k)和C2(k)也可使用。
图5示出了与图4中所示类似的自适应波束形成器配置,其中自适应波束图Y(k)通过从另一固定的波束图C1(k)减去经自适应因子β(k)换算的目标消除波束形成器C2(k)而产生。该组波束形成器不正交。在图5中的C1为OV消除波束形成器的情形下,当存在自我话音时,β将接近零,不需要校准的自我话音β。
波束图例如可以是全向延迟和求和波束形成器C1(k)与其零向指向目标方向的延迟和求减波束形成器C2(k)(目标消除波束形成器)的组合,如图4中所示;或者,其可以是如图5中所示的两个延迟和求减波束形成器,其中一个波束形成器C1(k)朝向目标方向具有最大增益,及另一波束形成器为目标消除波束形成器。也可应用波束形成器的其它组合。优选地,波束形成器应正交,即 [w11w12][w21w22]H=0。自适应波束图通过经复值、随频率而变的自适应换算因子β(k)换算目标消除波束形成器C2(k)并将其从C1(k)减去而出现,即
波束形成器适于在传声器信号在存在附加噪声源时由点-噪声目标声源组成的情形下最佳地工作。给定该情形,换算因子β(k)适于在从目标方向撞击的声音不被改变的约束条件下使噪声最小化。对于每一频带k,自适应因子β(k)可用不同的方法得到。解可在下面的闭合式中得到:
其中*指复共轭及<·>指统计预期算子,其在实施中可被逼近为时间平均。c 为小常数以避免除以零。作为备选,自适应因子可通过LMS(最小均方)或 NLMS(归一化最小均方)等式进行更新:
其中α为常数。在实施例中,α=1,及μ为算法的步长。应注意,β不独立于C1(经β的递归更新取决于C1,Y=C1-βC2)。
对于给定频带k,β(k)的每一值将提供能够消除来自某一位置的声音的特定波束图(例如参见EP3236672A1)。β(k)的最佳值将取决于头的声学性质、听力仪器的位置及声源的位置(方向和距离)。大多数声音将源自远离听力仪器的地方,这意味着听力仪器传声器处的声压将类似。由于从嘴到传声器的距离小,自我话音将处于近场中,可能地,听力仪器传声器处的声压将实质上不同(相较于信号来自声学远场的情形)。β(k)按下述方式取决于前和后传声器处的声压幅度a1和a2(对于正交波束形成器权重):
其中α为校准声音的后传声器相较于前传声器的振幅比(即预先确定),f 为频率,d为传声器之间的距离,c为声速,θ0为视向量的方向,及θ为声源的方向。
在下面,我们设定α=1,因为我们假定用远场信号校准,使得振幅差可忽略不计。这将β的实部简化为
r=a1/a2
视向量的方向为θ0=0°。我们假定自我话音信号相对于水平面来自θ=45°,参见图2。
图2示出了近场声源(在此为自我话音SNF)的几何学示例性图示。声学近场与远场之间的区别与声音的频率(波长)有关,并可取为约2个波长λ,即对于距声源的距离<2λ,近场占优,及对于距声源的距离>2λ,远场占优。来自声源的声压随距声源的距离L增加而衰减。对于远场声源SFF(例如位于远离测量位置>1m如传声器),对于距声源的距离的每一加倍,声压降低 6dB。对于近场声源,其更复杂(可变)。从近场声源SNF到第一和第二传声器(M2,M1)的距离差,在此为ΔLNF=L2NF-L1NF,被假定为等于10mm。传声器轴(在此指向远场声源SFF)与从近场声源SNF到第一传声器的方向之间的角度θ假定为45°。对于远场声源SFF,该差相同。然而,近场声源SNF的该差与最小距离的比ΔLNF/L1NF远大于远场声源SFF的相应比(ΔLFF/L1FF),因为L1FF>> L1NF。如果在近场中假定声压幅度的反换算,来自传声器(M1,M2)处的近场声源SNF的幅度(a1,a2)比由下式给出
这指明来自第一和第二传声器(M1,M2)处的近场声源的声压差远大于来自远场声源的声压差。角度和距离近似。
图3示出了当α=1时,作为前和后传声器信号的振幅比的函数的β实部的分析解法。图3示出了,在假定的r=1.1幅度比时,β的实部变得非常大,即对于较低频率,约20。大的差由两个正交波束形成器(即延迟-求和及延迟-求减波束形成器)在非常低频率时的量值响应在目标消除波束形成器消除输入信号(a1/a2=1)的情形下变得非常不同的事实引起。在输入信号未被消除的情形下,两个正交波束形成器之间的差较小。重要的是,当a1不等于a2时,即使对于较高频率,实部变得不同于零。
我们因而提出基于该特性的自我话音检测器。
其中ω(k)为频道加权函数及THov为阈值。对于较低频道,设定ω(k)=1;及对于较高频道,设定ω(k)=0,可能有利,因为(1)在假定的振幅比范围,在较低频率具有较高的值;及(2)较低频率对终端用户之间波束形成器权重的变化更鲁棒。在实施例中,自我话音仅在低频率时检测到,因为低频率性态很好地对应于在自由场假设下得到的等式,例如<2kHz,或<1.5kHz。
跨频率求平均可导致错误检测的自我话音。使用随电平而变的OV检测将有利,因为大多数自我话音高于某一电平。
引入电平检测器也可帮助处理另一问题,即因失配传声器引起的错误OV 检测。
传声器之间的电平差将在所有输入电平下存在,其中OV仅在高输入电平下存在。我们因而可仅选择在未检测到自我话音时调整传声器电平差。通过在自我话音检测时引入电平检测器,我们仍可能在低输入电平时如低于50dB或低于55dB的输入电平使能调整传声器匹配。
几个自我话音决策/判断可并行进行,对自我话音检测可能具有不同的判据,取决于应用(关键字识别、传声器匹配等)。
作为备选,自我话音检测可基于下面的特性。
或者
其中τ(k)为随频率而变的阈值。阈值可取决于OV检测器的计划用途。在实施例中,对于OV检测器的不用应用,不同的OV阈值可并行使用。
自我话音检测可通过组合左和右听力仪器的检测器更鲁棒地进行。该检测器可与其它检测器如话音活动检测器或内置加速计或输入电平结合。
通常应避免呈现来自朝向用户自我话音波束形成器调整的自适应波束形成器的输出声音,因为用户确定他自己的话音电平变得很难。自我话音检测器因而可用于防止波束形成器消除用户自我话音,例如通过使自适应波束形成器减弱,如EP3236672A1中描述的。
如果检测到自我话音,传声器匹配算法的更新应中止,因为传声器匹配算法可能适应自我话音引起的传声器电平差。
另一近场声音为来自被保持靠近耳朵的电话的声音。这在图6A、6B中示出。图6A示出了第一电话对话情形,其中自我话音被呈现给两听力仪器。图 6B示出了电话对话情形的第二部分,其中当远端声音存在时,来自电话扬声器的近场声音被呈现给电话被保持到其上的听力仪器。这可用于检测电话对话及电话被保持到哪一听力仪器。
当佩戴听力仪器的用户正在讲话时,预期自我话音检测器在远离电话的耳朵处(即图6A中位于右耳处的HD2处)最好地工作,因为来自电话的反射可能干扰自我话音波束形成器自适应系数。该差异可用于确定电话被保持到哪一耳朵。自我话音可对应于截然不同的β值,耳朵附近的电话可对应于截然不同的β值。
作为备选或另外,知道来自电话的远端声音频带有限及出现在近场中同样产生独特的电话波束形成器特性,其可用于确定电话对话是否完成:
其中THphone为阈值。知道电话对话完成及电话机被保持到哪一耳朵可用于使能将电话信号从接收电话信号的听力仪器传给对侧听力仪器。同样,在该情形下,可应用其它分类方案(例如逻辑回归或神经网络)。
图7示出了根据本发明的听力装置的实施例,包括位于BTE部分及ITE部分中的传声器。图7的听力装置HD如助听器属于特定类型(有时称为耳内接收器式或RITE型),包括适于位于用户耳朵处或耳后的BTE部分(BTE)和适于位于用户耳道中或耳道处并包括输出变换器SPK如接收器(扬声器)的ITE 部分(ITE)。BTE部分和ITE部分通过连接元件IC和ITE及BTE部分中的内部接线(例如参见,示意性地示为BTE部分中的接线Wx)进行连接(如电连接)。BTE部分及ITE部分中的每一个分别包括输入变换器如传声器(MBTE和 MITE),其用于从佩戴听力装置的用户的环境拾取声音。在实施例中,ITE部分相对开放,从而使空气能通过和/或传送,进而使用户感知的堵耳效应最小化。在实施例中,根据本发明的ITE部分相较仅包括扬声器SPK和将扬声器定位在耳道中的圆顶件DO的典型RITE型不太开放。在实施例中,根据本发明的ITE 部分包括耳模并用于使相当大的声压级能传到用户(例如具有重度到深度听力损失的用户)的耳鼓。在实施例中,扬声器位于BTE部分中,及连接件IC包括用于将声音声学上传播到耳模并通过耳膜传播到用户耳鼓的管。在实施例中,通风口大小可根据OV检测器改变(例如机械地或电学地)。可电控的通风口例如在EP2835987A1中描述。
听力装置HD包括输入单元,其包括两个以上输入变换器(如传声器),每一输入变换器用于提供表示输入声音信号的电输入音频信号。输入单元还包括两个(可个别选择的)无线接收器(WLR1,WLR2),用于提供相应的直接接收的辅助音频输入和/或控制或信息信号。BTE部分包括其上安装有多个电子元件 (MEM,FE,DSP)的衬底SUB。BTE部分包括可配置的信号处理器DSP及可从其访问的存储器MEM。在实施例中,信号处理器DSP形成集成电路如(主要) 数字集成电路的一部分,而前端芯片(FE)主要包括模拟电路和/或混合的模拟数字电路(包括到传声器和扬声器的接口)。
听力装置HD包括基于来自信号处理器DSP的增强的音频信号或者源自其的信号将增强的输出信号提供为可由用户感知为声音的刺激的输出变换器SPK。作为备选或另外,来自信号处理器DSP的增强的音频信号根据具体应用场合可被进一步处理和/或传给另一装置。
在图7的听力装置实施例中,ITE部分包括扬声器(接收器)SPK形式的输出单元,用于将电信号转换为声学信号。图7实施例的ITE部分还包括用于从环境拾取声音的输入变换器MITE(如传声器)。输入变换器MITE根据声学环境可或多或少从输出变换器SPK拾取声音(无意的声学反馈)。ITE部分还包括引导件如圆顶件或耳模或微型耳模DO,用于引导并将ITE部分定位在用户的耳道中。
在图7的场合中,(远场)(目标)声源S(及与环境中的其它声音混合) 被传播到相应声场:BTE部分的BTE传声器MBTE处的声场、ITE部分的ITE 传声器MITE处的SITE、及耳鼓处的SED。
图7中例示的听力装置HD表示便携装置,及还包括电池BAT如可再充电电池,用于对BTE部分及ITE部分的电子元件供电。在多个不同实施例中,图 7的听力装置可实施根据本发明的自我话音检测器。
在实施例中,听力装置HD如助听器(如处理器DSP)适于提供随频率而变的增益和/或随电平而变的压缩和/或一个或多个频率范围到一个或多个其它频率范围的移频(具有或没有频率压缩),例如以补偿用户的听力受损。
图7的听力装置包含两个输入变换器(MBTE和MITE)如传声器,当听力装置在工作状态安装在用户头上时,一个(MITE,ITE部分中)位于用户耳道中或耳道处,及另一个(MBTE,BTE部分中)位于用户耳朵的别处(例如用户的耳(耳廓)后)。在图7的实施例中,听力装置配置成使得两个输入变换器 (MBTE和MITE)在听力装置处于正常工作状态而安装在用户耳朵处时沿实质上水平的线OL定位(例如参见图7中的输入变换器MBTE,MITE及双箭头虚线 OL)。这具有有利于来自输入变换器的电输入信号按适当的(水平)方向例如按用户的“视向”(例如朝向目标声源)波束形成的优点。
图8A示出了β的标记为“自我话音”的样本的示例性分布。图8B示出了图8A的“自我话音β”的白化版,使得该数据以起点为中心并具有单位方差。藉此,基于β的大小,可容易地评估自我话音的可能性。
为应用简单的、基于β的大小标记自我话音的判据,我们可预先白化该数据。预先白化例如通过减去数据集的均值并应用旋转或缩放矩阵(例如基于 Cholesky因数分解)使得标记为“话音”的数据为具有零均值和单位方差的分布进行。藉此,我们可应用简单的判据,即如果β的大小(基于距离测量,例如基于欧氏(Euclidian)距离)小于给定阈值,的给定样本被标记为自我话音 (如自我话音指示量)。
图9A示出了白化应用于完全数据集的如图8A中所示的标记为“自我话音”的部分。图9B示出了白化应用于完全数据集的记为“非自我话音”的部分。
例子:有监督的学习
图10A示意性地示出了通过逻辑回归形式的有监督的学习技术分类自我话音的例子。图10B示意性地示出了通过神经网络形式的有监督的学习技术分类自我话音的例子。
自我话音不妨基于有监督的学习进行分类,即,给定通过自我话音/非自我话音标记的一组n个采样值β=[β1,...,βn]。自我话音例如可通过逻辑回归或者L 隐层神经网络(在此为针对L=1所示的前馈网络)进行检测。除β之外,其它传感器数据(例如加速度数据和/或输入电平和/或传自双耳听力系统的另一听力仪器的β值)也可被提供为输入。在此作为例子,前馈网络被示出。也可应用其它网络结构(例如卷积网络或重复网络)或者不同网络结构的组合。
逻辑分类器通常由应用于线性函数z=Wx+b的S形函数组成,其中W为1×n权重向量乘以n×1输入向量x(=β)。b为标量偏差。逻辑函数将标量值z映射为0到1之间的概率值,其可通过应用阈值而被转换为二元判断。W和b的值基于标记的训练数据(例如包含自我话音/非自我话音)优化。
与逻辑回归类似,神经网络(在图10B中例示为前馈神经网络)具有输入层和输出层,其再次可通过应用于z的逻辑函数给出。此外,神经网络具有一个或多个隐藏层。在实施例中,神经网络包含三层。隐藏层l包含n[l]个神经元,每一神经元将来自前一层的信息传给下一层。第l层的第i神经元将非线性激活函数g(z)应用于来自前一层的数据。按向量记法,即a[l]=g(W[l]a[l-1]+ bl,其中al=a1l…anl lT,Wl为第l层的大小为nl×nl-1的权重矩阵,及bl为大小为n[l]×1的偏差向量。与逻辑回归类似,W[l]和b[l]的值基于标记的训练数据(例如包含自我话音/非自我话音)优化。
在实施例中,神经网络的输入由参数(例如向量)β给出。在另一实施例中,输入向量为β的子集,如β的与低于某一阈频fth的频率对应的值。这可能有利,因为β在低频带的值不太随用户而变且对耳朵附近的障碍物不太敏感。阈频fth例如可以是500Hz、750Hz或1000Hz。
在又一实施例中,神经网络的输入向量除β之外还可包含另外的特征。这样的特征例如可以是a)加速计数据;b)来自另一听力装置的β向量(β可在相应耳朵处的听力装置之间交换);c)Mel倒谱系数(MFCC);或d)从这些特征得到的特征,如用户特有特征如基音。
在另一实施例中,针对不同的应用可实施不同的OV检测器。对于同一组输入向量,针对不同的应用,可训练不同的神经网络,其中训练数据可(完全或部分)不同,例如一OV检测器用于关键字识别,另一OV检测器用于用户标识,第三OV检测器用于控制传声器匹配系统,及再一OV检测器结合电话对话使用(其中另外的特征可以是远端是否正在讲话)。
图13A示出了自适应波束形成器配置,其中后滤波器增益(PF增益)被分别应用于全向波束形成器C1(k)及目标消除波束形成器C2(k),并基于其可能平滑的版本,确定自适应因子β(k)。
在估计β(k)之前,后滤波器增益(PF增益)(跨时间和频率变化)可被应用于每一传声器信号。或直接应用于传声器信号X1(k),X2(k)的时频表示,或应用于得到的波束形成器C1(k)和C2(k)(通过相应的多组复值波束形成器权重 (w11(k),w12(k))和(w21(k),w22(k))定义),例如如图13A中所示,分别应用于全向波束形成器C1(k)和目标消除波束形成器C2(k)。由于后滤波器的目标在于衰减背景噪声并保持目标信号(如自我话音,参见图13B)不被改变,可能在计算β(k)之前去除一些噪声。这是有利的,因为背景噪声可能影响β(k)。LP为(非必需的)低通滤波(平滑)单元。单元Conj提供该单元的输入信号的复共轭。单元│·│2提供该单元的输入信号的量值的平方。
图13B示出了自我话音波束形成器,其示出了自我话音增强后滤波器 (OV-PF)增益(图13A的PF gain(k))可怎样按照自我话音消除波束形成器 (C2(k),通过复值波束形成器权重wov_cncl_1(k),wov_cncl_2(k)定义)和包含自我话音信号的另一波束形成器(C1(k),通过复值波束形成器权重wov1(k),wov2(k)定义)如(可能自适应的)自我话音增强波束形成器基于噪声估计量进行估计。当听力装置安装就位时,来自用户嘴巴(目标声源)的方向由记为“自我话音方向”的箭头示意性地标示。
不同于自我话音的声学事件的例子:食物摄取监测
食物摄取监测有利于体重监督。通过估计一天期间的食物摄取量,可能在监测到的食物摄取量太高或太低时或者食物摄取应在一天期间的某一时间内时提供警告。这样的监测可帮助遭受肥胖、其它体重问题或糖尿病的人。许多老年人由于太少的食物摄取量而具有重量减轻问题。自动食物摄取监测例如可帮助护理人员使得老年人具有足够的食物摄取量。如[Liutkus et al.;2015]中提出的,食物摄取可通过监测食物摄取声学如咀嚼和吞咽声音进行监测。问题在于食物摄取声学为低能声音,这些声音在大声的声音环境如餐厅中因而很难可靠地检测。
提出通过包含至少一传声器及运动传感器如加速计的听力仪器监测食物摄取声音。在传声器记录食物摄取声音及其它声学事件的同时,加速计对于独立于环境的声音电平拾取来自食物摄取声音的振动更可靠。听力仪器传声器和加速计的可能放置如图11A和11B中所示。
图11A示出了对于ITE型听力装置,用于食物摄取声学检测的可能的传声器和加速计放置。图11B示出了对于包括BTE部分及ITE部分的听力装置,用于食物摄取声学检测的可能的传声器和加速计放置。
优选地,加速计acc放在耳内(ITE)单元内。ITE单元也可包含传声器 (图11A中的M1,M2;图11B中的M3)。这些传声器也可放在耳后(BTE) 单元中(参见图11B),或者,优选地,至少一传声器(图11B中的(M1,M2)) 放在BTE单元中及至少一传声器(图11B中的M3)连同加速计acc一起放在 ITE单元中。ITE单元例如可包括传声器、加速计和接收器(扬声器)。
优选地,加速计放在ITE单元中,因为来自颌部(在用户嘴中咀嚼食物期间)的振动容易被放在耳中的加速计acc拾取。同样,耳中的传声器相较于耳后传声器将更容易能够拾取咀嚼声音。为了区分咀嚼声音和外部声学声音, ITE传声器信号与加速计振动之间的相关将指明食物摄取声音。耳中的传感器与耳后的传感器之间的另外的相关将进一步使内部声学事件与外部声学事件之间的区分容易。类似地,其使食物摄取声音与自我话音之间的区分容易。此外,自我话音相较于因食物摄取产生的声学事件通常将具有不同的声学性质。
图12示意性地示出了所提出的、可怎样基于不同传感器之间的相关检测食物摄取声音的方法。三种不同声音类型即“外部声音”、“自我话音”和“食物摄取声音”的检测分别在图12的上部、中间和底部图示。对于每一声音类型,三个相关测量结果的预期结果(被估计为低或高)在图12中标示:左侧,来自ITE和BTE传声器的信号之间的相关;中间,来自ITE传声器和加速计的信号之间的相关;右侧,来自BTE传声器和加速计的信号之间的相关。除了BTE传声器之外或者在不存在BTE传声器时,可考虑语音和食物摄取声音的不同声学性质。例如除了加速计数据之外,食物摄取检测也可基于自适应因子β(k)。食物摄取分类/检测也可基于用标记的数据(食物摄取/非食物摄取) 训练的逻辑回归或神经网络。食物摄取检测结果可被记录在听力装置中或者无线连接到听力装置的外部装置中。基于记录的食物摄取事件,如果例如食物摄取量太低、太高或者如果食物摄取不在一天期间的某一时间内,可向用户和/或护理人员传送警告。藉此,食物摄取监测可帮助用户整天保持稳定的血糖水平 (这对于具有糖尿病的人很重要)。
当由对应的过程适当代替时,上面描述的、“具体实施方式”中详细描述的及权利要求中限定的装置的结构特征可与本发明方法的步骤结合。
除非明确指出,在此所用的单数形式“一”、“该”的含义均包括复数形式(即具有“至少一”的意思)。应当进一步理解,说明书中使用的术语“具有”、“包括”和/或“包含”表明存在所述的特征、整数、步骤、操作、元件和/或部件,但不排除存在或增加一个或多个其他特征、整数、步骤、操作、元件、部件和/或其组合。应当理解,除非明确指出,当元件被称为“连接”或“耦合”到另一元件时,可以是直接连接或耦合到其他元件,也可以存在中间插入元件。如在此所用的术语“和/或”包括一个或多个列举的相关项目的任何及所有组合。除非明确指出,在此公开的任何方法的步骤不必须精确按所公开的顺序执行。
应意识到,本说明书中提及“一实施例”或“实施例”或“方面”或者“可”包括的特征意为结合该实施例描述的特定特征、结构或特性包括在本发明的至少一实施方式中。此外,特定特征、结构或特性可在本发明的一个或多个实施方式中适当组合。提供前面的描述是为了使本领域技术人员能够实施在此描述的各个方面。各种修改对本领域技术人员将显而易见,及在此定义的一般原理可应用于其他方面。
权利要求不限于在此所示的各个方面,而是包含与权利要求语言一致的全部范围,其中除非明确指出,以单数形式提及的元件不意指“一个及只有一个”,而是指“一个或多个”。除非明确指出,术语“一些”指一个或多个。
因而,本发明的范围应依据权利要求进行判断。
参考文献
·EP3236672A1(Oticon)25.10.2017
·EP2835987A1(Oticon)18.10.2017
·[Liutkus et al.;2015]Antoine Liutkus,Temiloluwa Olubanjo,ElliotMoore, Maysam Ghovanloo,Source separation for target enhancement of foodintake acoustics from noisy recordings,2015IEEE Workshop on Applications ofSignal Processing to Audio and Acoustics,October 18-21,2015,New Paltz,NY,5pages.
Claims (17)
1.一种听力装置,配置成位于用户的耳朵处或耳朵中或者完全或部分植入在耳朵处的头部中,所述听力装置包括:
-输入单元,用于提供表示用户环境中的声音的多个电输入信号;
-输出单元,用于基于所述电输入信号或其处理后版本提供可由用户感知为声音的刺激;
-连接到所述输入单元和所述输出单元的自适应波束形成器滤波单元,配置成基于所述多个电输入信号及自适应更新的自适应因子β(k)提供空间滤波的信号,其中k为频率指数;
-存储器,其中存储A)等于所述自适应因子β(k)的在存在用户话音时确定的值βov(k)或者随之而变的参考值REF;或者B)基于逻辑回归或神经网络的用于分类的一组参数;及
-自我话音检测器,配置成提供给定输入声音是否或者以何种概率源自用户话音的估计量,其中称为自我话音指示量的所述估计量随a)所述自适应因子β(k)的当前值及所述参考值REF或者b)基于逻辑回归或神经网络的用于分类的一组参数而变。
2.根据权利要求1所述的听力装置,其中自适应波束形成器滤波单元包括第一组波束形成器C1和C2,其中自适应波束形成器滤波单元配置成提供合成定向信号Y(k)=C1(k)-β(k)C2(k),其中β(k)为所述自适应更新的自适应因子。
3.根据权利要求1或2所述的听力装置,其中波束形成器C1和C2包括:
-波束形成器C1,配置成保留来自目标方向的信号不被改变;及
-正交波束形成器C2,配置成消除来自目标方向的信号。
4.根据权利要求2所述的听力装置,其中两个波束形成器C1和C2包括:
-正交波束形成器C1,配置成消除来自目标方向的信号;
-波束形成器C2,其与C1不正交。
5.根据权利要求2所述的听力装置,其中自适应更新的自适应因子β(k)表达为:
其中β(k)在来自目标方向的信号不被改变的约束条件下使噪声最小化,其中k为频率指数,*指复共轭,<·>指统计预期算子,及c为常数。
8.根据权利要求7所述的听力装置,其中对于低于第一阈频的较低频道,ω(k)=1;而对于高于第二阈频的较高频道,ω(k)=0。
9.根据权利要求1所述的听力装置,配置成使得所述自适应因子β根据噪声标志进行更新。
10.根据权利要求1所述的听力装置,包括天线和收发器电路,从而使能在听力装置与另一装置之间交换信息和/或音频信号。
11.根据权利要求10所述的听力装置,其中自我话音指示量取决于由另一装置提供的自我话音估计量。
12.根据权利要求1所述的听力装置,其中自我话音指示量取决于一个或多个其它检测器或者运动传感器。
13.根据权利要求1所述的听力装置,由助听器、头戴式耳机、耳麦、耳朵保护装置或其组合构成或者包括助听器、头戴式耳机、耳麦、耳朵保护装置或其组合。
14.一种听力系统,包括第一根据权利要求1所述的听力装置及包括辅助装置,其中所述听力系统适于在该听力装置与辅助装置之间建立通信链路以使得信息和/或音频信号能进行交换或者从一装置转发给另一装置。
15.根据权利要求14所述的听力系统,其中所述辅助装置包括第二根据权利要求1所述的听力装置,第一和第二听力装置形成双耳听力系统的一部分。
16.根据权利要求15所述的听力系统,包括配置成比较更新的自适应因子β(k)的相应当前值的控制单元,其中电话是否被保持接近用户的给定耳朵的指示基于所述更新的自适应因子β(k)确定。
17.听力装置的运行方法,所述听力装置配置成位于用户的耳朵处或耳朵中或者完全或部分植入在耳朵处的头部中,所述方法包括:
-提供表示用户环境中的声音的多个电输入信号;
-基于所述电输入信号或其处理后版本提供可由用户感知为声音的刺激;
-基于所述多个电输入信号及自适应更新的自适应因子β(k)提供空间滤波的信号,其中k为频率指数;
-存储等于所述自适应因子β(k)的在存在用户话音时确定的βov(k)或者随之而变的参考值REF,或者存储基于逻辑回归或神经网络的用于分类的一组参数;及
-提供给定输入声音是否或者以何种概率源自用户话音的估计量,其中所述估计量随所述自适应因子β(k)的当前值及所述参考值REF或者基于逻辑回归或神经网络的用于分类的一组参数而变。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP18179374 | 2018-06-22 | ||
EP18179374.6 | 2018-06-22 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110636429A true CN110636429A (zh) | 2019-12-31 |
CN110636429B CN110636429B (zh) | 2022-10-21 |
Family
ID=62750880
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910543437.2A Active CN110636429B (zh) | 2018-06-22 | 2019-06-21 | 包括声学事件检测器的听力装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US10856087B2 (zh) |
EP (2) | EP4009667A1 (zh) |
CN (1) | CN110636429B (zh) |
DK (1) | DK3588981T3 (zh) |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11477587B2 (en) * | 2018-01-16 | 2022-10-18 | Cochlear Limited | Individualized own voice detection in a hearing prosthesis |
DK3709115T3 (da) | 2019-03-13 | 2023-04-24 | Oticon As | Høreanordning eller system omfattende en brugeridentifikationsenhed |
US10848891B2 (en) * | 2019-04-22 | 2020-11-24 | Facebook Technologies, Llc | Remote inference of sound frequencies for determination of head-related transfer functions for a user of a headset |
US11557307B2 (en) * | 2019-10-20 | 2023-01-17 | Listen AS | User voice control system |
EP4366328A2 (en) * | 2020-03-06 | 2024-05-08 | Sonova AG | Hearing device, system and method for processing audio signals |
US11330366B2 (en) | 2020-04-22 | 2022-05-10 | Oticon A/S | Portable device comprising a directional system |
DE102020207579A1 (de) * | 2020-06-18 | 2021-12-23 | Sivantos Pte. Ltd. | Verfahren zur richtungsabhängigen Rauschunterdrückung für ein Hörsystem, welches eine Hörvorrichtung umfasst |
DE102020209555A1 (de) | 2020-07-29 | 2022-02-03 | Sivantos Pte. Ltd. | Verfahren zur direktionalen Signalverarbeitung für ein Hörgerät |
US11750984B2 (en) | 2020-09-25 | 2023-09-05 | Bose Corporation | Machine learning based self-speech removal |
US11356783B2 (en) | 2020-10-02 | 2022-06-07 | Oticon A/S | Hearing device comprising an own voice processor |
CA3196230A1 (en) * | 2020-11-30 | 2022-06-02 | Henry Luo | Systems and methods for own voice detection in a hearing system |
EP4064729A1 (en) * | 2021-03-22 | 2022-09-28 | Sonova AG | Detecting and quantifying a liquid and/or food intake of a user wearing a hearing device |
EP4228287A1 (en) * | 2022-02-14 | 2023-08-16 | Sonova AG | Hearing device arrangement and method for audio signal processing |
US20230396942A1 (en) * | 2022-06-02 | 2023-12-07 | Gn Hearing A/S | Own voice detection on a hearing device and a binaural hearing device system and methods thereof |
EP4297436A1 (en) | 2022-06-24 | 2023-12-27 | Oticon A/s | A hearing aid comprising an active occlusion cancellation system and corresponding method |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150172807A1 (en) * | 2013-12-13 | 2015-06-18 | Gn Netcom A/S | Apparatus And A Method For Audio Signal Processing |
CN105898651A (zh) * | 2015-02-13 | 2016-08-24 | 奥迪康有限公司 | 包括用于拾取用户自我话音的分立传声器单元的听力系统 |
EP3253075A1 (en) * | 2016-05-30 | 2017-12-06 | Oticon A/s | A hearing aid comprising a beam former filtering unit comprising a smoothing unit |
EP3328097A1 (en) * | 2016-11-24 | 2018-05-30 | Oticon A/s | A hearing device comprising an own voice detector |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8942387B2 (en) * | 2002-02-05 | 2015-01-27 | Mh Acoustics Llc | Noise-reducing directional microphone array |
US9312826B2 (en) * | 2013-03-13 | 2016-04-12 | Kopin Corporation | Apparatuses and methods for acoustic channel auto-balancing during multi-channel signal extraction |
EP2835987B1 (en) | 2013-12-06 | 2017-08-30 | Oticon A/s | Hearing aid having controllable vent |
EP3101919B1 (en) * | 2015-06-02 | 2020-02-19 | Oticon A/s | A peer to peer hearing system |
EP3185589B1 (en) * | 2015-12-22 | 2024-02-07 | Oticon A/s | A hearing device comprising a microphone control system |
DK3236672T3 (da) | 2016-04-08 | 2019-10-28 | Oticon As | Høreanordning, der omfatter en stråleformerfiltreringsenhed |
-
2019
- 2019-06-13 EP EP21209819.8A patent/EP4009667A1/en active Pending
- 2019-06-13 EP EP19179938.6A patent/EP3588981B1/en active Active
- 2019-06-13 DK DK19179938.6T patent/DK3588981T3/da active
- 2019-06-21 US US16/448,711 patent/US10856087B2/en active Active
- 2019-06-21 CN CN201910543437.2A patent/CN110636429B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150172807A1 (en) * | 2013-12-13 | 2015-06-18 | Gn Netcom A/S | Apparatus And A Method For Audio Signal Processing |
CN105898651A (zh) * | 2015-02-13 | 2016-08-24 | 奥迪康有限公司 | 包括用于拾取用户自我话音的分立传声器单元的听力系统 |
EP3253075A1 (en) * | 2016-05-30 | 2017-12-06 | Oticon A/s | A hearing aid comprising a beam former filtering unit comprising a smoothing unit |
EP3328097A1 (en) * | 2016-11-24 | 2018-05-30 | Oticon A/s | A hearing device comprising an own voice detector |
Also Published As
Publication number | Publication date |
---|---|
EP3588981B1 (en) | 2021-11-24 |
US20190394586A1 (en) | 2019-12-26 |
CN110636429B (zh) | 2022-10-21 |
EP3588981A1 (en) | 2020-01-01 |
US10856087B2 (en) | 2020-12-01 |
EP4009667A1 (en) | 2022-06-08 |
DK3588981T3 (da) | 2022-01-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110636429B (zh) | 包括声学事件检测器的听力装置 | |
US10356536B2 (en) | Hearing device comprising an own voice detector | |
US11245993B2 (en) | Hearing device comprising a noise reduction system | |
US10966034B2 (en) | Method of operating a hearing device and a hearing device providing speech enhancement based on an algorithm optimized with a speech intelligibility prediction algorithm | |
CN106911992B (zh) | 包括反馈检测器的听力装置 | |
US11503414B2 (en) | Hearing device comprising a speech presence probability estimator | |
CN109996165B (zh) | 包括适于位于用户耳道处或耳道中的传声器的听力装置 | |
CN110035367B (zh) | 反馈检测器及包括反馈检测器的听力装置 | |
US11363389B2 (en) | Hearing device comprising a beamformer filtering unit for reducing feedback | |
CN115767388A (zh) | 一种听力装置 | |
US20220124444A1 (en) | Hearing device comprising a noise reduction system | |
CN112492434A (zh) | 包括降噪系统的听力装置 | |
US11576001B2 (en) | Hearing aid comprising binaural processing and a binaural hearing aid system | |
US11843917B2 (en) | Hearing device comprising an input transducer in the ear |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |