CN111432318B - 包括直接声音补偿的听力装置 - Google Patents

包括直接声音补偿的听力装置 Download PDF

Info

Publication number
CN111432318B
CN111432318B CN202010023574.6A CN202010023574A CN111432318B CN 111432318 B CN111432318 B CN 111432318B CN 202010023574 A CN202010023574 A CN 202010023574A CN 111432318 B CN111432318 B CN 111432318B
Authority
CN
China
Prior art keywords
signal
hearing device
sound
time
hearing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010023574.6A
Other languages
English (en)
Other versions
CN111432318A (zh
Inventor
J·詹森
P·索玛
S·O·皮特森
K·B·拉斯姆森
J·M·德翰
M·S·彼得森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Oticon AS
Original Assignee
Oticon AS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Oticon AS filed Critical Oticon AS
Publication of CN111432318A publication Critical patent/CN111432318A/zh
Application granted granted Critical
Publication of CN111432318B publication Critical patent/CN111432318B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/50Customised settings for obtaining desired overall acoustical characteristics
    • H04R25/505Customised settings for obtaining desired overall acoustical characteristics using digital signal processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/45Prevention of acoustic reaction, i.e. acoustic oscillatory feedback
    • H04R25/453Prevention of acoustic reaction, i.e. acoustic oscillatory feedback electronically
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/55Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception using an external connection, either wireless or wired
    • H04R25/554Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception using an external connection, either wireless or wired using a wireless connection, e.g. between microphone and amplifier or using Tcoils
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • H04R3/02Circuits for transducers, loudspeakers or microphones for preventing acoustic reaction, i.e. acoustic oscillatory feedback
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2225/00Details of deaf aids covered by H04R25/00, not provided for in any of its subgroups
    • H04R2225/43Signal processing in hearing aids to enhance the speech intelligibility
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2460/00Details of hearing devices, i.e. of ear- or headphones covered by H04R1/10 or H04R5/033 but not provided for in any of their subgroups, or of hearing aids covered by H04R25/00 but not provided for in any of its subgroups
    • H04R2460/01Hearing devices using active noise cancellation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/30Monitoring or testing of hearing aids, e.g. functioning, settings, battery power

Abstract

本申请公开了包括直接声音补偿的听力装置,其包括:至少一输入变换器;模数转换器;处理器;输出变换器;听力装置的正向信号通路为从所述至少一输入变换器的声学输入到所述输出变换器的声学输出的通路并具有正向信号传播时延τHI;其中所述听力装置还包括补偿单元,用于至少部分抵消从所述声场S直接传播的、经直接声学传播通路传播到耳道的声音,其中所述补偿单元配置成预测直接传播的声音并按所述直接传播的声音的反相播放直接传播的声音。

Description

包括直接声音补偿的听力装置
技术领域
本申请涉及听力装置如助听器或耳机或头戴式耳机领域。
背景技术
经直接声学传播通路(图1A中的DAP,或图1B中从助听器的输入到输出的下部箭头)传播到耳鼓的声输入s(t)的版本被添加到来自听力仪器的声输出s’(t-τHI)。直接传播的信号避开听力仪器,例如通过通风通道(以避免阻塞,例如参见图4A)或其它计划(如圆顶件,例如参见图4B)或非计划的传播通路(例如听力仪器与耳道壁之间的泄漏,例如参见图4A)。因此,呈现给耳鼓的声信号包括听力仪器和直接声学通路的贡献的和,即sED=s’(t-τHI)+s”(t–τdir)。如果τHI和τdir不同(通常将是如此),函数s’和s”的自变量证明在耳鼓处混合的声信号的可能的“异相”性质。到达耳鼓的组合信号将因两个信号分量s’(t-τHI)和s”(t–τdir)的相互作用而发生声音失真。具体地,信号分量s”(t–τdir)的存在将导致感知上令人烦恼的梳齿滤波效应,这是不想要的。
在开放验配听力仪器上下文中(参见图4A、4B)存在的同时,对于头戴式耳机尤其是闭式耳杯头戴式耳机出现类似的问题。在该情形下,信号分量s”(t–τdir)指通过耳杯泄漏的信号,同样在该情形下,s”(t–τdir)是不想要的分量,因为其干扰从耳杯内的扬声器播放的主要信号s’(t-τHI)。
发明内容
本发明涉及用于估计和抵消信号分量s”(t–τdir)的方法。
听力装置
在本申请的一方面,提供一种配置成将声音播放到用户耳道内的听力装置如助听器。该听力装置包括:
-至少一输入变换器(ITq),用于在所述至少一输入变换器处拾取来自听力装置周围声场S的声音sq并提供对应的表示所述声音sq的至少一电输入信号INq,i=1,…,Q,其中Q≥1;
-模数转换器,用于将所述至少一电输入信号转换为由离散样本sq(p)表示的数字化信号,其中p为时间样本指数;
-处理器,用于将所述至少一电输入信号sq(p)处理为处理后的信号;
-输出变换器OT,用于将包括所述处理后的信号的电信号转换为声学信号s”。
听力装置的正向信号通路为从所述至少一输入变换器的声学输入到所述输出变换器的声学输出的通路,听力装置具有正向信号传播时延τHI。听力装置还包括补偿单元,用于至少部分抵消从所述声场S直接传播的、经直接声学传播通路传播到耳道的声音。补偿单元配置成预测直接传播的声音并按所述直接传播的声音的反相播放直接传播的声音。
从而可提供改进的听力装置。
术语“反相”指两个信号之间的相位差180°(从而使两个信号能相互抵消)。从所述至少一输入变换器的声学输入到所述输出变换器的声学输出的直接声学传播通路展现直接传播时延τdir。直接传播时延τdir通常小于听力装置的正向信号传播时延τHI(例如小5-10倍以上),例如远小于τHI(如小100-1000倍以上)。输入变换器如传声器的数量Q例如可以是2、3、4或更多。
补偿单元可配置成根据补偿单元的时延τcomp预测所述离散样本sq(p)。补偿单元可配置成根据直接声学传播通路的时延τdir预测所述离散样本sq(p)。补偿单元可配置成根据补偿单元的时延τcomp及直接声学传播通路的时延τdir预测所述离散样本sq(p)。补偿单元的时延τcomp可大于直接声学传播通路的时延τdir。补偿单元可配置成预测所述离散样本sq(p),其为将来的τpred=τcompdir[秒]。直接声学传播通路的时延τdir可随频率而变。补偿单元的时延τcomp可随频率而变。
当补偿单元集成在听力装置中时,补偿单元的时延τcomp可包括从至少一输入变换器的输入到输出变换器的输出的电信号通路的时延。
补偿单元(CU)的时延τcomp意为从拾取声音的输入变换器(如图4A中的M2)的输入到输出变换器(如图4A中的SPK)的输出的电信号通路的时延,输出变换器传递由补偿单元(CU,参见图4A中的虚线框,展现时延τcomp=τIeCUO,其中τI、τeCU和τO分别为图5中的输入级(包括单元M1、AD)、补偿单元的处理部分eCU和输出级(包括单元“+”、DA、OU)的时延)预测的“补偿信号”。
听力装置可配置成包括表示所述直接声学传播通路的传递函数的频率整形。频率整形例如可包括将随频率而变的增益(如放大或衰减,和/或相位变化)应用于所述直接传播的声音的预测。频率整形可由直接声学传播通路的脉冲响应或频率传递函数(在图3A中通过hec标示)进行表示。直接声学传播通路的时延τdir可随频率而变。
补偿单元可配置成基于线性或非线性预测算法或基于线性与非线性预测算法的组合预测直接传播的声音。补偿单元可配置成基于当前和过去的样本预测电输入信号(或其处理后版本)的将来样本。
补偿单元可配置成基于线性或非线性最小均方误差(minimum meansquareerror,MMSE)预测来预测直接传播的声音。
补偿单元可配置成基于电输入信号或其处理后版本的当前样本及多个(P-1个)过去样本的线性组合、使用对应的权重ai,i=0,1,…,P-1或使用非线性函数f(.)预测直接传播的声音。直接传播的声音例如可基于神经网络进行预测。神经网络例如可使用多种不同声学环境如适合特定用户的环境的数据进行在线或离线训练。
听力装置可包括存储器,与直接传播的声音的预测有关的参数可永久和/或暂时存储于其中并由处理器和/或补偿单元访问。与预测有关的参数包括将被预测算法考虑的历史样本的数量(P,K)。参数(P,K)应选择成足够长(K至少≥P)以抓住当前声音的周期性,但不用长到包括与目前声音(如语音)元素的预测无关的声音(如语音)(例如表示另一句子或词语(甚至另一讲话者))。此外,为了(限制)计算复杂性(以限制功耗),参数(P,K)应选择成尽可能小。
补偿单元可配置成离线确定权重ai,i=0,1,…,P-1或非线性函数f(.)。所述权重或非线性函数f(.)(或其近似值)可在听力装置使用之前例如在验配或制造听力装置期间存储在存储器中。
补偿单元可配置成在听力装置使用期间确定所述权重ai,i=0,1,…,P-1或非线性函数f(.)。
补偿单元配置成使用包含价值函数的最优化程序确定所述权重ai,i=0,1,…,P-1或所述非线性函数f(.)。补偿单元可配置成通过使最小二乘预测误差(MMSE)最小化而确定所述权重ai,i=0,1,…,P-1或非线性函数f(.)。该预测误差可从电输入信号的(优选最近的)历史数据确定,在电输入信号或其处理后版本的多个过去样本情形下直接传播的声音的预测值和已知值s已知,及可能存储在听力装置的存储器中(或者可由听力装置访问)。预测误差可通过使频率加权的预测误差最小化而(仅)在所选频率范围最小化(例如其中语音已知存在或对语音可懂度重要,例如参见图7B)。
所述权重ai,i=0,1,…,P-1或所述非线性函数f(.)在听力装置使用期间更新。所述权重或非线性函数例如可连续更新,例如针对每一样本或针对每第N个样本。所述权重或非线性函数例如可基于来自声学环境检测器的控制信号进行更新,例如在检测到声学环境中的变化时。更新过程例如可基于用户输入开始,例如经用户接口(例如实施为智能电话的APP),例如话音控制的接口,例如参见图6B。
听力装置可包括时域到时频域转换单元,用于按子频带表示提供时域输入信号。听力装置如补偿单元可配置成在所有频带k=1,…,K中执行预测算法,例如使用不同数量(Pk)的历史值来在K个频带的至少部分频带中预测将来值。
补偿单元可配置成使预测误差最小化,其按时间和/或频率的函数进行加权。直接传播的声音的预测可基于与用户的感知有关的价值函数,例如使用感知模型。补偿单元可配置成确定直接传播的声音的、导致感知上最小令人反感的信号的预测。这可通过使预测误差最小化实现,其作为时间和频率的函数(例如由函数g(l,n)表示,其中l为频率指数及n为时间指数,例如参见图8A、8B中的函数G(f))进行加权。
听力装置可配置成仅在所选频带执行预测算法,例如对语音可懂度最重要的频带,例如高于低频阈频fth,low且低于高频阈频fth,high的频带。高频阈频fth,high例如可以是4kHz、3kHz、2kHz或更小,如1kHz。低频阈频fth,low例如可大于或等于100Hz或200Hz,或者大于或等于500Hz(例如考虑低频声音趋于穿过通风孔或圆顶件开口逸离(因而不明显干扰耳鼓处的信号)的事实)。
听力装置可包括起始检测器,用于识别电输入信号中的瞬变并根据其提供起始控制信号,其中补偿单元配置成只要起始控制信号表明已检测到瞬变就限制或不顾所述直接传播的声音的当前预测值。在给定时间点如在时间指数n时检测到瞬变(例如通过每时间单位电平增加高于阈值确定)的情形下,可不顾(忽略,如盖写)直接传播的声音的当前预测值。而直接传播的声音的先前预测的值可用作当前预测。
听力装置可包括提供对应的至少两个电输入信号的至少两个输入变换器及用于基于至少两个电输入信号提供空间滤波的信号的波束形成器滤波单元。听力装置可包括三个以上或者四个以上输入变换器(或可配置成接收对应的一个或两个以上电输入信号(或其部分,如所选频率范围))。正向通路的计划呈现给用户的处理后的信号可基于空间滤波的信号。
听力装置可由助听器或任何其它可穿戴耳件如头戴式耳机(无麦克风)、耳麦、头戴式耳机(带麦克风)、耳朵保护装置或其组合构成或者包括助听器或任何其它可穿戴耳件如头戴式耳机(无麦克风)、耳麦、头戴式耳机(带麦克风)、耳朵保护装置或其组合。
听力装置可适于提供随频率而变的增益和/或随电平而变的压缩和/或一个或多个频率范围到一个或多个其它频率范围的移频(具有或没有频率压缩)以补偿用户的听力受损。在实施例中,听力装置包括用于增强输入信号并提供处理后的输出信号的信号处理器。
听力装置可包括输出单元,用于基于处理后的电信号提供由用户感知为声信号的刺激。在实施例中,输出单元包括耳蜗植入件(用于CI型听力装置)的多个电极或者骨导听力装置的振动器。在实施例中,输出单元包括输出变换器。在实施例中,输出变换器包括用于将刺激作为声信号提供给用户的接收器(扬声器)(例如在声学(基于空气传导的)听力装置中)。在实施例中,输出变换器包括用于将刺激作为颅骨的机械振动提供给用户的振动器(例如在附着到骨头的或骨锚式听力装置中)。
听力装置可包括用于提供表示声音的电输入信号的输入单元。在实施例中,输入单元包括用于将输入声音转换为电输入信号的输入变换器如传声器。在实施例中,输入单元包括用于接收包括声音的无线信号并提供表示所述声音的电输入信号的无线接收器。
听力装置可包括定向传声器系统,其适于对来自环境的声音进行空间滤波从而增强佩戴听力装置的用户的局部环境中的多个声源之中的目标声源的感知。在实施例中,定向系统适于检测(如自适应检测)传声器信号的特定部分源自哪一方向。这可以例如现有技术中描述的多种不同方式实现。在听力装置中,传声器阵列波束形成器通常用于空间上衰减背景噪声源。许多波束形成器变型可在文献中找到。最小方差无失真响应(MVDR)波束形成器广泛用在传声器阵列信号处理中。理想地,MVDR波束形成器保持来自目标方向(也称为视向)的信号不变,而最大程度地衰减来自其它方向的声音信号。广义旁瓣抵消器(GSC)结构是MVDR波束形成器的等同表示,其相较原始形式的直接实施提供计算和数字表示优点。
听力装置可包括用于从另一装置如从娱乐设备(例如电视机)、通信装置、无线传声器或另一听力装置接收直接电输入信号的天线和收发器电路(如无线接收器)。在实施例中,直接电输入信号表示或包括音频信号和/或控制信号和/或信息信号。在实施例中,听力装置包括用于对所接收的直接电输入进行解调的解调电路,以提供表示音频信号和/或控制信号的直接电输入信号,例如用于设置听力装置的运行参数(如音量)和/或处理参数。总的来说,听力装置的天线及收发器电路建立的无线链路可以是任何类型。在实施例中,无线链路在两个装置之间建立,例如在娱乐装置(如TV)和听力装置之间,或者在两个听力装置之间,例如经第三中间装置(如处理装置,例如遥控装置、智能电话等)。在实施例中,无线链路在功率约束条件下使用,例如由于听力装置是或包括便携式(通常电池驱动的)装置如助听器。在实施例中,无线链路为基于近场通信的链路,例如基于发射器部分和接收器部分的天线线圈之间的感应耦合的感应链路。在另一实施例中,无线链路基于远场电磁辐射。在实施例中,经无线链路的通信根据特定调制方案进行安排。在实施例中,无线链路基于标准化或专用技术。在实施例中,无线链路基于蓝牙技术(如蓝牙低功率技术)。
听力装置可为便携装置,如包括本机能源如电池例如可再充电电池的装置。
听力装置可包括输入单元(如输入变换器,例如传声器或传声器系统和/或直接电输入(如无线接收器))和输出单元如输出变换器之间的正向或信号通路。在实施例中,信号处理器位于该正向通路中。在实施例中,信号处理器适于根据用户的特定需要提供随频率而变的增益。在实施例中,听力装置包括具有用于分析输入信号(如确定电平、调制、信号类型、声反馈估计量等)的功能件的分析通路。在实施例中,分析通路和/或信号通路的部分或所有信号处理在频域进行。在实施例中,分析通路和/或信号通路的部分或所有信号处理在时域进行。
在实施例中,表示声信号的模拟电信号在模数(AD)转换过程中转换为数字音频信号,其中模拟信号以预定采样频率或采样速率fs进行采样,fs例如在从8kHz到48kHz的范围中(适应应用的特定需要)以在离散的时间点tn(或n)提供数字样本xn(或x[n]),每一音频样本通过预定的Nb比特表示声信号在tn时的值,Nb例如在从1到48比特的范围中如24比特。每一音频样本因此使用Nb比特量化(导致音频样本的2Nb个不同的可能的值)。数字样本x具有1/fs的时间长度,如50μs,对于fs=20kHz。在实施例中,多个音频样本按时间帧安排。在实施例中,一时间帧包括64个或128个音频数据样本。根据实际应用可使用其它帧长度。
听力装置可包括模数(AD)转换器以按预定的采样速率如20kHz对模拟输入(例如来自输入变换器如传声器)进行数字化。在实施例中,听力装置包括数模(DA)转换器以将数字信号转换为模拟输出信号,例如用于经输出变换器呈现给用户。
听力装置如传声器单元和/或收发器单元可包括用于提供输入信号的时频表示的TF转换单元(例如分析滤波器组)。在实施例中,时频表示包括所涉及信号在特定时间和频率范围的相应复值或实值的阵列或映射。在实施例中,TF转换单元包括用于对(时变)输入信号进行滤波并提供多个(时变)输出信号的滤波器组,每一输出信号包括截然不同的输入信号频率范围。在实施例中,TF转换单元包括用于将时变输入信号转换为(时-)频域中的(时变)信号的傅里叶变换单元。在实施例中,听力装置考虑的、从最小频率fmin到最大频率fmax的频率范围包括从20Hz到20kHz的典型人听频范围的一部分,例如从20Hz到12kHz的范围的一部分。通常,采样率fs大于或等于最大频率fmax的两倍,即fs≥2fmax。在实施例中,听力装置的正向通路和/或分析通路的信号拆分为NI个(例如均匀宽度的)频带,其中NI例如大于5,如大于10,如大于50,如大于100,如大于500,至少其部分个别进行处理。在实施例中,助听器适于在NP个不同频道处理正向和/或分析通路的信号(NP≤NI)。频道可以宽度一致或不一致(如宽度随频率增加)、重叠或不重叠。
听力装置可包括多个检测器,其配置成提供与听力装置的当前网络环境(如当前声环境)有关、和/或与佩戴听力装置的用户的当前状态有关、和/或与听力装置的当前状态或运行模式有关的状态信号。作为备选或另外,一个或多个检测器可形成与听力装置(如无线)通信的外部装置的一部分。外部装置例如可包括另一听力装置、遥控器、音频传输装置、电话(如智能电话)、外部传感器等。
多个检测器中的一个或多个可对全带信号起作用(时域)。在实施例中,多个检测器中的一个或多个对频带拆分的信号起作用((时-)频域),例如在有限的多个频带中。
多个检测器可包括用于估计正向通路的信号的当前电平的电平检测器。在实施例中,预定判据包括正向通路的信号的当前电平是否高于或低于给定(L-)阈值。在实施例中,电平检测器作用于全频带信号(时域)。在实施例中,电平检测器作用于频带拆分信号((时-)频域)。
在特定实施例中,听力装置包括话音检测器(VD),用于估计输入信号(在特定时间点)是否(或者以何种概率)包括话音信号。在本说明书中,话音信号包括来自人类的语音信号。其还可包括由人类语音系统产生的其它形式的发声(如唱歌)。在实施例中,话音检测器单元适于将用户当前的声环境分类为“话音”或“无话音”环境。这具有下述优点:包括用户环境中的人发声(如语音)的电传声器信号的时间段可被识别,因而与仅(或主要)包括其它声源(如人工产生的噪声)的时间段分离。在实施例中,话音检测器适于将用户自己的话音也检测为“话音”。作为备选,话音检测器适于从“话音”的检测排除用户自己的话音。
听力装置可包括自我话音检测器,用于估计特定输入声音(如话音,如语音)是否(或以何种概率)源自听力装置或系统用户的话音。自我话音检测器可配置成提供自我话音控制信号,其指明听力装置的特定输入声音是否(或以何种概率)源自听力装置或系统的用户的话音。在实施例中,听力装置或系统例如听力装置或系统的传声器系统适于能够进行用户自己的话音与另一人的话音及可能与无话音声音的区分。听力装置或系统(如补偿单元)可配置成根据检测到的自我话音控制预测算法的参数(如时延和/或频率整形),使得听力装置或系统(如补偿单元)相较于来自用户嘴巴的声音(“自我话音”)不同地处理外部声音。听力装置或系统例如可配置成根据自我话音控制信号提供直接传播的声音的更进取或不太进取的抵消。
多个检测器可包括运动检测器,例如加速度传感器。在实施例中,运动检测器配置成检测用户面部肌肉和/或骨头的例如因语音或咀嚼(如颌部运动)引起的运动并提供标示该运动的检测器信号。
听力装置可包括分类单元,配置成基于来自(至少部分)检测器的输入信号及可能其它输入对当前情形进行分类。在本说明书中,“当前情形”由下面的一个或多个定义:
a)物理环境(如包括当前电磁环境,例如出现计划或未计划由听力装置接收的电磁信号(包括音频和/或控制信号),或者当前环境不同于声学的其它性质);
b)当前声学情形(输入电平、反馈等);
c)用户的当前模式或状态(运动、温度、认知负荷等);
d)听力装置和/或与听力装置通信的另一装置的当前模式或状态(所选程序、自上次用户交互之后消逝的时间等)。
听力装置可包括声学(和/或机械)反馈抑制系统。在实施例中,反馈抑制系统包括用于提供表示声学反馈通路估计量的反馈信号的反馈估计单元及用于将反馈信号从正向通路的信号(如由听力装置的输入变换器拾取)减去的组合单元如求减单元。
听力装置还可包括用于所涉及应用的其它适宜功能,如压缩、降噪等。
听力装置可包括听音装置如助听器、听力仪器例如适于位于用户耳朵处或者完全或部分位于耳道中的听力仪器,例如头戴式耳机、耳麦、耳朵保护装置或其组合。在实施例中,助听系统包括喇叭扩音器(包含多个输入变换器和多个输出变换器,例如用在音频会议情形),例如包括波束形成器滤波单元,例如提供多个波束形成能力。
应用
一方面,提供如上所述的、“具体实施方式”部分中详细描述的和权利要求中限定的听力装置的应用。在实施例中,提供在包括音频分布的系统中的应用,。在实施例中,提供在包括一个或多个助听器(如听力仪器)的系统、头戴式耳机、耳麦、主动耳朵保护系统等中的应用,例如在免提电话系统、远程会议系统(例如包括喇叭扩音器)、广播系统、卡拉OK系统、教室放大系统等中的用途。
方法
一方面,提供包括ITE(耳内)部分的听力装置如助听器的运行方法,ITE部分适于位于用户耳道中或耳道处并配置成从用户周围的声场拾取声音及将处理后的声音播放到耳道内。听力装置具有由在从听力装置的声学输入到声学或振动输出的正向信号通路中处理所述声音的处理时延确定的传播时延τHI。所述方法包括:
-提供至少一电输入信号,其将所述声音表示为由离散样本表示的数字化信号;
-处理所述至少一电输入信号以提供处理后的信号;
-将包括所述处理后的信号的电信号转换为声学信号或机械振动。
本方法还包括通过下述步骤至少部分补偿从所述声场直接传播的、经直接声学传播通路传播到耳道的声音:
-预测所述直接传播的声音;及
-按所述直接传播的声音的反相播放所述预测的声音。
当由对应的过程适当代替时,上面描述的、“具体实施方式”中详细描述的或权利要求中限定的装置的部分或所有结构特征可与本发明方法的实施结合,反之亦然。方法的实施具有与对应装置一样的优点。
计算机可读介质
本发明进一步提供保存包括程序代码的计算机程序的有形计算机可读介质,当计算机程序在数据处理系统上运行时,使得数据处理系统执行上面描述的、“具体实施方式”中详细描述的及权利要求中限定的方法的至少部分(如大部分或所有)步骤。
作为例子但非限制,前述有形计算机可读介质可包括RAM、ROM、EEPROM、CD-ROM或其他光盘存储器、磁盘存储器或其他磁性存储装置,或者可用于执行或保存指令或数据结构形式的所需程序代码并可由计算机访问的任何其他介质。如在此使用的,盘包括压缩磁盘(CD)、激光盘、光盘、数字多用途盘(DVD)、软盘及蓝光盘,其中这些盘通常磁性地复制数据,同时这些盘可用激光光学地复制数据。上述盘的组合也应包括在计算机可读介质的范围内。除保存在有形介质上之外,计算机程序也可经传输介质如有线或无线链路或网络如因特网进行传输并载入数据处理系统从而在不同于有形介质的位置处运行。
计算机程序
此外,本申请提供包括指令的计算机程序(产品),当该程序由计算机运行时,导致计算机执行上面描述的、“具体实施方式”中详细描述的及权利要求中限定的方法(的步骤)。
数据处理系统
一方面,本发明进一步提供数据处理系统,包括处理器和程序代码,程序代码使得处理器执行上面描述的、“具体实施方式”中详细描述的及权利要求中限定的方法的至少部分(如大部分或所有)步骤。
听力系统
另一方面,提供包括上面描述的、“具体实施方式”中详细描述的及权利要求中限定的听力装置及辅助装置的听力系统。
在实施例中,听力系统适于在听力装置与辅助装置之间建立通信链路以使得信息(如控制和状态信号,可能音频信号)可进行交换或者从一装置转发给另一装置。
在实施例中,听力系统包括辅助装置,例如遥控器、智能电话、或者其它便携或可穿戴电子设备如智能手表等。
在实施例中,辅助装置是或包括遥控器,用于控制听力装置的功能和运行。在实施例中,遥控器的功能被实施在智能电话中,智能电话可能运行使能经智能电话控制音频处理装置的功能的APP(听力装置包括适当的到智能电话的无线接口,例如基于蓝牙或一些其它标准化或专有方案)。
在实施例中,辅助装置是或包括音频网关设备,其适于(例如从娱乐装置如TV或音乐播放器、从电话设备如移动电话或者从计算机如PC)接收多个音频信号并适于选择和/或组合所接收的音频信号中的适当信号(或信号组合)以传给听力装置。
在实施例中,辅助装置是或包括另一听力装置。在实施例中,听力系统包括适于实施双耳听力系统如双耳助听器系统的两个听力装置。
APP
另一方面,本发明还提供称为APP的非短暂应用。APP包括可执行指令,其配置成在辅助装置上运行以实施用于上面描述的、“具体实施方式”中详细描述的及权利要求中限定的听力装置或听力系统的用户接口。在实施例中,该APP配置成在移动电话如智能电话或另一使能与所述听力装置或听力系统通信的便携装置上运行。听力装置或系统可配置成使能从用户接口/APP选择和/或配置主动噪声抑制运行模式。预测算法的参数可经用户接口/APP进行配置。
定义
在本说明书中,“听力装置”指适于改善、增强和/或保护用户的听觉能力的装置如助听器例如听力仪器或有源耳朵保护装置或其它音频处理装置,其通过从用户环境接收声信号、产生对应的音频信号、可能修改该音频信号、及将可能已修改的音频信号作为可听见的信号提供给用户的至少一只耳朵而实现。“听力装置”还指适于以电子方式接收音频信号、可能修改该音频信号、及将可能已修改的音频信号作为听得见的信号提供给用户的至少一只耳朵的装置如头戴式耳机或耳麦。听得见的信号例如可以下述形式提供:辐射到用户外耳内的声信号、作为机械振动通过用户头部的骨结构和/或通过中耳的部分传到用户内耳的声信号、及直接或间接传到用户耳蜗神经的电信号。
听力装置可构造成以任何已知的方式进行佩戴,如作为佩戴在耳后的单元(具有将辐射的声信号导入耳道内的管或者具有安排成靠近耳道或位于耳道中的输出变换器如扬声器)、作为整个或部分安排在耳廓和/或耳道中的单元、作为连到植入在颅骨内的固定结构的单元如振动器、或作为可连接的或者整个或部分植入的单元等。听力装置可包括单一单元或几个彼此电子通信的单元。扬声器可连同听力装置的其它部件一起设置在壳体中,或者其本身可以是外部单元(可能与柔性引导元件如圆顶状元件组合)。
更一般地,听力装置包括用于从用户环境接收声信号并提供对应的输入音频信号的输入变换器和/或以电子方式(即有线或无线)接收输入音频信号的接收器、用于处理输入音频信号的(通常可配置的)信号处理电路(如信号处理器,例如包括可配置(可编程)的处理器,例如数字信号处理器)、及用于根据处理后的音频信号将听得见的信号提供给用户的输出单元。信号处理器可适于在时域或者在多个频带处理输入信号。在一些听力装置中,放大器和/或压缩器可构成信号处理电路。信号处理电路通常包括一个或多个(集成或单独的)存储元件,用于执行程序和/或用于保存在处理中使用(或可能使用)的参数和/或用于保存适合听力装置功能的信息和/或用于保存例如结合到用户的接口和/或到编程装置的接口使用的信息(如处理后的信息,例如由信号处理电路提供)。在一些听力装置中,输出单元可包括输出变换器,例如用于提供空传声信号的扬声器或用于提供结构或液体传播的声信号的振动器。在一些听力装置中,输出单元可包括一个或多个用于提供电信号的输出电极(例如用于电刺激耳蜗神经的多电极阵列)。在实施例中,听力装置包括喇叭扩音器(包括多个输入变换器和多个输出变换器,例如用在音频会议情形)。
在一些听力装置中,振动器可适于经皮或由皮将结构传播的声信号传给颅骨。在一些听力装置中,振动器可植入在中耳和/或内耳中。在一些听力装置中,振动器可适于将结构传播的声信号提供给中耳骨和/或耳蜗。在一些听力装置中,振动器可适于例如通过卵圆窗将液体传播的声信号提供到耳蜗液体。在一些听力装置中,输出电极可植入在耳蜗中或植入在颅骨内侧上,并可适于将电信号提供给耳蜗的毛细胞、一个或多个听觉神经、听觉脑干、听觉中脑、听觉皮层和/或大脑皮层的其它部分。
听力装置如助听器可适应特定用户的需要如听力受损。听力装置的可配置的信号处理电路可适于施加输入信号的随频率和电平而变的压缩放大。定制的随频率和电平而变的增益(放大或压缩)可在验配过程中通过验配系统基于用户的听力数据如听力图使用验配基本原理(例如适应语音)确定。随频率和电平而变的增益例如可体现在处理参数中,例如经到编程装置(验配系统)的接口上传到听力装置,并由听力装置的可配置的信号处理电路执行的处理算法使用。
“听力系统”指包括一个或两个听力装置的系统。“双耳听力系统”指包括两个听力装置并适于协同地向用户的两只耳朵提供听得见的信号的系统。听力系统或双耳听力系统还可包括一个或多个“辅助装置”,其与听力装置通信并影响和/或受益于听力装置的功能。辅助装置例如可以是遥控器、音频网关设备、移动电话(如智能电话)或音乐播放器。听力装置、听力系统或双耳听力系统例如可用于补偿听力受损人员的听觉能力损失、增强或保护正常听力人员的听觉能力和/或将电子音频信号传给人。听力装置或听力系统例如可形成广播系统、主动耳朵保护系统、免提电话系统、汽车音频系统、娱乐(如卡拉OK)系统、远程会议系统、教室放大系统等的一部分或者与其交互。
本发明的实施例如可用在本申请中提及的应用中。
附图说明
本发明的各个方面将从下面结合附图进行的详细描述得以最佳地理解。为清晰起见,这些附图均为示意性及简化的图,它们只给出了对于理解本发明所必要的细节,而省略其他细节。在整个说明书中,同样的附图标记用于同样或对应的部分。每一方面的各个特征可与其他方面的任何或所有特征组合。这些及其他方面、特征和/或技术效果将从下面的图示明显看出并结合其阐明,其中:
图1A示出了听力装置提供的声音因通过听力装置或听力装置周围直接的声音泄漏到用户耳鼓引起失真的情形。
图1B示出了与图1A中同样的情形,但输入和输出单元分别体现在一个以上传声器和扬声器中,及处理器为助听器处理器。
图2示意性地示出了图1A、1B情形的干扰声音s”(t–τdir)的补偿。
图3A按三个不同版本示出了入射在用户耳朵上的声音信号(声压-时间),上部曲线示出了在听力装置位于用户耳道处时其传声器处的声音信号,中间曲线示出了在经直接声学传播通路(例如通过通风口等)传播之后用户耳鼓/耳膜处的声音信号,及下部曲线示出了在听力装置中处理之后用户耳鼓处的声音信号。
图3B示意性地示出了在预测声音信号以抵消经直接声学传播通路传播到耳鼓的声音时涉及的时延。
图3C示出了基于表示声音信号的电输入信号的当前和过去样本对电输入信号的将来样本的示例性预测。
图3D示出了用于基于电信号的多个过去样本估计电信号的将来样本的权重参数的示例性预测。
图3E示意性地示出了用于基于表示声音信号的电输入信号的P个过去样本估计电输入信号的将来样本的算法。
图4A示意性地示出了根据本发明实施例的ITE型听力装置。
图4B示意性地示出了根据本发明实施例的BTE/RITE型听力装置。
图5示出了根据本发明实施例的包括补偿单元的听力装置。
图6A示出了根据本发明的听力系统如双耳助听器系统的实施例。
图6B示出了配置成执行实施听力装置或系统的用户接口的APP的辅助装置,从用户接口可选择和配置主动噪声抑制运行模式。
图7A示意性地示出了样本中的时变模拟信号(振幅-时间)及其数字化,这些样本安排在多个时间帧中,每一时间帧包括Ns个样本。
图7B示意性地示出了图7A的时变电信号的时频表示,与根据本发明的预测算法有关。
图8A示意性地示出了多个示例性参数化感知掩蔽函数Gj(f)。
图8B示出了示例性的感知掩蔽参数函数G(f)。
通过下面给出的详细描述,本发明进一步的适用范围将显而易见。然而,应当理解,在详细描述和具体例子表明本发明优选实施例的同时,它们仅为说明目的给出。对于本领域技术人员来说,基于下面的详细描述,本发明的其它实施方式将显而易见。
具体实施方式
下面结合附图提出的具体描述用作多种不同配置的描述。具体描述包括用于提供多个不同概念的彻底理解的具体细节。然而,对本领域技术人员显而易见的是,这些概念可在没有这些具体细节的情形下实施。装置和方法的几个方面通过多个不同的块、功能单元、模块、元件、电路、步骤、处理、算法等(统称为“元素”)进行描述。根据特定应用、设计限制或其他原因,这些元素可使用电子硬件、计算机程序或其任何组合实施。
电子硬件可包括微处理器、微控制器、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、可编程逻辑器件(PLD)、选通逻辑、分立硬件电路、及配置成执行本说明书中描述的多个不同功能的其它适当硬件。计算机程序应广义地解释为指令、指令集、代码、代码段、程序代码、程序、子程序、软件模块、应用、软件应用、软件包、例程、子例程、对象、可执行、执行线程、程序、函数等,无论是称为软件、固件、中间件、微码、硬件描述语言还是其他名称。
本申请涉及听力装置如助听器或耳机领域。
图1A示出了听力装置提供的声音因通过听力装置或听力装置周围直接的声音泄漏到用户耳鼓引起失真的情形。听力装置HD如助听器包括正向通路,正向通路包括输入单元IU(例如包括一个或多个输入变换器如传声器),用于从听力装置环境拾取声音(s(t),声输入)并将其转换为表示声音的电信号IN(或者,如果存在一个以上输入变换器,转换为表示声音的多个电输入信号)。听力装置HD还包括模数转换器AD,用于采样(模拟)电输入信号并提供数字化的电输入信号IN’,其被馈给信号处理器SPU以将一个或多个信号处理算法应用于电输入信号IN’并提供处理后的输出信号OUT’。听力装置HD还包括数模转换器DA,用于将(数字电)输出信号转换为(模拟)电输出信号OUT,其被馈给输出单元OU如输出变换器例如扬声器以作为声信号(声音,s’(t-τHI),声输出)呈现给用户的耳鼓。听力装置可包括适当的转换单元(如滤波器组)以使能完全或部分在频域处理电输入信号。除听力装置的(电)正向通路之外,图1A中通过粗箭头(在图1B中通过曲线箭头)和信号s”(t-τdir)标示了声音从听力装置的输入到用户耳鼓的直接声学通路(记为DAP),所述信号被添加到由听力装置传送的声音s’(t-τHI)(与之混合)(由粗组合单元“+”标示)。声音信号s上的不同上标’和”用于指明所涉及的声音信号不同,因为它们指传入声音信号s(t)在不同时间点(分别为t-τdir和t-τHI)的值,如下面描述的。
图1B示出了与图1A中同样的情形,但输入和输出单元IU、OU分别体现在一个以上传声器(Mic(s))和扬声器中,及处理器为助听器处理器(HA处理单元)。图1B的听力装置HD表示助听器,其中助听器处理器配置成补偿用户的听力受损(包括将随频率和电平而变的增益(放大/衰减)应用于表示声音的电输入信号及经扬声器将处理后的信号呈现为声信号)。
助听器从传声器(例如位于用户耳廓后面)拾取声音、处理该声音(例如放大和压缩)及通常经靠近听者耳鼓定位的扬声器将声音呈现给听者耳鼓(例如参见图4B)。该情形在图1A和1B中示意性图示并在下面结合这些图具体描述。对于典型听力仪器HD,听力仪器的总处理时间τHI即从信号(记为s(t),t表示时间)被传声器拾取直到该信号的处理后版本从扬声器输出所花的时间在τHI~8ms级。该信号记为s’(t-τHI)。
由于开放验配助听器(即助听器包括耳件(位于耳道处或耳道中),其并未紧密密封耳鼓与环境声音之间的开口,例如参见图4B),在传声器处拾取的声音还通过该装置的可能的通风口/圆顶件以找到通常更快的到听者耳鼓的路。在图1A、1B中,该信号记为s”(t–τdir)。通常,声音穿过通风口/圆顶件所花的时间在微秒级,例如τdir~50μs。
图2示意性地示出了图1A、1B情形的干扰声音s”(t–τdir)的补偿。如图2中所示,提出的解决方案是估计干扰信号s”(t-τdir)并将其从扬声器信号减去(电学或声学地)以抵消(或减弱/衰减)它。
在图2中,图1A、1B中所示的听力仪器HD被示为单一单元HD。干扰声音s”(t–τdir)被建模为传声器信号s(t)、通过由传递函数T(s)表征的声学通道(直接声学通路,DAP)。基本想法是引入补偿单元CU,其处理传声器信号s(t)以产生输出信号s”’(t–τcomp),其理想地为干扰信号s”(t–τdir)的接近的逼近。换言之,理想地,s”’(t–τcomp)=s”(t–τdir),使得当从来自听力装置的信号s’(t–τHI)减去时(例如在扬声器播放之前),存在的干扰分量被抵消s”(t–τdir)。
由于主要在较低频率下感觉到梳齿滤波,将要抵消的信号分量可仅在低于某一阈值如低于2kHz或低于1kHz的频率进行估计。
通常,补偿单元CU将为听力装置HD如助听器的物理部分。然而,鉴于听力装置中的传统信号通路可能具有τHI~8ms的时延,主要因分析和合成滤波器组的存在引起,补偿单元CU(集成在听力装置中,例如参见图4A、5中的处理部分eCU)可不需要分析和合成滤波器组(补偿单元的实际实现的例子在下面给出)。因此,通过补偿单元CU的时延τcomp可远小于τHI,例如,τcomp可在几毫秒级,例如τcomp~3ms。
在下面(及本说明书中),为简单起见,假定声学通道DPA的传递函数T(s)简单地引入为τdir的纯时延。然而,可直接一般化该阐述以得到更一般的传递函数T(s),其同样进行某类频率整形(例如随频率而变的增益(放大或衰减,和/或相位变化))。由于典型值为τcomp~3ms和τdir~50μs,显然,为了正确估计信号s”(t–τdir),补偿单元CU需要预测将来τpred=τcompdir秒的信号样本,相较于补偿单元能输出的信号样本。对于上面的典型值,τpred可在~2950μs级,例如通过每频带进行预测(=>每频带τdir)。
图3A按三个不同版本示出了入射在用户耳朵上的声音信号(声压(如dB)-时间(如ms))。图3A分别示出了入射在听力装置的传声器上的处于人听频范围的声音信号(上图)、耳鼓处经直接声学通路延迟的声音信号(中间图)及因听力装置的处理延迟的声音信号(下图)。上部曲线(记为@HI-mic)示出了在听力装置位于用户耳道处时其传声器处的声音信号。时标按毫秒(ms)进行标示,及标示的示意性声音波形表示20ms的语音(例如对应于词语的几个音节或者完整词语)。中间曲线(记为@耳鼓-直接)示出了在经直接声学传播通路(例如通过通风口等,例如参见图1A中的DAP,输入声音被延迟τdir)传播之后用户耳鼓处的声音信号。该信号已通过耳道通风孔构造整形(频率和时间方面),在此衰减和延迟已被示意性地应用(相较于上图)。整形可通过脉冲响应或频率传递函数(在图3A中通过hec标示)表示。该传递函数可被估计或测量(例如在听力装置使用之前或者在听力装置使用期间),并在下面假定已知(使得在给定时间,听力装置传声器处的电输入信号的值可被转换为当传播通过直接声学通路DAP时耳鼓处的值)。下部曲线(记为@耳鼓-HI)示出了在听力装置中处理之后(输入声音被延迟τHI)用户耳鼓处的声音信号。由听力装置应用于通过听力装置传声器接收的信号以提供声输出信号的传递函数记为hHI,在此,放大和延迟(τHI)已被示意性地应用于传声器输入信号(相较于上图)。听力装置传递函数hHI假定已知。类似地,听力装置的处理时延τHI(和/或适当的功能单元的时延)假定已知。听力装置的处理时延τHI在多个不同功能单元上的分布在图3A的左下部标示,在此例示为τI、τFBA、τPRO、τFBS、τO,分别指输入单元、分析滤波器组、处理器、合成滤波器组和输出单元的处理时延。例如通过处理时延表示的传递函数可存储在听力装置的存储器中(例如参见存储在图5的MEM中的τx,x表示τISPUOdirHI(=τISPUO)中的一个或多个)并用于从环境到用户耳鼓的(在听力装置周围和/或通过/经听力装置)直接传播的声音信号的预测假定直接传播的声音信号的预测值/>使用所提及的时延估计量与真实的直接传播的声音信号s”(tndir)在时间上适当地对准,参见图3A和5。在下部曲线的左和右部中具有实心点的竖线表示听力装置中的数字化值(在图3A中记为时间样本s(q),q为由实线表示的模拟电信号的时间(样本)指数(例如由模数转换器提供,例如参见图1A和1B中的单元AD))。
图3B示意性地示出了在预测声音信号以抵消经直接声学传播通路传播到耳鼓的声音时涉及的时延。图3B示出了时间轴(记为时间的粗箭头),其上标示导致入射在用户的听力装置的传声器上的声音(讲话者的语音元素)的语音事件。时间(指数)n记为“现在”以指明当前时间点,n右边为将来时刻,n左边为过去时刻。在时刻n(“现在”),(象征性的)语音元素“IHH”被指明入射在听力装置传声器上(通过记为@HI-mic指向时间=n的粗箭头标示)。另一(象征性的)语音元素“OOH”被标示在时间轴的将来部分上(在实践中,与本发明有关的每一语音元素可表示电输入信号的时间样本,因而远短于图3B的“音节类”标示“IHH”、“OOH”)。该语音元素将经直接声学通路(听力装置周围或通过听力装置)从环境传播到耳鼓并在直接传播时延(τdir)之后出现在那里(如时间轴下方粗框(记为τdir)标示的),在时间轴上的时间=n+τpred,如粗τdir框右边由‘OOH’@耳鼓标示的。补偿单元的任务是基于最近的、已知的(即过去的)(直到时间n=“现在”的)语音元素预测该语音元素,以得到在所涉及语音元素出现在耳鼓处之前的预测时间(处理时间)τpred,从而能够减去在时间n+τpred的将来语音元素的估计量。后者通过粗τdir框下方的粗框(记为τpred)及粗τpred框右边的-@耳鼓标示进行标示。为预测将来语音元素,使用最近的(过去)语音元素的信息(基于语音中通常存在的相关的假设)。过去在图3B中通过具有向左箭头的框标示,其记为@时间=n可用的信号值s(n-i)历史,用于预测s(n+τpred)(参见图3C)。为图示相较于直接声学传播通路的时延(τdir)通常大得多的听力装置HD的时延(τHI)(因处理引起,例如在滤波器组中),在图3B的右下部标示粗框(记为τHI)。语音元素“OOH”的处理后版本被示为在其出现在听力装置的传声器处之后时延τHI时从听力装置的扬声器出现在耳鼓处(如粗τHI框右边‘OOH’@耳鼓标示的),同样在图3A中示意性示出。
辛亏人感兴趣的许多声音信号例如语音、音乐等具有允许这样的预测的结构(包括声音信号的某一(短时)周期性(相关))。可预见几种方法来执行所述预测。
图3C示出了基于表示声音信号的电输入信号的当前样本s(n)和过去样本s(n-i)(i=1,…,P-1)对电输入信号的将来样本的示例性线性预测。线性预测方法基于补偿单元有权使用的信号样本的线性组合预测感兴趣的将来信号样本:
其中n为表示(目前)时间的指数,表示在比目前时间n晚τpred时间时(即在t=n+τpred时间)的信号s的估计量(预测),其中i为时间样本指数,P为被包括在该预测中的先前样本值的数量,及ai表示在第i个先前样本的预测值中的权重,及s(n-i)为输入信号的第i个先前样本的值(即在目前时间n之前i个时间单位的s值)。这在图3C中示意性地示出,其中预测的样本值/>用具有点填充的实线框标示(连同等式(1)一起),及P个目前及历史的样本值s(n-i),i=0,…,(P-1)中的每一个用具有灰色背景的实线框标示在记为“时间”的粗时间线下方。同样的记法用在图3D中。
图3D示出了用于基于电信号的K个过去样本估计电信号的将来样本的权重参数的示例性预测,过去样本的数量表示声音信号的时间段。
上面等式(1)的与线性预测有关的系数ai一般为时变系数并可基于过去样本s(n-K+1),…,s(n)进行估计。
更一般地,感兴趣的将来信号样本可基于补偿单元(例如图4A、5中的eCU/CU)可获得的过去和当前信号样本的线性或非线性组合,
其中f(.)为过去/当前信号样本与将来样本的预定或自适应映射。
时变系数ai或更一般地时变函数f(.)可从过去的信号样本进行估计。具体地,基于过去样本s(n′-K+1),…,s(n′),s(n),其中n=n’+τpred(参见图3D),可估计系数ai,i=0,…,P-1,其使均方预测误差最小化
其中样本指数n’选择成使得过去样本s(n′-K+1),…,s(n′)和当前样本s(n)用在前述最小化中。该最小化问题在未知系数ai,i=0,…,P-1中为二次问题,这意味着对于该解决方案存在众所周知的闭式表达式。新的系数ai,i=0,…,P-1可按时间的函数进行确定/调整,例如只要新样本s(n)可用时就确定/调整(如图3D中所示)。在图3D的左边部分,即虚竖线的左边(参见记为“可用于预测参数的训练”的向左箭头),在需要开始确定预测值时(即在记为“现在”的时间n)之前足够长时间(即预测时间τpred)听力装置知道的数据被标示。换言之,我们现在需要至少一(优选几)系列数据,每一系列数据包括输入声音信号的P个历史值(s(n’-P+1),…,s(n’))及输入声音信号在时间n’+预测时间τpred时的相应(历史)实际值s(n’+τpred)。优选地,NS组先前的历史值可被包括在优化中(总计K个样本,如上面提及的,K≥P)。这由粗时间线(记为时间)正下方的灰色框中的样本线标示。如上面等式(2)中指明的,适当的权重ai因而可从输入声音信号的(最近的)历史数据(K个样本)确定,用于线性预测算法。以类似的方式,只要新样本s(n)可用(或f(.)可以较慢速率更新),非线性函数f(.)可通过求解下式而被确定(和调整)为时间的函数
针对语音(或与用户有关的其它声音信号)的特性,过去样本的数量(分别通过参数P和K确定,K≥P)应被选择成足够大以抓取目前的声音信号如语音的特征(例如当前语音的基频F0的时间段T0),但不要大到包括与目前语音元素的预测无关的语音(例如来自另一声源)。在实践中,P、K应选择成覆盖小于1s的时间范围,例如小于100ms,例如覆盖1ms到50ms之间的时间范围,例如小于25ms。优选地,P、K应选择成包括跨感兴趣的基频的1到3个时间段的时间范围。男性的基频例如通常在从85Hz到180Hz的范围中。如果例如基频F0为100Hz(时间段T0=1/F0=10ms),及如果传声器信号的模数转换器的采样频率fs为20kHz从而提供Ts=1/fs=0.050ms的采样时间段,则该基频的时间段将对应于10ms/0.050ms=200个样本。在该情形下,P(和K)应优选选择成至少为200,例如在200到1000个样本之间的范围中。一般地,P、K应选择成大于与所考虑声音信号中预期出现的最大基频的时间段对应的样本数。另一方面,P、K应选择成足够小以主要覆盖其周期性(或相关)相对恒定的声音段,例如在预定方差阈值内。该系统可配置成确定当前声音信号的基频并动态确定参数P的适当值。在任何情形下,P(和K)可能受所涉及的装置(在此为听力装置如助听器)的计算能力(可用功率预算)的限制。
图3E示意性地示出了用于基于表示声音信号的电输入信号的P个过去样本估计电输入信号的将来样本的非线性算法。
例如,f(.)可利用神经网络实现,其参数/权重例如通过在受监督的学习设置中应用反向传播算法进行更新/调整,其中神经网络的输入为过去样本例如s(n’-P+1),…s(n’),及希望的神经网络输出为信号样本s(n’+τpred),在时间前面的τpred个样本,显然,n’选择成使得在权重更新中仅涉及过去和当前(=正确“预测”)的样本。
反向传播可不总是进行更新,例如仅在误差高于预定阈值时进行更新。作为备选,更新可在辅助装置中进行。信号是否传给辅助装置可取决于误差信号的大小。
显然,还可能在离线优化程序中估计线性/非线性映射,然后在听力仪器运行期间保持固定的映射f(.)。
存在基本想法的几种扩展:
-频率加权:代替找到使均方误差最小化的预测在特定频区可能对使预测误差最小化感兴趣。这例如可通过使频率加权的预测误差最小化实现,
其中*指线性卷积,及其中h(l)为频率整形滤波器的脉冲响应,例如强调其预测准确度最被感兴趣的谱区的带通滤波器,及其中l为频率指数。
-感知加权:代替找到使均方误差最小化的预测适合找到导致感知上最少令人反感的信号的预测。这可通过使预测误差最小化实现,其按时间和频率的函数加权,
其中g(l,n)指时变脉冲响应。g(l,n)的目的是强调感知上重要的频域-时域区域并不再强调不太重要或无关的区域。具体地,g(l,n)可通过观察呈现给用户耳鼓的总信号由直接声音和预测误差信号组成而找到。直接声音的存在将在某些频率掩蔽预测误差信号(即使其不可感知(例如低于第一阈频如100Hz)因而在那些频率不重要)。该掩蔽效应可通过将掩蔽模型(或者更一般地,听觉模型)应用于直接信号(其可在听力仪器中取得)进行估计。可从掩蔽模型计算掩蔽阈值,从其可计算时变、频谱加权函数g(l,n)。此外,S可关于输入电平归一化使得误差不取决于输入电平。图8A中示意性地示出了示例性的随频率而变的掩蔽函数G(f),f表示频率。G(f)例如可表示上面的最小化等式中的掩蔽函数g(l,n)的随频率而变的部分。掩蔽函数g(l,n)的时间相干性可与随电平而变的掩蔽有关。
-瞬变拒绝:当进行实际的信号预测时,在语音起始(onset)和结束(offset)时可能经历大的估计误差。这些误差可能显现为预测信号 中的大的瞬变。监测预测的信号并检测展现大及突然的振幅/能量增加的情形可能有利,在该情形下,可选择不理(如盖写)或限制输出值,例如只要检测到瞬变,将预测值设定为固定值:
-多个传声器:概念上,可直接延伸前述基本想法使得将来样本的预测基于多个传声器信号。这将允许波束形成以在声学上有噪声情形下使得所述方法更坚实。相当于基于补偿单元有权使用的信号样本的线性组合确定感兴趣的将来信号样本的线性预测的等式(1)用于多传声器配置(及其中Q为传声器的数量):
其中sq(n-i)为在时间指数(n-i)时第q个传声器处接收的声音信号,及ai,q为第q个传声器的第(n-i)个声音样本的权重参数,q=1,…,Q。
图4A示意性地示出了根据本发明实施例的ITE型听力装置。该听力装置如助听器包括具有壳体的ITE部分,壳体可以是目标在于适合一群人的标准壳体,或者壳体可针对用户耳朵定制(以使得适当地适合外耳和/或耳道)。图4A中示意性示出的壳体具有对称形状,例如绕从环境朝向用户的耳鼓的纵轴(当安装到位时),但并不必须如此。听力装置可配置成位于耳道的外部中,例如部分可从外面看见,或者其可配置成完全位于耳道中,可能深入耳道,例如完全或部分位于耳道的骨性部分中。
为使(由听力装置朝向用户耳鼓播放的)声音从耳道的泄漏最小化,听力装置的壳体与耳道的皮肤/组织之间良好的机械接触成为目标。在试图使前述泄漏最小化时,ITE部分的壳体可根据具体用户的耳朵进行定制。
听力装置HD包括Q个传声器Mq,i=1,…,Q,在此为两个(Q=2)。两个传声器(M1,M2)在壳体中位于壳体的面向环境的表面的一部分上(当听力装置在工作时安装在用户耳朵中或耳朵处时),传声器之间具有预定距离d,例如8-10mm。传声器(M1,M2)例如位于壳体上并使它们的传声器轴(通过两个传声器的中心的轴)在听力装置安装在用户耳朵中或耳朵处时指向相对于用户的正向,例如用户的视向(例如通过用户鼻子确定,例如实质上在水平面中)。传声器配置成将在它们的相应位置从用户周围的声场S接收到的声音(S1,S2)转换为相应的表示声音的(模拟)电信号(s1,s2)。传声器耦合到相应的模数转换器AD以将相应的(模拟)电信号(s1,s2)提供为数字化信号(s1,s2)。数字化信号可进一步耦合到相应的滤波器组以将每一电输入信号(时域信号)提供为子频带信号(频域信号)。(数字化)电输入信号(s1,s2)被馈给信号处理器SPU以处理音频信号(s1,s2),例如包括空间滤波(波束形成)、(如单通道)降噪、压缩(根据用户的需要如听力受损进行随频率和电平而变的放大/衰减)、空间线索保留/恢复等中的一个或多个。信号处理器SPU例如可包括所提及的滤波器组(例如分析及合成滤波器组)。信号处理器SPU配置成提供包括声场S的表示的处理后的信号(例如将目标信号的估计量包括于其中)。处理后的信号/>被馈给输出变换器(在此为扬声器SPK,例如经数模转换器DA,用于将处理后的(电)信号sout(或模拟版本sout)转换为声音信号Sout)。在一运行模式下,听力装置配置成将信号处理器SPU的输出/>(直接)耦合到扬声器SPK(可能经DA转换器(DA))。
听力装置例如可包括配置成使堵耳效应最小化(当用户讲话时)的通风通道(通风口)。除使能在听力装置壳体与耳鼓之间建立自残余腔(参见图4A中的残余腔)的(非计划)声学传播通路之外,通风通道还提供声音从环境到残余腔的直接声学传播通路。到达残余腔的直接传播的声音Sdir与听力装置HD的声输出混合以在耳鼓处产生合成声音SED。直接声学传播通路(因而及直接传播的声音Sdir)的时延标示为τdir
在启动主动噪声抑制(ANS)的运行模式下,听力装置配置成将信号处理器SPU的输出经组合单元(在此为求和单元“+”)耦合到扬声器SPK。在求和单元“+”中,(例如通过通风口或其它泄漏通道,例如壳体与耳道壁之间)直接传播的声学信号Sdir的(相当的电)估计量被从信号处理器SPU的输出/>减去以提供合成输出信号sout,其(可能经DA转换器)馈给扬声器SPK。在该“ANS模式”下,由扬声器SPK提供的声学信号Sout表示环境声场S中的声音在到达残余腔的直接传播的声音Sdir被(至少部分)补偿后的估计量/>耳鼓处的合成声音SED则等于环境声音S的(可能增强的例如放大的)估计量/>加上直接传播的声音Sdir减去直接传播的声音Sdir的估计量/>直接传播的声学信号Sdir的估计量/>优选进行整形以匹配声学传播通路进行的整形。理想地(当/>时),/>即直接传播的声音已被补偿。
输入单元(例如包括一个或多个变换器如传声器、适当的AD转换器、分析滤波器组等)、信号处理器SPU(例如包括适当的分析和合成滤波器组,及用于增强输入音频信号的一个或多个处理算法)、组合单元“+”及输出单元(例如包括适当的数模转换器、输出变换器如扬声器等)形成听力装置的正向信号通路的一部分或者构成听力装置的正向信号通路。该正向信号通路配置成拾取声音、处理声音并将声音的处理后版本提供给用户如用户的耳鼓。听力装置HD的正向通路(在给定时间点)具有从声输入到声输出的传播时延τHI。听力装置HD的传播时延τHI可预先确定或自适应确定。听力装置HD的传播时延τHI为正向通路的每一元件(如输入单元、信号处理器、组合单元、输出单元,参见图3A)的处理时延的和。(例如通过通风通道的)直接声学通路的传播时延τdir可能对于特定助听器类型(例如通风口或圆顶件的特性)及可能对于用户耳道特有。这些处理时延中的每一个可提前知道(例如测量或估计或自适应确定)并可由补偿单元取得,例如存储在听力装置的存储器MEM中。直接通路的传递函数例如可被估计为从输出变换器到输入变换器的反馈通路(其通常通过听力装置的反馈估计单元进行估计以控制反馈,例如限制啸叫风险)。
听力装置包括补偿单元CU(参见记为CU(τdir)的虚线框,τdir指补偿单元CU的时延)。补偿单元CU包括耦合到至少一输入变换器(在此为M2)并用于提供直接传播的声音Sdir的(相当的电)估计量的处理部分eCU。补偿单元具有(或连接到)存储器MEM,关于听力装置的正向信号通路的时延的有关信息存储于其中/可访问(例如上面提及的各个部分或元件的处理时延)。补偿单元CU例如处理部分eCU例如可实施上面结合图3A-3E描述或图5中的预测算法。作为备选,其可基于或包括神经网络。
听力装置包括能源如电池BAT,例如可再充电电池,用于对听力装置的元件供电。
图4B示出了根据本发明的听力装置HD的实施例。示例性的听力装置HD如助听器属于特定类型(有时称为耳内接收器式或RITE型),包括适于位于用户耳朵处或耳后的BTE部分(BTE)和适于位于用户耳道中或耳道处并包括接收器(扬声器)的ITE部分(ITE)。BTE部分和ITE部分通过连接元件IC和ITE及BTE部分中的内部接线(例如参见BTE部分中接线Wx)进行连接(如电连接)。作为备选,连接元件可完全或部分由BTE部分与ITE部分之间的无线链路构成。
在图4B的听力装置实施例中,BTE部分包括具有两个输入变换器(如传声器)(MBTE1,MBTE2)的单元,每一输入变换器用于提供表示输入声音信号(SBTE)(源自听力装置周围的声场S)的电输入音频信号。输入单元还包括两个无线接收器(WLR1,WLR2),用于提供相应的直接接收的辅助音频和/或控制输入信号(和/或使能将音频和/或控制信号传给其它装置如遥控器或处理装置,或电话)。听力装置HD包括其上安装有多个电子元件的衬底SUB,包括存储器MEM,其例如保存不同助听器程序(如限定前述程序的参数设置,或者算法的参数,例如用于未来音频样本的预测,例如包括神经网络的优化的参数)和/或助听器配置如输入源组合(FM,RM,IM,WLR1,WLR2),例如针对多个不同听音情形进行优化。在特定运行模式下,一个或多个直接接收的辅助电信号与来自传声器的一个或多个电输入信号一起用于提供通过将适当的复数权重应用于(至少部分)相应信号而提供的波束成形信号。
根据本发明(例如结合图4A和5所述),衬底SUB还包括可配置的信号处理器DSP(如数字信号处理器),例如包括如实施补偿单元的听力装置的处理器,用于应用随频率和电平而变的增益,例如提供波束形成、降噪、滤波器组功能及其它数字功能。可配置的信号处理器DSP适于访问存储器MEM以例如选择适当的时延参数及根据本发明计算预测算法的加权参数,例如结合图3A-3E所述。可配置的信号处理器DSP还配置成基于当前选择(启动)的助听器程序/参数设置(例如自动选择,如基于一个或多个传感器,或者基于来自用户接口的输入进行选择)处理一个或多个电输入音频信号和/或一个或多个直接接收的辅助音频输入信号。所提及的功能单元(及其它元件)可根据所涉及的应用按电路和元件进行划分(例如为了尺寸、功耗、模拟-数字处理、可接受的潜伏时间等),例如集成在一个或多个集成电路中,或者作为一个或多个集成电路与一个或多个单独的电子元件(如电感器、电容器等)的组合。可配置的信号处理器DSP提供处理后的音频信号,其计划呈现给用户。衬底还包括前端IC(FE),用于使可配置的信号处理器DSP与输入和输出变换器等接口连接及通常包括模拟与数字信号之间的接口(例如到传声器和/或扬声器的接口)。输入和输出变换器可以是个别分开的元件,或者与其它电子电路集成(例如基于MEMS)。
该听力装置HD还包括输出单元(如输出变换器),用于基于来自处理器的处理后的音频信号或源自其的信号提供可由用户感知为声音的刺激。在图4B的听力装置实施例中,ITE部分包括扬声器(也称为接收器)SPK形式的输出单元,用于将电信号转换为声学(空气传播)信号,其(在听力装置安装在用户耳朵处时)被导向耳膜从而在那里提供声音信号(SED)。ITE部分还包括引导元件如圆顶件DO,用于引导并将ITE部分定位在用户的耳道中。ITE部分还包括另一输入变换器如传声器(MITE),用于提供代表耳道处的输入声音信号(SITE)的电输入音频信号。声音(SITE)从环境经通过半开放圆顶件DO的直接声学通路到耳鼓处的残余腔的传播在图4B中通过虚线箭头标示(记为直接通路)。直接传播的声音(由声场Sdir标示)与来自听力装置HD的声音(由声场SHI标示)混合为耳鼓处的合成声场(SED)。听力装置的声音输出SHI优选(至少在特定运行模式下)配置成包括打算减小以(优选)实质上消除从环境直接传播到耳鼓的声音的部分,如结合图3A-3和4B、5所述。
(来自输入变换器MBTE1,MBTE2,MITE的)电输入信号可在时域或(时-)频域(或部分在时域及部分在频域,如果被认为对于所涉及应用有利)进行处理。
图4A和4B中例示的听力装置HD的实施例为便携装置,其包括电池BAT如可再充电电池,其例如基于锂离子电池技术,例如用于对BTE部分可能及ITE部分的电子元件供电。在实施例中,听力装置如助听器适于提供随频率而变的增益和/或随电平而变的压缩和/或一个或多个频率范围到一个或多个其它频率范围的移频(具有或没有频率压缩),例如以补偿用户的听力受损。BTE部分例如可包括连接器(如DAI或USB连接器),用于将具有附加的功能的“靴”(如FM靴或备用电池等)或者编程装置或者充电器等连接到听力装置HD。
图5示出了根据本发明实施例的包括补偿单元的听力装置。在图5的实施例中,补偿单元(例如参见图4A中的CU)包括输入级(M1,AD)、补偿单元的处理部分(eCU)和输出级(‘+’,DA,OU)。该听力装置HD如助听器或耳机配置成将声音播放到用户耳道内。听力装置HD包括输入变换器,在此为传声器M1,用于从听力装置周围的声场S拾取声音s(tn)(声输入)并提供对应的表示所述声音的(模拟)电输入信号。模拟电输入信号通过模数转换器AD数字化,从而将电输入信号提供为数字信号s(n-τI),其中n为对应于时间tn的时间指数。AD转换为例如配置成以采样频率fs=20kHz(或更高)使表示声音的模拟电输入信号s(tn)数字化,并提供对应的音频样本s(n’)=s(n-τI)(例如参见图3A)。总输入时延τI在此为传声器和AD转换器的时延的和。听力装置HD的正向通路还包括处理器SPU,用于将(数字化的)电输入信号s(n)处理为处理后的信号。处理器的时延标示为τSPU。听力装置HD的正向通路还包括组合单元,用于修正处理后的信号以补偿经通过图5的从声输入到声输出的粗箭头标示的直接声学通路DAP传播到用户耳鼓的声音(组合单元在此为求和单元“+”,用于减去直接传播的信号的估计量s’(n–(τHIO)),s’指明该信号值预计为在对应于自变量(n-(τHIO))的n之前的一时间的s值)。从而提供经补偿的(数字)输出信号。听力装置HD的正向通路还可包括数模转换器DA,用于从经补偿的数字输出信号提供模拟输出信号。经补偿的数字输出信号被馈给正向通路的最后功能单元即输出单元OU,例如扬声器或骨导听力装置的振动器,用于转换为声学信号s”(或颅骨的机械振动)(声输出)。总输出时延τO在此为组合单元“+”、DA转换器和输出单元OU的时延的和。听力装置的正向通路为从输入变换器(传声器)的声输入到输出变换器(如扬声器)的声输出的通路。该正向通路具有听力装置的正向通路传播时延τHI。听力装置的时延τHI的大小当然取决于正向通路的功能元件(在此τHI=τISPUO)。类似地,补偿单元CU的时延τcomp的大小取决于补偿估计通路的功能元件(在此τcomp=τIeCUO)。在目前技术发展水平的听力装置中,根据正向通路的信号的处理,该时延例如可在3ms到10ms之间变化。听力装置的有关时延例如τHIISPUeCU及τOdircomp等中的一个或多个例如存储在可由听力装置的算法访问的存储器MEM之中(参见补偿单元(CU/eCU)的存储器MEM中的参数τx)。听力装置还包括用于至少部分补偿来自环境声场的、经直接声学传播通路DAP传播到耳道的声音s”(tndir)的补偿单元(CU/eCU)。在图5的实施例中,补偿单元(CU/eCU)包括存储器单元MEM,其中存储数字化输入信号的历史值s(n-i),i=0,1,…,P-1,其中P-1为在时间n=“现在”之前的、在直接传播的声音在τpred之后的预测中包括的样本值的数量。预测时延τpred表示预测器(如预测算法)的有效处理时间,例如参见等式(1)中的示例性线性。如结合图3D所示的,更新单元UPD配置成基于电输入信号的前P个(连续)历史值(样本)s(n’-i),i=0,1,…,P-1并包括最近的(当前)样本确定(及连续更新)用于等式(1)的权重参数ai,经直接声学传播通路到达耳鼓的样本的实际值已知,参见等式(2)。这些值(在图3D中及在图5的存储器中记为s(n’-K+1),…,s(n’))存储在存储器MEM中。更新单元UPD可配置成在每一新样本“到达”存储器中之后更新权重参数ai以使用等式(2)或如结合图3D所述的提供权重参数的当前值aP-1,…,a0。补偿单元(CU/eCU)还包括应用单元APPL,用于将更新的权重参数aP-1,…,a0应用于当前前P个样本s(n-P+1),…,s(n)以使用等式(1)提供直接传播的声音的预测值该值(适当考虑听力装置中的时延)被从信号处理器SPU的处理后的信号减去及馈给DA转换器等。听力装置HD从而将正常处理的助听器信号(记为s”(tnHI))与直接传播的声音的当前值的估计量(预测)(记为/>)之间的差提供为声输出信号。如粗“声学组合单元+”标示的,直接传播的声学信号(记为s”(tndir))与来自听力装置的声学信号(自动)混合以在耳鼓处提供经补偿的听力装置信号
图6A示出了根据本发明的听力系统如双耳助听器系统的实施例。该听力系统包括与辅助装置通信的左和右听力装置,辅助装置例如为遥控装置、通信装置如移动电话或能够建立到左和右听力装置之一或两个的通信链路的类似装置。图6B示出了配置成运行应用程序(APP)的辅助装置,APP实施听力装置或系统的用户接口,主动噪声抑制运行模式可从用户接口进行选择和/或配置。
图6A、6B一起示出了包括根据本发明的双耳助听器系统的实施例的应用场合,其包括第一(左)和第二(右)听力装置(HD1,HD2)及辅助装置AD。辅助装置AD包括移动电话,例如智能电话。在图6A的实施例中,听力装置和辅助装置配置成在它们之间建立无线链路WL-RF,例如符合蓝牙标准(如蓝牙低功率或等效技术)的数字传输链路形式。作为备选,这些链路可以任何其它方便的无线和/或有线方式并根据任何适当的调制类型或传输标准(对于不同音频源可能不同)实施。图6A、6B的辅助装置(如智能电话)包括用户接口UI,提供助听器系统的遥控功能,例如用于改变听力装置中的程序或运行模式或运行参数(如音量)等。图6B的用户接口UI示出了用于选择听力系统或装置的运行模式的APP(记为“噪声抑制APP”),其中主动噪声抑制(ANS)可被启用(或禁用)(ANS可在左和右听力装置(HD1,HD2)的每一个中或在二者中个别地启动)。APP使用户能配置噪声抑制系统的预测算法的时延,例如选择预测应基于已知信号值的多少帧。在图6B的屏幕中,主动噪声抑制(ANS)运行模式已仅在左听力仪器(HD1)中选择,如左边的实心“打勾框”和粗体标示“仅HD1”所标示的。在(大声的)声源位于用户一侧的情形下,例如在半静止不动情形下,例如在桌子边上或在车中,这可能适合。预测时间τpd(确定直接传播的信号分量的预测所基于的历史值数量)可针对每一配置进行选择。在当前例子中,仅HD1被选择进行ANS,这样,HD2及二者(HD1+HD2)的选择通过点线框标示(不可访问)。
在实施例中,与主动噪声抑制(如声音预测)有关的计算的至少部分在辅助装置中进行。在另一实施例中,前述计算在左和/或右听力装置中进行。在后一情形下,系统可配置成在辅助装置与听力装置之间交换数据。听力装置(HD1,HD2)在图6A中被示为安装在用户U的耳朵处(耳后)的装置。可使用其它风格,例如完全位于耳朵中(例如耳道中,例如参见图4A)、完全或部分植入在头中、等等。每一听力仪器包括无线收发器以在听力装置之间建立耳间无线链路IA-WL,例如基于感应通信或RF通信(例如蓝牙技术)。每一听力装置还包括用于建立到辅助装置AD的无线链路WL-RF(例如基于辐射场(RF))的收发器,至少用于接收和/或传输信号如控制信号如信息信号,例如包括音频信号。收发器分别由右(HD2)和左(HD1)听力装置中的RF-IA-Rx/Tx-1和RF-IA-Rx/Tx-2指明。
图7A示意性地示出了样本中的时变模拟信号(振幅-时间)及其数字化x(n),这些样本安排在多个时间帧中,每一时间帧包括Ns个样本。图7A示出了模拟电信号(实线曲线),例如表示来自传声器的声输入信号,其在模数转换过程中转换为数字音频信号x(n),在模数转换过程中,模拟信号以预定采样速率fs进行采样,fs例如在从8kHz到48kHz的范围中(适应应用的特定需要),以在离散时间点n提供数字样本x(n),如从时间轴延伸的在其与所述曲线“重合”的端点处具有实心点的垂直线所示,表示在对应的不同时间点n的数字样本值。每一(音频)样本x(n)表示通过预定数量(Nb)的(量化)比特表示声信号在时间n的值,Nb例如在从1到48比特的范围中,例如24比特。每一音频样本因而使用Nb个比特量化(导致音频样本的2Nb个不同的可能值)。
在模数(AD)过程中,数字样本x(n)具有1/fs的时间长度,例如对于fs=20kHz,该时间长度为50μs。多个(音频)样本Ns例如安排在时间帧中,如图1A下部示意性图示的,其中各个(在此均匀间隔的)样本按时间帧分组x(m)(包括各个样本元素#1,2,…,Ns),其中m为帧数。同样如图7A的下部图示的,时间帧可连续地安排成非重叠(时间帧1,2,…,m,…,NM),其中m为时间帧指数。作为备选,时间帧可重叠(如50%或更多,如图7A下部所示)。在实施例中,一时间帧包括64个音频数据样本。根据实际应用,也可使用其它帧长度。一时间帧例如可具有3.2ms的持续时间(例如在20kHz的采样速率下对应于64个样本)。
图7B示意性地示出了图7A的时变电信号x(n)与根据本发明的预测算法有关的时频图(或子频带)表示。该时频表示Xm(k)(k=1,…,K,其中k为频率指数)包括信号的对应复值或实值在特定时间和频率范围的阵列或映射。该时频表示例如可以是将时变输入信号x(n)转换为时频域的(时变)信号X(k,m)的傅里叶变换的结果。在实施例中,傅里叶变换包括离散傅里叶变换算法(DFT),例如短时傅里叶变换(STFT)算法。典型听力装置考虑的从最小频率fmin到最大频率fmax的频率范围包括从20Hz到20kHz的典型人听频范围的一部分,如从20Hz到12kHz的范围的一部分。在图7B中,信号x(n)的时频表示X(k,m)包括信号的量值和/或相位在指数(k,m)确定的多个DFT窗口(或瓦)中的复值,其中k=1,…,K表示K个频率值(参见图7B中的纵向k轴),及m=1,…,NM表示NM个时间帧(参见图7B中的水平m轴)。时间帧由特定时间指数m和对应的K个DFT窗口确定(参见图7B中的时间帧m的指示)。时间帧m(或Xm )表示信号x在时间m的频谱。包括所涉及信号的(实或)复值X(k,m)的DFT窗口或瓦(k,m)在图7B中通过时频图中对应场的阴影图示(参见图7B中的DFT窗口=时频单元(k,m):其中|X|表示量值,及/>表示在该时频单元中的信号的相位)。频率指数k的每一值对应于频率范围Δfk,如图7B中通过纵向频率轴f指明。时间指数m的每一值表示时间帧。连续时间指数跨越的时间TF取决于时间帧的长度及相邻时间帧之间的重叠程度(参见图7B中的水平时间轴)。
电信号的时间帧例如可包括表示声音的数字化电信号的Ns个连续的样本,例如64个(写为向量xm),m为时间指数,例如参见图7A。然而,作为备选,电信号的时间帧可定义成包括在给定时间点的电信号的幅度谱(写为向量Xm)(例如通过傅里叶变换算法如STFT(短时傅里叶变换)算法提供,例如参见图7B中的TF图的示意性图示)。表示多个时间样本的时间帧xm及表示电信号的(同样时间样本的)幅度谱的时间帧Xm通过傅里叶变换联系在一起,例如由表达式给出,其中/>为表示傅里叶变换的矩阵。
表示声音的电输入信号可被提供为多个子频带信号。子频带信号例如可通过分析滤波器组提供,例如基于多个带通滤波器,或者基于上面指出的傅里叶变换算法(例如通过从经傅里叶变换的数据连续提取相应的幅度谱)。
如图7B中指明的,根据本发明的预测算法可按子频带级提供(而不是结合图3A-3E等描述的全带(时域)信号)。从而,提供相应的(子频带)预测算法的更新速率的下采样(例如20或更大的因数)。图7B中的包围输入信号的多个历史时频单元(DFT窗口)的粗“梯状”多边形(从时间“现在”(指数m)及时间向后的Pk个时间单位)指明已知输入数据的部分,对于给定频带,其用于预测(直接传播的)信号在预测时间τpred之后(指数m+τpred)的将来值,参见在时间单位m+τpred具有点填充的粗矩形。预测算法可在所有频带k=1,…,K中执行,并可使用同样数量(Pk个)的历史值来预测将来值。但如图7B的示意性图示中表明的,预测算法可仅在所选频带中执行,例如对语音可懂度最重要的频带,例如高于低频阈频fth,low且低于高频阈频fth,high的频带。高频阈频fth,high例如可以是4kHz(通常在较高频率时预测困难)或3kHz或2kHz或更小,例如1kHz。部分原因在于在高于高频阈值的频率时的话音起源主要由嘴巴和喉咙区域的激流气流引起,就其本质而言,其相较低于低频阈值的频率时的话音(主要通过声带振动产生)不太可预测。低频阈频fth,low例如可大于或等于100Hz(通常人的听觉感知低于100Hz),或者大于或等于200Hz,或者大于或等于500Hz(例如考虑低频声音趋于穿过通风孔或圆顶件开口逸离(“泄漏”,因而不明显干扰耳鼓处的信号)的事实)。同样,由于耳道对直接传播的声学信号的频率整形,其中的低频被衰减因而不太重要进行补偿。指明时频单元的用于预测将来的时频单元的过去值的数量的参数Pk可不同,例如随频率增大而减小(如图7B中所示),例如,模仿随频率递减而递增基频的时间段。类似地,应用于给定子频带信号的每一先前值(时频单元)的加权因子ai可随频率而变,ai=ai(k)=ai,k。甚至预测时间τpred(例如由参数Pk的不同值引起)可随频率而变(τpred=τpred(k)=τpred,k)。各个预测算法可根据本发明执行,如上面针对全带信号讨论的。代替如图7B中所示的作用于均匀频带(带宽Δfk独立于频率指数k),预测算法可作用于非均匀频带,例如随频率递增具有递增的带宽(反映人听觉系统的对数特性)。图8A示出了多个示例性参数化感知掩蔽函数Gj(f),j=1,2,3。对于频率从较低频率f1增加到低于第三频率f3的频率,掩蔽函数在0到1之间变化,在f1和f3之间的频率f2时具有最大值1。对于低于f1或高于f3的频率,掩蔽函数Gi(f)取值0。示例性的(理论)掩蔽函数G3(f)对于在f1到f3之间范围中的所有频率等于1,及对于该频率范围之外的频率等于0(在实践中,G3(f)的舍入版本将更现实)。示例性的掩蔽函数G1(f),G2(f)中的每一个在f1到f2之间从0(单调)增加到1,及从f2到f3时从1(单调)减小到0,G1具有线性路线,G2具有非线性路线。掩蔽函数Gi(f)可取任何其它路线,例如逐段线性或者线性与非线性路线的组合。最小频率f1例如可在从50Hz到200Hz的范围中。最大频率f3例如可在从800Hz到1200Hz或到1500Hz的范围中。图8B示出了示例性的感知掩蔽参数函数G(f),如图8A中由函数G2(f)标示的,其中f1=100Hz、f2=500Hz及f3=1000Hz。随频率而变的感知加权函数G(f)例如可(选择成)随时间固定。随频率而变的感知加权函数G(f)例如可取决于特定助听器风格(例如对于给定风格固定)和/或特定通风孔大小。
当由对应的过程适当代替时,上面描述的、“具体实施方式”中详细描述的及权利要求中限定的装置的结构特征可与本发明方法的步骤结合。
除非明确指出,在此所用的单数形式“一”、“该”的含义均包括复数形式(即具有“至少一”的意思)。应当进一步理解,说明书中使用的术语“具有”、“包括”和/或“包含”表明存在所述的特征、整数、步骤、操作、元件和/或部件,但不排除存在或增加一个或多个其他特征、整数、步骤、操作、元件、部件和/或其组合。应当理解,除非明确指出,当元件被称为“连接”或“耦合”到另一元件时,可以是直接连接或耦合到其他元件,也可以存在中间插入元件。如在此所用的术语“和/或”包括一个或多个列举的相关项目的任何及所有组合。除非明确指出,在此公开的任何方法的步骤不必须精确按所公开的顺序执行。
应意识到,本说明书中提及“一实施例”或“实施例”或“方面”或者“可”包括的特征意为结合该实施例描述的特定特征、结构或特性包括在本发明的至少一实施方式中。此外,特定特征、结构或特性可在本发明的一个或多个实施方式中适当组合。提供前面的描述是为了使本领域技术人员能够实施在此描述的各个方面。各种修改对本领域技术人员将显而易见,及在此定义的一般原理可应用于其他方面。
权利要求不限于在此所示的各个方面,而是包含与权利要求语言一致的全部范围,其中除非明确指出,以单数形式提及的元件不意指“一个及只有一个”,而是指“一个或多个”。除非明确指出,术语“一些”指一个或多个。
因而,本发明的范围应依据权利要求进行判断。

Claims (16)

1.一种配置成将声音播放到用户耳道内的听力装置,所述听力装置包括:
-至少一输入变换器(ITq),用于在所述至少一输入变换器处拾取来自听力装置周围声场S的声音sq并提供对应的表示所述声音sq的至少一电输入信号INq,i=1, …, Q,其中Q ≥1;
-模数转换器,用于将所述至少一电输入信号转换为由离散样本sq(p)表示的数字化信号,其中p为时间样本指数;
-处理器,用于将所述数字化信号处理为处理后的信号;
-输出变换器OT,用于将包括所述处理后的信号的电信号转换为声学信号;其中听力装置的正向信号通路为从所述至少一输入变换器的声学输入到所述输出变换器的声学输出的通路并具有正向信号传播时延τHI
- 补偿单元,用于至少部分抵消从所述声场S直接传播的、经直接声学传播通路传播到耳道的声音,其中所述补偿单元配置成预测直接传播的声音并按所述直接传播的声音的反相播放直接传播的声音,及其中所述补偿单元配置成根据所述补偿单元的时延τcomp和所述直接声学传播通路的时延τdir预测离散样本sq(p);
其中所述补偿单元的时延τcomp包括从至少一输入变换器的输入到所述输出变换器的输出的电信号通路的时延;及
其中所述补偿单元的时延τcomp大于所述直接声学传播通路的时延τdir
2.根据权利要求1所述的听力装置,其中所述补偿单元配置成基于线性或非线性预测算法或基于线性与非线性预测算法的组合预测直接传播的声音。
3.根据权利要求2所述的听力装置,其中所述补偿单元配置成基于电输入信号或其处理后版本的当前样本及P-1个过去样本的线性组合,使用对应的权重ai, i=0, 1, …, P-1或使用非线性函数f(.)预测直接传播的声音。
4.根据权利要求1所述的听力装置,包括时域到频域转换单元,用于按子频带表示提供时域输入信号。
5.根据权利要求4所述的听力装置,其中所述补偿单元配置成使预测误差最小化,其按时间和/或频率的函数进行加权。
6.根据权利要求4所述的听力装置,配置成仅在所选频带执行预测算法。
7.根据权利要求1所述的听力装置,包括起始检测器,用于识别电输入信号中的瞬变并根据其提供起始控制信号,其中补偿单元配置成只要起始控制信号表明已检测到瞬变就限制或不顾所述直接传播的声音的当前预测值。
8.根据权利要求1所述的听力装置,包括提供对应的至少两个电输入信号的至少两个输入变换器及用于基于至少两个电输入信号提供空间滤波的信号的波束形成器滤波单元。
9.根据权利要求1所述的听力装置,其中所述直接传播的声音基于神经网络预测。
10.根据权利要求1所述的听力装置,其中所述补偿单元配置成预测离散样本sq(p),其处于将来的τcomp - τdir时。
11.根据权利要求1所述的听力装置,配置成包括表示直接声学传播通路的传递函数的频率整形。
12.根据权利要求2所述的听力装置,配置成根据检测到的自我话音控制预测算法的参数,使得听力装置相较于来自用户嘴巴的声音不同地处理外部声音。
13.根据权利要求1所述的听力装置,由助听器或任何其它可穿戴耳件构成或者包括助听器或任何其它可穿戴耳件。
14.根据权利要求1所述的听力装置,由耳机、耳麦、耳朵保护装置或其组合构成或者包括耳机、耳麦、耳朵保护装置或其组合。
15.根据权利要求1所述的听力装置,其中所述直接声学传播通路的时延τdir和/或所述补偿单元的时延τcomp随频率而变。
16.根据权利要求1所述的听力装置,还包括存储器(MEM),其中与直接传播的声音的预测有关的参数永久和/或暂时存储在所述存储器中并由所述处理器和/或所述补偿单元访问。
CN202010023574.6A 2019-01-09 2020-01-09 包括直接声音补偿的听力装置 Active CN111432318B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP19150885.2 2019-01-09
EP19150885 2019-01-09

Publications (2)

Publication Number Publication Date
CN111432318A CN111432318A (zh) 2020-07-17
CN111432318B true CN111432318B (zh) 2024-04-16

Family

ID=65010658

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010023574.6A Active CN111432318B (zh) 2019-01-09 2020-01-09 包括直接声音补偿的听力装置

Country Status (4)

Country Link
US (1) US11109166B2 (zh)
EP (1) EP3681175B1 (zh)
CN (1) CN111432318B (zh)
DK (1) DK3681175T3 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7405660B2 (ja) * 2020-03-19 2023-12-26 Lineヤフー株式会社 出力装置、出力方法及び出力プログラム
TWI819478B (zh) 2021-04-07 2023-10-21 英屬開曼群島商意騰科技股份有限公司 具端至端神經網路之聽力裝置及音訊處理方法
EP4075829B1 (en) 2021-04-15 2024-03-06 Oticon A/s A hearing device or system comprising a communication interface
CN113132880B (zh) * 2021-04-16 2022-10-04 深圳木芯科技有限公司 基于双麦克风架构的冲击噪声抑制方法和系统
EP4099724A1 (en) * 2021-06-04 2022-12-07 Oticon A/s A low latency hearing aid
EP4120698A1 (en) * 2021-07-13 2023-01-18 Oticon A/s A hearing aid comprising an ite-part adapted to be located in an ear canal of a user
WO2023169755A1 (en) * 2022-03-07 2023-09-14 Widex A/S Method for operating a hearing aid

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5852667A (en) * 1995-07-03 1998-12-22 Pan; Jianhua Digital feed-forward active noise control system
CN104469643A (zh) * 2013-09-17 2015-03-25 奥迪康有限公司 包括输入变换器系统的助听装置
CN105916087A (zh) * 2015-02-24 2016-08-31 奥迪康有限公司 包括抗反馈断电检测器的听力装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2023664B1 (en) * 2007-08-10 2013-03-13 Oticon A/S Active noise cancellation in hearing devices
DE102009012745A1 (de) * 2009-03-12 2010-09-23 Siemens Medical Instruments Pte. Ltd. Verfahren zum Kompensieren eines Störschalls bei einer Hörvorrichtung, Hörvorrichtung und Verfahren zum Anpassen derselben
EP2814026A4 (en) 2012-02-08 2016-03-02 Kyushu Inst Technology MUTE DEVICE
DK201700062A1 (da) * 2017-01-31 2018-09-11 Widex A/S Method of operating a hearing aid system and a hearing aid system
US10542354B2 (en) * 2017-06-23 2020-01-21 Gn Hearing A/S Hearing device with suppression of comb filtering effect

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5852667A (en) * 1995-07-03 1998-12-22 Pan; Jianhua Digital feed-forward active noise control system
CN104469643A (zh) * 2013-09-17 2015-03-25 奥迪康有限公司 包括输入变换器系统的助听装置
CN105916087A (zh) * 2015-02-24 2016-08-31 奥迪康有限公司 包括抗反馈断电检测器的听力装置

Also Published As

Publication number Publication date
EP3681175A1 (en) 2020-07-15
US11109166B2 (en) 2021-08-31
CN111432318A (zh) 2020-07-17
US20200221236A1 (en) 2020-07-09
EP3681175B1 (en) 2022-06-01
DK3681175T3 (da) 2022-07-04

Similar Documents

Publication Publication Date Title
US10966034B2 (en) Method of operating a hearing device and a hearing device providing speech enhancement based on an algorithm optimized with a speech intelligibility prediction algorithm
CN111432318B (zh) 包括直接声音补偿的听力装置
JP7250418B2 (ja) 音響信号の信号対ノイズ比を推定するオーディオ処理装置及び方法
CN107360527B (zh) 包括波束形成器滤波单元的听力装置
CN110139200B (zh) 包括用于降低反馈的波束形成器滤波单元的听力装置
CN110035367B (zh) 反馈检测器及包括反馈检测器的听力装置
CN107801139B (zh) 包括反馈检测单元的听力装置
US11729557B2 (en) Hearing device comprising a microphone adapted to be located at or in the ear canal of a user
CN115767388A (zh) 一种听力装置
US11463820B2 (en) Hearing aid comprising a directional microphone system
CN111629313B (zh) 包括环路增益限制器的听力装置
EP4099724A1 (en) A low latency hearing aid
EP4054209A1 (en) A hearing device comprising an active emission canceller
EP4297435A1 (en) A hearing aid comprising an active noise cancellation system
EP4199541A1 (en) A hearing device comprising a low complexity beamformer
EP4106349A1 (en) A hearing device comprising a speech intelligibility estimator
CN115226016A (zh) 包括通信接口的听力装置或系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant