CN108600907B - 定位声源的方法、听力装置及听力系统 - Google Patents

定位声源的方法、听力装置及听力系统 Download PDF

Info

Publication number
CN108600907B
CN108600907B CN201810194939.4A CN201810194939A CN108600907B CN 108600907 B CN108600907 B CN 108600907B CN 201810194939 A CN201810194939 A CN 201810194939A CN 108600907 B CN108600907 B CN 108600907B
Authority
CN
China
Prior art keywords
signal
hearing
microphone
user
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201810194939.4A
Other languages
English (en)
Other versions
CN108600907A (zh
Inventor
M·法马尼
M·S·佩德森
J·詹森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Oticon AS
Original Assignee
Oticon AS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Oticon AS filed Critical Oticon AS
Publication of CN108600907A publication Critical patent/CN108600907A/zh
Application granted granted Critical
Publication of CN108600907B publication Critical patent/CN108600907B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/326—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only for microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/55—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception using an external connection, either wireless or wired
    • H04R25/552—Binaural
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1083—Reduction of ambient noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/40—Arrangements for obtaining a desired directivity characteristic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/40—Arrangements for obtaining a desired directivity characteristic
    • H04R25/407—Circuits for combining signals of a plurality of transducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/43—Electronic input selection or mixing based on input signal analysis, e.g. mixing or selection between microphone and telecoil or between microphones with different directivity characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/55—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception using an external connection, either wireless or wired
    • H04R25/554—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception using an external connection, either wireless or wired using a wireless connection, e.g. between microphone and amplifier or using Tcoils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2225/00—Details of deaf aids covered by H04R25/00, not provided for in any of its subgroups
    • H04R2225/43—Signal processing in hearing aids to enhance the speech intelligibility
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H04R2430/20—Processing of the output signals of the acoustic transducers of an array for obtaining a desired directivity characteristic
    • H04R2430/23—Direction finding using a sum-delay beam-former
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurosurgery (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

本申请公开了定位声源的方法、听力装置及听力系统，其中所述听力系统包括：M个传声器；收发器；信号处理器；所述信号处理器配置成在下述基础上估计目标声音信号相对于用户的到达方向：在由用户佩戴时通过从目标声源到第m个传声器的声学传播通道在传声器m(m＝1,…,M)处接收的声音信号rm的信号模型，其中第m个声学传播通道使实质上无噪声目标信号s(n)遭受衰减αm和时延Dm；最大似然方法学；从所述M个传声器中的M‑1个传声器的每一个(m＝1,…,M,m≠j)到所述M个传声器中的参考传声器(m＝j)的、随方向而变的声学传递函数形式的、表示用户的头部和躯干的随方向而变的滤波效应的相对传递函数dm；其中所述衰减αm被假定与频率无关而所述时延Dm被假定随方向而变。

Description

定位声源的方法、听力装置及听力系统
技术领域
本申请涉及听力装置如助听器领域，尤其涉及声源定位领域。
背景技术
人类中的听觉场景分析(ASA)能力使我们能有意地聚焦于一声源，同时抑制其它(无关的)声源，这些声源可能在现实声学场景中同时存在。感音神经性听力受损听者一定程度上失去该能力并在与环境交互时面临困难。在试图恢复听力受损用户与环境的正常交互时，助听器系统(HAS)可执行一些由健康听觉系统执行的ASA任务。
发明内容
本发明涉及相对于用户的听力装置或一对听力装置(或相对于用户鼻子)估计到一个或多个感兴趣声源的方向的问题。在下面，听力装置由适于补偿其用户的听力受损的助听器例示。假定目标声源配备有无线传输能力(或被提供具有无线传输能力的相应装置)及目标声音因而经建立的无线链路传给助听器用户的助听器。因此，助听器系统经其传声器声学地接收目标声音，及经电磁传输通道(或其它无线传输选择)无线地接收目标声音。根据本发明的听力装置或助听器系统可按单耳配置(仅一个助听器中的传声器用于定位)及双耳配置(两个助听器中的传声器用于定位)或者按包括至少两个“别处”(用户身体如头上或附近，优选即使头部运动时保持到声源的方向)的传声器的多种混合解决方案进行运行。优选地，至少两个传声器定位成(例如每一耳朵至少一个传声器)使得它们充分利用相对于声源的不同耳朵位置(考虑用户头部和身体的可能的阴影效应)。在双耳配置情形下，假定可在两个助听器之间共享信息，例如经无线传输系统。
一方面，提供包括左和右听力装置如助听器的双耳听力系统。左和右听力装置适于在左和右听力装置之间交换似然值L或概率p等以用于估计到目标声源/来自目标声源的到达方向(DoA)。在实施例中，在左和右听力装置(HDL,HDR)之间仅交换多个到达方向DoA(θ)的似然值(L(θi))例如对数似然值或者归一化似然值，例如符合有限的(现实)角度范围如θ∈[θ1；θ2]和/或限于一频率范围例如低于阈频。在其最一般的形式中，仅有噪声信号可用，例如由左和右听力装置的传声器拾取。在更具体的实施例中，目标信号的实质上无噪声版本可用，例如从对应的目标声源无线接收。该一般方面可与下面概述的更聚焦的方面的特征组合。
假定i)接收到的声学信号由目标声音和可能的背景噪声组成；和ii)无线接收的目标声音信号，其由于无线传声器靠近目标声源(或从一距离获得，例如通过使用波束形成的(无线)传声器阵列)而(实质上)无噪声，本发明的目标在于估计目标声源相对于助听器或助听器系统的到达方向(DOA)。在本说明书中(无线传播的目标信号)，术语“无噪声”意为“实质上无噪声”或者“包括比声学传播的目标声音小的噪声”。
目标声源例如可包括人的话音，或直接来自人的嘴巴或经扬声器呈现。目标声源的拾取及无线传给助听器例如可实施为连到或位于目标声源附近的无线传声器(参见图1A或者图5-8)，例如位于有噪声环境(如鸡尾酒会、车厢中、机舱中等)中的对话伙伴身上，或者位于“讲演厅或教室情形”下的讲课者身上，等等。目标声源还可包括现场播放或经一个或多个扬声器呈现的音乐或其它声音(同时被无线传给(或直接或广播)听力装置)。目标声源也可以是具有无线传输能力的通信或娱乐装置，例如包括发射器的收音机/电视机，其将声音信号无线传给助听器。
通常，外部传声器单元(如包括传声器阵列)将放在相对于听力装置的声学远场中(例如参见图5-8的场合)。优选使用距离测量(如近场-远场辨别)和在听力装置中根据距离测量决定来自外部传声器单元的信号的无线接收是否优先于位于用户处的听力装置的传声器信号的适当距离判据。在实施例中，从外部传声器单元无线接收的信号与听力装置的传声器拾取的电信号之间的互相关可用于估计相互距离(通过提取相应信号到达听力装置的到达时间差，考虑传输和接收侧的处理时延)。在实施例中，距离判据包括，如果距离测量表明外部传声器单元与听力装置之间的距离小于预定距离如小于1.5m或小于1m，则忽略无线信号(并使用听力装置的传声器)。在实施例中，随着听力装置与外部传声器单元之间的距离渐增，实施使用来自听力装置的传声器的信号与使用来自外部传声器单元的信号之间的渐变。相应信号在渐变期间优选时间对准。在实施例中，听力装置的传声器主要用于小于1.5m的距离，而外部传声器单元主要用于大于3m的距离(优选考虑混响)。
由于下述几个目的，估计到目标声源的方向(和/或目标声源的位置)是有利的：1)目标声源可被“双耳化”，即双耳地进行处理并呈现给助听器用户(具有正确的空间信息)，这样，无线信号将听上去就像源自正确的空间位置一样；2)助听器系统中的降噪算法可适应该已知目标声源在已知位置的存在；3)可向助听器用户提供可视(或通过其它手段)反馈如经便携式计算机反馈声源(如无线传声器)的位置，或为简单的信息或为用户界面的一部分，其中助听器用户可控制多个不同无线声源的出现(音量等)；4)具有精确的目标方向的目标抵消波束形成器可由听力装置传声器产生，所得的目标抵消的信号(TCmic)可在左和右听力装置中与无线接收的目标信号(Twl，例如具有空间线索Twl*dm，dm为相对传递函数(RTF)及m＝left,right(看情况))混合，例如以提供具有空间线索和房间环境的合成信号从而呈现给用户(或用于进一步处理)，例如提供为α·Twl*dm+(1-α)·TCmic，其中α为0和1之间的权重因子。这个概念在我们的未决欧洲专利申请[5]中进一步描述。
在本说明书中，术语(声学)“远场”指其中从声源到(助听器)传声器的距离远大于传声器间距离的声场。
我们的未决欧洲专利申请[2],[3],[4]也涉及听力装置如助听器中的声源定位。
相较于后者的发明，本发明的实施例具有一个或多个下述优点：
-在单耳和双耳配置下，所提出的方法(除拾取目标信号的无线传声器之外还)对于任何数量(M≥2，位于头部的别处)的传声器起作用，而[4]描述了M＝2系统(每一耳朵中/处精确地只有一个传声器)。
-所提出的方法计算负担更低，因为其需要跨频谱求和；而[4]需要逆FFT应用于频谱。
-所提出的方法的变型使用信息融合技术，其有助于减少必需的双耳信息交换。具体地，[4]需要传声器信号的双耳传输，而所提出的方法的特定变型仅需要每帧I个后验概率的交换，其中I为可检测的可能方向的数量。通常，I远小于信号帧长度。
-所提出的方法的变型为偏差补偿的方法，即当信噪比(SNR)非常低时，确保该方法不使特定方向“优先”，这是任何定位算法需要的特征。在实施例中，当偏差已被去除时，优选(默认)方向可被有利地引入。
本发明的目标是估计目标声源相对于佩戴助听器系统的用户的方向和/或位置，助听器系统包括位于用户处例如用户的左和/或右耳处(和/或用户身体的别处(如头部))的传声器。
在本发明中，参数θ指相较于参考(如水平)面中的参考方向的方位角，但也可包括面外(如极角
Figure BDA0001592805110000041
)变化和/或径向距离(r)变化。具体地，如果目标声源在相对于听力系统用户的声学近场中，距离变化可与相对传递函数(RTF)有关。
为估计目标声源的位置和/或方向，关于到达助听器系统的传声器的信号及关于它们从发射目标源到传声器的传播，进行一些假设。在下面，简要地概述这些假设。对于与本发明有关的这个及其它主题的细节，参考[1]。在下面，等式数目“(p)”对应于[1]中概述的数目。
信号模型
假定下面形式的信号模型：
rm(n)＝s(n)*hm(n,θ)+vm(n),(m＝1,…,M)等式(1)
其中M指传声器数量(M≥2)，s(n)为在目标声源位置发出的无噪声目标信号，及hm(n,θ)为目标声源与第m个传声器之间的声道脉冲响应，及vm(n)表示附加噪声分量。我们在短时傅里叶变换域中运行，这使所有涉及的量均能被写为频率指数k、时间(帧)指数l和到达方向(角度、距离等)θ的函数。有噪声信号rm(n)和声学传递函数hm(n,θ)的傅里叶变换分别由等式(2)或(3)给出。
众所周知，头部的存在在声音到达助听器的传声器之前影响声音，取决于声音方向。所提出的方法在估计目标位置时考虑了头部存在。在所提出的方法中，头部的随方向而变的滤波效果由相对传递函数(RTF)表示，即从传声器m到预先选择的参考传声器的(随方向而变的)声学传递函数(具有指数j,m，j∈M)。对于特定频率和到达方向，相对传递函数为复值量，记为dm(k,θ)(参见下面的等式(4))。我们假定RTF dm(k,θ)在离线测量程序中针对有关频率k和方向θ、针对所有传声器m进行测量，例如在使用助听器(包括传声器)安装在头和躯干模拟器(HATS)上或真人(如听力系统的用户)上的录音室中。针对所有传声器m＝1,…,M(针对特定角度θ和特定频率k)的多个RTF堆在M维向量d(k,θ)中。这些测得的RTF向量d(k,θ)(如d(k,θ,
Figure BDA0001592805110000051
r))例如保存在助听器的存储器中(或者可用于助听器的存储器中)。
最后，将针对M个传声器中的每一传声器的有噪声信号的傅里叶变换堆在M维向量R(l,k)中导致下面的等式(5)。
最大似然框架
总体目标是使用最大似然框架估计到达方向θ。为此，假定(复值)有噪声DFT系数遵循高斯分布(参见等式(6))。
假定有噪声DFT系数跨频率k统计上独立使能表达给定帧(具有指数l)的似然函数L(参见等式(7))(使用等式(7)后面未编号的等式中的定义)。
舍弃似然函数表达式中与θ无关的项及基于似然值的对数L而不是似然值p本身运算，可得到等式(8)，参见下面。
提出的DoA估计器
所提出的DoA估计器的基本想法是在对数似然函数(等式(8))中评估所有预先存储的RTF向量dm(k,θ)，及选择导致最大似然的RTF向量。假定从目标声源到参考传声器(第j个传声器)的声学传递函数Hj(k,θ)(参见等式(3),(4))的量值与频率无关，对数似然函数L可被简化(参见等式(18))。因此，为找到θ的最大似然估计量，我们简单地需要在L的表达式(等式(18))中评估每一预先存储的RTF向量并选择使L最大化的RTF向量。应注意，L的表达式具有非常合乎需要的性质，其涉及跨频率变量k的求和。其它方法(例如我们的未决欧洲专利申请16182987.4[4]中的方法)需要评估逆傅里叶变换。显然，跨频率轴求和计算负担低于跨频率轴傅里叶变换。
所提出的DOA估计器
Figure BDA0001592805110000061
简洁地写为等式。DoA估计的步骤包括：
1)在预先存储的一组RTF向量之中评估简化的对数似然函数L；及
2)识别导致最大对数似然的RTF向量。与该组RTF向量相关联的DOA为最大似然估计量。
偏差补偿的估计器
在非常低SNR的情形下，即其中实质上没有目标方向的证据的情形，希望所提出的估计器(或者针对该事情的任何其它估计器)不系统地挑选一个方向，换言之，希望所得的DOA估计量按空间均匀分布。本发明中提出的(及等式(29)-(30)中定义的)修改后的(偏差补偿的)估计器导致DOA估计量按空间均匀分布。在实施例中，预先存储的RTF向量dm(k,θ)的字典元素在空间中均匀分布(可能跨方位角θ或者(θ,
Figure BDA0001592805110000064
r)均匀)。
用修改后的对数似然函数找到DOA(或者θ)的最大似然估计量
Figure BDA0001592805110000062
的程序与上面描述的类似：
1)针对与每一方向θi相关联的RTF向量评估偏差补偿的对数似然函数L；及
2)将与使RTF向量最大化相关联的θ选择为最大似然估计量
Figure BDA0001592805110000063
减少双耳信息交换
所提出的方法为一般方法，其可应用于任何数量的传声器M≥2(在用户头部上)，不管它们的位置如何(例如至少两个传声器位于用户的一只耳朵处或者分布在用户的两只耳朵上)。优选地，传声器间距离相当小(例如小于最大距离)以保持相对传递函数的距离相干性最小。在传声器位于头部两侧的情形下，迄今考虑的方法需要传声器信号以某种方式从一侧传到另一侧。在一些情形下，这种双耳传输通路的比特率/等待时间受限，使得一个或多个传声器信号的传输困难。在实施例中，听力系统的至少一个如两个以上或者所有传声器位于头带上或者眼镜上例如眼镜框上，或者其它可佩戴物品如帽子上。
本发明提出避免传输传声器信号的方法。而是，对于每一帧，其将后验(有条件的)概率(参见等式(31)或(32))分别传到右侧和左侧。这些后验概率描述目标信号源自I个方向中的每一方向的概率，其中I为预先存储的RTF数据库中表示的可能DoA的数量。通常，数I远小于帧长度，因此，预期传输I所需要的数据量小于传输一个或多个传声器信号所需要的数据量。
总之，所提出方法的该特殊的二元版本需要：
1)在传输侧：对每一帧，对每一方向θi,i＝0,…,I-1计算和传输后验概率(例如针对左侧的等式(31))；
2)在接收侧：对每一方向θi，计算后验概率(参见等式(32))，及乘以所接收的后验概率(pleft,pright，参见等式(33))以形成全局似然函数的估计量；
3)将与等式(33)的最大值相关联的θi选择为最大似然估计量(如等式(34)中所示)。
听力系统
在本申请的一方面，提供一种听力系统。该听力系统包括：
-M个传声器，其中M等于或大于2，其适于位于用户身上和用于从环境拾取声音及提供M个对应的电输入信号rm(n)，m＝1,…,M，n表示时间，给定传声器处的环境声音包括从目标声源的位置经声学传播通道传播的目标声音信号与所涉及传声器的位置处可能存在的附加噪声信号vm(n)的混合；
-收发器，配置成接收目标声音信号的无线传输的版本并提供实质上无噪声目标信号s(n)；
-信号处理器，连接到所述M个传声器及所述无线接收器；
-所述信号处理器配置成在下述基础上估计目标声音信号相对于用户的到达方向：
--在由用户佩戴时通过从目标声源到第m个传声器的声学传播通道在传声器m(m＝1,…,M)处接收的声音信号rm的信号模型，其中第m个声学传播通道使实质上无噪声目标信号s(n)遭受衰减αm和时延Dm；
--最大似然方法学；
--从所述M个传声器中的M-1个传声器的每一个(m＝1,…,M,m≠j)到所述M个传声器中的参考传声器(m＝j)的、随方向而变的声学传递函数形式的、表示用户的头部和躯干的随方向而变的滤波效应的相对传递函数dm。
信号处理器还配置成在所述衰减αm与频率无关而所述时延Dm可能(或者的确)随方向而变的假设下估计目标声音信号相对于用户的到达方向。
衰减αm指信号在通过从目标声源到第m个传声器(如参考传声器j)的声学通道传播时其量值的衰减，及Dm为所述信号在从目标声源到第m个传声器的通道中传播的同时经历的对应的延迟。
衰减αm的频率无关性提供计算简单的优点(因为计算可被简化，例如在评估对数似然L时，可使用跨所有频率窗口的和，而不是计算逆傅里叶变换(如IDFT))。这在便携式装置如助听器中通常很重要，其中功率问题是主要担心的问题。
从而可提供改进的听力系统。
在实施例中，听力系统配置成同时无线接收两个以上目标声音信号(从相应的两个以上目标声源)。
在实施例中，信号模型(可)表达为：
rm(n)＝s(n)*hm(n,θ)+vm(n),(m＝1,…,M)
其中s(n)为目标声源发出的实质上无噪声的目标信号，hm(n,θ)为目标声源和传声器m之间的声学通道脉冲响应，及vm(n)为附加噪声分量，θ为目标声源相对于由用户和/或由用户处的传声器的位置确定的参考方向的到达方向的角度，n为离散时间指数，及*为卷积算子。
在实施例中，信号模型(可)表达为：
Rm(l，k)＝S(l，k)Hm(k，θ)+Vm(l，k)(m＝1,…,M)
其中，Rm(l,k)为有噪声目标信号的时频表示，S(l,k)为实质上无噪声目标信号的时频表示，Hm(k,θ)为从目标声源到相应传声器的声传播通道的频率传递函数，及Vm(l,k)为附加噪声的时频表示。
在实施例中，听力系统配置成使得信号处理器有权访问针对相对于用户的不同方向(θ)的相对传递函数dm(k)的数据库Θ(例如经存储器或网络)。
在实施例中，相对传递函数dm(k)的数据库保存在听力系统的存储器中。
在实施例中，听力系统包括至少一听力装置如助听器，其适于佩戴在用户耳朵处或耳朵中或者完全或部分植入在用户耳朵处的头部中。在实施例中，至少一听力装置包括所述M个传声器中的至少一个如至少部分(如大部分或全部)。
在实施例中，听力系统包括左和右听力装置如助听器，其适于分别佩戴在用户的左和右耳之处或之中，或者分别完全或部分植入在左和右耳处的头部中。
在实施例中，左和右听力装置包括所述M个传声器中的至少一个如至少部分(如大部分或全部)。在实施例中，听力系统配置成使得左和右听力装置及信号处理器位于三个物理上分开的装置中或者由其构成。
在本说明书中，术语“物理上分开的装置”指每一装置具有其自己的壳体，及如果这些装置彼此通信，它们经有线或无线通信链路连接。
在实施例中，听力系统配置成使得左和右听力装置中的每一个包括信号处理器及适当的天线和收发器电路以使得信息信号和/或音频信号或者其部分可在左和右听力装置之间交换。在实施例中，第一和第二听力装置中的每一个包括配置成使能在其间交换信息的天线和收发器电路，例如交换状态、控制和/或音频数据。在实施例中，第一和第二听力装置配置成使能将在第一和第二听力装置之一中估计的关于到达方向的数据交换给另一听力装置和/或交换相应听力装置中的输入变换器(如传声器)拾取的音频信号。
听力系统可包括时域到时频域转换单元，用于将时域的电输入信号转换为电输入信号在时频域的表示，从而在多个频率窗口k,k＝1,2,…,K中的每一时刻l提供电输入信号。
在实施例中，信号处理器配置成提供目标声音信号的到达方向θ的最大似然估计量。
在实施例中，信号处理器配置成通过找到使对数似然函数最大的θ值而提供目标声音信号的到达方向θ的最大似然估计量，及其中对数似然函数的表达式适于使能使用跨频率变量k的求和针对到达方向(θ)的不同值计算对数似然函数的各个值。
在实施例中，所述似然函数如对数似然函数在有限的频率范围ΔfLike中进行估计，例如小于听力装置的正常工作频率范围(如0到10kHz)。在实施例中，有限的频率范围ΔfLike在从0到5kHz的范围内，例如在从500Hz到4kHz的范围内。在实施例中，有限的频率范围ΔfLike随相对传递函数RTF的(假定的)准确度而变。RTF在相当高的频率下可能不太可靠。
在实施例中，听力系统包括一个或多个加权单元，用于提供具有适当的空间线索的实质上无噪声目标信号s(n)与一个或多个电输入信号或其处理后版本的加权混合。在实施例中，左和右听力装置中的每一个包括加权单元。
在实施例中，听力系统配置成使用位于头部左侧(θ∈[0°；180°])的参考传声器用于计算对应于头部左侧的方向(θ∈[0°；180°])的似然函数。
在实施例中，听力系统配置成使用位于头部右侧(θ∈[180°；360°])的参考传声器用于计算对应于头部右侧的方向(θ∈[180°；360°])的似然函数。
在实施例中，提供包括左和右听力装置的听力系统，其中左和右听力装置中的至少一个是或包括助听器、耳麦、头戴式耳机、耳朵保护装置或其组合。
在实施例中，听力系统配置成提供最大似然估计量的偏差补偿。
在实施例中，听力系统包括配置成监视用户头部的运动的运动传感器。在实施例中，技术检测到(小的)头部运动，所应用的DOA固定。在本说明书中，术语“小的”意为小于5度，如小于1度。在实施例中，运动传感器包括加速计、陀螺仪和磁力计中的一个或多个，它们通常能够检测远快于DOA估计器的小的运动。在实施例中，听力系统配置成根据运动传感器检测到的(小的)头部运动修正所应用的头部相关传递函数(RTF)。
在实施例中，听力系统包括一个或多个听力装置及包括辅助装置。
在实施例中，辅助装置包括无线传声器如传声器阵列。在实施例中，辅助装置配置成拾取目标信号，及将目标信号的实质上无噪声版本传给听力装置。在实施例中，辅助装置包括模拟(如FM)无线电发射器或者数字无线电发射器(如蓝牙)。在实施例中，辅助装置包括话音活动检测器(如近场话音检测器)，从而使能识别辅助装置拾取的信号是否包括目标信号如人话音(如语音)。在实施例中，辅助装置配置成仅在其拾取的信号包括目标信号(如语音，例如记录的附近的语音，或者具有高信噪比)的情形下传输。这具有噪声不被传输到听力装置的优点。
在实施例中，该听力系统适于在听力装置和辅助装置之间建立通信链路以使信息(如控制和状态信号，可能音频信号)能在其间进行交换或从一装置转发给另一装置。
在实施例中，听力系统配置成经两个以上辅助装置从两个以上目标声源同时接收两个以上无线接收的实质上无噪声的目标信号。在实施例中，每一辅助装置包括能够将相应的目标声音信号传给听力系统的无线传声器(例如形成另一装置如智能电话的一部分)。
在实施例中，辅助装置是或包括音频网关设备，其适于(如从娱乐装置例如TV或音乐播放器，从电话装置例如移动电话，或从计算机例如PC)接收多个音频信号，及适于选择和/或组合所接收音频信号(或信号组合)中的适当信号以传给听力装置。在实施例中，辅助装置是或包括遥控器，用于控制听力装置的功能和运行。在实施例中，遥控器的功能实施在智能电话中，该智能电话可能运行使能经智能电话控制听力装置的功能的APP(听力装置包括适当的到智能电话的无线接口，例如基于蓝牙或一些其它标准化或专有方案)。
在实施例中，辅助装置是或包括智能电话。
在本说明书中，智能电话可包括(A)移动电话与(B)个人计算机的结合：
-(A)移动电话，包括至少一传声器、扬声器、和到公用电话交换网(PSTN)的(无线)接口；
-(B)个人计算机包括处理器、存储器、操作系统(OS)、用户接口(如键盘和显示器，例如集成在触敏显示器中)和无线数据接口(包括网页浏览器)，使用户能下载和执行实施特定功能特征(例如显示从因特网取回的信息，遥控另一装置，组合来自智能电话的多个不同传感器(如照相机、扫描仪、GPS、传声器等)和/或外部传感器的信息以提供特殊特征等)的应用程序(APP)。
在实施例中，听力装置适于提供随频率而变的增益和/或随电平而变的压缩和/或一个或多个频率范围到一个或多个其它频率范围的移频(具有或没有频率压缩)以补偿用户的听力受损。在实施例中，听力装置包括用于增强输入信号并提供处理后的输出信号的信号处理器。
在实施例中，听力装置包括输出单元，用于基于处理后的电信号提供由用户感知为声学信号的刺激。在实施例中，输出单元包括耳蜗植入物的多个电极或者骨导听力装置的振动器。在实施例中，输出单元包括输出变换器。在实施例中，输出变换器包括用于将刺激作为声信号提供给用户的接收器(扬声器)。在实施例中，输出变换器包括用于将刺激作为颅骨的机械振动提供给用户的振动器(例如在附着到骨头的或骨锚式听力装置中)。
在实施例中，听力装置包括用于提供表示声音的电输入信号的输入单元。在实施例中，输入单元包括用于将输入声音转换为电输入信号的输入变换器如传声器。在实施例中，输入单元包括用于接收包括声音的无线信号并提供表示该声音的电输入信号的无线接收器。在实施例中，听力装置包括定向传声器系统，其适于对来自环境的声音进行空间滤波从而增强佩戴听力装置的用户的局部环境中的多个声源之中的目标声源。在实施例中，定向系统适于检测(如自适应检测)传声器信号的特定部分源自哪一方向。这可以例如现有技术中描述的多种不同方式实现。
在实施例中，听力装置包括波束形成单元，及信号处理器配置成在波束形成单元中使用目标声音信号相对于用户的到达方向的估计量提供包括目标信号的波束成形信号。
在实施例中，听力装置包括用于从另一装置如通信装置或另一听力装置接收直接电输入信号的天线和收发器电路。在实施例中，听力装置包括(可能标准化的)电接口(例如连接器的形式)，用于从另一装置如通信装置或另一听力装置接收有线直接电输入信号。在实施例中，直接电输入信号表示或包括音频信号和/或控制信号和/或信息信号。在实施例中，听力装置包括用于对所接收的直接电输入进行解调的解调电路，以提供表示音频信号和/或控制信号的直接电输入信号，例如用于设置听力装置的运行参数(如音量)和/或处理参数。总的来说，听力装置的发射器和天线及收发器电路建立的无线链路可以是任何类型。在实施例中，无线链路在功率约束条件下使用，例如由于听力装置包括便携式(通常电池驱动的)装置。在实施例中，无线链路为基于近场通信的链路，例如基于发射器部分和接收器部分的天线线圈之间的感应耦合的感应链路。在另一实施例中，无线链路基于远场电磁辐射。在实施例中，经无线链路的通信根据特定调制方案进行安排，例如模拟调制方案，如FM(调频)或AM(调幅)或PM(调相)，或数字调制方案，如ASK(幅移键控)如开-关键控、FSK(频移键控)、PSK(相移键控)如MSK(最小频移键控)或QAM(正交调幅)。
在实施例中，听力装置与另一装置之间的通信在基带(音频频率范围，例如在0和20kHz之间)中。优选地，听力装置和另一装置之间的通信基于高于100kHz的频率下的某类调制。优选地，用于在听力装置和另一装置之间建立通信链路的频率低于70GHz，例如位于从50MHz到50GHz的范围中，例如高于300MHz，例如在高于300MHz的ISM范围中，例如在900MHz范围中或在2.4GHz范围中或在5.8GHz范围中或在60GHz范围中(ISM＝工业、科学和医学，这样的标准化范围例如由国际电信联盟ITU定义)。在实施例中，无线链路基于标准化或专用技术。在实施例中，无线链路基于蓝牙技术(如蓝牙低功率技术)。
在实施例中，听力装置为便携装置，如包括本机能源如电池例如可再充电电池的装置。
在实施例中，听力装置包括输入变换器(传声器系统和/或直接电输入(如无线接收器))和输出变换器之间的正向或信号通路。在实施例中，信号处理器位于该正向通路中。在实施例中，信号处理器适于根据用户的特定需要提供随频率而变的增益。在实施例中，听力装置包括具有用于分析输入信号(如确定电平、调制、信号类型、声反馈估计量等)的功能件的分析通路。在实施例中，分析通路和/或信号通路的部分或所有信号处理在频域进行。在实施例中，分析通路和/或信号通路的部分或所有信号处理在时域进行。
在实施例中，表示声信号的模拟电信号在模数(AD)转换过程中转换为数字音频信号，其中模拟信号以预定采样频率或采样速率fs进行采样，fs例如在从8kHz到48kHz的范围中(适应应用的特定需要)以在离散的时间点tn(或n)提供数字样本xn(或x[n])，每一音频样本通过预定的Nb比特表示声信号在tn时的值，Nb例如在从1到48比特的范围中如24比特。每一音频样本因此使用Nb比特量化(导致音频样本的2Nb个不同的可能的值)。数字样本x具有1/fs的时间长度，如50μs，对于fs＝20kHz。在实施例中，多个音频样本按时间帧安排。在实施例中，一时间帧包括64个或128个音频数据样本。根据实际应用可使用其它帧长度。
在实施例中，听力装置包括模数(AD)转换器以按预定的采样速率如20kHz对模拟输入进行数字化。在实施例中，听力装置包括数模(DA)转换器以将数字信号转换为模拟输出信号，例如用于经输出变换器呈现给用户。在实施例中，目标声音信号的无线传输和/或接收的版本的采样率小于来自传声器的电输入信号的采样率。无线信号例如可以是流传输到听力装置的电视(音频)信号。无线信号可以是模拟信号，例如具有频带有限的频率响应。
在实施例中，听力装置如传声器单元和/或收发器单元包括用于提供输入信号的时频表示的TF转换单元。在实施例中，时频表示包括所涉及信号在特定时间和频率范围的相应复值或实值的阵列或映射。在实施例中，TF转换单元包括用于对(时变)输入信号进行滤波并提供多个(时变)输出信号的滤波器组，每一输出信号包括截然不同的输入信号频率范围。在实施例中，TF转换单元包括用于将时变输入信号转换为频域中的(时变)信号的傅里叶变换单元。在实施例中，听力装置考虑的、从最小频率fmin到最大频率fmax的频率范围包括从20Hz到20kHz的典型人听频范围的一部分，例如从20Hz到12kHz的范围的一部分。通常，采样率fs大于或等于最大频率fmax的两倍，fs≥2fmax。在实施例中，听力装置的正向通路和/或分析通路的信号拆分为NI个频带，其中NI例如大于5，如大于10，如大于50，如大于100，如大于500，至少其部分个别进行处理。在实施例中，助听器适于在NP个不同频道处理正向和/或分析通路的信号(NP≤NI)。频道可以宽度一致或不一致(如宽度随频率增加)、重叠或不重叠。
在实施例中，听力装置包括多个检测器，其配置成提供与听力装置的当前网络环境(如当前声环境)有关、和/或与佩戴听力装置的用户的当前状态有关、和/或与听力装置的当前状态或运行模式有关的状态信号。作为备选或另外，一个或多个检测器可形成与听力装置(如无线)通信的外部装置的一部分。外部装置例如可包括另一听力装置、遥控器、音频传输装置、电话(如智能电话)、外部传感器等。
在实施例中，多个检测器中的一个或多个对全带信号起作用(时域)。在实施例中，多个检测器中的一个或多个对频带拆分的信号起作用((时-)频域)，例如完全的正常工作频率范围或者其一部分，例如在多个频带中，例如在最低的频带中或者在最高的频带中。
在实施例中，多个检测器包括用于估计正向通路的信号的当前电平的电平检测器。在实施例中，预定判据包括正向通路的信号的当前电平是否高于或低于给定(L-)阈值。
在特定实施例中，听力装置包括话音检测器(VD)，用于确定输入信号(在特定时间点)是否包括话音信号。在本说明书中，话音信号包括来自人类的语音信号。其还可包括由人类语音系统产生的其它形式的发声(如唱歌)。在实施例中，话音检测器单元适于将用户当前的声环境分类为“话音”或“无话音”环境。这具有下述优点：包括用户环境中的人发声(如语音)的电传声器信号的时间段可被识别，因而与仅包括其它声源(如人工产生的噪声)的时间段分离。在实施例中，话音检测器适于将用户自己的话音也检测为“话音”。作为备选，话音检测器适于从“话音”的检测排除用户自己的话音。
在实施例中，听力装置包括自我话音检测器，用于检测特定输入声音(如话音)是否源自系统用户的话音。在实施例中，听力装置的传声器系统适于能够在用户自己的话音及另一人的话音之间进行区分及可能与无话音声音区分。
在实施例中，听力装置包括运动检测器，例如陀螺仪或加速计。
在实施例中，听力装置包括分类单元，配置成基于来自(至少部分)检测器的输入信号及可能其它输入对当前情形进行分类。在本说明书中，“当前情形”由下面的一个或多个定义：
a)物理环境(如包括当前电磁环境，例如出现计划或未计划由听力装置接收的电磁信号(包括音频和/或控制信号)，或者当前环境不同于声学的其它性质)；
b)当前声学情形(输入电平、反馈等)；
c)用户的当前模式或状态(运动、温度等)；
d)听力装置和/或与听力装置通信的另一装置的当前模式或状态(所选程序、自上次用户交互之后消逝的时间等)。
在实施例中，听力装置包括声学(和/或机械)反馈抑制系统。
在实施例中，听力装置还包括用于所涉及应用的其它适宜功能，如压缩、降噪等。
在实施例中，听力装置包括可听如听音装置如助听器，如听力仪器例如适于位于用户耳朵处或者完全或部分位于耳道中的听力仪器，例如头戴式耳机、耳麦、耳朵保护装置或其组合。
应用
一方面，提供如上所述的、“具体实施方式”部分中详细描述的和权利要求中限定的听力系统的应用。在实施例中，提供在包括一个或多个听力仪器的系统、头戴式耳机、耳麦、主动耳朵保护系统等中的应用，例如在免提电话系统、远程会议系统、广播系统、卡拉OK系统、教室放大系统等中的用途。
在实施例中，听力系统用于将空间线索应用于从目标声源无线接收的实质上无噪声的目标信号。
在实施例中，听力系统用在多目标声源情形中以将空间线索应用于从两个以上目标声源无线接收的两个以上实质上无噪声的目标信号。在实施例中，目标信号由无线传声器(例如形成另一装置如智能电话的一部分)拾取并传给听力系统。
方法
一方面，提供听力系统的运行方法，所述听力系统包括适于佩戴在用户的左和右耳处的左和右听力装置，所述方法包括：
-提供M个电输入信号rm(n)，m＝1,…,M，其中M等于或大于2，n表示时间，所述M个电输入信号表示给定传声器位置处的环境声音并包括从目标声源的位置经声学传播通道传播的目标声音信号与所涉及传声器位置处可能存在的附加噪声信号vm(n)的混合；
-接收目标声音信号的无线传输的版本并提供实质上无噪声目标信号s(n)；
-处理所述M个电输入信号和所述实质上无噪声目标信号；
-在下述基础上估计目标声音信号相对于用户的到达方向：
--在由用户佩戴时通过从目标声源到第m个传声器的声学传播通道在传声器m(m＝1,…,M)处接收的声音信号rm的信号模型，其中第m个声学传播通道使实质上无噪声目标信号s(n)遭受衰减αm和时延Dm；
--最大似然方法学；
--从所述M个传声器中的M-1个传声器的每一个(m＝1,…,M,m≠j)到所述M个传声器中的参考传声器(m＝j)的、随方向而变的声学传递函数形式的、表示用户的头部和躯干的随方向而变的滤波效应的相对传递函数dm。
到达方向的估计在所述衰减αm被假定与频率无关而所述时延Dm可随频率而变的约束条件下执行。
当由对应的过程适当代替时，上面描述的、“具体实施方式”中详细描述的或权利要求中限定的系统的部分或所有结构特征可与本发明方法的实施结合，反之亦然。方法的实施具有与对应系统一样的优点。
在实施例中，相对传递函数dm针对模型或者用户预先确定(例如测量)并保存在存储器中。在实施例中，时延Dm随频率而变。
计算机可读介质
本发明进一步提供保存包括程序代码的计算机程序的有形计算机可读介质，当计算机程序在数据处理系统上运行时，使得数据处理系统执行上面描述的、“具体实施方式”中详细描述的及权利要求中限定的方法的至少部分(如大部分或所有)步骤。
作为例子但非限制，前述有形计算机可读介质可包括RAM、ROM、EEPROM、CD-ROM或其他光盘存储器、磁盘存储器或其他磁性存储装置，或者可用于执行或保存指令或数据结构形式的所需程序代码并可由计算机访问的任何其他介质。如在此使用的，盘包括压缩磁盘(CD)、激光盘、光盘、数字多用途盘(DVD)、软盘及蓝光盘，其中这些盘通常磁性地复制数据，同时这些盘可用激光光学地复制数据。上述盘的组合也应包括在计算机可读介质的范围内。除保存在有形介质上之外，计算机程序也可经传输介质如有线或无线链路或网络如因特网进行传输并载入数据处理系统从而在不同于有形介质的位置处运行。
计算机程序
此外，本申请提供包括指令的计算机程序(产品)，当该程序由计算机运行时，导致计算机执行上面描述的、“具体实施方式”中详细描述的及权利要求中限定的方法(的步骤)。
数据处理系统
一方面，本发明进一步提供数据处理系统，包括处理器和程序代码，程序代码使得处理器执行上面描述的、“具体实施方式”中详细描述的及权利要求中限定的方法的至少部分(如大部分或所有)步骤。
APP
另一方面，本发明还提供称为APP的非短暂应用。APP包括可执行指令，其配置成在辅助装置上运行以实施用于上面描述的、“具体实施方式”中详细描述的及权利要求中限定的听力装置或(例如双耳)听力系统的用户接口。在实施例中，该APP配置成在移动电话如智能电话或另一使能与所述听力装置或听力系统通信的便携装置上运行。
定义
在本说明书中，“听力装置”指适于改善、增强和/或保护用户的听觉能力的装置如助听器例如听力仪器或有源耳朵保护装置或其它音频处理装置，其通过从用户环境接收声信号、产生对应的音频信号、可能修改该音频信号、及将可能已修改的音频信号作为可听见的信号提供给用户的至少一只耳朵而实现。“听力装置”还指适于以电子方式接收音频信号、可能修改该音频信号、及将可能已修改的音频信号作为听得见的信号提供给用户的至少一只耳朵的装置如头戴式耳机或耳麦。听得见的信号例如可以下述形式提供：辐射到用户外耳内的声信号、作为机械振动通过用户头部的骨结构和/或通过中耳的部分传到用户内耳的声信号、及直接或间接传到用户耳蜗神经的电信号。
听力装置可构造成以任何已知的方式进行佩戴，如作为佩戴在耳后的单元(具有将辐射的声信号导入耳道内的管或者具有安排成靠近耳道或位于耳道中的输出变换器如扬声器)、作为整个或部分安排在耳廓和/或耳道中的单元、作为连到植入在颅骨内的固定结构的单元如振动器、或作为可连接的或者整个或部分植入的单元等。听力装置可包括单一单元或几个彼此电子通信的单元。扬声器可连同听力装置的其它元件一起设置在壳体中，或者本身可以是外部单元(可能与柔性引导元件如圆顶件组合)。
更一般地，听力装置包括用于从用户环境接收声信号并提供对应的输入音频信号的输入变换器和/或以电子方式(即有线或无线)接收输入音频信号的接收器、用于处理输入音频信号的(通常可配置的)信号处理电路(如信号处理器，例如包括可配置(可编程)的处理器，例如数字信号处理器)、及用于根据处理后的音频信号将听得见的信号提供给用户的输出单元。信号处理器可适于在时域或者在多个频带处理输入信号。在一些听力装置中，放大器和/或压缩器可构成信号处理电路。信号处理电路通常包括一个或多个(集成或单独的)存储元件，用于执行程序和/或用于保存在处理中使用(或可能使用)的参数和/或用于保存适合听力装置功能的信息和/或用于保存例如结合到用户的接口和/或到编程装置的接口使用的信息(如处理后的信息，例如由信号处理电路提供)。在一些听力装置中，输出单元可包括输出变换器，例如用于提供空传声信号的扬声器或用于提供结构或液体传播的声信号的振动器。在一些听力装置中，输出单元可包括一个或多个用于提供电信号的输出电极(例如用于电刺激耳蜗神经的多电极阵列)。
在一些听力装置中，振动器可适于经皮或由皮将结构传播的声信号传给颅骨。在一些听力装置中，振动器可植入在中耳和/或内耳中。在一些听力装置中，振动器可适于将结构传播的声信号提供给中耳骨和/或耳蜗。在一些听力装置中，振动器可适于例如通过卵圆窗将液体传播的声信号提供到耳蜗液体。在一些听力装置中，输出电极可植入在耳蜗中或植入在颅骨内侧上，并可适于将电信号提供给耳蜗的毛细胞、一个或多个听觉神经、听觉脑干、听觉中脑、听觉皮层和/或大脑皮层的其它部分。
听力装置如助听器可适应特定用户的需要如听力受损。听力装置的可配置的信号处理电路可适于施加输入信号的随频率和电平而变的压缩放大。定制的随频率和电平而变的增益(放大或压缩)可在验配过程中通过验配系统基于用户的听力数据如听力图使用验配基本原理(例如适应语音)确定。随频率和电平而变的增益例如可体现在处理参数中，例如经到编程装置(验配系统)的接口上传到听力装置，并由听力装置的可配置的信号处理电路执行的处理算法使用。
“听力系统”指包括一个或两个听力装置的系统。“双耳听力系统”指包括两个听力装置并适于协同地向用户的两只耳朵提供听得见的信号的系统。听力系统或双耳听力系统还可包括一个或多个“辅助装置”，其与听力装置通信并影响和/或受益于听力装置的功能。辅助装置例如可以是遥控器、音频网关设备、移动电话(如智能电话)、或音乐播放器。听力装置、听力系统或双耳听力系统例如可用于补偿听力受损人员的听觉能力损失、增强或保护正常听力人员的听觉能力和/或将电子音频信号传给人。听力装置或听力系统例如可形成广播系统、耳朵保护系统、免提电话系统、汽车音频系统、娱乐(如卡拉OK)系统、远程会议系统、教室放大系统等的一部分或者与它们交互。
本发明的实施例如可用在如双耳听力系统例如双耳助听器系统的应用中。
附图说明
本发明的各个方面将从下面结合附图进行的详细描述得以最佳地理解。为清晰起见，这些附图均为示意性及简化的图，它们只给出了对于理解本发明所必要的细节，而省略其他细节。在整个说明书中，同样的附图标记用于同样或对应的部分。每一方面的各个特征可与其他方面的任何或所有特征组合。这些及其他方面、特征和/或技术效果将从下面的图示明显看出并结合其阐明，其中：
图1A示出了对于使用无线传声器的助听器系统的“知情”双耳到达方向(DoA)估计情形，其中rm(n)、s(n)和hm(n,θ)分别为传声器m处接收到的有噪声的声音、来自目标声源S的(实质上)无噪声的目标声音及目标声源S和传声器m之间的声道脉冲响应。
图1B示意性地示出了声源S相对于根据本发明实施例的助听器系统的几何布置，其包括分别位于用户的第一(左)和第二(右)耳之处或之中的第一和第二听力装置HDL和HDR。
图2A示意性地示出了针对θ∈[-90°；0°]评估最大似然函数L时参考传声器的位置的例子。
图2B示意性地示出了针对θ∈[0°,+90°]评估最大似然函数L时参考传声器的位置的例子。
图3A示出了根据本发明实施例的包括到达方向估计器的听力装置。
图3B示出了根据本发明的听力系统的示例性实施例的框图。
图3C示出了图3B的听力系统的信号处理器的示例性实施例的部分框图。
图4A示出了根据本发明第一实施例的包括双耳到达方向估计器的、包括第一和第二听力装置的双耳听力系统。
图4B示出了根据本发明第二实施例的包括双耳到达方向估计器的、包括第一和第二听力装置的双耳听力系统。
图5示出了根据本发明实施例的双耳听力系统的第一使用场合。
图6示出了根据本发明实施例的双耳听力系统的第二使用场合。
图7示出了根据本发明实施例的双耳听力系统的第三使用场合。
图8示出了根据本发明实施例的双耳听力系统的第四使用场合。
图9A示出了根据本发明的听力系统的实施例，包括与辅助装置通信的左和右听力装置。
图9B示出了图9A的辅助装置，包括听力系统的用户接口，例如实施用于控制听力系统的功能的遥控器。
图10示出了根据本发明的耳内接收器式BTE型助听器的实施例。
图11A示出了根据本发明第四实施例的听力系统，包括分别提供左和右有噪声目标信号及提供N个从N个目标声源无线接收的目标声音信号的左和右传声器。
图11B示出了根据本发明第五实施例的听力系统，包括左和右听力装置，每一听力装置包括分别提供左前和后及右前和后有噪声目标信号的前和后传声器，及每一听力装置从N个目标声源无线接收N个目标声音信号。
图12示出了包括左和右听力装置的双耳听力系统，其适于在左和右听力装置之间交换似然值以用于估计到目标声源的DoA。
通过下面给出的详细描述，本发明进一步的适用范围将显而易见。然而，应当理解，在详细描述和具体例子表明本发明优选实施例的同时，它们仅为说明目的给出。对于本领域技术人员来说，基于下面的详细描述，本发明的其它实施方式将显而易见。
具体实施方式
下面结合附图提出的具体描述用作多种不同配置的描述。具体描述包括用于提供多个不同概念的彻底理解的具体细节。然而，对本领域技术人员显而易见的是，这些概念可在没有这些具体细节的情形下实施。装置和方法的几个方面通过多个不同的块、功能单元、模块、元件、电路、步骤、处理、算法等(统称为“元素”)进行描述。根据特定应用、设计限制或其他原因，这些元素可使用电子硬件、计算机程序或其任何组合实施。
电子硬件可包括微处理器、微控制器、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、可编程逻辑器件(PLD)、选通逻辑、分立硬件电路、及配置成执行本说明书中描述的多个不同功能的其它适当硬件。计算机程序应广义地解释为指令、指令集、代码、代码段、程序代码、程序、子程序、软件模块、应用、软件应用、软件包、例程、子例程、对象、可执行、执行线程、程序、函数等，无论是称为软件、固件、中间件、微码、硬件描述语言还是其他名称。
本发明涉及助听器上下文中的声源定位(SSL)，这是ASA中的主要任务之一。使用传声器阵列的SSL已在多个不同的应用中广泛调查，如机器人技术、视频会议、监视和助听器(例如参见[1]中的[12]–[14])。在这些应用的大多数中，目标声音的无噪声含量不容易取得。然而，最近的HAS可连接到目标讲话者佩戴的无线传声器以取得在目标讲话者位置处发出的目标信号的实质上无噪声版本(例如参见[1]中的[15]–[21])。该新的特征引起本发明中考虑的“知情”SSL问题。
图1A示出了对于使用无线传声器的助听器系统的“知情”双耳到达方向(DoA)估计情形，其中rm(n)、s(n)和hm(n,θ)分别为传声器m处接收到的有噪声的声音、来自目标声源S的(实质上)无噪声的目标声音及目标声源S和传声器m之间的声道脉冲响应。
图1A示出了相应情形。由目标声源S例如目标讲话者产生并由讲话者处的传声器(参见“目标讲话者处的无线体戴式传声器”)拾取的语音信号s(n)(目标信号，n为时间指数)通过声传播通道hm(n,θ)(由实线箭头标示的声传播通道的传递函数(脉冲响应))进行传输并到达听力系统的传声器m(m＝1,2,3,4)(参见“助听器系统传声器”)。M＝4个传声器为左和右听力装置中的每一个分别分布两个传声器，例如包括位于用户的左和右耳处的第一和第二助听器(如具有耳朵和鼻子的头部的象征性俯视图所示，也可参见图1B)。由于(可能的)附加环境噪声(参见“环境噪声(如竞争性讲话者)”)，在传声器m(在此为位于用户左耳处的听力装置的(“向前的”)传声器，也可参见图1B中的“前传声器FML”)处接收到有噪声信号rm(n)(包括目标信号和环境噪声)。实质上无噪声的目标信号s(n)经无线连接(参见记为无线连接的虚线箭头)传给听力装置(术语“实质上无噪声的目标信号s(n)”指s(n)至少通常包括比用户处的传声器接收到的信号rm(n)小的噪声的假设)。本发明的目标在于使用这些信号估计目标信号相对于用户的到达方向(DoA)(参见相对于通过用户鼻尖的虚线定义的方向的角度θ)。到达方向(为简单起见)在图1A和1B中(及本说明书中)标示为水平面中的角度θ，例如通过用户耳朵(例如包括左和右助听器的4个传声器)。然而，到达方向可由不是位于水平面中的方向表示，因而由一个以上坐标表征(例如除θ之外，还通过方位角
Figure BDA0001592805110000251
)。对应地修改所公开的方案被认为在本领域技术人员的能力内。
图1B示意性地示出了当左和右听力装置HDL,HDR分别位于用户U头部的左耳和右耳之处或之中时，声源相对于包括左和右听力装置的助听器系统的几何布置。该设置类似于上面结合图1A所述的设置。空间的前和后向及前和后半平面(参见箭头前和后)相对于用户U的头部定义并通过用户的视向(LOOK-DIR，虚线箭头)(由用户的鼻子和通过用户耳朵的(垂直)参考平面(垂直于视向的实线)定义)确定。左和右听力装置HDL,HDR中的每一个包括位于用户处或耳后(BTE)的BTE部分。在图1B的例子中，每一BTE部分包括两个传声器，即分别位于左和右听力装置的前面的传声器FML,FMR及位于后面的传声器RML,RMR。每一BTE部分上的前和后传声器沿(实质上)平行于视向的线间隔开距离ΔLM，分别参见点线REF-DIRL和REF-DIRR。如图1A中所示，目标声源S位于距用户距离d处并具有通过相对于参考方向(在此为用户的视向)的角度θ确定的到达方向(在水平面中)。在实施例中，用户U位于声源S的声学远场中(如虚实线d所示)。两组传声器(FML,RML),(FMR,RMR)间隔开距离a。在实施例中，距离a为两组传声器之间的平均距离(1/4)(a(FML,FMR)+a(RML,RMR)+(FML,RMR)+(RML,FMR))，其中a(FML,FMR)指明左(L)和右(R)听力装置的前传声器(FM)之间的距离。在实施例中，对于包括单一听力装置的系统(或者系统的独立听力装置)，模型参数a表示每一听力装置(HDL,HDR)内的参考传声器与其它传声器之间的距离。
目标声音的估计DoA使HA能增强呈现给用户的声学场景的空间呈递，例如通过将对应的双耳线索强加在无线接收的目标声音上(参见[1]中的[16],[17])。对于助听器应用的“知情”SSL问题首先在[1]中的参考文献[15]中研究。[1]中的参考文献[15]中提出的方法基于到达时间差(TDoA)的估计，但其未考虑用户头部的阴影效应及潜在的环境噪声特性。这使得DoA估计性能显著降级。为针对“知情”SSL考虑头部阴影效应和环境噪声特性，最大似然(ML)方法已在[1]中的参考文献[18]中提出，其使用测得的头部相关传递函数(HRTF)的数据库。为估计DoA，该方法(称为MLSSL，最大似然声源定位)寻找数据库中使观察到的传声器信号的似然最大化的HRTF项。MLSSL具有相当高的计算负荷，但其在严重有噪声条件下有效地执行，当针对不同方向和不同距离的详细的个别化HRTF可用时，参见[1]中的[18],[21]。另一方面，当个别化HRTF不可用时，或者当对应于目标的实际距离的HRTF不在数据库中时，MLSSL的估计性能戏剧性地降级。在[1]的参考文献[21]中，针对“知情”SSL，新的ML方法已被提出，其还考虑头部阴影效应和环境噪声特性，其使用测得的相对传递函数(RTF)的数据库。测得的RTF可容易地从测得的HRTF获得。相较于MLSSL，在个别化数据库不可用时，[1]中的参考文献[21]的方法具有更低的计算负荷并提供更鲁棒的性能。与HRTF比较，RTF几乎与目标讲话者和用户之间的距离无关，尤其在远场情形下。通常，外部传声器将被放在相对于听力装置的声学远场中(例如参见图5-8的场合)。相较于MLSSL，RTF的距离无关性减小了所需要的存储器及[1]中的参考文献[21]提出的估计器的计算负荷。这是因为，为估计DoA，[1]中的参考文献[21]提出的估计器必须在RTF数据库中搜索，其仅为DoA的函数；而MLSSL必须在HRTF数据库中搜索，其为DoA和距离的函数。
在本发明中，提出使用测得的RTF的数据库估计DoA的ML方法。与[1]中的参考文献[21]提出的估计器(其考虑使用两个传声器(每一HA中一个传声器)的双耳配置)不同，在此提出的方法通常对任何数量的传声器起作用，M≥2，无论是单耳配置还是双耳配置。此外，相较于[1]中的参考文献[21]，在此提出的方法减少了计算负荷及HA之间的无线通信，同时保持甚至提高估计准确度。为降低计算负荷，我们放宽了[1]中的参考文献[21]中的部分约束条件。该放宽使信号模型更实际可行，我们发现这还使我们能以降低计算负荷的方式对问题用公式表示。对于DoA估计，为减少HA之间的无线通信，我们提出信息融合策略，这使我们能在HA之间传输一些概率而不是整个信号帧。最后，我们分析地调查估计器中的偏差并提出封闭形式的偏差补偿策略，导致无偏差的估计器。
在下面，等式编号“(p)”对应于[1]中的概述。
信号模型
一般地，我们假定描述由第m个输入变换器(如传声器m)接收的有噪声信号rm的信号模型：
rm(n)＝s(n)*hm(n,θ)+vm(n),(m＝1,2,…,M)(1)
其中s(n)为在目标声源(如讲话者)位置处发出的(实质上)无噪声的目标信号，hm(n,θ)为目标声源和传声器m之间的声道脉冲响应，及vm(n)为附加噪声分量。θ为目标声源的到达方向相对于通过用户(和/或通过用户身体(如头部，例如耳朵处)上的左和右听力装置的位置)定义的参考方向的角度(或位置)。此外n为离散时间指数，*为卷积算子。在实施例中，参考方向由用户的视向定义(例如由用户的鼻子指向的方向定义(当看作箭头尖时)，例如参见图1A、1B)。
在实施例中，使用短时傅里叶变换域(STFT)，其使所有涉及的量能表达为频率指数k、时间(帧)指数l和到达方向(角度)θ的函数。STFT域的使用允许随频率而变的处理、计算效率和适应变化条件的能力，包括低等待时间算法实施。在STFT域中，等式(1)可近似为
Rm(l，k)=S(l，k)Hm(k，θ)+Vm(l，k)(2)
其中
Figure BDA0001592805110000271
指rm(n)的STFT，m＝1,…,M，l和k分别为帧和频率窗口指数，N为离散傅里叶变换(DFT)阶，A为抽选因子，w(n)为窗口函数，及j＝√(-1)为虚数单位(不与本说明书别处使用的参考传声器指数j混淆)。S(l,k)和Vm(l,k)分别指s(n)和vm(n)的STFT，二者与Rm(l,k)类似地定义。此外，
Figure BDA0001592805110000281
指声学通道脉冲响应hm(n,θ)的离散傅里叶变换(DFT)，其中N为DFT阶，αm(k,θ)为正实数并指因传播效应引起的随频率而变的衰减因子，及Dm(k,θ)为从目标声源到传声器m的随频率而变的传播时间。
等式(2)为等式(1)在STFT域中的近似。该近似被认为是乘法传递函数(MTF)近似，其准确度取决于开窗函数w(n)的长度和平滑性：分析窗口w(n)越长和越平滑，该近似越准确。
设d(k,θ)＝[d1(k,θ),d2(k,θ),…,dM(k,θ)]T指关于参考传声器定义的RTF的向量，
Figure BDA0001592805110000282
m＝1,…,M(4)
其中j为参考传声器的指数。此外，设
R(l,k)＝[R1(l,k),R2(l,k),…,RM(l,k)]T
V(l,k)＝[V1(l,k),V2(l,k),…,VM(l,k)]T
现在，我们将等式(2)重写为向量形式：
R(l,k)＝S(l,k)Hj(k,θ)d(k,θ)+V(l,k)(5)
最大似然框架
总体目标是使用最大似然框架估计到达方向θ。为定义似然函数，假定附加噪声V(l,k)根据零平均圆形对称复高斯分布进行分布：
Figure BDA0001592805110000283
其中
Figure BDA0001592805110000284
指多元正态分布，Cv(l,k)是定义为Cv(l,k)＝E{V(l,k)VH(l,k)}的噪声互功率谱密度(CPSD)矩阵，其中E{.}和上标H分别表示预期和厄米转置算子。附加噪声分量V(l,k)例如可通过一阶IIR滤波器进行估计。在实施例中，IIR滤波器的时间常数自适应，例如取决于头部运动，例如更新估计量(时间常数小)，当检测到头部运动时。可假定目标信号由无线传声器没有任何噪声地拾取，在该情形下，我们可将S(l；k)考虑为确定和已知的变量。此外，Hj(k；θ)和d(k；θ)也可被考虑为确定但未知。此外，Cv(l,k)可被假定已知。因此，从等式(5)，其遵循
Figure BDA0001592805110000291
此外，假定有噪声的观测跨频率独立(严格地说，当信号的相关时间相较于帧长度短时该假设有效)。因此，帧l的似然函数由下面的等式(7)定义：
Figure BDA0001592805110000292
其中|.|指矩阵行列式，N为DFT阶，及
R(l)＝[R(l，0)，R(l，1)，...，R(l，N-1)]
Hj(θ)＝[Hj(0，θ)，Hj(1，θ)，...，Hj(N-1，θ)]
d(θ)＝[d(0，θ)d(1，θ)，...，d(N-1，θ)]
Z(l，k)＝R(l，k)-S(l，k)Hj(k，θ)d(k，θ)
为降低计算开销，我们考虑对数似然函数并忽略与θ无关的项。对应的(简化的)对数似然函数L由下式给出：
Figure BDA0001592805110000293
θ的ML估计量通过使对数似然函数L关于θ最大化而找到。
所提出的DOA估计器
为导出所提出的估计器，我们假定通过对应的θi标示的预先测量的d的数据库Θ可用。为更精确，Θ＝{d(θ1),d(θ2),…,d(θI))}(其中I为Θ中的项数)被假定可用于DoA估计。为找到θ的ML估计量，所提出的DoA估计器针对每一d(θi)∈Θ评估L。θ的MLE为d的DoA标签，其导致最高的对数似然。换言之，
Figure BDA0001592805110000301
为解决该问题及在DoA估计器中充分利用可取得的S(l；k)，假定Hj与“阳光”传声器有关，及假定衰减αj与频率无关。当L被针对d(θi)∈Θ进行评估时，“阳光”传声器为未处于头部阴影中的传声器，如果我们考虑声音来自θi方向。
换言之，当该方法针对对应于头部左侧的方向的d评估L时，Hj与左助听器中的传声器有关，及当该方法针对对应于头部右侧的方向的d评估L时，Hj与右助听器中的传声器有关。应注意，该评估策略不需要关于真实DoA的先验知识。
与我们的未决欧洲专利申请EP16182987.4([4])中提出的方法相比，去除了时延Dj的频率无关性限制条件。去除该限制条件使得信号模型更实际可行。此外，对于评估L，其使我们能简单地跨所有频率窗口求和，代替计算IDFT。这降低了估计器的计算负荷，因为IDFT需要至少N logN个运算，而跨所有频率窗口分量求和仅需要N个运算。
对数似然函数L的表达式在等式(18)中提供。
Figure BDA0001592805110000302
其仅取决于未知的d(θ)。应注意，可用的纯净目标信号S(l,k)也在所推导的对数似然函数中起促成作用。θ的MLE可表达为
Figure BDA0001592805110000303
偏差补偿的估计器
在非常低SNR时，即其中实质上没有目标方向的证据的情形，希望所提出的估计器(或者针对该事情的任何其它估计器)不系统地挑选一个方向，换言之，希望所得的DOA估计量按空间均匀分布。本发明中提出的(及等式(29)-(30)中定义的)修改后的(偏差补偿的)估计器导致DOA估计量按空间均匀分布。
Figure BDA0001592805110000311
及θ的偏差补偿的MLE由下式给出：
Figure BDA0001592805110000312
在实施例中，先验(如概率p对角度θ)实施为
Figure BDA0001592805110000313
Figure BDA0001592805110000314
减少双耳信息交换
所提出的偏差补偿的DoA估计器相较于其它估计器如[4]总体上降低计算负荷。在下面，提出了用于减少包括四个传声器(每一HA中两个传声器)的双耳助听器系统的助听器(HA)之间的无线通信开销的方案。
总的来说，已假定由助听器系统的所有传声器接收的信号在“主”助听器(执行DoA估计的助听器)或专用处理装置处可用。这意味着助听器之一应将其传声器接收的信号传给另一助听器(“主”HA)。
完全消除HA之间的无线通信的没有意义的方式是没有HA使用其自己的传声器接收的信号独立估计DoA。这样，不需要在HA之间传输信号。然而，这种方式预期使估计性能显著降级，因为观察(信号帧)数量已被减少。
与上述没有意义的方式相比，在下面提出不需要在HA之间传输所有全音频信号的信息融合(IF)策略以提高估计性能。
假定每一HA使用其自己的传声器拾取的信号针对每一d(θi)∈Θ本地评估L。这意味着，对于每一d(θi)∈Θ，我们将具有两个与左和右HA(分别记为Lleft和Lright)有关的L评估值。其后，HA之一如右HA将针对所有d(θi)∈Θ的评估值Lright传给“主”HA，即(在此为)左HA。为估计DoA，“主”HA使用如下定义的IF技术组合Lleft和Lright值。该策略减少了HA之间的无线通信，因为代替传输所有信号，其仅需要在每一时间帧传输对应于不同的d(θi)∈Θ的I个不同的L评估值。这具有在两个听力装置处提供同样的DoA决策的优点。
在下面，我们描述融合Lleft和Lright值的IF技术。主要想法是估计p(R left(l)，R right(l)；d(θi))，其中R left(l)和R right(l)分别表示由左HA和右HA的传声器接收的信号，使用下面的条件概率：
Figure BDA0001592805110000321
Figure BDA0001592805110000322
或者对应地，如果假定先验概率p(θi)：
Figure BDA0001592805110000323
Figure BDA0001592805110000324
总的来说，为计算p(R left(l)，R right(l)；d(θi))，R left(l)与R right(l)之间的协方差必须已知；及为估计该协方差矩阵，传声器的信号必须在HA之间传输。然而，如果我们假定R right(l)和R left(l)对于给定d(θi)彼此有条件地独立，则不需要在HA之间传输信号，我们将简单地具有
p(R left(l),R right(l)；d(θi))＝p(R left(l)；d(θi))xp(R right(l)；d(θi))
(33)
从而θ的估计值还由下式给出
Figure BDA0001592805110000325
Figure BDA0001592805110000331
图2A和2B示意性地示出了分别针对θ∈[-90°；0°]和针对θ∈[0°,+90°]，用于评估最大似然函数L的参考传声器的位置的例子。该设置类似于图1B的设置，其示出了听力系统如双耳助听器系统，包括左和右听力装置HDL,HDR，每一听力装置分别包括两个传声器ML1,ML2和MR1,MR2。目标声源S在图2A和2B中分别位于左(θ∈[-90°；0°])和右(θ∈[0°,+90°])前四分之一平面中，“前”相对于用户的视向确定(参见图2A、2B中(前)、LOOK-DIR、鼻子)。在图2A的情形下，参考传声器(MRef)被取为ML1，而在图2B的情形下，参考传声器(MRef)被取为MR1。从而参考传声器(MRef)未处于用户U的头部的阴影中。目标信号从目标声源S分别到左和右听力装置HDL,HDR的参考传声器MRef的声学传播的版本aTSL和aTSR分别在图2A和2B中示出。从目标声源S到参考传声器MRef的具体声学传递函数Href(k,θ)(参见上面的等式(4)中的Hj(k,θ))因而在图2A和2B的每一个中分别定义(分别参见Href,L(k,θ)和Href,R(k,θ))。在实施例中，每一声学传递函数(Href,L(k,θ)和Href,R(k,θ))可由听力系统取得(例如保存在存储器中)。作为备选，可取得(例如存储)用于转换从一个参考传声器到另一个的相对传递函数的相乘因子。从而，仅需要一组相对传递函数dm(k,θ)(参见等式(4))可用(例如存储)。
在图2A、2B的情形下，听力系统配置成在左和右听力装置HDL,HDR(如助听器)之间交换数据。在实施例中，在左和右听力装置之间交换的数据包括由相应听力装置的传声器拾取的有噪声传声器信号Rm(l,k)(即在图2A、2B的例子中，分别为随时间和频率而变的有噪声输入信号R1L,R2L和R1R,R2R)，l和k分别为时间帧和频带指数。在实施例中，仅部分有噪声输入信号例如来自前传声器的有噪声输入信号被交换。在实施例中，仅有噪声输入信号所选频率范围例如所选频带如较低频带(如低于4kHz)(和/或似然函数)被交换。在实施例中，有噪声输入信号仅以十分之一的频率进行交换，例如每秒或更少。在另一实施例中，仅针对多个到达方向DoA(θ)的似然值L(R,d(θi))如对数似然值，例如适合有限的(现实)角度范围θ1-θ2如θ∈[-90°；90°]，被在左和右听力装置HDL,HDR之间交换。在实施例中，对数似然值针对4kHz求和。在实施例中，指数平滑技术用于跨时间求似然值的平均，具有40毫秒的时间常数。在实施例中，采样频率为48kHz，具有2048个样本的窗口长度。在实施例中，预期的到达方向DoA(θ)的角度范围被分为I个分开的θ值(θi,i＝1,2,…,I)，对其可获得相对传递函数，及对其可确定似然函数L因而DoA的估计量
Figure BDA0001592805110000341
在实施例中，分开的值的数量I≤180，例如≤90，如≤30。在实施例中，分开的θ值的分布均匀(跨预期的角度范围，例如具有10度或更小例如≤5°的角度步长)。在实施例中，分开的θ值的分布不均匀，例如在靠近用户视向的角度范围中更密，及在该范围之外(例如用户后面(如果传声器位于两只耳朵处)，和/或用户的一侧或两侧(如果传声器位于一只耳朵处))不太密。
图3A示出了根据本发明实施例的包括到达方向估计器的听力装置HD。该听力装置HD包括用于从环境分别拾取声音aTS1和aTS2并提供对应的电输入信号rm(n)的第一和第二传声器M1,M2，m＝1,2，n表示时间。给定传声器(分别为M1和M2)处的环境声音(aTS1和aTS2)包括从目标声源S的位置经声学传播通道传播的目标声音信号s(n)与所涉及传声器的位置处可能存在的附加噪声信号vm(n)的混合。该听力装置还包括收发器单元xTU，用于接收包括来自目标信号源S的目标信号s(n)的实质上无噪声(纯净)版本的电磁信号wlTS。该听力装置HD还包括连接到传声器M1,M2和连接到无线接收器xTU的信号处理器SPU(参见图3A中的虚线轮廓)。信号处理器SPU配置成基于传声器m(m＝1,2)处通过从目标声源S到第m个传声器(当由用户佩戴时)的声学传播通道接收的声音信号rm的信号模型估计目标声音信号s相对于用户的到达方向DoA，其中第m个声学传播通道使实质上无噪声目标信号s(n)遭受衰减αm和时延Dm。信号处理器配置成使用最大似然方法学估计目标声音信号s的到达方向DoA，其基于有噪声传声器信号r1(n),r2(n)、实质上无噪声目标信号s(n)及表示用户头部和躯干的随方向而变的滤波效应的、从M个传声器中的M-1个传声器中的每一个(m＝1,…,M,m≠j)到M个传声器之中的参考传声器(m＝j)的随方向而变的声学传递函数形式的(预定)相对传递函数dm进行估计。在图3A的例子中，M＝2，两个传声器之一为参考传声器。在该情形下，仅一个相对(随频率和位置(如角度)而变的)传递函数需要在听力装置使用之前确定(并保存在信号处理器可访问的介质中)。在图3A的实施例中，适当的预定相对传递函数dm(k,θ),m＝1,2被保存在存储器单元RTF中，在此形成信号处理器的一部分。在本发明中，假定第m个声学传播通道的衰减αm与频率无关，而时延Dm随频率而变或者可随频率而变。
听力装置如信号处理器SPU包括适当的时域到时频域转换单元(在此为分析滤波器组FBA)，用于将三个时域信号r1(n),r2(n),s(n)分别转换为时频域信号R1(l,k),R2(l,k),S(l,k)，例如使用傅里叶变换如离散傅里叶变换(DFT)或者短时傅里叶变换(STFT)。三个时频域信号中的每一个包括K个子频带信号，k＝1,…,K跨越工作频率范围(如0到10kHz)。
信号处理器SPU还包括噪声估计器NC，配置成确定噪声协方差矩阵，例如互功率谱密度(CPSD)矩阵CV(l,k)。噪声估计器配置成估计CV(l,k)，通过将实质上无噪声目标信号S(l,k)用作话音活动检测器来确定R1(l,k),R2(l,k)中实质上不存在目标语音的时频区域。基于这些噪声为主的区域，CV(l,k)可被自适应估计，例如经[1]中的文献[21]概述的递归求平均。
信号处理器SPU还包括到达方向估计器DOAEMLE，配置成使用最大似然方法学估计目标声音信号s(n)的到达方向DoA(l)，其基于有噪声传声器信号的时频表示(R1(l,k),R2(l,k)和S(l,k)，例如从相应的分析滤波器组AFB接收)、及从存储器单元RTF读取的(预定)相对传递函数dm(k,θ)、及从噪声估计器NC接收的(自适应确定的)噪声协方差矩阵CV(l,k)进行估计，如上结合等式(18),(19)(或(29),(30))所述。
信号处理器SPU还包括处理单元PRO，用于处理有噪声和/或纯净目标信号(R1(l,k),R2(l,k)和S(l,k))，例如包括利用到达方向的估计量提高可懂度或响度感知或空间印象，例如用于控制波束形成器。处理单元PRO向合成滤波器组FBS提供目标信号的增强的(时频表示)版本S’(l,k)，用于转换为时域信号s’(n)。
听力装置HD还包括输出单元OU，用于将增强的目标信号s’(n)作为可感知为声音的刺激呈现给用户。
听力装置HD还可包括适当的天线和收发器电路，用于将音频信号或/或DoA有关的信息信号(如DoA(l)或似然值)转发给另一装置如单独的测量装置或者双耳听力系统的对侧听力装置，或者与另一装置交换这些信号。
图3B示出了根据本发明的听力系统HS的示例性实施例的框图。听力系统HS包括至少一(在此为一个)用于将所接收的声音信号aTSleft转换为电输入信号rleft的左输入变换器Mleft如传声器及至少一(在此为一个)用于将所接收的声音信号aTSright转换为电输入信号rright的右输入变换器Mright如传声器。输入声音包括来自目标声源S(例如参见图1B、2A、2B)的目标声音信号与至少一左和右输入变换器的位置处的可能附加噪声声音信号的混合。听力系统还包括收发器单元xTU，配置成接收目标信号的无线传输的版本wlTS并提供实质上无噪声(电)目标信号s。听力系统还包括在工作时连接到左和右输入变换器Mleft),Mright及连接到无线收发器单元xTU的信号处理器SPU。该信号处理器配置成按上面结合图3A所述估计目标声音信号相对于用户的到达方向。在图3B的听力系统HS的实施例中，可由信号处理器SPU经连接(或信号)RTFpd访问的相对传递函数的数据库RTF示为单独的单元。例如其可实施为外部数据库，可经有线或无线连接如经网络例如因特网访问。在实施例中，数据库RTF形成信号处理单元SPU的一部分，例如实施为其中存储相对传递函数的存储器(如图3A中一样)。在图3B的实施例中，听力系统HS还包括左和右输出单元OUleft和OUright，用于将可感知为声音的刺激呈现给听力系统的用户。信号处理器SPU配置成分别向左和右输出单元OUleft和OUright提供左和右处理后的信号outL和outR。在实施例中，处理后的信号outL和outR包括无线接收的(实质上无噪声的)目标信号s的修改版本，其中修改包括应用对应于估计的到达方向DoA的空间线索。在时域中，这可通过将目标声音信号s(n)与对应于当前估计的DoA的相应相对脉冲响应函数卷积实现。在时频域，这可通过使目标声音信号S(l,k)乘以对应于当前估计的
Figure BDA0001592805110000361
的相对传递函数
Figure BDA0001592805110000371
实现，以分别提供左和右修改的目标信号
Figure BDA0001592805110000372
和
Figure BDA0001592805110000373
处理后的信号outL和outR例如可包括相应接收的声音信号rleft和rright与相应修改的目标信号
Figure BDA0001592805110000374
和
Figure BDA0001592805110000375
的加权组合，例如使得
Figure BDA0001592805110000376
和
Figure BDA0001592805110000377
Figure BDA0001592805110000378
以向纯净目标信号提供环境感(除空间线索之外)。在实施例中，权重适于使得处理后的信号outL和outR由相应修改的目标信号
Figure BDA0001592805110000379
和
Figure BDA00015928051100003710
为主(如等于相应修改的目标信号
Figure BDA00015928051100003711
和
Figure BDA00015928051100003712
)。图3B中信号处理器SPU的实施例的更详细的描述在下面结合图3C进行论述。
图3C示出了用于图3B的听力系统的信号处理器SPU的示例性实施例的部分框图。在图3C中，相对传递函数的数据库形成信号处理器的一部分，例如体现在保存有关传递函数dm(k，θ)(m＝left,right)的存储器RTF中。图3C中所示信号处理器SPU的实施例包括与图3A中所示实施例一样的功能模块。共同的功能单元为：噪声估计器NC、存储器单元RTF、及到达方向估计器DOAEMLE，所有这些功能单元均假定在两个实施例中提供同样的功能。除这些功能模块之外，图3C的信号处理器包括用于将适当的空间线索应用于目标信号的纯净版本S(l,k)的元件。分析滤波器组FBA和合成滤波器组FBS连接到相应的输入和输出单元及连接到信号处理器SPU。
到达方向估计器DOAEMLE提供对应于当前估计的
Figure BDA00015928051100003713
(在图3C中，
Figure BDA00015928051100003714
)的相对传递函数(RFT)
Figure BDA00015928051100003715
(m＝left,right)。信号处理器包括组合单元(在此为相乘单元X)，用于将相应的相对传递函数dleft(k，θDoA)和dright(k，θDoA)分别应用于目标信号的纯净版本S(l,k)，并提供相应的空间改善的(纯净)目标信号S(l，k)·dleft(k，θDoA)和S(l，k)·dright(k，θDoA)，以(非必须地进一步处理并)分别在用户的左和右耳处呈现。这些信号可作为处理后的输出信号OUTL和OUTR直接提供给合成滤波器组FBS，用于分别转换为时域输出信号outL和outR，并作为包括提供目标信号的空间位置的感知的线索的实质上无噪声目标信号呈现给用户。图3C的信号处理器SPU包括组合单元(在此为相乘单元X，其后为求和单元+)，从而使左和右处理后的输出信号OUTL和OUTR能通过将左和右听力装置处的有噪声目标信号(Rleft(l,k)和Rright(l,k))的可能缩放的版本(参见(可能随频率而变的)相乘因子ηamb,left和ηamb,right)分别加到空间改善的(纯净)目标信号S(l，k)·dleft(k，θDoA)和S(l，k)dright(k，θDoA)而提供声学环境(如房间)的感觉。在实施例中，空间改善的(纯净)目标信号分别用相应的缩放因子(1-ηamb,left)和(1-ηamb,right)进行缩放/换算。在实施例中，空间改善的左和右目标信号乘以渐变因子α(例如结合随距离而变的换算)，使得如果目标声源相当远离用户，全部权重(如α＝1)应用于空间重构的无线信号，及在附近目标声源的情形下全部权重(如α＝0)应用于助听器传声器信号。术语“相当远离”和“附近”可根据估计的混响时间或者直混比或者类似度量进行确定。在实施例中，助听器传声器信号的分量在呈现给用户的合成信号中总是存在(即α<1，例如≤0.95或者≤0.9)。渐变因子α可集成在缩放因子ηamb,left和ηamb,right中。
存储器单元RTF包括M组(在此为两组)从参考传声器(两个传声器之一)到另一传声器的相对传递函数，每组相对传递函数包括多个频率k,k＝1,2,…,K时不同的DoA值(如角度θi,i＝1,2,…,I)。例如，如果右传声器被取为参考传声器，右相对传递函数等于1(对于所有角度和频率)。对于M＝2,d＝(d1,d2)。如果传声器1为参考传声器，d(θ,k)＝(1,d2(θ,k))。这表示换算或归一化视向量的一种方式。根据所涉及的应用，也可使用其它方式。
图4A示出了根据本发明第一实施例的包括双耳到达方向估计器的包括第一和第二听力装置HDL,HDR的双耳听力系统HS。图4A的实施例包括与图3B的实施例一样的功能元件，但特别划分在(至少)三个物理上分开的装置中。左和右听力装置HDL,HDR如助听器适于分别位于左和右耳处或者适于完全或部分植入在用户的左和右耳处的头部中。左和右听力装置HDL,HDR包括相应的左和右传声器Mleft,Mright，用于将接收的声音信号转换为相应的电输入信号rleft,rright。左和右听力装置HDL,HDR还包括相应的用于彼此交换音频信号和/或信息/控制信号的收发器单元TUL,TUR，相应的用于处理一个或多个输入音频信号并提供一个或多个处理后的音频信号outL,outR的处理单元PRL,PRR，及相应的用于将相应处理后的音频信号outL,outR作为可感知为声音的刺激OUTL,OUTR呈现给用户的输出单元OUL,OUR。刺激例如可以是导向耳膜的声学信号、施加到颅骨的振动、或者施加到耳蜗植入件的电极的电刺激。辅助装置AD包括用于接收无线传输的信号wlTS并提供目标信号s的电(实质上无噪声的)版本的第一收发器单元xTU1。辅助装置AD还包括相应的第二左和右收发器单元TU2L,TU2R，用于分别与左和右听力装置HDL,HDR交换音频信号和/或信息/控制信号。辅助装置AD还包括信号处理器SPU，用于估计目标声音信号相对于用户的到达方向(参见子单元DOA)。由左和右听力装置HDL,HDR的相应传声器Mleft,Mright分别接收的左和右电输入信号rleft,rright经左和右听力装置HDL,HDR中的相应收发器TUL,TUR和辅助装置AD中的相应第二收发器TU2L,TU2R传给辅助装置AD。辅助装置AD中接收的左和右电输入信号rleft,rright连同辅助装置的第一收发器TU1接收的目标信号s一起馈给信号处理单元。在此基础上(及基于传播模型和相对传递函数(RTF)dm(k,θ)的数据库)，信号处理器估计目标信号的到达方向DOA，并将相应的头部相对相关传递函数(或脉冲响应)应用于目标信号s的无线接收的版本以提供修改的左和右目标信号
Figure BDA0001592805110000391
这些信号经相应收发器传给相应的左和右听力装置。在左和右听力装置HDL,HDR中，修改的左和右目标信号
Figure BDA0001592805110000392
连同相应的左和右电输入信号rleft,rright一起馈给相应的处理单元PRL,PRR。处理单元PRL,PRR提供相应的左和右处理后的音频信号outL,outR，例如根据用户需要频率整形，和/或按适当比例混合以确保具有反映估计的到达方向的方向线索的(纯净)目标信号
Figure BDA0001592805110000393
的感知，及感觉到环境声音(经信号rleft,rright)。
辅助装置AD还包括用户接口UI，其使用户能影响助听器系统HS的功能(例如运行模式)和/或将关于该功能的信息呈现给用户(经信号UIS)，参见图9B。使用辅助装置进行听力系统的部分任务的优点在于其可包括更多电池容量、更多计算能力、更大存储器(例如更多RTF值，例如提供位置和频率的更精细的分辨率)等。
辅助装置例如可实施为通信装置(的一部分)，例如移动电话(如智能电话)或者个人数字助理(如便携式例如可佩戴的计算机，例如实施为平板电脑或手表，或者类似装置)。
在图4A的实施例中，辅助装置AD的第一和第二收发器示为单独的单元TU1,TU2L,TU2R。这些收发器可根据所涉及的应用实施为两个或者一个收发器(例如根据无线链路的性质(近场、远场)和/或调制方案或协议(专有或标准化NFC、蓝牙、ZigBee等))。
图4B示出了根据本发明第二实施例的包括双耳到达方向估计器的包括第一和第二听力装置HDL,HDR的双耳听力系统HS。图4B的实施例包括与图4A的实施例一样的功能元件，但具体划分在两个物理上分开的装置即左和右听力装置如助听器HDL,HDR中。换言之，在图4A的实施例中在辅助装置AD中执行的处理在图4B的实施例中在每一听力装置HDL,HDR中执行。用户接口例如仍然可实施在辅助装置中，使得信息的呈现和功能的控制可经辅助装置执行(例如参见图9B)。在图4B的实施例中，只有来自相应传声器Mleft,Mright的相应接收的电信号rleft,rright在左和右听力装置之间交换(分别经左和右耳间收发器IA-TUL和IA-TUR)。另一方面，用于接收目标信号s(的实质上无噪声的版本)的单独的无线收发器xTUL,xTUR包括在左和右听力装置HDL,HDR中。机载处理在助听器系统的功能方面提供优点(如减少的等待时间)，但代价在于听力装置HDL,HDR的功耗增加。使用机载左和右相对传递函数的数据库RTF(参见子单元RTFL,RTFR)和目标信号s的到达方向的左和右估计量(参见子单元DOAL,DOAR)，各个信号处理器SPUL,SPUR分别提供修改的左和右目标信号
Figure BDA0001592805110000401
这些信号连同相应的左和右电输入信号rleft,rright一起馈给相应的处理单元PRL,PRR，如结合图4A所述。左和右听力装置HDL,HDR的信号处理器SPUL,SPUR和处理单元PRL,PRR分别示为单独的单元，当然也可实施为一个提供(混合的)处理后的音频信号outL,outR的功能信号处理单元，例如基于左和右(声学)接收的电输入信号rleft,rright和修改的左和右(无线接收的)目标信号
Figure BDA0001592805110000402
的加权组合。在实施例中，左和右听力装置的估计的到达方向DOAL,DOAR在听力装置之间交换并在相应的信号处理单元SPUL,SPUR中用于影响合成DoA的估计量，其可用于确定相应的合成的修改的目标信号
Figure BDA0001592805110000411
迄今的描述已假定无线传声器位于目标源上，如耳朵处，和/或用户头上的别处，例如前额上或者分布在头周周围(如头带、帽子或其它头饰、眼镜等上)。然而，传声器并不必须由目标声源佩戴。无线传声器例如可以是桌上传声器，其靠近目标声源定位，类似地，无线传声器可能不是由单一传声器组成，而是可以是定向传声器甚至是在特定时刻处于目标声源附近的自适应波束形成/降噪系统。这些场合在下面的图5-8中图示，其中佩戴根据本发明的包括左和右听力装置HDL,HDR的双耳听力系统的用户U面向三个潜在的目标声源(人S1,S2,S3)。用户在给定时间点可选择(例如经遥控器如智能电话中的用户接口)他想听这些目标声源中的哪一个或哪几个。作为备选，桌上传声器可配置成放大当前讲话者。示出了用于目标声音信号无线传输给用户的听力装置HDL,HDR的不同传声器设置。目前的配置(如在给定时间听哪一音频源)例如可由用户U经用户接口控制，例如智能电话或类似装置的APP(例如参见图9A、9B)。在实施例中，假定助听器系统(听力装置HDL,HDR)与“远程”无线传声器(如图5中的对讲传声器(或称为喇叭扩音器)SPM1,SPM3、图6和7中的桌上传声器TMS、及图8中的智能电话SMP1,SMP3)之间的在前验证程序(如配对)。听力系统的传声器的数量(如M＝4，例如每一听力装置上两个)可大于或小于或等于无线接收的无噪声目标信号si的数量N(例如如图5、7、8中所示，N＝2)。一个以上目标信号si的无线接收例如可通过在听力装置HDL,HDR中设置单独的无线接收器实现。优选地，可使用使能用同一收发器接收一个以上同时的无线通道的收发器技术(例如使几个装置能同时被验证从而彼此通信的技术，例如蓝牙类技术，如蓝牙低功率类技术)。
图5示出了根据本发明实施例的双耳听力系统的第一使用场合。图5的场合示出了使用外部传声器(SPM1,SPM3)的DOA估计，其可容易地并行处理多个外部声道。佩戴传声器的每一讲话者(S1,S3)将传声器信号(s1(n),s3(n))无线传给两个听力仪器(HDL,HDR)。每一听力仪器因而接收两个单信号，每一接收的信号主要包含佩戴传声器的讲话者的纯净语音信号。对于每一接收的无线信号，我们因而可应用根据本发明的知情DOA程序以独立估计每一讲话者的到达方向。当佩戴传声器的每一讲话者的DOA均已被估计时，对应于估计的DOA的空间线索可应用于每一接收的信号。藉此，可能呈现所接收的无线语音信号的空间上分开的混合，例如参见图11A、11B。位于相应对讲传声器中的话音活动检测器VAD(或者SNR检测器)可用于检测哪一近场声音最靠近所涉及的对讲传声器(及其将被该对讲传声器聚焦)。这样的检测可通过近场声音检测器提供，其基于近场检测器的相邻传声器之间的电平差评估到音频源的距离(这样的传声器例如位于对讲传声器中)。
图6示出了根据本发明实施例的双耳听力系统的第二使用场合。图6的场合示出了知情DOA不必须要求外部传声器靠近嘴巴。外部传声器也可以是桌上传声器(阵列，TMS)，其能够捕获感兴趣的目标(在此为S1)并衰减不想要的噪声源(参见朝向目标声源S1示意性标示的波束形成器)以获得具有比仅通过听力仪器传声器实现的信噪比高的信噪比的目标信号“纯净”版本(s1(n))。根据本发明确定的DoA例如可用于控制(更新)桌上传声器TMS的波束形成器，例如提高其朝向用户U计划听的目标声源(S1)的方向性，例如经用于选择S1的遥控器的APP(例如经图9B中所示的屏幕)。在实施例中，使用目标方向的自动估计，例如基于现有技术中描述的盲源分离技术。同样的波束形成器选择和更新程序可应用在图7和8的场合中。
图7示出了根据本发明实施例的双耳听力系统的第三使用场合。图7示出了与图5所示类似的使用情形，其中几个纯净单信号从放在感兴趣的讲话者身上的传声器传输，(桌上)传声器阵列TMS能够放大各个讲话者，藉此获得不同的纯净语音估计量(参见指向目标声源S1和S3的示意性波束形成器)。每一纯净语音估计量(s1(n),s3(n))被传给听力仪器(HDL,HDR)，及对于每一接收的语音信号，知情DOA程序可用于估计每一信号的到达方向。再次地，DOA可用于从无线接收的信号产生空间上正确的混合。
图8示出了根据本发明实施例的双耳听力系统的第四使用场合。图8示出了与图5和7中提及的问题类似的情形，不同的智能电话(SMP1,SMP3)(每一智能电话能够提取单一语音信号)可用于将不同讲话者(S1和S3)的增强/纯净版本(s1(n),s3(n))传给听力仪器(HDL,HDR)。从所接收的纯净估计量(s1(n),s3(n))和助听器传声器，每一讲话者的DOA可使用根据本发明的知情DOA程序进行估计。
图9A示出了根据本发明的听力系统的实施例。该听力系统包括与辅助装置AD通信的左和右听力装置HDL,HDR(如助听器)，辅助装置例如为遥控装置、通信装置如移动电话或者能够建立到左和右听力装置之一或两个的通信链路的类似装置。
图9A、9B示出了根据本发明的包括包含第一和第二听力装置HDR,HDL的双耳听力系统的实施例及包括辅助装置AD的应用场合。辅助装置AD包括移动电话如智能电话。在图9A的实施例中，听力装置和辅助装置配置成在其间建立无线链路WL-RF，例如根据蓝牙标准(如蓝牙低功率)的数字传输链路的形式。作为备选，这些链路可以任何其它方便的无线和/或有线方式及根据任何适当的调制类型或传输标准进行实施，可能针对不同音频源而不同。图9A、9B的辅助装置AD(例如智能电话)包括用户接口UI，其提供听力系统的遥控器的功能，例如用于改变听力装置中的程序或运行参数(如音量)等。图9B的用户接口UI示出了用于选择听力系统的运行模式的APP(记为“到达方向(DoA)APP”)，其中空间线索被添加到流传输给左和右听力装置HDL,HDR的音频信号。该APP使用户能选择多个可用流传输的音频源(在此为S1,S2,S3)中的一个或多个。在图9B的屏幕中，声源S1和S3已被选择，如左侧实心“打钩框”和粗体指示所示(及在声学场景图示中声源S1和S3的灰色阴影)。在该声音场景下，目标声源S1和S3的到达方向自动确定(如本发明中描述的)，结果通过记为S的圆形符号和记为DoA的相对于用户头部示意性示出的粗箭头显示在屏幕中以反映其估计的位置。这由图9B的屏幕的下部的文本“自动确定的到目标源Si的DoA”指明。在选择多个当前可用的声源(在此为S1,S2,S3，例如参见图5-8)中的哪一声源之前，用户初始可经用户接口UI指明非必须可用的目标声源，例如通过在屏幕上将声源符号Si相对于用户头部移到估计的位置(从而还在屏幕中间产生当前可用的声源的列表)。用户随后可指明他或她有兴趣听的一个或多个声源(通过从屏幕中间的列表中选择)，然后根据本发明确定具体的到达方向(藉此，可通过排除一部分可能的空间简化计算)。
在实施例中，助听器系统配置成将适当的传递函数应用于无线接收的(流传输的)目标音频信号以反映根据本发明确定的到达方向。这具有向用户提供流传输的信号的空间起点的感觉的优点。优选地，适当的头部相关传递函数应用于从所选声源流传输的信号。
在实施例中，来自局部环境的声学环境可被添加(使用来自听力装置的一个或多个传声器的加权信号)，参见打钩框“添加环境”。
在实施例中，到达方向的计算在辅助装置中执行(例如参见图4A)。在另一实施例中，到达方向的计算在左和/或右听力装置中执行(例如参见图4B)。在后一情形下，系统配置成在辅助装置与听力装置之间交换音频信号或确定目标声音信号的到达方向的数据。
听力装置HDL,HDR在图9A中示为安装在用户U的耳朵处(耳后)的装置。可使用其它类型，例如完全位于耳朵中(如耳道中)，完全或部分植入在头中等。每一听力仪器包括无线收发器以在听力装置之间建立耳间无线链路IA-WL，在此例如基于感应通信。每一听力装置还包括收发器，用于建立到辅助装置AD的无线链路WL-RF(例如基于辐射场(RF))，至少用于接收和/或传输信号(CNTR,CNTL)，例如控制信号，例如信息信号(如目前的DoA或似然值)，例如包括音频信号。收发器在右和左听力装置中分别由RF-IA-Rx/Tx-R和RF-IA-Rx/Tx-L指明。
图10示出了示例性的听力装置，其可形成根据本发明的听力系统的一部分。图10中所示的听力装置HD如助听器属于特定类型(有时称为耳内接收器式或RITE型)，包括适于位于用户耳朵之处或之后的BTE部分BTE和适于位于用户耳道之中或之处的ITE部分ITE及包括接收器(扬声器，SP)。BTE部分和ITE部分通过连接元件IC进行连接(如电连接)。
在图10的听力装置HD的实施例如助听器中，BTE部分包括两个输入变换器(如传声器)FM,RM(分别对应于图1B的前传声器FMx和后传声器RMx，x＝L,R)，每一输入变换器用于提供表示输入声音信号(如目标信号的有噪声版本)的电输入音频信号。在另一实施例中，给定听力装置仅包括一个输入变换器(如一个传声器)。在又一实施例中，听力装置包括三个以上输入变换器(如传声器)。图10的听力装置HD还包括两个无线收发器IA-TU,xTU，从而有助于相应音频和/或信息或控制信号的接收和/或传输。在实施例中，xTU配置成从目标声源接收目标信号的实质上无噪声的版本，IA-TU配置成传输或接收音频信号(如传声器信号，或者其(例如频带有限的)部分)和/或传输或接收来自双耳听力系统如双耳助听器系统的对侧听力装置或者来自辅助装置的信息(如与目标声源的定位有关的信息，例如估计的DoA值，或者似然值)(例如参见图4A、4B)。听力装置HD包括其上安装多个电子元件的衬底SUB，包括存储器MEM。存储器配置成保存从听力装置HD的给定传声器到听力装置和/或听力系统的其它传声器的相对传递函数RTF(k,θ)(dm(k,θ),k＝1,…,K,m＝1,…,M)，例如到对侧听力装置的一个或多个传声器。BTE部分还包括可配置的信号处理器SPU，其适于基于当前参数设置(和/或来自用户接口的输入)访问包括(预定)相对传递函数的存储器MEM及选择和处理一个或多个电输入音频信号和/或一个或多个直接接收的辅助音频输入信号。可配置的信号处理器SPU提供增强的音频信号，其可看情况呈现给用户或者进行进一步处理或者传给另一装置。在实施例中，可配置的信号处理器SPU配置成基于估计的到达方向
Figure BDA0001592805110000451
将空间线索应用于目标信号的无线接收的(实质上无噪声)版本(例如参见图3A中的信号S(l,k))。对应于估计的
Figure BDA0001592805110000452
的相对传递函数
Figure BDA0001592805110000453
优选可用于确定合成增强信号以呈现给用户(例如参见图3A中的信号S’(l,k)或者图3C中的信号OUTL,OUTR)。
听力装置HD还包括输出单元(如输出变换器或耳蜗植入物的电极)，其基于增强的音频信号或源自其的信号将增强的输出信号提供为可由用户感知为声音的刺激。
在图10的听力装置实施例中，ITE部分包括扬声器(接收器)SP形式的输出单元，用于将信号转换为声信号。ITE部分还包括引导元件如圆顶DO，用于引导和将ITE部分定位在用户耳道中。
图10中例示的听力装置HD为便携装置，其还包括用于对BTE部分和ITE部分的电子元件供电的电池BAT如可再充电电池。
在实施例中，听力装置如助听器(例如信号处理器)适于提供随频率而变的增益和/或随电平而变的压缩和/或一个或多个源频率范围到一个或多个目标频率范围的移频(具有或没有频率压缩)，例如以补偿用户的听力受损。
在实施例中，增强的空间线索通过频率降低提供给用户(其中频率含量被从较高频带移到或复制到较低频带；通常补偿较高频率下的严重听力损失)。根据本发明的听力系统例如可包括图10中所示的左和右听力装置。
图11A示出了根据本发明第四实施例的听力系统，包括分别提供左和右有噪声目标信号(rleft(n),rright(n))的左和右传声器(Mleft,Mright)，n为时间指数，及包括提供从N个目标声源无线接收的N个(实质上无噪声)目标声音信号sw(n),w＝1,…,N的天线和收发器电路xTU。该听力系统包括一个或者如图所示N个信号处理器SPU，配置成根据本发明提供N个个别到达方向(DoA)DOAw,w＝1,…,N，每一DoA基于有噪声目标信号(rleft,rright)及无线接收的目标声音信号sw,w＝1,…,N中的不同信号。与N个目标声源中的给定目标声源相关联的RTF的各个字典可用于对应的信号处理器SPU。如结合图3A、3B、3C和图4A、4B针对单一无线接收的目标声源所述，图11A针对N个目标声源中的每一个分别提供左和右处理后的信号outLw和outRw。每一个别处理后的输出信号outLw和outRw已根据本发明处理并被基于有关DoAw提供适当的空间线索。左和右处理后的输出信号outLw和outRw,w＝1,…,N馈给相应的混合单元Mix，从而提供合成的左和右输出信号outL和outR，其被馈给相应的左和右输出单元(OUleft和OUright)，例如左和右听力装置中的输出单元，以呈现给用户。
图11B示出了根据本发明第五实施例的听力系统，包括左和右听力装置(HDL,HDR)，每一听力装置包括分别提供左前和后及右前和后有噪声目标信号(rleftFront,rleftBack)和(rrightFront,rrightBack)的前和后传声器(分别为FML,RML和FMR,RMR)，及每一听力装置从N个目标声源(经适当的天线和收发器电路xTU)无线接收N个目标声音信号sw,w＝1,…,N，并提供N个个别到达方向DoAw,left和DOAw,right,w＝1,…,N，每一到达方向分别基于有噪声目标信号(rleftFront,rleftBack)和(rrightFront,rrightBack)及无线接收的目标声音信号sw,w＝1,…,N中的不同信号，其中N个个别到达方向DoAw,left和DOAw,right,w＝1,…,N经耳间无线链路IA-WL在左和右听力装置(HDL,HDR)之间交换、比较及在左和右听力装置中针对每一无线接收的目标源确定合成DoA。N个合成DoA用于确定适当的合成相对传递函数，其被应用于相应的左和右无线接收的目标信号并根据本发明提供相应的N个处理后的输出信号outLw和outRw,w＝1,…,N，如结合图11A所示。每一听力装置包括相应的混合单元Mix，从而提供合成的左和右输出信号outL和outR，其被馈给左和右听力装置(HDL,HDR)中的相应的左和右输出单元(OUleft和OUright)，包括可由用户感知为声音的刺激。
图11B的实施例将两个独立产生的到达方向组合为合成(双耳)DoA，而图11A立即确定联合(双耳)到达方向。图11A实施例的方法需要使用来自两侧的有噪声目标信号(需要至少一音频信号的传送，带宽要求)，而图11B实施例的方法需要使用到达方向(或等同量)，但代价是两个听力装置中的DoA的并行处理(处理能力要求)。
此外，所提出的方法可被修改以考虑声源的典型物理运动的知识。例如，目标声源相对于助听器的传声器改变其位置的速度有限。首先，声源(典型的人)最多以几米/秒的速度移动。其次，助听器用户转动其头部的速度有限(因为我们有兴趣估计目标声源相对于助听器传声器的DoA，传声器安装在用户头上，头部运动将改变目标声源的相对位置)。人们可使这样的现有知识成为所提出的方法的一部分，例如通过将针对[-90°–90°]范围中的所有可能方向评估RTS取代为针对接近早期、可靠的DoA估计量(或者Cv的重新估计的估计量，例如如果已检测到用户头部的运动)的方向的较小范围。此外，DoA估计被描述为二维问题(水平面中的角度θ)。作为备选，DoA可按三维配置进行确定，例如使用球面坐标(θ,
Figure BDA0001592805110000481
r)。
此外，在存储器中保存的RTF中没有RTF被识别为特别可能的情形下，可使用默认相对传递函数RTF，这样的默认RTF例如对应于相对于用户的默认方向如对应于用户正面。作为备选，在给定时间点没有RTF特别可能的情形下，可保持当前方向。在实施例中，似然函数(或者对数似然函数)可跨位置(如(θ,
Figure BDA0001592805110000482
r))进行平滑以包括来自相邻位置的信息。
由于字段具有有限的分辨率及DOA估计量可随时间进行平滑，所提出的方法可能不能捕获小的头部运动，人类通常利用其解决前-后混淆。因而，即使该人正进行小的头部运动，所应用的DOA可被固定。前述小的运动可通过运动传感器(如加速计、陀螺仪或磁力计)进行检测，其能够比DOA估计器快得多地检测小的运动。所应用的头部相关传递函数因而可考虑这些小的头部运动进行更新。例如，如果DOA以水平面中5度的分辨率进行估计，则陀螺仪可以更精细的分辨率检测头部运动，如1度，传递函数可基于检测到的头部方向相对于估计的到达方向的变化进行调节。所应用的变化例如可对应于字典中的最小分辨率(如10度，如5度，如1度)，或者所应用的传递函数可通过两个字典元素之间的插值进行计算。
图12示出了本发明的一般方面，即包括左和右听力装置(HDL,HDR)的双耳听力系统，适于在左和右听力装置之间交换似然值L以用于估计去往/来自目标声源的到达方向DoA。在实施例中，在左和右听力装置(HDL,HDR)之间仅交换多个到达方向DoA(θ)的似然值(L(θi))例如对数似然值或者归一化似然值，例如适合有限的(现实)角度范围如θ∈[θ1；θ2]。在实施例中，似然值如对数似然值针对阈频如4kHz求和。在实施例中，仅由左和右听力装置(HDL,HDR)的传声器拾取的有噪声信号(包括来自目标声源的目标信号)可用于双耳听力系统中的DoA估计，如图12中所示。图12中所示的双耳听力系统的实施例不使用目标信号的纯净版本。在实施例中，包括由左和右听力装置(HDL,HDR)的传声器从一个或多个目标声源拾取的一个或多个目标信号及相应目标信号的“纯净”(不太有噪声)版本的有噪声信号可用于双耳听力系统中的DoA估计。在实施例中，本发明中描述的用于DoA估计的方案实施在双耳听力系统中。听力装置(HDL,HDR)在图12中示为安装在用户U的耳朵处(耳后)的装置。可使用其它类型，例如完全位于耳朵中(如耳道中)，完全或部分植入在头中，等等。每一听力仪器包括在听力装置之间建立耳间无线链路IA-WL的无线收发器，在此例如基于感应通信，至少用于接收或/或传输信号如控制信号如信息信号(例如目前的DoA，或者似然值或概率值)。每一听力装置还可包括用于建立到辅助装置的无线链路(如基于辐射场)的收发器，至少用于接收和/或传输信号(CNTR,CNTL)如控制信号如信息信号(例如目前的DoA，或似然值)，例如包括音频信号，例如用于执行与DoA有关的至少部分处理，和/或用于实施用户接口，例如参见图9A、9B。
当由对应的过程适当代替时，上面描述的、“具体实施方式”中详细描述的及权利要求中限定的装置的结构特征可与本发明方法的步骤结合。
除非明确指出，在此所用的单数形式“一”、“该”的含义均包括复数形式(即具有“至少一”的意思)。应当进一步理解，说明书中使用的术语“具有”、“包括”和/或“包含”表明存在所述的特征、整数、步骤、操作、元件和/或部件，但不排除存在或增加一个或多个其他特征、整数、步骤、操作、元件、部件和/或其组合。应当理解，除非明确指出，当元件被称为“连接”或“耦合”到另一元件时，可以是直接连接或耦合到其他元件，也可以存在中间插入元件。如在此所用的术语“和/或”包括一个或多个列举的相关项目的任何及所有组合。除非另行指明，在此公开的任何方法的步骤不精确限于相应说明的顺序。
应意识到，本说明书中提及“一实施例”或“实施例”或“方面”或者“可”包括的特征意为结合该实施例描述的特定特征、结构或特性包括在本发明的至少一实施方式中。此外，特定特征、结构或特性可在本发明的一个或多个实施方式中适当组合。提供前面的描述是为了使本领域技术人员能够实施在此描述的各个方面。各种修改对本领域技术人员将显而易见，及在此定义的一般原理可应用于其他方面。
权利要求不限于在此所示的各个方面，而是包含与权利要求语言一致的全部范围，其中除非明确指出，以单数形式提及的元件不意指“一个及只有一个”，而是指“一个或多个”。除非明确指出，术语“一些”指一个或多个。
因而，本发明的范围应依据权利要求进行判断。
参考文献
[1]:“Bias-Compensated Sound Source Localization Using RelativeTransferFunctions,”M.Farmani,M.S.Pedersen,Z.-H.Tan,and J.Jensen,to besubmitted toIEEE Trans.Audio,Speech,and Signal Processing.
[2]:EP3013070A2(OTICON)27.04.2016.
[3]:EP3157268A1(OTICON)19.04.2017.
[4]:Co-pending European patent application no.16182987.4filed on5.August2016having the title“A binaural hearing system configured to localizea soundsource”.
[5]:Co-pending European patent application no.17160209.7filed on 9March2017having the title“A hearing device comprising a wireless receiver ofsound”.

Claims (12)

1.一种听力系统，包括：
-M个传声器，其中M等于或大于2，其适于位于用户身上和用于从环境拾取声音及提供M个对应的电输入信号rm(n)，m＝1,…,M，n表示时间，给定传声器处的环境声音包括从目标声源的位置经声学传播通道传播的目标声音信号与所涉及传声器的位置处可能存在的附加噪声信号vm(n)的混合；
-收发器，配置成接收目标声音信号的无线传输的版本并提供实质上无噪声目标信号s(n)；
-信号处理器，连接到所述M个传声器及所述收发器；
-所述信号处理器配置成在下述基础上估计目标声音信号相对于用户的到达方向：
--在由用户佩戴时通过从目标声源到第m个传声器的声学传播通道在传声器m(m＝1,…,M)处接收的声音信号rm的信号模型，其中所述信号模型表达为：
Rm(l，k)＝S(l，k)Hm(k，θ)+Vm(l，k)(m＝1,…,M)
其中，Rm(l,k)为有噪声目标信号rm(n)的时频表示，l为时间指数，k为频率指数，S(l,k)为实质上无噪声目标信号s(n)的时频表示，Hm(k,θ)为从目标声源到相应传声器的声传播通道的频率传递函数，及Vm(l,k)为附加噪声vm(n)的时频表示，及其中第m个声学传播通道使实质上无噪声目标信号s(n)遭受衰减αm和时延Dm；
--最大似然方法学；
--从所述M个传声器中的M-1个传声器的每一个(m＝1,…,M,m≠j)到所述M个传声器中的参考传声器(m＝j)的、随方向而变的声学传递函数形式的、表示用户的头部和躯干的随方向而变的滤波效应的相对传递函数dm，其中dm(k,θ)＝Hm(k,θ)/Hj(k,θ)，Hj(k,θ)是从目标声源到参考传声器的声传播通道的频率传递函数；
其中听力系统配置成使得信号处理器有权访问针对相对于用户的不同方向(θ)的相对传递函数dm(k)的数据库Θ，及其中信号处理器配置成通过找到使对数似然函数最大的θ值而根据所述相对传递函数dm(k,θ)提供目标声音信号的到达方向θ的最大似然估计量；及
其中，在所述衰减αm被假定与频率无关而所述时延Dm被假定随方向而变的同时，对数似然函数的表达式适于使能使用跨频率变量k的求和针对到达方向θ的不同值计算对数似然函数的各个值。
2.根据权利要求1所述的听力系统，其中所述信号模型表达为：
rm(n)＝s(n)*hm(n,θ)+vm(n),(m＝1,…,M)
其中s(n)为目标声源发出的实质上无噪声的目标信号，hm(n,θ)为目标声源和传声器m之间的声学通道脉冲响应，及vm(n)为附加噪声分量，θ为目标声源相对于由用户和/或由用户处的传声器的位置确定的参考方向的到达方向的角度，n为离散时间指数，及*为卷积算子。
3.根据权利要求1或2所述的听力系统，包括至少一听力装置如助听器，其适于佩戴在用户耳朵处或耳朵中或者完全或部分植入在用户耳朵处的头部中。
4.根据权利要求1所述的听力系统，包括左和右听力装置如助听器，其适于分别佩戴在用户的左和右耳之处或之中，或者分别完全或部分植入在左和右耳处的头部中。
5.根据权利要求1所述的听力系统，包括一个或多个加权单元，用于提供具有适当的空间线索的实质上无噪声目标信号s(n)与一个或多个电输入信号或其处理后版本的加权混合。
6.根据权利要求1所述的听力系统，其中左和右听力装置中的至少一个是或包括助听器、耳麦、头戴式耳机、耳朵保护装置或其组合。
7.根据权利要求1所述的听力系统，配置成提供最大似然估计量的偏差补偿。
8.根据权利要求1所述的听力系统，包括配置成监视用户头部的运动的运动传感器。
9.如权利要求1所述的听力系统的用途，用于将空间线索应用于从目标声源无线接收的实质上无噪声目标信号。
10.根据权利要求9所述的用途，其中所述听力系统在多目标声源情形下将空间线索应用于从两个以上目标声源无线接收的两个以上实质上无噪声目标信号。
11.听力系统的运行方法，其中所述听力系统包括适于佩戴在用户的左和右耳处的左和右听力装置，所述方法包括：
-提供M个电输入信号rm(n)，m＝1,…,M，其中M等于或大于2，n表示时间，其中所述M个电输入信号通过M个传声器提供，及所述M个电输入信号表示给定传声器位置处的环境声音并包括从目标声源的位置经声学传播通道传播的目标声音信号与所涉及传声器位置处可能存在的附加噪声信号vm(n)的混合；
-接收目标声音信号的无线传输的版本并提供实质上无噪声目标信号s(n)；
-处理所述M个电输入信号和所述实质上无噪声目标信号；
-在下述基础上估计目标声音信号相对于用户的到达方向：
--在由用户佩戴时通过从目标声源到第m个传声器的声学传播通道在传声器m(m＝1,…,M)处接收的声音信号rm的信号模型，其中所述信号模型表达为：
Rm(l，k)＝S(l，k)Hm(k，θ)+Vm(l，k)(m＝1，...，M)
其中，Rm(l,k)为有噪声目标信号rm(n)的时频表示，l为时间指数，k为频率指数，S(l,k)为实质上无噪声目标信号s(n)的时频表示，Hm(k,θ)为从目标声源到相应传声器的声传播通道的频率传递函数，及Vm(l,k)为附加噪声vm(n)的时频表示，及其中第m个声学传播通道使实质上无噪声目标信号s(n)遭受衰减αm和时延Dm；
--最大似然方法学；
--从所述M个传声器中的M-1个传声器的每一个(m＝1,…,M,m≠j)到所述M个传声器中的参考传声器(m＝j)的、随方向而变的声学传递函数形式的、表示用户的头部和躯干的随方向而变的滤波效应的相对传递函数dm，其中dm(k,θ)＝Hm(k,θ)/Hj(k,θ)，Hj(k,θ)是从目标声源到参考传声器的声传播通道的频率传递函数；
-使得有权访问针对相对于用户的不同方向(θ)的相对传递函数dm(k)的数据库Θ；
-通过找到使对数似然函数最大的θ值而根据所述相对传递函数dm(k,θ)提供目标声音信号的到达方向θ的最大似然估计量；及
-在所述衰减αm与频率无关而所述时延Dm随频率而变的同时，对数似然函数的表达式适于使能使用跨频率变量k的求和针对到达方向θ的不同值计算对数似然函数的各个值。
12.一种计算机可读存储介质，存储有包括指令的计算机程序，当所述程序由计算机执行时，使得所述计算机执行根据权利要求11所述的方法。
CN201810194939.4A 2017-03-09 2018-03-09 定位声源的方法、听力装置及听力系统 Expired - Fee Related CN108600907B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP17160114 2017-03-09
EP17160114.9 2017-03-09

Publications (2)

Publication Number Publication Date
CN108600907A CN108600907A (zh) 2018-09-28
CN108600907B true CN108600907B (zh) 2021-06-01

Family

ID=58265895

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810194939.4A Expired - Fee Related CN108600907B (zh) 2017-03-09 2018-03-09 定位声源的方法、听力装置及听力系统

Country Status (3)

Country Link
US (1) US10219083B2 (zh)
EP (1) EP3373602A1 (zh)
CN (1) CN108600907B (zh)

Families Citing this family (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10962780B2 (en) * 2015-10-26 2021-03-30 Microsoft Technology Licensing, Llc Remote rendering for virtual images
DE102017200599A1 (de) * 2017-01-16 2018-07-19 Sivantos Pte. Ltd. Verfahren zum Betrieb eines Hörgeräts und Hörgerät
US10555094B2 (en) * 2017-03-29 2020-02-04 Gn Hearing A/S Hearing device with adaptive sub-band beamforming and related method
TWI630828B (zh) * 2017-06-14 2018-07-21 趙平 供使用者定向交談之智慧型耳機裝置個人化系統及其使用方法
US10789949B2 (en) * 2017-06-20 2020-09-29 Bose Corporation Audio device with wakeup word detection
US11316865B2 (en) 2017-08-10 2022-04-26 Nuance Communications, Inc. Ambient cooperative intelligence system and method
US11605448B2 (en) 2017-08-10 2023-03-14 Nuance Communications, Inc. Automated clinical documentation system and method
US11250382B2 (en) 2018-03-05 2022-02-15 Nuance Communications, Inc. Automated clinical documentation system and method
US20190272895A1 (en) 2018-03-05 2019-09-05 Nuance Communications, Inc. System and method for review of automated clinical documentation
US11515020B2 (en) 2018-03-05 2022-11-29 Nuance Communications, Inc. Automated clinical documentation system and method
TWI690218B (zh) * 2018-06-15 2020-04-01 瑞昱半導體股份有限公司 耳機
US10728657B2 (en) * 2018-06-22 2020-07-28 Facebook Technologies, Llc Acoustic transfer function personalization using simulation
EP3837861B1 (en) * 2018-08-15 2023-10-04 Widex A/S Method of operating a hearing aid system and a hearing aid system
US10580429B1 (en) * 2018-08-22 2020-03-03 Nuance Communications, Inc. System and method for acoustic speaker localization
CN113196803A (zh) * 2018-10-15 2021-07-30 奥康科技有限公司 助听器系统和方法
DE102019201879B3 (de) 2019-02-13 2020-06-04 Sivantos Pte. Ltd. Verfahren zum Betrieb eines Hörsystems und Hörsystem
US10681452B1 (en) * 2019-02-26 2020-06-09 Qualcomm Incorporated Seamless listen-through for a wearable device
US11210911B2 (en) * 2019-03-04 2021-12-28 Timothy T. Murphy Visual feedback system
DK3709115T3 (da) * 2019-03-13 2023-04-24 Oticon As Høreanordning eller system omfattende en brugeridentifikationsenhed
EP3716642B1 (en) 2019-03-28 2024-09-18 Oticon A/s Hearing system and method for evaluating and selecting an external audio source
US11227679B2 (en) 2019-06-14 2022-01-18 Nuance Communications, Inc. Ambient clinical intelligence system and method
US11043207B2 (en) 2019-06-14 2021-06-22 Nuance Communications, Inc. System and method for array data simulation and customized acoustic modeling for ambient ASR
US11216480B2 (en) 2019-06-14 2022-01-04 Nuance Communications, Inc. System and method for querying data points from graph data structures
US11380312B1 (en) * 2019-06-20 2022-07-05 Amazon Technologies, Inc. Residual echo suppression for keyword detection
US11531807B2 (en) 2019-06-28 2022-12-20 Nuance Communications, Inc. System and method for customized text macros
US11871198B1 (en) 2019-07-11 2024-01-09 Meta Platforms Technologies, Llc Social network based voice enhancement system
EP4005241B1 (en) * 2019-07-31 2024-08-21 Starkey Laboratories, Inc. Ear-worn electronic device incorporating microphone fault reduction system and method
WO2021024474A1 (ja) * 2019-08-08 2021-02-11 日本電信電話株式会社 Ｐｓｄ最適化装置、ｐｓｄ最適化方法、プログラム
US11758324B2 (en) * 2019-08-08 2023-09-12 Nippon Telegraph And Telephone Corporation PSD optimization apparatus, PSD optimization method, and program
CN110493678B (zh) * 2019-08-14 2021-01-12 Oppo（重庆）智能科技有限公司 耳机的控制方法、装置、耳机和存储介质
US11276215B1 (en) 2019-08-28 2022-03-15 Facebook Technologies, Llc Spatial audio and avatar control using captured audio signals
US11670408B2 (en) 2019-09-30 2023-06-06 Nuance Communications, Inc. System and method for review of automated clinical documentation
CN110856072B (zh) * 2019-12-04 2021-03-19 北京声加科技有限公司 一种耳机通话降噪方法及耳机
CN110996238B (zh) * 2019-12-17 2022-02-01 杨伟锋 双耳同步信号处理助听系统及方法
EP3893239B1 (en) * 2020-04-07 2022-06-22 Stryker European Operations Limited Surgical system control based on voice commands
US11335361B2 (en) 2020-04-24 2022-05-17 Universal Electronics Inc. Method and apparatus for providing noise suppression to an intelligent personal assistant
CN111610491B (zh) * 2020-05-28 2022-12-02 东方智测（北京）科技有限公司 声源定位系统及方法
CN111781555B (zh) * 2020-06-10 2023-10-17 厦门市派美特科技有限公司 具有校正功能的有源降噪耳机声源定位方法和装置
CN111933182B (zh) * 2020-08-07 2024-04-19 抖音视界有限公司 声源跟踪方法、装置、设备和存储介质
US11222103B1 (en) 2020-10-29 2022-01-11 Nuance Communications, Inc. Ambient cooperative intelligence system and method
CN112346012A (zh) * 2020-11-13 2021-02-09 南京地平线机器人技术有限公司 声源位置确定方法和装置、可读存储介质、电子设备
EP4007308A1 (en) * 2020-11-27 2022-06-01 Oticon A/s A hearing aid system comprising a database of acoustic transfer functions
CN112526495B (zh) * 2020-12-11 2024-07-30 厦门大学 一种基于耳廓传导特性的单耳声源定位方法及系统
EP4292086A1 (en) * 2021-02-11 2023-12-20 Nuance Communications, Inc. Multi-channel speech compression system and method
CN116918350A (zh) 2021-04-25 2023-10-20 深圳市韶音科技有限公司 声学装置
CN115250412A (zh) * 2021-04-26 2022-10-28 Oppo广东移动通信有限公司 音频处理方法、装置、无线耳机及计算机可读介质
CN113534052B (zh) * 2021-06-03 2023-08-29 广州大学 骨导设备虚拟声源定位性能测试方法、系统、装置及介质
US11856370B2 (en) 2021-08-27 2023-12-26 Gn Hearing A/S System for audio rendering comprising a binaural hearing device and an external device
WO2023245014A2 (en) * 2022-06-13 2023-12-21 Sonos, Inc. Systems and methods for uwb multi-static radar
DE102022121636A1 (de) * 2022-08-26 2024-02-29 Telefónica Germany GmbH & Co. OHG System, Verfahren, Computerprogramm und computerlesbares Medium
EP4398604A1 (en) * 2023-01-06 2024-07-10 Oticon A/s Hearing aid and method

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104902418A (zh) * 2014-03-07 2015-09-09 奥迪康有限公司 用于估计目标和噪声谱方差的多传声器方法
CN104980870A (zh) * 2014-04-04 2015-10-14 奥迪康有限公司 使用辅助装置对助听装置的多传声器降噪系统进行自校准
CN105530580A (zh) * 2014-10-21 2016-04-27 奥迪康有限公司 听力系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8285383B2 (en) * 2005-07-08 2012-10-09 Cochlear Limited Directional sound processing in a cochlear implant
US9549253B2 (en) * 2012-09-26 2017-01-17 Foundation for Research and Technology—Hellas (FORTH) Institute of Computer Science (ICS) Sound source localization and isolation apparatuses, methods and systems
EP2848007B1 (en) * 2012-10-15 2021-03-17 MH Acoustics, LLC Noise-reducing directional microphone array
EP3057335B1 (en) * 2015-02-11 2017-10-11 Oticon A/s A hearing system comprising a binaural speech intelligibility predictor
EP3157268B1 (en) 2015-10-12 2021-06-30 Oticon A/s A hearing device and a hearing system configured to localize a sound source

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104902418A (zh) * 2014-03-07 2015-09-09 奥迪康有限公司 用于估计目标和噪声谱方差的多传声器方法
CN104980870A (zh) * 2014-04-04 2015-10-14 奥迪康有限公司 使用辅助装置对助听装置的多传声器降噪系统进行自校准
CN105530580A (zh) * 2014-10-21 2016-04-27 奥迪康有限公司 听力系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Informed Sound Source Localization Using Relative Transfer Functions for Hearing Aid Applications;Mojtaba Farmani;<IEEE/ACM TRANSACTIONS ON AUDIO, SPEECH, AND LANGUAGE PROCESSING>;20170303;正文第2,3,5部分 *

Also Published As

Publication number Publication date
EP3373602A1 (en) 2018-09-12
US20180262849A1 (en) 2018-09-13
US10219083B2 (en) 2019-02-26
CN108600907A (zh) 2018-09-28

Similar Documents

Publication Publication Date Title
CN108600907B (zh) 定位声源的方法、听力装置及听力系统
US10431239B2 (en) Hearing system
CN109040932B (zh) 传声器系统及包括传声器系统的听力装置
CN107690119B (zh) 配置成定位声源的双耳听力系统
CN104980865B (zh) 包括双耳降噪的双耳助听系统
US11503414B2 (en) Hearing device comprising a speech presence probability estimator
CN107360527B (zh) 包括波束形成器滤波单元的听力装置
CN107071674B (zh) 配置成定位声源的听力装置和听力系统
US20150256956A1 (en) Multi-microphone method for estimation of target and noise spectral variances for speech degraded by reverberation and optionally additive noise
CN107426660B (zh) 包括定向传声器系统的助听器
CN112492434A (zh) 包括降噪系统的听力装置
EP4287646A1 (en) A hearing aid or hearing aid system comprising a sound source localization estimator
US12063477B2 (en) Hearing system comprising a database of acoustic transfer functions
US20240357296A1 (en) Hearing system comprising a database of acoustic transfer functions

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20210601