CN104618843A - 包括头部相关传递函数数据库的双耳助听系统 - Google Patents
包括头部相关传递函数数据库的双耳助听系统 Download PDFInfo
- Publication number
- CN104618843A CN104618843A CN201410637601.3A CN201410637601A CN104618843A CN 104618843 A CN104618843 A CN 104618843A CN 201410637601 A CN201410637601 A CN 201410637601A CN 104618843 A CN104618843 A CN 104618843A
- Authority
- CN
- China
- Prior art keywords
- sound
- hearing assistance
- hrtf
- signal
- auditory prosthesis
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
- H04R25/55—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception using an external connection, either wireless or wired
- H04R25/552—Binaural
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/0486—Drag-and-drop
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/162—Interface to dedicated audio devices, e.g. audio drivers, interface to CODECs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
- H04R25/40—Arrangements for obtaining a desired directivity characteristic
- H04R25/407—Circuits for combining signals of a plurality of transducers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2225/00—Details of deaf aids covered by H04R25/00, not provided for in any of its subgroups
- H04R2225/55—Communication between hearing aids and external devices via a network for data exchange
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
- H04R25/55—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception using an external connection, either wireless or wired
- H04R25/558—Remote control, e.g. of amplification, frequency
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Signal Processing (AREA)
- Acoustics & Sound (AREA)
- Otolaryngology (AREA)
- Neurosurgery (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Multimedia (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Stereophonic System (AREA)
- Headphones And Earphones (AREA)
- Prostheses (AREA)
Abstract
本发明公开了包括头部相关传递函数数据库的双耳助听系统,其包括左和右助听装置,每一助听装置包括:用于基于声场的输入声音提供电输入信号的输入单元;声源分离单元,用于基于电输入信号相对于助听装置分离和定位声源,并提供相应的分离的声源信号及声源的定位参数;天线和收发器单元,适于使能在助听装置之间交换电输入信号和/或分离的声源信号和/或定位参数;比较和计算单元,用于分别比较左和右助听装置的电输入信号和/或分离的声源信号和/或定位参数以估计具有定位参数的声源在特定时间点的头部相关传递函数HRTF值;及存储器单元,用于随时间保存和更新HRTF值及非必需的定位参数的数据库;及其中所述系统配置成使HRTF值根据条件或学习规则进行更新。
Description
技术领域
本申请涉及助听装置,尤其涉及包括适于分别位于用户的左和右耳之处和/或之中或者完全或部分植入在用户头部中的左和右助听装置的双耳助听系统。本发明具体涉及配置成建立用户的头部相关传递函数的数据库的双耳助听系统。
本申请还涉及包括左和右助听装置的助听系统的运行方法。本申请还涉及包括处理器和程序代码的数据处理系统,程序代码使处理器执行本发明方法的至少部分步骤。
例如,本发明的实施可用在如助听器、头戴式耳机、耳麦、有源耳朵保护系统及其组合中。
背景技术
下面的现有技术说明涉及本申请的应用领域之一,即助听器。
人在空间上定位声源的能力很大程度上取决于两只耳朵处的声音感知。由于声源和左和右耳之间的物理距离不同,在左和右耳处体验到声音的特定波前的到达时间差(耳间时间差,ITD)。因而,将类似地体验到(特定时间点的)声音信号的相位差,尤其是在相对低的频率(如低于1500Hz)可感知。由于头部的阴影效应(衍射),类似地体验到左和右耳处接收的声音信号的电平差(耳间电平差,ILD)。头部(和身体)导致的衰减在相对较高的频率(如高于1500Hz)较大。通过ITD和ILD提供的线索的检测很大程度上确定在水平面(即垂直于站立的人的纵向)中定位声源的能力。头部(和身体)导致的声音衍射通过头部相关传递函数(HRTF)进行描述。左和右耳的HRTF理想地描述从声源(来自特定方向)到左和右耳的耳鼓的相应传递函数。如果被正确地确定,对相对于用户耳朵的特定声音方向,HRTF提供左和右耳之间的有关ITD和ILD。这样的HRTFleft和HRTFright优选应用于左和右助听装置接收的声音信号以提高用户的声音定位能力(例如参见[Dillon;2001]的14章)。
已知几种产生HRTF的方法。例如可从仿真头提供标准HRTF,例如源自Gardner和Martin的KEMAR HRTF数据库[Gardner and Martin,1994],并应用于特定用户的左和右助听装置接收的声音信号。作为备选,原则上例如可在验配会话期间进行用户的HRTF的直接测量,及其结果保存在相应(左和右)助听装置的存储器中。在使用期间,例如在助听装置为耳后式(BTE)类型的情形下,其中拾取声音的传声器通常位于耳廓顶部附近(及通常稍靠后),声源的冲击方向由每一装置确定,及相应的相对HRTF应用于(原始)传声器信号以在呈现给用户的信号中(重新)建立有关定位线索。
WO2010115227A1描述了一种使双边助听器系统的受者能使用声音信号中的定位线索(如耳间电平差(ILD))定位受者周围的声音信号源的方法和系统,前述线索被修改(如变换到较低频率)以提供可用定位线索从而产生应用于受者的刺激信号。
US2004218771A1描述了一种产生逼近部分传递函数的方法,其用在电声设备中以产生使电声设备的设备传递函数与声环境匹配的环境校正传递函数。针对标准HRTF确定环境校正传递函数,该校正确定因具体环境条件和所使用的特定助听器引起的部分传递函数。
WO2009001277A1描述了一种双耳物体导向音频解码器,用于通过根据所接收的所希望的距离修改所接收的头部相关传递函数参数而提供增强的双耳物体导向音频解码器,这使能任意虚拟定位空间中的物体。
发明内容
在本发明中,双耳验配意指适于能够在其间交换数据的一对助听装置,“数据”为音频信号、控制信号和/或其它参数。根据本发明,具有双耳验配,可能在给定时间期间学习来自声源的各个头部相关传递函数(HRTF),这将使装置能修改附近声源的位置或虚拟声源的位置。使用该方法,可在听力仪器验配期间略过个人HRTF的测量(或估计)。另一方面,双边验配意指适于佩戴在用户的两只耳朵处但缺乏在其间交换数据的能力的一对助听装置。
EP 2 563 045 A1公开了在具有双耳验配的情形下,可能在给定时间期间学习来自声源的HRTF。当已学习HRTF后,可切换到双边BEE估计以使仪器间通信最小化。使用该方法,可在听力仪器验配期间略过HRTF的测量并使因仪器间通信引起的功耗最小化。无论该套听力仪器在何时发现所选频带中的差在特定空间位置的双耳和双边估计之间足够小,对于该空间位置,仪器均可依赖于双边估计方法。
本申请的目标在于提供一种自适应及改进的双耳助听系统。
本申请的目标由所附权利要求限定的及下面描述的发明实现。
双耳助听系统
一方面,本申请的目标由双耳助听系统实现,其包括适于分别位于用户左耳和右耳之处或之中(或者完全或部分植入在头部中,如用户的左和右耳处)的左和右助听装置,左和右助听装置中的每一个包括:
-用于基于双耳助听系统周围的声场的一个或多个输入声音提供一个或多个电输入信号的输入单元;
-声源分离单元,用于基于一个或多个电输入信号相对于输入变换器单元分离和定位声场中的一个或多个声源Ss,并提供相应的分离的声源信号Xs及一个或多个声源的定位参数LPs(s=1,2,…,Ns);
-天线和收发器单元,适于使能在左和右助听装置之间交换电输入信号和/或分离的声源信号Xs和/或一个或多个声源的定位参数LPs。
每一助听装置还包括:
-比较和计算单元,用于分别比较左和右助听装置的电输入信号和/或分离的声源信号以估计具有定位参数LPs的一个或多个声源S在特定时间点的头部相关传递函数HRTF值;及
-用于随时间保存和更新HRTF值的数据库的存储器单元。
这具有提供灵活的、能够学习其用户的相应HRTF的双耳助听系统的优点。
在实施例中,HRTF值的数据库初始包括标准HRTF数据,例如来自仿真头,例如源自Gardner和Martin的KEMAR HRTF数据库或者测量或估计的HRTF值。在实施例中,HRTF值的数据库初始为空(从而(没有任何HRTF值的先验知识的)双耳助听系统逐步改进和学习系统的特定用户的HRTF值)。
在实施例中,双耳助听系统配置成使HRTF值根据条件或学习规则进行更新。
在实施例中,HRTF值为相对值(表明右和左耳的头部相关传递函数之间的相对差)。在实施例中,每一HRTF值(或可以)表达为复数(对于特定声源和该声源相对于用户的位置)。在实施例中,对于特定声源和该声源相对于用户的位置的HRTF值为指明右和左耳的头部相关传递函数之间的相对差的复数。在实施例中,HRTF值表达为右和左耳的头部相关传递函数的比,即HRTF=HRTFr/HRTFl。
在实施例中,双耳助听系统配置成使得HRTF值在当前估计的HRTF值和数据库中保存的对应HRTF值之间的差量ΔHRTF大于阈值ΔHRTFTH(例如复阈值,例如使得差量ΔHRTF的实部和虚部(或量值和相位)分开评估)时进行更新。差量可基于相应当前和保存的HRTF值(或其函数值,例如对数或绝对值)的比或差。
HRTF的在线学习
假定源信号SS在相对于传声器的给定位置θs,φs,ds,到达右和左传声器的对应信号之间的比为:
该比可拆分为以位置参数为指数的包含耳间电平差(ILD)的量值部分(具有标记简易形式As)及以位置参数为指数的包含耳间时间差(ITD)的计时部分(具有标记简易形式Θs)。
因而,
其中
Ss源信号及Ss[n,k]滤波器组表示的源信号
Mr右传声器处的传声器信号
右传声器处的源信号
n时间指数
k频率指数
s源指数
θs源s的水平入射角
Φs源s的垂直入射角
HRTFr源自∠θs,∠φs的声音的头部相关传递函数
ds源s的距离(右传声器)
换言之,相对头部相关传递函数HRTF,其反映从所涉及声源的声音(Ss)到用户的右和左耳(传声器)的传递函数之间的差,可写为复数:
根据本发明,所获得的两只耳朵之间的传递函数的估计量(As[k]和Θs[k])不断与数据库中对应或最近位置的佩戴者个人HRTF的表示进行比较(例如对于时间指数n的所有值;或者在预定时间点,例如定期,例如以预定频率)。
在实施例中,该系统配置成使得,无论该套听力仪器(助听装置)在何时发现所选频带(k)中的差(As[k],Θs[k])大于特定位置(θs,φs,ds)的所保存和所估计的值之间的学习阈值τA或τΘ,该仪器(助听装置)可根据学习规则更新HRTF数据库。
在实施例中,学习规则包括,如果偏差超过学习阈值τA和τΘ,则HRTF值在特定时间点(可能及在特定频率或频带)进行更新,其中τA与以位置参数为指数的耳间电平差(ILD)(具有标记简易形式As)有关,及其中τΘ与以位置参数为指数的耳间时间差(ITD)(具有标记简易形式Θs)有关。
在实施例中,学习规则与存储器因子α成线性关系,其中0<α<1。
学习阈值τA和τΘ可进一步使得随频率而变(例如随频率指数k而变)。在实施例中,学习阈值在高于和低于阈频率(如1500Hz)时不同,在所涉及的差(ITD或ILD)越敏感时相对越小,在所涉及的差(ITD或ILD)不太敏感时相对较高。
在实施例中,助听装置包括模数(AD)转换器以按预定采样速率如20kHz使模拟输入数字化。在实施例中,助听装置包括数模(DA)转换器以将数字信号转换为模拟输出信号,例如以经输出变换器呈现给用户。
在实施例中,双耳助听系统包括时间到时频(TF)转换单元,以按时频表示X(n,k)呈现一个或多个时变电输入信号x(n),其中n为时间指数及k为频率指数。在实施例中,声源分离单元配置成提供分离的声源信号Xs(和/或电输入信号)的时频表示Xs(n,k)。
在实施例中,助听装置如输入单元包括用于提供输入信号的时频表示的TF转换单元。在实施例中,时频表示包括所涉及信号在特定时间和频率范围的相应复值或实值的阵列或映射。在实施例中,TF转换单元包括用于对(时变)输入信号进行滤波并提供多个(时变)输出信号的滤波器组,每一输出信号包括截然不同的输入信号频率范围。在实施例中,TF转换单元包括用于将时变输入信号转换为频域中的(时变)信号的傅里叶变换单元(例如基于FFT如DFT算法)。在实施例中,助听装置考虑的、从最小频率fmin到最大频率fmax的频率范围包括典型的、人听得见的、从20Hz到20kHz的频率范围的一部分,例如从20Hz到12kHz的范围的一部分。在实施例中,助听装置的正向和/或分析通路的信号拆分到NI个频带,其中NI如大于5,如大于10,如大于50,如大于100,如大于500,其中至少部分个别进行处理。在实施例中,助听装置适于在NP个不同频道(NP≤NI)处理正向和/或分析通路的信号。频道可以宽度一致或不一致(如宽度随频率增加)、重叠或不重叠。
在实施例中,声源Ss的左和右助听装置的定位参数和包括声源相对于相应左和右助听装置的输入单元或变换器或相对于助听装置本身的坐标的估计量。
在实施例中,助听装置的输入单元包括多个输入变换器,例如两个以上输入变换器。在实施例中,输入变换器包括传声器。在实施例中,输入变换器包括无线接收器。在实施例中,输入变换器适于将输入声音转换为电输入信号。在实施例中,输入变换器包括传声器,如定向或全向传声器。在实施例中,助听系统(如每一助听装置,例如体现在输入单元和/或声源分离单元中)包括定向传声器系统,其适于增强佩戴助听系统的用户的局部环境中的多个声源中的目标声源。在实施例中,该定向系统适于检测(如自适应检测)传声器信号的特定部分(如特定声源)源自哪一方向(和/或源自何种距离)。这可以现有技术中描述的多种不同方式实现。
在实施例中,输入单元包括用于从另一装置如通信装置或另一助听装置无线接收直接电输入信号的天线和收发器电路。在实施例中,直接电输入信号表示或包括音频信号和/或控制信号和/或信息信号。在实施例中,收发器电路包括用于对所接收的直接电输入进行解调的解调电路,以提供表示音频信号和/或控制信号的直接电输入信号。总的来说,助听装置的天线及收发器电路建立的无线链路可以是任何类型。在实施例中,无线链路在功率约束条件下使用,例如由于助听装置为或包括便携式(通常电池驱动的)装置。在实施例中,无线链路为基于近场通信的链路,例如基于发射器和接收器部分的天线线圈之间的感应耦合的感应链路。在另一实施例中,无线链路基于远场电磁辐射(辐射场(RF))。在实施例中,无线链路基于标准化或专有技术。在实施例中,无线链路基于蓝牙技术(例如蓝牙低能量技术)。
在实施例中,声源Ss(s=1,2,…,Ns)在左和右助听装置中的定位参数(如绝对或相对空间坐标)针对具有左和右助听装置之间的正中间的坐标系统,当在运行时安装在用户上(或植入用户中)时(即通常用户耳朵之间的中间,例如参见图1C)。在实施例中,分离的声源信号和左和右助听装置的对应定位参数在左和右助听装置之间交换。在学习HRTF期间,每一助听装置中针对特定声源确定的定位参数的相似性(或差)(从耳朵之间的中点看)展现装置怎样一致(或不一致)。对于听者前面的声源,前述声源的位置一致的程度(如左和右助听装置的定位参数之间的绝对或相对偏差)表示准确度测量的估计,其可用于决定应允许多少观察数据用于更新HRTF数据库(如确定新值在更新算法中的权重,例如参见上面例示的学习规则中的参数α)。
在实施例中,部分或所有电输入信号、部分或所有分离的声源信号及部分或所有定位参数在左和右助听装置之间交换(即定位参数未被交换)。
在实施例中(例如在特定第一运行模式下),只有分离的声源信号在左和右助听装置之间交换(即定位参数未被交换)。
在实施例中(例如在特定第二运行模式下),只有定位参数在左和右助听装置之间交换(即分离的声源信号未被交换)。在使用学习的HRTF期间,定位参数的交换相较分离的音频信号的交换需要较少的带宽。
在实施例中(例如在特定第三运行模式下),分离的声源信号及对应的定位参数均在左和右助听装置之间交换。
在实施例中(例如在特定第四运行模式下),所选声源的声源信号和/或同样和/或其它声源的定位参数在左和右助听装置之间交换。
在实施例中,左和右助听装置配置成使能访问相应的另一助听装置的HRTF数据库及从另一(对侧)助听装置引入电输入信号和/或分离的声源信号和/或声源的定位参数。这使助听装置能彼此探查当前占优的声源和/或其空间方向。
定位参数的交换及在每一助听装置的HRTF表中包括(左和右装置的)两个条目具有潜在的提高HRTF准确度的优点。
将HRTF应用于信号
在实施例中,左和右助听装置中的每一个包括HRTF控制单元,用于将HRTF值应用于至少一分离的声源信号(和/或至少一电输入信号)。HRTF值优选从对应于所涉及的分离的声源的位置的HRTF值数据库选择。
作为备选或另外,HRTF数据库中的传递函数可应用于通过不同于传声器的通道(如经无线接收器)接收的声音信号Xe,例如通过流传输直接音频输入(DAI)、拾音线圈等,即尚未暴露于佩戴者的实际HRTF的信号。
在实施例中,左和右助听装置中的至少一个包括音频输入,用于接收表示真实或虚拟声源的声源信号的直接电输入信号,其中左和右助听装置中的至少一个配置成估计真实或虚拟声源的位置及将来自数据库的对应HRTF应用于直接电输入信号。
假定信号Xe将放在位置(θe,φe,de)处,对应的装置信号可写为:
换言之,相对HRTF说明来自特定声源Se的声音在右和左耳之间的差的原因。该“差”之后可应用于没有方向线索的信号(Xe例如直接接收的电信号,例如流传输的信号)。从而通常由耳朵相对于声源的不同位置及人头(等)的阴影效应引起的时间和电平差可应用于没有方向线索的信号(Xe)(从而例如虚拟地将直接接收的电信号“放”在用户周围的环境中)。
对于多通道输入信号XE,在上面的两个等式中,每一通道可视为各个信Xe1-eM号与各个位置的和,即:
在实施例中,定位参数包括相对于真实或虚拟声源的方向(例如来自所涉及输入单元或变换器或助听装置)(或由其构成)。在实施例中,由直接电输入表示的声音为单通道声音(单声道),或者作为备选,为多通道声音,其中每一通道具有其自己的位置。在实施例中,双耳助听系统配置成从相对于声源起点的方向(或直接电信号)估计声源的位置。在实施例中,双耳助听系统配置成在两个助听装置之间交换声源的定位数据(如位置和/或方向)。
在实施例中,左和右助听装置中的每一个包括信号处理单元,用于处理在电输入信号和/或分离的声源信号或其混合之中选择的输入信号。在实施例中,助听装置适于提供随频率而变的增益以补偿用户的听力损失。在实施例中,助听装置包括用于增强输入信号并提供处理后的输出信号的信号处理单元。数字助听器的各个方面在[Schaub;2008]中描述。
在实施例中,左和右助听装置中的至少一个(如每一个)包括用于基于处理后的信号将输出刺激提供给用户的输出单元,其中输出刺激由用户感知为声音。在实施例中,输出单元包括用于将电信号转换为由用户感知为声信号的刺激的输出变换器。在实施例中,输出单元包括多个耳蜗植入电极或骨导助听装置的振动器。在实施例中,输出变换器包括用于将刺激作为声信号提供给用户的接收器(扬声器)。
在实施例中,左和右助听装置中的每一个包括输入和输出单元之间的正向信号通路,该正向通路包括在运行时连接到输入单元的输出和输出单元的输入的信号处理单元,该信号处理单元配置成将处理算法应用于输入信号并提供处理后的输出信号。在实施例中,左和右助听装置中的每一个包括具有用于分析输入信号(如确定电平、调制、信号类型、声反馈估计量等)的功能件的分析通路。在实施例中,分析通路和/或信号通路的部分或所有信号处理在频域进行。在实施例中,分析通路和/或信号通路的部分或所有信号处理在时域进行。
操纵信号的位置
在实施例中,双耳助听系统包括用户接口(如遥控器,例如实施为智能电话的APP),用户从其可选择适当的位置,例如通过将声源“放”在当前声环境中(例如经说明当前相对于用户活动的(真实或虚拟,例如直接接收的声音信号)声源的图形界面)。在实施例中,双耳助听系统配置成基于来自用户接口的输入更新左和右助听装置的存储器单元中的声源定位参数。在实施例中,双耳助听系统配置成使用户能经用户接口选择将要包括在给用户的输出信号中的特定声源信号。
HRTF数据库还使能操纵已受佩戴者的HRTF影响的声音的感知位置。修改信号的感知位置需要两步,其中所得信号经历对应于信号的实际位置的HRTF补偿及应用对应于所选感知位置的HRTF。例如,这使成对的装置能增加并发声音之间的感知距离。
在实施例中,双耳助听系统包括其中实施用户接口的辅助装置(如遥控器,例如移动电话,例如智能电话)。
在实施例中,该系统适于在助听装置和辅助装置之间建立通信链路以使能交换信息(如控制和状态信号,可能音频信号)或将信息从一装置转发给另一装置。
在实施例中,辅助装置是或包括音频网关设备,其适于(如从娱乐装置例如TV或音乐播放器,从电话装置例如移动电话,或从计算机例如PC)接收多个音频信号,及适于选择和/或组合所接收音频信号(或信号组合)中的适当信号以传给助听装置。在实施例中,辅助装置是或包括遥控器,用于控制助听装置的功能和运行。在实施例中,辅助装置是或包括移动电话,例如智能电话。在实施例中,系统的处理(如声源分离)和/或遥控器的功能完全或部分实施在智能电话中,该智能电话可能运行使能经智能电话控制音频处理装置的功能和/或提供用户接口(助听装置包括到智能电话的适当无线接口,例如基于蓝牙或一些其它标准化或专有方案)的APP。
在本说明书中,智能电话为便携式电子装置,其可包括(A)移动电话与(B)个人计算机的结合:
-(A)移动电话包括传声器、扬声器、和到公用电话交换网(PSTN)的(无线)接口;
-(B)个人计算机包括处理器、存储器、操作系统(OS)、用户接口(如键盘和显示器,例如集成在触敏显示器中)和无线数据接口(包括网页浏览器),使用户能下载和执行实施特定功能特征(例如显示从因特网取回的信息,遥控另一装置,组合来自智能电话的多个不同传感器(如照相机、扫描仪、GPS、传声器等)和/或外部传感器的信息以提供特殊特征等)的应用程序(APP)。
在实施例中,双耳助听系统配置成使用户能经用户接口修改其位置已由声源分离单元确定(或针对无线接收的直接电信号单独接收)的声源位置并将HRTF值应用于该声源信号,HRTF值从对应于修改后的声源位置的HRTF数据库提取。从而,使用户能通过将一个或多个声源放在不同于其实际(或提议)位置的另一位置处而操纵声场。在实施例中,来自其位置已经用户接口修改的声源的声音信号表示单通道声音(单声道)或其中每一通道具有其自身的位置的多通道声音。
在实施例中,双耳助听系统包括定位单元(例如体现在至少一如每一助听装置中或辅助装置中),其中声源的位置通过不同于声音信号的手段进行估计,即通过成对装置中的独立定位单元,包括来自无线/无线电通信的输出等。在实施例中,双耳助听系统包括定位提取单元(例如体现在至少一如每一助听装置中或辅助装置中),配置成提取用于表示特定声音的感知位置的定位参数。在实施例中,双耳助听系统包括用于接收包括定位参数的信号的天线和收发器单元。在实施例中,定位提取单元配置成提取嵌入在表示声源信号的音频信号中的定位参数。在实施例中,至少一助听装置包括定位提取单元。
检测器
在实施例中,双耳助听系统(如助听装置之一或辅助装置)包括一个或多个检测器,例如配置成提供与助听系统的“实际环境”的当前性质有关的信号,例如提供声环境的参数。
在实施例中,助听装置包括用于确定输入信号(如基于频带电平和/或全(宽带)信号的)的电平的电平检测器(LD)。从用户声环境拾取的电传声器信号的输入电平例如为环境的分类参数。
在特定实施例中,助听装置包括话音活动检测器(VAD),用于确定输入信号是否包括话音信号(在特定时间点)。这具有下述优点:包括用户环境中的人类发声(如语音)的电传声器信号的时间段可被识别,因而与仅包括其它声源(如人工产生的噪声)的时间段分离。在实施例中,话音检测器适于将用户自己的话音也检测为话音。作为备选,话音检测器适于在检测话音时排除用户自己的话音。在实施例中,助听系统配置成识别包括语音的声源(及例如在特定语音模式下,排除未被识别为(当前)包括语音的声源)。
在特定实施例中,助听装置包括反馈检测器(例如与辨别检测到的音调是否由反馈引起的鉴别器结合的音调检测器)。在特定实施例中,助听装置包括音乐检测器,例如基于反馈检测器。
其它功能
在实施例中,助听装置包括声(和/或机械)反馈抑制系统。在实施例中,助听装置还包括用于所涉及应用的其它相应功能,如压缩、降噪等。
在实施例中,助听装置包括听音装置,如助听器,如听力仪器,如适于位于用户耳朵处或者完全或部分位于用户耳道中或者完全或部分植入在用户头部中的听力仪器,或者头戴式耳机、耳麦、耳朵保护装置或其组合。
用途
此外,本发明提供上面描述的、“具体实施方式”中详细描述的及权利要求中限定的双耳助听系统的用途。在实施例中,提供在包括一个或多个听力仪器、头戴式耳机、耳麦、有源耳朵保护系统等的系统中的用途,例如在免提电话系统、远程会议系统、广播系统、卡拉OK系统、教室放大系统等中的用途。
方法
一方面,本申请进一步提供包括左和右助听装置的双耳助听系统的运行方法,该方法包括在左和右助听装置的每一个中:
-基于双耳助听系统周围的声场的一个或多个输入声音提供一个或多个电输入信号;
-基于一个或多个电输入信号相对于输入变换器单元分离和定位声场中的一个或多个声源Ss,并提供相应的分离的声源信号Xs及一个或多个声源的定位参数LPs(s=1,2,…,Ns);
-在左和右助听装置之间交换电输入信号和/或分离的声源信号Xs和/或一个或多个声源的定位参数LPs;
-分别比较左和右助听装置的电输入信号和/或分离的声源信号和/或定位参数以估计具有定位参数LPs的一个或多个声源S在特定时间点的头部相关传递函数HRTF值;及
-随时间保存和更新HRTF值的数据库及非必须地保存和更新定位参数LPs。
当由对应的过程适当代替时,上面描述的、“具体实施方式”中详细描述的及权利要求中限定的系统的部分或所有结构特征可与本发明方法的实施结合,反之亦然。方法的实施具有与对应系统一样的优点。
在实施例中,本发明方法使HRTF值根据条件或学习规则进行更新。在实施例中,本发明方法包括初始将标准HRTF数据保存在数据库中,例如来自仿真头,例如源自Gardner和Martin的KEMAR HRTF数据库。在双耳助听系统使用期间,初始保存的HRTF数据(如标准数据)被改善的(定制的、学习的)HRTF数据代替。
在实施例中,本发明方法使得前述条件或学习规则包括:HRTF值在当前估计的HRTF值和数据库中保存的对应HRTF值之间的差量ΔHRTF大于阈值ΔHRTFTH时进行更新。在实施例中,本发明方法使得前述条件或学习规则包括,如果耳间电平差(ILD)和耳间时间差(ITD)的保存值和当前值之间的偏差超过学习阈值τA和τΘ,则HRTF值在特定时间点及非必须地在特定频率或频带进行更新,二者均以所涉及声源的位置参数为指数,其中τA与ILD有关,及其中τΘ与ITD有关。
计算机可读介质
本发明进一步提供保存包括程序代码的计算机程序的有形计算机可读介质,当计算机程序在数据处理系统上运行时,使得数据处理系统执行上面描述的、“具体实施方式”中详细描述的及权利要求中限定的方法的至少部分(如大部分或所有)步骤。除了保存在有形介质如磁盘、CD-ROM、DVD、硬盘、或任何其它机器可读的介质上,计算机程序也可经传输介质如有线或无线链路或网络如因特网进行传输并载入数据处理系统从而在不同于有形介质的位置处运行。
数据处理系统
本发明进一步提供数据处理系统,包括处理器和程序代码,程序代码使得处理器执行上面描述的、“具体实施方式”中详细描述的及权利要求中限定的方法的至少部分(如大部分或所有)步骤。
定义
在本说明书中,“助听装置”指适于改善、增强和/或保护用户的听觉能力的装置如听力仪器或有源耳朵保护装置或其它音频处理装置,其通过从用户环境接收声信号、产生对应的音频信号、可能修改该音频信号、及将可能已修改的音频信号作为听得见的信号提供给用户的至少一只耳朵而实现。“助听装置”还指适于以电子方式接收音频信号、可能修改该音频信号、及将可能已修改的音频信号作为听得见的信号提供给用户的至少一只耳朵的装置如头戴式耳机或耳麦。听得见的信号例如可以下述形式提供:辐射到用户外耳内的声信号、作为机械振动通过用户头部的骨结构和/或通过中耳的部分传到用户内耳的声信号、及直接或间接传到用户耳蜗神经的电信号。
助听装置可构造成以任何已知的方式进行佩戴,如安排在耳后的单元,具有将辐射的声信号导入耳道的管或具有安排成靠近耳道或位于耳道中的扬声器;整个或部分安排在耳廓和/或耳道中的单元;连到植入颅骨的固定装置的单元、整个或部分植入的单元等。助听装置可包括单一单元或几个彼此电子通信的单元。
更一般地,助听装置包括用于从用户环境接收声信号并提供对应的输入音频信号的输入变换器和/或以电子方式(即有线或无线)接收输入音频信号的接收器、用于处理输入音频信号的信号处理电路、及用于根据处理后的音频信号将听得见的信号提供给用户的输出装置。在一些助听装置中,放大器可构成信号处理电路。在一些助听装置中,输出装置可包括输出变换器,例如用于提供空传声信号的扬声器或用于提供结构或液体传播的声信号的振动器。在一些助听装置中,输出装置可包括一个或多个用于提供电信号的输出电极。
在一些助听装置中,振动器可适于经皮或由皮结构传播的声信号传给颅骨。在一些助听装置中,振动器可植入在中耳和/或内耳中。在一些助听装置中,振动器可适于将结构传播的声信号提供给中耳骨和/或耳蜗。在一些助听装置中,振动器可适于例如通过卵圆窗将液体传播的声信号提供到耳蜗液体。在一些助听装置中,输出电极可植入在耳蜗中或植入在颅骨内侧上,并可适于将电信号提供给耳蜗的毛细胞、一个或多个听觉神经、听觉皮层和/或大脑皮层的其它部分。
“助听系统”指包括一个或两个助听装置的系统,及“双耳助听系统”指包括两个助听装置并适于协同地向用户的两只耳朵提供听得见的信号的系统。助听系统或双耳助听系统还可包括“辅助装置”,其与助听装置通信并影响和/或受益于助听装置的功能。辅助装置例如可以是遥控器、音频网关设备、移动电话、广播系统、汽车音频系统或音乐播放器。助听装置、助听系统或双耳助听系统例如可用于补偿听力受损人员的听觉能力损失、增强或保护正常听力人员的听觉能力和/或将电子音频信号传给人。
本发明的进一步的目标由从属权利要求和本发明的详细描述中限定的实施方式实现。
除非明确指出,在此所用的单数形式的含义均包括复数形式(即具有“至少一”的意思)。应当进一步理解,说明书中使用的术语“具有”、“包括”和/或“包含”表明存在所述的特征、整数、步骤、操作、元件和/或部件,但不排除存在或增加一个或多个其他特征、整数、步骤、操作、元件、部件和/或其组合。应当理解,除非明确指出,当元件被称为“连接”或“耦合”到另一元件时,可以是直接连接或耦合到其他元件,也可以存在中间插入元件。如在此所用的术语“和/或”包括一个或多个列举的相关项目的任何及所有组合。除非明确指出,在此公开的任何方法的步骤不必须精确按所公开的顺序执行。
附图说明
本发明将在下面参考附图、结合优选实施方式进行更完全地说明。
图1A-1D示意性地示出了在球面和正交坐标系统中表示的、双耳助听系统的元件和/或声源的相互空间位置的多个不同例子。
图2示出了包括左和右助听装置及辅助装置如音频网关的双耳助听系统的实施例,该系统适于在两个助听装置之间建立第一(耳间)通信链路及适于在每一或两个助听装置和辅助装置之间建立通信链路。
图3A-3B示出了包括左和右助听装置的双耳助听系统的实施例。
图4示出了包括左和右助听装置及辅助装置如移动电话的双耳助听系统的实施例,辅助装置包括用于该系统的用户界面,例如用于查看及(可能)影响双耳助听系统环境中当前声源的(感知)位置。
图5示出了包括左和右助听装置的助听系统(例如如图3A-3B中所示)的运行方法的流程图。
为清晰起见,这些附图均为示意性及简化的图,它们只给出了对于理解本发明所必要的细节,而省略其他细节。在所有附图中,同样的附图标记用于同样或对应的部分。
通过下面给出的详细描述,本发明进一步的适用范围将显而易见。然而,应当理解,在详细描述和具体例子表明本发明优选实施例的同时,它们仅为说明目的给出。对于本领域的技术人员来说,从下面的详细描述可显而易见地得出其它实施方式。
具体实施方式
图1A-1D示意性地示出了双耳助听系统的元件和/或声源的相互空间位置的多个不同例子,表示在球面和正交坐标系统中。
图1A示出了正交坐标系统(x,y,z)中的球面坐标系统(d,θ,)的坐标。三维空间中其位置由正交坐标系统中从该坐标系统的中心(0,0,0)到声源Ss的位置(xs,ys,zs)的向量ds表示的特定点(在此由声源Ss的位置图示)由球面坐标(ds,θs,)表示,其中ds为到声源Ss的径向距离,θs为从正交坐标系统(x,y,z)的z轴到向量ds的(极)角,及为从x轴到向量ds在正交坐标系统的xy平面中的投影的(方位)角。
图1B分别以正交和球面坐标示出了左和右助听装置HADl,HADr的位置(参见图1C、1D,在此由左和右传声器micl,micr表示)。坐标系统的中心(0,0,0)原则上可位于任何地方,但在此假定位于左和右传声器micl,micr的中心的中间(以利用装备对称性),如图1C、1D中所示。左和右传声器micl,micr的位置由相应向量dl和dr确定,其可由相应组的矩形和球面坐标(xl,yl,zl),(dl,θl,)和(xr,yr,zr),(dr,θr,)表示。
图1C分别以正交和球面坐标示出了左和右助听装置HADl,HADr(在此由左和右传声器micl,micr表示)相对于声源Ss的位置。坐标系统的中心(0,0,0)假定位于左和右传声器micl,micr的中心位置的中间。左和右传声器micl,micr的位置分别由向量dl和dr确定。声源Ss的位置由向量ds和正交及球面坐标(xs,ys,zs)和(ds,θs,)确定。声源Ss例如可以是讲话(或表达其自身)的人、播放声音的扬声器、或将音频信号传给一个或两个助听装置的无线接收器的无线发射器。
图1D示出了与图1C中所示类似的设置。图1D示出了装备有左和右助听装置HADl,HADr的用户U及位于用户左前方的声源Ss(例如如图所示的扬声器,或讲话的人)。左和右助听装置HADl,HADr的左和右传声器micl,micr从声源Ss接收时变声音信号。声音信号由相应传声器接收并转换为电输入信号及按(复数)数字信号Xsl[n,k]和Xsr[n,k]形式的时频表示提供在左和右助听装置HADl,HADr中(参见图3B),n为时间指数及k为频率指数。声音波前从声源Ss到相应左和右传声器micl,micr的传播方向分别由线(向量)dsl和dsr指明。正交坐标系统(x,y,z)的中心(0,0,0)位于左和右助听装置HADl,HADr之间的中间,助听装置假定连同声源Ss一起位于zy平面(z=0,θ=90°)中。从声源Ss分别到左和右助听装置HADl,HADr的不同距离dsl和dsr说明特定声音波前在两个传声器micl,micr处的到达时间不同,因此导致ITD(ds,θs,)。类似地,传播通路的不同构成(到右助听装置HADr的通路受用户头部影响(由向量dsr的点线段指明),到左助听装置HADl的通路不受影响)引起在两个传声器micl,micr处接收的信号的电平不同。换言之,观察到ILD(ds,θs,)。这些差别(由正常听力人员感知为定位线索)一定程度上反映在信号Xsl[n,k]和Xsr[n,k]中(取决于助听装置上的传声器的实际位置)并可用于提取点源位于(ds,θs,)处的特定几何场景的头部相关传递函数。
图2示出了包括左和右助听装置HADl,HADr及辅助装置AD如音频网关的双耳助听器系统的实施例,该系统适于在两个助听装置之间建立第一(耳间)通信链路IA-WL及适于在每一或两个助听装置和辅助装置之间建立通信链路WL-I。图2示出了根据本发明的双耳助听系统实施例的应用场合,其中辅助装置AD包括例如适于接收来自不同声源(在此仅示出一个声源S1,即娱乐装置TV)的多个音频信号的音频网关设备。作为备选,来自其它声和/或无线传输的音频源例如来自电话设备如移动电话、来自计算机如PC或来自用于从环境拾取声音如另一人的话音的外部传声器(如基于FM或蓝牙传输)的输入可由辅助装置(和/或助听装置之一或两个)接收。来自声源S1的音频信号(经辅助装置和链路WL-RF及WL-I)无线传给左和右助听装置HADl,HAD并由娱乐装置TV的扬声器声传播。另一音频源S2为讲话人形式,从而产生在左和右助听装置HADl,HADr处接收的声源信号。声源S1和S2相对于左和右助听装置HADl,HADr的几何安排图示成相对于用户头部具有不同距离和传播通路,如图1D中所示。两个声源S1和S2在xyz坐标系统中分别由向量ds1和ds2表示。两个声源S1和S2的声信号的波前的传播通路在xyz坐标系统中分别由向量组(d1l,d1r)和(d2l,d2r)表示,其中如图1D中所示,该通路受头部衍射影响的部分以点线指明。
辅助装置AD适于经无线链路WL-RF连接到(不同)声源,在此为符合蓝牙标准的数字传输链路的形式,由音频网关设备AD中的蓝牙收发器BT-Rx-Tx指明。音频源和音频网关设备可使用辅助装置上的按钮“BT配对”进行配对。一旦配对,音频源的BT地址可保存在音频网关设备的存储器中以方便将来的配对。作为备选或另外,到音频源的链路也可以任何其它方便的无线和/或有线方式实施,及也可根据任何适当的调制类型或传输标准,可能因音频源不同而不同。辅助装置可用作双耳助听系统的遥控器。想要的系统运行模式例如可由用户U经模式选择按钮“模式1”和“模式2”进行选择。助听装置AD还可具有使用户能改变当前活动程序(如电话程序、TV听音程序、正常对话程序等)或改变助听装置中的运行参数(如音量,参见Vol按钮)的功能,和/或使系统完全或部分断电(或加电)的功能。
在图2的实施例中,左和右助听装置HADl,HADr中的每一个另外包括可用手操作的用户接口UI,藉此使用户能通过用手操作用户接口(如按钮)而改变每一单个(或两个)听力仪器的工作条件,例如改变程序或运行参数(如音量)或使装置(完全或部分)断电或通电(即打开或关闭装置)。
左和右助听装置HADl,HADr示为安装在用户U左耳和右耳处的装置。图2的系统的每一助听装置包括无线收发器,在此示为基于感应通信I-Rx。该收发器(至少)包括感应接收器(即感应线圈,其与音频网关设备AD的收发器I-Tx中的相应线圈感应耦合),其适于从音频网关设备接收音频信号(或作为基带信号,或作为调制(模拟或数字)信号,在后一情形下,从调制信号提取音频信号)。辅助装置AD和每一听力仪器之间的感应链路WL-I示为单向,但也可为双向(例如能够在发射装置AD和接收装置HADl,HADr之间交换控制信号,以协商适当的传输通道,或者交换其它信号或参数例如音频信号或定位参数)。作为备选或另外,助听装置可适于从环境中的其它声源接收直接传给助听装置的一个或多个音频信号。左和右助听装置例如可体现在相应左和右听力仪器中,每一装置包括BTE部分(适于位于用户耳后(BTE)),如图2中所示。左和右听力仪器中的每一个可包括一个或多个传声器(分别为micl和micr)。一个或两个听力仪器例如可适于补偿用户的听力受损。作为备选,左和右助听装置可包括用于增强“包围”用户U的声和/或无线接收的(可能虚拟)声场的耳件。用户U可以是正常听力或听力受损人员。
辅助装置AD示为被携带在用户U的颈部周围的颈圈中。颈圈可具有携带圈和环形天线的组合功能,来自辅助装置的音频信号(通过电化连接直接或经与辅助装置中的发射线圈感应耦合间接)馈给环形天线以更好地与助听装置的感应收发器感应耦合。作为备选,辅助装置AD可由用户U以任何其它方式进行携带,例如拿在手中。
图3A-3B示出了包括第一和第二助听装置的双耳助听系统的实施例。
图3A示出了包括第一和第二助听装置HADl,HADr的双耳或双边助听系统的例子,每一助听装置为如图3B中所示的助听装置。助听装置适于经无线链路IA-WL和收发器RxTx交换信息。可在两个助听装置之间交换的信息例如包括信息(如声源定位信息或HRTF)、控制信号和/或音频信号(如一个或多个音频信号的一个或多个(如所有)频带)。图3A的第一和第二助听装置HADl,HADr示为BTE型装置,每一个包括适于位于用户耳(耳廓)后的壳体,每一助听装置包括一个或多个传声器、信号处理单元和输出单元(如扬声器)。在实施例中,所有这些部件均位于BTE部分的壳体中。在该情形下,来自输出变换器的声音可经连接到BTE部分的扬声器出口的管传播到用户耳道。管可连接到特别适应用户耳道形状的耳模并使来自扬声器的声音信号能到达所涉及耳朵的耳鼓。在实施例中,位于用户耳道中或附近的耳模或其它部分包括传声器(如位于耳道入口处),其形成对应助听装置的输入单元的一部分因而可构成用于使环境中的声源Ss彼此分离的电输入信号之一。作为备选,输出变换器可独立于BTE部分定位,例如在用户耳道中,及电连接到BTE部分的信号处理单元(如经电导体或无线链路)。
图3B示出了双耳或双边助听系统如助听器系统的实施例,包括左和右助听装置HADl,HADr,在下面称为听力仪器。左和右听力仪器适于位于用户左耳和右耳之处或之中。听力仪器适于在其间经无线通信链路交换信息,在此经通过左和右听力仪器的相应天线和收发器电路IA-Rx/Tx-l和IA-Rx/Tx-r实施的特定耳间(IA)无线链路IA-WL。两个听力仪器HADl,HADr适于使能在两个听力仪器之间交换音频源信号Xs和对应源信号Ss的定位参数LPs,参见指明从右到左仪器的信号Xs r,LPs r及从左到右仪器的信号Xs l,LPs l的传输的点线箭头。每一听力仪器HADl,HADr包括具有在运行时连接到信号处理单元SPU和输出单元(在此为扬声器SPK)的输入单元IUl,IUr的正向信号通路。声源分离和定位单元SEP-LOC位于输入单元IU和信号处理单元SPU之间并与二者连接。声源分离和定位单元SEP-LOC适于基于来自输入单元IU的多个电输入信号INm1,INm2,INw提供分离的声源信号Xs l,Xs r,s=1,2,…Ns和对应的定位参数LPs l,LPs r,s=1,2,…Ns,每一电输入信号表示声音或音频信号。在本实施例中,电输入信号INm1,INm2为来自两个传声器(分别为左和右听力仪器的micl1,micl2和micr1,micr2)的信号及电输入信号INw来自包括天线ANT和收发器电路(分别为左和右听力仪器的RF-Rx/Tx-l和RF-Rx/Tx-r)的无线接收器。正向通路还包括选择器和混合器单元SEL-MIX-HRTF,用于选择特定声源信号Xs l,Xs r,s=1,2,…Ns或混合多个声源信号并将所得的输入信号IN提供给信号处理单元SPU。听力仪器还包括用于保存头部相关传递函数HRTF的数据库的存储器HRTFl,HRTFr和用于(分别从左和右听力仪器的当前接收的分离的声源信号Xs l和Xs r)确定当前声源Ss的HRTF并将该当前值与数据库中保存的值进行比较的计算和比较器单元COMP。计算和比较器单元COMP配置成根据预定学习规则更新数据库的对应HRTF值(例如经来自信号处理单元SPU的控制信号crit进行控制)。选择器和混合器单元SEL-MIX-HRTF配置成访问存储器HRTFl,HRTFr并将适当的HRTF应用于当前接收的声源信号(例如仅应用于选择进行进一步处理的信号),分别参见左和右听力仪器中的信号hrtfl和hrtfr。在图3B的双耳助听系统中,信号Xs r,LPs r和信号Xs l,LPs l经双向无线链路IA-WL分别从右传给左听力仪器及从左传给右听力仪器。这些信号由相应天线ANT和收发器电路IA-Rx/Tx-l及IA-Rx/Tx-r接收和提取并作为信号DBS转发给对侧听力仪器的相应信号处理单元SPU。右听力仪器HADr中从左听力仪器HADl接收的声源信号和定位数据Xs l,LPs l可从信号处理单元SPU经信号dbs转发给右听力仪器HADr的HRTF数据库HRTFr。类似地,声源信号和定位数据Xs r,LPs r可从右听力仪器HADr的HRTF数据库HRTFr提取并经信号dbs、信号处理单元SPU、信号DBS、右听力仪器的天线和收发器电路IA-Rx/Tx-r及无线链路IA-WL转发给左听力仪器HADl。来自本地和对侧听力仪器的声源信号和/或定位参数可一起用于更新相应HRTF数据库及应用由左和右听力仪器中的所选所得输入信号的相应HRTF值提供的定位线索。每一听力仪器(或其中之一)包括可用手操作的和/或可远程操作的用户接口UI,用于产生控制信号UC,例如用于将用户输入提供给信号处理单元SPU、HRTF数据库HRTFl,HRTFr、选择器和混合器单元SEL-MIX-HRTF、及分离和定位单元SEP-LOC中的一个或多个(例如用于在输入单元IU拾取的声场的多个信号之中选择目标信号)。在实施例中,特定声源可经用户接口“重新定位”,使得其被感知为源自用户确定的位置,该位置可能为虚拟位置(例如分配给直接接收的音频输入信号),和/或偏离分离和定位单元SEP-LOC确定的声源实际位置(例如源自用户环境中的扬声器)。这样的用户接口结合图4进行讨论。
图4示出了包括左和右助听装置HADl,HADr及辅助装置AD如移动电话的双耳助听系统的实施例,辅助装置包括用于该系统的用户界面UI,例如用于查看及(可能)影响双耳助听系统环境中当前声源Ss的(感知)位置。
左和右助听装置HADl,HADr例如按结合图3A-3B所述进行实施。在图4的实施例中,双耳助听系统包括移动电话如智能电话形式的辅助装置AD。左和右助听装置HADl,HADr及辅助装置AD中的每一个包括用于在助听装置之间建立无线通信链路IA-WL及在至少一或每一助听装置和辅助装置之间建立无线通信链路WL-RF的相应天线和收发器电路。左和右助听装置的每一个中建立两个链路必要的天线和收发器电路在图4中分别记为RF-IA-RX/Tx-l和RF-IA-RX/Tx-r。左和右助听装置HADl,HADr中的每一个包括相应的头部相关传递函数HRTFl,HRTFr的数据库。在实施例中,耳间链路IA-WL基于近场通信(例如基于感应耦合),但也可基于辐射场(例如根据蓝牙标准,和/或基于利用蓝牙低能量标准的音频传输)。在实施例中,辅助装置和助听装置之间的链路WL-RF基于辐射场(例如根据蓝牙标准,和/或基于利用蓝牙低能量标准的音频传输),但也可基于近场通信(例如基于感应耦合)。链路IA-WL,WL-RF的带宽优选适于使声源信号(或至少其部分,例如所选频带和/或时间段)和/或识别声源的当前位置的定位参数能在装置之间传输。在实施例中,系统的处理(如声源分离)和/或遥控器的功能完全或部分实施在辅助装置AD(智能电话)中。在实施例中,用户接口UI由可能运行APP的智能电话实施,其使能经智能电话控制音频处理装置的功能,例如利用智能电话的显示器实施图形界面(例如与文本输入选项结合)。
在实施例中,双耳助听系统配置成使用户能经用户接口修改其位置已由声源分离单元确定(或针对无线接收的直接电信号单独接收)的声源位置并将HRTF值应用于声源信号,HRTF值从对应于修改后的声源位置的HRTF数据库提取。如图4中所示,分离和定位单元确定的声源位置可通过智能电话的用户接口UI显示(当智能电话拿在用户U的手中时,经触敏显示器方便查看和交互作用)。用户接口显示的声源Ss例如可通过用户定义的条件进行限制,例如包括所有检测到的、或当前最大声的、或当前包含语音的、和/或当前包含音乐的、或当前包含噪声(例如无关联的声音,和/或识别后确定并非语音和并非音乐的声音)的声源。在图4所示的例子中,三个声源S1,S2和S3的位置(由正交坐标系统(x,y,z)中的相应向量d1,d2和d3表示,该系统的中心在左和右助听装置的相应传声器单元micl,micr之间)相对于用户U进行显示。在图4的例子中,已检测到新的声源(例如无线接收的直接电音频信号源),用户接口IU配置成使用户能根据意愿在空间上将新声源放在当前声源布置中(例如通过将声源符号拖到文本指示“S4”的左边并将其落在相对于用户的适当位置处)。双耳助听系统(包括辅助装置)配置成确定对应于S4的位置的定位参数LP4并将其按用户经用户接口提议的传给双耳助听系统的左和右助听装置HADl,HADr。双耳助听系统(包括左和右助听装置)适于接收定位参数LP4并将对应的头部相关传递函数HRTF(HRTFl(LP4),HRTFr(LP4))分别在左和右助听装置中应用于声源信号S4。另外,使用户能通过将一个或多个声源放在不同于其实际(或提议)位置的另一位置处而操纵声场。
感应通信链路IA-WL的多个不同方面例如在EP 1 107 472 A2、EP 1 777644 A1、US 2005/0110700 A1和US2011222621A1中描述。WO 2005/055654和WO 2005/053179描述了包括用于与其它单元感应通信的感应线圈的助听器的多个不同方面。在感应通信链路中使用的协议例如在US 2005/0255843 A1中描述。
在实施例中,RF通信链路WL-RF基于由蓝牙专门兴趣小组(SIG)规定的典型蓝牙(例如参见https://www.bluetooth.org)。在实施例中,(第二)RF通信链路基于其它标准或专有协议(例如蓝牙的修改版,例如修改以包括音频层的蓝牙低能量)。
图5示出了包括左和右助听装置的助听系统(例如如图3A-3B中所示)的运行方法的流程图。该方法在左和右助听装置的每一个中包括图5中所示的步骤。
本发明由独立权利要求的特征限定。从属权利要求限定优选实施方式。权利要求中的任何附图标记不意于限定其范围。
一些优选实施方式已经在前面进行了说明,但是应当强调的是,本发明不受这些实施方式的限制,而是可以权利要求限定的主题内的其它方式实现。
参考文献
●[Gardner and Martin,1994]Gardner,Bill and Martin,Kieth,HRTFMeasurements of a KEMAR Dummy-Head Microphone,MIT Media Lab MachineListening Group,MA,US,1994.
●[Dillon;2001]Dillon H.(2001),Hearing Aids,Thieme,New York-Stuttgart,2001.
●WO2010115227A1(COCHLEAR)14-10-2010
●US2004218771A1(SAT)04-11-2004
●WO2009001277A1(PHILIPS)31-12-2008
●EP2563045A1(OTICON)27-02-2013
●[Schaub;2008]Arthur Schaub,Digital hearing Aids,Thieme Medical.Pub.,2008.
●EP1107472A2(SONY)13.06.2001
●EP1777644A1(OTICON)24.05.2007
●US20050110700A1(STARKEY/OTICON)26.05.2005
●US2011222621A1(OTICON)15.09.2011
●WO2005055654(STARKEY/OTICON)16.06.2005
●WO2005053179(STARKEY/OTICON)09.06.2005
●US20050255843A1(STARKEY/OTICON)17.11.2005
Claims (18)
1.一种双耳助听系统,包括适于分别位于用户左耳和右耳之处或之中的左和右助听装置,左和右助听装置中的每一个包括:
-用于基于双耳助听系统周围的声场的一个或多个输入声音提供一个或多个电输入信号的输入单元;
-声源分离单元,用于基于一个或多个电输入信号相对于助听装置分离和定位所述声场中的一个或多个声源Ss,并提供相应的分离的声源信号Xs及所述一个或多个声源的定位参数LPs(s=1,2,…,Ns);
-天线和收发器单元,适于使能在左和右助听装置之间交换所述电输入信号和/或所述分离的声源信号Xs和/或所述一个或多个声源的所述定位参数LPs;
-比较和计算单元,用于分别比较左和右助听装置的所述电输入信号和/或所述分离的声源信号和/或所述定位参数以估计具有所述定位参数LPs的一个或多个所述声源S在特定时间点的头部相关传递函数HRTF值;及
-存储器单元,用于随时间保存和更新所述HRTF值及非必需的所述定位参数LPs的数据库;及
其中所述双耳助听系统配置成使所述HRTF值根据条件或学习规则进行更新。
2.根据权利要求1所述的双耳助听系统,其中所述HRTF值为指明右和左耳的头部相关传递函数之间的相对差的相对值。
3.根据权利要求1所述的双耳助听系统,其中所述条件或学习规则包括:如果耳间电平差ILD和耳间时间差ITD的保存值和当前值之间的偏差超过学习阈值τA和τΘ,则所述HRTF值在特定时间点及非必须地在特定频率或频带进行更新,所述ILD和所述ITD均以所涉及声源的位置参数为指数,其中τA与ILD有关,及其中τΘ与ITD有关。
4.根据权利要求1所述的双耳助听系统,包括时间到时频转换单元,其用于按时频表示X(n,k)呈现一个或多个时变电输入信号x(n),其中n为时间指数及k为频率指数。
5.根据权利要求1所述的双耳助听系统,其中所述声源分离单元配置成提供所述分离的声源信号Xs和/或所述电输入信号的时频表示Xs(n,k)。
6.根据权利要求1所述的双耳助听系统,其中声源Ss的左和右助听装置的定位参数和包括所述声源相对于相应左和右助听装置的输入变换器的坐标的估计量。
7.根据权利要求1所述的双耳助听系统,其中左和右助听装置中的每一个包括HRTF控制单元,用于将HRTF值应用于至少一所述分离的声源信号,所述HRTF值从对应于所涉及的分离的声源的位置的HRTF值数据库提取。
8.根据权利要求1所述的双耳助听系统,其中左和右助听装置中的至少一个包括音频输入,用于接收表示真实或虚拟声源的声源信号的直接电输入信号,其中左和右助听装置中的至少一个配置成估计真实或虚拟声源的位置及将来自数据库的对应HRTF应用于所述直接电输入信号。
9.根据权利要求1所述的双耳助听系统,其中左和右助听装置中的每一个包括用于基于处理后的信号将输出刺激提供给用户的输出单元,其中所述输出刺激由用户感知为声音。
10.根据权利要求1所述的双耳助听系统,包括用户从其可选择声源在当前声环境中的适当位置的用户接口。
11.根据权利要求10所述的双耳助听系统,包括其中实施所述用户接口的辅助装置。
12.根据权利要求1所述的双耳助听系统,配置成使用户能经用户接口修改其位置已由所述声源分离单元确定的声源的位置并将来自对应于修改后的声源位置的HRTF数据库的HRTF值应用于声源信号。
13.根据权利要求1所述的双耳助听系统,包括定位提取单元,用于提取表示特定声音的感知位置的定位参数。
14.根据权利要求1所述的双耳助听系统,配置成使得HRTF值在当前估计的HRTF值和数据库中保存的对应HRTF值之间的差量大于阈值时进行更新。
15.根据权利要求1所述的双耳助听系统,其中对于特定声源和该声源相对于用户的位置,所述HRTF值为指明右和左耳的头部相关传递函数之间的相对差的复数。
16.根据权利要求1所述的双耳助听系统,其中所述HRTF值的估计量不断与数据库中对应或最近位置的佩戴者HRTF的表示进行比较。
17.根据权利要求1所述的双耳助听系统,其中对于特定声源和该声源相对于用户的位置,HRTF值表达为右和左耳的头部相关传递函数的比
18.包括左和右助听装置的双耳助听系统的运行方法,所述方法包括在左和右助听装置的每一个中:
-基于双耳助听系统周围的声场的一个或多个输入声音提供一个或多个电输入信号;
-基于所述一个或多个电输入信号相对于输入变换器单元分离和定位所述声场中的一个或多个声源Ss,并提供相应的分离的声源信号Xs及所述一个或多个声源的定位参数LPs(s=1,2,…,Ns);
-在左和右助听装置之间交换所述电输入信号和/或所述分离的声源信号Xs和/或所述一个或多个声源的所述定位参数LPs;
-分别比较左和右助听装置的所述电输入信号和/或所述分离的声源信号和/或所述定位参数以估计具有所述定位参数LPs的一个或多个声源S在特定时间点的头部相关传递函数HRTF值;及
-随时间保存和更新所述HRTF值及非必需的定位参数LPs的数据库;及
-使所述HRTF值根据条件或学习规则进行更新。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP13191567.0 | 2013-11-05 | ||
EP13191567.0A EP2869599B1 (en) | 2013-11-05 | 2013-11-05 | A binaural hearing assistance system comprising a database of head related transfer functions |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104618843A true CN104618843A (zh) | 2015-05-13 |
CN104618843B CN104618843B (zh) | 2019-04-09 |
Family
ID=49515289
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410637601.3A Active CN104618843B (zh) | 2013-11-05 | 2014-11-05 | 包括头部相关传递函数数据库的双耳助听系统 |
Country Status (4)
Country | Link |
---|---|
US (2) | US9414171B2 (zh) |
EP (2) | EP2869599B1 (zh) |
CN (1) | CN104618843B (zh) |
DK (1) | DK2869599T3 (zh) |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105183421A (zh) * | 2015-08-11 | 2015-12-23 | 中山大学 | 一种虚拟现实三维音效的实现方法及系统 |
CN105959842A (zh) * | 2016-04-29 | 2016-09-21 | 歌尔股份有限公司 | 一种耳机降噪处理的方法、装置及耳机 |
CN105979441A (zh) * | 2016-05-17 | 2016-09-28 | 南京大学 | 一种用于3d音效耳机重放的个性化优化方法 |
CN106658319A (zh) * | 2015-06-22 | 2017-05-10 | 奥登堡大学 | 双侧耳蜗植入系统的声音处理 |
CN106911994A (zh) * | 2015-12-22 | 2017-06-30 | Gn 瑞声达 A/S | 听力设备 |
CN107071674A (zh) * | 2015-10-12 | 2017-08-18 | 奥迪康有限公司 | 配置成定位声源的听力装置和听力系统 |
CN108370485A (zh) * | 2015-12-07 | 2018-08-03 | 华为技术有限公司 | 音频信号处理装置和方法 |
CN108476369A (zh) * | 2015-09-07 | 2018-08-31 | 3D声音实验室 | 用于开发适用于个体的头部相关传递函数的方法和系统 |
CN109691139A (zh) * | 2016-09-01 | 2019-04-26 | 安特卫普大学 | 确定个性化头部相关传递函数和耳间时间差函数的方法及用于执行该方法的计算机程序产品 |
CN110012384A (zh) * | 2018-01-04 | 2019-07-12 | 音科有限公司 | 一种便携式测量头相关变换函数(hrtf)参数的方法、系统和设备 |
CN110267166A (zh) * | 2019-07-16 | 2019-09-20 | 上海艺瓣文化传播有限公司 | 一种基于双耳效应的虚拟声场实时交互系统 |
CN112218224A (zh) * | 2020-09-18 | 2021-01-12 | 海菲曼(天津)科技有限公司 | 一种基于头戴式扬声器系统的hrtf测量方法及其测量设备 |
CN113692750A (zh) * | 2019-04-09 | 2021-11-23 | 脸谱科技有限责任公司 | 使用声音场景分析和波束形成的声传递函数个性化 |
Families Citing this family (108)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8930005B2 (en) | 2012-08-07 | 2015-01-06 | Sonos, Inc. | Acoustic signatures in a playback system |
US9877116B2 (en) * | 2013-12-30 | 2018-01-23 | Gn Hearing A/S | Hearing device with position data, audio system and related methods |
JP6674737B2 (ja) * | 2013-12-30 | 2020-04-01 | ジーエヌ ヒアリング エー/エスGN Hearing A/S | 位置データを有する聴取装置および聴取装置の動作方法 |
WO2015110587A1 (de) | 2014-01-24 | 2015-07-30 | Hviid Nikolaj | Multifunktionskopfhörersystem für sportliche aktivitäten |
CN105976829B (zh) * | 2015-03-10 | 2021-08-20 | 松下知识产权经营株式会社 | 声音处理装置、声音处理方法 |
US10575103B2 (en) | 2015-04-10 | 2020-02-25 | Starkey Laboratories, Inc. | Neural network-driven frequency translation |
US9843875B2 (en) * | 2015-09-25 | 2017-12-12 | Starkey Laboratories, Inc. | Binaurally coordinated frequency translation in hearing assistance devices |
US9749766B2 (en) * | 2015-12-27 | 2017-08-29 | Philip Scott Lyren | Switching binaural sound |
SG10201800147XA (en) | 2018-01-05 | 2019-08-27 | Creative Tech Ltd | A system and a processing method for customizing audio experience |
SG10201510822YA (en) | 2015-12-31 | 2017-07-28 | Creative Tech Ltd | A method for generating a customized/personalized head related transfer function |
US10805757B2 (en) | 2015-12-31 | 2020-10-13 | Creative Technology Ltd | Method for generating a customized/personalized head related transfer function |
US9591427B1 (en) * | 2016-02-20 | 2017-03-07 | Philip Scott Lyren | Capturing audio impulse responses of a person with a smartphone |
US10509626B2 (en) | 2016-02-22 | 2019-12-17 | Sonos, Inc | Handling of loss of pairing between networked devices |
US9820039B2 (en) | 2016-02-22 | 2017-11-14 | Sonos, Inc. | Default playback devices |
US9947316B2 (en) | 2016-02-22 | 2018-04-17 | Sonos, Inc. | Voice control of a media playback system |
US10264030B2 (en) | 2016-02-22 | 2019-04-16 | Sonos, Inc. | Networked microphone device control |
US10095470B2 (en) | 2016-02-22 | 2018-10-09 | Sonos, Inc. | Audio response playback |
US9965247B2 (en) | 2016-02-22 | 2018-05-08 | Sonos, Inc. | Voice controlled media playback system based on user profile |
US9584653B1 (en) * | 2016-04-10 | 2017-02-28 | Philip Scott Lyren | Smartphone with user interface to externally localize telephone calls |
WO2017197156A1 (en) * | 2016-05-11 | 2017-11-16 | Ossic Corporation | Systems and methods of calibrating earphones |
US9978390B2 (en) | 2016-06-09 | 2018-05-22 | Sonos, Inc. | Dynamic player selection for audio signal processing |
US9584946B1 (en) * | 2016-06-10 | 2017-02-28 | Philip Scott Lyren | Audio diarization system that segments audio input |
US9800990B1 (en) * | 2016-06-10 | 2017-10-24 | C Matter Limited | Selecting a location to localize binaural sound |
US10134399B2 (en) | 2016-07-15 | 2018-11-20 | Sonos, Inc. | Contextualization of voice inputs |
US10152969B2 (en) | 2016-07-15 | 2018-12-11 | Sonos, Inc. | Voice detection by multiple devices |
DK3285500T3 (da) | 2016-08-05 | 2021-04-26 | Oticon As | Binauralt høresystem, der er konfigureret til at lokalisere en lydkilde |
US10115400B2 (en) | 2016-08-05 | 2018-10-30 | Sonos, Inc. | Multiple voice services |
US9942678B1 (en) | 2016-09-27 | 2018-04-10 | Sonos, Inc. | Audio playback settings for voice interaction |
US9743204B1 (en) | 2016-09-30 | 2017-08-22 | Sonos, Inc. | Multi-orientation playback device microphones |
US10181323B2 (en) | 2016-10-19 | 2019-01-15 | Sonos, Inc. | Arbitration-based voice recognition |
US10225638B2 (en) * | 2016-11-03 | 2019-03-05 | Bragi GmbH | Ear piece with pseudolite connectivity |
DE102017201457B3 (de) * | 2017-01-30 | 2018-05-17 | Sivantos Pte. Ltd. | Verfahren zum Betreiben einer Hörhilfevorrichtung und Hörhilfevorrichtung |
US10133544B2 (en) | 2017-03-02 | 2018-11-20 | Starkey Hearing Technologies | Hearing device incorporating user interactive auditory display |
US10475449B2 (en) | 2017-08-07 | 2019-11-12 | Sonos, Inc. | Wake-word detection suppression |
US11316865B2 (en) | 2017-08-10 | 2022-04-26 | Nuance Communications, Inc. | Ambient cooperative intelligence system and method |
US10546655B2 (en) | 2017-08-10 | 2020-01-28 | Nuance Communications, Inc. | Automated clinical documentation system and method |
US10048930B1 (en) | 2017-09-08 | 2018-08-14 | Sonos, Inc. | Dynamic computation of system response volume |
US10446165B2 (en) | 2017-09-27 | 2019-10-15 | Sonos, Inc. | Robust short-time fourier transform acoustic echo cancellation during audio playback |
US10482868B2 (en) | 2017-09-28 | 2019-11-19 | Sonos, Inc. | Multi-channel acoustic echo cancellation |
US10621981B2 (en) | 2017-09-28 | 2020-04-14 | Sonos, Inc. | Tone interference cancellation |
US10466962B2 (en) | 2017-09-29 | 2019-11-05 | Sonos, Inc. | Media playback system with voice assistance |
US10880650B2 (en) | 2017-12-10 | 2020-12-29 | Sonos, Inc. | Network microphone devices with automatic do not disturb actuation capabilities |
US10818290B2 (en) | 2017-12-11 | 2020-10-27 | Sonos, Inc. | Home graph |
US10390171B2 (en) | 2018-01-07 | 2019-08-20 | Creative Technology Ltd | Method for generating customized spatial audio with head tracking |
WO2019152722A1 (en) | 2018-01-31 | 2019-08-08 | Sonos, Inc. | Device designation of playback and network microphone device arrangements |
US10306395B1 (en) * | 2018-02-05 | 2019-05-28 | Philip Scott Lyren | Emoji that indicates a location of binaural sound |
EP3762931A4 (en) | 2018-03-05 | 2022-05-11 | Nuance Communications, Inc. | AUTOMATED CLINICAL DOCUMENTATION REVIEW SYSTEM AND METHOD |
WO2019173333A1 (en) | 2018-03-05 | 2019-09-12 | Nuance Communications, Inc. | Automated clinical documentation system and method |
US11250382B2 (en) | 2018-03-05 | 2022-02-15 | Nuance Communications, Inc. | Automated clinical documentation system and method |
US10469974B2 (en) * | 2018-03-15 | 2019-11-05 | Philip Scott Lyren | Method to expedite playing of binaural sound to a listener |
CN108616789B (zh) * | 2018-04-11 | 2021-01-01 | 北京理工大学 | 基于双耳实时测量的个性化虚拟音频回放方法 |
US11175880B2 (en) | 2018-05-10 | 2021-11-16 | Sonos, Inc. | Systems and methods for voice-assisted media content selection |
US10847178B2 (en) | 2018-05-18 | 2020-11-24 | Sonos, Inc. | Linear filtering for noise-suppressed speech detection |
US10959029B2 (en) | 2018-05-25 | 2021-03-23 | Sonos, Inc. | Determining and adapting to changes in microphone performance of playback devices |
US10681460B2 (en) | 2018-06-28 | 2020-06-09 | Sonos, Inc. | Systems and methods for associating playback devices with voice assistant services |
EP3606100B1 (en) * | 2018-07-31 | 2021-02-17 | Starkey Laboratories, Inc. | Automatic control of binaural features in ear-wearable devices |
US10580429B1 (en) * | 2018-08-22 | 2020-03-03 | Nuance Communications, Inc. | System and method for acoustic speaker localization |
US10461710B1 (en) | 2018-08-28 | 2019-10-29 | Sonos, Inc. | Media playback system with maximum volume setting |
US11076035B2 (en) | 2018-08-28 | 2021-07-27 | Sonos, Inc. | Do not disturb feature for audio notifications |
US10154364B1 (en) | 2018-09-09 | 2018-12-11 | Philip Scott Lyren | Moving an emoji to move a location of binaural sound |
US10587430B1 (en) * | 2018-09-14 | 2020-03-10 | Sonos, Inc. | Networked devices, systems, and methods for associating playback devices based on sound codes |
US11024331B2 (en) | 2018-09-21 | 2021-06-01 | Sonos, Inc. | Voice detection optimization using sound metadata |
US10811015B2 (en) | 2018-09-25 | 2020-10-20 | Sonos, Inc. | Voice detection optimization based on selected voice assistant service |
US11100923B2 (en) | 2018-09-28 | 2021-08-24 | Sonos, Inc. | Systems and methods for selective wake word detection using neural network models |
US10692518B2 (en) | 2018-09-29 | 2020-06-23 | Sonos, Inc. | Linear filtering for noise-suppressed speech detection via multiple network microphone devices |
US11899519B2 (en) | 2018-10-23 | 2024-02-13 | Sonos, Inc. | Multiple stage network microphone device with reduced power consumption and processing load |
EP3654249A1 (en) | 2018-11-15 | 2020-05-20 | Snips | Dilated convolutions and gating for efficient keyword spotting |
US11183183B2 (en) | 2018-12-07 | 2021-11-23 | Sonos, Inc. | Systems and methods of operating media playback systems having multiple voice assistant services |
US10966046B2 (en) * | 2018-12-07 | 2021-03-30 | Creative Technology Ltd | Spatial repositioning of multiple audio streams |
US11418903B2 (en) * | 2018-12-07 | 2022-08-16 | Creative Technology Ltd | Spatial repositioning of multiple audio streams |
US11132989B2 (en) | 2018-12-13 | 2021-09-28 | Sonos, Inc. | Networked microphone devices, systems, and methods of localized arbitration |
US10602268B1 (en) | 2018-12-20 | 2020-03-24 | Sonos, Inc. | Optimization of network microphone devices using noise classification |
US10499179B1 (en) | 2019-01-01 | 2019-12-03 | Philip Scott Lyren | Displaying emojis for binaural sound |
US10867604B2 (en) | 2019-02-08 | 2020-12-15 | Sonos, Inc. | Devices, systems, and methods for distributed voice processing |
US11315556B2 (en) | 2019-02-08 | 2022-04-26 | Sonos, Inc. | Devices, systems, and methods for distributed voice processing by transmitting sound data associated with a wake word to an appropriate device for identification |
GB2581785B (en) * | 2019-02-22 | 2023-08-02 | Sony Interactive Entertainment Inc | Transfer function dataset generation system and method |
US11221820B2 (en) | 2019-03-20 | 2022-01-11 | Creative Technology Ltd | System and method for processing audio between multiple audio spaces |
US11120794B2 (en) | 2019-05-03 | 2021-09-14 | Sonos, Inc. | Voice assistant persistence across multiple network microphone devices |
US10586540B1 (en) | 2019-06-12 | 2020-03-10 | Sonos, Inc. | Network microphone device with command keyword conditioning |
US11200894B2 (en) | 2019-06-12 | 2021-12-14 | Sonos, Inc. | Network microphone device with command keyword eventing |
US11361756B2 (en) | 2019-06-12 | 2022-06-14 | Sonos, Inc. | Conditional wake word eventing based on environment |
US11216480B2 (en) | 2019-06-14 | 2022-01-04 | Nuance Communications, Inc. | System and method for querying data points from graph data structures |
US11043207B2 (en) | 2019-06-14 | 2021-06-22 | Nuance Communications, Inc. | System and method for array data simulation and customized acoustic modeling for ambient ASR |
US11227679B2 (en) | 2019-06-14 | 2022-01-18 | Nuance Communications, Inc. | Ambient clinical intelligence system and method |
US11531807B2 (en) | 2019-06-28 | 2022-12-20 | Nuance Communications, Inc. | System and method for customized text macros |
US11138969B2 (en) | 2019-07-31 | 2021-10-05 | Sonos, Inc. | Locally distributed keyword detection |
US11138975B2 (en) | 2019-07-31 | 2021-10-05 | Sonos, Inc. | Locally distributed keyword detection |
US10871943B1 (en) | 2019-07-31 | 2020-12-22 | Sonos, Inc. | Noise classification for event detection |
US11670408B2 (en) | 2019-09-30 | 2023-06-06 | Nuance Communications, Inc. | System and method for review of automated clinical documentation |
US11189286B2 (en) | 2019-10-22 | 2021-11-30 | Sonos, Inc. | VAS toggle based on device orientation |
AU2020378215A1 (en) * | 2019-11-04 | 2022-05-26 | Ear Tech Llc | Hearing aid for people having asymmetric hearing loss |
US11200900B2 (en) | 2019-12-20 | 2021-12-14 | Sonos, Inc. | Offline voice control |
US11562740B2 (en) | 2020-01-07 | 2023-01-24 | Sonos, Inc. | Voice verification for media playback |
US11556307B2 (en) | 2020-01-31 | 2023-01-17 | Sonos, Inc. | Local voice data processing |
US11308958B2 (en) | 2020-02-07 | 2022-04-19 | Sonos, Inc. | Localized wakeword verification |
CN113518298B (zh) * | 2020-04-09 | 2022-06-07 | 圣布拉斯特有限公司 | 音频校正系统 |
US11308962B2 (en) | 2020-05-20 | 2022-04-19 | Sonos, Inc. | Input detection windowing |
US11482224B2 (en) | 2020-05-20 | 2022-10-25 | Sonos, Inc. | Command keywords with input detection windowing |
US11727919B2 (en) | 2020-05-20 | 2023-08-15 | Sonos, Inc. | Memory allocation for keyword spotting engines |
US11698771B2 (en) | 2020-08-25 | 2023-07-11 | Sonos, Inc. | Vocal guidance engines for playback devices |
US11222103B1 (en) | 2020-10-29 | 2022-01-11 | Nuance Communications, Inc. | Ambient cooperative intelligence system and method |
US11984123B2 (en) | 2020-11-12 | 2024-05-14 | Sonos, Inc. | Network device interaction by range |
US11551700B2 (en) | 2021-01-25 | 2023-01-10 | Sonos, Inc. | Systems and methods for power-efficient keyword detection |
CN113556660B (zh) * | 2021-08-01 | 2022-07-19 | 武汉左点科技有限公司 | 一种基于虚拟环绕立体声技术的助听方法及装置 |
US11792581B2 (en) * | 2021-08-03 | 2023-10-17 | Sony Interactive Entertainment Inc. | Using Bluetooth / wireless hearing aids for personalized HRTF creation |
EP4138418A1 (en) | 2021-08-20 | 2023-02-22 | Oticon A/s | A hearing system comprising a database of acoustic transfer functions |
US12003045B2 (en) | 2021-10-20 | 2024-06-04 | Samsung Electronics Co., Ltd. | Wireless interconnect for high rate data transfer |
WO2024067994A1 (de) * | 2022-09-30 | 2024-04-04 | Mic Audio Solutions Gmbh | System und verfahren zum verarbeiten von mikrofonsignalen |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040218771A1 (en) * | 2003-04-22 | 2004-11-04 | Siemens Audiologische Technik Gmbh | Method for production of an approximated partial transfer function |
JP2006287878A (ja) * | 2005-04-05 | 2006-10-19 | Matsushita Electric Ind Co Ltd | 携帯電話端末 |
CN102939771A (zh) * | 2010-04-12 | 2013-02-20 | 阿嘉米斯 | 用于依照形态参数在数据库中选择感知最优的hrtf滤波器的方法 |
CN102984637A (zh) * | 2011-08-23 | 2013-03-20 | 奥迪康有限公司 | 使好耳效应最大化的方法、听音装置和听音系统 |
CN102984638A (zh) * | 2011-08-23 | 2013-03-20 | 奥迪康有限公司 | 使好耳效应最大化的方法和双耳听音系统 |
CN103118321A (zh) * | 2011-10-17 | 2013-05-22 | 奥迪康有限公司 | 适于实时通信从而在音频流中提供空间信息的听音系统 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001160770A (ja) | 1999-12-02 | 2001-06-12 | Sony Corp | デジタルデータ伝送装置 |
US6940466B2 (en) | 2003-11-25 | 2005-09-06 | Starkey Laboratories, Inc. | Enhanced magnetic field communication system |
US7512383B2 (en) | 2003-11-26 | 2009-03-31 | Starkey Laboratories, Inc. | Transmit-receive switching in wireless hearing aids |
US7529565B2 (en) | 2004-04-08 | 2009-05-05 | Starkey Laboratories, Inc. | Wireless communication protocol |
ATE511321T1 (de) * | 2005-03-01 | 2011-06-15 | Oticon As | System und verfahren zur bestimmung der direktionalität von schall mit einem hörgerät |
DK1777644T3 (da) | 2005-10-20 | 2009-03-23 | Oticon As | System og fremgangsmåde til at drive en antenne |
DE102006018634B4 (de) * | 2006-04-21 | 2017-12-07 | Sivantos Gmbh | Hörgerät mit Quellentrennung und entsprechendes Verfahren |
KR101431253B1 (ko) | 2007-06-26 | 2014-08-21 | 코닌클리케 필립스 엔.브이. | 바이노럴 오브젝트―지향 오디오 디코더 |
US8503704B2 (en) | 2009-04-07 | 2013-08-06 | Cochlear Limited | Localisation in a bilateral hearing device system |
EP2367294B1 (en) | 2010-03-10 | 2015-11-11 | Oticon A/S | Wireless communication system with a modulation bandwidth exceeding the bandwidth of the transmitter and/or receiver antennas |
-
2013
- 2013-11-05 EP EP13191567.0A patent/EP2869599B1/en active Active
- 2013-11-05 DK DK13191567.0T patent/DK2869599T3/da active
- 2013-11-05 EP EP20201470.0A patent/EP3796678A1/en active Pending
-
2014
- 2014-11-03 US US14/531,415 patent/US9414171B2/en active Active
- 2014-11-05 CN CN201410637601.3A patent/CN104618843B/zh active Active
-
2016
- 2016-07-07 US US15/204,709 patent/US9565502B2/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040218771A1 (en) * | 2003-04-22 | 2004-11-04 | Siemens Audiologische Technik Gmbh | Method for production of an approximated partial transfer function |
JP2006287878A (ja) * | 2005-04-05 | 2006-10-19 | Matsushita Electric Ind Co Ltd | 携帯電話端末 |
CN102939771A (zh) * | 2010-04-12 | 2013-02-20 | 阿嘉米斯 | 用于依照形态参数在数据库中选择感知最优的hrtf滤波器的方法 |
CN102984637A (zh) * | 2011-08-23 | 2013-03-20 | 奥迪康有限公司 | 使好耳效应最大化的方法、听音装置和听音系统 |
CN102984638A (zh) * | 2011-08-23 | 2013-03-20 | 奥迪康有限公司 | 使好耳效应最大化的方法和双耳听音系统 |
CN103118321A (zh) * | 2011-10-17 | 2013-05-22 | 奥迪康有限公司 | 适于实时通信从而在音频流中提供空间信息的听音系统 |
Cited By (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106658319B (zh) * | 2015-06-22 | 2020-09-11 | 奥迪康医疗有限公司 | 用于产生刺激脉冲的方法及相应双侧耳蜗植入物 |
CN106658319A (zh) * | 2015-06-22 | 2017-05-10 | 奥登堡大学 | 双侧耳蜗植入系统的声音处理 |
CN105183421A (zh) * | 2015-08-11 | 2015-12-23 | 中山大学 | 一种虚拟现实三维音效的实现方法及系统 |
CN105183421B (zh) * | 2015-08-11 | 2018-09-28 | 中山大学 | 一种虚拟现实三维音效的实现方法及系统 |
CN108476369A (zh) * | 2015-09-07 | 2018-08-31 | 3D声音实验室 | 用于开发适用于个体的头部相关传递函数的方法和系统 |
CN107071674B (zh) * | 2015-10-12 | 2020-09-11 | 奥迪康有限公司 | 配置成定位声源的听力装置和听力系统 |
CN107071674A (zh) * | 2015-10-12 | 2017-08-18 | 奥迪康有限公司 | 配置成定位声源的听力装置和听力系统 |
CN108370485B (zh) * | 2015-12-07 | 2020-08-25 | 华为技术有限公司 | 音频信号处理装置和方法 |
US10492017B2 (en) | 2015-12-07 | 2019-11-26 | Huawei Technologies Co., Ltd. | Audio signal processing apparatus and method |
CN108370485A (zh) * | 2015-12-07 | 2018-08-03 | 华为技术有限公司 | 音频信号处理装置和方法 |
US20180324541A1 (en) | 2015-12-07 | 2018-11-08 | Huawei Technologies Co., Ltd. | Audio Signal Processing Apparatus and Method |
CN106911994A (zh) * | 2015-12-22 | 2017-06-30 | Gn 瑞声达 A/S | 听力设备 |
US10827286B2 (en) | 2015-12-22 | 2020-11-03 | Gn Hearing A/S | Hearing device with spatial cue information processing capability |
CN106911994B (zh) * | 2015-12-22 | 2021-07-09 | Gn 瑞声达 A/S | 听力设备 |
CN105959842A (zh) * | 2016-04-29 | 2016-09-21 | 歌尔股份有限公司 | 一种耳机降噪处理的方法、装置及耳机 |
CN105979441B (zh) * | 2016-05-17 | 2017-12-29 | 南京大学 | 一种用于3d音效耳机重放的个性化优化方法 |
CN105979441A (zh) * | 2016-05-17 | 2016-09-28 | 南京大学 | 一种用于3d音效耳机重放的个性化优化方法 |
US10798514B2 (en) | 2016-09-01 | 2020-10-06 | Universiteit Antwerpen | Method of determining a personalized head-related transfer function and interaural time difference function, and computer program product for performing same |
CN109691139B (zh) * | 2016-09-01 | 2020-12-18 | 安特卫普大学 | 确定个性化头部相关传递函数和耳间时间差函数的方法和设备 |
CN109691139A (zh) * | 2016-09-01 | 2019-04-26 | 安特卫普大学 | 确定个性化头部相关传递函数和耳间时间差函数的方法及用于执行该方法的计算机程序产品 |
CN110012384A (zh) * | 2018-01-04 | 2019-07-12 | 音科有限公司 | 一种便携式测量头相关变换函数(hrtf)参数的方法、系统和设备 |
CN113692750A (zh) * | 2019-04-09 | 2021-11-23 | 脸谱科技有限责任公司 | 使用声音场景分析和波束形成的声传递函数个性化 |
CN110267166A (zh) * | 2019-07-16 | 2019-09-20 | 上海艺瓣文化传播有限公司 | 一种基于双耳效应的虚拟声场实时交互系统 |
CN112218224A (zh) * | 2020-09-18 | 2021-01-12 | 海菲曼(天津)科技有限公司 | 一种基于头戴式扬声器系统的hrtf测量方法及其测量设备 |
Also Published As
Publication number | Publication date |
---|---|
US9414171B2 (en) | 2016-08-09 |
CN104618843B (zh) | 2019-04-09 |
US20160323678A1 (en) | 2016-11-03 |
EP2869599B1 (en) | 2020-10-21 |
EP2869599A1 (en) | 2015-05-06 |
US20150124975A1 (en) | 2015-05-07 |
DK2869599T3 (da) | 2020-12-14 |
US9565502B2 (en) | 2017-02-07 |
EP3796678A1 (en) | 2021-03-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104618843B (zh) | 包括头部相关传递函数数据库的双耳助听系统 | |
US10123134B2 (en) | Binaural hearing assistance system comprising binaural noise reduction | |
US10219083B2 (en) | Method of localizing a sound source, a hearing device, and a hearing system | |
CN107690119B (zh) | 配置成定位声源的双耳听力系统 | |
US10149069B2 (en) | Configurable hearing system | |
EP3013070B1 (en) | Hearing system | |
US9986346B2 (en) | Binaural hearing system and a hearing device comprising a beamformer unit | |
US10587962B2 (en) | Hearing aid comprising a directional microphone system | |
US10582314B2 (en) | Hearing device comprising a wireless receiver of sound | |
US20160066104A1 (en) | Binaural hearing system and method | |
US20220109939A1 (en) | Hearing device comprising an own voice processor | |
CN108769884A (zh) | 双耳电平和/或增益估计器及包括双耳电平和/或增益估计器的听力系统 | |
US10085099B2 (en) | Hearing aid system, a hearing aid device and a method of operating a hearing aid system | |
US11991499B2 (en) | Hearing aid system comprising a database of acoustic transfer functions |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |