CN105981409B - 会话辅助系统 - Google Patents

会话辅助系统 Download PDF

Info

Publication number
CN105981409B
CN105981409B CN201580007892.0A CN201580007892A CN105981409B CN 105981409 B CN105981409 B CN 105981409B CN 201580007892 A CN201580007892 A CN 201580007892A CN 105981409 B CN105981409 B CN 105981409B
Authority
CN
China
Prior art keywords
array
microphone
auxiliary system
session
head
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201580007892.0A
Other languages
English (en)
Other versions
CN105981409A (zh
Inventor
J·D·艾希费尔德
W·M·拉比诺维茨
W·贝拉迪
J·特罗特尔
M·谢伊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bose Corp
Original Assignee
Bose Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bose Corp filed Critical Bose Corp
Publication of CN105981409A publication Critical patent/CN105981409A/zh
Application granted granted Critical
Publication of CN105981409B publication Critical patent/CN105981409B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00Stereophonic arrangements
    • H04R5/027Spatial or constructional arrangements of microphones, e.g. in dummy heads
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/40Arrangements for obtaining a desired directivity characteristic
    • H04R25/407Circuits for combining signals of a plurality of transducers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2201/00Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
    • H04R2201/40Details of arrangements for obtaining desired directional characteristic by combining a number of identical transducers covered by H04R1/40 but not provided for in any of its subgroups
    • H04R2201/403Linear arrays of transducers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00Signal processing covered by H04R, not provided for in its groups
    • H04R2430/20Processing of the output signals of the acoustic transducers of an array for obtaining a desired directivity characteristic
    • H04R2430/25Array processing for suppression of unwanted side-lobes in directivity characteristics, e.g. a blocking matrix
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/40Arrangements for obtaining a desired directivity characteristic
    • H04R25/405Arrangements for obtaining a desired directivity characteristic by combining a plurality of transducers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/55Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception using an external connection, either wireless or wired
    • H04R25/552Binaural

Abstract

一种会话辅助系统(16),具有麦克风的双向阵列(20‑23),被布置在不包括任何阵列麦克风的空间的外部,其中该空间具有左侧、右侧、前面和后面,该阵列(20‑23)包括多个麦克风的左侧子阵列(20、21)和多个麦克风的右侧子阵列(22、23),其中每个麦克风(20‑23)具有麦克风输出信号,以及从麦克风输出信号创建左耳音频信号和右耳音频信号的处理器(110)。左耳音频信号基于来自左侧子阵列(20、21)的一个或多个麦克风和右侧子阵列(22、23)的一个或多个麦克风的麦克风输出信号而被创建,并且右耳音频信号基于来自左侧子阵列(20、21)的一个或多个麦克风和右侧子阵列(22、23)的一个或多个麦克风的麦克风输出信号而被创建。

Description

会话辅助系统
技术领域
本公开的实施例涉及一种会话辅助系统。
背景技术
会话辅助设备旨在使得会话更明了及易于理解。这些设备旨在减小不想要的背景噪声和混响。实现该目标的一个路径关注利用头戴式麦克风阵列的线性的、时不变波束赋形。线性波束赋形向会话辅助的应用通常并不新颖。例如,利用指向性麦克风阵列改进言语清晰度是已知的。
针对在漫射噪声存在的情况下瞄准讲话者的指向性麦克风阵列,阵列指向性的增大产生讲话者与噪声比率(TNR)的增大。该TNR的增大可导致对于收听阵列输出的用户的言语清晰度的增大。不计入某些后面讨论的复杂性,增大阵列指向性增大了言语清晰度增益。
考虑图1中的四个麦克风阵列10位于用户的头上。在现有技术的波束赋形方法中,阵列被设计为假设个体麦克风元件位于自由场中。针对左耳的阵列通过波束赋形两个左麦克风20和21而被创建。右耳阵列通过波束赋形两个右麦克风22和23而被创建。针对这样的简单、两个元件的阵列的良好建立的自由场的波束赋形技术例如可以产生超心自由场接收形态。超心在上下文中是常见的,因为在自由场中它们在漫射噪声存在的情况下产生针对轴上的讲话者的两元件阵列的优化TNR改进。由于头对由组成阵列的麦克风元件所接收到的声音上的声学效果,当被置于头上时,诸如阵列10之类的阵列在被设计用于自由场表现时可以不满足表现判断标准。此外,诸如阵列10之类的阵列可以不提供显著改进言语清晰度的充分高的指向性。
特别是那些具有高指向性的头戴阵列可以是大的且突出的。头戴阵列的可替代方式是离头麦克风阵列,其普遍被置于收听者之前的桌子上或在收听者的躯体上,在之后指向性信号被传输到通常采用助听信号处理的入耳设备。尽管这些设备较不突出,它们缺少多个重要的特性。首先,这些设备通常是单声道的,向两耳传输相同的信号。这些信号缺乏双耳收听的自然空间线索和关联清晰度的优点。第二,这些设备可能不提供显著改进言语清晰度的充分高的指向性。第三,这些设备并不随用户的头部旋转,因此并不向用户的视觉焦点集中声音接收。此外,阵列设计可能不考虑麦克风被安装到的结构的声学效果。
白噪声增益(WNG)描述了非相关噪声由阵列处理的放大并且在现有技术中被很好地定义。WNG基本上是总阵列滤波器能量与针对轴上源的通过阵列接收到的声压的比率。例如,该量描述了由于相消干扰的阵列损耗将如何增大系统噪声底。简单的超心阵列是有损阵列,其在针对平的轴上响应被均衡时可产生太多自噪声。未考虑到特定阵列设计的WNG可导致过量自噪声的系统。
发明内容
以下提及的所有示例和特征可以以任何技术上可行的方式进行结合。
在一个方面,一种会话辅助系统包括双向的麦克风阵列,其被布置在不包括任何阵列麦克风的空间的外部,其中该空间具有左侧、右侧、前面和背面,该阵列包括多个麦克风的左侧子阵列和多个麦克风的右侧子阵列,其中每个麦克风具有麦克风输出信号。存在处理器,从该麦克风输出信号创建左耳音频信号和右耳音频信号。左耳音频信号基于来自左侧子阵列的一个或多个麦克风和右侧子阵列的一个或多个麦克风的麦克风输出信号而被创建,并且右耳音频信号基于来自左侧子阵列的一个或多个麦克风和右侧子阵列的一个或多个麦克风的麦克风输出信号而被创建。
该系统的示例可以包括以下特征中的一个,或者其任意组合。处理器可以包括用于在音频信号的创建中涉及的每个麦克风的输出信号的滤波器。这些滤波器可以使用至少一个极坐标规格而被创建,该至少一个极坐标规格包括作为频率的函数的左侧子阵列和右侧子阵列中的一者或两者的理想化输出信号的幅度和相位。可以针对每个子阵列存在单独的极坐标规格。处理器可以基于来自左侧子阵列的所有麦克风和右侧子阵列的所有麦克风的麦克风输出信号而创建左耳音频信号和右耳音频信号两者。处理器可以基于来自左侧子阵列的所有麦克风和右侧子阵列的所有麦克风的、但只是在预定频率之下的麦克风输出信号而创建左耳音频信号和右耳音频信号两者。极坐标规格可以包括在零度方位角处的角度范围上的水平角度。
在一个非限制示例中,极坐标规格基于双耳假人的每个耳朵的极坐标的头部相关的传递函数。在另一个非限制示例中,极坐标规格基于人的头部的每个耳朵的极坐标的头部相关的传递函数。在另一个非限制示例中,极坐标规格基于模型。
该系统的示例可以包括以下特征中的一个,或者其任意组合。处理器可以基于来自左侧子阵列中的一个或多个麦克风和右侧子阵列中的一个或多个麦克风的、但只是在预定频率之下的麦克风输出信号而创建左耳音频信号和右耳音频信号两者。在预定频率之上,处理器可以仅基于来自左侧子阵列的麦克风的麦克风输出信号而创建左耳音频信号,并且可以仅基于来自右侧子阵列的麦克风的麦克风输出信号而创建右耳音频信号。
左侧子阵列可以被布置为接近于用户的头部的左侧而被穿戴,并且右侧子阵列可以被布置为接近于用户的头部的右侧而被穿戴。左侧子阵列麦克风可以沿着空间的左侧被间隔开,并且右侧子阵列麦克风可以沿着空间的右侧被间隔开。麦克风的阵列可以进一步包括沿着空间的前面或者后面定位的至少一个麦克风。在特定的非限制示例中,麦克风的阵列包括至少七个麦克风,其中至少三个沿着空间的左侧被间隔开,至少三个沿着空间的右侧被间隔开,并且至少一个在空间的前面或者后面处。
该系统的示例可以包括以下特征中的一个,或者其任意组合。处理器可以被配置为衰减从相对于阵列的主接收方向的预定通过角之外抵达麦克风阵列的声音。预定通过角相对于主接收方向可以从大约+/-15度至大约+/-45度。会话辅助系统可以进一步包括改变预定通过角的功能。在一个情况下,预定通过角可以基于用户的移动而被改变。在一个情况下,预定通过角可以基于追踪用户的头部的移动而被改变。
该系统的示例可以包括以下特征中的一个,或者其任意组合。处理器可以被配置为处理麦克风信号以创建在左耳音频信号与右耳音频信号之间的特定极坐标的耳间声级差(ILD)。处理器可以被配置为处理麦克风信号以创建在左耳音频信号与右耳音频信号之间的特定极坐标的耳间相位差(IPD)。处理器可以被配置为处理麦克风信号以创建在左耳音频信号和右耳音频信号中的特定极坐标的ILD和特定极坐标的IPD,使声音源如同处于与声音源到阵列的实际角度不同的角度。处理器可以被配置为处理麦克风信号以创建左耳音频信号和右耳音频信号,使声音源如同处于与声音源到阵列的实际角度不同的角度。
该系统的示例可以包括以下特征中的一个,或者其任意组合。麦克风阵列可以具有确立阵列的主接收方向的指向性,并且会话辅助系统可以进一步包括改变阵列指向性的功能。会话辅助系统可以进一步包括用户可操作输入设备,其被适配为被操纵以便于致使在阵列指向性中的变化。用户可操作的输出设备可以包括便携计算设备的显示器。阵列指向性可以自动被改变。阵列指向性可以基于用户的移动而被改变。阵列指向性可以基于通过由阵列接收到的能量确定的声源的可能位置而被改变。阵列可以具有多个指向性。会话辅助系统可以包括具有对应于针对每个阵列指向性的定向角度的ILD和IPD的双耳阵列。
该系统的示例可以包括以下特征中的一个,或者其任意组合。左侧子阵列可以被耦合到适配为保持蜂窝电话的蜂窝电话外壳的左侧。子阵列的右侧可以被耦合到蜂窝电话外壳的右侧。该阵列可以被限制为具有最大白噪声增益(WNG)。最大WNG可以基于环境噪声与阵列引致的噪声的比率而被确定。
该系统的示例可以包括以下特征中的一个,或者其任意组合。在一个角度处的声源可以由具有对应于不同角度的IPD和ILD的双耳波束赋形器而被重现。IPD和ILD可以被处理以匹配与实际由阵列接收到的能量的角度不同的感知角度。感知角度可以大于或小于能量实际被接收到的角度。
该系统的示例可以包括以下特征中的一个,或者其任意组合。该系统可以与有源降噪(ANR)电声换能器(例如,ANR耳机或耳塞)一起使用。该阵列可以具有指向性指数(DI),并且由电声换能器实现的降噪的量可以等于或大于阵列的DI。系统处理的至少一些处理可以由诸如蜂窝电话、智能电话或平板电脑之类的便携计算设备的处理器而实现。会话辅助系统可以包括至少两个均具有处理器的单独的物理设备,其中该设备经由有线通信或无线通信而与彼此通信。一个设备可以包括头戴设备。一个设备可以被适配为执行助听类信号处理。这些设备可以无线通信。
该系统的示例可以包括以下特征中的一个,或者其任意组合。阵列的显见空间宽度可以通过非线性时变信号处理而被增大。处理器可以被配置为处理麦克风信号以创建在左耳音频信号和右耳音频信号中的特定极坐标的ILD和特定极坐标的IPD,从而将期望的讲话者的物理定向更好地匹配至系统的用户。
在另一方面,一种会话辅助系统包括双向的麦克风阵列,被布置在不包括任何阵列麦克风的空间的外部,其中该空间具有左侧、右侧、前面和后面,该阵列包括多个麦克风的左侧子阵列和多个麦克风的右侧子阵列,其中每个麦克风具有麦克风输出信号,以及从麦克风输出信号创建左耳音频信号和右耳音频信号的处理器。左耳音频信号基于来自左侧子阵列的一个或多个麦克风和右侧子阵列的一个或多个麦克风的、但只是在预定频率之下的麦克风输出信号而被创建,并且右耳音频信号基于来自左侧子阵列的一个或多个麦克风和右侧子阵列的一个或多个麦克风的、但只是在预定频率之下的麦克风输出信号而被创建。在预定频率之上,处理器仅基于来自左侧子阵列的麦克风的麦克风输出信号而创建左耳音频信号,并且仅基于来自右侧子阵列的麦克风的麦克风输出信号而创建右耳音频信号。处理器被配置为处理麦克风信号以创建在左耳音频信号与右耳音频信号之间的特定极坐标的耳间声级差(ILD)和特定极坐标的耳间相位差(IPD)。
在另一方面,会话辅助系统包括双向的麦克风阵列,被耦合到便携设备并且被布置在便携设备上,该阵列包括多个麦克风的左侧子阵列和多个麦克风的右侧子阵列,其中麦克风阵列具有确立阵列的主接收方向的指向性,并且其中每个麦克风具有麦克风输出信号,以及从麦克风输出信号创建左耳音频信号和右耳音频信号的处理器。该左耳音频信号基于来自左侧子阵列中的一个或多个麦克风和右侧子阵列中的一个或多个麦克风的、但只是在预定频率之下的麦克风输出信号而被创建。该右耳音频信号基于来自左侧子阵列中的一个或多个麦克风和右侧子阵列中的一个或多个麦克风的、但只是在预定频率之下的麦克风输出信号而被创建。在预定频率之上,处理器仅基于来自左侧子阵列的麦克风的麦克风输出信号而创建左耳音频信号,并且仅基于来自右侧子阵列的麦克风的麦克风输出信号而创建右耳音频信号。处理器被配置为处理麦克风信号以创建在左耳音频信号与右耳音频信号之间的特定极坐标的耳间声级差(ILD)和特定极坐标的耳间相位差(IPD)。存在用户可操作输入设备,其被适配为被操纵以便于致使在所述阵列指向性中的变化。
附图说明
图1示意性地图示了用于会话辅助系统的示例性左和右两元件阵列布局,其中麦克风(由实点所示)被定位在接近于耳朵并且被间隔开大约17.4mm。
图2A和图2B相应地图示了具有和不具有15dB的最大WNG约束的图1的左耳两元件(即,一侧的)阵列的大约超心型头上极坐标响应。本文的极坐标图(包括图2的那些)标绘了dB对角度,其中标绘的频率在键中给出。
图3图示了使用图1的阵列的所有四个麦克风(即,两侧的)的阵列的左耳的头上极坐标响应。
图4图示了针对图1的阵列的一侧阵列和两侧阵列的头上3D指向性指数(DI)(频率对DI(以dB))。每个曲线表示相应的左耳和右耳阵列的平均DI。
图5是针对使用两侧的四元件阵列的系统的简化示意框的信号处理示图。
图6图示了针对七元件阵列的非限制麦克风布置。
图7图示了使用图6的阵列的所有七个麦克风的两侧阵列的左耳的头上极坐标响应。
图8图示了图1和图6的阵列的头上三维DI,其中每个曲线表示相应的左耳和右耳阵列的平均DI。
图9是针对使用两侧的七元件阵列的会话辅助系统的简化示意框的信号处理示图。
图10A和图10B图示了针对七元件的两侧阵列的示例性阵列滤波器;左耳和右耳阵列滤波器相应地在图10A和图10B中分开地示出。注:麦克风1=左前麦克风;麦克风2=左中麦克风;麦克风3=左后麦克风;麦克风4=右后麦克风;麦克风5=右中麦克风;麦克风6=右前麦克风;麦克风7=头后麦克风。
图11图示了使用图6的阵列的所有七个麦克风并且使用图10的滤波器的两侧阵列的左耳的头上极坐标响应。
图12图示了针对四元件和七元件阵列的头上三维DI。该七元件阵列使用图10的滤波器。每个曲线表示相应的左耳和右耳阵列的平均DI。
图13A图示了在五个不同方位角处的七元件的两侧阵列的耳间声级差(ILD),并且图13B图示了耳间相位差(IPD)。非辅助双耳假人的参考(目标)ILD和IPD也被示出。
图14是可以在会话辅助系统中被使用的阵列的示例。
图15图示了具有任意通过角宽度的理想的单耳会话辅助阵列的极坐标接收图。
图16图示了双耳假人的极坐标ILD。
图17A至D图示了以幅度(17A和17C)和相位(17B和17D)两者的示例性左耳(17A和17B)和右耳(17C和17D)阵列规格。
图18A和图18B图示了使用图17的规格的七元件的双耳阵列的左耳和右耳极坐标响应。
图19A至19C图示了在三个频率(相应地,500、1000和4000Hz)处的七元件的、两侧阵列的极坐标ILD。非辅助双耳假人的参考ILD也被示出。
图19D至19F图示了在相同的三个频率处的七元件的两侧阵列的极坐标IPD。非辅助双耳假人的参考IPD也被示出。
图20A和图20B示出了针对七元件双耳阵列的、在五个方位角处的、在目标与实际阵列之间的ILD和IPD双耳误差。
图21A和图21B示出了相同误差但没有双耳波束赋形。
图22图示了具有窄的(+/-15度)目标规格的两侧带限制的七元件阵列的左耳极坐标响应。
图23A至23C图示了在三个频率(相应地,500、1000和4000Hz)处的具有窄的(+/-15度)目标规格的七元件阵列的极坐标ILD。
图23D至23F图示了在相同的三个频率处的具有窄的(+/-15度)目标规格的七元件阵列的极坐标IPD。
图24A图示了在五个方位角处的具有窄的(+/-15度)目标规格的七元件阵列的ILD误差。
图24B图示了在五个方位角处的具有窄的(+/-15度)目标规格的七元件阵列的IPD误差。
图25图示了出于比较的目的具有不同传输角的、具有非双耳阵列的多个七元件阵列的3D头上指向性指数的比较。针对三个双耳阵列,每个曲线表示相应的左耳和右耳阵列的平均DI。
图26A和图26B示出了图17A和图17C在翘曲规格三倍之后相应的左耳和右耳幅度规格。
图27是包括四元件阵列的会话辅助系统的简化示意框图。
图28是可以在会话辅助系统中被使用的阵列的示例。
图29是可以在会话辅助系统中被使用的阵列的示例。
图30图示了具有安装到眼镜的元件的会话辅助系统。
图31图示了具有在头部的侧面上的、由耳塞承载的元件的会话辅助系统。
图32是包括两个或更多单独的、网络化设备的会话辅助系统的简化示意框图。
具体实施方式
波束赋形的一个类别在本领域中已知称为超指向性。超指向性波束赋形器具有入射声音的小于波长λ的一半的麦克风间间隔d(d<λ/2),其利用在经滤波的麦克风信号之间的相消干涉而获得高阵列指向性。出于两个互补的原因,针对会话辅助的阵列可以利用在大多数阵列带宽中的超指向性波束赋形。首先,由于人类头部的大小,头戴阵列的麦克风间间隔相对于在言语带中较低频率的声音的入射波长较小。其次,高阵列指向性是需要的以便于实质地减小背景噪声和混响、增大TNR、并且改进清晰度且在嘈杂环境中易于理解。
来自超指向性波束赋形的高阵列指向性以阵列内的相消干涉为代价而发生。该相消干涉不仅减小来自不想要的角度,也减小来自期望角度的所接收到的信号的大小。期望的(或轴上的)信号大小的减小例如可以通过均衡阵列输出或归一化阵列滤波器至轴上的单位增益而被校正。针对不约束的超指向性阵列,产生的均衡滤波器或归一化阵列滤波器大小可以攀爬而没有界限。在实际中,由于跨阵列中的麦克风不相关的噪声的过量放大以及麦克风灵敏度漂移,这种高增益导致阵列不稳定。不相关的噪声源的示例包括麦克风自噪声、附着到每个麦克风的电子装置的噪声底、风噪、以及来自与阵列的机械作用的噪声。该噪声灵敏度也被称为白噪声增益(WNG),其由下列式给予:
Ψ=RRH/(RS0S0 HRH),
其中R是应用至L麦克风中的每个麦克风的复系数滤波器,S0是L麦克风中的每个麦克风的轴上声学响应的L×1向量,并且H是埃尔米特(Hermetian)或共轭转置运算符。每个系数均是频率的函数,然而出于简化的目的,频率在符号上被消除。WNG描述了相对于阵列的轴上增益的不相关的噪声的放大。例如,由于麦克风间灵敏度的小量漂移,具有过量的WNG的阵列可以导致在阵列输出上的可听噪声、风噪的过量放大、以及不良的指向性。
在一些示例中,可能理想的是将阵列的WNG限制或约束到预定值。实现使用阵列滤波器设计过程而限制WNG的阵列设计的方法在以下进行讨论。限制阵列WNG不仅减小过量WNG的有害效果,也在阵列本将具有超出指定WNG最大值的WNG的频率处减小阵列指向性。换言之,WNG和阵列指向性呈现设计上的取舍。图2示出了具有(图2A中)或不具有(图2B中)大约15dB的WNG限制的大约超心(在自由场中)阵列的头上响应(标绘的dB对角度)。所标绘的这些频率和其他极坐标图在键中被阐述。图2A的WNG限制阵列具有较低指向性,然而,该阵列将不放大不相关噪声至非约束阵列的程度。
阵列指向性表现(performance)的无偏见比较应当考虑到指向性和WNG取舍。在以下段落中,每个阵列将被限制为15dB的最大WNG。该约束基于来自助听应用中典型的麦克风和电子装置的自噪声的清晰度。该约束是示例性的并且不限制本公开的范围。在图2A中WNG约束的阵列因而代表简易的、两元件阵列中典型的头上的、指向性表现基准。
WNG限制可以基于电气自噪声以外的其他考虑而被选择。在例如风存在的情况下使用的阵列可以要求较低的最大WNG约束从而将灵敏度限制到由吹过阵列中的麦克风的扰流空气激发的噪声。在该情况下,小于5至10dB的、或小于15dB的一些量的WNG限制可能是理想的。诸如响环境噪声之类的其他考虑可以允许更高的WNG约束。如果环境噪声的频谱与由WNG造成的噪声频谱显著地重叠,并且如果环境噪声级比由WNG导致的噪声级显著更高,环境噪声将遮掩WNG相关的噪声。在该情况下,更高的最大WNG约束可以被用来增大阵列指向性而不导致在阵列输出上的可听噪声。环境噪声与阵列引致的(WNG)噪声的比率可以被用来找到针对WNG约束的合理值。
在以下段落中,除非另有说明,阵列方向表现的所有比较将是基于头上数据的。以该方式,包括了头部的相关的、潜在有害的声学效果。
为了更清楚地显示针对阵列设计使用头上数据的益处,当适用时,使用头上数据设计的阵列滤波器和使用自由场(离头)数据设计的阵列滤波器在一些情况下彼此比对。在以下段落中,阵列滤波器的设计条件将被提及。
麦克风阵列的输出必须通过电声换能而被回放至用户。针对会话增强系统,回放系统可以包括耳机。耳机可以是罩耳的或者在耳朵上的。耳机还可以在耳朵中。其他声音再现设备可以具有抵着耳道的开口放置的耳塞的形式。其他设备可以密封到耳道,或者可以被插入到耳道中。一些设备可以更准确地描述为收听设备或助听器。在以下段落中,除非另有说明,假设使用降噪(例如,噪声隔离或有源降噪)耳机。非噪声消除耳机与会话辅助系统的应用也将在以下进行讨论。
两侧波束赋形
遍及两侧波束赋形所讨论的是,阵列滤波器已经使用自由场麦克风响应数据和阵列滤波器设计过程(将在以下进行讨论)而被设计。然而,指向性指数和极坐标图中所示的计算出的阵列表现示出了在设备被穿戴在头上时,头上表现更紧密地代表阵列表现。
在较早的示例中,单侧阵列的设计被描述。单侧阵列使用仅在头部的一侧上定位的两个或更多麦克风元件而被形成以生成身体同侧的阵列输出信号。
在头部的左侧和右侧上的麦克风的阵列的两侧波束赋形涉及利用在头部的两侧上的麦克风的至少一个麦克风(优选是所有麦克风)来创建左耳和右耳音频信号两者。该布置可以被称为“两侧阵列”。优选但不是必要的,该阵列在头部的每侧上包括至少两个麦克风。优选但不是必要的,该阵列在头部的前面和/或后面包括至少一个麦克风。可以在本公开中被采用的阵列的其他非限制性示例在以下示出及描述。通过增大可以被使用的元件的数目并且增大至少一些个体元件相对于其他元件的间隔(在头部的相反两侧上的元件将比在头部的相同侧上的元件相隔更远),两侧阵列可以提供与一侧阵列相比改进的表现。
在阵列中使用所有麦克风来针对每个耳朵创建音频信号可以在与阵列滤波器设计过程相连时实质地提高满足设计目标的能力,这将在以下讨论。一个可能的设计目标是用于增大的指向性。图3示出了两侧阵列的头上极坐标响应。图4示出了针对一侧和两侧阵列(图1,两者均适用阵列10)的头上、3D指向性指数(DI)。其中所有的四个麦克风均被用来创建左耳和右耳音频信号两者的两侧方法产生指向性指数(DI)的高至3dB的增大。图5是示出了针对这样的两侧阵列的滤波器的布置的简化框的信号处理示图16。该附图省略了一些细节,如A/D、D/A、放大器、诸如动态范围限幅器之类的非线性信号处理功能、用户接口控制以及对本领域技术人员显而易见的其他方面。应当注意的是,针对包括在图5中所示的信号处理(以及在附图中省略的信号处理,包括个体麦克风阵列滤波器、对个体阵列滤波器的输出求和的加法器、针对每个耳信号的均衡、诸如动态范围限幅器之类的非线性信号处理以及人工或自动的增益控制等)的会话增强设备的所有的信号处理可以通过单个微处理器、DSP、ASIC、FPGA、或模拟电路、或以上的任意多个或组合而被执行。阵列滤波器110的集合包括用于每个麦克风的滤波器,其针对左音频信号和右音频信号中的每个音频信号。左耳音频信号通过相加(使用加法器111)相应地由滤波器L1、L2、L3和L4滤波的所有的四个麦克风20-23的输出而被创建。右耳音频信号通过相加(使用加法器113)相应地由滤波器R1、R2、R3和R4滤波的所有的四个麦克风20-23的输出而被创建。阵列滤波器的开发在以下进行讨论。
如在之前提及的,均衡可能需要用来均衡阵列处理的轴上输出。该均衡可以作为每个个体麦克风阵列滤波器的部分而被完成,或者可以在加法器111和113之后被完成。附加地,在每个加法器的输出上或在两个加法器的组合上,动态范围或其他非线性信号处理可以被应用至每个个体麦克风信号。这种已知的处理细节可以通过本领域中已知的任何方式被完成并且不被本公开所限制。
如之前提及的,在实现的阵列指向性与阵列的WNG之间存在取舍。通过使用两侧阵列的以上描述的改进可以被用来改进指向性、改进WNG或可以在两个目标之间分开。通过使用两侧阵列,在指向性和WNG上的约束的组合可以被满足,而这将不可能用单侧阵列所满足。
两侧波束赋形可以被应用到任意数目的元件或麦克风的阵列。考虑一个如图6所示的示例性的、非限制的七元件阵列12,其中三个元件在头部的每侧上并且通常接近每个耳朵(麦克风20、24和21在头部的左侧上且接近左耳,麦克风22、25和23在头部的右侧上且接近右耳),还有一个元件26在头部之后。要注意的是,在头部的每侧上可以存在两个或更多元件,并且麦克风26可以不存在,或者其可以被定位在与左侧阵列和右侧阵列间隔开的其他位置,诸如在头部的前面或顶上,或在一副眼镜的梁上。这些元件一般可以不需要所有均置于相同的水平面。此外,麦克风可以被定位为竖直地一个在另一个之上。图7示出了由具有图6的七元件阵列的两侧波束赋形产生的头上极坐标图,其中所有的七个元件有助于创建左耳和右耳音频信号两者。图8比较不同阵列的指向性指数(现有技术的四元件单侧阵列,以及本公开的四元件和七元件两侧阵列,如以上讨论的);在每个频率处WNG是15dB(最大),如上所述。
要注意的是,在一侧四元件阵列的示例中,接近于左耳的两个左麦克风被波束赋形以创建左耳音频信号,并且接近于右耳的两个右麦克风被用来创建右耳音频信号。尽管由于存在总共四个麦克风,该阵列被称为四元件阵列,但仅在头部的一侧上的麦克风被波束赋形以创建针对相应侧的阵列。这与两侧波束赋形不同,其中在头部的两侧上的所有麦克风被一起波束赋形以创建左耳音频信号和右耳音频信号两者。
针对合并左侧元件和右侧元件的输出的阵列,在头部的左侧上的麦克风与在头部的右侧上的麦克风元件过于远地间隔开以用于大约1200Hz以上的理想的阵列表现。为了避免在更高频率处的极坐标不规则性(在文献中被称为“栅瓣(grating lobe)”),两侧阵列的一侧可以在大约1200Hz以上被有效地低通滤波。在一个非限制性示例中,在1200Hz的低通滤波器转角频率以下,头部的两侧均被波束赋形,而在1200Hz以上,针对每个耳朵,该阵列转换为单侧波束赋形器。为了保存空间线索(例如,耳间声级和相位(或等效地,时间)的差异),在1200Hz以上左耳阵列仅使用左侧麦克风。类似地,在1200Hz以上右耳阵列仅使用右侧麦克风。针对1200Hz以下的频率,每个耳信号由所有的阵列元件形成。带宽限制可以使用之后讨论的阵列滤波器设计过程而被实施,或者可以以其他方式被实施。图9(其以与图5的类似的方式被简化)示出了针对这样的两侧阵列的扩展信号处理示图28,该两侧阵列包括具有左滤波器和右滤波器的集合120的七个麦克风20-26;滤波器120以与图5中的滤波器相似的方式被使用。图10A和图10B示出了针对七元件的两侧阵列的阵列滤波器的示例集合(图10A中的左滤波器和图10B中的右滤波器)。注意,在图10A和图10B中,1200Hz低通在阵列滤波器本身内被有效地实施。可替代地,低通可以被实施为第二滤波器级。
图11示出了与图10的左耳滤波器相同的七元件阵列的在三个频率处的产生的极坐标表现(其包括如上描述的低通滤波)。在图11中所示的带限制的两侧阵列的表现可以与在图7中所示的没有带限制的两侧阵列的表现比对。在更高频率处(例如,如所示在大约4KHz处)的特性在图11的带限制两侧阵列中比在图7的非带限制两侧阵列中的更为受控和规则。
图12示出了针对包括一侧和两侧四元件阵列的所有的以上阵列的3D头上指向性指数。尽管更加规则的极坐标响应通过在更高频率处转换到单侧阵列而产生,指向性指数相应较低。在1200Hz以外的值可能是合适的,这取决于阵列的期望的指向性。对于较少的指向性阵列,较低的跨头(cross-head)的转角频率是理想的,诸如900Hz。对于更多的指向性阵列,较高的转角频率是理想的,诸如2kHz。
没有进一步修改,两侧阵列可产生在跨头的转角频率(例如1200Hz)以下的妥协的空间表现。特别是,耳间声级差(ILD)和耳间相位差(IPD)在对于每个阵列在头部的两侧上使用对称的麦克风的情况下特别地小。图13A和图13B示出了如在图6中的七元件的两侧阵列的ILD和IPD。双耳波束赋形(以下)可以被用来解决该问题并且提供如与更传统的方法相比附加的益处。
以上关于头部安装的麦克风阵列描述的概念可以被应用至与助听设备一起使用的麦克风阵列,在其中阵列并未布置在用户的头部上。未安装在头部上并且可以在本文描述的两侧波束赋形方法中使用的阵列的一个示例在图14中示出,其中麦克风由小圈指示。该示例包括在左侧和右侧的每侧上具有三个、在前侧和后侧上各具有一个的八个麦克风。“空间”没有麦克风,但不需要没有其他物体,实际上可以包括承载一个或多个麦克风和/或会话辅助系统的其他部件的物体;这在以下更详细地进行描述。若该麦克风被放置在桌上,后麦克风通常将面向用户,而前麦克风将最可能面向视觉向前的方向。
针对每个左耳信号和右耳信号使用所有麦克风可提供与在现有技术中的线阵列相比改进的表现。在主题会话辅助系统的两侧波束赋形方面,所有的或一些的麦克风可以被用于左耳信号和右耳信号中的每个,并且麦克风被使用的方式可以是取决于频率的。在图14的示例中(假设该空间大约是典型智能电话的大小(诸如大约15×7cm)),在阵列的左侧上的麦克风可以与右侧麦克风过远以用于大约4kHz以上的理想表现。换言之,当结合时,左侧麦克风和右侧麦克风将导致在该频率以上的空间假频。因而,左耳信号在该频率以上可以仅使用左侧麦克风、前麦克风和后麦克风,并且右耳信号在该频率以上可以仅使用右侧麦克风、前麦克风和后麦克风。最大期望的交叉频率是在左侧麦克风与右侧麦克风之间的距离、以及可以在左侧阵列与右侧阵列之间的任何物体的几何形状的函数。然而,可以选择较低的交叉频率,例如若期望更宽的极坐标接收图。因为蜂窝电话外壳比在典型的用户的耳朵之间的空间更窄,交叉频率比用于头部安装的设备的更高。然而,非头部穿戴设备并不限制它们的物理大小,并且可以具有比图14中的设备所示的更宽或更窄的麦克风间隔。
双耳波束赋形
在会话增强系统中的两侧波束赋形允许阵列的设计在比本将使用单侧阵列成为可能的更低的WNG处具有更高的指向性。然而,两侧阵列也可以在在头部的两侧上的阵列元件被用来形成个体耳信号的较低频率处不利地影响空间线索。该影响可以通过引入双耳波束赋形而被改善,其将在以下以更多细节进行描述。
出于多个原因,在会话辅助系统中诸如ILD和IPD之类的空间线索期望得以维持。首先,收听者感知他们的可听环境为空间上自然的程度取决于空间线索的特性。其次,在本领域中已知的是,双耳收听和其关联的空间线索增大言语清晰度。在会话辅助系统中创建有利的空间线索因而可以增强系统的感知到的空间自然度并且提供附加的清晰度增益。
考虑会话辅助系统的阵列的理想化极坐标响应,如在图15中所示。如果该麦克风阵列的输出被单耳地或对两个耳朵等同地回放,ILD和IPD线索即使对于相当离轴的声音源也是零。附加地,由收听者的头部的自然、时变的移动导致的运动线索例如将不导致耳间线索变化。在这些事例的两者中,耳间线索与自然收听的那些不同。由于这些差别,单耳会话辅助系统可以导致不自然的空间体验。一些收听者可描述该空间体验为“在头中”,意味着由收听者感知到的源距离是小的。离轴讲话者听起来仿佛他们一直在0度方位,其他收听者可以被此困扰。缺乏双耳线索还排除了双耳收听,其进一步劣化了语音清晰度。两侧阵列在头部的两侧上的麦克风对于两个耳朵均是活动的频率处呈现了相似的问题。这样的特性针对之前的示例性七元件阵列在图13A和图13B中在大约1200Hz的跨头的转角频率以下是明显的。
为了说明该问题,考虑图16中的双耳假人的极坐标ILD。该极坐标图是在右耳与左耳幅度之间的dB差。极坐标IPD(未示出)的相似的标绘可以基于在右耳相位与左耳相位之间的相位差被做出。ILD与IPD两者作为声音源角度的函数变化。然而,单耳极性ILD和IPD简单地是零度IPD和零dB ILD的圈,因为没有耳间线索根据声音源位置而变化。
双耳波束赋形是可以被应用来解决以上耳间问题的方法,而仍然保存两侧波束赋形的阵列的高指向性和TNR增益和较低WNG。为了实现此,双耳波束赋形处理阵列内的麦克风信号以创建如由用户听见的特定极坐标ILD和IPD,也衰减从超出特定通过角(例如+/-45度)到达的所有声音源。对于用户,利用双耳波束赋形的会话辅助设备可以提供两个重要的益处。首先,该设备可以通过在阵列的通过角内再现更真实的ILD和IPD而创建更自然和清晰的助听体验。第二,该设备可以显著地衰减在通过角以外抵达的声音。其他益处也是可能的并且将在以下进行讨论。
双耳波束赋形的阵列利用阵列滤波器设计过程,其包括在其中期望的阵列响应的幅度和相位两者均被特定的复杂赋值的极坐标规格。该规格可以描述每个耳朵或耳间关系。
在一个双耳波束赋形的非限制性示例中,双耳阵列极坐标规格包括针对每个耳朵的单独规格。这些规格是复杂赋值的并且基于极坐标头部相关的传递函数(HRTF)目标。在该示例中,该目标由双耳假人的每个耳朵的极坐标HRTF的所获得。用于获得目标的其他方法也在本文中构思,其中的一些在以下进行描述。在该示例中,在左耳与右耳阵列规格之间的相对差异匹配如图16中的双耳假人IPD和ILD。图17A至17D图示了以幅度和相位(在图17A和图17B中所示的左耳幅度和相位,以及在图17C和图17D中所示的右耳幅度和相位)两者的示例性左耳和右耳阵列规格。例如,考虑在30度水平角的规格(在0度方位)。在1kHz处左耳规格与右耳规格之间的差异在幅度上是7dB。这对应于在图16的30度处的-7dB的ILD响应。幅度规格(在图17A和图17C中)超出大约+/-60度被完全衰减(-无穷dB)。针对幅度规格被完全衰减处的角度,ILD和IPD两者有效地未定义,因为在每个耳朵处不存在能量。比图15的更宽的通过角出于图示方便而被使用,但特定通过角并不是本公开的限制。
在双耳波束赋形的其他应用中,双耳阵列极坐标规格可能不同。例如,该规格可能与由归一化HRTF定义的自然耳间关系不同。可替代地,规格可以基于对给定对象的头部、归一化的球体模型或多个头部的统计采样的个体化测量而被创建。其他这样的应用的示例在后续给出。
考虑到这些规格,针对做阵列麦克风输出和右阵列麦克风输出两者的阵列滤波器使用阵列滤波器设计过程被创建。图18A和图18B示出了针对图6的七元件阵列的针对左耳使用图17A和图17B的规格并且针对右耳使用图17C和图17D的规格产生的双耳阵列极坐标响应。
左耳阵列和右耳阵列通过耳机的回放创建相应由图19A至19C以及19D至19F所示的极坐标ILD和IPD。图20A和图20B示出了在目标与实际阵列表现之间相应的ILD和IPD误差。相对比的,图21A和图21B相应地示出了7元件带限制的两侧阵列而没有双耳波束赋形的ILD和IPD误差。由双耳波束赋形的应用导致的更像HRTF的耳间特性(例如,减小的双耳ILD和IPD误差)产生了阵列的更自然和愉悦的空间表现,以及改进的态势感知和清晰度。
针对极窄的通过角(即,在其中指向性指数接近最大物理可能的角度),双耳目标可以被缩窄到+/-15度。然而,非常尖的极坐标目标产生,其利用七元件阵列难以实现。因而,产生的ILD和IPD误差相对地高。图22示出了针对左耳阵列的产生的极坐标响应幅度。图23A至23C和图23D至23F相应地示出了由具有该较窄规格的七元件双耳阵列导致的极坐标ILD和IPD。图24A和图24B示出了相对于非辅助双耳假人相应的ILD和IPD误差。图25将针对多个两侧七元件阵列的头上DI与变化的通过角宽度(15、30和45度)进行比较,并且图示了在15度处的非双耳阵列的示例。尽管这样的窄通过角可能难以仅利用在阵列中的七个麦克风实现,在阵列中增大麦克风的数量将增大波束赋形的度并且导致阵列表现更紧密地匹配规格。
具有+/-15度通过角的头上七元件双耳阵列具有目前讨论的任何两侧、跨头的带限制的阵列的最高指向性。在两侧波束赋形段落中讨论的在最窄的七元件双耳阵列与非双耳阵列之间的DI差异是由于头上优化。双耳阵列滤波器基于头上极坐标数据被确定,并且包括头部的阴影和衍射效果,其导致阵列表现更紧密地满足极坐标规格。当采用假定自由场(即,离头)条件位于头上而设计的阵列滤波器的设备时,头部的声学效果导致系统从自由场表现偏离。这样的阵列已降低表现。假定自由场条件而设计的阵列可以在用在特定应用中时表现得显著不同,这些特定应用诸如头上阵列或被设计用来置于桌或台之类的表面上的阵列。
具有非常窄的通过角的双耳阵列可以导致接近单耳阵列的空间表现(包括“在头中”的空间印象)的空间表现。这是由于缺乏来自在非零方位角处的声源的阵列输出中的能量。如果这样的阵列在头上被使用,头部追踪(在以下描述)可以被用来拓宽接收形态。例如,如果用户经常转头看若干讲话者,接收形态可以被拓宽以便于提供更好的双耳线索和空间感知。如果阵列不是头部安装的,头部追踪可以被用来在用户的注视方向上指向主瓣(main lobe),如在以下描述的。即使窄的通过角也可以显著增大TNR和清晰度,接近单耳的空间呈现可劣化会话增强系统的感知到的自然度并且由总体会话辅助系统减损。来自非常窄的双耳阵列的空间线索输出的质量可以通过操纵ILD和IPD而被增强。
在其中ILD和IPD可以被操纵的一种方式是夸张空间线索超出由自然的HRTF描述的那些。例如,在5度处的声源可以通过利用对应于15度的IPD和ILD的双耳波束赋形再现,而针对在0度处的相同阵列声源可以利用对应于0度的IPD和ILD再现。耳间特性的夸张可以通过翘曲(warping)在双耳波束赋形中使用的复杂极坐标双耳规格而被实现。将被感知为具有第一角度程度的入射在收听者的位置的自然发生的能量以其被感知为在与第一角度程度不同的第二角度程度上传播的被接收、处理及渲染至收听者。第二角度程度可以比第一角度程度更大或更小。附加地,角度程度的中心被渲染以使得其被感知为在与没有处理的情况下将被感知的相同位置。附加地,偏移可以被应用,使得能量被感知为从相对于其感知到的到达方向移位一偏移角度的方向入射。
针对以上给出的特定非限定示例,复杂规格将沿着角度维度被翘曲三倍,使得在15度的翘曲的规格对应于在5度处的HRTF。尽管三倍被用于该示例中,不同于三的翘曲因数也被构思,并且这些示例并不在翘曲的程度上被限制。翘曲因数可以小于一或是大于一的任意数。图26A和图26B示出了图17A和图17C在翘曲规格三倍之后相应的左耳和右耳幅度规格。要注意的是,阵列的总主瓣宽度在规格(+/-60度)之间是相同的,然而,在规格中的值被翘曲。以此方式,来自窄双耳阵列的能量可以在更宽的感知范围的方位角上被传播至收听者而不通过阵列增大总能量。这随后维持非常窄的双耳阵列的清晰度益处,但创建了更愉悦的空间特性。增加的IPD和ILD线索还可以辅助清晰度,因为耳脑系统可以利用更丰富的、清晰度增强双耳线索。空间线索的许多其他操纵也是可能的,包括但不限于,线索的非线性翘曲以及使用翘曲超出由HRTF所描述的那些,诸如与时间-强度交易的既定概念相关联的那些。在时间-强度交易的情况下,例如,极坐标ILD和IPD目标可以使用既定交易规则而生成,这些既定交易规则导致与诸如图17A至17C的那些基于测量的规格不同的规格但仍对于收听者产生类似的空间印象。
在其中显见空间宽度可以被增大而不增大主瓣宽度的可替代方式是通过非线性、时变的信号处理。这种信号处理的一个非限制性示例如下。时域左耳信号和时域右耳信号在阵列处理之后被分散为块,其在一个非限制性示例中可以是128样本长的。那些块被转换到频域中,被操纵,转换回时域,并随后向用户再现。非限制示例性块处理方案如下。一旦在频域中,ILD和IPD在每个频率处基于相应地在左耳阵列和右耳阵列幅度和相位之间的差异而被生成。用来翘曲输入ILD和IPD的滤波器随后根据下列规则而被生成:WarpLevel=ILDin*(ILDwarpfactor-1);WarpPhase=IPDin*(IPDwarpfactor-1)。“warpfactor”在意图上等同于以上描述的翘曲因数。WarpLevel和WarpPhase表示频域翘曲滤波器的幅度和相位。滤波器是取决于频率的并且可能是非最小相位的。滤波器随后被应用到输入信号(在频域上相乘)以便于创建已经被IPDwarpfactor和ILDwarpfactor翘曲的输出ILD和IPD。为了保持系统的因果,翘曲滤波器应用到延迟的耳信号。例如,如果在任意频率处的输入ILD和IPD是3dB和15度,并且如果ILDwarpfactor和IPDwarpfactor两者均是2,那么在该频率处的翘曲滤波器响应在幅度上是3dB并且在相位上是15度。在应用滤波器之后(在频域上相乘),输出ILD和IPD是6dB和30度,其是输入ILD和IPD的两倍。如果ILD和IPD被定义为对于到收听者的左边的声音是正的,那么翘曲滤波器被应用至右耳以保持系统因果,因为右耳相对于左边被延迟以增大IPD。存在完成以上的其他方法,例如通过使用查找表以将输入ILD和IPD关系到输出ILD和IPD,而不是ILDwarpfactor和IPDwarpfactor。
在一些示例中,可能理想的是,允许阵列的指向性以一些方式被改变。随着在其中使用会话增强设备的环境的性质改变,在设备的操作中的一些改变(例如改变阵列指向性)可能是理想的。在一些示例中,用户控制的开关可以被提供以完成允许用户来手动地改变阵列指向性(例如,通过在各种预定阵列指向性之间切换)的功能性。在一些示例中,切换或改变阵列指向性可以被自动完成,例如作为一个或多个感应状况的函数。
实际中,具有极窄的固定(即,时不变的)通过角或主瓣宽度的会话辅助阵列可劣化会话体验。当使用这种阵列时,辅助的收听者必须基本上面向活动的讲话者,其可能繁重且使人疲劳。当多个人参与在会话中时,该问题变得复杂,因为辅助收听者必须一致向着活动的讲话者旋转他或她的头部。该所谓的“伸长脖子问题”可能对于收听者是非常沮丧的。附加地,辅助的收听者可能见不到基本上离轴的讲话者。没有该视觉线索,收听者可能不转向讲话者并且可能全都错失会话。为了解决该问题,通过角应当维持最小宽度。对于头戴阵列,实验建议大约+/-45度的通过角足以用于增大会话理解而不导致过度的“伸长脖子”。针对非头部安装的阵列,更宽的通过角可能是需要的,这取决于离轴讲话者相对于阵列位置的角度位置。大约+/-15度的通过角针对轴上的讲话者增大会话清晰度至更高的程度,但可能导致过度的“伸长脖子”。因而,在非限制示例中考虑的是,大约+/-15度可能是最小LTI通过角并且大约+/-45度可能是在清晰度增益还与减少伸长脖子之间合理的取舍。
会话是动态的,如它们发生的环境一样。在一个时刻周围环境可能是安静的,而数分钟后该位置可能变得嘈杂,例如吵闹的人流可用噪声填满房间。会话可以是一对一的或在多人之间的。在后一情景中,讲话者可在任何时刻插嘴,也许是从桌子的一端或另一端。
会话的动态性质为会话辅助设备呈现了多种情景。对于在非常嘈杂环境中的一对一会话,高指向性麦克风阵列是理想的,以便于改进清晰度及易于理解。在较不嘈杂的环境中,高指向性阵列可移除周围环境的过多环境声音,使得设备听起来不自然或过于突出。当多个讲话者被包含在围绕桌子的单个会话中时,高指向性阵列可导致用户错失来自离轴站立的那些用户的评论。
在一个示例中,会话辅助设备可以包括一些手段(即功能性)来完成时变、取决于情形的阵列处理。一个这样的手段包括允许用户手动地在不同接收模式之间切换。作为一个非限制示例,用户可被给予关于阵列指向性的简单的、一自由度的用户接口控制(例如,被旋转的钮或滑动器)。这样的“变焦”控制可使得用户自定义他们在会话期间的收听体验。该控制例如可允许用户在环境变得非常嘈杂和难以理解时增大阵列指向性,但随后当环境噪声级降低时减小指向性(因而返回更自然的空间线索和增大的态势感知)。该控制可被用来不仅改变通过角宽度也用来改变通过角的定向的角度。例如在汽车中的乘客期望主瓣向左90度指向驾驶者,允许会话被辅助而不需乘客看着驾驶者。改变主瓣方向和/或宽度例如可通过在针对期望方向的预定阵列滤波器的分立集合之间切换。该用户控制可在会话辅助系统的一个或多个元件中被实施。作为一个非限制性示例,如果智能电话被包含在系统中(例如,位于图14中所示的空间中或被栓到系统控制中),用户控制可以在蜂窝电话上被实施。当使用窄通过角时,这样的用户控制可以缓和之前描述的一些问题。
除了改变通过角宽度和定向的角度之外,用户可选择性地在不同的定向角度打开或关闭多个通过角。用户可以使用智能电话应用(或在如平板电脑之类的不同类型的便携计算设备上的应用)来完成这样的控制。例如,该控制可以呈现用户以它们位置以及在每30度处围绕他们的可能的声源的视觉图标。用户随后将轻击一个或多个声源图标以启用或禁用在该方向上定向的通过角。例如,以此方式,用户可轻击在0度和-90度的声源图标以听见在那些角度处的讲话者,同时衰减在所有其他角度的声源。每个可能的阵列定向角将包括具有对应于定向角度的ILD和IPD的双耳阵列。以此方式,来自给定角度的声源显现给用户将被定位在该给定角度。如果阵列是头戴的,头部追踪将被用来根据头部位置来改变定向角、ILD和IPD以保持显见讲话者位置在空间中固定而不是随头部位置改变。在离头阵列的情况下,头部追踪可被用来改变ILD和IPD以保持显见讲话者位置在空间中固定,同时定向角度将不移动,因为阵列并不随头部移动。
时变处理的另一形式涉及阵列的物理定向。在针对包括围绕智能电话外壳的周界定位的麦克风的阵列的一个非限制示例中,该阵列根据该设备是水平的(例如,平放在桌面上)还是垂直的(例如,在口袋中或随项链围绕脖子悬挂)而不同地表现。在该示例中,当水平定向时主瓣可沿桌子指向前,但随后当垂直定向时改变为垂直于智能电话屏幕的表面指向。以此方式,用户从指向性获益而不管设备的定向,因而将设备自由地放置在桌子上或口袋中或绕着脖子。在主瓣对准角度中的该变化可以通过切换到阵列滤波器的不同集合而被完成,其中阵列滤波器的两个集合可以使用本文描述的过程而被设计。这样的切换可以使用来自加速度计的信号而被自动化,或许加速度计集成在智能电话内。在另一非限制性示例中,该阵列可不同地表现,这取决于该设备是否正被用于其他讲话者的大声接收或者用于用户自己嗓音的近场接收,如在电话的情况下。在后者的情况下,阵列滤波器可以改变以增大针对用户自己的嗓音相对于在远场中的其他声音的阵列灵敏度。例如,这增大了由收听者在电话会话的远程端上的收听者听到的信噪比。本文描述的相同的阵列滤波器设计方法可以通过将近场和远场数据两者附到声学响应(S)和规格(P)中而完成该滤波器设计。针对非限制性的头戴阵列示例,由这样的设计导致的滤波器将增大所谓的接近度效应,因此增大用户自己的嗓音与其他远端声音的比率。作为针对集成到智能电话外壳中的阵列的附加的非限制性示例,由这样的设计产生的滤波器将向上、与智能电话屏幕平行、向着用户的嘴瞄准主瓣,因此增大从用户的语音相对于其他声音所接收到的能量。
图27图示了会话辅助系统80,其包括如在图5中所示并在图1中布置的四元件阵列20-23。每个麦克风的输出通过增益电路被传递,该增益电路包括麦克风偏置和模拟增益电路(相应地,30-33),并且随后由A/D(相应地,40-43)被数字化。数字化的信号被输入到数字信号处理器50,其实施以上描述的滤波器。用户接口(UI)46可以被包括。例如,该UI可以包括一类型的显示器以向用户提供状态信息和/或允许用户输入,诸如以上描述的手动切换。输出通过D/A 60被返回到模拟信号,并且两声道D/A输出随后由放大器70放大并且被提供到耳机(未示出)。回放声音控制设备72可以被包括以提供允许用户控制该信号音量的手段。如果有源降噪作为系统的部分被包括,其将经由处理器50被完成,或作为本领域已知的而被单独实现。有源降噪传感器和电路可以被直接包含到耳机中。
会话辅助系统优选地利用耳机、听筒、耳塞或其他过耳、耳上或入耳设备。作为无源噪声隔离(NI)或利用有源降噪(ANR)或作为无源和有源两者的电声换能器也将衰减用户的耳朵内的环境噪声。如果系统利用NI和/或ANR电声换能器,并且如果电声换能器在用户的耳朵处衰减环境噪声至低于经换能的麦克风阵列输出信号的声级以下的声级,用户将基本上仅听见阵列输出信号。因而,用户将利用阵列的TNR改进。如果非隔离的、声学透明的电声换能器被取而代之地使用在系统中,用户将听见环境噪声和阵列信号的组合。有效TNR取决于环境噪声的相对声级和在用户的耳朵处再现的阵列信号。随着阵列声级被增大到环境噪声以上,有效TNR将达到阵列TNR。在没有NI或ANR电声换能器的高噪声环境中阵列声级可需要高于环境噪声的实质放大以提供完全的、基于阵列的TNR改进。然而,这创建了在用户的耳朵中的高声压级并且创建显著不适或听觉损坏。因而,在一些非限制示例中,对于会话辅助系统可能理想的是当在高噪声环境中使用时包括NI和/或ANR电声换能器。在一些非限制示例中,所提供(例如,通过在电声换能器中的无源NI、ANR功能,或两者的结合)降噪的量应当等于或大于阵列的指向性指数,使得通过阵列传输的漫射北京噪声将在声级中大约等效于穿过电声换能器(ANR或无源NI)的漫射背景噪声。在一些非限制示例中,由电声换能器提供的降噪的量等效于麦克风阵列跨角度的最大衰减,其可以在10与25dB之间任何地方的幅度。通常,随着环境中的噪声级增大,增大的来自电声换能器的降噪是理想的。可能的是以受控的方式改变由ANR电声换能器提供的降噪的量比改变由无源NI设备提供的降噪更容易。降噪的量可以以期望的方式被控制。在典型的基于反馈的ANR设备中,环补偿滤波器被用来成形反馈环响应以便于获得最大ANR表现而同时保持稳定。首先在该滤波器中的增益可以被减小以便于减小ANR的量。更复杂的系统可能成形滤波器响应而不是减小增益,尽管这并非必须。
对于低噪声环境,可能需要声透明的耳机。可替代地,ANR耳机的降噪可以根据背景噪声级而变化。对于嘈杂的环境,可以利用全ANR。对于较安静的环境,ANR可以被减小或关闭。此外,在低噪声情景中,ANR耳机可以经由在耳杯或耳塞的外部上的附加或集成麦克风传递环境声音通过耳朵。该穿透模式因而增大了环境感知而不必修改阵列信号。
对于没有进一步修改的离头阵列,针对左耳信号和右耳信号两者在设备(例如,图14的“空间”)的两侧上使用麦克风将增大指向性但也导致阵列在截止频率以下是单耳的。此外,窄间隔(例如,典型智能电话的大小)以及由左侧与右侧之间的头部造成的声学阴影缺乏将导致左耳信号和右耳信号基本上相似。这两个问题可导致阵列空间表现接近于单耳。
为了既重新创建准确的空间线索又衰减离轴声音,双耳波束赋形可以被使用。包括它们被安装在其上的任何设备(诸如智能电话)的麦克风的声学被包括在阵列滤波器的最小平方设计中(其在以下进行描述)。此外,用于阵列的目标空间表现使用双耳规格被定义,这由双耳假人类似地得到。离头双耳波束赋形与上述讨论的在左侧与右侧之间没有头部的不同。然而,设计方法将在最小平方意义上尽可能准确地重新创建双耳线索(例如,ILD和IPD),即使在两侧之间不存在头部。针对离头设计的另一优点在于用户自己的语音可以更好地与其他讲话者分开,减小用户自己的语音的放大。这是由于麦克风阵列与用户减小的接近度以及相对于头上阵列的离头阵列的用户的嘴与讲话者的嘴之间的角度分离。具体地,阵列设计方法可以被修改以向用户的嘴导回空值以减小用户的语音的放大,同时还执行以上的其他双耳波束赋形任务。除了减小由阵列接收到的用户的语音的幅度之外,阵列的布置可增大与期望的讲话者的接近度,例如在用户之前的讲话者,因此增大TNR。
当阵列是头部安装的,阵列定向角度将对应于相对于用户期望的讲话者的定向,因为该用户和阵列是共址(colocated)的。当远程阵列和用户非共址,远程阵列输出的ILD和IPD线索可以被翘曲以将期望的讲话者的物理定向更好地匹配到用户。
主瓣不需要转向在向前方向。使用双耳波束赋形,其他目标角度也是可能的。主瓣可以被转向用户的最接近的左侧和右侧以便于听见直接接近于用户坐着的讲话者。该主瓣可重新创建对应于在用户的左侧或右侧处的讲话者的双耳线索,并且也仍然排斥来自其他角度的声音。若阵列被置于在用户前面的桌子上,与用户向左侧90度的讲话者并不是阵列向左侧90度(例如,其可以在大约-135度)。相应地,空间目标必须从纯双耳被翘曲。在该示例中,针对在-135度的源的阵列的目标双耳规格应当重新创建与在用户向左90度处的讲话者关联的ILD和IPD。
与在图14中示出的那些不同的麦克风位置可以根据实施例和空间目标而更好地表现。其他非限制性假象麦克风配置在图28和图29中被示出,在其中麦克风位置由小圈指示。与图28中的空间的四个拐角中的每一个拐角接近的麦克风对可以提供在高频处的主瓣的更好的转向控制。麦克风的布置确定了针对阵列处理的声学自由度。对于给定数目的麦克风,如果指向性表现(例如,DI,双耳线索的预留)在定向的一些角度而不是另一些角度更加重要,沿着一个轴线而不是另一个轴线布置更多麦克风可产生更理想的表现。例如,在图14中的阵列偏置针对前看方向的表现。可替代地,在图28中的阵列偏置针对多个离轴角度的表现。在图29中的阵列例如对旋转90度的阵列偏置针对前看方向的表现。麦克风的数目和其位置可以改变。此外,被用来创建左耳信号和右耳信号中的每个信号的麦克风的数目可以改变。“空间”不需要是矩形的。更一般地,针对阵列的优化麦克风布置可以通过假设承载该阵列的(多个)设备的物理约束来检测所有可能的麦克风间隔而被确定。WNG可以被考虑,特别是在低频处。
离头阵列并不机械地跟随用户的“观看”角度,因为它们并未附着到头部。为解释这点,在智能电话上的相机可以被用来追踪用户的头部的角度并且将观看角度发送到DSP,其中阵列参数被实时改变以旋转对应于新的观看角度的ILD和IPD。为了说明,如果相机检测到用户头部的-90度(向左)旋转,阵列参数将被修改以重新渲染之前的0度阵列对+90度(向右)的响应。
主瓣角度的选择可以通过用户(例如,通过智能电话应用上的用户接口(UI)——例如,通过轻击主瓣被朝向其转向的讲话者的位置)而被控制,或者主瓣角度可以被适应性地控制(例如,通过使能具有高调制能量的空间输入,该高调制能量指示强的附近(因此是期望的)讲话者)。波束模式可以使用诸如加速度计之类的惯性传感器而被适配,惯性传感器可以被用来追踪佩戴者所面对的方向。例如,加速度计可以被耦合到用户的头部(例如,由用户佩戴的设备所承载的)以使得其可以被用来确定佩戴者正在面对的方向,并且波束模式可以被相应地适配。头部安装的传感器将需要向执行信号处理的设备传输其输出信息以用于适配ILD和IPD;在信号处理中涉及的设备的示例在本文中的其他地方进行了描述。该设备可以可替代地使用脸追踪或眼追踪以确定用户正在观看哪个方向。完成脸追踪和/或眼追踪的方法在本领域中是已知的。使用头部安装的传感器或其他传感器以用于追踪用户的注视方向将创建与阵列被放平在桌面上时不同的波束模式。
在系统等级处,存在相对于头上阵列的一些离头阵列的示例的一些特有属性。首先,示例可以围绕蜂窝/智能电话、蜂窝/智能电话外壳、眼镜壳、手表、垂饰、或任何可携带的物体而被构建。对于该实施例的一个动机在于当放置在社交场合的桌子上时其看起来无伤大雅。在所有的四个边缘上围绕电话的电话外壳可承载多个麦克风,其如在附图中所示地间隔开或以其他方式间隔开。电话外壳可以从其放置到的表面脱离连接和/或麦克风可以从电话外壳机械地脱离连接。该脱离连接可以以期望的方式被完成,诸如通过在外壳与表面和/或麦克风之间的机械路径上使用软性材料(例如,泡沫橡胶或软弹性体),以便于抑制振动传递到外壳和/或麦克风。
会话辅助系统可能将包括数字信号处理器(DSP)、模数和数模转换器(AD/DA)、电池、充电电路、(多个)无线电、UI以及耳机。一些或所有的部件(除了耳机)可以被构建到特殊设计的电话外壳中,例如,该电话外壳具有对总体电话功能或美学的最小影响。耳机(例如,耳塞)可以是有线的或无线的,降噪的或非降噪的。降噪耳机信号处理可以利用安装在电话外壳中的部件而被完成。一些或所有的麦克风可以被耳塞承载,用以取代或附加于电话外壳中的麦克风或其他的承载的物体。功能还可以被直接构建为电话的部分。电话处理器可以完成一些或所有的所需处理。如果电话与电话外壳一起使用,麦克风将需要保持被露出。因而,该系统可以分布在多于一个的物理设备之间;这在以下以更多细节进行解释。
用来控制阵列的功能的UI可存在于蜂窝电话上,并且UI设置可被无线或经由线缆传输到进行阵列处理的DSP。在有线连接的情况下,模拟音频连接可经由FSK编码传输控制数据。例如,这将使得没有蓝牙无线电的蜂窝电话能够控制该DSP。DSP还可执行诸如向上压缩之类的助听信号处理,或者智能电话可执行这些任务中的一些任务。一些处理可以被电话完成。特殊的电话外壳可具有其自己的电池,并且该电池可被使能在与电话电池的相同时间被充电。
阵列滤波器设计
麦克风波束赋形是如下过程:由该过程来自多个麦克风的电气信号输出首先被滤波随后被合并以创建理想的声压接收特性。针对在自由场中仅包含两个麦克风的阵列,阵列滤波器的设计可以是确定性的。在本领域中已知的简单数学关系可以定义在麦克风的位置的几何形状方面的复杂的阵列滤波器系数以及诸如心形或超心之类的期望声压接收特性。然而,需要不平凡的接收特性、需要针对充分表现的附加约束或其组合的、针对包含多于两个麦克风的阵列的阵列滤波器的设计(不在自由场中)是不平凡的。当设计用于在会话辅助中使用的阵列时引起这些复杂度。用来增大TNR和清晰度的高指向性的需要例如必须使用多于两个麦克风。附加地,在用户的头部上使用会话辅助系统引入了不像自由场的不利声学效果。再麦克风之间或附近的任何结构存在不利效果。阵列设计需要将这些效果考虑在内,不论是否由于头部还是一些其他物体。附加地,双耳波束赋形不仅需要特定的幅度,还需要极坐标声压接收模式的相位特性。
用来设计用于会话辅助的阵列滤波器的一个方法在以下进行描述。输入首先被描述。所有输入均是在频域中的离散函数,但出于简便,频率被丢弃符号。取而代之,要理解的是每个输入被供应用于每个频率,并且每个数学运算被独立用于每个频率,除非另有特指。阵列的期望空间表现被给定为极坐标规格P,其是M个离散极坐标角度的1×M向量。在阵列中的每个麦克风的声学响应被给定为S,其是对应于L麦克风和M离散极坐标角度的L×M矩阵。这些声学响应可以基于测量结果或理论模型。声学响应S可以被现场测量(诸如在双耳假人上)以便于在阵列滤波器的设计中包括附近的挡板或表面的声学效果,这致使改进的阵列表现,如前所述。最大期望WNG被给定为E,其是标量。最大期望滤波器幅度被给定为G,其是对应于L麦克风的实数的1×L向量。最大滤波器幅度规格可以被用来实施阵列响应的低通、阵列响应的高通、防止在DSP上的阵列处理的数字限幅、或实施两侧阵列的跨头带限制,如上所述。误差加权函数W确定在阵列滤波器方案中的每个极坐标角度的相对重要性。W是沿着对角具有非零项(对应于M极坐标角度的误差加权)并且其他地方具有零的M×M矩阵。例如若噪声源位于相对于阵列的已知角度,在该处以在其他角度的表现为代价更好地匹配极坐标目标将总体帮助阵列表现,则加权的极坐标角度可以帮助设计者实现更好地极坐标表现。
在所有的以上定义中,M维度可以更普遍地对应于位置的任何集合并且不必是极坐标角度。因而,以下方法可被用来例如基于空间而不是方位角中的任意测量结果而创建阵列滤波器。此外,L维度可对应于扬声器而不是麦克风,由此以下方法可被用来经由声学互易性(其在本领域中已知)创建针对扬声器阵列而不是麦克风阵列的阵列滤波器。
阵列滤波器可以使用针对WNG、最大增益和复杂极坐标表现被提供的初始规格被提供的迭代方法而被找到,滤波器方案例如使用与声学响应数据一起的嘴小平方的方法而被生成,WNG和滤波器幅度被计算并且与期望规格比较,WNG和最大滤波器增益规格相对于极坐标规格的重要性随后根据该比较而被相应地修改,随后新的滤波器方案被计算出。该过程继续,直到并不超出WNG也不超出最大滤波器幅度规格的方案被找到,但该方案在例如最小平方的意义上满足复杂极坐标规格。各种其他优化方法可以被应用以引导迭代过程,如在本领域中已知的。
也存在其他滤波器设计方法。在可替代方法中,左阵列和右阵列两者可被共同解决。在该方法中,左阵列和右阵列极坐标目标被相应地给定为Pl和Pr。耳间目标Pi随后由Pr/Pl的比率形成。左阵列滤波器使用以上过程和Pl规格被解决,致使阵列极坐标表现Hl。针对右阵列的极坐标目标Pr随后由左阵列的实际极坐标表现偏移,使得Pr=Pi*Hl。右阵列滤波器随后使用更新的Pr规格被解决,致使阵列极坐标表现Hr。左阵列规格随后由右阵列的实际极坐标表现偏移,使得Pl=Hr/Pi。左阵列滤波器随后使用更新的Pl规格而被解决。该迭代过程继续,设计左阵列滤波器、更新右阵列规格、设计右阵列滤波器、更新左阵列规格等,直到目标耳间表现在特定容差以内。
示例
示出了实施会话辅助系统的若干可能方式中的一些的非限制性示例在图30和图31中示出。图30的组件200将阵列的左侧的元件附着到左眼镜腿部202。壳体210包括配合在腿部202上并且由配合到接纳开口229和233的紧固件216和218被保持在一起的上半壳体212和下半壳体214。麦克风元件230、231和232配合在下半部214中的腔体中。可以是穿孔的金属屏的格板220覆盖麦克风以便于抑制对它们的机械损害。织物网格盖件222具有帮助减小由风或毛发抵着麦克风扫动导致的噪声的理想声学特性。导体226承载麦克风信号。相似的布置将被用于头部的右侧上。
图31的组件300向耳塞302添加阵列。壳体310由配合到耳塞的适配器314承载。腔体316至318的每个承载六元件阵列的三个麦克风元件中的一个。第七元件(如果包含)例如可由颈带或头带承载。或者其可被承载在眼镜的梁上。
图32的会话辅助系统90图示了系统功能的方面,以及沿着多于一个设备的功能的分布。首先设备91包括阵列麦克风、处理器和UI。设备91可以是电话外壳但不需要是;以下讨论通常应用于任何远程(即,非头部安装的)阵列系统。在每个麦克风穿过偏置、增益和A/D电路之后,数字信号被传递至第一信号处理器1中。信号处理器1可以执行诸如阵列处理、均衡和动态范围压缩之类的信号处理。UI 1连接到处理器1以控制诸如阵列处理算法的那些特定参数。处理器1的输出随后传递至作为单独设备92的一部分的第二信号处理器2,其例如可以是由用户穿戴的耳机。信号处理器2可以执行诸如阵列处理、均衡和动态范围压缩之类的信号处理。第二UI 2被连接到第二处理器2。第一和第二用户接口(UI 1和UI 2)两者还可以连接到第一和第二处理器两者以控制在两个处理器上的参数。第一处理器可以包含在第一设备91中,而第二处理器可以包含在第二设备92中。
从第一处理器传递到第二处理器的数字数据可以经由有线连接或经由诸如蓝牙无线电之类的无线连接被传输。从任意用户接口传递的控制数据可以经由有线连接或诸如蓝牙无线电之类的无线连接被传输。在处理器上运行的算法可以被组织,使得需要高计算复杂度的过程在具有实质更多的电池容量或更大的物理尺寸的设备中的处理器上运行。在第一设备中的第一处理器可以旁路第二处理器和第二设备,并且将数字音频直接输出到包含D/A和音频放大器的第三设备93。设备93可以单不需要是具有用来接收来自设备91、92的数字信号的无线链接的有源耳塞。设备93的功能还可以被包含在设备91和/或设备92中。以此方式,附加的信号处理和用户接口特征可以可用于用户,如果他们选择使用第二设备92。如果用户并不选择使用包括处理器2和UI 2的第二设备92,则处理器1和UI 1将继续提供一些功能。该灵活度可允许用户仅在需要时利用仅在设备92中可用的先进功能。
在一个示例中,指向性处理和均衡可以在处理器1上被完成并且由UI 1控制,但当处理器2和UI 2经由第二设备92被连接时,用户将使能助听向上压缩以及经由智能电话对该算法的控制。在该示例中,第一设备91可以是头戴阵列并且第二设备92可以是智能电话。
在另一示例处理器1中,UI 1和连接的麦克风和电路可在第一设备91中执行阵列处理,而第二设备92可执行向上压缩以及其他助听类处理。在该示例中,第二设备92包括处理器2、UI 2、左和右辅助麦克风和电路、A/D以及放大器。在该示例中,第二设备92可以是在没有第一设备91的情况下执行助听类信号处理的头戴设备(例如,耳塞),但当第一设备91由用户在无线链路上连接时,阵列处理随后将在第一设备91中发生,其中阵列处理的信号输出到第二设备92以用于回放。该示例是有利的,在于用户可使用小的、头戴设备92以用于助听,但随后将远程设备91(例如,电话外壳实施例)与阵列处理连接以用于在嘈杂的情景时增加收听的益处。
会话辅助系统的另一非限制示例包括将系统使用为助听。远程阵列(例如,构建在诸如蜂窝电话或蜂窝电话外壳或者眼镜壳中的)可以被布置在接近于用户处。由该系统实现的信号处理(在一个或多于一个设备上,如上所述)完成如上所述的麦克风阵列处理以及补偿收听缺陷的信号处理两者。这样的系统可能不需要包括允许用户实现不同规定处理的UI。例如,用户可以想要使用不同的规定处理,如果阵列处理改变,或者如果不存在阵列处理。用户可期望能够基于环境的特性(例如,环境噪声级)调节规定处理。用于助听设备控制的移动设备在2014年4月14日递交的、名称为“助听设备控制”的美国专利申请14/258,825中公开,该申请的公开被全部并入本文。
若干实施方式已经被描述。然而,将理解的是,可以做出附加的修改而不偏离本文描述的发明构思的范围,并且相应地,其它实施例也处于以下权利要求书的范围以内。

Claims (26)

1.一种会话辅助系统,包括:
麦克风的双向阵列,被布置在不包括任何阵列麦克风的空间的外部,其中所述空间具有左侧、右侧、前面和后面,所述阵列包括多个麦克风的左侧子阵列和多个麦克风的右侧子阵列,其中每个麦克风具有麦克风输出信号;
有源降噪(ANR)电声换能器,与所述左侧子阵列和所述右侧子阵列中的每个子阵列关联,并且具有所提供的ANR的受控量;以及
处理器,从所述麦克风输出信号创建左耳音频信号和右耳音频信号;
其中:
所述左耳音频信号基于来自所述左侧子阵列中的一个或多个所述麦克风和所述右侧子阵列中的一个或多个所述麦克风的所述麦克风输出信号而被创建;
所述右耳音频信号基于来自所述左侧子阵列中的一个或多个所述麦克风和所述右侧子阵列中的一个或多个所述麦克风的所述麦克风输出信号而被创建;
所述双向阵列具有指向性指数(DI);并且
所述ANR换能器被控制以使得由所述ANR换能器提供的降噪的量被设置为等于或大于所述双向阵列的所述DI。
2.根据权利要求1所述的会话辅助系统,其中所述处理器包括用于在所述音频信号的创建中涉及的每个麦克风的所述输出信号的滤波器。
3.根据权利要求2所述的会话辅助系统,其中所述滤波器使用至少一个极坐标规格而被创建,所述至少一个极坐标规格包括作为频率的函数的所述左侧子阵列和所述右侧子阵列中的一者或两者的理想化输出信号的幅度和相位。
4.根据权利要求3所述的会话辅助系统,包括针对每个子阵列的单独极坐标规格。
5.根据权利要求3所述的会话辅助系统,其中极坐标规格基于双耳假人的每个耳朵的极坐标的头部相关的传递函数。
6.根据权利要求3所述的会话辅助系统,其中极坐标规格基于人的头部的每个耳朵的极坐标的头部相关的传递函数。
7.根据权利要求3所述的会话辅助系统,其中极坐标规格基于模型。
8.根据权利要求1所述的会话辅助系统,其中所述处理器基于来自所述左侧子阵列中的一个或多个所述麦克风和所述右侧子阵列中的一个或多个所述麦克风的、但只是在预定频率之下的所述麦克风输出信号而创建所述左耳音频信号和所述右耳音频信号两者。
9.根据权利要求8所述的会话辅助系统,其中在所述预定频率之上,所述处理器仅基于来自所述左侧子阵列的麦克风的所述麦克风输出信号而创建所述左耳音频信号,并且仅基于来自所述右侧子阵列的所述麦克风的所述麦克风输出信号而创建所述右耳音频信号。
10.根据权利要求1所述的会话辅助系统,其中所述左侧子阵列被布置为接近于用户的头部的左侧而被穿戴,并且所述右侧子阵列被布置为接近于所述用户的头部的右侧而被穿戴。
11.根据权利要求1所述的会话辅助系统,其中所述左侧子阵列麦克风沿着所述空间的所述左侧被间隔开,并且所述右侧子阵列麦克风沿着所述空间的所述右侧被间隔开。
12.根据权利要求11所述的会话辅助系统,其中麦克风的所述阵列进一步包括沿着所述空间的所述前面或者所述后面而被定位的至少一个麦克风。
13.根据权利要求1所述的会话辅助系统,其中所述处理器被配置为衰减从相对于所述阵列的主接收方向的预定通过角之外抵达所述麦克风阵列的声音。
14.根据权利要求13所述的会话辅助系统,进一步包括改变所述预定通过角的功能。
15.根据权利要求14所述的会话辅助系统,其中所述预定通过角基于追踪用户的头部的移动而被改变。
16.根据权利要求1所述的会话辅助系统,其中所述处理器被配置为处理所述麦克风信号以创建在所述左耳音频信号与所述右耳音频信号之间的特定极坐标的耳间声级差(ILD)和特定极坐标的耳间相位差(IPD)。
17.根据权利要求1所述的会话辅助系统,其中所述处理器被配置为处理所述麦克风信号以创建在所述左耳音频信号和所述右耳音频信号中的特定极坐标的ILD和特定极坐标的IPD,使声音源如同处于与所述声音源到所述阵列的实际角度不同的角度。
18.根据权利要求13所述的会话辅助系统,其中所述麦克风阵列具有确立所述阵列的所述主接收方向的指向性,并且其中所述会话辅助系统进一步包括改变所述阵列指向性的功能。
19.根据权利要求18所述的会话辅助系统,进一步包括用户可操作输入设备,所述用户可操作输入设备被适配为被操纵以便于致使所述阵列指向性的变化。
20.根据权利要求19所述的会话辅助系统,其中所述用户可操作输入设备包括便携计算设备的显示器。
21.根据权利要求18所述的会话辅助系统,其中所述阵列指向性被自动改变。
22.根据权利要求21所述的会话辅助系统,其中所述阵列指向性基于用户的移动而被改变。
23.根据权利要求18所述的会话辅助系统,其中所述阵列能够具有多个指向性,并且其中所述系统包括具有对应于针对每个阵列指向性的定向角度的ILD和IPD的双耳阵列。
24.根据权利要求1所述的会话辅助系统,其中所述阵列被限制为具有最大白噪声增益(WNG)。
25.根据权利要求1所述的会话辅助系统,其中所述指向性指数(DI)是可控的,并且其中所述DI以及由所述电声换能器实现的降噪的量两者均被控制以使得所述降噪的量被保持为等于或大于所述阵列的所述DI。
26.根据权利要求1所述的会话辅助系统,其中所述会话辅助系统被包括在一个具有处理器的物理设备中,该物理设备经由有线或无线通信与具有处理器的另一个物理设备通信。
CN201580007892.0A 2014-02-10 2015-02-10 会话辅助系统 Active CN105981409B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201461937873P 2014-02-10 2014-02-10
US61/937,873 2014-02-10
PCT/US2015/015271 WO2015120475A1 (en) 2014-02-10 2015-02-10 Conversation assistance system

Publications (2)

Publication Number Publication Date
CN105981409A CN105981409A (zh) 2016-09-28
CN105981409B true CN105981409B (zh) 2019-06-14

Family

ID=52577988

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580007892.0A Active CN105981409B (zh) 2014-02-10 2015-02-10 会话辅助系统

Country Status (5)

Country Link
US (1) US9560451B2 (zh)
EP (1) EP3105942B1 (zh)
JP (1) JP6204618B2 (zh)
CN (1) CN105981409B (zh)
WO (1) WO2015120475A1 (zh)

Families Citing this family (61)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11750965B2 (en) 2007-03-07 2023-09-05 Staton Techiya, Llc Acoustic dampening compensation system
EP2928210A1 (en) 2014-04-03 2015-10-07 Oticon A/s A binaural hearing assistance system comprising binaural noise reduction
JP6460676B2 (ja) * 2014-08-05 2019-01-30 キヤノン株式会社 信号処理装置および信号処理方法
US9949041B2 (en) * 2014-08-12 2018-04-17 Starkey Laboratories, Inc. Hearing assistance device with beamformer optimized using a priori spatial information
US9554207B2 (en) 2015-04-30 2017-01-24 Shure Acquisition Holdings, Inc. Offset cartridge microphones
US9565493B2 (en) 2015-04-30 2017-02-07 Shure Acquisition Holdings, Inc. Array microphone system and method of assembling the same
US9615179B2 (en) 2015-08-26 2017-04-04 Bose Corporation Hearing assistance
WO2017158507A1 (en) * 2016-03-16 2017-09-21 Radhear Ltd. Hearing aid
US10063987B2 (en) 2016-05-31 2018-08-28 Nureva Inc. Method, apparatus, and computer-readable media for focussing sound signals in a shared 3D space
US9888308B2 (en) 2016-06-22 2018-02-06 Bose Corporation Directional microphone integrated into device case
JP2018007256A (ja) * 2016-07-04 2018-01-11 イーエム−テック・カンパニー・リミテッドEM−TECH.Co.,Ltd. オーディオフォーカシング機能を備える音声増幅装置
CN109863757B (zh) * 2016-10-21 2020-12-04 伯斯有限公司 用于助听的设备和系统
US9843861B1 (en) * 2016-11-09 2017-12-12 Bose Corporation Controlling wind noise in a bilateral microphone array
US9930447B1 (en) * 2016-11-09 2018-03-27 Bose Corporation Dual-use bilateral microphone array
US10911877B2 (en) * 2016-12-23 2021-02-02 Gn Hearing A/S Hearing device with adaptive binaural auditory steering and related method
US10367948B2 (en) 2017-01-13 2019-07-30 Shure Acquisition Holdings, Inc. Post-mixing acoustic echo cancellation systems and methods
US10555106B1 (en) * 2017-01-27 2020-02-04 Facebook Technologies, Llc Gaze-directed audio enhancement
US10229667B2 (en) 2017-02-08 2019-03-12 Logitech Europe S.A. Multi-directional beamforming device for acquiring and processing audible input
US10366702B2 (en) 2017-02-08 2019-07-30 Logitech Europe, S.A. Direction detection device for acquiring and processing audible input
US10366700B2 (en) 2017-02-08 2019-07-30 Logitech Europe, S.A. Device for acquiring and processing audible input
US10362393B2 (en) 2017-02-08 2019-07-23 Logitech Europe, S.A. Direction detection device for acquiring and processing audible input
US9894452B1 (en) 2017-02-24 2018-02-13 Bose Corporation Off-head detection of in-ear headset
US10499139B2 (en) 2017-03-20 2019-12-03 Bose Corporation Audio signal processing for noise reduction
US10366708B2 (en) 2017-03-20 2019-07-30 Bose Corporation Systems and methods of detecting speech activity of headphone user
US10311889B2 (en) 2017-03-20 2019-06-04 Bose Corporation Audio signal processing for noise reduction
US10424315B1 (en) * 2017-03-20 2019-09-24 Bose Corporation Audio signal processing for noise reduction
US10249323B2 (en) 2017-05-31 2019-04-02 Bose Corporation Voice activity detection for communication headset
US10657965B2 (en) * 2017-07-31 2020-05-19 Bose Corporation Conversational audio assistant
CN107613446B (zh) * 2017-09-27 2021-05-28 惠州Tcl移动通信有限公司 一种防止麦克风啸叫的检测方法、移动终端及存储介质
EP3477964B1 (en) 2017-10-27 2021-03-24 Oticon A/s A hearing system configured to localize a target sound source
US10567888B2 (en) * 2018-02-08 2020-02-18 Nuance Hearing Ltd. Directional hearing aid
US10438605B1 (en) 2018-03-19 2019-10-08 Bose Corporation Echo control in binaural adaptive noise cancellation systems in headsets
EP3804356A1 (en) 2018-06-01 2021-04-14 Shure Acquisition Holdings, Inc. Pattern-forming microphone array
US11297423B2 (en) 2018-06-15 2022-04-05 Shure Acquisition Holdings, Inc. Endfire linear array microphone
US11750985B2 (en) * 2018-08-17 2023-09-05 Cochlear Limited Spatial pre-filtering in hearing prostheses
US20210186426A1 (en) * 2018-09-07 2021-06-24 University Of Washington System and method for detection of middle ear fluids
CN112889296A (zh) 2018-09-20 2021-06-01 舒尔获得控股公司 用于阵列麦克风的可调整的波瓣形状
US11089402B2 (en) 2018-10-19 2021-08-10 Bose Corporation Conversation assistance audio device control
US10795638B2 (en) 2018-10-19 2020-10-06 Bose Corporation Conversation assistance audio device personalization
US11012774B2 (en) * 2018-10-29 2021-05-18 Apple Inc. Spatially biased sound pickup for binaural video recording
EP3668123A1 (en) * 2018-12-13 2020-06-17 GN Audio A/S Hearing device providing virtual sound
US10623845B1 (en) * 2018-12-17 2020-04-14 Qualcomm Incorporated Acoustic gesture detection for control of a hearable device
EP3942842A1 (en) 2019-03-21 2022-01-26 Shure Acquisition Holdings, Inc. Housings and associated design features for ceiling array microphones
US11558693B2 (en) 2019-03-21 2023-01-17 Shure Acquisition Holdings, Inc. Auto focus, auto focus within regions, and auto placement of beamformed microphone lobes with inhibition and voice activity detection functionality
JP2022526761A (ja) 2019-03-21 2022-05-26 シュアー アクイジッション ホールディングス インコーポレイテッド 阻止機能を伴うビーム形成マイクロフォンローブの自動集束、領域内自動集束、および自動配置
US11445294B2 (en) 2019-05-23 2022-09-13 Shure Acquisition Holdings, Inc. Steerable speaker array, system, and method for the same
EP3977449A1 (en) 2019-05-31 2022-04-06 Shure Acquisition Holdings, Inc. Low latency automixer integrated with voice and noise activity detection
US10715933B1 (en) * 2019-06-04 2020-07-14 Gn Hearing A/S Bilateral hearing aid system comprising temporal decorrelation beamformers
US11438710B2 (en) 2019-06-10 2022-09-06 Bose Corporation Contextual guidance for hearing aid
WO2021014344A1 (en) 2019-07-21 2021-01-28 Nuance Hearing Ltd. Speech-tracking listening device
US10959026B2 (en) * 2019-07-25 2021-03-23 X Development Llc Partial HRTF compensation or prediction for in-ear microphone arrays
CN110312193A (zh) * 2019-08-09 2019-10-08 佛山博智医疗科技有限公司 助听器用声音辅助采集装置
WO2021041275A1 (en) 2019-08-23 2021-03-04 Shore Acquisition Holdings, Inc. Two-dimensional microphone array with improved directivity
EP4038901A1 (en) 2019-09-30 2022-08-10 Widex A/S A method of operating a binaural ear level audio system and a binaural ear level audio system
US11223889B2 (en) 2019-12-16 2022-01-11 Bose Corporation Audio device with vibrationally isolated transducer
US11552611B2 (en) 2020-02-07 2023-01-10 Shure Acquisition Holdings, Inc. System and method for automatic adjustment of reference gain
US11277689B2 (en) 2020-02-24 2022-03-15 Logitech Europe S.A. Apparatus and method for optimizing sound quality of a generated audible signal
USD944776S1 (en) 2020-05-05 2022-03-01 Shure Acquisition Holdings, Inc. Audio device
US11706562B2 (en) 2020-05-29 2023-07-18 Shure Acquisition Holdings, Inc. Transducer steering and configuration systems and methods using a local positioning system
US11290837B1 (en) 2020-10-23 2022-03-29 Facebook Technologies, Llc Audio system using persistent sound source selection for audio enhancement
JP2024505068A (ja) 2021-01-28 2024-02-02 シュアー アクイジッション ホールディングス インコーポレイテッド ハイブリッドオーディオビーム形成システム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1565144A (zh) * 2001-08-08 2005-01-12 数字信号处理工厂有限公司 使用过采样滤波器组的定向音频信号处理
CN102325298A (zh) * 2010-05-20 2012-01-18 索尼公司 音频信号处理装置和音频信号处理方法
CN102893331A (zh) * 2010-05-20 2013-01-23 高通股份有限公司 用于使用头戴式麦克风对来处理语音信号的方法、设备和计算机可读媒体
CN104581602A (zh) * 2014-10-27 2015-04-29 常州听觉工坊智能科技有限公司 录音数据训练方法、多轨音频环绕方法及装置

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4653606A (en) * 1985-03-22 1987-03-31 American Telephone And Telegraph Company Electroacoustic device with broad frequency range directional response
US5289544A (en) 1991-12-31 1994-02-22 Audiological Engineering Corporation Method and apparatus for reducing background noise in communication systems and for enhancing binaural hearing systems for the hearing impaired
US5757932A (en) 1993-09-17 1998-05-26 Audiologic, Inc. Digital hearing aid system
US5479522A (en) 1993-09-17 1995-12-26 Audiologic, Inc. Binaural hearing aid
NL1007321C2 (nl) * 1997-10-20 1999-04-21 Univ Delft Tech Gehoorinrichting voor het verbeteren van de verstaanbaarheid voor slechthorenden.
WO1999043185A1 (en) 1998-02-18 1999-08-26 Tøpholm & Westermann APS A binaural digital hearing aid system
EP1157588A1 (en) * 1999-03-05 2001-11-28 Etymotic Research, Inc Directional microphone array system
EP1305975B1 (en) 2000-06-13 2011-11-23 GN Resound A/S Adaptive microphone array system with preserving binaural cues
WO2001097558A2 (en) 2000-06-13 2001-12-20 Gn Resound Corporation Fixed polar-pattern-based adaptive directionality systems
WO2004016037A1 (en) * 2002-08-13 2004-02-19 Nanyang Technological University Method of increasing speech intelligibility and device therefor
NL1021485C2 (nl) 2002-09-18 2004-03-22 Stichting Tech Wetenschapp Hoorbril-samenstel.
JP2005198251A (ja) * 2003-12-29 2005-07-21 Korea Electronics Telecommun 球体を用いた3次元オーディオ信号処理システム及びその方法
KR101215944B1 (ko) * 2004-09-07 2012-12-27 센시어 피티와이 엘티디 청취보호기와 음향개선방법
JP2006270649A (ja) * 2005-03-24 2006-10-05 Ntt Docomo Inc 音声・音響信号処理装置およびその方法
WO2007028250A2 (en) 2005-09-09 2007-03-15 Mcmaster University Method and device for binaural signal enhancement
EP1858296A1 (en) * 2006-05-17 2007-11-21 SonicEmotion AG Method and system for producing a binaural impression using loudspeakers
EP2030476B1 (en) 2006-06-01 2012-07-18 Hear Ip Pty Ltd A method and system for enhancing the intelligibility of sounds
US8483416B2 (en) 2006-07-12 2013-07-09 Phonak Ag Methods for manufacturing audible signals
JP5401760B2 (ja) * 2007-02-05 2014-01-29 ソニー株式会社 ヘッドフォン装置、音声再生システム、音声再生方法
DE102007033896B4 (de) 2007-07-20 2012-04-19 Siemens Medical Instruments Pte. Ltd. Hörvorrichtung mit Signalverarbeitung auf der Basis konstruktionsbezogener Parameter und entsprechendes Verfahren
DE102008015263B4 (de) 2008-03-20 2011-12-15 Siemens Medical Instruments Pte. Ltd. Hörsystem mit Teilbandsignalaustausch und entsprechendes Verfahren
WO2009153718A1 (en) * 2008-06-17 2009-12-23 Koninklijke Philips Electronics N.V. Earphone arrangement and method of operation therefor
CN102204281B (zh) * 2008-11-05 2015-06-10 希尔Ip有限公司 用于产生定向输出信号的系统和方法
JP2010217268A (ja) * 2009-03-13 2010-09-30 Akita Prefectural Univ 音源方向知覚が可能な両耳信号を生成する低遅延信号処理装置
US9202456B2 (en) * 2009-04-23 2015-12-01 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for automatic control of active noise cancellation
US20110058676A1 (en) * 2009-09-07 2011-03-10 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for dereverberation of multichannel signal
US20110091057A1 (en) * 2009-10-16 2011-04-21 Nxp B.V. Eyeglasses with a planar array of microphones for assisting hearing
DK2629551T3 (en) 2009-12-29 2015-03-02 Gn Resound As Binaural hearing aid system
WO2011101043A1 (de) 2010-02-19 2011-08-25 Siemens Medical Instruments Pte. Ltd. Verfahren zur binauralen seitenwahrnehmung für hörinstrumente
WO2011101045A1 (en) 2010-02-19 2011-08-25 Siemens Medical Instruments Pte. Ltd. Device and method for direction dependent spatial noise reduction
US8942382B2 (en) * 2011-03-22 2015-01-27 Mh Acoustics Llc Dynamic beamformer processing for acoustic echo cancellation in systems with high acoustic coupling
JP2013016929A (ja) * 2011-06-30 2013-01-24 Brother Ind Ltd 撮像装置、撮像方法およびプログラム
US9641951B2 (en) * 2011-08-10 2017-05-02 The Johns Hopkins University System and method for fast binaural rendering of complex acoustic scenes
WO2013065010A1 (en) 2011-11-01 2013-05-10 Cochlear Limited Sound processing with increased noise suppression
US9439004B2 (en) * 2012-02-22 2016-09-06 Sonova Ag Method for operating a binaural hearing system and a binaural hearing system
US20160088403A1 (en) * 2013-05-17 2016-03-24 Clarke Lambe Hearing assistive device and system
US9894454B2 (en) * 2013-10-23 2018-02-13 Nokia Technologies Oy Multi-channel audio capture in an apparatus with changeable microphone configurations
EP2882203A1 (en) * 2013-12-06 2015-06-10 Oticon A/s Hearing aid device for hands free communication

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1565144A (zh) * 2001-08-08 2005-01-12 数字信号处理工厂有限公司 使用过采样滤波器组的定向音频信号处理
CN102325298A (zh) * 2010-05-20 2012-01-18 索尼公司 音频信号处理装置和音频信号处理方法
CN102893331A (zh) * 2010-05-20 2013-01-23 高通股份有限公司 用于使用头戴式麦克风对来处理语音信号的方法、设备和计算机可读媒体
CN104581602A (zh) * 2014-10-27 2015-04-29 常州听觉工坊智能科技有限公司 录音数据训练方法、多轨音频环绕方法及装置

Also Published As

Publication number Publication date
EP3105942B1 (en) 2018-07-25
US20150230026A1 (en) 2015-08-13
JP2017505593A (ja) 2017-02-16
CN105981409A (zh) 2016-09-28
EP3105942A1 (en) 2016-12-21
WO2015120475A1 (en) 2015-08-13
US9560451B2 (en) 2017-01-31
JP6204618B2 (ja) 2017-09-27

Similar Documents

Publication Publication Date Title
CN105981409B (zh) 会话辅助系统
US5289544A (en) Method and apparatus for reducing background noise in communication systems and for enhancing binaural hearing systems for the hearing impaired
US8630431B2 (en) Beamforming in hearing aids
CN110495186A (zh) 非阻塞双驱动器耳机
CN107426660B (zh) 包括定向传声器系统的助听器
US20020039427A1 (en) Audio apparatus
CN108540899B (zh) 包含用户交互式听觉显示器的听觉设备
JP6193844B2 (ja) 選択可能な知覚空間的な音源の位置決めを備える聴覚装置
US11259127B2 (en) Hearing device adapted to provide an estimate of a user&#39;s own voice
US11234073B1 (en) Selective active noise cancellation
JP6732890B2 (ja) 聴覚補助
CN109640235A (zh) 利用声源的定位的双耳听力系统
CN109587601A (zh) 使用虚拟声学系统将声音移入和移出听者头部的系统
WO2004016037A1 (en) Method of increasing speech intelligibility and device therefor
Tikander et al. An augmented reality audio headset
CN111327980A (zh) 提供虚拟声音的听力设备
US11638089B2 (en) Speaker module and wearable device
TW536920B (en) Audio apparatus
US10764707B1 (en) Systems, methods, and devices for producing evancescent audio waves
US11632648B2 (en) Ear-mountable listening device having a ring-shaped microphone array for beamforming
EP4207804A1 (en) Headphone arrangement
JP2022019619A (ja) 聴覚デバイスを含む電子デバイスにおける方法
Prawda et al. Augmented Reality: Hear-through
Chapin et al. Concept and Technology Exploration for Transparent Hearing Project Final Report
Liepinš Usability Evaluation of a Transparent Hearing System

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1229590

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant