CN112544089B - 提供具有空间背景的音频的麦克风设备 - Google Patents

提供具有空间背景的音频的麦克风设备 Download PDF

Info

Publication number
CN112544089B
CN112544089B CN201880096412.6A CN201880096412A CN112544089B CN 112544089 B CN112544089 B CN 112544089B CN 201880096412 A CN201880096412 A CN 201880096412A CN 112544089 B CN112544089 B CN 112544089B
Authority
CN
China
Prior art keywords
microphone
sound
microphone device
voice
reference point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880096412.6A
Other languages
English (en)
Other versions
CN112544089A (zh
Inventor
M·塞卡利
B·赫尔德纳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sonova Holding AG
Original Assignee
Sonova AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sonova AG filed Critical Sonova AG
Publication of CN112544089A publication Critical patent/CN112544089A/zh
Application granted granted Critical
Publication of CN112544089B publication Critical patent/CN112544089B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/55—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception using an external connection, either wireless or wired
    • H04R25/554—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception using an external connection, either wireless or wired using a wireless connection, e.g. between microphone and amplifier or using Tcoils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S1/00—Two-channel systems
    • H04S1/002—Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2203/00—Details of circuits for transducers, loudspeakers or microphones covered by H04R3/00 but not provided for in any of its subgroups
    • H04R2203/12—Beamforming aspects for stereophonic sound reproduction with loudspeaker arrays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2225/00—Details of deaf aids covered by H04R25/00, not provided for in any of its subgroups
    • H04R2225/43—Signal processing in hearing aids to enhance the speech intelligibility
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/40—Arrangements for obtaining a desired directivity characteristic
    • H04R25/405—Arrangements for obtaining a desired directivity characteristic by combining a plurality of transducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Neurosurgery (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

所公开的技术总体上涉及被配置为接收来自不同波束的声音的麦克风设备，其中，每个波束具有不同空间取向并且被配置为从不同方向接收声音。所述麦克风设备还被配置为使用通用或特异性头部相关传递函数(HRTF)来处理接收到的声音以生成经处理的音频并且将所述经处理的音频发送到由听力受损的用户穿戴的听力设备。此外，所述麦克风设备可以当处理接收到的音频时使用参考线和/或参考点。

Description

提供具有空间背景的音频的麦克风设备
技术领域
所公开的技术总体上涉及麦克风设备，其被配置为：接收来自不同声音接收波束的声音(其中，每个波束具有不同空间取向)，使用头部相关传递函数(HRTF)处理接收到的声音，并且将经处理的声音发送到由听力受损的用户穿戴的听力设备。
背景技术
对于听力受损的人而言理解具有多个说话者的房间中的语言是具挑战性的。当仅一个说话者存在时，说话者可以使用单个无线麦克风向听力受损的人提供音频，因为说话者频繁接近于他或她的嘴穿戴麦克风，从而使能好的信噪比(SNR)(例如，夹式麦克风或手持式麦克风)。相反，当多个说话者存在时，单个麦克风是不足的，因为多个说话者同时地或零星地从多个方向生成音频。该同时地或零星地声音生成可以减少SNR或降低语言可懂度，特别地针对听力受损的人。
在具有多个说话者的环境中，一个方案是针对每个说话者保持或穿戴无线麦克风；然而，该方案具有缺点。第一，提供许多无线麦克风可能导致针对听力受损的人的过度努力：特别地，听力受损的人将需要给每个人提供无线麦克风并且这将引起对听力受损的人的不需要的注意和消极的病耻感。第二，如果有限数目的麦克风是可用的，则每个说话者具有麦克风是可能的，并且这导致针对每麦克风的多个说话者，其能够引起语言可懂度问题。此外，听力受损的人偏好隐瞒他或她的障碍并且因此不想要每个说话者穿戴麦克风。
用于向多说话者环境中的听力受损的人提供音频的另一方案是台式麦克风。台式麦克风接收来自声音环境的声音并且将经处理的音频发送到听力设备作为单声道信号。然而，单声道信号不包括音频信号中的空间信息，因此听力受损的个体当倾听单声道信号时不能空间分离声音，其导致降低的语言理解。
此处是改进语言可懂度或SNR的几个其他系统。US 2010/0324890 Al 涉及一种音频会议系统，其中，音频流选自由多个麦克风提供的多个音频流，其中，每个音频流被奖励表示其针对倾听者的有用性的某个评分，并且其中，选择具有最高评分的流。EP 1 423 988B2涉及一种使用过采样滤波器组的波束形成，其中，波束的方向根据语音活动检测(VAD)和/或信噪比(SNR)选择。US 2008/0262849A1涉及一种语音控制系统，包括根据说话者的位置转向的声波束形成器，该位置根据由利用的移动设备发射的控制信号来确定。WO 97/48252A1涉及一种视频会议系统，其中，语言信号的到达方向被估计为朝向相应说话者引导视频相机。WO 2005/048648A2 涉及一种听力仪器，其包括利用来自嵌入在第一结构中的第一麦克风和嵌入在第二结构中的第二麦克风的音频信号波束形成器，其中，第一和第二结构相对于彼此可自由移动。
而且，题为“Hearing Assistance System”的PCT专利申请No. WO2017/174136公开了一种接收会议室中的声音的台式麦克风。台式麦克风具有三个麦克风和被配置为生成声波束并且接收声波束中的声音的波束形成器单元，通过引用将该公开以其整体并入本文。该申请还公开了一种用于基于时变加权从每个波束选择波束或添加声音的算法。
然而，即使这些专利和专利申请公开了改进语言可懂度的技术，麦克风和听力技术仍然可以改进以特别地为听力受损的人提供更好处理的音频。
发明内容
本概述提供下面在详细描述中进一步描述的简化形式的所公开的技术的概念。所公开的技术可以包括一种麦克风设备，包括：第一和第二麦克风，其被配置为个体或者组合形成(一个或多个)声音接收波束；处理器，其电子耦合到所述第一和第二麦克风，所述处理器被配置为基于所述一个或多个声音接收波束基于参考点的取向将头部相关传递函数(HRTF)应用到所述一个或多个声音接收波束处的接收到的声音以生成多通道输出音频信号；以及发射器，其被配置为发送由所述处理器生成的多通道输出音频信号，其中，所述参考点与所述麦克风设备上的位置相关联。所述HRTF 可以是通用HRTF或者特异性HRTF，其中，所述特异性HRTF与所述听力设备的穿戴者的头部相关联。
在一些实施方式中，所述处理器将来自所述虚拟倾听者的前、左或右侧的接收到的声音比来自所述麦克风设备上的虚拟倾听者的其他接收到的声音加权更多。
在一些实施方式中，所述麦克风设备将所述多通道输出音频信号发送到听力设备，其中，所述听力设备的穿戴者相对于所述穿戴者定位所述参考点，并且其中，所述参考点与虚拟倾听者相关联。在一些实施方式中，所述多通道输出音频信号是立体声信号。例如，具有用于左听力设备和右听力设备的左和右通道的立体声音频信号。
麦克风设备还可以包括第三麦克风，其被配置为个体或者组合所述第一和第二麦克风形成一个或多个波束。第一、第二和第三麦克风可以具有彼此之间的相等间隔距离。所述第一、第二和第三麦克风还可以具有不同间隔距离。
在一些实施方式中，所述参考点是所述麦克风设备上的物理标记。所述参考点可以是位于所述麦克风设备的一侧的麦克风设备上的物理标记，其中，所述物理标记是可见的。所述参考点还可以是与所述麦克风设备上的位置相关联的虚拟标记。
在一些实施方式中，所述第一和第二麦克风是方向性麦克风。每个方向性麦克风可以形成一个或多个声音接收波束。所述第一和第二麦克风还可以与处理器组合以形成所述一个或多个声音接收波束，例如，通过使用波束形成技术。
在一些实施方式中，所述麦克风设备可以被配置为基于从听力设备接收到的自己的语音检测信号和所述声音接收波束接收声音之一来确定所述参考点的位置。所述麦克风设备还可以被配置为基于来自听力设备的穿戴者的自己的语音的接收特性来确定所述参考点，并且被配置为使用那些特性确定所述穿戴者自己的语音是否在所述一个或多个声音接收波束之一处被检测到。在其他实施方式中，所述麦克风设备被配置为基于存储在所述麦克风设备上的用户自已的语音的语音指纹来确定所述参考点的位置。例如，所述麦克风设备能够已经下载语音指纹或者从用户的移动设备将其接收。所述麦克风设备还可以被配置为：基于接收从听力设备接收到自己的语音检测信号来确定所述参考点的位置；接收所述声音接收波束之一处的声音；根据所述声音接收波束之一处的接收声音生成所述穿戴者自己的语音的语音指纹；并且基于所生成的语音指纹来确定用户的语音在所述声音接收波束之一中被接收。
所公开的技术还包括一种方法。用于使用麦克风设备的方法包括：由所述麦克风设备形成声音接收波束，其中，所述声音接收波束中的每个被配置为接收从不同方向到达的声音；由所述麦克风设备基于HRTF和参考点处理来自所述声音接收波束之一的接收到的声音以生成多通道输出音频信号；并且将所述多通道输出音频信号发送到听力设备。在所述方法的一些实施方式中，所述听力设备的穿戴者相对于所述穿戴者定位所述参考点。所述HRTF可以是通用HRTF或者特异性HRTF，其中，所述特异性HRTF 与所述听力设备的穿戴者的头部相关联。
在一些实施方式中，处理所述接收到的声音还可以包括：基于从所述听力设备之一接收自己的语音检测信号来确定所述参考点的位置，并且所述麦克风设备检测所述声音接收波束之一中的声音。在其他实施方式中，所述接收到的声音的处理还可以包括：基于接收来自所述听力设备之一的穿戴者的自己的语音的检测特性来确定所述参考点的位置；并且使用那些检测特性确定穿戴者自己的语音是否在所述声音接收波束之一处被检测。在其他实施方式中，处理所述接收到的声音还可以包括：基于针对所述穿戴者自己的语音的存储的语音指纹确定所述参考点的位置。
所述方法还可以存储在计算机可读介质中。例如，所述麦克风设备可以具有存储所述方法的操作的部分或全部的存储器。
附图说明
附图是所公开的技术的一些实施方式。
图1图示了根据所公开的技术的一些实施方式的倾听环境。
图2A图示了根据所公开的技术的一些实施方式的被配置为空间滤波声音并且将经处理的音频发送到听力设备的麦克风设备。
图2B图示了根据所公开的技术的一些实施方式的由图2A中的麦克风设备形成的波束的视觉表示。
图2C图示了根据所公开的技术的实施方式的用于使用来自图2A的麦克风设备来处理从图2A中的麦克风设备的接收到的声音的视觉表示。
图3是根据所公开的技术的一些实施方式的用于接收声音、处理声音以生成经处理的音频并且发送经处理的音频的方框流程图。
图4是根据所公开的技术的一些实施方式的用于接收声音、处理声音以生成经处理的音频并且基于关于用户的自己的语音的信息发送经处理的音频的方框流程图。
附图未按比例绘制并且具有各种视点和视角。附图所示的一些部件或操作可以分离为不同框或者组合为单个框以用于讨论的目的。尽管所公开的技术服从各种修改和备选形式，但是特定实施方式已经在附图中示出并且在下面详细描述。所公开的技术旨在覆盖落在权利要求书的范围内的所有修改、等价方案和备选。
具体实施方式
所公开的技术涉及麦克风设备，其被配置为：从或通过不同声音接收波束接收声音(其中，每个波束具有不同空间取向)，使用通用或特异性 HRTF处理的接收到的声音，并且将经处理的声音发送到由听力受损的用户穿戴的听力设备(例如，作为立体声信号)。为了接收并且处理声音，麦克风设备可以形成多个波束。麦克风设备还可以基于参考点(在图1和2A-2C 中更详细地描述的)来确定这些波束的位置。利用参考点和波束的所确定的位置，麦克风设备可以利用通用或特异性HRTF处理声音，使得声音包括空间背景。如果听力设备从麦克风设备接收经处理的声音，则听力设备的穿戴者听到具有空间背景的声音。所公开的技术在以下段落中更详细地描述。
关于波束，麦克风设备被配置为形成多个波束，其中，每个波束被配置为从不同方向接收声音。波束可以利用方向性麦克风或利用波束形成生成。波束形成是用于在一个或多个所选择的角方向上引导信号接收(例如，信号能量)的信号处理方法。处理器和麦克风可以被配置为形成波束并且基于幅度、相位延迟、时间延迟或其他波性质来执行波束形成操作。由于波束接收音频或声音，因此波束也可以被称为“声音接收波束”。
作为范例，麦克风设备可以具有三个麦克风和被配置为形成6个波束的处理器。第一波束可以被配置为接收从0至60度(例如，在圆上)的声音，第二波束可以被配置为接收从61-120度的声音，第三波束被配置为接收从121-180度的声音，第四波束被配置为接收从181-240度的声音，第五波束被配置为接收从241-300度的声音，并且第六波束被配置为接收从 301-360度的声音。
而且，麦克风设备可以生成波束，使得在波束之间不存在“死空间”。例如，麦克风设备可以生成部分交叠的波束。部分交叠量可以由处理器调节。例如，第一波束可以被配置为从121-180度接收声音，并且第二波束可以被配置为从170度至245度接收声音，其意指第一和第二波束从170-180 度交叠。如果波束部分交叠，则处理器被配置为基于定义的交叠量来处理交叠波束中的到达声音。
当处理来自波束的接收到的声音时，麦克风设备可以加权波束角度以处理信号。加权通常意指麦克风设备将来自每个波束的接收到的声音与特定权重混合，其可以固定或者取决于诸如波束信号能量或波束SNR比的标准。与用户的自己的语音相比较，麦克风设备可以使用加权以给予来自用户的左、右、或前侧的声音优先权。如果麦克风设备基于波束信号能量来加权声音，则麦克风设备将具有高信号能量的波束比具有低信号能量的波束加权更多。备选地，麦克风设备可以基于阈值SNR将来自具有高SNR 的一个波束的信号比来自具有低SNR的另一波束的信号加权更多。SNR阈值可以定义在其中用户可以理解语言的SNR处，例如，低于阈值SNR，对于用户理解语言是困难或不可能的，因为SNR是太差的。SNR阈值可以被设定为默认值，或者其可以被设定为用户的个体偏好(诸如最小SNR)以基于用户的听力能力理解语言。
关于参考点，麦克风设备可以使用参考点加权波束或者处理接收到的声音。参考点是麦克风设备上的已知位置，其可以被用于相对于用户或听力设备对麦克风设备进行取向。参考点可以是麦克风设备上的物理标记，例如，可见的麦克风设备的一侧的“X”。物理标记可以是除“X”之外的字母或数字或者形状。在一些实施方式中，麦克风设备具有指令手册(纸或电子)，其中，麦克风设备的用户可以获悉标记并且确定如何利用标记校准或者定位麦克风。备选地，麦克风设备可以存储指令并且利用音频将指令传递给用户(例如，利用扬声器)。在一些实施方式中，麦克风设备的用户对准参考点以面对他或她。由于参考点具有麦克风设备上的已知位置并且麦克风设备生成具有已知取向的波束，因而麦克风设备可以确定波束相对于参考点的位置。这样一来，麦克风可以接收具有已知取向的波束处的声音并且空间滤波接收到的声音。
在一些实施方式中，参考点是虚拟标记，诸如麦克风设备的特定位置 (例如，麦克风设备的左侧、右侧、质心、侧面)的电场、磁场、或电磁场。虚拟标记可以是来自发光二极管(LED)或发光设备的光。然而在其他实施方式中，虚拟标记可以是声学的，诸如可由听力设备检测的超声波。在一些实施方式中，麦克风设备可以通过使用麦克风设备上的多个天线或来自听力设备的分组到达角信息来确定虚拟标记位置。
参考点可以具有坐标系上的位置(例如，x和y、半径和/或角)，或者参考点可以是用于麦克风设备的坐标系的中心。例如，麦克风设备可以基于参考点从波束角转换为HRTF的方位角，包括线性或非线性函数转换。
在一些实施方式中，麦克风设备可以本地存储用户自己的语音的特征并且稍后使用那些存储的特征来确定参考点的位置。例如，麦克风设备可以接收用户语音指纹并且将其存储在存储器中。麦克风设备可能已经直接地从用户(例如，从用户的听力设备、从用户的移动电话、或在用于麦克风设备的校准期间)或者通过互联网连接从计算机设备接收语音指纹。使用存储的语音指纹，麦克风设备可以检测何时用户正在说话并且在哪个波束处用户的语音被接收。检测用户的语音的波束可以被称为用户的假定位置。此处，麦克风设备可以通过将来自用户的假定位置的参考线投射到麦克风设备来确定参考点，使得参考点是其中参考线接触麦克风设备的点。更多细节参见图1和图2C。
备选地，麦克风设备可以基于从听力设备接收自己的语音检测信号而同时从波束接收(或最近接收声音)来确定参考点的位置。此处，麦克风设备可以推断用户位于接收声音的特定波束中或附近，因为麦克风设备同时接收(或最近接收)来自听力设备的信号，同时麦克风设备还接收(或最近接收)波束处的声音。此处，麦克风设备可以通过将来自用户的假定位置的参考线投射到麦克风设备来确定参考点，使得参考点是其中参考线接触麦克风设备的点。更多细节参见图1和图2C。
在一些实施方式中，所公开的技术利用一个或多个技术方案解决至少一个技术问题。一个技术方案在于，麦克风设备可以发送经处理的音频，其中，音频被处理使得空间背景被包括在输出音频信号中，使得倾听者听到音频，好像倾听者处于与麦克风设备相同的位置。具有空间背景(还被称为“空间线索”)的音频辅助倾听者在没有额外信息(例如，视觉信息) 的情况下识别一群人中的当前说话者。此外，由于麦克风设备至少部分地或完全地包含空间背景，因而麦克风设备降低语言可懂度小于不考虑空间背景的系统，因为空间背景使能听觉流分离并且因此减少对不需要的说话者的语言理解的不利影响。
而且，麦克风设备应用HRTF，其可以是电力密集操作，而不是应用 HRTF的听力设备。由于与较大设备(例如，麦克风设备)相比较，听力设备具有有限电力的电池，因而这是有益的。
图1是倾听环境100。倾听环境100包括麦克风设备105、虚拟倾听者 110(例如，叠加在麦克风设备105上的理论人)、说话者115a-g和具有听力设备125的倾听者120。如果倾听者具有听力问题，则倾听者120也可以被称为“用户”、“穿戴者”、“听力设备125的穿戴者”或“听力受损的倾听者”，因为倾听者穿戴听力设备125。麦克风设备105可以放置在例如在会议室中的桌台140上。在图2A-2C、图3和图4中公开了关于麦克风设备 105的进一步的细节。
麦克风设备105接收来自倾听环境100的声音，包括来自说话者115a-g 之一或全部的语言，处理声音(例如，放大声音、滤波声音、修改SNR、和/或应用HRTF)，生成经处理的音频，并且将经处理的音频发送到听力设备125。在一些实施方式中，发送的音频被发送作为多通道信号(例如，立体声信号)，其中，流的一个部分旨在用于第一听力设备(例如，左听力设备)，并且流的另一部分旨在用于第二听力设备(例如，右听力设备)。多通道音频信号可以包括不同音频通道，其被配置为提供Dolby Surround、Dolby Digital 5.1、DolbyDigital 6.1、Dolby Digital 7.1、或其他多通道音频信号。此外，多通道信号可以包括用于不同取向的通道(例如，前、侧、后、左前、右前、或从0至360度的取向)。针对听力设备，在一些实施方式中，发送立体声信号是优选的。
在一些实施方式中，听力设备125中的每一个被配置为与麦克风设备 105无线通信。例如，每个听力设备可以具有天线和处理器，其中，处理器被配置为执行无线通信协议。处理器可以包括专用硬件，诸如专用集成电路(ASIC)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、可编程电路(例如，一个或多个微处理器微控制器)、适当地编程有软件和/或计算机代码的数字信号处理器(DSP)、或者专用硬件和可编程电路的组合。在一些实施方式中，听力设备可以具有多个处理器，其中，多个处理器可以物理耦合到听力设备125并且被配置为彼此通信。在一些实施方式中，听力设备125可以是双耳听力设备，其意指这些设备可以彼此无线通信。
听力设备125是向穿戴设备的用户提供音频的设备。一些范例听力设备包括助听器、头戴式耳机、耳机、助听设备、或其任何组合；并且听力设备包括处方设备和非处方设备，其被配置为穿戴在人类头部上。助听器是提供音频信号的放大、衰减、或频率修改以补偿听力损失或衰减功能的设备；一些范例助听器包括耳背式(BTE)、耳道内接收器RIC、耳内式(ITE)、完全耳道内(CIC)、耳道内不可见(IIC)助听器或耳蜗植入(其中，耳蜗植入包括设备部件和植入部件)。
在一些实施方式中，听力设备被配置为检测用户自己的语音，其中，用户穿戴听力设备。尽管存在用于检测听力设备中的用户自己的语音的若干方法或系统，但是检测自己的语音的一个系统是听力设备，其包括：第一麦克风，其适于穿戴在人的耳朵周围；第二麦克风，其适于穿戴在人的耳道或耳朵周围并且在与第一麦克风不同的位置处。听力设备可以适于处理来自第一麦克风和第二麦克风的信号以检测用户自己的语音。
如图1所图示的，麦克风设备105包括参考点135。参考点135是用于对麦克风设备105相对于倾听者120和/或相对于由麦克风设备形成的波束的位置进行取向的麦克风设备105上的位置(关于波束的更多细节参见图 2A-C)。参考点135可以是麦克风设备上的物理标记，例如，可见麦克风设备的一侧的“X”。物理标记可以是除“X”之外的字母或数字或者形状。在一些实施方式中，麦克风设备具有指令手册(纸或电子)，其中，麦克风设备的用户可以获悉物理标记并且确定如何利用物理标记校准或者定位麦克风。备选地，麦克风设备可以存储指令并且利用音频将指令传递给用户 (例如，利用扬声器)或者经由无线通信(例如，通过与移动设备通信的移动应用)。参考点135可以位于麦克风设备105的一侧或者可见或可访问的麦克风设备105的其他位置。
在一些实施方式中，参考点135是虚拟标记，诸如麦克风设备的特定位置(例如，麦克风设备的左侧、右侧、质心、侧面)的电场、磁场、或电磁场。虚拟标记可以是来自发光二极管(LED)或发光设备的光。然而在其他实施方式中，虚拟标记可以是声学的，诸如可由听力设备检测的超声波。
在一些实施方式中，麦克风设备可以计算虚拟标记的位置，其可以被用于确定麦克风设备相对于听力设备的穿戴者的位置。为了计算虚拟标记位置，麦克风设备可以接收来自听力设备的分组，其中，分组被发送用于方向发现。麦克风设备可以在麦克风设备中的天线阵列处接收这些方向发现分组。麦克风设备然后可以使用接收到的分组计算使用天线阵列(例如，开关天线)的不同元件接收的无线电信号中的相位差，其继而可以被用于估计到达角。基于到达角，麦克风设备可以确定虚拟标记的位置(例如，到达角可以与指向听力设备的穿戴者的向量相关联，虚拟标记可以是向量上和麦克风设备上的点)。在其他实施方式中，麦克风设备可以发送包括发射角信息的分组。听力设备可以接收这些分组并且然后将(一个或多个) 响应分组发送给听力设备。麦克风设备可以使用响应分组和透射角信息来确定虚拟标记的位置。到达角或出射角也可以基于传播延迟。
虚拟倾听者110通常是(实际上)位于麦克风设备105被定位于与参考点135相关联的取向中处的人。由于虚拟倾听者110实际上位于取向上的麦克风设备，因而虚拟倾听者110还可以被称为“叠加的”倾听者。例如，参考点135位于虚拟倾听者110的后面，因此，麦克风设备105可以给予来自参考点135的前面的声音对麦克风设备105的参考点135的后面的声音优先权。例如，由于用户是听力受损的个体并且用户不给予他或她自己的语音优先权(例如，来自后面的声音)并且给予来自前面或侧面的声音优先权(例如，虚拟倾听者前面或虚拟倾听者侧面的其他说话者)，因而麦克风设备105可以给予来自参考点135的前、右或左侧的声音优先权并且将来自参考点135的后面的声音去优先权。麦克风设备105可以应用简单加权方案给予来自前面和/或后面的声音优先权或将其去优先权。类似加权方案可以适用于来自左或右侧或一侧对另一侧的声音。
此外，参考点135与参考线130相关联。相关联的通常是存在参考点 135与参考线130之间的数学关系，例如，参考点135是参考线130上的点。参考线130是从倾听者120通过麦克风设备105上的参考点135或向麦克风设备105上的参考点135绘制的线。由于倾听者120定位麦克风设备使得倾听者120查看参考点135，因而麦克风设备可以确定倾听者120的取向和由麦克风设备105生成的波束。例如，听力设备125的穿戴者通过将麦克风设备105放置在桌台上并且使用参考点135作为用于引导的标记相对于穿戴者定位参考点135。
在一些实施方式中，听力设备125被配置为与麦克风设备105无线通信。例如，听力设备125使用BluetoothTM、Bluetooth LETM、Wi-FiTM、802.11 电子电气工程师协会(IEEE)无线通信标准、或专用无线通信标准以与麦克风设备105通信。在一些实施方式中，听力设备125可以与麦克风设备 105配对或者使用其他加密技术与麦克风设备105安全通信。
移动到图2A，图2A图示了被配置为空间滤波声音并且将经处理的音频发送到(一个或多个)听力设备的麦克风设备105。在一些实施方式中，麦克风设备105具有至少两个麦克风205或至少三个麦克风205。例如，麦克风的数目可以是2、3、4、5、6、7、8、9、10、或更多个以形成更多波束或者具有带更精细的分辨率的波束，其中，分辨率指代其中波束可以接收声音的声音角(例如，钝角提供比锐角更小的分辨率)。
如图2A所示，麦克风设备105具有三个麦克风205，并且每个麦克风与麦克风隔开间隔距离215。间隔距离215可以相同或者在麦克风205之间变化。例如，麦克风的数目和间隔距离215可以被修改以调节由麦克风设备105形成的波束。间隔距离215可以增加或者减小以调节与波束有关的麦克风设备105的参数。例如，间隔可以部分地确定波束形状和频率响应。在一个实施方式中，间隔距离215可以针对所有麦克风相等，使得麦克风形成等边三角形并且存在6个波束，其中，每个间隔距离是相等的。由于每个波束接收来自每个说话者的音频，因而该实施方式可以对于具有坐在桌台处的说话者的会议是有益的，并且由于每个说话者坐在波束的前面，因而存在波束之间的平衡良好的空间划分。
麦克风设备105可以例如利用方向性麦克风生成方向性波束。单个麦克风可以使用方向性麦克风或可以利用另一麦克风使用处理技术以形成波束。备选地，处理器和麦克风可以被配置为基于波束形成技术形成波束。例如，处理器可以是针对来自麦克风阵列的信号的部分的时间延迟或相位延迟或相位移动，使得仅来自区域的声音被接收(例如，0至60度或者仅来自麦克风前面的声音，诸如0至180度)。麦克风205还可以被称为“第一”、“第二”和“第三”麦克风等等，其中，每个麦克风可以形成其自己的波束(例如，方向性麦克风)或麦克风可以与另一个或多个麦克风和处理器通信以执行波束形成技术以形成波束。例如，麦克风设备可以具有第一和第二麦克风，其被配置为个体或组合处理器形成(一个或多个)波束。
麦克风设备105还包括处理器212和发射器214。处理器212可以与麦克风205组合使用以形成波束。发射器214电子耦合到处理器212，并且发射器214可以将来自麦克风设备105的经处理的音频发送到听力设备或另一电子设备。发射器214可以被配置为使用无线协议或通过广播(例如，传送经处理的音频作为广播信号)发送经处理的音频。发射器214可以使用BluetoothTM(例如，Bluetooth ClassicTM、蓝牙低功耗TM)、ZigBeeTM、 Wi-FiTM、其他802.11无线通信协议、或专用通信协议通信。尽管处理器212 和发射器214被示出为分离单元，但是处理器212和发射器214可以组合为单个单元或物理地并且电子地耦合在一起。在一些实施方式中，发射器 214具有单个天线，并且在其他实施方式中，发射器214可以具有多个天线。多个天线可以被用于多输入多输出或计算虚拟标记。
处理器212可以包括专用硬件，诸如专用集成电路(ASIC)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、可编程电路(例如，一个或多个微处理器微控制器)、适当地编程有软件和/或计算机代码的数字信号处理器(DSP)、或者专用硬件和可编程电路的组合。在一些实施方式中，处理器212包括多个处理器(例如，两个、三个或更多个)，其可以物理耦合到麦克风设备105。
处理器212还可以执行通用HRTF操作或特异性HRTF。例如，处理器 212可以被配置为访问存储用于执行通用HRTF的指令的非瞬态存储器。通用HRTF是表征耳朵如何接收来自空间中的点的音频的传递函数。通用 HRTF基于用于具有平均耳朵或平均头部大小的人的平均或常见HRTF(例如，从倾听声音的不同个体的数据集导出的)。通用HRTF是具有传递函数 H(f)＝Output(f)/Input(f)的时不变系统，其中，f是频率。通用HRTF可以存储在耦合到处理器212的存储器中。在一些实施方式中，处理器212可以基于特定于用户的接收或下载的HRTF函数(例如，从移动应用或者计算设备无线地)执行特异性HRTF。
通用HRTF可以包括、调节或者考虑若干信号特征，诸如简单幅度自适应、有限冲激响应(FIR)和无限冲激响应(HR)滤波器、增益、和应用在滤波器组中的频域中的延迟以模仿或模拟双耳间声强差(ILD)、两耳时间差(ITD)和归因于用户的身体、头部、或物理特征(例如，耳朵和躯干)的其他频谱线索(频率响应或形状)。
麦克风设备105可以应用HRTF并且使用关于波束角225、波束大小、或波束特性的信息。针对HRTF，麦克风设备105可以假定所有麦克风在相同高度处(即，不存在麦克风205的仰角的变化)。利用这样的假定，麦克风设备105可以使用假定所有接收到的音频起源于相同高度或仰角的 HRTF。
如图2A所示，麦克风设备105可以包括壳体220。壳体220可以包括塑料、金属、塑料和金属的组合、或具有用于麦克风的有利声音特性的其他材料。壳体220可以被用于将麦克风205、处理器212和发射器214保持或固定在适当的位置。壳体220还可以将麦克风设备105制造到便携式系统中，使得其可以由人类到处移动。在一些实施方式中，壳体220可以包括参考点135作为壳体220的外部的物理标记。将意识到，壳体可以具有诸如开放、部分开放、或闭合的许多不同配置。此外，麦克风205、处理器 212、发射器214可以物理耦合到壳体(例如，利用胶水、螺丝、滑键和键槽、或其他机械或化学方法)。
图2C图示了由麦克风设备105形成的波束的视觉表示。麦克风设备 105形成波束225a-h，其也被称为“声音接收波束”，因为这些波束接收声音。在一些实施方式中，波束是类似大小和形状，但是每个波束在不同方向上取向。如果存在8个波束(如图2C所示)，则第一波束可以被配置为接收从0至45度的声音(例如，波束225a)，第二波束可以被配置为接收从46-90度的声音(例如，波束225b)，第三波束被配置为接收从91-135 度的声音(例如，波束225c)，第四波束被配置为接收从136-180度的声音 (例如，波束225d)，第五波束被配置为接收从181-225度的声音(例如，波束225e)，第六波束被配置为接收从226-270度的声音(例如，波束225e)，第七波束被配置为接收从271-315度的声音(例如，波束225f)，并且第八波束被配置为接收从315-360度的声音(例如，波束225f)。
尽管在图2C中示出了8个波束配置，但是麦克风设备可以生成不同数目的波束。例如，如果存在6个波束，第一波束可以被配置为接收从0至 60度的声音，第二波束可以被配置为接收从61-120度的声音，第三波束被配置为接收从121-180度的声音，第四波束被配置为接收从181-240度的声音，第五波束被配置为接收从241-300度的声音，并且第六波束被配置为接收从301-360度的声音。更一般地，复杂性(例如，麦克风的数目、信号处理)与空间分辨率(波束的数目)之间的折中存在并且基于情况(例如，多少说话者或其中麦克风将可能使用)来改变复杂性可以是有益的。
尽管图2C视觉上示出了波束之间的一些空间，但是麦克风设备105可以生成波束，使得在波束之间不存在空间或甚至一些交叠。更特别地，麦克风设备105可以生成波束，使得不存在其中波束不存在的“死空间”。交叠量可以由处理器或设计系统的工程师调节。在一些实施方式中，波束可以交叠百分之1、2、3、4、5、10、15、或20。处理器可以被配置为利用用于波束形成的数字信号处理算法计算用于交叠波束的角或声音到达。麦克风设备105还可以生成连续地延伸远离麦克风设备105的波束。
图2C还图示了取向线240。取向线240是垂直或大体垂直(例如，在几度内)于参考线130的假想线。取向线240将其中麦克风设备105定位于的声音环境的区域分成区域。例如，取向线240将“前区域”与“后区域”分开，其中，前区域指代来自虚拟倾听者110的左、右或前面的波束的声音，并且后区域指代来自麦克风设备105处的虚拟倾听者110的后面的声音。麦克风设备105可以将来自前、左、或右侧(例如，来自那些区域中的波束)的声音比来自后、左后、或右后的声音(例如，来自叠加用户后面的声音)更重加权。作为在该配置中的范例，麦克风设备105可以将来自位于麦克风设备105的前、左和右侧的说话者的声音比来自麦克风设备105的后面的用户自己的语音加权更多。
图2C还图示了基于使用用户自己的语音的检测处理从麦克风设备接收到的声音的视觉表示。例如，听力设备之一或两者可以包括：第一麦克风，其适于穿戴在倾听者120的耳朵周围；第二麦克风，其适于穿戴在倾听者120的耳道周围并且在与第一麦克风不同的位置处；处理器，其适于处理来自第一或第二麦克风的信号以产生经处理的声音信号；以及语音检测器，其检测穿戴者的语音。语音检测器包括接收来自第一麦克风和第二麦克风的信号的自适应滤波器，其可以被用于检测用户自己的语音。
如图2C所图示的，听力设备125可以将信号传送给麦克风设备105，其中，信号包括关于检测或先前检测麦克风处的用户自己的语音的信息。在一些实施方式中，听力设备125可以传送与可以用于识别用户的语音的用户的语音指纹有关的信息(例如，语音的特性，诸如幅度和频率)，其被图示为无线通信链路230。当麦克风设备105接收该信息时，其可以将其存储在存储器中并且使用其确定其是否接收已经检测或采集的用户的语音 (例如，在波束处或在麦克风处)。在一些实施方式中，麦克风设备105生成用于用户的语音指纹(例如，当用户设立麦克风设备时)，并且然后麦克风设备105可以确定何时用户自己的语音通过在麦克风设备105处将其本地计算来检测。
如图2C所示，波束225f具有带状线以指示用户正在说话和用户的语音由波束225f捕获。倾听者120之间的虚线235图示了从用户的语音到波束225f的声音可以取得的路径。除用户自己的语音已经检测到以加权或处理接收到的声音的信号的接收之外，麦克风设备105可以使用用户自己的语音的检测。
图3是用于接收声音、处理声音以生成经处理的音频、以及将经处理的音频作为无线立体声音频信号发送给听力设备的方框过程流程图，其中，由于声音由具有已知取向的波束的HRTF处理，因而无线立体声音频信号包括空间线索。过程300可以当麦克风设备的用户将麦克风设备放置在桌台上或在会议室中时开始。麦克风设备可以是会议桌麦克风设备，其中，台式麦克风被配置为将经处理的音频发送到听力设备。过程300可以触发以在麦克风设备105接通时自动开始或者其可以当用户接通他或她的听力设备或者推动麦克风设备上的用户控制按钮以开始过程300时手动触发。
在波束形成操作305处，麦克风设备形成一个或多个波束。例如，麦克风设备105可以形成2、3、4、5、6、7、8、9、10、11、或12个波束。每个波束可以被配置为从不同方向捕获声音。例如，如果存在6个波束，第一波束可以被配置为从0至60度接收音频，第二波束可以被配置为从 61-120度接收音频，第三波束被配置为从121-180度接收声音，第四波束被配置为从181-240度接收声音，第五波束被配置为从241-300接收声音，并且第六波束被配置为从301-360度接收声音。处理器(例如，来自图2B 的处理器212)可以利用基于数字信号处理技术的麦克风或者如图2B所描述的方向性麦克风形成波束。波束可以具有如图2C所描述的某个交叠。在一些实施方式中，由于麦克风设备被放置在其中说话者坐在对应于6个波束的位置中的桌台处，因而形成6个波束可以是有益的。
在确定位置操作310处，麦克风设备确定参考点相对于波束处的接收到的声音的位置。在一些实施方式中，麦克风设备基于物理标记或虚拟标记(参考点135)确定参考点相对于波束处的接收到的声音的位置。为了执行确定位置操作130，用户将麦克风设备放置在桌台上并且校准或对准麦克风设备使得他或她面对麦克风设备，其中，面对意指用户利用他或她向前朝向参考点135取向，使得参考线130可以在麦克风设备与用户之间出现 (虚拟地)。该校准或对准可以被称为倾听者相对于用户“定位”参考点。例如，倾听者可以定位麦克风设备的物理标记(例如，参考点135)，使得倾听者面对标记并且看着物理标记。在一些操作中，确定操作310是在波束形成之前发生的预备步骤。
作为确定位置操作310的另一范例，麦克风设备105可以使用加速器、陀螺仪、或另一运动传感器来形成惯性导航系统以确定麦克风设备相对于穿戴听力设备的用户放置在何处。麦克风设备105可以基于听力受损的用户的坐位处的触发(例如，接通设备)来确定位置和取向并且随后测量加速度和其他参数。
在接收操作315处，麦克风设备从多个波束之一或全部接收声音。例如，如图2C所示，麦克风可以从波束225a-h之一或全部接收声音。麦克风设备105可以基于参考点135来确定每个波束中的接收到的声音的位置。例如，麦克风可以确定声音在波束225a中被接收，并且波束225a可以具有相对于参考点135(例如，左和上或坐标(x,y))的位置。
在处理操作320处，麦克风设备105使用HRTF(例如，特异性或通用 HRTF)处理接收到的声音。HRTF可以修改接收到的音频以调节幅度、相位，或者输出将被发送给用户的经处理的音频，其中，用户穿戴听力设备 125。通用HRTF还可以使用参考点135根据虚拟倾听者110的位置处理接收到的声音。由于倾听者120关于参考点135被叠加在麦克风设备105上，因而虚拟倾听者110也被称为听力设备125的“叠加的”穿戴者。例如，基于叠加倾听者120作为虚拟倾听者110，麦克风设备可以确定什么被称为虚拟倾听者110的“左”、“右”、“前”和“后侧”。麦克风设备可以将从位于“左”、“右”、“前”和“后侧”的波束接收到的信号加权。而且，麦克风设备105中的每个波束将具有基于参考点135的已知取向。
通用HRTF可以使用波束的坐标、波束的角，并且该波束接收声音以根据通用HRTF处理接收到的声音。在处理器操作320期间，处理器212 可以读取存储关于参考点135相对于波束225的坐标的信息的存储器，并且基于该信息，处理器212可以确定接收到的声音相对于参考点135和波束225的取向。在一些实施方式中，基于在接收操作315中由处理器212确定的方位角(φ)，麦克风设备105利用恒定仰角(θ)应用HRTF，其假定相同仰角处的所有麦克风。
在处理操作320中，麦克风设备还可以生成多通道输出信号，其中，每个通道指代或包括用于经处理的声音的不同空间信息，使得穿戴接收声音的听力设备的倾听者可以听到具有空间背景的声音。
在发送操作325处，麦克风设备将处理音频作为输出处理音频信号(例如，立体声音频信号)发送到听力设备125。例如，麦克风设备105可以将立体声音频发送到倾听者120(图1)，其穿戴左和右听力设备125(图1)。
在发送操作325之后，过程300可以停止、重复或重复一个或所有操作。在一些实施方式中，如果麦克风设备105开启或检测声音，则过程300 继续。在一些实施方式中，过程300当声音被接收时连续地发生(或大于某个阈值(诸如噪声基底)的声音)。此外，如果倾听者移动或麦克风设备 105移动，则可以重复确定位置操作130。在一些实施方式中，听力设备125 还可以处理接收到的立体声音频信号(例如，应用增益、进一步滤波、或压缩)，或者听力设备可以仅将立体声音频信号提供给穿戴听力设备的倾听者。
图4是用于接收声音、基于自己的语音信息确定参考点的位置、处理声音以生成经处理的音频、以及将经处理的音频作为无线立体声音频信号发送到听力设备的方框过程流程图。过程400可以触发以在麦克风设备105 接通时自动开始，或者其可以当用户接通他或她的听力设备或者推动麦克风设备上的用户控制按钮以开始过程400时手动触发。
在波束形成操作405处，麦克风设备形成一个或多个波束。例如，麦克风设备105可以形成2、3、4、5、6、7、8、9、10、11、或12个波束(图 1、图2B)。每个波束可以被配置为从不同方向收集声音。例如，如果存在 6个波束，第一波束可以被配置为从0至60度接收音频，第二波束可以被配置为从61-120度接收音频，第三波束被配置为从121-180度接收声音，第四波束被配置为从181-240度接收声音，第五波束被配置为从241-300接收声音，并且第六波束被配置为从301-360度接收声音。在一些实施方式中，由于麦克风设备被放置在其中说话者坐在对应于6个波束的位置的桌台处，因而形成6个波束可以是有益的。
在接收自己的语音信号操作410处，麦克风设备105接收关于用户自己的语音的信息。在一些实施方式中，听力设备125检测用户自己的语音并且向麦克风设备105发送指示用户当前正在说话的信号。备选地，听力设备可以将用户的自己的语音的语音指纹发送到麦克风设备，其中，语音指纹可以在使用麦克风设备之前发送并且麦克风设备可以存储语音指纹。语音指纹可以包含可以由麦克风设备用于检测用户自己的语音的信息(例如，用户的语音的特征)。另一备选方案在于，用户向麦克风设备说话，并且麦克风设备本地存储用户的语音的语音指纹。甚至另一备选方案在于，麦克风设备已经接收语音指纹(例如，通过互联网)。
在确定操作415处，麦克风设备使用自己的语音信息来确定参考点的位置。在确定操作415的一些实施方式中，麦克风设备确定用户自己的语音已经在波束中检测，其使得麦克风设备能够确定用户说到哪个波束中对在不同方向上取向的其他波束或无效波束。选定的波束可以是用户的假定位置，并且参考点位置可以根据参考线来确定(图2C)。在一些实施方式中，麦克风设备可以确定其同时接收来自听力设备的指示自己的语音被检测到的信号和波束中的声音，假定波束中的声音是用户的语音，麦克风设备可以确定用户说到哪个波束中对在不同方向上取向的其他波束或无效波束。
在处理操作420处，麦克风设备使用HRTF(例如，特异性或通用)处理接收的声音。通用HRTF可以修改接收到的音频以调节幅度、相位，或者输出将被发送给用户的经处理的音频，其中，用户穿戴听力设备125。通用HRTF还可以使用来自确定操作415的确定的波束以确定用户相对于其他波束位于何处并且用户的语音来自何处，例如，到达方向和波束的相关联的取向。而且，麦克风设备105中的每个波束具有已知取向，并且麦克风设备105可以基于参考线来确定参考点的位置。
在一些实施方式中，处理器可以将HRTF个体地应用到每个波束，使得经处理的音频与空间信息或空间线索相关联，诸如来自麦克风设备的前面、麦克风设备的后面、或麦克风设备的侧面的声音。在一些实施方式中，基于方位角(φ)，麦克风设备将具有等于0度的恒定仰角(θ)的HRTF 应用到远场HRTF传递函数H(f，θ＝0度，φ)。此外，在处理操作320 中，麦克风设备可以生成多通道输出音频信号(例如，基于通用HRTF的具有左和右信号的立体声音频信号)。
在发送操作425处，麦克风设备105将多通道信号发送到听力设备。例如，麦克风设备可以是将立体声音频发送到倾听者120(图1)的麦克风设备105，该倾听者120穿戴左和右听力设备125(图1)。
在发送操作425之后，过程400可以停止、重复或重复一个或所有操作。在一些实施方式中，如果麦克风设备105开启或检测声音或自己的语音信号，则过程400继续。在一些实施方式中，过程400在声音被接收时连续地发生(或大于某个阈值(诸如大于噪声基底)的声音)。此外，在一些实施方式中，如果倾听者移动或麦克风设备105移动，则可以重复确定操作415。在一些实施方式中，听力设备还可以处理接收到的立体声音频信号(例如，应用增益、进一步滤波、或压缩)，或者听力设备可以简单地将立体声音频信号提供给听力设备。在一些实施方式中，麦克风设备105可以更新用户的语音指纹或者存储用于多个用户的语音指纹。
结论
除非背景另外明确要求，否则贯穿说明书和权利要求书，词语“包括”、“包含”、等应以包含性的含义，而不是排他性或独占的含义来解释；以“包括但不限于”的含义解释。如本文所使用的，术语“连接”、“耦合”或其任何变型意指两个或两个以上元件之间的直接或间接的任何连接或耦合；元件之间的耦合或连接可以是物理、逻辑、电子、磁性、电磁、或其组合。另外，当在本申请中使用时，词语“上文”和“下文”和类似含义的词语应指该申请而不是本申请的任何部分。在背景允许的情况下，上述具体实施方式中使用单数或复数的词语也可以分别包括复数或单数。关于两个或两个以上项的列表的词语“或”涵盖了该单词的以下所有解释：列表中的任一项、列表中的所有项，以列表中的项的任何组合、或来自列表的单个项。
本文所提供的技术的教导可以适用于其他系统，不必是上文所描述的系统。上文所描述的各种范例的元件和动作可以组合以提供技术的其他实施方式。技术的一些备选实施方式可以包括不仅上文所述的那些实施方式的额外元件，而且可以包括较少元件。例如，麦克风设备可以将立体声音频信号发送给旨在用于听力受损的个体的听力设备或者被配置用于非听力受损的个体的听力设备。
除非以上具体实施方式章节明确定义这样的术语，否则以下权利要求中使用的术语不应当被理解为将技术限于说明书中公开的特定范例。因此，技术的实际范围涵盖不仅所公开的范例，而且实践或者实现在权利要求下的技术的所有等效方式。
为了减少权利要求的数目，技术的某些方面在下文中以某些权利要求形式呈现，但是申请人以任何数目的权利要求形式预期技术的各方面。例如，尽管仅技术的一个方面被记载为计算机可读介质权利要求，但是其他方面可以同样地被实现为计算机可读介质权利要求，或者以其他形式，诸如实现在手段加功能权利要求中。
此处介绍的技术、算法、和操作可以被实现为专用硬件(例如，电路)、适当地编程有软件和/或固件或计算机代码的可编程电路、或专用和可编程电路的组合。因此，实施例可以包括在其上存储了可以被用于编程计算机 (或其他电子设备)以执行过程的指令的机器可读介质。机器可读介质可以包括但不限于光盘、光盘只读存储器(CD-ROM)、磁光盘、只读存储器 (ROM)、随机存取存储器(RAM)、可擦可编程只读存储器(EPROM)、电可擦可编程只读存储器(EEPROM)、磁或光卡、闪存、或其他类型的介质，诸如适合于存储电子指令的机器可读介质。机器可读介质包括非瞬态介质，其中，非瞬态不包括传播信号。例如，处理器212可以连接到存储用于由处理器执行指令的指令(诸如形成波束或者执行通用或特异性头部传递函数的指令)的非瞬态计算机可读介质。作为另一范例，处理器212 可以被配置为使用存储指令的非瞬态计算机可读介质执行过程300或过程 400中所描述的操作。所存储的指令还可以被称为“计算机程序”或“计算机软件”。

Claims (22)

1.一种麦克风设备(105)，包括：
第一和第二麦克风(205)，其被配置为个体地或者组合形成一个或多个声音接收波束(225)；
处理器(212)，其电子耦合到所述第一和第二麦克风(205)，所述处理器(212)被配置为基于所述一个或多个声音接收波束(225)的取向将头部相关传递函数(HRTF)应用到所述一个或多个声音接收波束(225)处的接收到的声音以生成多通道输出音频信号，所述一个或多个声音接收波束(225)的取向是基于参考点(135)确定的，所述参考点与所述麦克风设备(105)上的位置相关联，所述参考点相对于听力设备的穿戴者而定位；以及
发射器(214)，其被配置为发送由所述处理器(212)生成的所述多通道输出音频信号。
2.根据权利要求1所述的麦克风设备(105)，其中，所述多通道输出音频信号被发送到听力设备(125)，其中，所述听力设备(125)的穿戴者相对于所述穿戴者定位所述参考点(135)，并且其中，所述参考点(135)与虚拟倾听者(110)相关联。
3.根据权利要求2所述的麦克风设备(105)，其中，所述处理器(212)将来自所述虚拟倾听者(110)的前面、左侧或右侧的所述接收到的声音比来自所述麦克风设备(105)上的所述虚拟倾听者(110)的后面的其他接收到的声音更多地进行加权。
4.根据权利要求1所述的麦克风设备(105)，其中，所述多通道输出音频信号是立体声信号。
5.根据前述权利要求中的一项所述的麦克风设备(105)，还包括：
第三麦克风，其被配置为个体地或者与所述第一和第二麦克风组合形成所述一个或多个声音接收波束(225)。
6.根据权利要求5所述的麦克风设备(105)，其中，所述第一、第二和第三麦克风(205)具有彼此之间的相等间隔距离(215)。
7.根据权利要求1所述的麦克风设备(105)，其中，所述参考点(135)是所述麦克风设备(105)上的物理标记，或者所述参考点(135)是与所述麦克风设备(105)上的位置相关联的虚拟标记。
8.根据权利要求1所述的麦克风设备(105)，其中，所述参考点(135)是所述麦克风设备(105)上被定位于所述麦克风设备(105)的一侧的物理标记，并且其中，所述物理标记是可见的。
9.根据权利要求1所述的麦克风设备(105)，其中，所述第一和第二麦克风(205)是方向性麦克风，或者其中，所述第一和第二麦克风(205)和所述处理器(212)组合被配置为形成所述一个或多个声音接收波束(225)。
10.根据权利要求2所述的麦克风设备(105)，其中，所述HRTF是通用HRTF或者特异性HRTF，其中，所述特异性HRTF与所述听力设备(125)的穿戴者的头部相关联。
11.根据权利要求1所述的麦克风设备(105)，其中，所述麦克风设备(105)被配置为基于从听力设备(125)接收到的自己的语音检测信号和接收声音的所述声音接收波束(225)中的一个声音接收波束，通过将来自用户的假定位置的参考线投射到所述麦克风设备来确定所述参考点(135)的位置，使得所述参考点是所述参考线接触所述麦克风设备的点，其中，所述麦克风设备能够推断用户位于接收声音的特定波束中或位于接收声音的特定波束附近。
12.根据权利要求1所述的麦克风设备(105)，其中，所述麦克风设备(105)被配置为基于来自听力设备(125)的穿戴者自己的语音的接收特性，通过将来自用户的假定位置的参考线投射到所述麦克风设备来确定所述参考点(135)，使得所述参考点是所述参考线接触所述麦克风设备的点，并且被配置为使用那些特性来确定所述穿戴者自己的语音是否在所述一个或多个声音接收波束(225)中的一个声音接收波束处被检测到，其中，所述麦克风设备能够推断用户位于接收声音的特定波束中或位于接收声音的特定波束附近。
13.根据权利要求1所述的麦克风设备(105)，其中，所述麦克风设备(105)被配置为基于被存储在所述麦克风设备(105)上的穿戴者自已的语音的语音指纹，通过将来自用户的假定位置的参考线投射到所述麦克风设备来确定所述参考点(135)的位置，使得所述参考点是所述参考线接触所述麦克风设备的点，其中，所述麦克风设备能够检测何时用户正在说话并且在哪个波束处用户的语音被接收，其中，检测用户的语音的波束能够被称为用户的假定位置。
14.根据权利要求1所述的麦克风设备(105)，其中，所述麦克风设备(105)被配置为：基于接收从听力设备(125)接收到的自己的语音检测信号，通过将来自用户的假定位置的参考线投射到所述麦克风设备来确定所述参考点(135)的位置，使得所述参考点是所述参考线接触所述麦克风设备的点；接收所述声音接收波束(225)中的一个声音接收波束处的声音；根据所述麦克风设备(105)处的接收声音来生成穿戴者自己的语音的语音指纹；并且基于所生成的语音指纹来确定所述穿戴者自己的语音在所述声音接收波束(225)中的一个声音接收波束处被检测到，其中，所述麦克风设备能够推断用户位于接收声音的特定波束中或位于接收声音的特定波束附近。
15.一种用于使用麦克风设备(105)的方法，所述方法包括：
由所述麦克风设备(105)形成声音接收波束(225)，
其中，所述声音接收波束(225)中的每个声音接收波束被配置为接收从不同方向到达的声音；
由所述麦克风设备(105)基于所述声音接收波束(225)的取向将头部相关传递函数(HRTF)应用到所述声音接收波束(225)处的接收到的声音以生成多通道输出音频信号，所述声音接收波束(225)的取向是基于参考点(135)确定的，所述参考点与所述麦克风设备(105)上的位置相关联，所述参考点相对于听力设备的穿戴者而定位；并且
将所述多通道输出音频信号发送到听力设备(125)。
16.根据权利要求15所述的方法，其中，所述听力设备(125)的穿戴者相对于所述穿戴者定位所述参考点(135)。
17.根据权利要求15所述的方法，其中，处理所述接收到的声音还包括：基于接收从所述听力设备(125)中的一个听力设备接收到的自己的语音检测信号，通过将来自用户的假定位置的参考线投射到所述麦克风设备来确定所述参考点(135)的位置，使得所述参考点是所述参考线接触所述麦克风设备的点；并且所述麦克风设备(105)检测所述声音接收波束(225)中的一个声音接收波束中的声音，其中，所述麦克风设备能够推断用户位于接收声音的特定波束中或位于接收声音的特定波束附近。
18.根据权利要求15所述的方法，其中，处理所述接收到的声音还包括：基于接收来自所述听力设备(125)中的一个听力设备的穿戴者自己的语音的检测特性来确定所述参考点(135)的位置；并且基于所述检测特性来确定穿戴者自己的语音是否在所述声音接收波束(225)中的一个声音接收波束处被检测到，其中，所述麦克风设备能够推断用户位于接收声音的特定波束中或位于接收声音的特定波束附近。
19.根据权利要求15所述的方法，其中，处理所述接收到的声音还包括：
基于接收从所述听力设备(125)中的一个听力设备接收到的自己的语音检测信号来确定所述参考点(135)的位置；
接收所述声音接收波束(225)中的一个声音接收波束处的声音；
根据所述麦克风设备(105)处的接收声音来生成穿戴者自己的语音的语音指纹；并且
基于所生成的语音指纹来确定所述穿戴者自己的语音在所述声音接收波束(225)中的一个声音接收波束处被检测到，其中，所述麦克风设备能够推断用户位于接收声音的特定波束中或位于接收声音的特定波束附近。
20.根据权利要求15所述的方法，其中，处理所述接收到的声音还包括：基于被存储在所述麦克风设备(105)上的穿戴者自已的语音的语音指纹，通过将来自用户的假定位置的参考线投射到所述麦克风设备来确定所述参考点(135)的位置，使得所述参考点是所述参考线接触所述麦克风设备的点，其中，所述麦克风设备能够检测何时用户正在说话并且在哪个波束处用户的语音被接收，其中，检测用户的语音的波束能够被称为用户的假定位置。
21.根据权利要求15所述的方法，其中，所述HRTF是通用HRTF或者特异性HRTF，其中，所述特异性HRTF与所述听力设备(125)的穿戴者的头部相关联。
22.一种在其上存储有指令的计算机可读介质，所述指令能够被用于将计算机编程为执行根据权利要求15至21中的任一项所述的方法。
CN201880096412.6A 2018-06-07 2018-06-07 提供具有空间背景的音频的麦克风设备 Active CN112544089B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/EP2018/065094 WO2019233588A1 (en) 2018-06-07 2018-06-07 Microphone device to provide audio with spatial context

Publications (2)

Publication Number Publication Date
CN112544089A CN112544089A (zh) 2021-03-23
CN112544089B true CN112544089B (zh) 2023-03-28

Family

ID=62567659

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880096412.6A Active CN112544089B (zh) 2018-06-07 2018-06-07 提供具有空间背景的音频的麦克风设备

Country Status (4)

Country Link
US (1) US11457308B2 (zh)
EP (1) EP3804358A1 (zh)
CN (1) CN112544089B (zh)
WO (1) WO2019233588A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3588926B1 (en) * 2018-06-26 2021-07-21 Nokia Technologies Oy Apparatuses and associated methods for spatial presentation of audio
US11057704B2 (en) * 2019-02-04 2021-07-06 Biamp Systems, LLC Integrated loudspeaker and control device
US11507759B2 (en) * 2019-03-25 2022-11-22 Panasonic Holdings Corporation Speech translation device, speech translation method, and recording medium
US11984713B2 (en) 2019-12-19 2024-05-14 Biamp Systems, LLC Support cable and audio cable splice housing
US11570558B2 (en) 2021-01-28 2023-01-31 Sonova Ag Stereo rendering systems and methods for a microphone assembly with dynamic tracking
US11856370B2 (en) * 2021-08-27 2023-12-26 Gn Hearing A/S System for audio rendering comprising a binaural hearing device and an external device
EP4187926A1 (en) 2021-11-30 2023-05-31 Sonova AG Method and system for providing hearing assistance
US11978467B2 (en) * 2022-07-21 2024-05-07 Dell Products Lp Method and apparatus for voice perception management in a multi-user environment

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8314829B2 (en) * 2008-08-12 2012-11-20 Microsoft Corporation Satellite microphones for improved speaker detection and zoom

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5778082A (en) 1996-06-14 1998-07-07 Picturetel Corporation Method and apparatus for localization of an acoustic source
CA2354858A1 (en) 2001-08-08 2003-02-08 Dspfactory Ltd. Subband directional audio signal processing using an oversampled filterbank
US7190775B2 (en) 2003-10-29 2007-03-13 Broadcom Corporation High quality audio conferencing with adaptive beamforming
EP1683392A4 (en) 2003-11-12 2007-10-31 Oticon As MICROPHONE SYSTEM
US7720212B1 (en) 2004-07-29 2010-05-18 Hewlett-Packard Development Company, L.P. Spatial audio conferencing system
US7667728B2 (en) * 2004-10-15 2010-02-23 Lifesize Communications, Inc. Video and audio conferencing system with spatial audio
US8208642B2 (en) * 2006-07-10 2012-06-26 Starkey Laboratories, Inc. Method and apparatus for a binaural hearing assistance system using monaural audio signals
ATE454692T1 (de) 2007-02-02 2010-01-15 Harman Becker Automotive Sys System und verfahren zur sprachsteuerung
EP2116102B1 (en) * 2007-02-14 2011-05-18 Phonak AG Wireless communication system and method
US8229134B2 (en) 2007-05-24 2012-07-24 University Of Maryland Audio camera using microphone arrays for real time capture of audio images and method for jointly processing the audio images with video images
US8737648B2 (en) 2009-05-26 2014-05-27 Wei-ge Chen Spatialized audio over headphones
US8204198B2 (en) 2009-06-19 2012-06-19 Magor Communications Corporation Method and apparatus for selecting an audio stream
DK2360943T3 (da) * 2009-12-29 2013-07-01 Gn Resound As Beamforming i høreapparater
DK2643983T3 (en) 2010-11-24 2015-01-26 Phonak Ag Hearing assistance system and method
US20120262536A1 (en) 2011-04-14 2012-10-18 Microsoft Corporation Stereophonic teleconferencing using a microphone array
US9549253B2 (en) * 2012-09-26 2017-01-17 Foundation for Research and Technology—Hellas (FORTH) Institute of Computer Science (ICS) Sound source localization and isolation apparatuses, methods and systems
EP2809087A1 (en) * 2013-05-29 2014-12-03 GN Resound A/S An external input device for a hearing aid
EP2840807A1 (en) * 2013-08-19 2015-02-25 Oticon A/s External microphone array and hearing aid using it
US9681246B2 (en) 2014-02-28 2017-06-13 Harman International Industries, Incorporated Bionic hearing headset
CN107211225B (zh) 2015-01-22 2020-03-17 索诺瓦公司 听力辅助系统
EP3254453B1 (en) * 2015-02-03 2019-05-08 Dolby Laboratories Licensing Corporation Conference segmentation based on conversational dynamics
AU2016218989B2 (en) 2015-02-13 2020-09-10 Noopl, Inc. System and method for improving hearing
TWI579835B (zh) 2015-03-19 2017-04-21 絡達科技股份有限公司 音效增益方法
DK3101919T3 (da) 2015-06-02 2020-04-06 Oticon As Peer-to-peer høresystem
DE102015210652B4 (de) * 2015-06-10 2019-08-08 Sivantos Pte. Ltd. Verfahren zur Verbesserung eines Aufnahmesignals in einem Hörsystem
GB2540226A (en) 2015-07-08 2017-01-11 Nokia Technologies Oy Distributed audio microphone array and locator configuration
US9769563B2 (en) 2015-07-22 2017-09-19 Harman International Industries, Incorporated Audio enhancement via opportunistic use of microphones
JP6665379B2 (ja) * 2015-11-11 2020-03-13 株式会社国際電気通信基礎技術研究所 聴覚支援システムおよび聴覚支援装置
EP3440848B1 (en) 2016-04-07 2020-10-14 Sonova AG Hearing assistance system
EP3285500B1 (en) * 2016-08-05 2021-03-10 Oticon A/s A binaural hearing system configured to localize a sound source
US9848273B1 (en) * 2016-10-21 2017-12-19 Starkey Laboratories, Inc. Head related transfer function individualization for hearing device

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8314829B2 (en) * 2008-08-12 2012-11-20 Microsoft Corporation Satellite microphones for improved speaker detection and zoom

Also Published As

Publication number Publication date
US11457308B2 (en) 2022-09-27
WO2019233588A1 (en) 2019-12-12
EP3804358A1 (en) 2021-04-14
US20210235189A1 (en) 2021-07-29
CN112544089A (zh) 2021-03-23

Similar Documents

Publication Publication Date Title
CN112544089B (zh) 提供具有空间背景的音频的麦克风设备
US10431239B2 (en) Hearing system
US10123134B2 (en) Binaural hearing assistance system comprising binaural noise reduction
US9930456B2 (en) Method and apparatus for localization of streaming sources in hearing assistance system
EP3248393B1 (en) Hearing assistance system
US9307331B2 (en) Hearing device with selectable perceived spatial positioning of sound sources
CN109640235B (zh) 利用声源的定位的双耳听力系统
US20190289410A1 (en) Binaural hearing system and method
JP6193844B2 (ja) 選択可能な知覚空間的な音源の位置決めを備える聴覚装置
US11805364B2 (en) Hearing device providing virtual sound
CN114208214B (zh) 增强一个或多个期望说话者语音的双侧助听器系统和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant