CN116965056A - 具有用于波束成形的环形麦克风阵列的耳装式听音设备 - Google Patents

Abstract

一种耳装式听音设备包括麦克风的自适应相控阵、扬声器和电子器件。麦克风被物理地布置成环形图案，以捕获从环境发出的声音。麦克风中的每一个被配置为输出多个第一音频信号中的表示由麦克风中的相应一个捕获的声音的一个第一音频信号。扬声器被布置为将音频发射到耳朵中。电子器件耦合到自适应相控阵和扬声器，并且包括逻辑，该逻辑在被执行时使耳装式听音设备接收标识用于消除或放大的第一声音的用户输入、基于用户输入操纵自适应相控阵的零位或波瓣并且基于第一音频信号中的一个或多个的组合生成驱动扬声器的第二音频信号。

Description

具有用于波束成形的环形麦克风阵列的耳装式听音设备

技术领域

本公开总体上涉及耳装式听音设备。

背景技术

安装在耳朵上的听音设备包括耳机，这是佩戴在用户耳朵上或耳朵周围的一对扬声器。罩耳式耳机使用用户头顶上的带子将扬声器固定在用户耳朵上方或耳朵中。另一种安装在耳朵上的听音设备被称为耳塞或听筒，并且包括插入用户耳道中的个体单片单元。

随着个人电子设备使用的增加，耳机和耳塞都变得越来越普遍。例如，人们使用耳机连接到他们的手机来播放音乐、收听播客、拨打/接听电话或其他方面。然而，耳机设备目前并不是为全天佩戴而设计的，因为它们的存在阻止外部噪音进入耳道，而没有在用户需要时听到外部世界的便利。因此，用户需要移除设备以听到对话、安全地穿过街道等。

听力损失的人的助听器是耳装式听音设备的另一个示例。这些设备通常用于放大环境声音。虽然这些设备通常全天佩戴，但它们往往无法准确再现环境提示，因此佩戴者难以定位再现的声音。因此，助听器在各种环境中全天佩戴也有一定的缺点。此外，常规的助听器设计是旨在放大直接从用户面前发出的任何声音的固定设备。然而，围绕用户的听觉场景可能更复杂，并且用户的听音欲望可能不像仅仅放大直接在用户面前发出的声音那么简单。

对于上述任何一种耳装式听音设备，单片实施方式是常见的。这些单片设计不容易为最终用户专门定制，并且如果损坏，则需要以更大的费用更换整个设备。因此，需要一种能够在各种听觉场景中提供全天舒适的动态且多用途的耳装式听音设备。

附图说明

参考以下附图描述本发明的非限制性和非穷举性实施例，其中，除非另有说明，否则贯穿各个视图，相同的附图标记指代相同的部分。并非元素的所有实例都必须进行标记，以免在适当的情况下混淆附图。附图不一定是按比例绘制的，而是强调图示所描述的原理。

图1A是根据本公开的一个实施例的耳装式听音设备的前透视图示。

图1B是根据本公开的一个实施例的耳装式听音设备的后透视图示。

图1C图示根据本公开的一个实施例的当佩戴时插入耳道中的耳装式听音设备。

图1D图示根据本公开的一个实施例的双耳听音系统，其中每个耳装式听音设备的自适应相控阵经由无线通信信道链接。

图1E图示根据本公开的一个实施例的声学波束成形，以选择性地操纵链接的自适应相控阵的零位(null)或波瓣(lobe)。

图2是根据本公开的一个实施例的耳装式听音设备的分解图。

图3是图示根据本公开的一个实施例的耳装式听音设备的选择功能部件的框图。

图4是图示根据本公开的一个实施例的耳装式听音设备的操作的流程图。

图5A和图5B图示根据本公开的一个实施例的耳装式听音设备的电子器件封装件，该电子器件封装件包括以环形图案围绕主电路板设置的麦克风阵列。

图6A和6B图示根据本公开的一个实施例的经由环绕主电路板的柔性周向带状物相互链接成环形图案的个体麦克风基板。

图7是图示根据本公开的一个实施例的用于链接双耳听音系统的自适应相控阵以实施声学波束成形的过程的流程图。

具体实施方式

本文描述了具有能够执行声学波束成形的麦克风阵列的耳装式听音设备的系统、装置和操作方法的实施例。在以下描述中，阐述了许多具体细节以提供对各实施例的贯彻理解。然而，相关领域的技术人员将认识到，可以在没有一个或多个具体细节的情况下，或者使用其他方法、部件、材料等来实践本文所描述的技术。在其他实例中，为了避免混淆某些方面，未详细示出或描述公知的结构、材料或操作。

贯穿说明书对“一个实施例”或“实施例”的引用意味着结合该实施例描述的特定特征、结构或特性被包括在本发明的至少一个实施例中。因此，贯穿说明书在各个地方出现的短语“在一个实施例中”或“在实施例中”不一定都指同一实施例。此外，在一个或多个实施例中，特定特征、结构或特性可以以任何合适的方式组合。

图1A-图1C图示根据本公开的一个实施例的耳装式听音设备100。在各种实施例中，耳装式听音设备100(本文中也称为“耳朵设备”)能够促进各种听觉功能，包括无线连接到多个音频源(和/或在多个音频源之间切换)(例如，到个人计算设备的蓝牙连接等)以向用户提供耳内音频，控制现实世界的音量(例如，调制噪声消除和透明度)，提供言语听力增强，定位环境声音以进行空间选择性消除和/或放大，以及甚至将听觉虚拟对象(例如，听觉助手或其他数据源作为言语或听觉图标)呈现出来。耳装式听音设备100适合全天佩戴。当用户期望阻挡外部环境声音时，机械设计和形状因子以及主动噪声消除可以提供实质性的外部噪声抑制(例如，40至50dB)。当用户期望与他们的环境进行自然的听觉交互时，耳装式听音设备100可以通过重新确立用户的自然头部相关传递函数(HRTF)来提供接近(或完美)的感知透明度，从而保持声音的空间感和在环境中定位声音起源的能力。当用户期望听觉辅助或改善时，耳装式听音设备100可以能够进行声学波束成形，以抑制或消除有害声音，同时增强其他声音。听觉增强可以是空间感知的，并且能够进行幅度和/或频谱增强，以促进具体的用户功能(例如，增强起源于具体方向的具体语音频率，同时抑制其他背景噪声)。在一些实施例中，机器学习原理甚至可以应用于声音分离和信号强化。

图1D和图1E图示一对耳装式听音设备100如何可以经由无线通信信道110链接以形成双耳听音系统101。每个耳朵设备100的自适应相控阵或麦克风阵列可以用其自己的不同声学增益模式115单独操作，或者被链接以形成产生链接的声学增益模式120的链接的自适应相控阵。作为链接的自适应相控阵操作的双耳听音系统101在麦克风之间提供了比单独在每个耳装式听音设备100内的麦克风更大的物理分离。这种更大的物理分离促进将声学波束成形改进到比单个耳朵设备100能够实现的更低的频率。在一个实施例中，耳间分离使得能够在人类语音的基频(f0)处进行波束成形。例如，成年男性具有范围在100–120Hz之间的基频，而成年女性人类语音的f0通常高出一个八度，并且儿童具有约为300Hz的f0。本文所描述的实施例在双耳听音系统101的麦克风阵列之间提供了足够的物理分离，以当自适应相控阵跨配对的耳朵设备100链接时，在具有与成年男性人类语音以及成年女性和儿童语音的f0一样低的f0的环境中定位声音。

图1E进一步图示每个耳朵设备100的麦克风阵列如何个体地或当被链接时作为自适应相控阵操作，该自适应相控阵能够响应于用户命令实时地或按需地对声音进行选择性的空间过滤。空间过滤是经由操纵声学增益模式120的零位125或波瓣130的声学波束成形来实现的。如果波瓣130被操纵在声音的唯一性来源135的方向上，则唯一性来源135相对于背景噪声水平被放大或以其他方式升高。另一方面，如果零位125被操纵朝向声音的唯一性来源140，则唯一性来源140相对于背景噪声水平被消除或以其他方式衰减。

零位125和/或波瓣135的操纵是通过对施加到从麦克风阵列中的每个麦克风输出的音频信号的权重(例如，增益或幅度)或相位延迟的自适应调整来实现的。相控阵是自适应的，因为这些权重或相位延迟不是固定的，而是动态调整的，或者由于隐式用户输入而自动调整，或者响应于显式用户输入按需调整。声学增益模式120本身可以经由对权重和相位延迟的适当调整而被调整为具有可变数量和形状的零位125和波瓣130。这使得双耳听音系统101能够在相对于用户的可变数量的不同取向上消除和/或放大可变数量的唯一性来源135、140。例如，双耳听音系统101可以适于衰减直接在用户前方的唯一性来源140，同时放大位于用户后方或侧面的唯一性来源或使其通过。

参考图2，耳装式听音设备100具有模块化设计，包括电子器件封装件205、声学封装件210和软耳接口215。这三个部件可由最终用户分离，从而允许在任何一个部件丢失或损坏时进行个体更换。电子器件封装件205的图示实施例具有冰球状形状，并且包括用于捕获外部环境声音的麦克风阵列以及设置在主电路板上用于数据处理、信号操纵、通信、用户接口和感测的电子器件。在一些实施例中，主电路板具有带有中心孔的环形盘形状，以提供紧凑、薄或紧贴耳朵的形状因子。

声学封装件210的图示实施例包括一个或多个扬声器212，并且在一些实施例中，包括用于捕获经由耳道入射的用户噪声的内部麦克风213，以及旋转用户接口的机电部件。声学封装件210的远端可以包括圆柱形柱220，该圆柱形柱220滑动到电子器件封装件205的近侧上的圆柱形端口207中并与其耦合。在电子器件封装件205内的主电路板是环形盘的实施例中，圆柱形端口207与中心孔对准(例如，参见图6B)。主电路板的环形形状和圆柱形端口207促进(一个或多个)扬声器212与直接在通向耳道的开口的前面的电子器件封装件205内的麦克风阵列的紧凑堆叠，从而使得扬声器212能够更直接地定向到耳道的轴线。内部麦克风213可以设置在声学封装件210内并电耦合到电子器件封装件205内的电子器件以用于音频处理(图示)，或者设置在电子器件封装件205内，其中声管铅锤(plumbed)穿过圆柱形柱220并延伸到端口235中的一个(未图示)。内部麦克风213可以被屏蔽并定向为集中于经由耳道起源的用户声音。此外，内部麦克风213还可以是用于驱动耳朵闭塞效应的消除的音频反馈控制回路的一部分。

柱220可以机械地和/或磁性地保持在适当位置，同时允许电子器件封装件205相对于声学封装件210和软耳接口215绕中心轴向轴线225旋转。电子器件封装件205相对于声学封装件210的这种旋转实现了旋转用户接口。机械/磁性连接促进旋转棘爪(例如，8、16、32)，其在用户用手指旋转电子器件封装件205时提供力反馈。围绕柱220周向设置的电迹线环230为在电子器件封装件205和声学封装件210之间传送的电力和数据信号提供电接触。在其他实施例中，可以取消柱220，以利于使用平坦圆形盘来在电子器件封装件205和声学封装件210之间进行接口连接。

软耳接口215由柔性材料(例如，硅、柔性聚合物等)制成，并且具有插入到用户的外耳和耳道中以机械地将耳装式听音设备100保持在适当位置(例如，经由摩擦或弹性力配合)的形状。软耳接口215可以是定制的模制件(或以有限数量的尺寸制造)，以适应不同的外耳和耳道尺寸/形状。软耳接口215提供舒适的配合，同时机械地密封耳朵以抑制或衰减外部声音到耳道中的直接传播。软耳接口215包括内部空腔，该内部空腔成形为接收声学封装件210的近端并将声学封装件210牢固地保持在其中，从而使端口235与耳内孔240对准。柔性凸缘245将软耳接口215密封到电子器件封装件205的背面，从而包住声学封装件210并保持湿气远离声学封装件210。尽管未图示，但在一些实施例中，声学封装件210的远端可以包括环绕端口235的倒钩脊，该倒钩脊摩擦配合或“恰好吻合”到软耳接口215内的配对凹陷特征中。

图1C图示耳装式听音设备100是如何由用户的耳朵保持、安装到用户的耳朵或以其他方式设置在用户的耳朵中的。如图所示，软耳接口215被成形为保持耳装式听音设备100，其中中心轴向轴线225基本上落在冠状面105内(例如，在20度内)。如下面更详细地讨论的，麦克风阵列以基本上落在用户的矢状面106内的环形图案围绕中心轴向轴线225延伸。当佩戴耳装式听音设备100时，电子器件封装件205被保持靠近耳朵的耳廓并且沿着耳廓平面、靠近耳廓平面或在耳廓平面内对准。将电子器件封装件205保持靠近耳廓不仅提供了期望的工业设计(相对于进一步向外的突起)，而且还可以对用户的HRTF具有较小的影响，或者更容易地对用户的HRTF增添可定义/可表征的影响，为此可以实现偏移校准。如前所述，主电路板中的中心孔连同圆柱形端口207促进电子器件封装件205的这种紧密安装，尽管将扬声器212沿中心轴向轴线225在电子器件封装件205和耳道之间直接安装在耳道前面。

图3是图示根据本公开的一个实施例的耳装式听音设备100的选择功能部件300的框图。部件300的图示实施例包括设置在电子器件封装件205内的麦克风310的自适应相控阵305和主电路板315，而(一个或多个)扬声器320设置在声学封装件205内。主电路板315包括设置在其上的各种电子器件，包括计算模块325、存储器330、传感器335、电池340、通信电路系统345和接口电路系统350。图示实施例还包括设置在声学封装件205内的内部麦克风355。外部遥控器360(例如，手持设备、智能环等)经由通信电路系统345无线耦合到耳装式听音设备100(或双耳听音系统101)。虽然未图示，但是声学封装件205还可以包括用于数字信号处理(DSP)的一些电子器件，诸如包含用于数模(DAC)转换和EQ处理的信号解码器和DSP处理器、双放大交叉(bi-amped crossover)以及各种自动噪声消除和闭塞处理逻辑的印刷电路板(PCB)。

在一个实施例中，麦克风310围绕主电路板315的周边以环形图案(例如，圆形阵列、椭圆形阵列等)布置。主电路板315本身可以具有平坦盘形状，并且在一些实施例中，是带有中心孔的环形盘。将多个麦克风310绕用户头部侧面的平坦盘安装用于耳装式听音设备具有许多优点。然而，这种布置的一个限制是平坦盘限制了利用所述盘所占据的空间所能做的事情。如果有必要或期望将扬声器(诸如扬声器320(或扬声器212))定向在与听道同轴线的轴线上，这将成为一个显著的限制，因为这可能会使平坦盘(并因此电子器件封装件205)从耳朵非常突出。在双耳听音系统的用例中，电子器件封装件205显著突出超过耳廓平面甚至可能扭曲声音到达每个耳朵的自然时间，并进一步扭曲空间感知和用户的HRTF，这可能超出可校准的校正范围。将所述盘形成为环形(或圆环)使得扬声器320(或多个扬声器212)的驱动器能够通过主电路板315突出，从而使得扬声器320能够与听道的入口更直接地定向/对准。

麦克风310可以各自设置在它们自己的个体麦克风基板上。每个麦克风310的麦克风端口可以绕中心轴向轴线225以基本上相等的角度增量间隔开。在图3中，16个麦克风310被等距地间隔开；然而，在其他实施例中，更多或更少的麦克风可以绕中心轴向轴线225以环形图案分布(均匀地或不均匀地)。

计算模块325可以包括可编程微控制器，其执行存储在存储器330中的软件/固件逻辑、硬件逻辑(例如，专用集成电路、现场可编程门阵列等)或两者的组合。尽管图3将计算模块325图示为单个集中式资源，但是应当理解，计算模块325可以表示跨主电路板315上的多个硬件元件设置的多个计算资源，并且这些计算资源互操作以共同编排其他功能部件的操作。例如，计算模块325可以执行逻辑以打开/关闭耳装式听音设备100，监测电池340(例如，锂离子电池等)的荷电状态，将无线连接配对和解除配对，在多个音频源之间切换，执行从接口电路系统350接收到的播放、暂停、跳过和音量调整命令，开始多路通信会话(例如，经由无线耦合的电话发起电话呼叫)，控制传递到扬声器320的真实世界环境的音量(例如，调制噪声消除和感知透明度)，启用/禁用言语增强模式，启用/禁用智能音量模式(例如，调整最大音量阈值和噪声下限)，或其他方面。在一个实施例中，计算模块325包括经训练的神经网络。

传感器335可以包括各种传感器，诸如惯性测量单元(IMU)，该IMU包括三轴加速度计、磁力计(例如，罗盘)或陀螺仪中的一个或多个。通信接口345可以包括一个或多个无线收发器，该无线收发器包括近场磁感应(NFMI)通信电路系统和天线、超宽带(UWB)收发器、WiFi收发器、射频识别(RFID)反向散射标签、蓝牙天线或其他方面。接口电路系统350可以包括跨电子器件封装件205的远侧表面设置的电容式触摸传感器以支持在冰球状表面的外部部分上的触摸命令和手势，以及旋转用户接口(例如，旋转编码器)以通过旋转电子器件封装件205的冰球状表面来支持旋转命令。还可以实施通过按压电子器件封装件205来操作的机械按钮接口。

图4是图示根据本公开的一个实施例的用于耳装式听音设备100的操作的过程400的流程图。一些或所有过程框出现在过程400中的顺序不应被认为是限制性的。相反，受益于本公开的本领域普通技术人员将理解，一些过程框可以以未图示的各种顺序执行，或者甚至并行执行。

在过程框405中，用麦克风310捕获来自外部环境的入射到阵列305上的声音。由于多个麦克风310及其物理分离，声音的空间感或空间信息也被捕获(过程框410)。通过将麦克风310组织成以相等角度增量绕中心轴向轴线225的环形图案(例如，圆形阵列)，麦克风310的空间分离对于给定区域被最大化，从而改进了可以由计算模块325从阵列305提取的空间信息。在双耳听音系统101与链接的麦克风阵列一起操作的用例中，可以从一对耳朵设备100中提取与耳间差相关的附加空间信息。例如，可以测量入射在用户的每个耳朵上的声音的耳间时间差，以提取空间信息。可以在用户的耳朵之间分析程度(或音量)差提示。还可以分析用户耳朵之间的频谱整形差。该耳间空间信息是除了可以跨单个麦克风阵列305测量的耳内时间和频谱差之外的信息。所有这些空间信息都可以由双耳对的自适应相控阵305捕获，并从用户环境发出的入射声音中提取。

空间信息包括跨由每个麦克风310捕获的声音的声学频谱的幅度和相位延迟的多样性以及每个麦克风的相应位置。在一些实施例中，麦克风310的数量及其物理分离(在单个耳装式听音设备内以及跨佩戴在一起的双耳对耳装式听音设备)可以捕获带有足够空间多样性的空间信息，以在用户环境内定位声音的起源。计算模块325可以使用该空间信息来重新创建用于驱动(一个或多个)扬声器320的音频信号，该音频信号保留原始声音的空间感(以跨可听频谱范围施加的相位延迟和幅度的形式)。在一个实施例中，计算模块325是经训练以利用空间信息并重新确立或以其他方式保留用户的自然HRTF的神经网络，使得用户的大脑在佩戴耳装式听音设备100时不需要重新学习新的HRTF。虽然人类的大脑能够在一定范围内重新学习新的HRTF，但这种训练可能需要一周以上的不间断学习。由于耳装式听音设备100(或双耳听音系统101)的用户将被预期在某些日子佩戴该设备而不在其他日子佩戴该设备，或者仅在一天中的一部分时间佩戴该设备，因此保留/重新确立用户的自然HRTF可以帮助避免使用户迷失方向，并减少采用新技术的障碍。

在判定框415中，如果感测到任何用户输入，则过程400继续到过程框420和425，在这些框中登记(register)任何用户命令。在过程框420中，用户命令可以是触摸命令(例如，经由设置在电子器件封装件205中的电容式触摸传感器或机械按钮)、运动命令(例如，经由电子器件封装件205中的运动传感器感测到的头部运动或节点)、语音命令(例如，经由内部麦克风355或自适应相控阵305感测到的自然语言或嗓音声响)、经由外部遥控器360发出的遥控命令或经由设置在耳朵设备100中或上的脑电波传感器/电极感测到的脑电波(过程框420)。触摸命令甚至可以被接收为电子器件封装件205的远侧表面上的触摸手势。用户命令还可以包括经由旋转电子器件封装件205接收到的旋转命令(过程框425)。可以使用IMU感测每个旋转棘爪来确定旋转命令。可替代地(或附加地)，自适应相控阵305可以用于感测电子器件封装件205的旋转取向，并因此实施旋转编码器。例如，用户自己的语音起源于相对于用户耳朵的已知固定位置。这样，麦克风310的阵列可以用于执行声学波束成形，以定位用户的语音并确定阵列305的绝对旋转取向。由于用户可能在操作旋转接口时不说话，因此声学波束成形和定位可以是周期性校准，而IMU或其他旋转编码器用于旋转运动的即时登记。在登记用户命令后，计算模块325选择适当的功能，诸如音量调整、跳过/暂停歌曲、接受或结束电话呼叫、进入增强语音模式、进入主动噪声消除模式、进入声学波束操纵模式或其他方面(过程框430)。

一旦用户旋转电子器件封装件205，自适应相控阵305中的每个麦克风310的角位置就改变。这需要HRTF的旋转补偿或变换，以维持自适应相控阵305捕获的空间信息的有意义的状态信息。因此，在过程框435中，计算模块325应用适当的旋转变换矩阵来补偿每个麦克风310的新位置。再者，在一个实施例中，来自IMU的输入可以用于应用瞬时变换，并且声学波束成形技术可以用于在用户说话时应用周期性的重新校准/验证。在使用声学波束成形来确定自适应相控阵305的绝对角位置的用例中，旋转接口中的棘爪的最大数量与自适应相控阵305中的麦克风310的数量相关，以使得能够使用声学波束形成来针对每个棘爪消除角位置歧义。

在过程框440中，自适应相控阵305捕获的音频数据和/或空间信息可以由计算模块325用于应用各种音频处理功能(或实施在过程框430中选择的其他用户功能)。例如，用户可以旋转电子器件封装件205以指定用于声学波束成形的角度方向。该角度方向可以相对于用户的前方来选择，以定位零位125(用于选择性地减弱不想要的声音)或最大波瓣130(用于选择性放大期望的声音)。其他音频功能可以包括过滤频谱分量以增强会话、调整主动噪声消除的量、调整感知透明度等。

在过程框445中，由自适应相控阵305捕获的音频信号中的一个或多个被智能地组合以生成用于驱动(一个或多个)扬声器320的音频信号(过程框450)。从自适应相控阵305输出的音频信号可以被组合和数字处理，以实施各种处理功能。例如，计算模块325可以分析从每个麦克风310输出的音频信号，以识别一个或多个“幸运麦克风”。幸运麦克风是那些由于其物理位置而碰巧获得具有比其他麦克风更小的噪声(例如，掩蔽风噪声)的音频信号的麦克风。如果识别出幸运麦克风，则从该麦克风310输出的音频信号可以被更重地加权，或者以其他方式有利于生成驱动扬声器320的音频信号。从其他较不幸运的麦克风310提取的数据仍然可以被分析并用于其他处理功能，诸如定位。

在一个实施例中，由计算模块325执行的处理可以保留用户的自然HRTF，从而保留他们定位原始环境声音起源于的物理方向的能力。换句话说，尽管用户正在听从扬声器320发射的那些声音的再生版本这一事实，但用户将能够识别起源于其环境中的声音的方向性来源。从扬声器320发射的声音以用户的大脑能够忠实地在其环境中定位声音的方式重新创建原始环境声音的空间感。在一个实施例中，自然HRTF的重新确立是使用机器学习技术和经训练的神经网络实施的经校准特征。在其他实施例中，自然HRTF的重新确立是经由传统的信号处理技术和听众的原始HRTF的一些算法驱动的分析来实施的。

图5A和图5B图示根据本公开的一个实施例的电子器件封装件500。电子器件封装件500表示图2中图示的电子器件封装件205的示例内部物理结构实施方式。图5A是电子器件封装件500的横截面图示，而图5B是排除了盖525的电子器件封装件500的透视图示。电子器件封装件500的图示实施例包括麦克风阵列505、主电路板510、壳体或框架515、盖525和旋转端口527。阵列505内的每个麦克风被设置在个体麦克风基板526上，并且包括麦克风端口530。

图5A和图5B图示阵列505如何围绕中心轴向轴线225延伸。此外，在所图示的实施例中，阵列505围绕主电路板510的周边延伸。尽管未图示，但主电路板510包括设置在其上的电子器件，诸如计算模块325、存储器330、传感器335、通信电路系统345和接口电路系统350。主电路板510被图示为具有圆形形状的实心盘；然而，在其他实施例中，主电路板510可以是带有中心孔的环形盘，柱220延伸穿过该中心孔以容纳与耳道入口对准的声学驱动器的突起。在所图示的实施例中，主电路板510的表面法线平行于中心轴向轴线225并与中心轴向轴线225对准，阵列505的环形图案绕中心轴向轴线225延伸。

电子器件可以设置在主电路板510的一侧或两侧上，以最大化可用的基板面。壳体515提供了刚性机械框架，其他部件附接到该刚性机械框架。盖525在壳体515的顶部上滑动以封闭和保护内部部件。在一个实施例中，电容式触摸传感器在盖525下方设置在壳体515上，并耦合到主电路板510上的电子器件。盖525可以实施为允许声波不受阻碍地通过的网状材料，并且由与电容式触摸传感器兼容的材料(例如，非导电电介质材料)制成。

如图5A和图5B所图示的，阵列505环绕主电路板510的周边，其中每个麦克风设置在个体麦克风基板526上。在所图示的实施例中，麦克风端口530绕中心轴向轴线225以基本上相等的角度增量间隔开。当然，也可以实施其他不相等的间隔。个体麦克风基板526是竖直(在附图中)或垂直于主电路板510并平行于中心轴向轴线225定向的平面基板。然而，在其他实施例中，个体麦克风基板可以相对于中心轴向轴线225和主电路板510的法线倾斜。当然，麦克风阵列可以采用电子器件封装件205内的其他位置和/或取向。

图5A图示主电路板510是没有中心孔的实心盘的实施例。在该实施例中，声学封装件210的柱220延伸到旋转端口527中，但不延伸穿过主电路板510。旋转端口527的内表面可以包括用于将声学封装件210保持在其中的磁体和用于与电迹线环230进行电连接的导电触点。当然，在其他实施例中，主电路板510可以是带有中心孔605的环，该中心孔允许柱230进一步延伸到电子器件封装件205中，从而实现更薄的轮廓设计。主电路板510中的中心孔为直接对准用户耳道的入口的前面的声学封装件205的柱220内的较大声学驱动器提供了附加的空间或深度。

图6A和图6B图示根据本公开的一个实施例的经由环绕主电路板615的柔性周向带状物610互连成环形图案的个体麦克风基板605。图6A和图6B图示电子器件封装件205或500的一些内部部件的一种可能的实施方式。如图6A所示，个体麦克风基板605可以被安装在柔性周向带状物610上，同时被平坦地展开。连接突出部(tab)620向主电路板615上的电子器件提供数据和电力连接。在将个体麦克风基板605组装并安装到带状物610上之后，将其弯曲到围绕主电路板615延伸的周向位置，如图6B所示。作为一个示例，主电路板615被图示为带有中心孔625的环形，以接受柱220(或从其突出的部件)。此外，用于一对耳朵设备100之间的近场通信的个体电子芯片630(仅标记了一部分)和周边环形天线635仅被图示为示范性实施方式。当然，可以实施用于麦克风605和麦克风基板610的其他安装配置。

图7是图示根据本公开的一个实施例的用于链接双耳听音系统101的自适应相控阵以实施声学波束成形的过程的流程图。一些或所有过程框出现在过程700中的顺序不应被认为是限制性的。相反，受益于本公开的本领域普通技术人员将理解，一些过程框可以以未图示的各种顺序执行，或者甚至并行执行。

在过程框705中，在一对耳装式听音设备100之间建立无线通信信道110。无线通信信道110可以是由通信电路系统345通过天线635建立的高带宽NFMI信道。一旦耳朵设备100被配对，它们的自适应相控阵305就可以被链接以形成更大的链接的自适应相控阵。链接的自适应相控阵不仅包括两倍多的个体麦克风310，而且在麦克风之间提供了更大的物理分离，并且因此能够在较低的声学频率下进行波束成形。

在过程框715中，从用户环境发出的声音用链接的自适应相控阵进行捕获并由计算模块325进行分析(过程框720)。该分析可以包括基于从每个麦克风310输出的音频信号的听觉场景分析。听觉场景分析用于识别环境中的唯一性来源135和140。听觉场景分析可以包括识别不同人类语音的唯一性基频，以识别在房间中说话的N个唯一性人。可以考虑许多因素来确定给定的频谱分量是否表示唯一性人类语音的基频。第一因素包括调和性。人类语音由基频f0及其谐波f1、f2、f3…组成。基频连同谐波的存在是唯一性来源的指示。如果基频连同其谐波在时间上对准(即同步开始和停止)，这是唯一性来源的又一个指示。基频连同其谐波的幅度的同步变化是唯一性来源的另一个指示。颤音(vibrato)(其中基频连同其谐波被一致地频率调制)的存在是有利于唯一性来源的又一个确认因素。谐波、时间对准、同步幅度调制和颤音器都可以由计算模块325考虑，以识别声音的唯一性来源，特别是唯一性人类语音。

在作为听觉场景分析的结果识别出N个唯一性来源的情况下，计算模块325可以继续定位这N个唯一性来源中的每一个(过程框725)。可以考虑许多因素来定位唯一性来源，包括：跨给定自适应相控阵310上的声音的耳内时间差、跨链接的自适应相控阵上的声音的耳间时间差(即，在不同的耳朵设备之间)、耳朵设备之间的程度差提示(即，给定的声音在一只耳朵处比另一只耳朵更大声)以及频谱整形差。频谱整形差基于与HRTF相同或相似的原理。

在识别和定位了唯一性来源的情况下，计算模块325可以适配或调整应用于从链接的麦克风的自适应相控阵列输出的音频信号的权重和相位延迟，以生成适当的声学增益模式120。该确定可以自动基于运行在计算模块325上的机器学习算法认为用户的期望是什么(即，基于隐含的用户命令)和/或响应于显式用户命令。无论是隐含的还是显式的，都考虑用户输入(判定框730和过程框735)。

用户输入可以从一个或多个输入机构获取，包括：触摸传感器、旋转接口、麦克风、运动传感器、外部遥控器360或脑电波传感器。触摸传感器可以登记手指敲击或其他手势。麦克风可以是内部麦克风355或麦克风阵列305，以登记嗓音命令。这些嗓音命令可以是自然语言命令或简单的声音(例如，用舌头制造的滴答声或爆裂声)。运动传感器可以包括用于在特定方向上登记头部节点的IMU。用于用户命令的各种输入机构可以传达方向性指令，诸如将起源于某个方向的噪声消音(mute)或放大来自另一个方向的声音。可替代地(或附加地)，用户命令可以传达用户希望消音或放大的声音的频谱特性。例如，用户可以传达使高频源(例如，使儿童语音消音)减少或消音同时放大低频源(例如，放大成人语音)的期望。在又一种情况下，用户命令可以传达用户希望消音或放大的声音的时间特性。在这种情况下，用户可能希望在放大语音的同时使有节奏的声音(例如，音乐)消音。当然，可以在过程框735中使用上述各种用户接口和传感器来传达这些用户命令的组合。

在过程框740中，计算模块325经由对从自适应相控阵305输出的音频信号适当应用权重和相位延迟来生成带有适当数量和位置的零位125和/或波瓣130的声学增益模式120，并且操纵零位125以与用户希望消音的本地化的唯一性来源一致，同时操纵波瓣130以与用户希望听到的本地化的唯一性来源一致(过程框740)。最后，在过程框745中，基于从链接的自适应相控阵输出的音频信号的经动态调整的组合来驱动扬声器320。

以上解释的过程是根据计算机软件和硬件来描述的。所描述的技术可以构成体现在有形或非暂时性机器(例如，计算机)可读存储介质内的机器可执行指令，当由机器执行时，该指令将使机器执行所描述的操作。此外，这些过程可以体现在硬件中，诸如专用集成电路(“ASIC”)或其他硬件中。

有形机器可读存储介质包括以机器(例如，计算机、网络设备、个人数字助理、制造工具、带有一组一个或多个处理器的任何设备等)可访问的非暂时形式提供(即，存储)信息的任何机构。例如，机器可读存储介质包括可记录/不可记录介质(例如，只读存储器(ROM)、随机存取存储器(RAM)、磁盘存储介质、光存储介质、闪存设备等)。

以上对本发明的图示实施例的描述，包括在摘要中描述的内容，并不旨在穷举或将本发明限制于所公开的精确形式。尽管本文出于说明的目的描述了本发明的具体实施例和示例，但如相关领域的技术人员将认识到的，在本发明的范围内可以进行各种修改。

可以根据上述详细描述对本发明进行这些修改。所附权利要求中使用的术语不应被解释为将本发明限制于说明书中公开的具体实施例。相反，本发明的范围将完全由所附权利要求来确定，这些权利要求将根据权利要求解释的既定原理来解释。

Claims (21)

1.一种耳装式听音设备，包括：

麦克风的自适应相控阵，所述麦克风的自适应相控阵被物理地布置成环形图案以捕获从环境发出的声音，其中，所述自适应相控阵的所述麦克风中的每一个被配置为输出多个第一音频信号中的表示由所述麦克风中的相应一个麦克风捕获的所述声音的一个第一音频信号；

扬声器，所述扬声器被布置为响应于第二音频信号将音频发射到耳朵中；以及

电子器件，所述电子器件耦合到所述自适应相控阵和所述扬声器，所述电子器件包括逻辑，所述逻辑在被所述电子器件执行时使所述耳装式听音设备执行包括下列项的操作：

接收标识从所述环境发出的所述声音中的用于消除或放大的第一声音的用户输入；

基于所述用户输入操纵所述自适应相控阵的零位或波瓣；并且

基于所述第一音频信号中的一个或多个生成驱动所述扬声器的所述第二音频信号。

2.根据权利要求1所述的耳装式听音设备，其中，所述环形图案包括圆形图案。

3.根据权利要求2所述的耳装式听音设备，其中，所述电子器件设置在具有圆形周边形状的电路板上，并且其中，所述麦克风以基本上相等的角度增量环绕所述电路板。

4.根据权利要求1所述的耳装式听音设备，其中，所述环形图案被布置在所述耳装式听音设备内以围绕中心轴向轴线延伸，当所述耳装式听音设备佩戴在用户的所述耳朵中时，所述中心轴向轴线基本上落在所述用户的冠状面内。

5.根据权利要求1所述的耳装式听音设备，其中，接收标识用于消除或放大的所述第一声音的所述用户输入包括：

接收所述用户输入作为与所述第一声音相对于所述耳装式听音设备的用户发出的位置相关联的方向的指示。

6.根据权利要求1所述的耳装式听音设备，其中，接收标识用于消除或放大的所述第一声音的所述用户输入包括：

接收所述用户输入作为与所述第一声音相关联的频谱或时间特性的指示。

7.根据权利要求1所述的耳装式听音设备，其中，所述电子器件包括运动传感器，并且标识所述第一声音的所述用户输入经由所述运动传感器被感测为头部运动。

8.根据权利要求1所述的耳装式听音设备，其中，标识所述第一声音的所述用户输入被感测为来自所述耳装式听音设备的用户的语音命令。

9.根据权利要求8所述的耳装式听音设备，进一步包括：

内部麦克风，所述内部麦克风耦合到所述电子器件并且在所述耳装式听音设备内定向，以在佩戴所述耳装式听音设备时集中于从耳道发出的用户声音，其中，所述语音命令经由所述内部麦克风接收。

10.根据权利要求1所述的耳装式听音设备，其中，标识所述第一声音的所述用户输入是经由外部遥控器或经由脑电波传感器接收的，所述脑电波传感器设置在所述耳装式听音设备中或上并且被定位为感测所述耳装式听音设备的用户的脑电波。

11.根据权利要求1所述的耳装式听音设备，其中，所述耳装式听音设备包括三个模块化部件，所述三个模块化部件包括：

电子器件封装件，所述电子器件封装件具有冰球状形状并且包括设置在其中的所述自适应相控阵和所述电子器件；

软耳接口，所述软耳接口由柔性材料制成并且具有至少部分插入所述耳朵的耳道中的形状；以及

声学封装件，所述声学封装件包括所述扬声器，所述声学封装件成形为至少部分地插入到所述软耳接口中并且将所述软耳接口连接到所述电子器件封装件。

12.根据权利要求11所述的耳装式听音设备，其中，所述电子器件封装件包括电容式触摸传感器，并且相对于所述声学封装件旋转以提供旋转用户接口，其中，标识所述第一声音的所述用户输入经由所述电容式触摸传感器或所述旋转用户接口中的一个或其组合接收。

13.根据权利要求1所述的耳装式听音设备，其中，所述耳装式听音设备进一步包括耦合到所述电子器件的天线，其中，所述耳装式听音设备包括双耳听音系统的第一耳朵设备并且所述自适应相控阵包括第一自适应相控阵，并且其中，所述电子器件包括进一步的逻辑，所述进一步的逻辑在由所述电子器件执行时使所述耳装式听音设备执行包括下列项的进一步的操作：

经由所述天线与所述双耳听音系统的第二耳朵设备建立通信信道；并且

通过所述通信信道将所述第一自适应相控阵与所述第二耳朵设备的第二自适应相控阵链接以形成链接的自适应相控阵。

14.根据权利要求13所述的耳装式听音设备，其中，所述电子器件包括进一步的逻辑，所述进一步的逻辑在被所述电子器件执行时使所述耳装式听音设备执行包括下列项的进一步的操作：

用所述链接的自适应相控阵分析从所述环境发出的所述声音，以定位从所述环境发出的所述声音。

15.根据权利要求14所述的耳装式听音设备，其中，用所述链接的自适应相控阵分析所述声音以定位所述声音包括定位具有成年男性人类语音的基频的声音。

16.根据权利要求13所述的耳装式听音设备，其中，所述电子器件包括进一步的逻辑，所述进一步的逻辑在被所述电子器件执行时使所述耳装式听音设备执行包括下列项的进一步的操作：

基于所述第一音频信号执行听觉场景分析，以识别从所述环境发出的所述声音的唯一性来源；

基于以下中的一个或多个在所述环境内定位所述唯一性来源中的每一个：

跨所述第一自适应相控阵的所述声音的耳内时间差；

跨所述第一自适应相控阵和所述第二自适应相控阵的所述声音的耳间时间差；或

所述第一自适应相控阵和所述第二自适应相控阵之间的电平差提示。

17.一种双耳听音系统，包括：

用于佩戴在用户的第一耳朵中的第一耳装式听音设备，所述第一耳装式听音设备包括用于捕获从环境发出的声音的麦克风的第一自适应相控阵；以及

用于佩戴在所述用户的第二耳朵中的第二耳装式听音设备，所述第二耳装式听音设备包括：

麦克风的第二自适应相控阵，所述麦克风的第二自适应相控阵被物理地布置成环形图案以捕获所述声音；

扬声器，所述扬声器被布置为将音频发射到所述第二耳朵中；

天线；以及

电子器件，所述电子器件耦合到所述第二自适应相控阵、所述扬声器和所述天线，所述电子器件包括逻辑，所述逻辑在由所述电子器件执行时使所述双耳听音系统执行包括下列项的操作：

经由所述天线在所述第一耳装式听音设备和所述第二耳装式听音设备之间建立无线通信信道；

在所述无线通信信道上链接所述第一自适应相控阵和所述第二自适应相控阵以形成链接的自适应相控阵；并且

对所述链接的自适应相控阵进行波束成形，以提供对从所述环境发出的所述声音中的一个或多个的空间选择性消除或放大。

18.根据权利要求17所述的耳装式听音设备，其中，所述电子器件包括进一步的逻辑，所述进一步的逻辑在被所述电子器件执行时使所述双耳听音系统执行包括下列项的进一步的操作：

用所述链接的自适应相控阵分析从所述环境发出的所述声音，以在所述环境内定位所述声音。

19.根据权利要求18所述的耳装式听音设备，其中，用所述链接的自适应相控阵分析所述声音以定位所述声音包括定位具有成年男性人类语音的基频的声音。

20.根据权利要求17所述的耳装式听音设备，其中，所述电子器件包括进一步的逻辑，所述进一步的逻辑在被所述电子器件执行时使所述双耳听音设备执行包括下列项的进一步的操作：

用所述第一自适应相控阵或所述第二自适应相控阵执行听觉场景分析，以识别从所述环境发出的所述声音的唯一性来源；

基于以下中的一个或多个在所述环境内定位所述唯一性来源中的每一个：

跨所述第二自适应相控阵的所述声音的耳内时间差；

跨所述第一自适应相控阵和所述第二自适应相控阵的所述声音的耳间时间差；或

所述第一自适应相控阵和所述第二自适应相控阵之间的程度差提示。

21.根据权利要求17所述的耳装式听音设备，其中，所述电子器件设置在所述第二耳装式听音设备内的电路板上，所述电路板具有圆形周边形状，并且所述第二自适应相控阵的所述麦克风以基本上相等的角度增量环绕所述电路板。