CN103026735A

CN103026735A - 用于声学图像空间的经增强产生的系统、方法和设备

Info

Publication number: CN103026735A
Application number: CN2011800366807A
Authority: CN
Inventors: 埃里克·维瑟; 向佩
Original assignee: Qualcomm Inc
Current assignee: Qualcomm Inc
Priority date: 2010-07-26
Filing date: 2011-07-26
Publication date: 2013-04-03
Anticipated expiration: 2031-07-26
Also published as: CN103026735B; WO2012015843A1; KR20130055649A; US20120020480A1; JP5705980B2; KR101468343B1; US8965546B2; JP2013536630A

Abstract

本发明揭示用于使用经心理声学低音增强的信号来驱动扬声器阵列的方法、系统和设备。

Description

用于声学图像空间的经增强产生的系统、方法和设备

根据35U.S.C.§119主张优先权

本专利申请案主张2010年7月26日申请的标题为“用于低音增强扬声器阵列系统的系统、方法和设备(SYSTEMS，METHODS，AND APPARATUS FOR BASS ENHANCEDSPEAKER ARRAY SYSTEMS)”的第61/367,840号临时申请案的优先权，且所述临时申请案转让给本案受让人。本专利申请案还主张2011年5月6日申请的标题为“分布式和/或经心理声学增强的扬声器阵列系统(DISTRIBUTED AND/ORPSYCHOACOUSTICALLY ENHANCED LOUDSPEAKER ARRAY SYSTEMS)”的第61/483,209号临时申请案的优先权，且所述临时申请案转让给本案受让人。

技术领域

本发明涉及音频信号处理。

背景技术

波束成形是最初在传感器阵列(例如，麦克风阵列)中用于定向信号发射或接收的信号处理技术。通过使用固定或自适应接收/发射波束图案来实现此空间选择性。固定波束成形器的实例包含延迟相加波束成形器(DSB)和超方向性波束成形器，其中的每一者均为最小方差无失真响应(MVDR)波束成形器的特殊情况。

归因于声学的互易原理，用于产生声音拾取模式的麦克风波束成形器理论可应用于扬声器阵列，而不是实现声音投射模式。举例来说，可将波束成形理论应用于扬声器阵列，以将声音投射操纵到空间中的所要方向。

发明内容

一种根据一般配置的音频信号处理方法包含对第一音频信号进行空间处理以产生第一多个M个成像信号。此方法包含：对于所述第一多个M个成像信号中的每一者，将第一多个M个驱动信号中的对应一者施加到阵列的第一多个M个扬声器中的对应一者，其中所述驱动信号是基于所述成像信号。此方法包含：在谐波上扩展包含第一频率范围内的能量的第二音频信号以产生经扩展信号，所述经扩展信号包含所述第二音频信号在所述第一频率范围内的所述能量的在高于所述第一频率范围的第二频率范围内的谐波；以及对基于所述经扩展信号的经增强信号进行空间处理，以产生第二多个N个成像信号。此方法包含：对于所述第二多个N个成像信号中的每一者，将第二多个N个驱动信号中的对应一者施加到所述阵列的第二多个N个扬声器中的对应一者，其中所述驱动信号是基于所述成像信号。本发明还揭示具有有形特征的计算机可读存储媒体(例如，非暂时媒体)，所述有形特征致使读取所述特征的机器执行此方法

一种根据一般配置用于音频信号处理的设备包含：用于对第一音频信号进行空间处理以产生第一多个M个成像信号的装置；以及用于对于所述第一多个M个成像信号中的每一者将第一多个M个驱动信号中的对应一者施加到阵列的第一多个M个扬声器中的对应一者的装置，其中所述驱动信号是基于所述成像信号。此设备包含：用于在谐波上扩展包含第一频率范围内的能量的第二音频信号以产生经扩展信号的装置，所述经扩展信号包含所述第二音频信号在所述第一频率范围内的所述能量的在高于所述第一频率范围的第二频率范围内的谐波；以及用于对基于所述经扩展信号的经增强信号进行空间处理以产生第二多个N个成像信号的装置。此设备包含用于对于所述第二多个N个成像信号中的每一者将第二多个N个驱动信号中的对应一者施加到所述阵列的第二多个N个扬声器中的对应一者的装置，其中所述驱动信号是基于所述成像信号。

一种根据一般配置用于音频信号处理的设备包含：第一空间处理模块，其经配置以对第一音频信号进行空间处理以产生第一多个M个成像信号；以及音频输出级，其经配置以对于所述第一多个M个成像信号中的每一者，将第一多个M个驱动信号中的对应一者施加到阵列的第一多个M个扬声器中的对应一者，其中所述驱动信号是基于所述成像信号。此设备包含：谐波扩展模块，其经配置以在谐波上扩展包含第一频率范围内的能量的第二音频信号以产生经扩展信号，所述经扩展信号包含所述第二音频信号在所述第一频率范围内的所述能量的在高于所述第一频率范围的第二频率范围内的谐波；以及第二空间处理模块，其经配置以对基于所述经扩展信号的经增强信号进行空间处理以产生第二多个N个成像信号。在此设备中，所述音频输出级经配置以对于所述第二多个N个成像信号中的每一者，将第二多个N个驱动信号中的对应一者施加到所述阵列的第二多个N个扬声器中的对应一者，其中所述驱动信号是基于所述成像信号。

附图说明

图1展示将波束成形应用于扬声器阵列的一个实例。

图2展示用于MVDR波束成形器的波束成形器理论的实例。

图3展示相控阵列理论的实例。

图4展示针对BSS算法的一组初始条件的波束图案的实例，且图5展示使用有约束的BSS方法从那些初始条件产生的波束图案的实例。

图6展示针对十二扬声器的均匀线性阵列上设计有22kHz取样速率和零度的操纵方向的DSB(左)和MVDR(右)波束成形器的实例波束图案。

图7A展示锥型扬声器的实例。

图7B展示矩形扬声器的实例。

图7C展示十二扬声器的阵列的实例。

图8展示针对延迟相加波束成形器设计(左列)且针对MVDR波束成形器设计(右列)的振幅响应(顶部)、白噪声增益(中部)和方向性指数(底部)的图表。

图9A展示增强模块EM10的框图。

图9B展示增强模块EM10的实施方案EM20的框图。

图10A展示增强模块EM10的实施方案EM30的框图。

图10B展示增强模块EM10的实施方案EM40的框图。

图11展示音乐信号在PBE处理之前和之后的频谱的实例。

图12A展示根据一般配置的系统S100的框图。

图12B展示根据一般配置的方法M100的流程图。

图13A展示空间处理模块PM10的实施方案PM20的框图。

图13B展示设备A100的实施方案A110的框图。

图13C展示高通滤波器HP20的振幅响应的实例。

图14展示类似于设备A110的配置的框图。

图15展示掩蔽噪声的实例。

图16展示设备A100的实施方案A200的框图。

图17展示系统S100的实施方案S200的框图。

图18展示系统S200的应用的实例的俯视图。

图19展示非线性间隔的扬声器呈阵列的配置的图。

图20展示音频输出级AO20的实施方案AO30的混合功能的图。

图21展示音频输出级AO20的实施方案AO40的混合功能的图。

图22展示设备A100的实施方案A300的框图。

图23A展示针对用于三子阵列方案的处理路径的三种不同带通设计的实例。

图23B展示针对三子阵列方案的三种不同低通设计的实例。

图23C展示其中根据用于下一最低频带的子阵列的高通切断来选择用于较高频率子阵列中的每一者的低通滤波器的低频切断的实例。

图24A到24D展示扬声器阵列的实例。

图25展示其中三个源信号指向不同对应方向的实例。

图26展示其中波束指向用户的左耳且对应的空波束指向用户的右耳的实例。

图27展示其中波束指向用户的右耳且对应的空波束指向用户的左耳的实例。

图28展示渐减窗的实例。

图29到31分别展示使用左、右和中心变换器来在对应方向上投射的实例。

图32A到32C展示渐减对相控阵列扬声器波束成形器的辐射模式的影响。

图33展示相控阵列的理论波束图案的实例。

图34展示其中三个源信号指向不同对应方向的实例。

图35展示根据一般配置的方法M200的流程图。

图36展示根据一般配置的设备MF100的框图。

图37展示设备A100的实施方案A350的框图。

图38展示设备A100的实施方案A500的框图。

具体实施方式

除非受其上下文明确限制，否则术语“信号”在本文中用以指示其普通意义中的任一者，包括如在导线、总线或其它传输媒体上表达的存储器位置(或存储器位置集合)的状态。除非由其上下文明确限制，否则本文中使用术语“产生”来指示其普通意义中的任一者，例如计算或以另外方式产生。除非受其上下文明确地限制，否则术语“计算”在本文中用以指示其普通意义中的任一者，例如运算、评估、估计及/或从多个值中进行选择。除非由其上下文明确限制，否则使用术语“获得”来指示其普通意义中的任一者，例如计算、得出、接收(例如，从外部装置)及/或检索(例如，从存储元件阵列)。除非由其上下文明确限制，否则使用术语“选择”来指示其普通意义中的任一者，例如识别、指示、应用和/或使用一组两个或两个以上中的至少一个且少于全部。在术语“包括”用于本发明描述及权利要求书中的情况下，其不排除其它元件或操作。使用术语“基于”(如在“A基于B”中)来指示其普通意义中的任一者，包含情况(i)“从……得出”(例如，“B是A的前导”)，(ii)“至少基于”(例如，“A至少基于B”)；以及如果在特定上下文中为恰当，(iii)“等于”(例如，“A等于B”)。类似地，使用术语“响应于”来指示其普通意义中的任一者，包含“至少响应于”。

对多麦克风音频感测装置的麦克风的“位置”的参考指示麦克风的声学敏感面的中心的位置，除非上下文另有指示。根据特定上下文，术语“信道”有时用以指示信道路径，且其它时候用以指示此路径所运载的信号。除非另有指示，否则术语“系列”用来指示两个或两个以上项目的序列。使用术语“对数”来指示以十为底的对数，但此运算向其它底数的扩展在本发明的范围内。使用术语“频率分量”来指示信号的一组频率或频带中的一者，例如信号的频域表示的样本(例如，如由快速傅里叶变换产生)或信号的子带(例如，巴克(Bark)标度或梅尔(mel)标度子带)。

除非另外指出，否则对具有特定特征的设备的操作的任何揭示内容还明确地希望揭示具有类似特征的方法(且反之亦然)，且对根据特定配置的设备的操作的任何揭示内容还明确地希望揭示根据类似配置的方法(且反之亦然)。如由其特定上下文指示，可参考方法、设备和/或系统使用术语“配置”。一般地且可互换地使用术语“方法”、“过程”、“程序”和“技术”，除非特定上下文另有指示。一般地且可互换地使用术语“设备”和“装置”，除非特定上下文另有指示。通常使用术语“元件”和“模块”来指示较大配置的一部分。除非由其上下文明确限制，否则在本文中使用术语“系统”来指示其普通意义中的任一者，包含“交互以服务共同目的的元件群组”。参考文献的一部分的任何并入也将被理解为并入有所述部分内所参考的术语或变量的定义(其中此些定义出现在文献中的其它地方)以及所并入部分中所参考的任何图。

可将近场定义为离声音接收器(例如，麦克风阵列)小于一个波长的空间的区。根据此定义，到所述区的边界的距离与频率成反比而变化。举例来说，在两百、七百和两千赫兹的频率下，到单波长边界的距离分别为约170、49和17厘米。改为考虑近场/远场边界在距麦克风阵列的特定距离处(例如，距所述阵列的麦克风或距所述阵列的形心五十厘米，或距所述阵列的麦克风或距所述阵列的形心一米或1.5米)可能是有用的。

可使用波束成形通过在空间中产生可随时间而变化的听觉图像来增强用户体验，或可通过操纵音频朝向目标用户来向用户提供隐私模式。图1展示将波束成形应用于扬声器阵列R100的一个实例。在此实例中，驱动所述阵列以产生集中在用户的方向上的声能束，且在其它位置产生波束响应中的低谷。此方法可使用能够在所要方向上产生相长干扰(例如，在特定方向上操纵波束)同时在其它方向上产生相消干扰(例如，在另一方向上明确地产生空波束)的任何方法。

图2展示用于MVDR波束成形器的波束成形器理论的实例，MVDR波束成形器是超方向性波束成形器的实例。MVDR波束成形器的设计目标是最小化输出信号功率，其中约束min_WW^HΦ_XXW受制于W^Hd＝1，其中W表示滤波系数矩阵，Φ_XX表示扬声器信号的标准化交功率谱密度矩阵，且d表示操纵向量。此波束设计展示于图2的等式(1)中，其中d^T(如等式(2)中所表达)是线性阵列的远场模型，且T_VnVm(如等式(3)中所表达)是相干矩阵，其对角元素为1。在这些等式中，μ表示正则化参数(例如，稳定性因子)，θ₀表示波束方向，f_s表示取样速率，Ω表示信号的角频率，c表示音速，l表示邻近扬声器的辐射表面的中心之间的距离，l_nm表示扬声器n和m的辐射表面的中心之间的距离，Φ_vv表示噪声的标准化交功率谱密度矩阵，且σ²表示变换器噪声功率。

其它波束成形器设计包含相控阵列，例如延迟相加波束成形器(DSB)。图3中的图说明相控阵列理论的应用，其中d指示邻近扬声器之间(即，每一扬声器的辐射表面的中心之间)的距离，且θ指示收听角度。图3的等式(4)描述(远场中的)N个扬声器的阵列所产生的压力场p，其中r是收听者与阵列之间的距离，且k是波数；等式(5)描述具有与扬声器之间的时间差有关的相位项α的声场；且等式(6)描述设计角度θ与相位项α的关系。

波束成形设计通常是不依赖于数据的。还可使用盲源分离(BSS)算法(其为自适应的(例如，依赖于数据的))来执行波束产生。图4展示用于BSS算法的一组初始条件的波束图案的实例，且图5展示使用有约束的BSS方法从那些初始条件产生的波束图案的实例。可结合如本文所述的增强和/或分布式阵列方法使用的其它声学成像(声音指向)技术包含具有逆滤波器设计(例如，逆头相关转移函数(HRTF))的双耳增强，其可基于立体声偶极子理论。

从扬声器产生质量低音声的能力依据物理扬声器大小(例如，圆锥直径)而变。一般来说，较大的扬声器再现比小扬声器好的低音频频率。归因于其物理尺寸的限制，小扬声器无法移动多少空气来产生低频声音。一种解决低频空间处理的问题的方法是用具有较大扬声器圆锥的另一扬声器阵列来补充小扬声器阵列，使得具有较大扬声器的阵列处置低频内容。然而，如果扬声器阵列将被安装在例如膝上型计算机等便携式装置上，或在可能不能够容纳另一较大扬声器阵列的其它空间受限应用中，此解决方案是不实际的。

即使阵列的扬声器大得足以容纳低频，它们仍可能定位成在一起过近(例如，归因于形状因子约束)，以致所述阵列的使低频能量不同地指向不同方向的能力较差。在低频下形成尖锐波束是对波束成形器的挑战，尤其是在扬声器物理上彼此接近定位时。DSB和MVDR扬声器波束成形器两者在操纵低频方面有困难。图6展示十二扬声器系统上设计有22kHz取样速率和零pi操纵方向的DSB和MVDR波束成形器的波束图案。如这些图表中所示，不同于某一高频混叠，对至多达约1000Hz的低频内容的响应在所有方向上几乎是均匀的。因此，低频声音具有来自此些阵列的较差方向性。

当使用波束成形技术来产生宽带信号的空间模式时，变换器阵列几何形状的选择涉及低频与高频之间的折衷。为了增强波束成形器对低频的直接处置，较大扬声器间距是优选的。同时，如果扬声器之间的间距过大，那么阵列的在高频下再现所要效果的能力将受较低混叠阈值限制。为了避免空间混叠，待由所述阵列再现的最高频率分量的波长应大于邻近扬声器之间的距离。

随着消费型装置变得越来越小，形状因子可约束扬声器阵列的放置。举例来说，膝上型计算机、笔记本型计算机或平板计算机或高清视频显示器可能希望具有内置扬声器阵列。归因于大小约束，扬声器可能较小，且不能够再现所要的低音区。或者，扬声器可大得足以再现低音区，但间隔得太近以致无法支持波束成形或其它声学成像。因此，可能希望提供处理以在其中使用波束成形的紧密间隔的扬声器中产生低音信号。

图7A展示锥型扬声器的实例，且图7B展示矩形扬声器的实例(例如，荷兰埃因霍温的NXP半导体公司的RA11x15x3.5)。图7C展示如图6A中十二扬声器阵列的实例，且图7D展示如图6B中所示的十二扬声器阵列的实例。在图7C和7D的实例中，扬声器间距离为2.6cm，且阵列的长度(31.2cm)约等于典型膝上型计算机的宽度。

对于具有如上文参考图7C和7D所论述的尺寸的阵列，图8展示针对延迟相加波束成形器设计(左列)且针对MVDR波束成形器设计(右列)的振幅响应(顶部)、白噪声增益(中部)和方向性指数(底部)的图表。从这些图中可见，针对低于约1kHz的频率，可预期较差的方向性。

存在收听信号的较高谐波可产生听到缺失基频的错觉的心理声学现象。因此，实现对来自小扬声器的低音分量的感觉的一种方式是从所述低音分量产生较高谐波，并重放所述谐波而不是实际低音分量。用于替代较高谐波以在不存在实际低频信号的情况下实现低音的心理声学感觉的算法(也称为“心理声学低音增强”或PBE)的描述可例如在第5,930,373号美国专利(沙守阿(Shashoua)等人，在1999年7月27日颁发)和第2006/0159283Al号(马修(Mathew)等人，在2006年7月20日公布)、第2009/0147963Al号(史密斯(Smith)，在2009年6月11日公布)以及第2010/0158272Al号(威克斯(Vickers)，在2010年6月24日公布)美国公开专利申请案中找到。此增强可尤其有用于用具有将集成扬声器或若干扬声器限制为物理上较小的形状因子的装置来再现低频声音。

图9A展示经配置以对音频信号AS10执行PBE操作以产生增强的信号SE10的增强模块的实例EM10的框图。音频信号AS10是单声道信号，且可为多信道信号(例如，立体声信号)的信道。在此情况下，增强模块EM10的一个或一个以上其它例子可适用于从所述多信道信号的其它信道产生对应的经增强信号。替代地或另外，可通过将多信道信号的两个或两个以上信道混合为单声道形式来获得音频信号AS10。

模块EM10包含低通滤波器LP10，其经配置以对音频信号AS10进行低通滤波，以获得含有音频信号AS10的原始低音分量的低通信号SL10。可希望配置低通滤波器LP10以相对于其通带而使其阻带削弱至少六(或十，或十二)分贝。模块EM10还包含谐波扩展模块HX10，其经配置以在谐波上扩展低通信号SL10，以产生经扩展信号SX10，其在较高频率下还包含低音分量的谐波。谐波扩展模块HX10可实施为非线性装置，例如整流器(例如，全波整流器或绝对值函数)、积分器(例如，全波积分器)以及反馈乘法器。可由谐波扩展模块HX10的替代实施方案执行的其它产生谐波的方法包含低频下的频率跟踪。谐波扩展模块HX10可能希望具有振幅线性，使得其输入和输出信号的振幅之间的比率至少在低通信号SL10的预期振幅范围内大体上恒定(例如，在百分之二十五内)。

模块EM10还包含带通滤波器BP10，其经配置以对经扩展信号SX10进行带通滤波以产生带通信号SB10。在低端处，带通滤波器BP10经配置以削弱原始低音分量。在高端处，带通滤波器BP10经配置以削弱所产生的高于选定切断频率的谐波，因为这些谐波可能导致所得信号中的失真。可希望配置带通滤波器BP10以相对于其通带而使其阻带削弱至少六(或十，或十二)分贝。

模块EM10还包含高通滤波器HP10，其经配置以削弱音频信号AS10的原始低音分量以产生高通信号SH10。滤波器HP10可经配置以使用相同低频切断作为带通滤波器BP10，或使用不同(例如，较低)切断频率。可希望配置高通滤波器HP10以相对于其通带而使其阻带削弱至少六(或十，或十二)分贝。混频器MX10经配置以使带通信号SB10与高通信号SH10混频。混频器MX10可经配置以在使带通信号SB10与高通信号SH10混频之前放大带通信号SB10。

增强模块EM10的谐波扩展路径中的处理延迟可导致与贯通路径的同步的损失。图9B展示增强模块EM10的实施方案EM20的框图，其在贯通路径中包含经配置以延迟高通信号SH10以补偿此延迟的延迟元件DE10。在此情况下，混频器MX10经布置以使所得经延迟信号SD10与带通信号SB10混频。图10A和10B分别展示模块EM10和EM20的替代实施方案EM30和EM40，其中在混频器MX10的下游应用高通滤波器HP10，以产生经增强信号SE10。

图11展示音乐信号在PBE处理(例如，通过增强模块EM10的实施)之前和之后的频谱的实例。在此图中，在约200到500Hz下可见的背景(黑色)区和线指示原始信号(例如，SA10)，且前景(白色)区指示经增强信号(例如，SE10)。可看到，在低频带(例如，低于200Hz)下，PBE操作削弱约10dB的实际低音。然而，由于从约200Hz到600Hz的经增强较高谐波，当使用小扬声器再现经增强音乐信号时，察觉其具有比原始信号多的低音。

可希望不仅应用PBE来减少低频再现力限制的效应，而且还减少低频下的方向性损失的效应。举例来说，可希望将PBE与波束成形组合，以在可由波束成形器操纵的范围内产生低频内容的察觉。使用扬声器阵列从经增强信号产生定向波束得出具有比来自无此增强的音频信号的输出低得多的所察觉频率范围的输出。另外，使用较宽松的波束成形器设计来操纵经增强信号变为可能，这可支持减少人为噪声和/或降低计算复杂性，并允许用小扬声器阵列来更高效地操纵低音分量。同时，此系统可保护小扬声器免受低频信号(例如，隆隆声)的损害。

图12A展示根据一般配置的系统S100的框图。系统S100包含设备A100以及扬声器阵列R100。如本文所述，设备A100包含经配置以处理音频信号AS10以产生经增强信号SE10的增强模块EM10的例子。设备A100还包含空间处理模块PM10，其经配置以对经增强信号SE10执行空间处理操作(例如，波束成形、波束产生或另一声学成像操作)，以产生多个P个成像信号SI10-1到SI10-p。设备A100还包含音频输出级AO10，其经配置以处理所述P个成像信号中的每一者以产生多个P个驱动信号SO10-1到SO10-p中的对应一者，且将每一驱动信号施加到阵列R100的一对应扬声器。可希望将阵列R100实施为(例如)小扬货器的阵列或大扬声器的阵列，其中个别扬声器紧密间隔在一起。

低频信号处理可呈现与其它空间处理技术类似的挑战，且系统S100的实施在此些情况下可用以改进察觉低频响应，并减轻原始系统上的低频设计负担。举例来说，可实施空间处理模块PM10以执行不同于波束成形的空间处理技术。此些技术的实例包含波场合成(WFS)，其通常用以重新合成声场的现实波前。此方法可使用较大数目的扬声器(例如，十二、十五、二十或以上)，且通常经实施以实现一群人而不是个人空间使用情况的均匀收听体验。

图12B展示根据一般配置的方法M100的流程图，方法M100包含任务T300、T400和T500。任务T300在谐波上扩展包含第一频率范围内的能量的音频信号以产生经扩展信号，所述经扩展信号包含音频信号在第一频率范围内的所述能量的在高于所述第一频率范围的第二频率范围内的谐波(例如，如本文参考增强模块EM10的实施所描述)。任务T400对基于经扩展信号的经增强信号进行空间处理，以产生多个P个成像信号(例如，如本文参考空间处理模块PM10的实施所论述)。举例来说，任务T400可经配置以对经增强音频信号执行波束成形、波场合成或其它声学成像操作。

对于所述多个P个成像信号中的每一者，任务T500将多个P个驱动信号中的对应一者施加到阵列的多个P个扬声器中的对应一者，其中所述驱动信号是基于所述成像信号。在一个实例中，将所述阵列安装在便携式计算装置(例如，膝上型计算机、笔记本型计算机或平板计算机)上。

图13A展示空间处理模块PM10的实施方案PM20的框图，其包含多个空间处理滤波器PF10-1到PF10-p，其各自经布置以处理经增强信号SE10，以产生多个P个成像信号SI10-1到SI10-p中的对应一者。在一个实例中，每一滤波器PF10-1到PF10-p为波束成形滤波器(例如，FIR或IIR滤波器)，其系数可使用LCMV、MVDR、BSS或其它定向处理方法来计算，如本文所述。阵列R100的对应响应可表达为：

B (ω, θ) = Σ_{n = - M}^{M} W_{n} (ω) e^{jω τ_{n} (θ)},

其中ω表示频率，且θ表示所要的波束角度，扬声器的数目为P＝2M+1，

为空间处理滤波器PF10-(i-M-1)(1＜＝i＜＝P)的频率响应，w_n(k)为空间处理滤波器PF10-(i-M-1)的脉冲响应，τ_n(θ)＝nd cosθf_s/c，c为音速，d为扬声器间的间距，f_s为取样频率，k为适于样本指数，且L为FIR滤波器长度。

此系统的预期使用包含较宽范围的应用，从手持装置(例如，智能电话)上的阵列到大阵列(例如，至多达1米或以上的总长度)，所述大阵列可安装在大屏幕电视机上方或下方，但更大的安装也在本发明的范围内。实际上，可希望阵列R100具有至少四个扬声器，且在一些应用中，六个扬声器的阵列可为充足的。可结合本文所述的定向处理、PBE和/或渐减方法使用的阵列的其它实例包含扬声器条的YSP线(日本的雅马哈(Yamaha)公司)、ES7001扬声器条(新泽西州莫瓦市的美国马兰仕(Marantz America)公司)、CSMP88扬声器条(纽约成功湖的高飞电子(Coby Electronics)公司)，以及帕纳瑞(Panaray)MA12扬声器条(马萨诸塞州弗雷明汉市的博士(Bose)公司)。举例来说，此些阵列可安装在视频屏幕上方或下方。

可希望对经增强信号SE10(或此信号的先导)进行高通滤波以移除输入音频信号SA10的低频能量。举例来说，可希望移除低于所述阵列可有效指引的频率(如例如由扬声器间的间距确定)的频率下的能量，因此此能量可导致较差的波束成形器性能。

由于低频波束图案再现取决于阵列尺寸，因此波束趋向于在低频范围内加宽，从而导致非定向低频声音图像。一种校正低频定向声音图像的方法是使用增强操作的各种进取性设定，使得依据其中所述阵列可产生定向声音图像的频率范围而选择此操作中的低频和高频切断。举例来说，可希望依据变换器间的间距来选择低频切断以移除非可指引能量，且/或依据变换器间的间距来选择高频切断以削弱高频混叠。

另一方法是在PBE输出处使用额外高通滤波器，其切断依据其中阵列可产生定向声音图像的频率范围而设定。图13B展示在空间处理模块PM10上游的设备A100的包含高通滤波器HP20的实施方案A110的框图，其经配置以对经增强信号SE10进行高通滤波。图13C展示高通滤波器HP20的振幅响应的实例，其中根据扬声器间的间距来选择切断频率fc。可希望配置高通滤波器HP20以相对于其通带而使其阻带削弱至少六(或十，或十二)分贝。类似地，高频范围经受空间混叠，且可希望对PBE输出使用低通滤波器，其依据变换器间的间距而定义其切断以削弱高频混叠。可希望配置此低通滤波器以相对于其通带而使其阻带削弱至少六(或十，或十二)分贝。

图14展示类似配置的框图。在此实例中，使用如本文所述的PBE操作来增强待操纵到方向θ的单声道源信号(例如，音频信号SA10)，使得依据变换器放置(例如，扬声器间的间距，以避免阵列不能有效操纵的低频以及可能导致空间混叠的高频)来设定PBE模块中的低频和高频切断。经增强信号SE10由多个处理路径处理，以产生对应多个驱动信号，使得每一路径包含一对应的波束成形器滤波器、高通滤波器和低通滤波器，其设计依据变换器放置(例如，扬声器间的间距)而变。可希望配置每一此滤波器以相对于其通带而使其阻带削弱至少六(或十，或十二)分贝。对于具有如上文参看图9和10所论述的尺寸的阵列，可预期波束宽度对于低于1kHz的频率来说将过宽，且在高于6kHz的频率下可发生空间混叠。在图14的实例中，根据波束方向来选择高通滤波器设计，使得在所要方向上执行很少或不执行高通滤波，且高通滤波操作在其它方向上更具进取性(例如，具有较低切断和/或较多阻带削弱)。图14中所示的高通和低通滤波器可例如在音频输出级AO10内实施。

当使用扬声器阵列来在特定方向上操纵波束时，有可能声音信号将仍然在其它方向上(例如，在主波束的旁瓣的方向上)也可听。可希望使用掩蔽噪声在其它方向上掩蔽声音(例如，以掩蔽剩余旁瓣能量)，如图15中所示。

图16展示设备A100的包含噪声产生器NG10的实施方案A200以及空间处理模块PM10的第二例子PM20的框图。噪声产生器NG10产生噪声信号SN10。可希望噪声信号SN10的谱分布类似于待掩蔽的声音信号(即，音频信号AS10)的谱分布。在一个实例中，使用多路重合噪声(例如，若干人类话音的组合)来掩蔽人类话音的声音。可由噪声产生器NG10产生的噪声信号的其它实例包含白噪声、粉红噪声和街道噪声。

空间处理模块PM20对噪声信号SN10执行空间处理操作(例如，波束成形、波束产生或另一声学成像操作)，以产生多个Q个成像信号SI20-1到SI20-q。Q的值可等于P。或者，Q可小于P，使得使用较少的扬声器来产生掩蔽噪声图像，或Q可大于P，使得使用较少的扬声器来产生正掩蔽的声音图像。

空间处理模块PM20可经配置以使得设备A200驱动阵列R100，以使掩蔽噪声成束到特定方向，或所述噪声可仅为经空间分布的。可希望配置设备A200以在每一所要来源的波束的主瓣外产生比每一所要声音源强的掩蔽噪声图像。

在特定应用中，如本文所述的设备A200的多源实施方案经配置以驱动阵列R100以在不同(例如，相对)方向上投射两个人类话音，且使用多路重合噪声来使残余话音淡入那些方向外的背景多路重合噪声中。在此情况下，由于掩蔽噪声，想要察觉不同于所要方向的方向上正在说的话音是非常困难的。

当阵列的轴线在用户耳朵的轴线侧面(即，与之平行)时，由用户位置处的扬声器阵列产生(例如，通过产生波束和空波束，或通过逆滤波)的空间图像通常是最有效的。收听者的头部移动可导致给定阵列的次佳声音图像产生。举例来说，当用户向一旁转动他或她的头部时，所要的空间成像效应可能不再可用。为了维持一致声音图像，通常重要的是知道用户头部的位置和定向，使得可相对于用户的耳朵在适当方向上操作波束。可希望实施系统S100，以产生对此些头部移动稳健的空间图像。

图17展示系统S100的实施方案S200的框图，其包含设备A100的实施方案A250以及具有多个Q个扬声器的第二扬声器阵列R200，其中Q可与P相同或不同。设备S250包含：空间处理模块PM10的例子PM10a，其经配置以对经增强信号SE10执行空间处理操作以产生成像信号SI10-1到SI10-p；以及空间处理模块PM10的例子PM10b，其经配置以对经增强信号SE10执行空间处理操作以产生成像信号SI20-1到SI20-q。设备A250还包含如本文所述的音频输出级AO10的对应例子AO10a、AO10b。

设备A250还包含跟踪模块TM10，其经配置以跟踪用户头部的位置和/或定向，且使音频输出级AO10的对应例子AO10a或AO10b能够驱动阵列R100和R200中的对应一者(例如，经由对应的一组驱动信号SO10-1到SO10-p或SO20-1到SO20-q)。图18展示系统S200的应用的实例的俯视图。

可根据任何合适的跟踪技术来实施跟踪模块TM10。在一个实例中，跟踪模块TM10经配置以分析来自相机CM10(例如，如图18中所示)的视频图像，以跟踪用户的脸部特征，且有可能区分且单独跟踪两个或两个以上用户。替代地或另外，跟踪模块TM10可经配置以通过使用两个或两个以上麦克风估计用户话音的到达方向(DOA)来跟踪用户头部的位置和/或定向。图18展示其中使用在阵列R100的扬声器之间交错的一对麦克风MA10、MA20来检测面向阵列R100的用户的话音的存在且/或估计所述话音的DOA，且使用在阵列R200的扬声器之间交错的不同一对麦克风MB10、MB20来检测面向阵列R200的用户的话音且/或估计所述话音的DOA的特定实例。跟踪模块TM10的实施方案的进一步实例可经配置以使用如第7,272,073B2号美国专利(佩莱格里尼(Pellegrini)，2007年9月18颁发)中所描述的超声定向跟踪和/或第61/448,950号美国临时专利申请案(2011年3月3申请)中所描述的超声位置跟踪。系统S200的应用的实例包含音频和/或视频会议以及音频和/或视频电话。

可希望将系统S200实施为使得阵列R100和R200正交或大体上正交(例如，具有形成至少六十或七十度且不大于110或120度的角度的轴线)。当跟踪模块TM10检测到用户的头部转动以面向特定阵列时，模块TM10使音频输出级AO10a或AO10b能够根据对应的成像信号来驱动所述阵列。如图18中所示，可希望实施系统S200以支持在两个、三个或四个或四个以上不同阵列之间的选择。举例来说，可希望实施系统S200以根据如由跟踪模块TM10指示的位置和/或定向支持在沿同一轴线的不同位置处的不同阵列(例如，阵列R100和R300)之间的选择，和/或面向相对方向的阵列(例如，阵列R200和R400)之间的选择。

先前针对扬声器阵列的方法使用均匀线性阵列(例如，沿邻近扬声器之间具有均匀间距的线性轴线布置的扬声器阵列)。如果均匀线性阵列中的扬声器间距离较小，那么较少频率将受空间混叠影响，但低频下的空间波束图案产生将较差。大扬声器间间距将得出较好的低频波束，但在此情况下，高频波束将因空间混叠而分散。波束宽度还取决于变换器阵列尺寸和放置。

一种降低低频性能与高频性能之间的折衷的严重性的方法是对来自扬声器阵列的扬声器进行取样。在一个实例中，使用取样来产生邻近扬声器之间具有较大间距的子阵列，其可用以较有效地操纵低频。

在此情况下，一些频带下的子阵列的使用可由其它频带下不同子阵列的使用来补足。可希望随着信号内容的频率增加而增加所启用扬声器的数目(或者，随着信号内容的频率降低而减少所启用扬声器的数目)。

图19展示非线性间隔的扬声器呈阵列的配置的图。在此实例中，使用较紧密间隔在一起的扬声器的子阵列R100a来再现信号中的较高频率内容，且将分开较远的扬声器的子阵列R100b用于低频波束的输出。

可希望针对最高信号频率启用所有扬声器。图20展示用于其中对阵列R100进行取样以产生以下两个有效子阵列的实例的音频输出级AO20的实施方案AO30的混频功能的图：第一阵列(所有扬声器)，用于再现高频；以及第二阵列(每隔一个扬声器)，其具有较大的扬声器间间距，以用于再现低频。(为清楚起见，在此实例中，未展示音频输出级的其它功能，例如放大、滤波和/或阻抗匹配。)

图21展示用于其中对阵列R100进行取样以产生以下三个有效子阵列的实例的音频输出级AO20的实施方案AO40的混频功能的图：第一阵列(所有扬声器)，用于再现高频；第二阵列(每隔两个扬声器)，其具有较大的扬声器间间距，以用于再现中等频率；以及第三阵列(每隔三个扬声器)，其具有更大的扬声器间间距，以用于再现低频。可使用具有互相不均匀间距的子阵列的此产生来针对甚至均匀阵列的不同频率范围获得类似的波束宽度。

在另一实例中，使用取样来获得具有非均匀间距的扬声器阵列，其可用以获得低频带和高频带中的旁瓣与主瓣之间的较好妥协。预期可个别地或组合驱动如本文所述的子阵列，以产生本文所述的各种成像效应中的任一者(例如，掩蔽噪声、不同相应方向上的多个源、用户耳朵中的相应一者处的波束和对应空波束的方向等)。

不同子阵列的扬声器和/或不同阵列(例如，如图18中所示的R100、R200、R300和/或R400)的扬声器可经配置以通过导线、光纤缆线(例如，TOSLINK缆线，例如经由S/PDIF连接)或以无线方式(例如，通过Wi-Fi(例如IEEE802.11)连接)进行通信。可用以支持此通信链路的无线方法的其它实例包含针对短程通信(例如，从几英寸到几英尺)的低功率无线电规范，例如蓝牙(例如，如华盛顿州柯克兰市的蓝牙SIG(Bluetooth SIG)公司的蓝牙核心规范版本4.0[其包含经典蓝牙、蓝牙高速以及蓝牙低能量协议]中所描述的头戴式耳机或其它外形)、花生(Peanut)(加利福尼亚州圣地亚哥市的高通公司)，以及紫蜂(例如，如加利福尼亚州圣拉蒙市的紫蜂联盟(ZigBee Alliance)的紫蜂2007规范和/或紫蜂RF4CE规范中所描述)。可使用的其它无线发射信道包含非无线电信道，例如红外线和超声。可希望使用不同阵列和/或子阵列之间的此通信来产生波场。此通信可包含中继波束设计、协调时间上在阵列之间变化的波束图案、重放音频信号等。在一个实例中，如图18中所示的不同阵列由相应的膝上型计算机驱动，所述膝上型计算机经由有线和/或无线连接通信，以自适应地使一个或一个以上共用音频源指向所要的相应方向。

如本文所述，可希望将子带取样与PBE技术组合。使用此经取样阵列从经PBE扩展的信号产生高度定向波束得出具有比来自无PBE的信号的输出低得多的所察觉频率范围的输出。

图22展示设备A100的实施方案A300的框图。设备A300包含：空间处理模块PM10的例子PM10a，其经配置以对音频信号SA10a执行空间处理操作以产生成像信号SI10-1到SI10-m；以及空间处理模块PM10的例子PM10b，其经配置以对经增强信号SE10执行空间处理操作以产生成像信号SI20-1到SI20-n。

设备A300还包含音频输出级AO20的例子，其经配置以将多个P个驱动信号SO10-1到SO10-p施加到阵列R100的对应多个P个扬声器。所述组驱动信号SO10-1到SO10-p包含M个驱动信号，其各自基于施加到阵列R100的M个扬声器的对应子阵列的成像信号SI10-1到SI10-m中的对应一者。所述组驱动信号SO10-1到SO10-p还包含N个驱动信号，其各自基于施加到阵列R100的N个扬声器的对应子阵列的成像信号SI20-1到SI20-n中的对应一者。

M和N个扬声器的子阵列可彼此分开(例如，如图19中参考阵列R100a和R100b所述)。在此情况下，P大于M和N两者。或者，M和N个扬声器的子阵列可不同但重叠。在一个此实例中，M等于P，且M个扬声器的子阵列包含N个扬声器(且可能所述阵列中的所有扬声器)的子阵列。在此特定情况下，所述多个M个驱动信号还包含所述多个N个驱动信号。图20中所示的配置是此情况的一个实例。

如图22中所示，音频信号SA10a和SA10b可来自不同来源。在此情况下，空间处理模块PM10a和PM10b可经配置以使两个信号指向类似方向或彼此独立。图37展示其中两个成像路径是基于同一音频信号SA10的设备A300的实施方案A350的框图。在此情况下，可希望模块PM10a和PM10b使相应图像指向同一方向，使得音频信号SA10的总图像得以改进。

可希望配置视频输出级AO20以将对应于成像信号SI20-1到SI20-n(即，对应于增强路径)的驱动信号施加到具有较大扬声器间间距的子阵列，且将对应于成像信号SI10-1到SI10-m的驱动信号施加到具有较小扬声器间间距的子阵列。此配置允许经增强信号SE10支持对空间成像的低频内容的改进的察觉。还可希望将一个或一个以上(可能所有)低通和/或高通滤波器切断配置为在设备A300和A350的增强路径中比在另一路径中低，以提供方向性损失和空间混叠的不同发作。

对于其中使用经增强信号(例如，信号SE10)来驱动经取样阵列的情况，可希望对各个子阵列的处理路径使用不同的设计。图23A展示用于如上文参看图21所述的三子阵列方案的处理路径的三个不同带通设计的实例。在每一情况下，根据特定子阵列的扬声器间间距来选择频带。举例来说，可根据子阵列可有效操纵的最低频率来选择低频切断，且可根据空间混叠预期在其下开始的频率来选择高频切断(例如，使得通过的最高频率的波长比扬声器间间距大两倍以上)。预期每一扬声器可有效地再现的最低频率将比具有最高扬声器间间距的子阵列(即，子阵列c)可有效操纵的最低频率低得多，但万一不是这种情况，可根据最低可再现频率来选择低频切断。

对于其中使用经增强信号来驱动经取样阵列的情况，可希望结合向每一PBE操作的谐波扩展操作的输入处的低通滤波器的不同设计，对所述子阵列中的一者或一者以上中的每一者使用PBE操作的不同例子。图23B展示如上文参看图21所述的三子阵列方案的三种不同低通设计的实例。在每一情况下，根据特定子阵列的扬声器间间距来选择切断。举例来说，可根据子阵列可有效操纵的最低频率(或者，最低可再现频率)来选择低频切断。

过度进取性的PBE操作可引起输出信号中的不合需要的人为噪声，使得可希望避免PBE的不必要使用。对于对子阵列中的一者或一者以上中的每一者会用PBE操作的不同例子的情况，可希望使用带通滤波器来代替向较高频率子阵列的谐波扩展操作的输入处的低通滤波器。图23C展示其中根据用于下一最低频带的子阵列的高通切断来选择用于较高频率子阵列中的每一者的此低通滤波器的低频切断的实例。在另一替代方案中，仅最低频率子阵列接收经PBE增强的信号(例如，如本文参考设备A300和A350所论述)。明确预期具有一个以上增强路径和/或一个以上非增强路径的设备A300和A350的实施方案，且特此将其揭示为其中两个(例如所有)路径均增强的设备A300和A350的实施方案。

明确地注意，本文所述的原理不限于结合均匀线性阵列使用(例如，如图24A中所示)。举例来说，声学成像与PBE(且/或与子阵列和/或如下文所述的渐减)的组合也可结合邻近扬声器之间具有非均匀间距的线性阵列使用。图24B展示扬声器之间具有对称八度间距的阵列的一个实例，且图24C展示具有不对称八度间距的阵列的另一实例。另外，此些原理不限于结合线性阵列使用，且还可结合元件沿简单曲线布置的阵列使用，不管是具有均匀间距(例如，如图24D中所示)还是具有非均匀(例如，八度)间距。本文所陈述的相同原理还可分离地应用于沿相同或不同(例如正交)笔直或弯曲轴线具有多个阵列的应用中的每一阵列，如例如图18中所示。

明确地注意，本文所述的原理可扩展到经由波束成形、增强和/或渐减操作的相应例子驱动同一阵列或相同阵列以产生经求和以驱动每一扬声器的多组驱动信号的多个单声道源。在一个实例中，根据用于特定源的定向和/或增强准则，针对每一源信号实施包含PBE操作、波束成形器和高通滤波器的路径(例如，如图13B中所示)以为每一扬声器产生相应的驱动信号的单独例子，所述驱动信号接着与对应于用于所述扬声器的其它源的驱动信号求和。在类似实例中，针对每一源信号实施如图12A中所示的包含增强模块EM10和空间处理模块PM10的路径的单独例子。在类似实例中，针对每一源信号实施图14中所示的PBE、波束成形和滤波操作的单独例子。图38展示设备A100的实施方案A500的框图，其支持不同音频信号SA10a和SA10b的单独增强和成像。

图25展示其中以此方式使三个源信号指向不同对应方向的实例。应用包含：使不同源信号指向不同位置处的用户(可能结合跟踪用户位置的变化以及使波束适合继续将同一对应信号提供给每一用户)；以及立体声成像(例如，通过针对每一信道，使波束指向用户耳朵中的对应一者，且使空波束指向另一耳朵)。

图19展示其中波束指向用户的左耳且对应的空波束指向用户的右耳的一个实例。图26展示类似实例，且图27展示其中另一源(例如，另一立体声信道)指向用户的右耳(对应的空波束指向用户的左耳)的实例。

可用于递送立体声图像的另一串扰消除技术是针对阵列的每一扬声器，测量从扬声器到用户耳朵中的每一者的对应头部相关转移函数(HRTF)；通过计算逆转移函数矩阵来反转所述混频情形；且配置空间处理模块PM10以通过经反转矩阵产生对应的成像信号。

可希望提供用户接口，使得本文所述的低通切断、高通切断和/或渐减操作中的一者或一者以上可由最终用户调整。另外或替代地，可希望提供藉此用户可启用或停用如本文所述的PBE操作的开关或其它接口。

尽管上文所述的各种定向处理技术使用远场模型，但对于较大阵列，可希望改为使用近场模型(例如，使得声音图像仅在近场中可听)。在一个此实例中，在阵列左侧的变换器用以使跨阵列的波束指向右边，且在阵列右侧的变换器用于使跨阵列的波束指向左边，使得波束在包含近场用户的位置的焦点处相交。此方法可结合掩蔽噪声使用，使得所述源在远场位置(例如在用户后面且离阵列超过一或二米)不可听。

通过操纵振幅和/或变换器间延迟，可将波束图案产生到特定方向中。由于阵列具有空间分布的变换器布置，因此可通过降低远离所要方向定位的变换器的振幅来进一步增强定向声音图像。可通过使用空间成形函数(例如为不同扬声器定义不同增益因子的渐减窗(例如，如图28的实例中所示))来实施此振幅控制，以产生振幅渐减的扬声器阵列。可用于振幅渐减的不同类型的窗包含汉明(Hamming)、汉宁(Hanning)、三角、切比雪夫(Chebyshev)和泰勒(Taylor)。渐减窗的其它实例包含仅在所要用户的左侧、中心或中部使用变换器。振幅渐减还可具有增强波束的侧化(例如，在所要方向上平移所述波束)和增加不同波束之间的分离的效应。此渐减可作为波束成形器设计的部分且/或独立于波束成形器设计而执行。

有限数目的扬声器引入截短效应，其通常产生旁瓣。可希望执行空间域中的成形(例如，窗化)以减少旁瓣。举例来说，可使用振幅渐减来控制旁瓣，从而使主波束更具定向性。

图29展示使用左变换器在阵列中心左侧的方向上投射的实例。可希望使用于其余变换器的驱动信号的振幅渐减为零，或将所有那些驱动信号的振幅设定为零。图29到31中的实例还展示如本文所述的子带取样。

图30展示使用右变换器在阵列中心右侧的方向上投射的实例。可希望使用于其余变换器的驱动信号的振幅渐减为零，或将所有那些驱动信号的振幅设定为零。

图31展示使用中变换器在到阵列中部的方向上投射的实例。可希望使用于左和右变换器的驱动信号的振幅渐减为零，或将所有那些驱动信号的振幅设定为零。

图32A到32C展示针对5kHz的频率、48kHz的取样速率以及45度的波束角度，渐减对相控阵列扬声器波束成形器的辐射图案的影响。这些图中的每一者中的阵列上方的白线指示跨空间的扬声器因渐减而产生的相对增益。图32A展示无渐减情况下的图案。图32B展示针对具有切比雪夫窗的渐减的图案，且在左侧可看到图案的明显减少。图32C展示针对具有用于成束到右侧的另一特殊窗的渐减的图案，且可看到将波束向右平移的效应。

图33展示在从400Hz(顶部行)到12kHz(底部行)的范围内的六个频率下，在0度(左列)、45度(中心列)和90度(右列)波束方向上相控阵列的理论波束图案的实例。实线指示通过汉明窗渐减的十二个扬声器的线性阵列，且虚线指示不具有渐减的同一阵列。

图34展示针对三个不同音频源中的每一者具有所要波束的展示设计的实例。对于在旁边的波束，可如图所示使用特殊渐减曲线。图形用户接口可用于振幅渐减的设计和测试。图形用户接口(例如，如图所示的滑动条型接口)还可用以支持最终用户对振幅渐减的选择和/或调整。以类似方式，可希望实施依赖于频率的渐减，使得相对于针对远离所要方向定位的一个或一个以上变换器的对应滤波器操作的进取性，低通和/或高通滤波操作的进取性可在所要方向上以与针对变换器的方式类似的方式降低。

图35展示根据一般配置的方法M200的流程图，方法M200包含任务T100、T200、T300、T400和T500。任务T100对第一音频信号进行空间处理，以产生第一多个M个成像信号(例如，如本文参考空间处理模块PM10的实施方案而论述)。对于第一多个M个成像信号中的每一者，任务T200将第一多个M个驱动信号中的对应一者施加到阵列的第一多个M个扬声器中的对应一者，其中驱动信号是基于成像信号(例如，如本文参考音频输出级AO20的实施所论述)。任务T300在谐波上扩展包含第一频率范围内的能量的第二音频信号以产生经扩展信号，所述经扩展信号包含第二音频信号在第一频率范围内的所述能量的在高于所述第一频率范围的第二频率范围内的谐波(例如，如本文参考增强模块EM10的实施所描述)。任务T400对基于经扩展信号的经增强信号进行空间处理，以产生第二多个N个成像信号(例如，如本文参考空间处理模块PM10的实施所论述)。对于第二多个N个成像信号中的每一者，任务T500将第二多个N个驱动信号中的对应一者施加到阵列的第二多个N个扬声器中的对应一者，其中驱动信号是基于成像信号(例如，如本文参考音频输出级AO20的实施所论述)。

图36展示根据一般配置的设备MF200的框图。设备MF200包含用于对第一音频信号进行空间处理以产生第一多个M个成像信号(例如，如本文参考空间处理模块PM10的实施方案而论述)的装置F100。设备MF200还包含用于对于第一多个M个成像信号中的每一者将第一多个M个驱动信号中的对应一者施加到阵列的第一多个M个扬声器中的对应一者的装置F200，其中驱动信号是基于成像信号(例如，如本文参考音频输出级AO20的实施所论述)。设备MF200还包含用于在谐波上扩展包含第一频率范围内的能量的第二音频信号以产生经扩展信号的装置F300，所述经扩展信号包含第二音频信号在第一频率范围内的所述能量的在高于所述第一频率范围的第二频率范围内的谐波(例如，如本文参考增强模块EM10的实施所描述)。设备MF200还包含用于在对基于经扩展信号的经增强信号进行空间处理以产生第二多个N个成像信号(例如，如本文参考空间处理模块PM10的实施所论述)的装置F400。设备MF200还包含用于对于第二多个N个成像信号中的每一者将第二多个N个驱动信号中的对应一者施加到阵列的第二多个N个扬声器中的对应一者的装置F500，其中驱动信号是基于成像信号(例如，如本文参考音频输出级AO20的实施所论述)。

本文所揭示的方法和设备可一般地应用于任何收发和/或音频发送应用，尤其是此些应用的移动或以其它方式可携带的例子。举例来说，本文所揭示的配置范围包含驻存在无线电话通信系统中的通信装置，所述系统经配置以使用码分多址(CDMA)空中接口。然而，所属领域的技术人员将理解，具有如本文中所描述的特征的方法和设备可驻存在使用所属领域的技术人员已知的各种各样的技术的各种通信系统中的任一者中，例如经由有线和/或无线(例如，CDMA、TDMA、FDMA及/或TD-SCDMA)发射信道使用IP话音(VoIP)的系统。

明确预期且特此揭示本文所揭示的通信装置可适于在包交换(例如，经布置以根据例如VoIP等协议运载音频发射的有线和/或无线网络)且/或电路交换的网络中使用。还明确预期且特此揭示本文所揭示的通信装置可适于在窄带译码系统(例如，对约四或五千赫兹的音频范围进行编码的系统)中使用且/或适于在宽带译码系统(例如，对大于五千赫兹的音频进行编码的系统)中使用，所述宽带译码系统包含完整带宽带译码系统和分割带宽带译码系统。

提供对所描述配置的呈现是为了使所属领域的技术人员能够制作或使用本文所揭示的方法和其它结构。本文所展示和描述的流程图、框图和其它结构只是实例，且这些结构的其它变体也在本发明的范围内。对这些配置的各种修改是可能的，且本文中所呈现的一般原理还可应用于其它配置。因此，本发明不希望限于上文所展示的配置，而是将被赋予与在本文中(包括在所申请的所附权利要求书中)以任何方式揭示的原理及新颖特征一致的最广范围，所附权利要求书形成原始揭示内容的一部分。

所属领域的技术人员将理解，可使用多种不同技术及技法中的任一者来表示信息和信号。举例来说，可通过电压、电流、电磁波、磁场或磁性粒子、光场或光学粒子或者其任何组合来表示可在整个此描述中所参考的数据、指令、命令、信息、信号、位及符号。

对如本文所揭示的配置的实施的重要设计要求可包含最小化处理延迟和/或计算复杂性(通常以每秒百万指令或MIPS来测量)，尤其是针对计算集中型应用，例如经压缩音频或视听信息(例如，根据压缩格式编码的文件或流，例如本文所识别的实例中的一者)的重放，或针对用于宽带通信(例如，在高于八千赫兹(例如12、16、44.1、48或192kHz)的取样速率下的话音通信)的应用。

如本文所述的多麦克风处理系统的目标可包含实现总降噪中的十到十二dB、在所要扬声器的移动期间保留话音等级和色彩、获得噪声已移入背景中的察觉而不是进取性噪声移除、语音的反混响，和/或启用后处理(例如，掩蔽和/或降噪)的选择以实现较具进取性的降噪。

如本文所揭示的设备(例如，设备A100)的实施方案的各种元件可以被认为适合既定应用的任何硬件结构，或硬件与软件和/或固件的任何组合来体现。举例来说，此些元件可被制造为驻存(例如)在同一芯片上或芯片组中的两个或两个以上芯片之间的电子及/或光学装置。此装置的一个实例为固定或可编程逻辑元件(例如，晶体管或逻辑门)阵列，且这些元件中的任一者可实施为一个或一个以上此类阵列。这些元件中的任何两者或两者以上或甚至全部可实施于相同阵列内。所述阵列可实施于一个或一个以上芯片内(例如，包括两个或两个以上芯片的芯片组内)。

本文所揭示的设备(例如设备A100)的各种实施方案的一个或一个以上元件还可部分实施为经布置以执行一个或一个以上固定或可编程逻辑元件阵列的一个或一个以上指令集，所述逻辑元件例如为微处理器、嵌入式处理器、IP核心、数字信号处理器、FPGA(现场可编程门阵列)、ASSP(专用标准产品)以及ASIC(专用集成电路)。本文所揭示的设备的实施方案的各种元件中的任一者还可体现为一个或一个以上计算机(例如，包含经编程以执行一个或一个以上指令集或序列的一个或一个以上阵列的机器，也称为“处理器”)，且这些元件中的任何两者或两者以上或甚至全部可实施在相同的所述计算机内。

如本文所揭示的用于处理的处理器或其它装置可制造为(例如)驻存在同一芯片上或芯片组中的两个或两个以上芯片之间的一个或一个以上电子和/或光学装置。此装置的一个实例为固定或可编程逻辑元件(例如，晶体管或逻辑门)阵列，且这些元件中的任一者可实施为一个或一个以上此类阵列。所述阵列可实施于一个或一个以上芯片内(例如，包括两个或两个以上芯片的芯片组内)。此些阵列的实例包含固定或可编程逻辑元件阵列，所述逻辑元件例如为微处理器、嵌入式处理器、IP核心、DSP、FPGA、ASSP和ASIC。如本文所揭示的用于处理的处理器或其它装置还可实施为一个或一个以上计算机(例如，包含经编程以执行一个或一个以上指令集或序列的一个或一个以上阵列的机器)或其它处理器。如本文所述的处理器有可能用以执行不与方法M100的实施的程序直接有关的任务或其它指令集，例如与处理器嵌入其中的装置或系统(例如，音频感测装置)的另一操作有关的任务。这对于如本文所揭示的方法的待由音频感测装置的处理器执行的部分以及所述方法的待在一个或一个以上其它处理器的控制下执行的另一部分也是可能的。

所属领域的技术人员将了解，结合本文所揭示的配置而描述的各种说明性模块、逻辑块、电路以及测试和其它操作可实施为电子硬件、计算机软件或两者的组合。此些模块、逻辑块、电路和操作可用经设计以产生如本文所揭示的配置的通用处理器、数字信号处理器(DSP)、ASIC或ASSP、FPGA或其它可编程逻辑装置、离散门或晶体管逻辑、离散硬件组件或其任何组合来实施或执行。举例来说，此配置可至少部分地实施为硬连线电路、制造到专用集成电路中的电路配置，或制造为加载到非易失性存储装置中的固件程序，或作为机器可读代码从数据存储媒体加载或加载到数据存储媒体中的软件程序，此代码为可由例如通用处理器或其它数字信号处理单元等逻辑元件阵列执行的指令。通用处理器可为微处理器，但在替代方案中，处理器可为任何常规处理器、控制器、微控制器或状态机。处理器还可实施为计算装置的组合，例如，DSP与微处理器的组合、多个微处理器的组合、一个或一个以上微处理器与DSP核心的联合，或任何其它此配置。软件模块可驻存在例如RAM(随机存取存储器)、ROM(只读存储器)、非易失性RAM(NVRAM)(例如快闪RAM)、可擦除可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)、寄存器、硬盘、可装卸盘或CD-ROM等非暂时存储媒体中；或此项技术中已知的任何其它形式的存储媒体中。说明性存储媒体耦合到处理器，使得处理器可从存储媒体读取信息，且将信息写入到存储媒体。在替代方案中，存储媒体可与处理器成一体式。处理器及存储媒体可驻存在ASIC中。ASIC可驻存在用户终端中。在替代方案中，处理器及存储媒体可作为离散组件驻存在用户终端中。

注意，本文所揭示的各种方法(例如，方法M100，以及参考各种所描述设备的操作而揭示的各种方法)可由例如处理器等逻辑元件的阵列执行，且如本文所述的设备的各种元件可部分地实施为经设计以在此阵列上执行的模块。如本文所使用，术语“模块”或“子模块”可指代包含呈软件、硬件或固件形式的计算机指令(例如，逻辑表达式)的任何方法、设备、装置、单元或计算机可读数据存储媒体。将理解，多个模块或系统可组合为一个模块或系统，且一个模块或系统可被分离成多个模块或系统以执行相同功能。当以软件或其它计算机可执行指令实施时，进程的要素本质上为用以执行例如与例程、程序、对象、组件、数据结构等有关的任务的代码段。术语“软件”应理解为包括源代码、汇编语言代码、机器代码、二进制代码、固件、宏码、微码、可由逻辑元件阵列执行的任何一个或一个以上指令集或序列以及此类实例的任何组合。程序或代码段可存储于处理器可读媒体中或由包含在载波中的计算机数据信号经由传输媒体或通信链路传输。

本文所揭示的方法、方案和技术的实施还可有形地体现(例如，在本文所列的一个或一个以上计算机可读媒体的有形计算机可读特征中)为可由包含逻辑元件(例如，处理器、微处理器、微控制器或其它有限状态机)的阵列的机器执行的一个或一个以上指令集。术语“计算机可读媒体”可包含可存储或传送信息的任何媒体，包含易失性、非易失性、可装卸和非可装卸存储媒体。计算机可读媒体的实例包括电子电路、半导体存储器装置、ROM、快闪存储器、可擦除ROM(EROM)、软盘或其它磁性存储装置、CD-ROM/DVD或其它光学存储装置、硬盘或可用于存储所要信息的任何其它媒体、光纤媒体、射频(RF)链路，或可用于运载所要信息且可被存取的任何其它媒体。计算机数据信号可包括可经由传输媒体(例如电子网络信道、光纤、空气、电磁、RF链路等)传播的任何信号。代码段可经由例如因特网或企业内部网络等计算机网络来下载。在任何情况下，本发明的范围不应被解释为受此些实施例限制。

本文所述的方法的任务中的每一者可直接体现于硬件中、由处理器执行的软件模块中，或两者的组合中。在如本文所揭示的方法的实施方案的典型应用中，逻辑元件(例如，逻辑门)阵列经配置以执行所述方法的各种任务中的一者、一者以上或甚至全部。所述任务中的一者或一者以上(可能所有)还可实施为包含在计算机程序产品(例如，一个或一个以上数据存储媒体，例如磁盘、快闪存储器或其它非易失性存储卡、半导体存储器芯片等)中的代码(例如，一个或一个以上指令集)，所述计算机程序产品可由包括逻辑元件(例如，处理器、微处理器、微控制器或其它有限状态机)的阵列的机器(例如，计算机)读取且/或执行。如本文所揭示的方法的实施方案的任务还可由一个以上此阵列或机器执行。在这些或其它实施方案中，所述任务可在用于无线通信的装置内执行，所述装置例如为蜂窝式电话或具有此通信能力的其它装置。此装置可经配置以与电路交换及/或包交换网络通信(例如，使用一个或一个以上协议(例如VoIP))。举例来说，此装置可包含经配置以接收且/或发射经编码帧的RF电路。

明确地揭示，本文所揭示的各种方法可由便携式通信装置(例如手持机、头戴式耳机、智能电话或便携式数字助理(PDA))执行，且本文所述的各种设备可包含在此装置内。典型的实时(例如，在线)应用是使用此移动装置进行的电话会话。

在一个或一个以上示范性实施例中，本文所描述的操作可在硬件、软件、固件或其任何组合中实施。如果实施于软件中，那么可将此些操作作为一个或一个以上指令或代码存储在计算机可读媒体上或经由计算机可读媒体传输。术语“计算机可读媒体”包含计算机可读存储媒体和通信(例如，传输)媒体两者。作为实例而非限制，计算机可读存储媒体可包括存储元件的阵列，所述存储元件例如为半导体存储器(其可包含但不限于动态或静态RAM、ROM、EEPROM和/或快闪RAM)、或铁电、磁阻、奥氏(ovonic)、聚合或相变存储器；CD-ROM或其它光盘存储装置；和/或磁盘存储装置或其它磁性存储装置。此存储媒体可存储呈可由计算机存取的指令或数据结构的形式的信息。通信媒体可包括可用以运载呈指令或数据结构的形式的所要程序代码且可由计算机存取的任何媒体，包含促进计算机程序从一处到另一处的传送的任何媒体。并且，严格地说，可将任何连接称作计算机可读媒体。举例来说，如果使用同轴电缆、光纤缆线、双绞线、数字订户线(DSL)或例如红外线、无线电和/或微波等无线技术从网站、服务器或其它远程源传输软件，那么同轴电缆、光纤缆线、双绞线、DSL或例如红外线、无线电和/或微波等无线技术包含在媒体的定义中。如本文中所使用，磁盘及光盘包括压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软盘及Blu-ray Disc^TM(蓝光光盘协会，加利福尼亚州大学城(Universal City，CA))，其中磁盘通常以磁性方式再现数据，而光盘用激光以光学方式再现数据。以上各项的组合也应包括在计算机可读媒体的范围内。

如本文所述的声学信号处理设备可并入接受语音输入以便控制某些操作或可以其它方式受益于所要噪声与背景噪声的分离(例如通信装置)的电子装置中。许多应用可受益于增强清楚的所要声音或使清楚的所要声音与源自多个方向的背景声音分离。此些应用可包括电子或计算装置中的人机接口，其并入有例如话音辨识和检测、语音增强和分离、话音激活式控制等能力。可希望实施将在仅提供有限处理能力的装置中合适的声学信号处理设备。

本文所述的模块、元件和装置的各种实施方案的元件可制造为例如驻存在同一芯片上或芯片组中的两个或两个以上芯片之间的电子和/或光学装置。此装置的一个实例为固定或可编程逻辑元件(例如，晶体管或门)阵列。本文中所描述的设备的各种实施方案的一个或一个以上元件还可全部地或部分地实施为经布置以在一个或一个以上固定或可编程逻辑元件(例如，微处理器、嵌入式处理器、IP核心、数字信号处理器、FPGA、ASSP及ASIC)阵列上执行的一个或一个以上指令集。

有可能使如本文中所描述的设备的实施方案的一个或一个以上元件用于执行并非与所述设备的操作直接有关的任务或其它指令集，例如与嵌入有所述设备的装置或系统的另一操作有关的任务。还有可能使此设备的实施方案的一个或一个以上元件具有共同结构(例如，用于在不同时间执行对应于不同元件的代码部分的处理器、经执行以在不同时间执行对应于不同元件的任务的指令集，或在不同时间对不同元件执行操作的电子及/或光学装置的布置)。

Claims

1.一种音频信号处理方法，所述方法包括：

对第一音频信号进行空间处理以产生第一多个M个成像信号；

对于所述第一多个M个成像信号中的每一者，将第一多个M个驱动信号中的对应一者施加到阵列的第一多个M个扬声器中的对应一者，其中所述驱动信号是基于所述成像信号；

在谐波上扩展包含第一频率范围内的能量的第二音频信号以产生经扩展信号，所述经扩展信号包含所述第二音频信号在所述第一频率范围内的所述能量的在高于所述第一频率范围的第二频率范围内的谐波；

对基于所述经扩展信号的经增强信号进行空间处理，以产生第二多个N个成像信号；以及

对于所述第二多个N个成像信号中的每一者，将第二多个N个驱动信号中的对应一者施加到所述阵列的第二多个N个扬声器中的对应一者，其中所述驱动信号是基于所述成像信号。

2.根据权利要求1所述的音频信号处理方法，其中所述将所述第二多个N个驱动信号施加到所述第二多个N个扬声器包括产生沿第一方向比沿不同于所述第一方向的第二方向集中的声学能量波束，且

其中所述方法包括在所述将所述第二多个N个驱动信号施加到所述第二多个N个扬声器期间，驱动所述第二多个N个扬声器以产生沿所述第二方向比沿所述第一方向集中的声学噪声能量波束，

其中所述第一和第二方向是相对于所述第二多个N个扬声器。

3.根据权利要求1所述的音频信号处理方法，其中所述将所述第二多个N个驱动信号施加到所述第二多个N个扬声器包括产生沿第一方向比沿不同于所述第一方向的第二方向集中的第一声学能量波束，且

其中所述方法包括在所述将所述第二多个N个驱动信号施加到所述第二多个N个扬声器期间，将第三多个N个驱动信号施加到所述第二多个N个扬声器以产生沿所述第二方向比沿所述第一方向集中的第二声学能量波束，

其中所述第一和第二方向是相对于所述第二多个N个扬声器，且

其中所述第三多个N个驱动信号中的每一者是基于不同于所述第二音频信号的额外音频信号。

4.根据权利要求3所述的音频信号处理方法，其中所述第二音频信号和所述额外音频信号是立体声音频信号的不同信道。

5.根据权利要求1所述的音频信号处理方法，其中所述方法包含确定在第一时间用户的头部的定向在第一范围内，且

其中所述将所述第一多个M个驱动信号施加到所述第一多个M个扬声器以及所述将所述第二多个N个驱动信号施加到所述第二多个N个扬声器是基于在所述第一时间的所述确定，且

其中所述方法包括：

确定在继所述第一时间之后的第二时间所述用户的所述头部的定向在不同于所述第一范围的第二范围内；

响应于在所述第二时间的所述确定，将所述第一多个M个驱动信号施加到第二阵列的第一多个M个扬声器，且将所述第二多个N个驱动信号施加到所述第二阵列的第二多个N个扬声器，

其中所述第二阵列的所述第一多个M个扬声器中的至少一者不在所述第一阵列的所述第一多个M个扬声器之中，且

其中所述第二阵列的所述第二多个N个扬声器中的至少一者不在所述第一阵列的所述第二多个N个扬声器之中。

6.根据权利要求5所述的音频信号处理方法，其中所述第一阵列的所述第一多个M个扬声器是沿第一轴线布置，且

其中所述第二阵列的所述第一多个M个扬声器是沿第二轴线布置，且

其中所述第一与第二轴线之间的角度为至少六十度，且不大于一百二十度。

7.根据权利要求1所述的音频信号处理方法，其中所述方法包括将空间成形函数应用于所述第一多个M个成像信号，且

其中所述空间成形函数将所述阵列内的所述第一多个M个扬声器的至少一子集之中的每一者的位置映射到对应增益因子，且

其中所述应用所述空间成形函数包括根据所述对应增益因子改变所述第一多个M个成像信号的所述子集之中的每一者的振幅。

8.根据权利要求1所述的音频信号处理方法，其中所述第一频率范围内的能量与所述第二频率范围内的能量的比率针对所述第二多个N个驱动信号中的每一者比针对所述经扩展信号低至少六分贝。

9.根据权利要求1所述的音频信号处理方法，其中所述第二音频信号包含高于所述第二频率范围的第一高频范围内的能量，以及高于所述第一高频范围的第二高频范围内的能量，且

其中所述第一高频范围内的能量与所述第二高频范围内的能量的比率针对所述第二多个N个驱动信号中的每一者比针对所述经扩展信号高至少六分贝。

10.根据权利要求1所述的音频信号处理方法，其中所述方法包括在谐波上扩展包含所述第二频率范围内的能量的第三音频信号以产生第二经扩展信号，所述第二经扩展信号包含所述第三音频信号在所述第二频率范围内的所述能量的在高于所述第二频率范围的第三频率范围内的谐波，且

其中所述第一音频信号是基于所述第二经扩展信号。

11.根据权利要求10所述的音频信号处理方法，其中所述第一频率范围内的能量与所述第二频率范围内的能量的比率针对所述第二多个N个驱动信号中的每一者比针对所述经扩展信号低至少六分贝，且

其中所述第二频率范围内的能量与所述第三频率范围内的能量的比率针对所述第一多个M个驱动信号中的每一者比针对所述第二经扩展信号低至少六分贝。

12.根据权利要求11所述的音频信号处理方法，其中所述第一频率范围内的能量与所述第三频率范围内的能量的比率针对所述第一多个M个驱动信号中的每一者比针对所述第二经扩展信号低至少六分贝。

13.根据权利要求10所述的音频信号处理方法，其中所述第二音频信号包含高于所述第三频率范围的第一高频范围内的能量，以及高于所述第一高频范围的第二高频范围内的能量，且

其中所述第一高频范围内的能量与所述第二高频范围内的能量的比率针对所述第二多个N个驱动信号中的每一者比针对所述经扩展信号高至少六分贝，且

其中所述第三音频信号包含所述第二高频范围内的能量，以及高于所述第二高频范围的第三高频范围内的能量，且

其中所述第二高频范围内的能量与所述第三高频范围内的能量的比率针对所述第一多个M个驱动信号中的每一者比针对所述第二经扩展信号高至少六分贝。

14.根据权利要求10所述的音频信号处理方法，其中所述第二音频信号和所述第三音频信号两者是基于共同音频信号。

15.根据权利要求1到14中任一权利要求所述的音频信号处理方法，其中所述第一多个M个驱动信号包含所述第二多个N个驱动信号。

16.根据权利要求1到14中任一权利要求所述的音频信号处理方法，其中所述第一多个M个扬声器中的邻近扬声器之间的距离小于所述第二多个N个扬声器中的邻近扬声器之间的距离。

17.根据权利要求1到14中任一权利要求所述的音频信号处理方法，其中所述第一音频信号和所述第二音频信号两者是基于共同音频信号。

18.一种用于音频信号处理的设备，所述设备包括：

用于对第一音频信号进行空间处理以产生第一多个M个成像信号的装置；

用于对于所述第一多个M个成像信号中的每一者将第一多个M个驱动信号中的对应一者施加到阵列的第一多个M个扬声器中的对应一者的装置，其中所述驱动信号是基于所述成像信号；

用于在谐波上扩展包含第一频率范围内的能量的第二音频信号以产生经扩展信号的装置，所述经扩展信号包含所述第二音频信号在所述第一频率范围内的所述能量的在高于所述第一频率范围的第二频率范围内的谐波；

用于对基于所述经扩展信号的经增强信号进行空间处理以产生第二多个N个成像信号的装置；以及

用于对于所述第二多个N个成像信号中的每一者将第二多个N个驱动信号中的对应一者施加到所述阵列的第二多个N个扬声器中的对应一者的装置，其中所述驱动信号是基于所述成像信号。

19.根据权利要求18所述的用于音频信号处理的设备，其中所述用于将所述第二多个N个驱动信号施加到所述第二多个N个扬声器的装置经配置以产生沿第一方向比沿不同于所述第一方向的第二方向集中的声学能量波束，且

其中所述设备包括用于在所述将所述第二多个N个驱动信号施加到所述第二多个N个扬声器期间驱动所述第二多个N个扬声器以产生沿所述第二方向比沿所述第一方向集中的声学噪声能量波束的装置，其中所述第一和第二方向是相对于所述第二多个N个扬声器。

20.根据权利要求18所述的用于音频信号处理的设备，其中所述用于将所述第二多个N个驱动信号施加到所述第二多个N个扬声器的装置经配置以产生沿第一方向比沿不同于所述第一方向的第二方向集中的第一声学能量波束，且

其中所述设备包括用于在所述将所述第二多个N个驱动信号施加到所述第二多个N个扬声器期间将第三多个N个驱动信号施加到所述第二多个N个扬声器以产生沿所述第二方向比沿所述第一方向集中的第二声学能量波束的装置，

21.根据权利要求20所述的用于音频信号处理的设备，其中所述第二音频信号和所述额外音频信号是立体声音频信号的不同信道。

22.根据权利要求18所述的用于音频信号处理的设备，其中所述设备包含用于确定在第一时间用户的头部的定向在第一范围内的装置，且

其中所述用于在所述第一时间确定的装置经布置以启用所述用于将所述第一多个M个驱动信号施加到所述第一多个M个扬声器的装置，以及所述用于将所述第二多个N个驱动信号施加到所述第二多个N个扬声器的装置，且

其中所述设备包括：

用于确定在继所述第一时间之后的第二时间所述用户的所述头部的定向在不同于所述第一范围的第二范围内的装置；

用于将所述第一多个M个驱动信号施加到第二阵列的第一多个M个扬声器的装置；以及

用于将所述第二多个N个驱动信号施加到所述第二阵列的第二多个N个扬声器的装置，

其中所述用于在所述第二时间确定的装置经布置以启用所述用于将所述第一多个M个驱动信号施加到所述第二阵列的所述第一多个M个扬声器的装置，以及所述用于将所述第二多个N个驱动信号施加到所述第二阵列的所述第二多个N个扬声器的装置，

23.根据权利要求22所述的用于音频信号处理的设备，其中所述第一阵列的所述第一多个M个扬声器是沿第一轴线布置，且

24.根据权利要求18所述的用于音频信号处理的设备，其中所述设备包括用于将空间成形函数应用于所述第一多个M个成像信号的装置，且

其中所述用于应用所述空间成形函数的装置包括用于根据所述对应增益因子改变所述第一多个M个成像信号的所述子集之中的每一者的振幅的装置。

25.根据权利要求18所述的用于音频信号处理的设备，其中所述第一频率范围内的能量与所述第二频率范围内的能量的比率针对所述第二多个N个驱动信号中的每一者比针对所述经扩展信号低至少六分贝。

26.根据权利要求18所述的用于音频信号处理的设备，其中所述第二音频信号包含高于所述第二频率范围的第一高频范围内的能量，以及高于所述第一高频范围的第二高频范围内的能量，且

27.根据权利要求18所述的用于音频信号处理的设备，其中所述设备包括用于在谐波上扩展包含所述第二频率范围内的能量的第三音频信号以产生第二经扩展信号的装置，所述第二经扩展信号包含所述第三音频信号在所述第二频率范围内的所述能量的在高于所述第二频率范围的第三频率范围内的谐波，且

其中所述第一音频信号是基于所述第二经扩展信号。

28.根据权利要求27所述的用于音频信号处理的设备，其中所述第一频率范围内的能量与所述第二频率范围内的能量的比率针对所述第二多个N个驱动信号中的每一者比针对所述经扩展信号低至少六分贝，且

29.根据权利要求28所述的用于音频信号处理的设备，其中所述第一频率范围内的能量与所述第三频率范围内的能量的比率针对所述第一多个M个驱动信号中的每一者比针对所述第二经扩展信号低至少六分贝。

30.根据权利要求27所述的用于音频信号处理的设备，其中所述第二音频信号包含高于所述第三频率范围的第一高频范围内的能量，以及高于所述第一高频范围的第二高频范围内的能量，且

31.根据权利要求27所述的用于音频信号处理的设备，其中所述第二音频信号和所述第三音频信号两者是基于共同音频信号。

32.根据权利要求18到31中任一权利要求所述的用于音频信号处理的设备，其中所述第一多个M个驱动信号包含所述第二多个N个驱动信号。

33.根据权利要求18到31中任一权利要求所述的用于音频信号处理的设备，其中所述第一多个M个扬声器中的邻近扬声器之间的距离小于所述第二多个N个扬声器中的邻近扬声器之间的距离。

34.根据权利要求18到31中任一权利要求所述的用于音频信号处理的设备，其中所述第一音频信号和所述第二音频信号两者是基于共同音频信号。

35.一种用于音频信号处理的设备，所述设备包括：

第一空间处理模块，其经配置以对第一音频信号进行空间处理以产生第一多个M个成像信号；

音频输出级，其经配置以对于所述第一多个M个成像信号中的每一者，将第一多个M个驱动信号中的对应一者施加到阵列的第一多个M个扬声器中的对应一者，其中所述驱动信号是基于所述成像信号；

谐波扩展模块，其经配置以在谐波上扩展包含第一频率范围内的能量的第二音频信号以产生经扩展信号，所述经扩展信号包含所述第二音频信号在所述第一频率范围内的所述能量的在高于所述第一频率范围的第二频率范围内的谐波；以及

第二空间处理模块，其经配置以对基于所述经扩展信号的经增强信号进行空间处理以产生第二多个N个成像信号，其中所述音频输出级经配置以对于所述第二多个N个成像信号中的每一者，将第二多个N个驱动信号中的对应一者施加到所述阵列的第二多个N个扬声器中的对应一者，其中所述驱动信号是基于所述成像信号。

36.根据权利要求35所述的用于音频信号处理的设备，其中所述音频输出级经配置以将所述第二多个N个驱动信号施加到所述第二多个N个扬声器以产生沿第一方向比沿不同于所述第一方向的第二方向集中的声学能量波束，且

其中所述音频输出级经配置以在所述将所述第二多个N个驱动信号施加到所述第二多个N个扬声器期间，驱动所述第二多个N个扬声器以产生沿所述第二方向比沿所述第一方向集中的声学噪声能量波束，

其中所述第一和第二方向是相对于所述第二多个N个扬声器。

37.根据权利要求35所述的用于音频信号处理的设备，其中所述音频输出级经配置以将所述第二多个N个驱动信号施加到所述第二多个N个扬声器，以产生沿第一方向比沿不同于所述第一方向的第二方向集中的第一声学能量波束，且

其中所述音频输出级经配置以在所述将所述第二多个N个驱动信号施加到所述第二多个N个扬声器期间将第三多个N个驱动信号施加到所述第二多个N个扬声器，以产生沿所述第二方向比沿所述第一方向集中的第二声学能量波束，

38.根据权利要求37所述的用于音频信号处理的设备，其中所述第二音频信号和所述额外音频信号是立体声音频信号的不同信道。

39.根据权利要求35所述的用于音频信号处理的设备，其中所述设备包含跟踪模块，其经配置以确定在第一时间用户的头部的定向在第一范围内，且

其中所述跟踪模块经布置以控制所述音频输出级响应于在所述第一时间的所述确定，将所述第一多个M个驱动信号施加到所述第一多个M个扬声器，且将所述第二多个N个驱动信号施加到所述第二多个N个扬声器，且

其中所述跟踪模块经配置以确定在继所述第一时间之后的第二时间所述用户的所述头部的定向在不同于所述第一范围的第二范围内，且

其中所述跟踪模块经布置以控制所述音频输出级响应于在所述第二时间的所述确定，将所述第一多个M个驱动信号施加到第二阵列的第一多个M个扬声器，且将所述第二多个N个驱动信号施加到所述第二阵列的第二多个N个扬声器，且

40.根据权利要求39所述的用于音频信号处理的设备，其中所述第一阵列的所述第一多个M个扬声器是沿第一轴线布置，且

41.根据权利要求35所述的用于音频信号处理的设备，其中所述设备包括空间成形器，其经配置以将空间成形函数应用于所述第一多个M个成像信号，且

其中所述空间成形函数将所述阵列内的所述第一多个M个扬声器的至少一子集之中的每一者的位置映射到对应增益因子，且其中所述空间成形器经配置以根据所述对应增益因子改变所述第一多个M个成像信号的所述子集之中的每一者的振幅。

42.根据权利要求35所述的用于音频信号处理的设备，其中所述第一频率范围内的能量与所述第二频率范围内的能量的比率针对所述第二多个N个驱动信号中的每一者比针对所述经扩展信号低至少六分贝。

43.根据权利要求35所述的用于音频信号处理的设备，其中所述第二音频信号包含高于所述第二频率范围的第一高频范围内的能量，以及高于所述第一高频范围的第二高频范围内的能量，且

44.根据权利要求35所述的用于音频信号处理的设备，其中所述设备包括第二谐波扩展模块，其经配置以在谐波上扩展包含所述第二频率范围内的能量的第三音频信号以产生第二经扩展信号，所述第二经扩展信号包含所述第三音频信号在所述第二频率范围内的所述能量的在高于所述第二频率范围的第三频率范围内的谐波，且

其中所述第一音频信号是基于所述第二经扩展信号。

45.根据权利要求44所述的用于音频信号处理的设备，其中所述第一频率范围内的能量与所述第二频率范围内的能量的比率针对所述第二多个N个驱动信号中的每一者比针对所述经扩展信号低至少六分贝，且

46.根据权利要求45所述的用于音频信号处理的设备，其中所述第一频率范围内的能量与所述第三频率范围内的能量的比率针对所述第一多个M个驱动信号中的每一者比针对所述第二经扩展信号低至少六分贝。

47.根据权利要求44所述的用于音频信号处理的设备，其中所述第二音频信号包含高于所述第三频率范围的第一高频范围内的能量，以及高于所述第一高频范围的第二高频范围内的能量，且

48.根据权利要求44所述的用于音频信号处理的设备，其中所述第二音频信号和所述第三音频信号两者是基于共同音频信号。

49.根据权利要求35到48中任一权利要求所述的用于音频信号处理的设备，其中所述第一多个M个驱动信号包含所述第二多个N个驱动信号。

50.根据权利要求35到48中任一权利要求所述的用于音频信号处理的设备，其中所述第一多个M个扬声器中的邻近扬声器之间的距离小于所述第二多个N个扬声器中的邻近扬声器之间的距离。

51.根据权利要求35到48中任一权利要求所述的用于音频信号处理的设备，其中所述第一音频信号和所述第二音频信号两者是基于共同音频信号。

52.一种具有有形特征的计算机可读存储媒体，所述有形特征在由机器读取时致使所述机器执行根据权利要求1到14中任一权利要求所述的方法。