CN104321812B - 在呼叫期间的三维声音压缩及空中发射 - Google Patents

在呼叫期间的三维声音压缩及空中发射 Download PDF

Info

Publication number
CN104321812B
CN104321812B CN201380026946.9A CN201380026946A CN104321812B CN 104321812 B CN104321812 B CN 104321812B CN 201380026946 A CN201380026946 A CN 201380026946A CN 104321812 B CN104321812 B CN 104321812B
Authority
CN
China
Prior art keywords
audio signal
radio communication
audio
mike
codec
Prior art date
Application number
CN201380026946.9A
Other languages
English (en)
Other versions
CN104321812A (zh
Inventor
埃里克·维瑟
金莱轩
向佩
Original Assignee
高通股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to US201261651185P priority Critical
Priority to US61/651,185 priority
Priority to US13/664,701 priority patent/US9161149B2/en
Priority to US13/664,701 priority
Application filed by 高通股份有限公司 filed Critical 高通股份有限公司
Priority to PCT/US2013/040137 priority patent/WO2013176890A2/en
Publication of CN104321812A publication Critical patent/CN104321812A/zh
Application granted granted Critical
Publication of CN104321812B publication Critical patent/CN104321812B/zh

Links

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S3/00Systems employing more than two channels, e.g. quadraphonic
    • H04S3/006Systems employing more than two channels, e.g. quadraphonic in which a plurality of audio signals are transformed in a combination of audio signals and modulated signals, e.g. CD-4 systems

Abstract

本发明揭示一种用于通过无线通信装置编码三维音频的方法。所述无线通信装置检测多个可定位音频源的指示。所述无线通信装置还记录与所述多个可定位音频源相关联的多个音频信号。所述无线通信装置还编码所述多个音频信号。

Description

在呼叫期间的H维声音压缩及空中发射

[0001] 相关申请案

[0002] 本申请案设及且主张来自2012年5月24日申请的用于"在呼叫期间的S维声音压 缩及空中发射(THREE-DIMENSIONAL SOUND COMPRESSION AND 0VER-THE-ADR TRANSMISSION DURING A CAliT的第61/651,185号美国临时专利申请案的优先权。

技术领域

[0003] 本发明设及音频信号处理。更具体来说,本发明设及在呼叫期间的=维声音压缩 及空中发射。

背景技术

[0004] 随着技术进步,我们看见了网络速度及存储的明显增长,所述增长已不仅支持文 本,而且支持多媒体数据。在实时蜂窝式通信系统中,用W捕捉、压缩及发射=维(3-D)音频 的能力目前并不可用。挑战之一为捕捉S维音频信号。因此,可通过捕捉及再现S维音频用 于个别听觉体验的较现实及沉浸式交换来实现益处。

发明内容

[0005] 本发明掲示一种用于通过无线通信装置编码=维音频的方法。所述方法包含确定 多个可定位音频源的空间方向的指示。所述方法还包含记录与所述多个可定位音频源相关 联的多个音频信号。所述方法进一步包含编码所述多个音频信号。所述可定位音频源的空 间方向的指示可是基于接收的输入。

[0006] 所述方法可包含确定可定位音频源的数目。所述方法还可包含估计每一可定位音 频源的到达方向。所述方法可包含根据=维音频编码方案来编码多通道信号。

[0007] 所述方法可包含应用第一端射式方向中的射束W获得第一滤波信号。所述方法还 可包含应用第二端射式方向中的射束W获得第二滤波信号。所述方法可组合第一滤波信号 与第二滤波信号的延迟版本。第一及第二滤波信号中的每一者可具有至少两通道。滤波信 号中的一者可相对于另一滤波信号延迟。所述方法可相对于第一滤波信号的第二通道延迟 第一滤波信号的第一通道,及相对于第二滤波信号的第二通道延迟第二滤波信号的第一通 道。所述方法可相对于组合信号的第二通道延迟组合信号的第一通道。

[000引所述方法可将具有第一方向的射束的滤波器应用到第一对麦克风所产生的信号 W获得第一空间滤波信号,及将具有第二方向的射束的滤波器应用到第二对麦克风所产生 的信号W获得第二空间滤波信号。所述方法接着可组合第一及第二空间滤波信号W获得输 出信号。

[0009]对于阵列中的多个麦克风中的每一者,所述方法可包含记录对应输入通道。所述 方法还可包含对于多个观看方向中的每一者,将对应多通道滤波器应用到多个所记录输入 通道W获得对应输出通道。所述多通道滤波器中的每一者可应用对应观看方向中的射束及 其它观看方向中的空射束。所述方法可包含处理所述多个输出通道W产生双耳记录。所述 方法可包含应用射束到介于低阔值与高阔值之间的频率。所述低及高阔值中的至少一者是 基于麦克风之间的距离。

[0010] 本发明掲示一种用于通过无线通信装置选择编解码器的方法,所述方法包含确定 多个音频信号的能量分布曲线。所述方法还包含显示所述多个音频信号中的每一者的能量 分布曲线。所述方法还包含检测选择能量分布曲线的输入。所述方法还包含使编解码器与 所述输入相关联。所述方法进一步包含基于编解码器来压缩多个音频信号W产生包。所述 方法可包含在空中发射所述包。所述方法可包含发射通道识别。

[0011] 本发明掲示一种用于通过无线通信装置增加分配的方法。所述方法包含确定多个 音频信号的能量分布曲线。所述方法还包含显示所述多个音频信号中的每一者的能量分布 曲线。所述方法还包含检测选择能量分布曲线的输入。所述方法还包含使编解码器与所述 输入相关联。所述方法进一步包含基于所述输入而增加对用W压缩音频信号的编解码器的 位分配。所述音频信号的压缩可产生在空中发射的四个包。

[0012] 本发明描述一种用于通过无线通信装置编码=维音频的无线通信装置。所述无线 通信装置包含空间方向电路,其检测多个可定位音频源的空间方向的指示。所述无线通信 装置还包含禪合到空间方向电路的记录电路。记录电路记录与多个可定位音频源相关联的 多个音频信号。无线通信装置还包含禪合到记录电路的编码器。编码器编码所述多个音频 信号。

[0013] 本发明描述一种用于通过无线通信装置选择编解码器的无线通信装置。所述无线 通信装置包含确定多个音频信号的能量分布曲线的能量分布曲线电路。所述无线通信装置 包含禪合到能量分布曲线电路的显示器。所述显示器显示所述多个音频信号中的每一者的 能量分布曲线。所述无线通信装置包含禪合到显示器的输入检测电路。所述输入检测电路 检测选择能量分布曲线的输入。所述无线通信装置包含禪合到输入检测电路的关联电路。 所述关联电路使编解码器与输入相关联。无线通信装置包含禪合到关联电路的压缩电路。 压缩电路基于编解码器来压缩多个音频信号W产生包。

[0014] 本发明描述一种用于通过无线通信装置来增加位分配的无线通信装置。所述无线 通信装置包含确定多个音频信号的能量分布曲线的能量分布曲线电路。所述无线通信装置 包含禪合到能量分布曲线电路的显示器。所述显示器显示所述多个音频信号中的每一者的 能量分布曲线。所述无线通信装置包含禪合到显示器的输入检测电路。所述输入检测电路 检测选择能量分布曲线的输入。所述无线通信装置包含禪合到输入检测电路的关联电路。 所述关联电路使编解码器与输入相关联。无线通信装置包含禪合到关联电路的位分配电 路。所述位分配电路基于所述输入而增加对用W压缩音频信号的编解码器的位分配。

[0015] 本发明描述一种用于编码=维音频的计算机程序产品。所述计算机程序产品包含 具有指令的非暂时性有形计算机可读媒体。所述指令包含用于致使无线通信装置检测多个 可定位音频源的空间方向的指示的代码。所述指令包含用于致使所述无线通信装置记录与 多个可定位音频源相关联的多个音频信号的代码。所述指令包含用于致使所述无线通信装 置编码多个音频信号的代码。

[0016] 本发明描述一种用于选择编解码器的计算机程序产品。所述计算机程序产品包含 具有指令的非暂时性有形计算机可读媒体。所述指令包含用于致使无线通信装置确定多个 音频信号的能量分布曲线的代码。所述指令包含用于致使无线通信装置显示多个音频信号 中的每一者的能量分布曲线的代码。所述指令包含用于致使无线通信装置检测选择能量分 布曲线的输入的代码。所述方法还包含使编解码器与所述输入相关联。所述指令包含用于 致使无线通信装置基于编解码器来压缩多个音频信号W产生包的代码。

[0017] 本发明描述一种用于增加位分配的计算机程序产品。所述计算机程序产品包含具 有指令的非暂时性有形计算机可读媒体。所述指令包含用于致使无线通信装置确定多个音 频信号的能量分布曲线的代码。所述指令包含用于致使无线通信装置显示多个音频信号中 的每一者的能量分布曲线的代码。所述指令包含用于致使无线通信装置检测选择能量分布 曲线的输入的代码。所述方法还包含使编解码器与所述输入相关联。所述指令包含用于致 使无线通信装置基于所述输入而增加对用W压缩音频信号的编解码器的位分配的代码。

附图说明

[0018] 图1说明放置在蜂窝式电话的代表性手机上的麦克风;

[0019] 图2A说明基于用户接口输入的麦克风/射束形成器选择的方法的流程图;

[0020] 图2B说明用于麦克风对的空间选择性的区域;

[0021] 图3说明用于选择两维度中的所要记录方向的用户接口;

[0022] 图4说明界定在经配置W执行主动噪声消除(ANC)的头戴式耳机周围的可能空间 扇区;

[0023] 图5说明S麦克风布置;

[0024] 图6说明使用四麦克风设置的用于空间译码的全向及一阶捕捉;

[0025] 图7说明便携式通信装置的一个实例的前视图及后视图;

[0026] 图8说明记录来自宽边方向的源信号的情况;

[0027] 图9说明记录来自宽边方向的源信号的另一情况;

[002引图10说明组合端射式射束的情况;

[0029] 图11说明用于前中屯、、前左侧、前右侧、后左侧及后右侧方向上的射束的图表的实 例;

[0030] 图12说明用W获得右后侧空间方向上的信号的处理的实例。

[0031] 图13说明使用具有=麦克风阵列的两麦克风对盲源分离的空射束形成方法;

[0032] 图14说明其中组合前侧及右侧方向上的射束W获得右前侧方向上的结果的实例;

[0033] 图15说明用于如图13中所说明的方法的空射束的实例;

[0034] 图16说明使用具有四麦克风阵列的四通道盲源分离的空射束形成方法;

[0035] 图17说明用于拐角方向化、FR、化及BR的一组四滤波器的射束图案的实例;

[0036] 图18说明根据移动扬声器数据了解的独立向量分析会聚滤波器射束图案的实例;

[0037] 图19说明根据精细的移动扬声器数据了解的独立向量分析会聚滤波器射束图案 的实例;

[0038] 图20说明组合端射式射束的方法的流程图;

[0039] 图21说明用于一般双对情况的方法的流程图;

[0040] 图22说明用于S麦克风情况的图21的方法的实施方案;

[0041] 图23说明使用具有四麦克风阵列的四通道盲源分离的方法的流程图;

[0042] 图24说明用于盲目分离滤波器组的部分路由图;

[0043] 图25说明用于2X2滤波器组的路由图;

[0044] 图26A说明根据一般配置的多麦克风音频感测装置的框图;

[0045] 图26B说明通信装置的框图;

[0046] 图27A说明麦克风阵列的框图;

[0047] 图27B说明麦克风阵列的框图;

[0048] 图28说明不同话音编解码器在其上操作的不同频率范围及频带的图表;

[0049] 图29AJ9B及29C各自说明用于使用针对可经压缩的每一信号类型的四个非窄带 编解码器的第一配置的可能方案,即全带(FB)、超宽带(SWB)及宽带(WB);

[0050] 图30A说明用于第二配置的可能方案,其中两个编解码器具有平均音频信号;

[0051] 图30B说明用于第二配置的可能方案,其中一或多个编解码器具有平均音频信号;

[0052] 图31A说明用于第S配置的可能方案,其中编解码器中的一或多者可平均一或多 个音频信号;

[0053] 图31B说明用于第=配置的可能方案,其中非窄带编解码器中的一或多者具有平 均音频信号;

[0054] 图32说明四个窄带编解码器;

[0055] 图33为说明使用图29A、图29B或图29C的任何方案的四个非窄带编解码器的编码 器/解码器系统的端对端系统的流程图;

[0056] 图34为说明使用四个编解码器(例如,来自图30A或图30B中的任一者)的编码器/ 解码器系统的端对端系统的流程图;

[0057] 图35为说明使用四个编解码器(例如,来自图31A或图31B中的任一者)的编码器/ 解码器系统的端对端系统的流程图;

[0058] 图36为说明用于使用用W编码的四个非窄带编解码器(例如,来自图29A、图29B或 图29C)的组合与用W解码的四个宽带编解码器或窄带编解码器中的任一者而产生及接收 音频信号包的另一方法的流程图;

[0059] 图37为说明编码器/解码器系统的端对端系统的流程图,其中基于与声音的四个 拐角的能量的可视化相关联的用户选择而在一个或两个信号的压缩期间具有不同的位分 配,但在空中通道中发射四个包;

[0060] 图38为说明编码器/解码器系统的端对端系统及流程图,其中基于与声音的四个 拐角的能量的可视化相关联的用户选择而压缩及发射一个音频信号;

[0061] 图39为说明包括编解码器组合的四个配置的无线通信装置的实施方案的框图;

[0062] 图40为说明无线通信装置的实施方案的框图,其说明其中使用图29的4个宽带编 解码器来进行压缩的配置。

[0063] 图41为说明包括编解码器组合的四个配置的通信装置的实施方案的框图,其中可 使用任选编解码器预滤波器;

[0064] 图42为说明包括编解码器组合的四个配置的通信装置的实施方案的框图,其中任 选滤波可作为滤波器组阵列的一部分而发生;

[0065] 图43为说明包括编解码器组合的四个配置的通信装置的实施方案的框图,其中来 自听觉场景的声源数据可在用编解码器配置中的一者编码之前与来自一或多个滤波器的 数据混合;

[0066] 图44为说明用于使用集成编解码器来编码多方向音频信号的方法的流程图;

[0067] 图45为说明用于音频信号处理的方法的流程图;

[0068] 图46为说明用于编码S维音频的方法的流程图;

[0069] 图47为说明用于选择编解码器的方法的流程图;

[0070] 图48为说明用于增加位分配的方法的流程图;及

[0071] 图49说明可包含在无线通信装置内的某些组件。

具体实施方式

[0072] 通信装置的实例包含蜂窝式电话基站或节点、接入点、无线网关及无线路由器。通 信装置可根据某些产业标准来操作,例如第S代合作伙伴计划(3GPP)长期演进化TE)标准。 通信装置可遵守的其它标准实例包含电气与电子工程师协会(I邸E)802.11a、802.11b、 802.11旨、802.1111及/或802.11日(3(例如,无线保真度或呵1斗〇标准、1邸6802.16(例如,全 球微波接入互操作性或"WiMAX")标准及其它标准。在一些标准中,通信装置可称作节点B、 演进型节点B等。虽然本文所掲示的系统及方法中的一些可关于一或多个标准来描述,但此 不应限制本发明的范围,因为所述系统及方法可适用于许多系统及/或标准。

[0073] -些通信装置(例如,接入终端、客户端装置、客户站等)可与其它通信装置无线地 通信。一些通信装置(例如,无线通信装置)可称作移动装置、移动站、订户站、客户端、客户 站、用户设备化E)、远程站、接入终端、移动终端、终端、用户终端、订户单元等。通信装置的 额外实例包含膝上型或台式计算机、蜂窝式电话、智能电话、无线调制解调器、电子阅读器、 平板装置、游戏系统等。运些通信装置中的一些可根据如上所述的一或多个产业标准来操 作。因此,一般术语"通信装置"可包含用根据产业标准的不同命名来描述的通信装置(例 如,存取终端、用户设备、远程终端、接入点、基站、节点B、演进型节点B等)。

[0074] -些通信装置可能够提供对通信网络的接入。通信网络的实例包含(但不限于)电 话网络(例如,"陆线"网络,例如公共交换电话网络(PSTN)或蜂窝式电话网络)、因特网、局 域网(LAN)、广域网(WAN)、城域网(MN)等。

[0075] 除非上下文明确地限制,否则术语"信号"在本文用W指示其普通含义中的任一 者,包含如在导线、总线或其它发射媒体上表达的存储器位置(或存储器位置集合)的状态。 除非上下文明确地限制,否则术语"产生"在本文用W指示其普通含义中的任一者,例如推 算或W其它方式产生。除非上下文明确地限制,否则术语"计算"在本文用W指示其普通含 义中的任一者,例如推算、评估、平滑及/或从多个值中进行选择。除非上下文明确地限制, 否则术语"获得"用W指示其普通含义中的任一者,例如计算、导出、接收(例如,从外部装 置)及/或检索(例如,从存储元件阵列)。除非上下文明确地限制,否则术语"选择"用W指示 其普通含义中的任一者,例如识别、指示、应用及/或使用两个或两个W上的集合中的至少 一者及少于全部。在本发明描述及权利要求书中使用术语"包括"的情况下,其并不排除其 它元件或操作。术语"基于"(如在"A基于B"中)用W指示其普通含义中的任一者,包含W下 情况:(i)"导出"(例如,"B为A的前驱者");(ii)"至少基于"(例如,"A至少基于护)及,在特 定上下文中适当的情况下;(iii)"等于"(例如,"A等于B")。类似地,术语"响应于"用W指示 其普通含义中的任一者,包含"至少响应于"。

[0076] 参考多麦克风音频感测装置的麦克风的"位置"指示所述麦克风的听觉敏感面的 中屯、的位置,除非上下文另有指示。术语"通道"有时用W指示信号路径,及根据特定上下文 而在其它时候用W指示此类路径所载运的信号。除非另有指示,否则术语"系列"用W指示 一序列的两个或两个W上项目。术语"对数"用W十为基底的对数,但此类运算到其它基底 的扩展是在本发明的范围内。术语"频率分量"用W指示信号的频率或频带集合当中的一 者,例如信号的频域表示的样本(例如,如由快速傅里叶变换所产生)或信号的子带(例如, 己克(Bark)刻度或梅尔(mel巧Ij度子带)。

[0077] 除非另外指示,否则对具有特定特征的设备的操作的任何掲示内容还明确地意图 掲示具有类似特征的方法(且反之亦然),且对根据特定配置的设备的操作的任何掲示内容 还明确地意图掲示根据类似配置的方法(且反之亦然)。术语"配置"可用W参考如由其特定 上下文指示的方法、设备及/或系统。术语"方法"、"过程"、"程序"及"技术"经一般化且互换 地使用,除非特定上下文另有指示。术语"设备"及"装置"也经一般化且互换地使用,除非特 定上下文另有指示。术语"元件"及"模块"通常用W指示较大配置的一部分。除非上下文明 确地限制,否则术语"系统"在本文用W指示其普通含义中的任一者,包含"交互W服务共同 目的的元件群组"。通过参考文档的一部分的任何并入还应被理解为并入在所述部分内参 考的术语或变数的定义,其中此类定义出现在所述文档中的其它地方W及所并入部分中参 考的任何图式中。

[0078] 如本文所述的方法可经配置W将所捕捉信号处理为一系列分段。典型分段长度范 围从约五或十毫秒到约四十或五十毫秒,且所述分段可重叠(例如,其中相邻分段重叠25% 或50%)或非重叠。在一个特定实例中,信号分为一系列非重叠分段或"帖",每一者具有十 毫秒的长度。如由此类方法处理的分段也可为如由不同操作处理的较大分段的分段(即, "子帖"),或反之亦然。现今,我们正体验经由快速发展的社交网络服务(例如,脸书 巧acebook)、推特(Twitter)等)的个别信息的快速交换。同时,我们还看见了网络速度及存 储的明显增长,所述增长已不仅支持文本,而且支持多媒体数据。在此环境中,可认识到用 于捕捉及再现=维(3D)音频用于个别听觉体验的较现实及沉浸式交换的重要需要。在实时 蜂窝式通信系统中,用W捕捉、压缩及发射3-D音频的能力目前并不可用。挑战之一为捕捉 3-D音频信号。还可在本文中使用2011年10月24日申请的名为"使用多麦克风的=维声音捕 捉及再现(THREE-DIMENSIONAL SOUND CAPTURING AND REPRODUCING WITH MULTI- 110?0口战脚65)"的代理人案号为102978肥的第13/280,303号美国专利申请案中所描述的一 些技术中,W描述如何捕捉及可如何记录3-D音频信息的方式。然而,此申请案通过描述3-D 音频可与实时蜂窝式通信系统中发现的话音编解码器组合的方式来扩展先前所掲示的能 力。

[0079] 首先,描述3-D音频的捕捉。在一些实施方案中,可记录可听信息。本文所述的可听 信息还可通过一或多个独立话音编解码器来压缩且在一或多个空中通道中发射。

[0080] 图1说明具有用于不同声源方向的可配置麦克风104a-e阵列几何形状的无线通信 装置102的S种不同视图。无线通信装置102可包含听筒108及一或多个扩音器llOa-b。取决 于用例,可选择装置102的麦克风104a-e的不同组合(例如,对)W支持不同源方向的空间选 择性音频记录。举例来说,在视频摄像机情况下(例如,其中摄像机镜头106在无线通信装置 102的后面上),可使用前后麦克风104a-e对(例如,第一麦克风104a及第四麦克风104d,第 一麦克风104a及第五麦克风104e或第S麦克风104c及第四麦克风104d)来记录前面及后面 方向(即,引导射束进入及远离摄像机镜头106),其中可手动及自动地配置左边及右边方向 偏好。对于在正交于前后轴线的方向上的声音记录,麦克风l〇4a-e对(例如,第一麦克风 104a及第二麦克风104b)可为另一选项。另外,还可使用可配置麦克风104a-e阵列几何形状 来压缩及发射3-D音频。

[0081] 可针对给定设计方法范围的各种麦克风104a-e组合(即,最小方差无失真响应 (MVDR)、线性约束最小方差化CMV)、相位阵列)来离线计算不同的射束形成器数据库。在使 用期间,可取决于当前用例需求而经由用户接口中的菜单来选择运些射束形成器中的所要 一者。

[0082] 图2A说明用于此类方法200的概念流程图。首先,无线通信装置102可获得201-或 多个优选声音捕捉方向(例如,如自动地及/或经由用户接口而选择)。接着,无线通信装置 102可选择203提供指定方向性的射束形成器与麦克风阵列(例如,对)的组合。指定方向性 还可与一或多个话音编解码器组合使用。

[0083] 图2B说明用于一对麦克风204a-b的空间选择性的区域。举例来说,第一空间205a 可表示可通过使用第一麦克风204a及第二麦克风204b而应用端射式射束形成而聚焦音频 所来自的空间。类似地,第二空间20化可表示可通过使用第二麦克风204b及第一麦克风 204a而应用端射式射束形成而聚焦音频所来自的空间。

[0084] 图3说明无线通信装置302的用户接口 312的实例。如上所述,在一些实施方案中, 可经由用户接口312来选择记录方向。举例来说,用户接口312可显示一或多个记录方向。用 户可经由用户接口312来选择所要记录方向。在一些实例中,用户接口312还可用W选择与 用户希望用较多位压缩的特定方向相关联的音频信息。在一些实施方案中,无线通信装置 302可包含听筒308、一或多个扩音器310a-b及一或多个麦克风304a-c。

[0085] 图4说明可包含S个麦克风404a-c的立体声头戴式耳机414a-b的相关用例。举例 来说,立体声头戴式耳机414a-b可包含中屯、麦克风404a、左麦克风404b及右麦克风404c。麦 克风404a-c可支持例如语音捕捉及/或主动噪声消除(ANC)的应用程序。对于此类应用程 序,可界定头部周围的不同扇区416a-d(即,后扇区416a、左扇区41化、右扇区416c及前扇区 416d),W用于使用此S麦克风404a-c配置(图4,使用全向麦克风)来进行记录。类似地,此 用例可用W压缩及发射3-D音频。

[0086] 还可使用专用麦克风设置(例如,如图5中所示的S麦克风504a-c布置)来执行S 维音频捕捉。此类布置可经由线518或无线地连接至记录装置520。记录装置520可包含本文 描述的用于检测装置520定向及根据选定音频记录方向在麦克风504a-c当中(即,从中屯、麦 克风504曰、左麦克风504b及右麦克风504c当中)选择一对的设备。在替代布置中,中屯、麦克 风504a可位于记录装置520上。类似地,此用例可用W压缩及发射3-D音频。

[0087] -般假定远端用户使用立体声头戴式耳机(例如,自适应噪声消除或ANC头戴式耳 机)来收听所记录空间声音。然而,在其它应用中,能够再现两个W上空间方向的多扩音器 阵列可在远端可用。为支持此类用例,可需要在3-D音频信号的记录或捕捉期间同时启用一 个W上麦克风/射束形成器组合W用W压缩及发射3-D音频。

[0088] 多麦克风阵列可与空间选择性滤波器一起使用W产生用于一或多个源方向中的 每一者的单声道声音。然而,此类阵列还可用W支持两个或=个维度上的空间音频编码。可 用如本文所述的多麦克风阵列支持的空间音频编码方法的实例包含:5.1环绕、7.1环绕、杜 tk (Do化y)环绕、杜比定向逻辑(Pro-Logic)或任何其它相幅矩阵立体声格式;杜比数字、 DTS或任何离散多通道格式;及波场合成。五通道编码的一个实例包含左边、右边、中屯、、左 边环绕及右边环绕通道。

[0089] 图6说明使用四麦克风604a-d设置的用于近似用于空间译码的一阶捕捉的全向麦 克风604a-d布置。可使用如本文描述的多麦克风604a-d阵列支持的空间音频编码方法的实 例还可包含可最初意图用于供特殊麦克风604a-d使用的方法,例如立体混响(Ambisonic)B 格式或高阶立体混响格式。举例来说,立体混响编码方案的经处理多通道输出可包含在测 量点上的S维泰勒展开式(Taylor expansion),其可使用如图6中描绘的S维定位麦克风 阵列而至少近似高达一阶。通过较多麦克风,可增加逼近阶。根据实例,第二麦克风604b可 与第一麦克风604a在Z方向上分离距离A Z。第=麦克风604c可与第一麦克风604a在y方向 上分离距离A y。第四麦克风604d可与第一麦克风604a在X方向上分离距离A X。

[0090] 为了将沉浸式声音体验传达给用户,环绕声记录可为独立的或结合录像带录制, 环绕声记录可使用利用单向麦克风604a-d的单独麦克风设置。在此实例中,可分别剪辑一 或多个单向麦克风604a-d。在本发明中,呈现与空间滤波组合的基于多个全向麦克风604a- d的替代方案。在此配置的实例中,嵌入于智能电话或平板计算机上的一或多个全向麦克风 604a-d可支持多个声音记录应用程序。举例来说,两个麦克风604a-d可用于宽场立体声,及 具有适当麦克风604a-d轴线的至少S个全向麦克风604a-d可用于环绕声,可用W记录智能 电话或平板装置上的多个声音通道。运些通道可继而成对处理或用经设计W具有所要观看 方向上的特定空间拾取图案的滤波器同时滤波。由于空间混叠,可选择麦克风间距离W使 得图案在最相关频带上有效。可在环绕声设置中播放所产生立体声或5.1输出通道W产生 沉浸式声音体验。

[0091] 图7说明无线通信装置702(例如,智能电话)的一个实例的前视图及后视图。前麦 克风704a及第一后麦克风704c的阵列可用W产生立体声记录。其它麦克风704配对的实例 包含第一麦克风704a(在前面)与第二麦克风704b(在前面)、第=麦克风704c(在后面)与第 四麦克风704d(在后面)、及第二麦克风704b(在前面)与第四麦克风704d(在后面)。麦克风 704a-d相对于源的不同位置(其可取决于装置702的固持位置)可产生可使用空间滤波强化 的立体声效应。为了产生评论员与所记录场景(例如,在录像带录制期间)之间的立体声图 像,可需要使用利用第一麦克风704a(在前面)及第S麦克风704c(在后面)的端射式配对, 其间具有所述装置(如图1的侧视图中所示)的厚度的距离。然而,应注意还可使用不同固持 位置中的相同麦克风704a-d,且可产生具有朝向Z轴(例如,如图1的后视图中所示)的距离 的端射式配对。在后者情况下,可产生朝向所述场景的立体声图像(例如,来自场景左边的 声音被捕捉为左边传来的声音)。在一些实施方案中,无线通信装置可包含听筒708、一或多 个扩音器71 Oa-b及/或摄像机镜头706。

[0092] 图8说明使用第一麦克风704a(在前面)及第S麦克风704c(在后面)的端射式配对 的情况,其间具有装置702的厚度的距离W记录来自宽边方向的源信号。在此情况下,X轴 874增加到右边,Y轴876增加到左边,及Z轴878增加到顶部。在此实例中,两麦克风704a、 704c的坐标可为(X = O,y = 0, Z = O)及(X = O,y = 0.10, Z = -0.01)。可应用立体声射束形成, 使得沿着y = 〇平面的区可说明宽边方向上的射束,且周围的区(x = 0,y = -0.5,z = 0)可说 明端射式方向上的空射束。当评论员从宽边方向说话时(例如,向着装置702的背面),由于 相对于围绕麦克风704a、704c对的轴的旋转的模糊性,可难W区别评论员的声音与装置702 前面的场景。在此实例中,可不强化用W分离评论员的声音与所述场景的立体声效应。

[0093] 图9说明使用第一麦克风704a(在前面)及第S麦克风704c(在后面)的端射式配对 的另一情况,其间具有装置702的厚度的距离W记录来自宽边方向的源信号,其中麦克风 704a(在前面)、704c(在后面)坐标可与图8相同。在此情况下,X轴974增加到右边,Y轴976增 加到左边,及Z轴978增加到顶部。在此实例中,射束可经定向朝向端射式方向(穿过点(X = 〇,y = -〇.5,z = 0)),使得用户的(例如,评论员的)语音可在一个通道中腾空。所述射束可使 用空的射束形成器或另一方法形成。举例来说,盲源分离(BSS)方法,例如独立分量分析 (ICA)或独立向量分析(IVA)可提供比空射束形成器宽的立体声效应。请注意,为了提供用 于所录制场景本身的较宽立体声效应,其可足W使用相同麦克风704a、704c的端射式配对, 其间具有朝向Z轴978(例如,如图1的后视图中所示)的距离。

[0094] 图10为说明组合端射式射束的情况的图表。在此情况下,X轴1074增加到右边,Y轴 1076增加到左边,及Z轴1078增加到顶部。由于无线通信装置702处于宽边固持位置,可需要 组合端射式射束到左边及右边(例如,如图9及10中所示)W增强与原始记录相比的立体声 效应。此类处理还可包含添加通道间延迟(例如,模仿麦克风间隔)。此类延迟可用W将两射 束形成器的输出延迟标准化到空间中的共同参考点。当在头戴受话器上播放立体声通道 时,操纵延迟还可帮助在优选方向上旋转空间图像。装置702可包含指示固持位置的加速度 计、磁力计及/或回转仪(例如,如可在名为"用于定向敏感记录控制的系统、方法、设备及计 算机可读媒体(SYSTEMS,METHODS ,APPARATUS AND COMPUTER-READABLE M抓IA FOR ORIENTATION-SENSITIVE RECO畑ING CONTROL)"的代理人案号为 102978U1 的第 13/280,211 号美国专利申请案中描述)。下文论述的图20说明此类方法的流程图。

[00%]当装置处于端射式固持位置中时,所述记录可提供宽场立体声效应。在此情况下, 空间滤波(例如,使用空射束形成器或BSS解决方案,例如ICA或IVA)可稍微增强所述效应。

[0096] 在双麦克风情况下,立体声记录的文件可经由如上所述的空间滤波而增强(例如, 增加用户的语音与所记录场景的分离)。可需要产生来自所捕捉立体声信号的若干不同定 向通道(例如,用于环绕声),W便将信号上混到两个W上通道。举例来说,可需要将信号上 混到五个通道(例如,用于5.1环绕声方案),使得可使用用于每一通道的五个扬声器阵列中 的不同一者来播放。此类方法可包含在对应方向上应用空间滤波W获得上混的通道。此类 方法还可包含应用多通道编码方案到上混通道(例如,杜比环绕的版本)。

[0097] 对于其中使用两个W上麦克风704a-d用于记录的情况,可能使用空间滤波及不同 麦克风704a-d组合来在多个方向(例如,五个方向,根据5.1标准)上进行记录,接着播放所 记录信号(例如,使用五个扩音器)。此类处理可在无上混的情况下执行。

[009引图11说明用于前中屯、(FC) 1180、前左侧(FL) 1182、前右侧(FR) 1184、后左侧(BL) 1186及后右侧(BRH188方向上的此类射束的图表的实例。X、Y及Z轴在运些图表中类似定向 (每一范围的中间为零,且尽端为+/-0. 5,其中X轴增加到右边,Y轴增加朝向左边,及Z轴增 加朝向顶部),及暗区指示所述的射束或空射束方向。用于每一图表的射束经定向穿过W下 点(Z = O):用于前中屯、(。01180的^ = 0,7 = +0.5),用于前右侧巧101184的^ = +0.5,7 = + 0.5),用于后右侧(8101188的^ = +0.5,7 = -0.5),用于后左侧(81^1186的^ = -0.5,7 =- 0.5),及用于前左侧巧1^1182的^ = -0.5,7 = +0.5)。

[0099] 与四个不同方向(FR 1184、BR 1188、BL 1186、FL 1182)相关联的音频信号可使用 无线通信装置702上的话音编解码器来压缩。在接收器侧,播放/或解码与不同定向声音相 关联的四个重建构音频信号的用户的中屯、声音可通过FR 1184、BR 1188、化1186、FL 1182 通道的组合来产生。与不同方向相关联的运些音频信号可使用无线通信装置702来实时压 缩及发射。四个独立源中的每一者可从某些低带频率化B)频率向上压缩及发射到某些上带 频率化B)。

[0100] 空间滤波技术的有效性可限于取决于W下因素的带通范围:例如,小的麦克风间 间隔、空间混叠及高频散射。在一个实例中,信号可在空间滤波之前经低通滤波(例如,具有 8曲Z的截止频率)。

[0101 ]对于来自单个点源的声音被捕捉的情况,用来自其它方向的信号的掩蔽来补充此 类射束形成可导致非方向路径信号的强烈衰减及/或在达到所要掩蔽效应所需的进取性层 级的可听失真。此类假影对于高清晰度化D)音频可为不合要求的。在一个实例中,皿音频可 W48kHz的取样速率来记录。为减轻此类假影,代替使用进取性空间滤波的信号,可需要仅 使用每一通道的经处理信号的能量分布曲线,及针对原始输入信号或掩蔽之前的空间处理 输出上的每一通道来应用根据能量分布曲线的增益平移规则。请注意,由于声音事件可在 时频图中为稀疏的,所W可能使用甚至具有多源情况的此类后增益平移方法。

[0102] 图12说明用W获得右后侧空间方向上的信号的处理的实例。图表A 1290(振幅对 时间)说明原始麦克风记录。图表B 1292(振幅对时间)说明对麦克风信号进行低通滤波(具 有8k化的截止频率)及执行具有掩蔽的空间滤波的结果。图表C 1294(量值对时间)说明基 于图表B 1292中的信号的能量的相关空间能量(例如,样本值的平方和)。图表D 1296(状态 对时间)说明基于低频空间滤波所指示的能量差的平移分布曲线,及图表E1298(振幅对时 间)说明48曲Z平移输出。

[0103] 对于双麦克风对情况,可需要设计用于一个对的至少一个射束及用于另一对的在 不同方向的至少两个射束。射束可经设计或经学习(例如,使用盲源分离方法,例如独立分 量分析或独立向量分析)。运些射束中的每一者可用W获得记录的不同通道(例如,用于环 绕声记录)。

[0104] 图13说明使用具有S麦克风1304a-c阵列的两麦克风对盲源分离(例如,独立分量 分析或独立向量分析)的空射束形成方法。对于前面及后面可定位音频源1380a、1380b,可 使用第二麦克风1304b及第=麦克风1304c。对于左边及右边可定位音频源1380c、1380d,可 使用第一麦克风1304a及第二麦克风1304b。可需要两麦克风1304a-c对的轴为正交的或至 少实质上正交的(例如,与正交相差不超过五、十、十五或二十度)。

[0105] 通道中的一些可通过组合射束中的两者或两者W上而产生。图14说明其中可组合 前射束142^1与右射束1422b(即,前面及右边方向上的射束)W获得前右侧方向上的结果的 实例。射束可由一或多个麦克风1404a-c(例如,第一麦克风1404a、第二麦克风1404b及第S 麦克风1404c)来记录。可按相同方式获得用于前左侧、后右侧及/或后左侧方向上的结果。 在此实例中,W此方式组合重叠射束1422a-d可提供一信号,其中来自对应拐角的信号比来 自其它位置的信号大6地。在一些实施方案中,可形成后空射束1422c及左空射束1422d(即, 左边及后面方向上的射束可为空的)。在一些情况下,可应用信道间延迟W将两射束形成器 的输出延迟标准化到空间中的共同参考点。当组合"左右端射式对"及"前后端射式对"时, 可需要将参考点设置到麦克风1404a-c阵列的重屯、。此类操作可支持在所要拐角位置的最 大化射束发射,其中在两对之间具有经调整延迟。

[0106] 图15说明用于如图13中所说明的方法的在前面1501、后面1503、左边1505及右边 1507方向上的空射束的实例。射束可使用最小方差无失真响应射束形成器来设计或使用学 习其中装置702与声音源(或源)的相对位置固定的情形的盲源分离(例如,独立分量分析或 独立向量分析)滤波器而会聚。在运些实例中,所展示频率区间的范围对应于从0到8曲Z的 带。可见空间射束图为互补的。还可见,因为运些实例中的左右对的麦克风1304a-c与前后 对的麦克风1304a-c之间的不同间隔,所W空间混叠不同地影响运些射束图。

[0107] 由于空间混叠,取决于麦克风间距离,可需要将射束应用到小于所捕捉信号的整 个频率范围(例如,如上所述的从0到8k化的范围)。在低频内容经空间滤波之后,可在后方 添加高频内容,具有用于空间延迟、处理延迟及/或增益匹配的一些调整。在一些情况下(例 如,手持式装置形状因子),还可需要仅滤波频率的中间范围(例如,仅降低到200或500Hz), 运是因为由于麦克风间隔限制而总是可预期一些方向性损耗。

[0108] 如果存在某一种类的非线性相位失真,那么可不良地执行根据相同到达方向 (DOA)的基于所有频率的相同延迟的标准射束/空形成技术,运是因为由非线性相位失真所 引起的一些频率上的微分延迟。然而,基于如本文描述的独立向量分析的方法基于源分离 来操作,及因此可预期此类方法甚至在存在用于相同到达方向的微分延迟的情况下产生良 好的结果。此类稳固性可为使用独立向量分析用于获得环绕处理系数的潜在优势。

[0109] 对于其中未在某一截止频率(例如,SkHz) W上进行空间滤波的情况,所述最终高 清晰度信号可包含高通滤波原始前/后通道及在后面添加从8曲Z到24曲Z的带。此类操作可 包含调整空间及高通滤波延迟。还可需要调整8-24-曲Z带的增益(例如,W便不混淆空间分 离效应)。图12中所说明的实例可在时域中滤波,但明确地涵盖且因此掲示用W在其它域中 (例如,频域)滤波的本文所描述的方法的应用。

[0110] 图16说明使用具有四个麦克风1604a-d阵列的四通道盲源分离(例如,独立分量分 析或独立向量分析)的空射束形成方法。可需要四个麦克风1604a-d的各种对中的至少两者 的轴为正交的或至少实质上正交的(例如,与正交相差不超过五、十、十五或二十度)。除了 双麦克风配对之外可使用此类四麦克风1604a-d滤波器W产生拐角方向中的射束图。在一 个实例中,滤波器可使用独立向量分析及训练数据而学习,且将所得会聚独立向量分析滤 波器实施为固定滤波器,将所述固定滤波器应用于四个所记录麦克风1604a-d输入W产生 用于5.1环绕声中的相应五个通道方向中的每一者的信号巧^。(:^1?、81?、8〇。为充分利用 五个扬声器,可例如使用W下方程式获得前中屯、通道FC: 下文论述的图23说 明用于此类方法的流程图。下文论述的图25说明用于此类滤波器组的部分路由图,其中麦 克风n提供到列n中的滤波器的输入(l<=n<=4),且输出通道中的每一者为对应行中的 滤波器的输出的总和。

[0111] 在此类学习过程的一个实例中,独立声音源定位于四麦克风1604a-d阵列周围的 四个经设计位置(例如,四个拐角位置化、FR、化及BR)中的每一者处,且所述阵列用W捕捉 四通道信号。请注意,所捕捉四通道输出中的每一者为所有四个源的混合物。接着可应用盲 源分离技术(例如,独立向量分析)W分离四个独立源。在会聚之后,可获得分开的四个独立 源W及会聚的滤波器集合,所述滤波器集合基本上射束发射朝向目标拐角及未朝向其它= 个拐角。

[0112] 图17说明用于拐角方向前左侧(FLH709、前右侧巧1〇1711、后左侧(81^1713及后 右侧(BRH715的此类一组四个滤波器的射束图的实例。对于风景记录模式,获得及应用滤 波器可包含使用两前麦克风及两后麦克风,针对相对于所述阵列的固定位置处的源执行四 通道独立向量分析学习算法,及应用所述会聚滤波器。

[0113] 射束图可取决于所获取混合数据而变化。图18说明在后左侧(BLH817方向、后右 侦U(BR)1819方向、前左侧(FU1821方向及前右侧(FRH823方向上的在移动扬声器数据上学 习的独立向量分析会聚滤波器射束图的实例。图19说明在后左侧(BL) 1917方向、后右侧 (BRH919方向、前左侧(FU1921方向及前右侦U(FR)1923方向上的在精细移动扬声器数据上 学习的独立向量分析会聚滤波器射束图的实例。运些实例与图18中所示的相同,除了前右 侧射束图之外。

[0114] 使用独立向量分析训练四麦克风滤波器的过程可包含射束发射朝向所要方向,但 还是未朝向干设方向。举例来说,用于前左侧(FL)方向的滤波器会聚到包含W下射束的解 决方案:所述射束朝向前左侧(FL)方向及在前右侧(FR)、后左侧(BL)及后右侧(BR)方向上 为空的。如果已知精确的麦克风阵列几何形状,那么可确切地进行此类训练操作。或者,独 立向量分析过程可用丰富的训练数据来执行,其中一或多个音频源(例如,话音、音乐器材 等)位于每一拐角处且由四麦克风阵列捕捉。在此情况下,可不管麦克风配置(即,不需要关 于麦克风几何形状的信息)来执行训练过程一次,且滤波器可在稍后时间针对特定阵列配 置为固定的。只要阵列包含在投影二维(x-y)平面中的四个麦克风,就可应用此学习处理的 结果W产生适当的四拐角滤波器组。如果所述阵列的麦克风布置在两个正交或几乎正交的 轴(例如,与正交相差15度内)上,那么此类经训练滤波器可用W在没有特定麦克风阵列配 置的约束下记录环绕声图像。举例来说,如果两个轴非常接近正交,那么=麦克风阵列足 矣,且每一轴上的麦克风之间的分隔之间的比率并不重要。

[0115] 如上所述,高清晰度信号可通过空间处理低频且通过高频项而获得。然而,如果计 算复杂性的增加并非特定设计的重要问题,那么可代替执行整个频率区域的处理。因为四 麦克风独立向量分析方法更多地聚焦在空位而非射束发射上,所W所述高频项中的混叠的 效应可减少。空混叠可发生在射束发射方向中的少数频率下,使得射束发射方向中的大部 分频率区域可保持不被空混叠影响,尤其对于小的麦克风间距离。对于较大麦克风间距离, 空位可实际上变得随机化,使得所述效应类似于正好通过未经处理高频项的情况。

[0116] 对于小的形状因子(例如,手持式装置102),可需要避免执行低频下的空间滤波, 运是因为麦克风间隔可能太小而不能支持良好结果,且高频下的性能可能折衷。同样地,可 需要避免执行高频下的空间滤波,运是因为此类频率通常已经定向,且滤波可对于空间混 叠频率W上的频率无效。

[0117] 如果使用少于四个麦克风,那么可难W在S个其它拐角形成空位(例如,由于不足 的自由度)。在此情况下,可需要使用替代方案,例如如参考图14、21及22论述的端射式配 对。

[0118] 图20说明组合端射式射束的方法2000流程图。在一个实例中,无线通信装置102可 应用2002在一个端射式方向上的射束。无线通信装置102可应用2004在另一端射式方向上 的射束。在一些实例中,麦克风l〇4a-e对可应用在端射式方向上的射束。接着,无线通信装 置102可组合2006滤波信号。

[0119] 图21说明用于在一般双对麦克风情况中组合射束的方法2100的流程图。在一个实 例中,第一麦克风l〇4a-e对可应用2102在第一方向上的射束。第二麦克风104a-e对可应用 2104在第二方向上的射束。接着,无线通信装置102可组合2106滤波信号。

[0120] 图22说明在=麦克风情况中组合射束的方法2200的流程图。在此实例中,第一麦 克风104a及第二麦克风104b可应用2202在第一方向上的射束。第二麦克风104b及第=麦克 风104c可应用2204在第二方向上的射束。接着,无线通信装置102可组合2206滤波信号。每 一对端射式射束形成可具有+90及-90度的聚焦区。作为实例,为具有前面(前后对的+90)左 边(左右对的+90),可使用均具有+90度聚焦区的两端射式射束形成的组合。

[0121] 图23为使用四通道盲源分离的四个麦克风2304a-d(例如,第一麦克风通道2304曰、 第二麦克风通道2304b、第S麦克风通道2304c及第四麦克风通道2304d)的阵列的框图。麦 克风2304a-d通道可各自禪合到四个滤波器2324a-d中的每一者。为充分利用五个扬声器, 可通过(例如)经由第一滤波器2324a及第二滤波器2324b的输出而组合前右侧通道2304a及 左通道2304b而获得前中屯、通道2304e。

[0122] 图24说明用于盲源分离滤波器组2426的部分路由图。四个麦克风2404(例如,第一 麦克风2404a、第二麦克风2404b、第S麦克风2404c及第四麦克风2404d)可禪合到滤波器组 2426 W产生在前左侧(FL)方向、前右侧(FR)方向、后左侧(BL)方向及后右侧(BR)方向上的 音频信号。

[0123] 图25说明用于2 X 2滤波器组2526的路由图。四个麦克风2504(例如,第一麦克风 2504a、第二麦克风2504b、第S麦克风2504c及第四麦克风2504d)可禪合到滤波器组2526W 产生在前左侧(FL)方向、前右侧(FR)方向、后左侧(BL)方向及后右侧(BR)方向上的音频信 号。请注意,在2 X 2滤波器组的输出处,3-D音频信号化、FR、BR及化为输出。如图23中所说 明,可从其它滤波器中的两者(第一及第二滤波器)的组合再现中央通道。

[0124] 此描述包含使用多个全向麦克风2504a-d来提供来自所记录信号的5.1通道记录 的掲示内容。可需要使用多个全向麦克风2504a-d来产生来自所捕捉信号的双耳记录。举例 来说,如果没有来自用户侧的5.1通道环绕系统,那么可需要将5.1通道降混到立体声双耳 记录,使得用户可具有处于具有环绕声系统的实际听觉空间中的体验。而且,此能力可提供 其中用户可在其记录地点上的场景的同时监视环绕记录及/或使用立体声头戴式耳机代替 家庭影院系统而在其移动装置上播放所记录视频及环绕声的选项。

[0125] 本文所述的系统及方法可提供来自全向麦克风2504a-d的阵列的定向声音源,其 意图经过位于起居室空间中的指定位置(FL、FR、C、BL(或左环绕)及BR(或右环绕))处的扩 音器来播放。使用头戴受话器再现此情形的一个方法可包含测量每一扩音器到位于所要听 觉空间中的每一耳朵内部的麦克风2504a-d的双耳脉冲响应(BIR)(例如,双耳转移函数)的 离线过程。双耳脉冲响应可编码听觉路径信息,包含用于扩音器阵列及两耳朵当中的每个 源接收器对的来自每一扩音器的直接路径W及反射路径。小的麦克风2504a-d可位于针对 人耳内部,或使用例如具有硅胶耳朵的头部及躯干模拟器(例如,HATS、布吕埃尔(Bruel)及 克亚尔化jaer)、DK)的仿真头部。

[0126] 对于双耳再现,所测量双耳脉冲响应可与用于指定扩音器位置的每一定向声音源 卷积。在将所有定向源与双耳脉冲响应卷积之后,可将用于每一耳朵记录的结果求和。在此 情况下,复制人耳所捕捉的左边及右边信号的两通道(例如,左边及右边)可经由头戴受话 器来播放。请注意,来自全向麦克风2504a-d的阵列的5.1环绕产生可用作从阵列到双耳再 现的经过点。因此,此方案可取决于产生经过点的方式而普及。举例来说,较多定向源由阵 列所捕捉的信号产生,其可用作具有从所要扩音器位置到耳朵的近似测量的双耳脉冲响应 的经过点。

[0127] 可需要在便携式音频感测装置内执行如本文描述的方法,所述装置具有经配置W 接收听觉信号的两个或两个W上麦克风2504a-d的阵列。可经实施W包含此类阵列及可用 于音频记录及/或语音通信应用的便携式音频感测装置的实例包含:电话手机(例如,蜂窝 式电话手机);有线或无线头戴式耳机(例如,蓝牙头戴式耳机);手持式音频及/或视频记录 器;经配置W记录音频及/或视频内容的个人媒体播放器;个人数字助手(PDA)或其它手持 式计算装置;及笔记型计算机、膝上型计算机、迷你笔记型计算机、平板计算机或其它便携 式计算装置。便携式计算装置的种类当前包含具有W下名称的装置:例如膝上型计算机、笔 记型计算机、迷你笔记型计算机、超便携式计算机、平板计算机、移动因特网装置、智能本及 智能电话。此类装置可具有包含显示屏幕的顶部面板及可包含键盘的底部面板,其中两面 板可W始壳式或其它较接关系来连接。可将此类装置类似地实施为在顶部表面上包含触摸 屏显示器的平板计算机。可经建构W执行此类方法及包含阵列实例且可用于音频记录及/ 或语音通信应用的音频感测装置的其它实例包含机顶盒及音频及/或视频会议装置。

[0128] 图26A说明根据一般配置的多麦克风音频感测装置2628的框图。音频感测装置 2628可包含本文所掲示的麦克风阵列2630的实施方案中的任一者W及可实施为音频感测 装置2628的实例的本文所掲示的音频感测装置中的任一者的实例。音频感测装置2628还可 包含可经配置W通过执行如本文所掲示的方法中的一或多者的实施方案而处理多通道音 频信号(MCS)的设备2632。设备2632可经实施为硬件(例如,处理器)与软件及/或与固件的 组合。

[0129] 图26B说明可为装置2628的实施方案的通信装置2602的框图。无线通信装置2602 可包含忍片或忍片组2634(例如,移动站调制解调器(MSM)忍片组),其包含设备2632。忍片/ 忍片组2634可包含一或多个处理器。忍片/忍片组26%还可包含阵列2630的处理元件(例 如,下文论述的音频预处理级的元件)。忍片/忍片组2634还可包含:接收器,其可经配置W 接收射频(RF)通信信号且解码及复制在所述RF信号内编码的音频信号;及发射器,其可经 配置W编码可基于设备2632所产生的经处理信号的音频信号,且发射描述经编码音频信号 的RF通信信号。举例来说,忍片/忍片组2634的一或多个处理器可经配置W在多通道信号的 一或多个通道上执行如上所述的噪声减少操作,使得经编码音频信号是基于噪声减少的信 号。

[0130] 阵列2630的每一麦克风可具有为全向、双向或单向(例如,屯、脏线)的响应。可用于 阵列2630中的各种类型的麦克风可包含(非限制)压电麦克风、动态麦克风及驻极体麦克 风。在用于便携式语音通信的装置(例如手机或头戴式耳机)中,阵列2630的相邻麦克风之 间的中屯、到中屯、间隔可在从约1.5 C m到约4.5 C m的范围中,但较大间隔(例如,高达10或 15cm)在例如手机或智能电话的装置中也是可能的,且甚至更大间隔(例如,高达20、25或 30cm或30cmW上)在例如平板计算机的装置中可是可能的。阵列2630的麦克风可沿着线(具 有均匀或非均匀麦克风间隔)经布置,或者,使得其中屯、位于二维(例如,=角形)或=维形 状的顶点处。

[0131] 明确指出,可将麦克风较大体实施为对除了声音之外的福射或发射敏感的换能 器。在一个此类实例中,可将麦克风对实施为一对超声波换能器(例如,对大于十五、二十、 二十五、=十、四十或五十千赫或五十千赫W上的声频敏感的换能器)。

[0132] 在多麦克风音频感测装置2628的操作期间,阵列2630可产生多通道信号,其中每 一通道是基于麦克风中的对应一者对声学环境的响应。一个麦克风可比另一麦克风更直接 地接收特定声音,使得对应通道彼此不同W共同提供比可使用单个麦克风所捕捉的更完整 的声学环境的表示。在一些实施方案中,忍片组2634可禪合到一或多个麦克风2604a-b、扩 音器2610、一或多个天线2603a-b、显示器2605及/或小键盘2607。

[0133] 图27A为经配置W执行一或多个操作的麦克风2704a-b的阵列2730的框图。可需要 阵列2730对麦克风2704a-b所产生的信号执行一或多个处理操作,W产生多通道信号。阵列 2730可包含音频预处理级2736,其经配置W执行一或多个此类操作,可包含(非限制)阻抗 匹配、模拟/数字转换、增益控制、及/或模拟及/或数字域中的滤波。

[0134] 图27B为经配置W执行一或多个操作的麦克风阵列2730的另一框图。阵列2730可 包含音频预处理级2736,其可包含模拟预处理级2738a及2738b。在一个实例中,级2738a及 2738b可各自经配置W对对应麦克风信号执行高通滤波操作(例如,具有50、100或200Hz的 截止频率)。

[0135] 可需要阵列2730产生作为数字信号的多通道信号,也就是说,作为样本序列。举例 来说,阵列2730可包含模拟/数字转换器(ADC) 2740a及2740b,其各自经配置W对对应模拟 通道取样。用于声学应用的典型取样速率可包含8曲z、l化化、1化化及从约8曲Z到约16kHz 的范围中的其它频率,但还可使用高达约44kHz的取样速率。在此特定实例中,阵列2730还 可包含数字预处理级2742a及2742b,其各自经配置W对对应数字化通道执行一或多个预处 理操作(例如,回声消除、噪声减少及/或频谱塑形),W产生多通道信号MCS的对应通道MCS- 1、MCS-2。尽管图27A及27B展示两通道实施方案,但将理解可将相同原理扩展到任意数目个 麦克风2704a-b及多通道信号MCS的对应通道。

[0136] 用于沉浸式音频再现的当前格式包含(a)双耳3D、(b)听觉传输型(transaural) 3D、及(c)5.1/7.1环绕声。对于双耳及听觉传输型3D两者,通常仅发射立体声通道/信号。对 于环绕声,可发射不仅仅立体声信号。本发明提出一种用于发射不止立体声用于环绕声的 用于移动装置中的译码方案。

[0137] 当前系统可发射如图1所说明的"B格式音频",来自音频工程社会杂志,第57卷、第 9期、2009年9月。B格式音频具有有4个通道的1个经过点,且要求特殊记录设置。其它系统聚 焦于广播而非语音通信。

[0138] 本发明的系统及方法具有用于实时通信系统中的四个经过点,其中经过点可存在 于环绕声系统的四个拐角(例如,前左侧、前右侧、后左侧及后右侧)中的每一者处。运四个 拐角的声音发射可一起或独立地完成。在运些配置中,可使用任何数目个话音编解码器来 压缩四个音频信号。在一些情况下,可不需要记录设置(例如,用于B格式音频中的设置)。可 省略Z轴。进行此并不会使信号降级,因为信息仍可由人耳辨别。

[0139] 新的译码方案能够提供具有失真的压缩,主要限于话音编解码器所固有的失真。 最终音频输出可针对可能扩音器放置而内插。另外,其可与其它格式兼容,例如B格式(除了 Z轴及双耳记录之外)。此外,新的译码方案可受益于使用与位于大多数移动装置的音频路 径中的话音编解码器串联工作的回声消除器的使用,运是因为四个音频信号可主要是不正 确的。

[0140] 本发明的系统及方法可处理实时通信的问题。在一些实例中,可将来自高达某些 上带(UB)频率(例如,[LB,UB])的某些低带(LB)频率的频带发射作为个别通道。可取决于可 用通道容量来发射某些上带(UB)频率W上到奈奎斯特(Nyquist)频率(例如,[UB,NF]))的 不同通道。举例来说,如果四个通道可用,那么可发射四个音频通道。如果两个通道可用,那 么可在平均前面两个及后面两个通道之后发射前面及后面通道。如果一个通道可用,那么 了发射所有麦克风输入的平均值。在一些配置中,未发射通道,且可使用类似于频带复制的 技术来从低带(例如,比8,118])产生高带(例如,[1]8,^])。对于低带频率化8)^下的那些带 (例如,[0,LB]),可发射所有麦克风输入的平均值。

[0141] 在一些实例中,音频信号的编码可包含选择性编码。举例来说,如果用户想要发送 一个特定定向源,(例如,用户的语音),那么无线通信装置可通过最小化其它通道的动态范 围W及减少其它方向的能量来分配较多译码位资源用于所述方向。另外或替代地,如果用 户对特定定向源(例如,用户的语音)有兴趣,那么无线通信装置可发射一个或两个通道。

[0142] 图28说明一或多个音频信号2844a-d的频带的图表。音频信号2844a-d可表示从不 同方向接收的音频信号。举例来说,一个音频信号2844a可为来自环绕声系统中的前左侧 (FL)方向的音频信号,另一音频信号2844b可为来自后左侧(BL)方向的音频信号,另一音频 信号2844c可为来自前右侧(FR)方向的音频信号,及另一音频信号2844d可为来自后右侧 (BR)方向的音频信号。

[0143] 根据一些配置,音频信号2844a-d可分为一或多个带。举例来说,前左侧音频信号 2844a可分为带IA 2846a、带IB 2876a、带2A 2878a、带2B 2880a及带2C 2882a。其它音频信 号2844b-d可类似地划分。如本文所使用的术语"带1B"可指介于某一低带频率(LB)与某一 上带频率(UB)(例如,[LB,UB])之间的频带。音频信号2844a-d的带可包含一或多个类型的 带。举例来说,音频信号2844a可包含一或多个窄带信号。在一些实施方案中,窄带信号可包 含带IA 2846a-d及带IB 2876a-d的一部分(例如,带lB2876a-d的小于4kHz的部分)。换句话 说,如果某一上带频率(UB)大于4曲Z,那么带IB 2876a-d可大于窄带信号。在其它实施方案 中,窄带信号可包含带IA 2846a-d、带IB 2876a-d及带2A 2878a-d的一部分(例如,带2A 2878a-d的小于4k化的部分)。音频信号2844a还可包含一或多个非窄带信号(例如,带2A 2878a的一部分(大于4k化的部分)、带2B 2880a及带2C 2882a)。如本文所使用,术语"非窄 带"指非窄带信号的任何信号(例如,宽带信号、超宽带信号及全带信号)。

[0144] 所述带的范围可如下:带IA 2846a-d可跨距从0到200Hz。在一些实施方案中,带IA 2846a-d的上限可高达大约500Hz。带IB 2876a-d可跨距从带IA 2846a-d的最大频率(例如, 200化或500化)高达大约6.44化。带24 2878曰-(1可跨距从带18 2876曰-(1的最大范围(例如, 6.4曲Z)高达大约8曲Z。带2B 2880a-d可跨距从带2A 2878a-d的最大范围(例如SkHz)高达 大约16kHz。带2C 2882a-d可跨距从带2B 2880a-d的最大范围(例如,1化化)高达大约 24 曲Z。

[0145] 在一些实施方案中,带IB 2876a-d的上限可取决于一或多个因数,包含(但不限 于)麦克风的几何放置及麦克风的机械设计(例如,单向麦克风对全向麦克风)。举例来说, 带IB 2876a-d的上限可在麦克风经定位较靠近在一起时与在麦克风经定位分开较远时不 同。在此实施方案中,其它带(例如,带2A-C 2878a-d、2880a-d、2882a-d)可从带IB 2876a-d 导出。

[0146] 高达带IB 2876a-d的上部边界的频率范围可为窄带信号(例如,高达4k化)或稍微 高于窄带限制(例如,6.4K化)。如上所述,如果带IB 2876a-d的上部边界小于窄带信号(例 如,4kHz),那么带2A 2878a-d的一部分可包含窄带信号。通过比较,如果带lB2876a-d的上 部边界大于窄带信号(例如,4kHz),那么带2A 2878a-d可不包含窄带信号。高达带2A 2878a-d的上部边界(例如,8kHz)的频率范围的一部分可为宽带信号(例如,大于4曲Z的部 分)。高达带2B 2880a-d上部边界(例如,16Mz)的频率范围可为超宽带信号。高达带2C 2882a-d的上部边界(例如,24曲Z)的频率范围可为全带信号。

[0147] 取决于网络的可用性及移动装置102中可用的话音编解码器的可用性,可使用编 解码器的不同配置。当设及压缩时,有时在音频编解码器与话音编解码器之间进行区分。话 音编解码器可被称作语音编解码器。音频编解码器及话音编解码器具有不同的压缩方案, 且压缩量可在两者之间广泛变化。音频编解码器可具有较佳保真度,但可在压缩音频信号 2844a-加寸需要较多位。因此,压缩比率(即,编解码器中的输入信号的位数目与编解码器的 输出信号的位数目)对于音频编解码器比话音编解码器低。因此,由于小区(被多个基站覆 盖的区域)中的空中带宽约束,所W在旧的2G(第二代)及3G(第=代)通信系统中未使用音 频编解码器来发射语音,运是因为发射话音包所需的位的数目是不合要求的。结果,在2G及 3G通信系统中或已使用话音编解码器来在从一个移动装置到另一移动装置的语音通道中 在空中发射经压缩话音。

[0148] 尽管音频编解码器存在于移动装置中,但音频包(即,通过音频编解码器进行的音 频的压缩的描述)的发射已在空中数据通道上完成。音频编解码器的实例包含MPEG-2/AAC 立体声、MPEG-4BSAC立体声、实时音频、SBC蓝牙、WMA及WMA IOPro。应注意,运些音频编解码 器可在3G系统中的移动装置中发现,但经压缩音频信号并未在业务通道或语音通道上实时 空中发射。话音编解码器用W实时压缩音频信号及空中发射。话音编解码器的实例包含AMR 窄带话音编解码器(5.1化69)、413宽带话音编解码器(8.85肺93)、6.72948话音编解码器 (8kbps)、GSM-EFR话音编解码器(12.化bps)、GSM-FR话音编解码器(13kbps)、GSM-HR话音编 解码器(5.6kpbs)、EVRC-NB、EVRC-WB。经压缩话音(或音频)封装在声码器包中且在业务通 道中在空中发送。话音编解码器有时称为声码器。在被空中发送之前,将声码器包插入到较 大的包中。在2G及3G通信中,在语音通道中发射语音,但还可使用VOIPQP语音)在数据通道 中发射语音。

[0149] 取决于空中带宽,各种编解码器方案可用于编码上带(UB)频率与奈奎斯特频率 (N巧之间的信号。图29-33中呈现运些方案的实例。

[0150] 图29A说明使用四个全带编解码器2948a-d的第一配置的一个可能方案。如上所 述,音频信号2944a-d可表示从不同位置接收的音频信号2944a-d(例如,前左侧音频信号 2944a、后左侧音频信号2944b、前右侧音频信号2944c及后右侧音频信号2944d)。类似地,如 上所述,音频信号2944a-d可分为一或多个带。通过使用全带编解码器2948a-d,音频信号 2944a可包含带IA 2946a、带IB 2976a及带2A-2C 2984a。在一些情况下,所述带的频率范围 可为先前所描述的频率范围。

[0151] 在此实例中,每一音频信号2944a-d可使用用于压缩及发射音频信号2944a-d的各 种带的全带编解码器2948a-d。举例来说,介于由某一低带频率化B)及某一上带频率化B)所 界定的频率范围内的每一音频信号2944a-d的那些带(例如,包含带IB 2976a-d)可经滤波。 根据此配置,对于包含大于某一上带频率(UB)及小于奈奎斯特频率(例如,带2A-2C 2984a- d)的频率的带,在最接近所要拐角位置2944a-d的麦克风处捕捉的原始音频信号可经编码。 类似地,对于包含小于某一低带频率化B)(例如,带IA 2946a-d)的频率的带,在最接近所要 拐角位置2944a-d的麦克风处捕捉的原始音频信号可经编码。在一些配置中,编码在最接近 所要拐角位置2944a-d的麦克风处捕捉的原始音频信号可表示带2A-2C 2984a-d的指定方 向,运是因为其捕捉了麦克风通道之间的自然延迟及增益差异。在一些实例中,捕捉最接近 所要位置的麦克风与经滤波范围之间的差异为:与经滤波频率区域相比,定向性的效应并 非如此强烈。

[0152] 图29B说明使用四个超宽带编解码器2988a-d的第一配置的一个可能方案。通过使 用超宽带编解码器2988a-d,音频信号2944a-d可包含带IA 2946a-d、带IB 2976a-d及带2A- 2B 2986a-d〇

[0153] 在此实例中,介于由某一低带频率化B)及某一上带频率(UB)所界定的频率范围内 的每一音频信号2944a-d的那些带(例如,包含带IB 2976a-d)可经滤波。根据此配置,对于 包含大于某一上带频率(UB)及小于奈奎斯特频率(例如,带2A-2B 2986a-d)的频率的带,在 最接近所要拐角位置2944a-d的麦克风处捕捉的原始音频信号可经编码。类似地,对于包含 小于某一低带频率化B)(例如,带IA 2946a-d)的频率的带,在最接近所要拐角位置2944a-d 的麦克风处捕捉的原始音频信号可经编码。

[0154] 图29抗兑明使用四个宽带编解码器2990a-d的第一配置的一个可能方案。通过使用 宽带编解码器2990a-d,音频信号2944a-d可包含带IA 2946a-d、带IB 2976a-d及带2A 2978a-d〇

[0155] 在此实例中,介于由某一低带频率化B)及某一上带频率(UB)所界定的频率范围内 的每一音频信号2944a-d的那些带(例如,包含带IB 2976a-d)可经滤波。根据此配置,对于 包含大于某一上带频率(UB)及小于奈奎斯特频率(例如,带2A 2978a-d)的频率的带,在最 接近所要拐角位置2944a-d的麦克风处捕捉的原始音频信号可经编码。类似地,对于包含小 于某一低带频率(LB)(例如,带IA 2946a-d)的频率的带,在最接近所要拐角位置2944a-d的 麦克风处捕捉的原始音频信号可经编码。

[0156] 图30A说明用于第二配置的可能方案,其中两个编解码器3094a-d具有平均音频信 号。在一些实例中,不同编解码器3094a-d可用于不同音频信号3044a-d。举例来说,前左侧 音频信号3044a及后左侧音频信号3044b可分别使用全带编解码器3094a、3094b。此外,前右 侧音频信号3044c及后右侧音频信号3044d可使用窄带编解码器3094c、3094d。当图30A描绘 两全带编解码器3094a、3094b及两窄带编解码器3094c、3094d时,可使用编解码器的任何组 合,且本发明的系统及方法并不受图30A中描绘的配置限制。举例来说,前右侧音频信号 3044c及后右侧音频信号3044d可使用宽带或超宽带编解码器来代替图30A中描绘的窄带编 解码器3094c-d。在一些实例中,如果上带频率化B)大于窄带限制(例如,4kHz),那么前右侧 音频信号3044c及后右侧音频信号3044d可使用宽带编解码器来改进空间译码效应或可在 网络资源有限的情况下使用窄带编解码器。

[0157]在此配置中,全带编解码器3094a、3094b可平均前右侧音频信号3044c及后右侧音 频信号3044d的某一上部边界W上的频率范围的一或多个音频信号3044a-d。举例来说,全 带编解码器3094a、3094b可平均包含大于某一上带频率(UB)的频率的音频信号带(例如,带 2A-2C 3092a、309化)。来源于同一大体方向的音频信号3044a-d可一起被平均。举例来说, 前左侧音频信号3044a及前右侧音频信号3044c可一起被平均,及后左侧音频信号3044b及 后右侧音频信号3044d可被一起平均。

[015引平均音频信号3044a-d的实例给定如下。前左侧音频信号3044a及后左侧音频信号 3044b可使用全带编解码器3094a、3094b。在此实例中,前右侧音频信号3044c及后右侧音频 信号3044d可使用窄带编解码器3094c、3094d。在此实例中,全带编解码器3094a、3094b可包 含用于相应音频信号(例如,前左侧音频信号3044a及后左侧音频信号3044b)的某一低带频 率化B)与某一上带频率(UB)之间的那些经滤波带(例如,带lB3076a-b)。全带编解码器 3094a、3094b还可平均含有类似定向的音频信号(例如,前音频信号3044a、3044c及后音频 信号304仙、3044(1)的某一上带频率(1]8)^上的频率的音频信号带(例如,带24-20 3092曰- b)。类似地,全带编解码器3094a、3094b可包含某一低带频率化B)W下的带(例如,带IA 3046a-b)〇

[0159] 此外,在此实例中,窄带编解码器3094c、3094d可包含用于相应音频信号(例如,前 右侧音频信号3044c、后右侧音频信号3044d)的含有介于某一低带频率化B)与最大4k化与 某一上带频率化B)之间的频率的那些经滤波带(例如,带IB 3076c、3076d)。窄带编解码器 3094c、3094d还可包含用于相应音频信号(例如,前右侧音频信号3044c、后右侧音频信号 3044d)的某一低带频率化B) W下的带。在此实例中,如果某一上带频率化B)小于4k化,那么 在最接近所要拐角位置3044a-d的麦克风处捕捉的原始音频信号可经编码。

[0160] 如上所述,当图30A描绘两全带编解码器3094a、3094b及两窄带编解码器3094c、 3094加寸,可使用编解码器的任何组合。举例来说,两超宽带编解码器可替代两全带编解码 器3094a、3094b。

[0161] 图30B说明用于第二配置的可能方案,其中一或多个编解码器3094a-b、e-f具有平 均音频信号。在此实例中,前左侧音频信号3044a及后左侧音频信号3044b可使用全带编解 码器3094a、3094b。在此实例中,前右侧音频信号3044c及后右侧音频信号3044d可使用宽带 编解码器3094e、3094f。在此配置中,全带编解码器3094a、3094b可平均上部边界W上的频 率范围的一部分的一或多个音频信号3044a-d。举例来说,全带编解码器2094a、2094b可平 均前右侧音频信号3044c及后右侧音频信号3044d的频率范围的一部分(例如,带2B 3092a、 2C 3092b)的一或多个音频信号3044a-d。来源于同一大体方向的音频信号3044a-d可一起 被平均。举例来说,前左侧音频信号3044a及前右侧音频信号3044c可一起被平均,及后左侧 音频信号3044b及后右侧音频信号3044d可被一起平均。

[0162] 在此实例中,全带编解码器3094a、3094b可包含带IA 3046a-b、带IB 3076a-b、带 2A 3078a-b及平均带2B、2C 3092a-b。宽带编解码器3094e、3094f可包含用于相应音频信号 (例如,前右侧音频信号3044c及后右侧音频信号3044d)的含有某一低带频率化B)与某一上 带频率(UB)之间的频率的那些经滤波带(例如,带IB 3076c-d)。宽带编解码器3094e、3094f 还可包含在带2A 3078c-d的最接近麦克风信号处捕捉的原始音频信号。通过编码最接近麦 克风信号,定向性仍可通过麦克风通道之间的内在时间及等级差来编码(尽管没有某一低 带频率化B)与某一上带频率(UB)之间的频率的空间处理那么戏剧化)。宽带编解码器 3094e、3094f还可包含用于相应音频信号(例如,前右侧音频信号3044c及后右侧音频信号 3044(1)的某一低带频率化8)^下的带(例如,带14 3046(3-(1)。

[0163] 图31A说明用于第S配置的可能方案,其中编解码器中的一或多者可平均一或多 个音频信号。此配置中的平均的实例给定如下。前左侧音频信号3144a可使用全带编解码器 3198a。后左侧音频信号3144b、前右侧音频信号3144c及后右侧音频信号3144d可使用窄带 编解码器 3198b、3198c、3198d。

[0164] 在此实例中,全带编解码器319&1可包含用于音频信号3144a的含有介于某一低带 频率化B)与某一上带频率(UB)之间的频率的那些经滤波带(带IB 3176a)。全带编解码器 3198a还可平均含有音频信号3144a-d的某一上带频率(UB) W上的频率的音频信号带(例 如,带2A-2C 3192a)。类似地,全带编解码器31可包含某一低带频率(LB) W下的带(例如 带IA 3146a)。

[0165] 窄带编解码器3198b-d可包含用于相应音频信号(例如,3144b-d)的包含介于某一 低带频率化B)与最大4k化与某一上带频率(UB)之间的频率的那些经滤波带(例如,带 lB3176b-d)。窄带编解码器3198b-d还可包含用于相应音频信号(例如,3144b-d)的含有某 一低带频率(LB) W下的频率的带(例如,带IA 314化-d)。

[0166] 图31B说明用于第S配置的可能方案,其中非窄带编解码器中的一或多者具有平 均音频信号。在此实例中,前左侧音频信号3144a可使用全带编解码器3198a。后左侧音频信 号3144b、前右侧音频信号3144c及后右侧音频信号3144d可使用宽带编解码器3194e、3194f 及3194g。在此配置中,全带编解码器319&1可平均用于音频信号3144a-d的频率范围的一部 分(例如,带2B-2C 3192a、3192b)的一或多个音频信号3144a-d。

[0167] 在此实例中,全带编解码器319&1可包含带IA 3146a、带IB 3176a、带2A 3178a及 带2B-2C 3192a。宽带编解码器3198e-g可包含用于相应音频信号(例如,3144b-d)的包含介 于某一低带频率(LB)与某一上带频率(UB)之间的频率的那些经滤波带(例如,带IB 3176b- d)。宽带编解码器3198e-g还可包含用于某一上带频率化B) W上的频率的在最接近所要拐 角位置的麦克风处捕捉的原始音频信号(例如,带2A 3178b-d)。宽带编解码器3198e-g还可 包含用于相应音频信号(例如,3144b-d)的含有某一低带频率化B) W下的频率的带(例如, 带IA 314化-d)。

[0168] 图32说明四个窄带编解码器3201a-d。在此实例中,含有介于某一低带频率(LB)与 最大4k化与某一上带频率化B)之间的频率的那些带针对每一音频信号3244a-d而经滤波。 如果某一上带频率(UB)小于4曲Z,那么来自最接近麦克风的原始音频信号可针对大于高达 4曲Z的某一上带频率化B)的频率范围而经编码。在此实例中,可产生四个通道,对应于每一 音频信号3244a-d。每一通道可包含用于所述音频信号3244a-d的经滤波带(例如,至少包含 带IB 3276a-d的一部分)。窄带编解码器3201a-d还可包含用于相应音频信号(例如,3244a- d)的含有某一低带频率(LB) W下的频率的带(例如,带1 A3246a-d)。

[0169] 图33为说明用于使用图29A、图29B或图29C的任何方案的四个非窄带编解码器来 产生及接收音频信号包3376的方法3300的流程图。方法3300可包含记录3302四个音频信号 2944a-d。在此配置中,可通过麦克风阵列来记录或捕捉四个音频信号2944a-d。作为实例, 可使用图26及27中所说明的阵列2630、2730。所记录音频信号2944a-d可对应于接收音频的 方向。举例来说,无线通信装置102可记录来自四个方向的四个音频信号(例如,前左侧 2944a、后左侧2944b、前右侧2944c及后右侧2944d)。

[0170] 无线通信装置102可接着产生3304音频信号包3376。在一些实施方案中,产生3304 音频信号包3376可包含产生一或多个音频通道。举例来说,给定图29A的编解码器配置,介 于某一低带频率(LB)与某一上带频率(UB)内的音频信号的带(例如,[LB,UB])可经滤波。在 一些实施方案中,对运些带滤波可包含应用盲源分离(BSS)滤波器。在其它实施方案中,属 于低带频率化B)与上带频率化B)内的音频信号2944a-d中的一或多者可成对组合。对于大 于高达奈奎斯特频率的上带频率(UB)的带及对于小于低带频率化B)的带,原始音频信号 2944a-d可与经滤波音频信号组合为音频通道。换句话说,音频通道(对应于音频信号 2944a-d)可包含某一低带频率化B)与某一上带频率(UB)之间的经滤波带(例如,带IB 2976a-d)W及高达奈奎斯特频率的某一上带频率化B)W上的原始带(例如,2A-2C 2984a- (1)及低带频率化8)^下的原始带(例如,带14 29463-(1)。

[0171] 产生3304音频信号包3376还可包含将一或多个非窄带编解码器应用到音频通道。 根据一些配置,无线通信装置102可使用如图29A-C中描绘的编解码器的第一配置中的一或 多者来编码音频通道。举例来说,给定图29A中描绘的编解码器,无线通信装置102可使用用 于每一音频通道的全带编解码器2948a-d来编码四个音频通道。或者,图33中的非窄带编解 码器可为如图29B中所说明的超宽带编解码器2988a-d或如图29C中所说明的宽带编解码器 2990a-d。可使用编解码器的任何组合。

[0172] 在产生音频信号包3376后,无线通信装置102可发射3306音频信号包3376到解码 器。解码器可包含在音频输出装置中,例如无线通信装置102。在一些实施方案中,音频信号 包3376可在空中发射。

[0173] 解码器可接收3308音频信号包3376。在一些实施方案中,接收3308音频信号包 3376可包含解码所接收的音频信号包3376。解码器可根据第一配置来进行此操作。根据上 述实例绘制,解码器可使用用于每一音频通道的全带编解码器来解码音频通道。或者,解码 器可取决于所产生的发射包3376而使用超宽带编解码器2988a-d或宽带编解码器2990a-d。

[0174] 在一些配置中,接收3308音频信号包3376可包含重建构前中屯、通道。举例来说,接 收音频输出装置可组合前左侧音频通道与前右侧音频通道W产生前中屯、音频通道。

[0175] 接收3308音频信号包3376还可包含重建构超低音通道。此可包含将音频信号 2944a-d中的一或多者通过低通滤波器。

[0176] 接着可将所接收音频信号在音频输出装置上播放3310。在一些情况下,此可包含 W环绕声格式播放音频信号。在其它情况下,音频信号可经下混且W立体声格式播放。

[0177] 图34为说明用于使用四个编解码器(例如,来自图30A或图30B中的任一者)来产生 及接收音频信号包3476的另一方法3400的流程图。方法3400可包含记录3402-或多个音频 信号3044a-d。在一些实施方案中,此可结合图33根据描述来进行。无线通信装置102可接着 产生3404音频信号包3476。在一些实施方案中,产生3404音频信号包3476可包含产生一或 多个音频通道。举例来说,介于某一低带频率化B)与某一上带频率(UB)内的音频信号 3044a-d的带(例如,[LB,UB])可经滤波。在一些实施方案中,此可根据图33中的描述来进 行。

[0178] 在一些实施方案中,可产生四个低带通道(例如,对应于图30A或30B中所说明的四 个音频信号3044a-d)。低带通道可包含音频信号3044a-d的[0,引曲Z之间的频率。运四个低 带通道可包含某一低带频率化B)与某一上带频率化B)之间的滤波信号(例如,带IB 3076a- d) W及大于高达8kHz的某一上带频率化B)的原始音频信号及四个音频信号3044a-d的低带 频率化B) W下的原始音频信号(例如,带IA 3046a-d)。类似地,可产生对应于平均前/后音 频信号的两个高带通道。高带通道可包含从零高达24曲Z的频率。高带通道可包含用于音频 信号3044a-d的某一低带频率化B)与某一上带频率(UB)之间的滤波信号(例如,带IB 3076a-d) W及大于高达8k化的某一上带频率化B)的原始音频信号及低带频率化B) W下的 原始音频信号(例如,四个音频信号3044a-d的带1 A3046a-d)。高带通道还可包含8曲Z W上 的高达24曲Z的平均音频信号。

[0179] 产生3404音频信号包3476还可包含将一或多个编解码器3094a-f应用到音频通 道。根据一些配置,无线通信装置102可使用如图30A及30B中描绘的编解码器3094a-f的第 二配置中的一或多者来编码音频通道。

[0180] 举例来说,给定如图30B中描绘的编解码器,无线通信装置102可分别使用全带编 解码器3094a、3094b来编码前左侧音频信号3044a及后左侧音频信号3044b,及可分别使用 宽带编解码器3094c、3094d来编码前右侧音频信号3044c及后右侧音频信号3044d。换句话 说,可产生四个音频信号包%76。对于使用全带编解码器3094a、3094b的对应于音频信号 3044a-d的包3476(例如,前左侧音频信号3044a及后左侧音频信号3044b),所述包3476可包 含所述音频信号30443-(1(例如,音频信号30443、304仙)的低带通道(例如,[0,引4化)^及 在大体方向上高达平均音频信号3044a-d(例如,前音频信号3044a、3044c及后音频信号 3044b、3044d)的高达24kHz (例如,全带编解码器3094a、3094b所允许的最大频率)的高带通 道。对于使用宽带编解码器3094e-f的对应于音频信号3044a-d的音频信号包3476(例如前 右侧音频信号3044c及后右侧音频信号3044d),音频信号包3476可包含所述音频信号 3044a-d(例如,音频信号3044c、3044d)的低带通道(例如,[0,8 ]曲Z)。

[0181] 在产生音频信号信息后,无线通信装置102可发射3406音频信号信息。在一些实施 方案中,此可结合图33根据描述来进行。

[0182] 解码器可接收3408音频信号信息。在一些实施方案中,接收3408音频信号信息可 包含解码所接收的音频信号信息。在一些实施方案中,此可结合图33根据描述来进行。给定 图30B的编解码器方案,解码器可使用全带编解码器3094a、3094b来解码前左侧音频信号 3044a及后左侧音频信号3044b,及可使用宽带编解码器3094e、3094f来解码前右侧音频信 号3044b及后右侧音频信号3044d。音频输出装置还可使用如含于全带音频通道中的平均高 带通道的一部分(例如,[8,24]曲Z部分)来重建构宽带音频通道的[8,24]kHz范围,(例如, 使用前右侧音频通道的前左侧音频信号的平均高带通道及使用后右侧音频通道的后左侧 音频信号的平均高带通道)。

[0183] 在一些配置中,接收3408音频信号信息可包含重建构前中屯、通道。在一些实施方 案中,此可结合图33根据描述来进行。

[0184] 接收3408音频信号信息还可包含重建构超低音信号。在一些实施方案中,此可结 合图33根据描述来进行。

[0185] 接着可将所接收音频信号在音频输出装置上播放3410。在一些实施方案中,此可 结合图33根据描述来进行。

[0186] 图35为说明用于使用四个编解码器(例如,来自图31A或图31B中的任一者)来产生 及接收音频信号包3576的另一方法3500的流程图。方法3500可包含记录3502-或多个音频 信号3144a-d。在一些实施方案中,此可结合图33根据描述来进行。

[0187] 无线通信装置102可接着产生3504音频信号包3576。在一些实施方案中,产生3504 音频信号包3576可包含产生一或多个音频通道。举例来说,介于某一低带频率化B)与某一 上带频率化B)内的音频信号3144的带(例如,带1B 3176a-d)可经滤波。在一些实施方案中, 此可根据图33中的描述来进行。

[0188] 在一些实施方案中,可产生对应于四个音频信号3144的四个低带通道。在一些实 施方案中,此可根据图34中的描述来进行。类似地,可产生对应于平均音频信号(例如,前左 侧音频信号3144a、后左侧音频信号3144b、前右侧音频信号3144c及后右侧音频信号3144d) 的高带通道。在一些实施方案中,此可根据图34中的描述来进行。

[0189] 产生3504音频信号包3576还可包含将一或多个编解码器3198a-g应用到音频通 道。根据一些配置,无线通信装置102可使用如图31A及31B中描绘的编解码器3198a-g的第 =配置中的一或多者来编码音频通道。举例来说,给定如图31B中描绘的编解码器,无线通 信装置102可使用全带编解码器3198a来编码前左侧音频信号3144a,及分别使用宽带编解 码器3198e、宽带编解码器3198f及宽带编解码器319¾来编码后左侧音频信号3144b、前右 侧音频信号3144c及后右侧音频信号3144d。换句话说,可产生四个音频信号包3576。

[0190] 对于使用全带编解码器319&1的对应于音频信号3144a的包3576,所述包3576可包 含音频信号3144a的低带通道及平均音频信号3144a-d的高达24kHz(例如,全带编解码器 3198a所允许的最大频率)的高带通道。对于使用宽带编解码器3198e-g的对应于音频信号 3144a-d的音频信号包3576(例如,音频信号3144b-d),音频信号包3576可包含音频信号 3144a-d(例如,音频信号3144b-d)的低带通道及大于高达8曲Z的某一上带频率(UB)的原始 音频信号。

[0191] 在产生音频信号信息后,无线通信装置102可发射3506音频信号信息。在一些实施 方案中,此可结合图33根据描述来进行。

[0192] 解码器可接收3508音频信号信息。在一些实施方案中,接收3508音频信号信息可 包含解码所接收的音频信号信息。在一些实施方案中,此可结合图33根据描述来进行。音频 输出装置还可使用如含于全带音频通道中的平均高带通道的一部分(例如,[8,24化化部 分)来重建构宽带音频通道的[8,24]曲Z范围。

[0193] 在一些配置中,接收3508音频信号信息可包含重建构前中屯、通道。在一些实施方 案中,此可结合图33根据描述来进行。

[0194] 接收3508音频信号信息还可包含重建构超低音信号。在一些实施方案中,此可结 合图33根据描述来进行。

[01M]接着可将所接收音频信号在音频输出装置上播放3510。在一些实施方案中,此可 结合图33根据描述来进行。

[0196]图36为说明用于使用用W编码的四个窄带编解码器(例如,来自图29A、图29B或图 29C)的组合与用W解码的四个宽带编解码器或窄带编解码器中的任一者而产生及接收音 频信号包3676的另一方法3600的流程图。方法3600可包含记录3602-或多个音频信号 2944。在一些实施方案中,此可结合图33根据描述来进行。

[0197]无线通信装置102可接着产生3604音频信号包3676。产生3604音频信号包3676可 包含产生一或多个音频通道。在一些实施方案中,此可根据图33中的描述来进行。

[019引产生3604音频信号包3676还可包含将一或多个非窄带编解码器(如图29A-C中所 描绘)应用到音频通道。举例来说,无线通信装置102可使用图29B中描绘的宽带编解码器 2988a-d来编码音频通道。

[0199] 在产生音频信号包3676后,无线通信装置102可发射3606音频信号包3676到解码 器。在一些实施方案中,此可根据图33中的描述来进行。

[0200] 解码器可接收3608音频信号包3676。在一些实施方案中,接收3608音频信号包 3676可包含解码所接收的音频信号包3676。解码器可使用一或多个宽带编解码器或一或多 个窄带编解码器来解码音频信号包3676。音频输出装置还可使用宽带通道带宽扩展基于所 接收音频信号包3676来重建构音频通道的[8,24化Hz范围。在此实例中没有从上带频率 (UB)到奈奎斯特频率的发射是必要的。此范围可使用类似于频带复制(SBR)的技术而从低 带频率到上带频率(UB)范围而产生。举例来说,可通过平均麦克风输入来发射低带频率 (LB)W下的带。

[0201] 在一些配置中,接收3608音频信号包3676可包含重建构前中屯、通道。在一些实施 方案中,此可根据图33中的描述来进行。

[0202] 接收3608音频信号包3676还可包含重建构超低音通道。在一些实施方案中,此可 根据图33中的描述来进行。接着可将所接收音频信号在音频输出装置上播放3310。在一些 实施方案中,此可根据图33中的描述来进行。

[0203] 译码位可基于特定方向来指派或分布。此方向可由用户来选择。举例来说,用户的 语音所来自的方向可具有指派到其的较多位。此可通过最小化其它通道的动态范围W及减 少其它方向上的能量来执行。另外,在不同配置中,可产生环绕声的四个拐角的能量分布的 可视化。哪个定向声音的用户选择应分配较多的位,即,声音较佳,或具有较佳所要声音方 向可基于能量分布的可视化来选择。在此配置中,可用较多位来编码一个或两个通道,但发 射一或多个通道。

[0204] 图37为说明用于产生及接收音频信号包3776的另一方法3700的流程图,其中在编 码期间对于一个或两个音频通道的不同位分配可基于用户选择。在一些实施方案中,在编 码期间对于一个或两个音频信号的不同位分配可基于与环绕声系统的四个方向的能量分 布的可视化相关联的用户选择。在此实施方案中,在空中通道上发射四个经编码源。

[0205] 方法3700可包含记录3702-或多个音频信号2944。在一些实施方案中,此可结合 图33根据描述来进行。无线通信装置102可接着产生3704音频信号包3776。产生3704音频信 号包3776可包含产生一或多个音频通道。在一些实施方案中,此可根据图33-36中的描述来 进行。

[0206] 产生3704音频信号包3776还可包含产生四个拐角(例如,四个音频信号2944a-d) 的能量分布的可视化。根据此可视化,用户可选择哪个定向声音应分配较多位(例如,用户 的语音所来自之处)。基于用户选择(例如,空间方向3878的指示),无线通信装置102可将较 多位应用到编解码器(例如,图29A-C中描绘的编解码器)的第一配置的编解码器中的一者 或两者。产生3704音频信号信息还可包含将一或多个非窄带编解码器应用到音频通道。在 一些实施方案中,此可虑及用户选择而根据图33中的描述来进行。

[0207] 在产生音频信号包3776后,无线通信装置102可发射3706音频信号包3776到解码 器。在一些实施方案中,此可结合图33根据描述来进行。解码器可接收3708音频信号信息。 在一些实施方案中,此可结合图33根据描述来进行。

[0208] 接着可将所接收音频信号在音频输出装置上播放3710。在一些实施方案中,此可 结合图33根据描述来进行。类似地,如果用户对特定定向源感兴趣(例如,用户的语音、或用 户集中感兴趣的某一其它声音),那么可执行一个或两个通道的发射。在此配置中,编码并 发射一个通道。

[0209] 图38为说明用于产生及接收音频信号包3876的另一方法3800的流程图,其中基于 用户选择来压缩及发射一个音频信号。方法3800可包含记录3802-或多个音频信号2944a- d。在一些实施方案中,此可结合图33根据描述来进行。

[0210] 无线通信装置102可接着产生3804音频信号包3876。产生3804音频信号包3876可 包含产生一或多个音频通道。在一些实施方案中,此可根据图33-36中的描述来进行。产生 3804音频信号包3876还可包含产生四个拐角(例如,四个音频信号2944a-d)的能量分布的 可视化。根据此可视化,用户可选择哪个定向声音(例如,空间方向3878的指示)应被编码及 发射(例如,用户的语音所来自之处)。产生3804音频信号信息还可包含将一非窄带编解码 器(如图29A-C中所描绘)应用到选定音频通道。在一些实施方案中,此可虑及用户选择而结 合图33中的描述来进行。

[0211] 在产生音频信号信息后,无线通信装置102可发射3806音频信号包3876到解码器。 在一些实施方案中,此可结合图33根据描述来进行。连同音频信号包3876-起,无线通信装 置可发射3806通道识别。

[0212] 解码器可接收3808音频信号信息。在一些实施方案中,此可结合图33根据描述来 进行。

[0213] 接着可将所接收音频信号在音频输出装置上播放3810。在一些实施方案中,所接 收音频信号可结合图33根据描述来播放3810。通过编码及解码用户界定的通道及使其它通 道输出归零,可使用多通道再现及/或头戴受话器呈现系统来产生增强但空间化输出。

[0214] 图39为说明无线通信装置3902的实施方案的框图,其可经实施W产生包括编解码 器组合3974a-d的四个配置的音频信号包3376。通信装置3902可包含阵列3930,类似于先前 所述的阵列2630。阵列3930可包含类似于先前所述的麦克风的一或多个麦克风3904a-d。举 例来说,阵列3930可包含接收来自四个记录方向(例如,前左侧、前右侧、后左侧及后右侧) 的四个麦克风3904a-d。

[0215] 无线通信装置3902可包含禪合到麦克风阵列3930的存储器3950。存储器3950可接 收麦克风阵列3930所提供的音频信号。举例来说,存储器3950可包含关于四个所记录方向 的一或多个数据集。换句话说,存储器3950可包含用于前左侧麦克风3904a音频信号、前右 侧麦克风3904b音频信号、后右侧麦克风3904c音频信号及后左侧麦克风3904d音频信号的 数据。

[0216] 无线通信装置3902还可包含接收处理信息的控制器3952。举例来说,控制器3952 可接收到用户接口中的用户信息输入。更具体来说,用户可指示所要的记录方向。在其它实 例中,用户可指示一或多个音频通道W分配较多处理位,或用户可指示将编码及发射哪个 音频通道。控制器3952还可接收带宽信息。举例来说,带宽信息可向控制器3952指示分配到 无线通信装置3902的用于发射音频信号信息的带宽(例如,全带、超宽带、宽带及窄带)。

[0217] 基于来自控制器3952的信息,(例如,用户输入及带宽信息)及存储在存储器3950 中的信息,通信装置3902可从一或多个编解码器配置3974a-d中选择特定配置W应用到音 频通道。在一些实施方案中,存在于无线通信装置上的编解码器配置3974a-d可包含图29A- C的第一配置、图30A-B的第二配置、图31A-B的第=配置及图32的配置。举例来说,无线通信 装置3902可使用图29A的第一配置的来编码音频通道。

[0218] 图40为说明无线通信装置4002的实施方案的框图,其包括类似于图29A-C的非窄 带编解码器的四个非窄带编解码器4048a-d的配置4074W压缩音频信号。无线通信装置 4002可包含麦克风4004a-d的阵列4030、存储器4050、控制器4052、或运些元件(对应于先前 所描述的元件)的某一组合。在此实施方案中,无线通信装置4002可包含用W编码音频信号 包3376的编解码器4048a-d的配置4074。举例来说,无线通信装置4002可包含且实施如图 29B中描绘的一或多个宽带编解码器2990a-dW编码音频信号信息。或者,可使用全带编解 码器2948a-d或超宽带编解码器2988a-d。无线通信装置4002可发射音频信号包4076a-d(例 如,化、FR、化及服包巧Ij解码器。

[0219] 图41为说明包括编解码器组合的四个配置4174a-d的通信装置4102的实施方案的 框图,其中可使用任选编解码器预滤波器4154。无线通信装置4102可包含麦克风4104a-d的 阵列4130、存储器4150、控制器4152、或运些元件(对应于先前所描述的元件)的某一组合。 编解码器预滤波器4154可使用来自控制器4152的信息来控制将什么音频信号数据存储在 存储器中,且因此,控制哪些数据经编码及发射。

[0220] 图42为说明包括编解码器组合的四个配置4274a-d的通信装置4202的实施方案的 框图,其中任选滤波可作为滤波器组阵列4226的一部分而发生。无线通信装置4202可包含 麦克风4204a-d、存储器4250、控制器4252、或运些元件(对应于先前所描述的元件)的某一 组合。在此实施方案中,任选滤波可作为滤波器组阵列4226的一部分而发生,其中4226类似 地对应于先前描述的元件。

[0221] 图43为说明包括编解码器组合的四个配置4374a-d的通信装置4302的实施方案的 框图,其中来自听觉场景的声源数据可在用编解码器配置4374a-d中的一者编码之前与来 自一或多个滤波器的数据混合。无线通信装置4302可包含麦克风的阵列4330、存储器4350 及/或控制器4352、或运些元件(对应于先前所描述的元件)的某一组合。在一些实施方案 中,无线通信装置4302可包含一或多个混频器4356a-d。一或多个混频器4356a-d可在用编 解码器配置中的一者编码之前使音频信号与来自一或多个滤波器的数据混频。

[0222] 图44为说明用于使用集成编解码器来编码多方向音频信号的方法4400的流程图。 方法4400可通过无线通信装置102来执行。无线通信装置102可记录4402的多个定向音频信 号。多个定向音频信号可由多个麦克风记录。举例来说,位于无线通信装置102上的多个麦 克风可记录来自前左侧方向、后左侧方向、前右侧方向、后右侧方向或某一组合的定向音频 信号。在一些情况下,无线通信装置1〇2(例如)经由用户接口 312基于用户输入而记录4402 多个定向音频信号。

[0223] 无线通信装置102可产生4404多个音频信号包3376。在一些配置中,音频信号包 3376可基于多个音频信号。多个音频信号包3376可包含平均信号。如上所述,产生4404多个 音频信号包3376可包含产生多个音频通道。举例来说,可将多个定向音频信号的一部分压 缩及在空中发射为多个音频通道。在一些情况下,经压缩的定向音频信号的数目可不等于 所发射的音频通道的数目。举例来说,如果四个定向音频信号经压缩,那么所发射的音频通 道的数目可等于=。音频通道可对应于一或多个定向音频信号。换句话说,无线通信装置 102可产生对应于前左侧音频信号的前左侧音频通道。多个音频通道可包含经滤波频率范 围(例如,带1B)及未经滤波频率范围(例如,带1A、2A、2B及/或2C)。

[0224] 产生4404多个音频信号包3376还可包含将编解码器应用到音频通道。举例来说, 无线通信装置102可将全带编解码器、宽带编解码器、超宽带编解码器或窄带编解码器中的 一或多者应用到多个音频信号。更具体来说,无线通信装置102可在低带中压缩至少一个定 向音频信号,及可在高带中压缩不同定向音频信号。

[0225] 在一些实施方案中,产生4404多个音频信号包3376可基于所接收输入。举例来说, 无线通信装置102可接收来自用户的输入W确定编解码器的位分配。在一些情况下,位分配 可基于待被压缩的方向的能量的可视化。无线通信装置102还可接收与压缩定向音频信号 相关联的输入。举例来说,无线通信装置102可接收来自用户的关于压缩(及空中发射)哪个 定向音频信号的输入。在一些情况下,输入可指示哪个定向音频信号应具有较佳音频质量。 在运些实例中,输入可基于用户的手部的手势,例如通过触摸无线通信装置的显示器。类似 地,输入可基于无线通信装置的移动。

[0。6]在产生音频信号包3376后,无线通信装置102可发射4406多个音频信号包3376到 解码器。无线通信装置102可在空中发射4406多个音频信号包3376。在一些配置中,解码器 包含在无线通信装置102中,例如音频感测装置。

[0227] 图45为说明用于音频信号处理的方法4500的流程图。方法4500可通过无线通信装 置102来执行。无线通信装置102可捕捉4500听觉场景。举例来说,多个麦克风可捕捉来自多 个定向源的音频信号。无线通信装置102可估计每一音频信号的到达方向。在一些实施方案 中,无线通信装置102可选择记录方向。选择记录方向可基于便携式音频感测装置的定向 (例如,无线通信装置上的麦克风)。另外或替代地,选择记录方向可基于输入。举例来说,用 户可选择应具有较佳音频质量的方向。无线通信装置102可将听觉场景分解4504为至少四 个音频信号。在一些实施方案中,音频信号对应于四个独立方向。举例来说,第一音频信号 可对应于前左侧方向,第二音频信号可对应于后左侧方向,第立音频信号可对应于前右侧 方向,及第四音频信号可对应于后右侧方向。无线通信装置102还可压缩4506至少四个音频 信号。

[0228] 在一些实施方案中,分解4504听觉场景可包含将音频信号分割为一或多个频率范 围。举例来说,无线通信装置可将音频信号分割为第一窄带频率范围集合及第二宽带频率 范围集合。另外,无线通信装置可压缩与窄带频率范围集合中的第一频带相关联的音频样 本。在压缩音频样本后,无线通信装置可发射经压缩音频样本。

[0229] 无线通信装置102还可应用第一端射式方向中的射束W获得第一滤波信号。类似 地,第二端射式方向中的第二射束可产生第二滤波信号。在一些情况下,射束可适用于介于 低阔值与高阔值之间的频率。在运些情况下,阔值中的一者(例如,低阔值或高阔值何基于 麦克风之间的距离。

[0230] 无线通信装置可组合第一滤波信号与第二滤波信号的延迟版本。在一些情况下, 第一及第二滤波信号可各自具有两通道。在一些情况下,滤波信号(例如,第一滤波信号及 第二滤波信号)的一个通道可相对于其它通道延迟。类似地,组合信号(例如,第一滤波信号 与第二滤波信号的组合)可具有可相对于彼此延迟的两通道。

[0231] 无线通信装置102可包含产生第一空间滤波信号。举例来说,无线通信装置102可 将具有第一方向的射束的滤波器应用到第一麦克风对所产生的信号。W类似方式,无线通 信装置102可产生第二空间滤波信号。在一些情况下,第一麦克风对(例如,用W产生所述第 一空间滤波信号的麦克风)的轴可至少实质上与第二麦克风对(例如,用W产生第二空间滤 波信号的麦克风)的轴正交。无线通信装置102可接着组合第一空间滤波信号与第二空间滤 波信号W产生输出信号。输出信号可对应于不同于第一空间滤波信号及第二空间滤波信号 的方向的方向。

[0232] 无线通信装置还可记录一输入通道。在一些实施方案中,输入通道可对应于阵列 中的多个麦克风中的每一者。举例来说,输入通道可对应于四个麦克风的输入。可将多个多 通道滤波器应用于输入通道W获得输出通道。在一些情况下,多通道滤波器可对应于多个 观看方向。举例来说,四个多通道滤波器可对应于四个观看方向。应用一个观看方向中的多 通道滤波器可包含应用其它观看方向中的空射束。在一些实施方案中,多个麦克风中的第 一对的轴可与多个麦克风中的第二对的轴的正交小于十五度。

[0233] 如上所述,应用多个多通道滤波器可产生一输出通道。在一些情况下,无线通信装 置102可处理所述输出通道W产生基于双耳信号的总和的双耳记录。举例来说,无线通信装 置102可将双耳脉冲响应应用到输出通道。此可产生可用W产生双耳记录的双耳信号。

[0234] 图46为说明用于编码=维音频的方法4600的流程图。方法4600可通过无线通信装 置102来执行。无线通信装置102可检测4602多个可定位音频源的空间方向的指示。如本文 所使用,术语"可定位"指来自特定方向的音频源。举例来说,可定位音频源可为来自前左侧 方向的音频信号。无线通信装置102可确定可定位音频源的数目。此可包含估计每一可定位 音频源的到达方向。在一些情况下,无线通信装置102可检测来自用户接口312的指示。举例 来说,用户可基于来自无线通信装置302的用户接口 312的用户输入来选择一或多个空间方 向。用户输入的实例包含用户的手部的手势(例如,在无线通信装置的触摸屏上,无线通信 装置的移动)。

[0235] 无线通信装置102可接着记录4604与可定位音频源相关联的多个音频信号。举例 来说,位于无线通信装置102上的一或多个麦克风可记录4604来自前左侧、前右侧、后左侧 及/或后右侧方向的音频信号。

[0236] 无线通信装置102可编码4606多个音频信号。如上所述,无线通信装置102可使用 任何数目个编解码器W编码信号。举例来说,无线通信装置102可使用全带编解码器来编码 4606前左侧及后左侧音频信号,及可使用宽带编解码器来编码4606前右侧及后右侧音频信 号。在一些情况下,无线通信装置102可根据=维音频编码方案来编码多通道信号。举例来 说,无线通信装置102可使用结合图29-32所描述的配置方案中的任一者来编码4606多个音 频信号。

[0237] 无线通信装置102还可应用第一端射式方向中的射束W获得第一滤波信号。类似 地,第二端射式方向中的第二射束可产生第二滤波信号。在一些情况下,射束可适用于介于 低阔值与高阔值之间的频率。在运些情况下,阔值中的一者(例如,低阔值或高阔值何基于 麦克风之间的距离。

[0238] 无线通信装置可组合第一滤波信号与第二滤波信号的延迟版本。在一些情况下, 第一及第二滤波信号可各自具有两通道。在一些情况下,滤波信号(例如,第一滤波信号及 第二滤波信号)的一个通道可相对于其它通道延迟。类似地,组合信号(例如,第一滤波信号 与第二滤波信号的组合)可具有可相对于彼此延迟的两通道。

[0239] 无线通信装置102可包含产生第一空间滤波信号。举例来说,无线通信装置102可 将具有第一方向的射束的滤波器应用到第一麦克风对所产生的信号。W类似方式,无线通 信装置102可产生第二空间滤波信号。在一些情况下,第一麦克风对(例如,用W产生所述第 一空间滤波信号的麦克风)的轴可至少实质上与第二麦克风对(例如,用W产生第二空间滤 波信号的麦克风)的轴正交。无线通信装置102可接着组合第一空间滤波信号与第二空间滤 波信号W产生输出信号。输出信号可对应于不同于第一空间滤波信号及第二空间滤波信号 的方向的方向。

[0240] 无线通信装置还可记录一输入通道。在一些实施方案中,输入通道可对应于阵列 中的多个麦克风中的每一者。举例来说,输入通道可对应于四个麦克风的输入。可将多个多 通道滤波器应用于输入通道W获得输出通道。在一些情况下,多通道滤波器可对应于多个 观看方向。举例来说,四个多通道滤波器可对应于四个观看方向。应用一个观看方向中的多 通道滤波器可包含应用其它观看方向中的空射束。在一些实施方案中,多个麦克风中的第 一对的轴可与多个麦克风中的第二对的轴的正交小于十五度。

[0241] 如上所述,应用多个多通道滤波器可产生一输出通道。在一些情况下,无线通信装 置102可处理所述输出通道W产生基于双耳信号的总和的双耳记录。举例来说,无线通信装 置102可将双耳脉冲响应应用到输出通道。此可产生可用W产生双耳记录的双耳信号。

[0242] 图47为说明用于选择编解码器的方法4700的流程图。方法4700可通过无线通信装 置102来执行。无线通信装置102可确定4702多个音频信号的能量分布曲线。无线通信装置 102可接着显示4704多个音频信号中的每一者的能量分布曲线。举例来说,无线通信装置 102可显示4704前左侧、前右侧、后左侧及后右侧音频信号的能量分布曲线。无线通信装置 102可接着检测4706选择能量分布曲线的输入。在一些实施方案中,输入可基于用户输入。 举例来说,用户可选择应基于图形表示而经压缩的能量分布曲线(例如,对应于定向声音)。 在一些实例中,选择可反映哪个定向音频信号应具有较佳声音质量的指示,例如,所述选择 可反映用户的语音来自的方向。

[0243] 无线通信装置102可关联4708与输入相关联的编解码器。举例来说,无线通信装置 102可关联4708编解码器W产生用于用户所选择的定向音频信号的较佳音频质量。无线通 信装置102可接着基于编解码器来压缩4710多个音频信号W产生音频信号包。如上所述,接 着可在空中发射包。在一些实施方案中,无线通信装置还可发射通道识别。

[0244] 图48为说明用于增加位分配的方法4800的流程图。方法4800可通过无线通信装置 102来执行。无线通信装置102可确定4802多个音频信号的能量分布曲线。无线通信装置102 可接着显示4804多个音频信号中的每一者的能量分布曲线。举例来说,无线通信装置102可 显示4804前左侧、前右侧、后左侧及后右侧音频信号的能量分布曲线。无线通信装置102可 接着检测4806选择能量分布曲线的输入。在一些实施方案中,输入可基于用户输入。举例来 说,用户可基于图形表示来选择应分配较多位用于压缩的能量分布曲线(例如,对应于定向 声音)。在一些实例中,选择可反映哪个定向音频信号应具有较佳声音质量的指示,例如,所 述选择可反映用户的语音来自的方向。

[0245] 无线通信装置102可关联4808与输入相关联的编解码器。举例来说,无线通信装置 102可关联4808编解码器W产生用于用户所选择的定向音频信号的较佳音频质量。无线通 信装置102接着可基于输入而增加4810到用W压缩音频信号的编解码器的位分配。如上所 述,接着可在空中发射包。

[0246] 图49说明可包含在无线通信装置4902内的某些组件。上述无线通信装置中的一或 多者可与图49中所示的无线通信装置4902类似地配置。

[0247] 无线通信装置4902包含处理器4958。处理器4958通用单或多忍片微处理器(例如, ARM)、专用微处理器(例如,数字信号处理器(DSP))、微控制器、可编程口阵列等。处理器 4958可被称作中央处理单元(CPU)。尽管在图49的无线通信装置4902中仅展示单个处理器 4958,但在替代配置中,可使用处理器4958 (例如,ARM及DSP)的组合。

[0248] 无线通信装置4958还包含与处理器4958电子通信的存储器4956(即,处理器4958 可读取来自存储器4956的信息及/或写入信息到存储器4956)。存储器4956可为能够存储电 子信息的任何电子组件。存储器4956可为随机存取存储器(RAM)、只读存储器(ROM)、磁盘存 储媒体、光学存储媒体、RAM中的快闪存储器装置、与处理器4958-起包含的板上存储器、可 编程只读存储器(PROM)、可擦除可编程只读存储器化PROM)、电可擦除PROM化EPROM)、寄存 器等等,包含其组合。

[0249] 数据4960及指令4962可存储在存储器4956中。指令4962可包含一或多个程序、例 程、子例程、函式、规程、代码等。指令4962可包含单个计算机可读语句或许多计算机可读语 句。指令4962可由处理器4958执行W实施上述方法中的一或多者。执行指令4962可设及使 用存储于存储器4956中的数据4960。图49说明加载于处理器4958中的一些指令496^1及数 据4960a (其可来自存储器4956中的指令4962及数据4960)。

[0250] 无线通信装置4902还可包含发射器4964及接收器4966 W允许在无线通信装置 4902与远程位置(例如,通信装置、基站等)之间发射及接收信号。发射器4964及接收器4966 可统称为收发器4968。天线4970可电禪合到收发器4968。无线通信装置4902还可包含(未图 示)多个发射器4964、多个接收器4966、多个收发器4968及/或多个天线4970。

[0251] 在一些配置中,无线通信装置4902可包含一或多个麦克风用于捕捉声学信号。在 一个配置中,麦克风可为将声学信号(例如,语音、话音)转换为电或电子信号的声学信号的 换能器。另外或替代地,无线通信装置4902可包含一或多个扬声器。在一个配置中,扬声器 可为将电信号或电子信号转换为声学信号的换能器。

[0252] 无线通信装置4902的各种组件可通过一或多个总线禪合在一起,总线可包含电力 总线、控制信号总线、状态信号总线、数据总线等。为了简单性,在图49中将各种总线说明为 总线系统4972。

[0253] 本文所掲示的方法及设备可大体适用于任何收发及/或音频感测应用,尤其此类 应用的移动或其它便携式实例。举例来说,本文所掲示的配置范围包含驻留于经配置W使 用码分多址(CDMA)空中接口的无线电话通信系统中的通信装置。然而,所属领域的技术人 员将理解,具有本文中所描述的特征的方法及设备可驻留于采用所属领域的技术人员所已 知的广泛范围的技术的各种通信系统中的任一者中,例如经由有线及/或无线(例如,CDMA、 TDMA、FDMA及/或TD-SCDMA)传输通道采用IP语音(VoIP)的系统。

[0254] 明确地涵盖且在此掲示本文所掲示的通信装置可适于在包交换(例如,经配置W 根据例如VoIP的协议来载运音频发射的有线及/或无线网络)及/或电路交换的网络中使 用。还明确地涵盖且在此掲示本文所掲示的通信装置可适于在窄带译码系统(例如,编码约 四或五千赫的频率范围的系统)中使用及/或在宽带译码系统(例如,编码大于五千赫的音 频频率的系统)中使用,包含整体带宽带译码系统及分裂带宽带译码系统。

[0255] 提供对所描述配置的先前呈现W使得所属领域的技术人员能够制作或使用本文 掲示的方法及其它结构。本文所展示及描述的流程图、框图及其它结构仅为实例,且运些结 构的其它变体也在本发明的范围内。运些配置的各种修改是可能的,且本文所呈现的一般 原理还可适用于其它配置。因此,本发明不希望限于上文所展示的配置,而是应符合与在本 文中W任何方式掲示的原理及新颖特征一致的最广范围(包含在所申请的附加权利要求书 中),所述权利要求书形成原始掲示内容的一部分。

[0256] 所属领域的技术人员将了解,可使用多种不同技艺及技术中的任一者来表示信息 及信号。举例来说,可由电压、电流、电磁波、磁场或磁粒子、光场或光粒子或其任何组合来 表示在W上描述中始终参考的数据、指令、命令、信息、信号、位及符号。

[0257] 用于如本文所掲示的配置的实施方案的重要设计要求可包含最小化尤其用于W 下应用的处理延迟及/或计算复杂性(通常W每秒百万个指令或MIPS来测量):计算密集型 应用,例如压缩音频或视听信息(例如,根据压缩格式编码的文件或流,例如本文所识别实 例中的一者)的播放,或者宽带通信的应用(例如,取样速率高于八千赫的语音通信,例如 12、16或 44 曲Z )。

[0258] 多麦克风处理系统的目的可包含:在整体噪声减少中实现10到12dB;在所要扬声 器移动期间保留语音等级及色彩;获得噪声已移动到背景中而非积极噪声移除的感知;话 音的消混响;及/或启用后处理的选项用于较积极的噪声减少。

[0259] 如本文所掲示的设备的实施方案的各种元件可体现在被认为适于预期应用的硬 件与软件及/或与固件的任何组合中。举例来说,此类元件可被制造为驻留于(例如)同一忍 片或忍片组中的两个或两个W上忍片中的电子及/或光学装置。此类装置的一个实例为固 定或可编程逻辑元件(例如,晶体管或逻辑口)阵列,且运些元件中的任一者可经实施为一 或多个此类阵列。运些元件中的任何两者或两者W上乃至全部可实施于相同阵列内。此类 阵列可实施于一或多个忍片内(例如,包含两个或两个W上忍片的忍片组内)。

[0260] 本文所掲示的设备的各种实施方案的一或多个元件还可整体或部分实施为一或 多个指令集合,所述指令经配置W执行于逻辑元件的一或多个固定或可编程阵列上,例如 微处理器、嵌入式处理器、IP核屯、、数字信号处理器、FPGA(现场可编程口阵列KASSP(专用 标准产品)及ASIC(专用集成电路)。如本文所掲示的设备的实施方案的各种元件中的任一 者还可体现为一或多个计算机(例如,包含可编程W执行指令的一或多个集合或序列的机 器,还称作"处理器")、及可实施于相同此类计算机内的运些元件中的任何两者或两者W上 或甚至全部。

[0%1]如本文所掲示的用于处理的处理器或其它装置可经制造为驻留于(例如)同一忍 片或忍片组中的两个或两个W上忍片中的一或多个电子及/或光学装置。此类装置的一个 实例为固定或可编程逻辑元件(例如,晶体管或逻辑口)阵列,且运些元件中的任一者可经 实施为一或多个此类阵列。此类阵列可实施于一或多个忍片内(例如,包含两个或两个W上 忍片的忍片组内)。此类阵列的实例包含逻辑元件的固定或可编程阵列,例如微处理器、嵌 入式处理器、IP核屯、、DSP、FPGA、ASSP及ASIC。如本文所掲示的用于处理的处理器或其它装 置还可体现为一或多个计算机(例如,包含经编程W执行指令或多个集合或序列的一或多 个阵列的机器)或其它处理器。如本文描述的处理器可能用W执行未与定向编码规程直接 相关的任务其它指令集,例如关于其中嵌入处理器的装置或系统(例如,音频感测装置)的 另一操作的任务。如本文所掲示的方法的部分还可能由音频感测装置的处理器执行及所述 方法的另一部分在一或多个其它处理器的控制下执行。

[0262] 所属领域的技术人员将了解,结合本文所掲示的配置而描述的各种说明性模块、 逻辑块、电路及测试及其它操作可实施为电子硬件、计算机软件或两者的组合。可使用经设 计W产生如本文所掲示的配置的通用处理器、数字信号处理器(DSPKASIC或ASSP、FPGA或 其它可编程逻辑装置、离散口或晶体管逻辑、离散硬件组件或其任何组合来实施或执行此 类模块、逻辑块、电路及操作。举例来说,此类配置可至少部分实施为硬连线电路、经制造于 专用集成电路中的电路配置、或加载于非易失性存储装置中的固件程序或作为机器可读代 码自数据存储媒体加载或到数据存储媒体中的软件程序,此类代码为可由逻辑元件阵列执 行的指令,例如通用处理器或其它数字信号处理单元。通用处理器可为微处理器,但在替代 方案中,处理器可为任何常规的处理器、控制器、微控制器或状态机。处理器还可实施为计 算装置的组合,例如,DSP与微处理器的组合、多个微处理器、一或多个微处理器与DSP核屯、 的组合,或任何其它此类配置。软件模块可驻留于RAM(随机存取存储器)、R0M(只读存储 器)、非易失性RAM(NVRAM)(例如快闪RAM)、可擦除可编程ROM化PROM)、电可擦除可编程ROM 化EPROM)、寄存器、硬盘、可移动磁盘、CD-ROM或此项技术中已知的任何其它形式的存储媒 体中。说明性存储媒体禪合到处理器而使得处理器可从存储媒体读取信息及写入信息到存 储媒体。在替代方案中,存储媒体可与处理器成一体式。处理器及存储媒体可驻留于ASIC 中。ASIC可驻留于用户终端中。在替代方案中,处理器及存储媒体可作为离散组件而驻留于 用户终端中。

[0263] 应注意,本文所掲示的各种方法可由例如处理器的逻辑元件阵列执行,且如本文 描述的设备的各种元件可经实施为经设计W在此类阵列上执行的模块。如本文所使用,术 语"模块"或"子模块"可指包含呈软件、硬件或固件形式的计算机指令(例如,逻辑表达)的 任何方法、设备、装置、单元或计算机可读数据存储媒体。应理解可将多个模块或系统组合 为一个模块或系统,且可将一个模块或系统分离为多个模块或系统W执行相同功能。当W 软件或其它计算机可执行指令实施时,过程的原始本质上为用W执行例如与例程、程序、对 象、组件、数据结构等有关的任务的代码段。术语"软件"应理解为包含源代码、汇编语言代 码、机器代码、二进制代码、固件、宏码、微码、可由逻辑元件阵列执行的任何一或多个指令 集或序列W及此类实例的任何组合。程序或代码段可存储于处理器可读媒体中或由体现在 载波中的计算机数据信号经由传输媒体或通信链路传输。

[0264] 本文所掲示的方法、方案及技术的实施方案还可有形地体现(例如,在如本文所列 出的一或多个计算机可读媒体中)为机器可读及/或可执行的一或多个指令集,所述机器包 含逻辑元件阵列(例如,处理器、微处理器、微控制器或其它有限状态机)。术语"计算机可读 媒体"可包含可存储或传送信息的任何媒体,包含易失性、非易失性、可移动及非可移动媒 体。计算机可读媒体的实例包含电子电路、半导体存储器装置、ROM、快闪存储器、可擦除ROM 化ROM)、软盘或其它磁性存储装置、CD-ROM/DVD或其它光学存储装置、硬盘、光纤媒体、射频 (RF)链路,或可用于存储所要信息且可被存取的任何其它媒体。计算机数据信号可包含可 经由传输媒体(例如电子网络通道、光纤、空气、电磁、RF链路等)传播的任何信号。代码段可 经由例如因特网或企业内部网络等计算机网络来下载。在任何情况下,不应将本发明的范 围理解为受到此类配置限制。

[0265] 可直接W硬件、W由处理器执行的软件模块或W上述两者的组合来体现本文所掲 示的方法的任务中的每一者。在如本文所掲示的方法的实施方案的典型应用中,逻辑元件 阵列(例如,逻辑口)经配置W执行所述方法的各种任务中的一者、一者W上或甚至全部。所 述任务中的一或多者(可能所有)还可实施为在计算机程序产品(例如,一或多个数据存储 媒体,例如磁盘、快闪或其它非易失性存储卡、半导体存储器忍片等)中体现的代码(例如, 一或多个指令集),所述计算机程序产品可由包含逻辑元件的阵列(例如,处理器、微处理 器、微控制器或其它有限状态机)的机器(例如,计算机)读取及/或执行。如本文所掲示的方 法的实施方案的任务还可由一个W上此类阵列或机器执行。在运些或其它实施方案中,所 述任务可在用于无线通信的装置内执行,所述装置例如为蜂窝式电话或具有此通信能力的 其它装置。此类装置可经配置W与电路交换及/或包交换网络通信(例如,使用一或多个协 议(例如VoIP))。举例来说,此类装置可包含经配置W接收及/或发射经编码帖的RF电路。

[0266] 明确地掲示,本文所掲示的各种方法可由便携式通信装置执行,例如手机、头戴式 耳机或便携式数字助手(PDA),且本文所描述的各种设备可包含在此类装置内。典型的实时 (例如,在线)应用是使用此类移动装置进行的电话会话。

[0267] 在一或多个示范性配置中,本文中所描述的操作可W硬件、软件、固件或其任何组 合来实施。如果W软件实施,那么可将此类操作作为一或多个指令或代码而存储在计算机 可读媒体上或经由计算机可读媒体传输。术语"计算机可读媒体"包含计算机存储装置媒体 及通信媒体两者,包含促进将计算机程序从一处传送到另一处的任何媒体。存储媒体可为 可由计算机存取的任何可用媒体。通过实例的方式(且非限制),此类计算机可读媒体可包 括存储元件的阵列,例如半导体存储器(其可包含但非限于动态或静态RAM、R0M、EEPR0M及/ 或快闪RAM)、或铁电体、磁阻、双向、聚合或相变存储器;CD-ROM或其它光盘存储装置、磁盘 存储装置或其它磁性存储装置、或可用W在可由计算机存取的有形结构中存储呈指令或数 据结构形式的所要程序代码的任何其它媒体。而且,可恰当地将任何连接称作计算机可读 媒体。举例来说,如果使用同轴电缆、光纤电缆、双绞线、数字订户线(D化)或例如红外线、无 线电及/或微波的无线技术从网站、服务器或其它远程源传输软件,那么同轴电缆、光纤电 缆、双绞线、D化或例如红外线、无线电及/或微波的无线技术包含在媒体的定义中。如本文 中所使用,磁盘及光盘包含紧密光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软 盘及Blu-ray Disc™(蓝光光盘协会,加州环球市(Universal City ,CA)),其中磁盘通常W 磁性方式再生数据,而光盘用激光W光学方式再生数据。上文的组合也应包含在计算机可 读媒体的范围内。

[0268] 如本文描述的声学信号处理设备可并入到接受话音输入W便控制某些操作的电 子装置中,或可W其它方式受益于来自背景噪声的所要噪声的分离(例如通信装置)。许多 应用可受益于增强或分离来自来源于多个方向的背景声音的清晰的所要声音。此类应用可 包含电子或计算装置中的人机接口,其并入有例如语音辨识及检测、话音增强及分离、语音 激活式控制等能力。可需要将此类声学信号处理设备实施为适于仅提供有限处理能力的装 置。

[0269] 本文所描述的模块、元件及装置的各种实施方案的元件可被制造为驻留于(例如) 同一忍片或忍片组中的两个或两个W上忍片中的电子及/或光学装置。此类装置的一个实 例为固定或可编程逻辑元件(例如,晶体管或口)阵列。本文中所描述的设备的各种实施方 案中的一或多个元件还可全部地或部分地实施为经布置W在一或多个固定或可编程逻辑 元件阵列(例如,微处理器、嵌入式处理器、IP核屯、、数字信号处理器、FPGA、ASSP及ASIC)上 执行的一或多个指令集。

[0270] 有可能使如本文中所描述的设备的实施方案的一或多个元件用于执行并非与所 述设备的操作直接相关的任务或其它指令集,例如与其中嵌入所述设备的装置或系统的另 一操作相关的任务。还有可能使此类设备的实施方案的一或多个元件具有共同结构(例如, 用于在不同时间执行对应于不同元件的代码部分的处理器、经执行W在不同时间执行对应 于不同元件的任务的指令集,或在不同时间对不同元件执行操作的电子及/或光学装置的 布置)。

[0271] 在W上描述中,有时将参考标号结合各种术语一起使用。当结合参考标号使用术 语时,此可意味着指在图式中的一或多者中展示的特定元件。当在无参考标号的情况下使 用术语时,此可意味着大体指所述术语而不限于任何特定的图。

[0272] 根据本发明,移动装置中的电路可适于接收与多个类型的压缩音频位流相关的信 号转换命令及随附数据。相同电路、不同电路或相同或不同电路的第二区段可适于执行一 变换作为用于多个类型的压缩音频位流的信号转换的部分。第二区段可有利地禪合到第一 区段,或其可体现于与第一区段相同的电路中。另外,相同电路、不同电路,或相同或不同电 路的第=区段可适于执行一互补处理作为用于多个类型的压缩音频位流的信号转换的部 分。第=区段可有利地禪合到第一及第二区段,或其可体现于与第一及第二区段相同的电 路中。另外,相同电路、不同电路,或相同或不同电路的第四区段可适于控制提供上述功能 性的电路的配置或电路的区段。

[027:3]术语"确定"涵盖广泛多种动作,且因此"确定"可包含推算、计算、处理、导出、调 查、查找(例如,在表、数据库或另一数据结构中查找)、断定及其类似者。而且,"确定"可包 含接收(例如,接收信息)、存取(例如,在存储器中存取数据)及其类似者。而且,"确定"可包 含解析、选择、挑选、建立及其类似者。

Claims (24)

1. 一种用于通过无线通信装置发射三维音频的方法,其包括: 捕获听觉场景; 基于使用位于所述无线通信装置上的至少两个麦克风对,将所述听觉场景分解为表示 不同方向的一个或多个音频信号,所述方向表示所述无线通信装置的一个或多个拐角; 使用至少一个编解码器来压缩所述至少一个或多个音频信号,以产生音频信号包;以 及 在空中实时发射所述音频信号包。
2. 根据权利要求1所述的方法,其中所述无线通信装置的所述一个或多个拐角包括前 左侧方向、后左侧方向、前右侧方向和后右侧方向。
3. 根据权利要求2所述的方法,其中所述无线通信装置的所述一个或多个拐角与标准 信道格式环绕声系统相关联。
4. 根据权利要求1所述的方法,其中所述音频信号包在呼叫期间经由业务信道在空中 被发射。
5. 根据权利要求1所述的方法,其中所述至少一个编解码器是话音编解码器。
6. 根据权利要求1所述的方法,其中分解所述听觉场景包括从所述至少两个麦克风对 中的一个麦克风对形成第一射束、并且从所述至少两个麦克风对中的第二麦克风对形成第 二射束。
7. 根据权利要求6所述的方法,其中所述第一射束和所述第二射束被组合以放大与表 示所述无线通信装置的所述一个或多个拐角中的至少一个拐角的方向相关联的音频信号。
8. 根据权利要求6所述的方法,其中所述第一射束和所述第二射束是空射束,所述空射 束被组合以减弱与表示所述无线通信装置的所述一个或多个拐角中的至少一个拐角的方 向相关联的音频信号。
9. 一种经配置以发射三维音频的无线通信装置,其包括: 多麦克风阵列,用来捕获听觉场景,其包括至少两个麦克风对,用来将所述听觉场景分 解为表示不同方向的一个或多个音频信号,所述方向表示所述无线通信装置的一个或多个 拐角; 至少一个编解码器,用来压缩所述至少一个或多个音频信号,以产生音频信号包;以及 发射器,用来在空中实时发射所述音频信号包。
10. 根据权利要求9所述的无线通信装置,其中所述无线通信装置的所述一个或多个拐 角包括前左侧方向、后左侧方向、前右侧方向和后右侧方向。
11. 根据权利要求10所述的无线通信装置,其中所述无线通信装置的所述一个或多个 拐角与标准信道格式环绕声系统相关联。
12. 根据权利要求9所述的无线通信装置,其中所述音频信号包在呼叫期间经由业务信 道在空中被发射。
13. 根据权利要求9所述的无线通信装置,其中所述至少一个编解码器是话音编解码 器。
14. 根据权利要求9所述的无线通信装置,其中分解所述听觉场景包括从所述至少两个 麦克风对中的一个麦克风对形成第一射束、并且从所述至少两个麦克风对中的第二麦克风 对形成第二射束。
15. 根据权利要求14所述的无线通信装置,其中所述第一射束和所述第二射束被组合 以放大与表示所述无线通信装置的所述一个或多个拐角中的至少一个拐角的方向相关联 的音频信号。
16. 根据权利要求14所述的无线通信装置,其中所述第一射束和所述第二射束是空射 束,所述空射束被组合以减弱与表示所述无线通信装置的所述一个或多个拐角中的至少一 个拐角的方向相关联的音频信号。
17. -种经配置以发射三维音频的设备,其包括: 用于捕获听觉场景的装置; 用于基于使用位于无线通信装置上的至少两个麦克风对,将所述听觉场景分解为表示 不同方向的一个或多个音频信号的装置,所述方向表示所述无线通信装置的一个或多个拐 角; 用于使用至少一个编解码器来压缩所述至少一个或多个音频信号以产生音频信号包 的装置;以及 用于在空中实时发射所述音频信号包的装置。
18. 根据权利要求17所述的设备,其中所述无线通信装置的所述一个或多个拐角包括 前左侧方向、后左侧方向、前右侧方向和后右侧方向。
19. 根据权利要求18所述的设备,其中所述无线通信装置的所述一个或多个拐角与标 准信道格式环绕声系统相关联。
20. 根据权利要求17所述的设备,其中所述音频信号包在呼叫期间经由业务信道在空 中被发射。
21. 根据权利要求17所述的设备,其中所述至少一个编解码器是话音编解码器。
22. 根据权利要求17所述的设备,其中分解所述听觉场景包括从所述至少两个麦克风 对中的一个麦克风对形成第一射束、并且从所述至少两个麦克风对中的第二麦克风对形成 第二射束。
23. 根据权利要求22所述的设备,其中所述第一射束和所述第二射束被组合以放大与 表示所述无线通信装置的所述一个或多个拐角中的至少一个拐角的方向相关联的音频信 号。
24. 根据权利要求22所述的设备,其中所述第一射束和所述第二射束是空射束,所述空 射束被组合以减弱与表示所述无线通信装置的所述一个或多个拐角中的至少一个拐角的 方向相关联的音频信号。
CN201380026946.9A 2012-05-24 2013-05-08 在呼叫期间的三维声音压缩及空中发射 CN104321812B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
US201261651185P true 2012-05-24 2012-05-24
US61/651,185 2012-05-24
US13/664,701 US9161149B2 (en) 2012-05-24 2012-10-31 Three-dimensional sound compression and over-the-air transmission during a call
US13/664,701 2012-10-31
PCT/US2013/040137 WO2013176890A2 (en) 2012-05-24 2013-05-08 Three-dimensional sound compression and over-the-air-transmission during a call

Publications (2)

Publication Number Publication Date
CN104321812A CN104321812A (zh) 2015-01-28
CN104321812B true CN104321812B (zh) 2016-10-05

Family

ID=49621612

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380026946.9A CN104321812B (zh) 2012-05-24 2013-05-08 在呼叫期间的三维声音压缩及空中发射

Country Status (6)

Country Link
US (3) US9161149B2 (zh)
EP (1) EP2856464B1 (zh)
JP (1) JP6336968B2 (zh)
KR (1) KR101705960B1 (zh)
CN (1) CN104321812B (zh)
WO (2) WO2013176890A2 (zh)

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9161149B2 (en) 2012-05-24 2015-10-13 Qualcomm Incorporated Three-dimensional sound compression and over-the-air transmission during a call
US9264524B2 (en) 2012-08-03 2016-02-16 The Penn State Research Foundation Microphone array transducer for acoustic musical instrument
US8884150B2 (en) * 2012-08-03 2014-11-11 The Penn State Research Foundation Microphone array transducer for acoustical musical instrument
EP2898506B1 (en) * 2012-09-21 2018-01-17 Dolby Laboratories Licensing Corporation Layered approach to spatial audio coding
US10194239B2 (en) * 2012-11-06 2019-01-29 Nokia Technologies Oy Multi-resolution audio signals
KR20140070766A (ko) * 2012-11-27 2014-06-11 삼성전자주식회사 보청 장치의 무선 통신 방법 및 시스템
US9521486B1 (en) * 2013-02-04 2016-12-13 Amazon Technologies, Inc. Frequency based beamforming
US10750132B2 (en) * 2013-03-14 2020-08-18 Pelco, Inc. System and method for audio source localization using multiple audio sensors
EP2992687B1 (en) * 2013-04-29 2018-06-06 University Of Surrey Microphone array for acoustic source separation
CN103699260B (zh) * 2013-12-13 2017-03-08 华为技术有限公司 一种启动终端功能模块的方法及终端设备
GB2521649B (en) * 2013-12-27 2018-12-12 Nokia Technologies Oy Method, apparatus, computer program code and storage medium for processing audio signals
EP3123746B1 (en) 2014-03-24 2018-05-23 Dolby International AB Method and device for applying dynamic range compression to a higher order ambisonics signal
KR20150133586A (ko) * 2014-05-20 2015-11-30 삼성전자주식회사 음성 명령 인식 장치 및 방법
US9596554B2 (en) 2014-05-26 2017-03-14 Vladimir Sherman Methods circuits devices systems and associated computer executable code for acquiring acoustic signals
EP2960903A1 (en) * 2014-06-27 2015-12-30 Thomson Licensing Method and apparatus for determining for the compression of an HOA data frame representation a lowest integer number of bits required for representing non-differential gain values
US10051364B2 (en) 2014-07-03 2018-08-14 Qualcomm Incorporated Single channel or multi-channel audio control interface
CN105451151B (zh) * 2014-08-29 2018-09-21 华为技术有限公司 一种处理声音信号的方法及装置
US9875745B2 (en) * 2014-10-07 2018-01-23 Qualcomm Incorporated Normalization of ambient higher order ambisonic audio data
KR102008745B1 (ko) * 2014-12-18 2019-08-09 후아웨이 테크놀러지 컴퍼니 리미티드 이동 디바이스들을 위한 서라운드 사운드 레코딩
CN104637494A (zh) * 2015-02-02 2015-05-20 哈尔滨工程大学 基于盲源分离的双话筒移动设备语音信号增强方法
US9712936B2 (en) * 2015-02-03 2017-07-18 Qualcomm Incorporated Coding higher-order ambisonic audio data with motion stabilization
USD768596S1 (en) * 2015-04-20 2016-10-11 Pietro V. Covello Media player
US10187738B2 (en) * 2015-04-29 2019-01-22 International Business Machines Corporation System and method for cognitive filtering of audio in noisy environments
WO2016182184A1 (ko) * 2015-05-08 2016-11-17 삼성전자 주식회사 입체 음향 재생 방법 및 장치
GB2540175A (en) 2015-07-08 2017-01-11 Nokia Technologies Oy Spatial audio processing apparatus
US20170018282A1 (en) * 2015-07-16 2017-01-19 Chunghwa Picture Tubes, Ltd. Audio processing system and audio processing method thereof
US9788109B2 (en) * 2015-09-09 2017-10-10 Microsoft Technology Licensing, Llc Microphone placement for sound source direction estimation
WO2017143067A1 (en) * 2016-02-19 2017-08-24 Dolby Laboratories Licensing Corporation Sound capture for mobile devices
US9858944B1 (en) * 2016-07-08 2018-01-02 Apple Inc. Apparatus and method for linear and nonlinear acoustic echo control using additional microphones collocated with a loudspeaker
US10229667B2 (en) 2017-02-08 2019-03-12 Logitech Europe S.A. Multi-directional beamforming device for acquiring and processing audible input
US10362393B2 (en) 2017-02-08 2019-07-23 Logitech Europe, S.A. Direction detection device for acquiring and processing audible input
US10366702B2 (en) 2017-02-08 2019-07-30 Logitech Europe, S.A. Direction detection device for acquiring and processing audible input
US10366700B2 (en) 2017-02-08 2019-07-30 Logitech Europe, S.A. Device for acquiring and processing audible input
US9820073B1 (en) 2017-05-10 2017-11-14 Tls Corp. Extracting a common signal from multiple audio signals
US10129648B1 (en) 2017-05-11 2018-11-13 Microsoft Technology Licensing, Llc Hinged computing device for binaural recording
US10789949B2 (en) * 2017-06-20 2020-09-29 Bose Corporation Audio device with wakeup word detection
US10665234B2 (en) * 2017-10-18 2020-05-26 Motorola Mobility Llc Detecting audio trigger phrases for a voice recognition session
WO2020051836A1 (en) * 2018-09-13 2020-03-19 Alibaba Group Holding Limited Methods and devices for processing audio input using unidirectional audio input devices

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1433355A1 (en) * 2001-07-19 2004-06-30 Vast Audio Pty Ltd Recording a three dimensional auditory scene and reproducing it for the individual listener
US7184559B2 (en) * 2001-02-23 2007-02-27 Hewlett-Packard Development Company, L.P. System and method for audio telepresence
WO2012061149A1 (en) * 2010-10-25 2012-05-10 Qualcomm Incorporated Three-dimensional sound capturing and reproducing with multi-microphones

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6289308B1 (en) * 1990-06-01 2001-09-11 U.S. Philips Corporation Encoded wideband digital transmission signal and record carrier recorded with such a signal
US6072878A (en) 1997-09-24 2000-06-06 Sonic Solutions Multi-channel surround sound mastering and reproduction techniques that preserve spatial harmonics
US6813360B2 (en) * 2002-01-22 2004-11-02 Avaya, Inc. Audio conferencing with three-dimensional audio encoding
US7099821B2 (en) * 2003-09-12 2006-08-29 Softmax, Inc. Separation of target acoustic signals in a multi-transducer arrangement
CN1981326B (zh) 2004-07-02 2011-05-04 松下电器产业株式会社 音频信号解码装置和方法及音频信号编码装置和方法
US7826624B2 (en) * 2004-10-15 2010-11-02 Lifesize Communications, Inc. Speakerphone self calibration and beam forming
JPWO2006080358A1 (ja) 2005-01-26 2008-06-19 松下電器産業株式会社 音声符号化装置および音声符号化方法
US20080004729A1 (en) 2006-06-30 2008-01-03 Nokia Corporation Direct encoding into a directional audio coding format
US20080208538A1 (en) * 2007-02-26 2008-08-28 Qualcomm Incorporated Systems, methods, and apparatus for signal separation
US20080232601A1 (en) 2007-03-21 2008-09-25 Ville Pulkki Method and apparatus for enhancement of audio reconstruction
US8098842B2 (en) * 2007-03-29 2012-01-17 Microsoft Corp. Enhanced beamforming for arrays of directional microphones
US8005237B2 (en) * 2007-05-17 2011-08-23 Microsoft Corp. Sensor array beamformer post-processor
US8073125B2 (en) 2007-09-25 2011-12-06 Microsoft Corporation Spatial audio conferencing
KR101415026B1 (ko) 2007-11-19 2014-07-04 삼성전자주식회사 마이크로폰 어레이를 이용한 다채널 사운드 획득 방법 및장치
US8175291B2 (en) * 2007-12-19 2012-05-08 Qualcomm Incorporated Systems, methods, and apparatus for multi-microphone based speech enhancement
CN101981944B (zh) 2008-04-07 2014-08-06 杜比实验室特许公司 麦克风阵列的环绕声产生
CA2729744C (en) * 2008-06-30 2017-01-03 Constellation Productions, Inc. Methods and systems for improved acoustic environment characterization
AT538469T (de) * 2008-07-01 2012-01-15 Nokia Corp Vorrichtung und verfahren zum justieren von räumlichen hinweisinformationen eines mehrkanaligen audiosignals
US8279357B2 (en) 2008-09-02 2012-10-02 Mitsubishi Electric Visual Solutions America, Inc. System and methods for television with integrated sound projection system
WO2011076286A1 (en) * 2009-12-23 2011-06-30 Nokia Corporation An apparatus
EP2357649B1 (en) * 2010-01-21 2012-12-19 Electronics and Telecommunications Research Institute Method and apparatus for decoding audio signal
US8600737B2 (en) * 2010-06-01 2013-12-03 Qualcomm Incorporated Systems, methods, apparatus, and computer program products for wideband speech coding
US8638951B2 (en) 2010-07-15 2014-01-28 Motorola Mobility Llc Electronic apparatus for generating modified wideband audio signals based on two or more wideband microphone signals
US8433076B2 (en) * 2010-07-26 2013-04-30 Motorola Mobility Llc Electronic apparatus for generating beamformed audio signals with steerable nulls
US9456289B2 (en) 2010-11-19 2016-09-27 Nokia Technologies Oy Converting multi-microphone captured signals to shifted signals useful for binaural signal processing and use thereof
US8819523B2 (en) * 2011-05-19 2014-08-26 Cambridge Silicon Radio Limited Adaptive controller for a configurable audio coding system
CN103890841B (zh) * 2011-11-01 2017-10-17 皇家飞利浦有限公司 音频对象编码和解码
US9161149B2 (en) 2012-05-24 2015-10-13 Qualcomm Incorporated Three-dimensional sound compression and over-the-air transmission during a call

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7184559B2 (en) * 2001-02-23 2007-02-27 Hewlett-Packard Development Company, L.P. System and method for audio telepresence
EP1433355A1 (en) * 2001-07-19 2004-06-30 Vast Audio Pty Ltd Recording a three dimensional auditory scene and reproducing it for the individual listener
WO2012061149A1 (en) * 2010-10-25 2012-05-10 Qualcomm Incorporated Three-dimensional sound capturing and reproducing with multi-microphones

Also Published As

Publication number Publication date
US20130317830A1 (en) 2013-11-28
JP6336968B2 (ja) 2018-06-06
EP2856464B1 (en) 2019-06-19
US20130315402A1 (en) 2013-11-28
US20160005408A1 (en) 2016-01-07
US9361898B2 (en) 2016-06-07
KR101705960B1 (ko) 2017-02-10
WO2013176890A3 (en) 2014-02-27
CN104321812A (zh) 2015-01-28
EP2856464A2 (en) 2015-04-08
KR20150021052A (ko) 2015-02-27
JP2015523594A (ja) 2015-08-13
WO2013176890A2 (en) 2013-11-28
US9161149B2 (en) 2015-10-13
WO2013176959A1 (en) 2013-11-28

Similar Documents

Publication Publication Date Title
US10560783B2 (en) Methods, apparatuses and computer program products for facilitating directional audio capture with multiple microphones
US9959783B2 (en) Converting audio to haptic feedback in an electronic device
US10123140B2 (en) Dynamic calibration of an audio system
US10251009B2 (en) Audio scene apparatus
US10503461B2 (en) Binaural rendering for headphones using metadata processing
US9854378B2 (en) Audio spatial rendering apparatus and method
CN105191354B (zh) 音频处理装置及其方法
JP5882552B2 (ja) 協調的サウンドシステム
US9922663B2 (en) Voice signal processing method and apparatus
CN104995681B (zh) 多声道音频数据的视频分析辅助产生
TWI555412B (zh) 整合幾何空間音源編碼串流之設備及方法
CN105247612B (zh) 相对于球面谐波系数执行空间掩蔽
EP2641244B1 (en) Converting multi-microphone captured signals to shifted signals useful for binaural signal processing
US9706292B2 (en) Audio camera using microphone arrays for real time capture of audio images and method for jointly processing the audio images with video images
KR101471798B1 (ko) 다운믹스기를 이용한 입력 신호 분해 장치 및 방법
CN103460716B (zh) 用于音频信号处理的方法与装置
CN102355748B (zh) 用于确定经处理的音频信号的方法及手持设备
DE112015003945T5 (de) Mehrquellen-Rauschunterdrückung
DK2863654T3 (en) Method for reproducing an acoustic sound field
US9196257B2 (en) Apparatus and a method for converting a first parametric spatial audio signal into a second parametric spatial audio signal
EP2633697B1 (en) Three-dimensional sound capturing and reproducing with multi-microphones
CN106416304B (zh) 针对家庭音频的增强的空间印象
RU2416172C1 (ru) Способ и устройство для улучшения воспроизведения звука
KR101285391B1 (ko) 음향 객체 정보 융합 장치 및 방법
Vilkamo et al. Directional audio coding: Virtual microphone-based synthesis and subjective evaluation

Legal Events

Date Code Title Description
PB01 Publication
C06 Publication
SE01 Entry into force of request for substantive examination
C10 Entry into substantive examination
GR01 Patent grant
C14 Grant of patent or utility model