CN104871566B - 协作式声音系统 - Google Patents

协作式声音系统 Download PDF

Info

Publication number
CN104871566B
CN104871566B CN201380061543.8A CN201380061543A CN104871566B CN 104871566 B CN104871566 B CN 104871566B CN 201380061543 A CN201380061543 A CN 201380061543A CN 104871566 B CN104871566 B CN 104871566B
Authority
CN
China
Prior art keywords
mobile device
audio
audio signal
recognized
speaker
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201380061543.8A
Other languages
English (en)
Other versions
CN104871566A (zh
Inventor
金莱轩
向佩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN104871566A publication Critical patent/CN104871566A/zh
Application granted granted Critical
Publication of CN104871566B publication Critical patent/CN104871566B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/02—Spatial or constructional arrangements of loudspeakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2205/00—Details of stereophonic arrangements covered by H04R5/00 but not provided for in any of its subgroups
    • H04R2205/024—Positioning of loudspeaker enclosures for spatial sound reproduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2420/00—Details of connection covered by H04R, not provided for in its groups
    • H04R2420/07—Applications of wireless loudspeakers or wireless microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/13—Aspects of volume control, not necessarily automatic, in stereophonic sound systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/308—Electronic adaptation dependent on speaker or headphone connection

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Stereophonic System (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Stereophonic Arrangements (AREA)

Abstract

一般来说，本发明描述用于形成协作式声音系统的技术。包括一或多个处理器的头端装置可执行所述技术。所述处理器可经配置以识别各自包含扬声器且可用于参与协作式环绕声系统的若干移动装置。所述处理器可配置所述协作式环绕声系统以将所述移动装置中的每一者的所述扬声器用作此系统的一或多个虚拟扬声器，且随后从音频源再现音频信号，以使得在通过所述移动装置的所述扬声器播放所述音频信号时，所述音频信号的音频回放好像源自所述协作式环绕声系统的所述一或多个虚拟扬声器。所述处理器可随后将所述再现的经处理音频信号发射到参与所述协作式环绕声系统的所述移动装置。

Description

协作式声音系统
本申请案主张2012年11月28日申请的第61/730,911号美国临时申请案的权益。
技术领域
本发明涉及多声道声音系统，且更具体来说，涉及协作式多声道声音系统。
背景技术
典型的多声道声音系统(其也可被称作“多声道环绕声系统”)通常包含音频/视频(AV)接收器及两个或两个以上扬声器。AV接收器通常包含与扬声器介接的多个输出及用以接收接收音频及/或视频信号的多个输入。常常，所述音频及/或视频信号是由各种家庭影院或音频组件产生，例如电视机、数字视频光盘(DVD)播放器、高清晰度视频播放器、游戏系统、记录播放器、压缩光盘(CD)播放器、数字媒体播放器、机顶盒(STB)、膝上型计算机、平板计算机及类似者。
虽然AV接收器可处理视频信号以提供上变频或其它视频处理功能，但通常AV接收器用于环绕声系统中以执行音频处理以便将适当的声道提供所述适当的扬声器(其也可被称作“扩音器”)。存在复制声音的一级或区域且进而更好地呈现更沉浸的声音体验的若干不同环绕声格式。在5.1环绕声系统中，AV接收器处理音频的五个声道，其包含中央声道、左声道、右声道、右后声道及左后声道。形成5.1的“.1”的额外声道针对于低音炮或巴斯声道。其它环绕声格式包含7.1环绕声格式(其添加额外的左后及右后声道)及22.2环绕声格式(其除了额外的前及后声道之外在不同高度处添加额外声道及另一低音炮或巴斯声道)。
在5.1环绕声格式的情况下，AV接收器可处理这些五个声道且将所述五个声道分布到五个扩音器及低音炮。AV接收器可处理所述信号以改变所述信号的音量水平及其它特性以便在其中环绕声系统操作的特定房间中充分复制环绕声音频。也就是说，原始环绕声音频信号可能已经被俘获及再现以适应给定房间，例如15×15英尺房间。AV接收器可再现此信号以适应环绕声系统在其中操作的房间。AV接收器可执行此再现以产生较好的声音级且进而提供更好或更沉浸的收听体验。
虽然环绕声可提供更沉浸的收听(并且，联合视频观看)的体验，但重现有力的环绕声所需的AV接收器及扩音器常常是昂贵。此外，为了充分对扩音器供电，AV接收器常常必须物理地耦合(通常经由扬声器电线)到扩音器。在环绕声通常需要至少两个扬声器定位在收听者后方的条件下，AV接收器常常需要扬声器电线或其它物理连接跨越房间铺设以物理地连接AV接收器与环绕声系统中的左后及右后的扬声器。铺设这些电线可不雅观且阻止消费者采用5.1、7.1及更高阶的环绕声系统。
发明内容
一般来说，本发明描述借以实现协作式环绕声系统的技术，所述协作式环绕声系统将可用的移动装置用作环绕声扬声器或在一些情况下，用作左前、中央及/或右前扬声器。头端装置可经配置以执行本发明中描述的技术。所述头端装置可经配置以与一或多个移动装置介接以形成协作式声音系统。所述头端装置可与一或多个移动装置介接以将这些移动装置的扬声器用作协作式声音系统的扬声器。所述头端装置常常可经由无线连接与这些移动装置通信，从而将所述移动装置的扬声器用于左后、右后或声音系统中的其它后部定位的扬声器。
以此方式，所述头端装置可使用一般可用但未用于常规的声音系统中的移动装置的扬声器形成协作式声音系统，进而使得用户能够避免或减少与购买专用的扬声器相关联的成本。另外，在移动装置可无线地耦合到头端装置的条件下，根据本发明中描述的技术而形成的协作式环绕声系统可在不必铺设扬声器电线或其它物理连接以将电力提供到扬声器的情况下实现后部声音。因此，所述技术可促进在避免与购买专用的扬声器及此类扬声器的设施相关联的成本方面的成本节约及在避免提供将后扬声器耦合到头端装置的专用物理连接的需要方面的配置简易性及灵活性两者。
在一个方面中，一种方法包括：识别各自包含扬声器且可用于参与协作式环绕声系统的一或多个移动装置；及配置所述所述协作式环绕声系统以将所述一或多个移动装置中的每一者的所述扬声器用作所述协作式环绕声系统的一或多个虚拟扬声器。所述方法进一步包括再现来自音频源的音频信号，以使得在通过所述一或多个移动装置的所述扬声器播放所述音频信号时，所述音频信号的音频回放好像源自所述协作式环绕声系统的所述一或多个虚拟扬声器，且将从所述音频源再现的经处理音频信号发射到参与所述协作式环绕声系统的所述移动装置中的每一者。
在另一方面中，一种头端装置包括一或多个处理器，其经配置以：识别各自包含扬声器且可用于参与协作式环绕声系统的一或多个移动装置；配置所述所述协作式环绕声系统以将所述一或多个移动装置中的每一者的所述扬声器用作所述协作式环绕声系统的一或多个虚拟扬声器；再现来自音频源的音频信号，以使得在通过所述一或多个移动装置的所述扬声器播放所述音频信号时，所述音频信号的音频回放好像源自所述协作式环绕声系统的所述一或多个虚拟扬声器；及将从所述音频源再现的经处理音频信号发射到参与所述协作式环绕声系统的所述移动装置中的每一者。
在另一方面中，一种头端装置包括：用于识别各自包含扬声器且可用于参与协作式环绕声系统的一或多个移动装置的装置；及用于配置所述所述协作式环绕声系统以将所述一或多个移动装置中的每一者的所述扬声器用作所述协作式环绕声系统的一或多个虚拟扬声器的装置。所述头端装置进一步包括用于以下操作的装置：再现来自音频源的音频信号以使得在通过所述一或多个移动装置的所述扬声器播放所述音频信号时，所述音频信号的音频回放好像源自所述协作式环绕声系统的所述一或多个虚拟扬声器；及用于将从所述音频源再现的经处理音频信号发射到参与所述协作式环绕声系统的所述移动装置中的每一者的装置。
在另一方面中，一种非暂时性计算机可读存储媒体具有存储在其上的指令，所述指令在被执行时致使一或多个处理器：识别各自包含扬声器且可用于参与协作式环绕声系统的一或多个移动装置；配置所述所述协作式环绕声系统以将所述一或多个移动装置中的每一者的所述扬声器用作所述协作式环绕声系统的一或多个虚拟扬声器；再现来自音频源的音频信号，以使得在通过所述一或多个移动装置的所述扬声器播放所述音频信号时，所述音频信号的音频回放好像源自所述协作式环绕声系统的所述一或多个虚拟扬声器；及将从所述音频源再现的经处理音频信号发射到参与所述协作式环绕声系统的所述移动装置中的每一者。
在附图和以下描述中阐述本发明的所述技术的一或多个实施例的细节。这些技术的其它特征、目标及优点将从所述描述及图式以及权利要求书而显而易见。
附图说明
图1是说明根据本发明中描述的技术而形成的实例协作式环绕声系统的框图。
图2是更详细地说明图1的协作式环绕声系统的各种方面的框图。
图3A到3C是说明头端装置及移动装置在执行本发明中描述的协作式环绕声系统技术中的实例操作的流程图。
图4是说明根据本发明中描述的技术而形成的实例协作式环绕声系统的进一步方面的框图。
图5是更详细地说明图1的协作式环绕声系统的另一方面的框图。
图6A到6C是更详细地说明由移动装置根据本发明中描述的技术的各种方面而显示的示范性图像的图。
图7A到7C是更详细地说明由耦合到头端装置的装置根据本发明中描述的技术的各种方面而显示的示范性图像的图。
图8A到8C是说明头端装置及移动装置在执行本发明中描述的协作式环绕声系统技术中的实例操作的流程图。
图9A到9C是说明根据本发明中描述的技术而形成的实例协作式环绕声系统的各种配置的框图。
图10是说明头端装置在实施本发明中描述的技术的各种电力调节方面的示范性操作的流程图。
图11到13是说明具有各种阶及子阶的球面谐波基底函数的图。
具体实施方式
图1是说明根据本发明中描述的技术而形成的实例协作式环绕声系统10的框图。在图1的实例中，协作式环绕声系统10包含音频源装置12、头端装置14、左前扬声器16A、右前扬声器16B及移动装置18A到18N(“移动装置18”)。虽然展示为包含专用的左前扬声器16A及专用的右前扬声器16B，但可在其中移动装置18还用作左前、中央及右前扬声器的实例中执行所述技术。因此，所述技术不应限于图1的实例中展示的实例协作式环绕声系统10。此外，虽然下文相对于协作式环绕声系统10进行描述，但本发明的技术可由提供协作式声音系统的任何形式的声音系统实施。
音频源装置12可表示能够产生源源音频数据的任何类型的装置。举例来说，音频源装置12可表示电视机(包含所谓的“智能电视”或“smarTV”(其具有因特网接入的特征及/或其执行能够支持应用的执行的操作系统))、数字机顶盒(STB)、数字视频光盘(DVD)播放器、高清晰度光盘播放器、游戏系统、多媒体播放器、流式传输多媒体播放器、记录播放器、桌上型计算机、膝上型计算机、平板电脑(tablet)或平板计算机(slate computer)、蜂窝式电话(包含所谓的“智能电话)，或能够产生或另外提供源音频数据的任何其它类型的装置或组件。在一些情况下，例如在音频源装置12表示电视、桌上型计算机、膝上型计算机、平板电脑(tablet)或平板计算机(slate computer)或蜂窝式电话的情况下，音频源装置12可包含显示器。
头端装置14表示能够处理(或，换句话说，再现)由音频源装置12产生或以其它方式提供的源音频数据的任何装置。在一些情况下，头端装置14可与音频源装置12集成以形成单一装置，例如，以使得音频源装置12在头端装置14的内部或是其部分。为了说明，在音频源装置12表示电视、桌上型计算机、膝上型计算机、平板(slate)或平板(tablet)计算机、游戏系统、移动电话或高清晰度光盘播放器(提供几个实例)时，音频源装置12可与头端装置14集成。也就是说，头端装置14可为例如电视、桌上型计算机、膝上型计算机、平板(slate)或平板(tablet)计算机、游戏系统、蜂窝式电话或高清晰度光盘播放器或其类似者等多种装置中的任一者。头端装置14在未与音频源装置12集成时可表示提供多个接口的音频/视频接收器(其通常被称为“A/V接收器”)，通过所述多个接口经由有线或无线连接与音频源装置12、左前扬声器16A、右前扬声器16B及/或移动装置18通信。
左前扬声器16A及右前扬声器16B(“扬声器16”)可表示具有一或多个换能器的扩音器。通常，左前扬声器16A类似于右前扬声器16B或与其几乎相同。扬声器16可提供借以与头端装置14进行通信的有线及/或(在一些情况下)无线接口。扬声器16可被有源供电或无源供电，其中在被无源供电时，头端装置14可驱动扬声器16中的每一者。如上所述，可在没有专用扬声器16的情况下执行所述技术，其中可通过移动装置18中的一或多者取代所述专用扬声器16。在一些情况下，专用扬声器16可并入到音频源装置12中或以其它方式集成到音频源装置12中。
移动装置18通常表示蜂窝式电话(包含所谓的“智能电话”)、平板电脑(tablet)或平板计算机(slate computer)、上网本、膝上型计算机、数字相框或能够执行应用及/或能够与头端装置14无线地介接的任何其它类型的移动装置。移动装置18可各自包括扬声器20A到20N(“扬声器20”)。这些扬声器20可各种经配置以用于音频回放，并且在一些情况下可经配置以用于语音音频回放。虽然在本发明中为了易于说明而相对于蜂窝式电话进行描述，但可相对于提供扬声器且能够与头端装置14有线或无线通信的任何便携式装置实施所述技术。
在典型的多声道声音系统(其也可被称作“多声道环绕声系统”或“环绕声系统”)中，可表示头端装置(作为一个实例)的A/V接收器处理源音频数据以适应专用的左前、前方中央、右前、左后(其也可被称作“环绕左”)及右后(其也可被称作“环绕右”)扬声器的放置。A/V接收器常常提供到这些扬声器中的每一者的专用有线连接以便提供更好的音频质量、向所述扬声器供电并减少干扰。A/V接收器可经配置以将适当的声道提供到适当的扬声器。
存在复制声音的一级或区域且进而更好地呈现更沉浸的声音体验的若干不同环绕声格式。在5.1环绕声系统中，A/V接收器再现音频的五个声道，其包含中央声道、左声道、右声道、右后声道及左后声道。形成5.1的“.1”的额外声道针对于低音炮或巴斯声道。其它环绕声格式包含7.1环绕声格式(其添加额外的左后及右后声道)及22.2环绕声格式(其除了额外的前及后声道之外在不同高度处添加额外声道及另一低音炮或巴斯声道)。
在5.1环绕声格式的情况下，A/V接收器可再现用于五个扩音器的这些五个声道及用于低音炮的巴斯声道。A/V接收器可再现所述信号以改变所述信号的音量水平及其它特性以便在其中环绕声系统操作的特定房间中充分复制声音场。也就是说，原始环绕声音频信号可能已经被俘获及处理以适应给定房间，例如15×15英尺房间。A/V接收器可处理此信号以适应环绕声系统在其中操作的房间。A/V接收器可执行此再现以产生较好的声音级且进而提供更好或更沉浸的收听体验。
虽然环绕声可提供更沉浸的收听(并且，联合视频观看)的体验，但重现有力的环绕声所需的AV接收器及扩音器常常是昂贵的。此外，为了充分向扬声器供电，出于上文提到的原因，A/V接收器常常必须物理地耦合(通常经由扬声器电线)到扩音器。在环绕声通常需要至少两个扬声器定位在收听者后方的条件下，A/V接收器常常需要扬声器电线或其它物理连接跨越房间铺设以物理地连接A/V接收器与环绕声系统中的左后及右后的扬声器。铺设这些电线可不雅观且阻止消费者采用5.1、7.1及更高阶的环绕声系统。
根据本发明中描述的技术，头端装置14可与移动装置18介接以形成协作式环绕声系统10。头端装置14可与移动装置18介接以将这些移动装置的扬声器20用作协作式环绕声系统10的环绕声扬声器。常常，头端装置14可经由无线连接与这些移动装置18通信，将移动装置18的扬声器20用于环绕声系统10中的左后、右后或其它后部定位的扬声器，如图1的实例中所展示。
以此方式，头端装置14可使用一般可用但未用于常规的环绕声系统中的移动装置18的扬声器20形成协作式环绕声系统10，进而使得用户能够避免与购买专用的环绕声扬声器相关联的成本。另外，在移动装置18可无线地耦合到头端装置14的条件下，根据本发明中描述的技术而形成的协作式环绕声系统10可在不必铺设扬声器电线或其它物理连接以将电力提供到扬声器的情况下实现后部环绕声。因此，所述技术可促进在避免与购买专用的环绕声扬声器及此类扬声器的设施相关联的成本方面的成本节约及在避免提供将后扬声器耦合到头端装置的专用物理连接的需要方面的配置简易性两者。
在操作中，头端装置14可起初识别移动装置18中的各自包含扬声器20中的对应一者且可用于参与协作式环绕声系统10的移动装置(例如，移动装置18中的被上电或操作的移动装置)。在一些情况下，移动装置18可各自执行应用(其可通常被称为“app”)，所述应用使得头端装置18能够识别移动装置18中的将所述app执行为可用于参与协作式环绕声系统10的移动装置。
头端装置14可配置所识别的移动装置18以将扬声器20中的对应者用作协作式环绕声系统10的一或多个扬声器。在一些实例中，头端装置14可轮询或以其它方式请求移动装置18提供指定所识别的移动装置18中的对应一者的方面的移动装置数据，所述方面影响由音频数据源12产生的源音频数据(其中此类源音频数据在一些情况下还可以被称作“多声道音频数据”)的音频回放以辅助配置协作式环绕声系统10。在一些情况下，移动装置18可在与头端装置14通信之后即刻自动提供此移动装置数据，且响应于此信息的改变周期性地更新此移动装置数据而不需要头端装置14请求此信息。移动装置18可例如在移动装置数据的某一方面已改变时提供经更新的移动装置数据。
在图1的实例中，移动装置18经由会话22A到22N(“会话22”)中的对应一者与头端装置14无线地耦合，所述会话也可被称作“无线会话22”。无线会话22可包括根据以下规范而形成的无线会话：电气电子工程师学会(IEEE)802.11a规范、IEEE 802.11b规范、IEEE802.11g规范、IEEE 802.11n规范、IEEE 802.11ac规范及802.11ad规范以及任何类型的个域网(PAN)规范及类似者。在一些实例中，头端装置14根据以上描述的规范中的一者耦合无线网络及耦合到相同无线网络的移动装置18，于是移动装置18可常常通过执行应用且在无线网络内定位头端装置14而向头端装置14登记。
在建立与头端装置14的无线会话22之后，移动装置18可收集上文所提到的移动装置数据、经由无线会话22中的相应者将此移动装置数据提供到头端装置14。此移动装置数据可包含任何数目的特性。由移动装置数据指定的实例特性或方面可包含以下各者中的一或多者：所识别的移动装置中的对应一者的位置(使用GPS或无线网络三角测量(如果可用))、包含在所识别的移动装置18中的每一者内的扬声器20中的对应者的频率响应、包含在所识别的移动装置18中的对应一者内的扬声器20的最大可允许声音重现水平、所识别的移动装置18中的对应一者的电池的电池状态或电力电平、所识别的移动装置18中的对应一者的同步状态(例如，移动装置18是否与头端装置14同步)；及所识别的移动装置18中的对应一者的头戴式耳机状态。
基于此移动装置数据，头端装置14可配置移动装置18以将这些移动装置18中的每一者的扬声器20用作协作式环绕声系统10的一或多个扬声器。例如，假设移动装置数据指定移动装置18中的每一者的位置，头端装置14可基于由对应的移动装置数据指定的移动装置18中的一者的位置而确定所识别的移动装置18中的这一者不在用于播放多声道音频源数据的最佳位置中。
在一些情况下，头端装置14可响应于确定移动装置18中的一或多者不在可被表征为“最佳位置”的位置中而以一方式配置协作式环绕声系统10以控制从音频源再现的音频信号的回放，使得适应移动装置18中的一或多者的次最佳位置。也就是说，头端装置14可配置借以再现源音频数据的一或多个预处理功能，以便适应所识别的移动装置18的当前位置且提供更沉浸的环绕声体验，而不必麻烦用户移动移动装置。
为了进一步阐释，头端装置14可再现来自源音频数据的音频信号以便有效地在再现的音频信号的回放期间重新定位音频看似发起的地方。在此意义上，头端装置14可识别移动装置18中的确定将离开位置的一个移动装置的恰当或最佳位置，从而建立可被称为协作式环绕声系统10的虚拟扬声器的扬声器。头端装置14可例如在扬声器16及20中的两者或更多者之间交叉混合或以其它方式分布从源音频数据再现的音频信号以在源音频数据的回放期间产生此虚拟扬声器的外观。在下文相对于图4的实例提供关于如何再现此音频源数据以产生虚拟扬声器的外观的更多细节。
以此方式，头端装置14可识别移动装置18中的各自包含扬声器20中的相应一者且可用于参与协作式环绕声系统10的移动装置。头端装置14可随后配置所识别的移动装置18以将对应的扬声器20中的每一者用作协作式环绕声系统的一或多个虚拟扬声器。头端装置14可随后再现来自音频源的音频信号，以使得在通过移动装置18的扬声器20播放所述音频信号时，所述音频信号的音频回放好像源自协作式环绕声系统10的一或多个虚拟扬声器，所述一或多个虚拟扬声器常常放置于不同于移动装置18(及它们的扬声器20中的对应一者)中的至少一者的位置的位置中。头端装置14可随后将再现的音频信号发射到协作式环绕声系统10的扬声器16及20。
在一些情况下，头端装置14可提示移动装置18中的一或多者的用户重新定位移动装置18中的这些移动装置，以便通过移动装置18中的一或多者有效地“优化”从多声道源音频数据再现的音频信号的回放。
在一些实例中，头端装置14可基于移动装置数据而再现来自源音频数据的音频信号。为了说明，移动装置数据可指定移动装置的电力电平(其也可被称作“电池状态”)。基于此电力电平，头端装置14可再现来自源音频数据的音频信号，以使得所述音频信号的某一部分具有要求较不高的音频回放(在播放音频的电力消耗方面)。头端装置14可随后将这些要求较不高的音频信号提供到移动装置18的具有减小的电力电平的移动装置。此外，头端装置14可确定移动装置18中的两者或更多者协作以形成协作式环绕声系统10的单一扬声器，从而在音频信号的回放期间减少电力消耗，所述单一扬声器在移动装置18的这两个或更多移动装置的电力电平不足以完成所指派声道的回放时(给定源音频数据的已知持续时间)形成虚拟扬声器。相对于图9A到9C及10更详细地描述以上电力电平调适。
头端装置14可另外确定协作式环绕声系统10的扬声器中的每一者将放置在其处的扬声器区段。头端装置14可随后以若干不同方式提示用户重新定位移动装置18中的可能在次最佳位置中的对应者。在一种方式中，头端装置14可与移动装置18中的将重新定位的次最佳放置的移动装置介接，且指示移动装置将移动的方向以将移动装置18中的这些移动装置重新定位在更佳的位置中(例如在其指派的扬声器区段内)。或者，头端装置18可与显示器(例如电视)介接以呈现识别移动装置的当前位置及移动装置应被移动到的更佳位置的图像。相对于图5、6A到6C、7A到7C及8A到8C更详细地描述用于提示用户重新定位次最佳放置的移动装置的以下替代方案。
以此方式，头端装置14可经配置以确定参与协作式环绕声系统10以作为协作式环绕声系统10的多个扬声器中的扬声器的移动装置18的位置。头端装置14还可经配置以产生描绘参与协作式环绕声系统10的移动装置18相对于协作式环绕声系统10的多个其它扬声器的位置的图像。
然而，头端装置14可配置预处理功能以适应广泛种类的移动装置及情境。例如，头端装置14可基于移动装置18的扬声器20的一或多个特性(例如，扬声器20的频率响应及/或扬声器20的最大可允许声音重现水平)而配置借以再现源音频数据的音频预处理功能。
作为又一实例，如上所述，头端装置20可接收指示正用作协作式环绕声系统10中的扬声器的移动装置18的电池状态或电力电平的移动装置数据。头端装置14可确定由此移动装置数据指定的这些移动装置18中的一或多者的电力电平不足以完成源音频数据的回放。头端装置14可随后基于这些移动装置18的电力电平不足以完成多声道源音频数据的回放的确定而配置预处理功能以再现源音频数据，从而减少移动装置18中的这些移动装置播放从多声道源音频数据再现的音频信号所需的电力的量。
头端装置14可配置所述预处理功能以通过(作为一个实例)调整由移动装置18中的这些移动装置回放的从多声道源音频数据再现的音频信号的音量而配置所述预处理功能以减少这些移动装置18处的电力消耗。在另一实例中，头端装置14可配置所述预处理功能以将待由这些移动装置18播放的从多声道源音频数据再现的音频信号与待由移动装置18中的其它移动装置播放的从多声道源音频数据再现的音频信号交叉混合。作为又一实例，头端装置14可配置所述预处理功能以减少将由移动装置18中的缺乏足够电力完成回放的移动装置播放的从多声道源音频数据再现的音频信号的至少某一范围的频率(以便移除(作为一实例)低端频率)。
以此方式，头端装置14可向源音频数据应用预处理功能以修整、调适或以其它方式动态地配置此源音频数据的回放，以便适合用户的各种需要并适应广泛多种移动装置18及它们的对应音频能力。
一旦协作式环绕声系统10以上文所描述的各种方式配置，头端系统14便可随后开始将再现的音频信号发射到协作式环绕声系统10的一或多个扬声器中的每一者，其中移动装置18的扬声器20中的一或多者及/或扬声器16再次可协作以形成协作式环绕声系统10的单一扬声器。
在源音频数据的回放期间，移动装置18中的一或多者可提供经更新的移动装置数据。在一些情况下，移动装置18可停止参与为协作式环绕声系统10中的扬声器，提供更新的移动装置数据以指示移动装置18中的对应一者将不再参与协作式环绕声系统10。移动装置18可归因于电力限制、经由在移动装置18上执行的应用而设定的偏好、话音呼叫的接收、电子邮件的接收、文本消息的接收、推送通知的接收或出于任何数目的其它原因而停止参与。头端装置14可随后重新调配预处理功能以适应参与协作式环绕声系统10的移动装置18的数目上的改变。在一个实例中，头端装置14可在回放期间不提示用户移动它们的移动装置18中的对应者，而是可替代地再现多声道源音频数据以产生以上文所描述的方式模拟虚拟扬声器的外观的音频信号。
以此方式，本发明的技术实际上使得移动装置18能够通过与协调特设网络的形成的中央装置或头端系统14形成此特设网络(其通常为802.11或PAN，如上所述)而参与协作式环绕声系统10。头端装置14可识别包含扬声器20中的一者且可用于参与移动装置18的特设无线网络以播放从多声道源音频数据再现的音频信号的移动装置18，如上文所描述。头端装置14可随后从所识别的移动装置18中的每一者接收指定所识别的移动装置18中的对应一者的方面或特性的移动装置数据，其可影响从多声道源音频数据再现的音频信号的音频回放。头端装置14可随后基于移动装置数据来配置移动装置18的特设无线网络以便以一方式控制从多声道源音频数据再现的音频信号的回放，使得适应所识别的移动装置18的影响多声道源音频数据的音频回放的方面。
虽然上文描述为被引导到包含移动装置18及专用扬声器16的协作式环绕声系统10，但可相对于移动装置18及/或专用扬声器16的任何组合来执行所述技术。在一些情况下，可相对于仅包含移动装置的协作式环绕声系统来执行所述技术。所述技术因此不应限于图1的实例。
此外，虽然在整个描述中描述为相对于多声道源音频数据而执行，但可相对于任何类型的源音频数据执行所述技术，包含基于对象的音频数据及高阶立体混响(HOA)音频数据(其可指定呈分层元素形式的音频数据，例如球面谐波系数(SHC))。下文相对于图11到13更详细地描述HOA音频数据。
图2是更详细地说明图1的协作式环绕声系统10的一部分的框图。图2中展示的协作式环绕声系统10的所述部分包含头端装置14及移动装置18A。虽然下文相对于单一移动装置(即，在图2的实例中的移动装置18A)进行描述，但为了易于说明的目的，可相对于多个移动装置(例如，图1的实例中展示的移动装置18)来实施所述技术。
如图2的实例中所展示，头端装置14包含控制单元30。控制单元30(其一般还可以被称作处理器)可表示执行软件指令的一或多个中央处理单元及/或图形处理单元(其两者在图2中未展示，所述软件指令例如为用于界定软件或计算机程序、存储到非暂时性计算机可读存储媒体(同样，在图2中未展示)的软件指令，所述非暂时性计算机可读存储媒体例如为存储装置(例如，磁盘驱动器或光盘驱动器)或存储器(例如快闪存储器、随机存取存储器或RAM)或存储指令以致使一或多个处理器执行本文中描述的技术的任何其它类型的易失性或非易失性存储器。或者，控制单元30可表示专用硬件，例如一或多个集成电路、一或多个专用集成电路(ASIC)、一或多个专用处理器(ASSP)、一或多个现场可编程门阵列(FPGA)或用于执行本文中描述的技术的专用硬件的前述实例中的一或多者的任何组合。
控制单元30可执行或以其它方式经配置以实施数据检索引擎32、电力分析模块34及音频再现引擎36。数据检索引擎32可表示经配置以检索或以其它方式从移动装置18A(以及剩余的移动装置18B到18N)接收移动装置数据60的模块或单元。数据检索引擎32可包含在移动装置18A未经由移动装置数据62提供位置时确定移动装置18A相对于头端装置14的位置的位置模块38。数据检索引擎32可更新移动装置数据60以包含此所确定的位置，进而产生经更新的移动装置数据64。
电力分析模块34表示经配置以处理由移动装置18作为移动装置数据60的一部分而报告的电力消耗数据的模块或单元。电力消耗数据可包含移动装置18A的电池大小、音频放大器额定功率、扬声器20A的模型及效率，及移动装置18A对于不同过程(包含无线音频声道过程)的功率分布。电力分析模块34可处理此电力消耗数据以确定细化的电力数据62，其被提供回到数据检索引擎32。细化的电力数据62可指定当前电力电平或容量、给定时间量中的既定电力消耗速率等。数据检索引擎32可随后更新移动装置数据60以包含此细化的电力数据62，进而产生经更新的移动装置数据64。在一些情况下，电力分析模块34将所述细化的电力数据62直接提供到音频再现引擎36，音频再现引擎36将此细化的电力数据62与经更新的移动装置数据64进行组合以进一步更新经更新的移动装置数据64。
音频再现引擎36表示经配置以接收经更新的移动装置数据64并基于经更新的移动装置数据64而处理源音频数据37的模块或单元。音频再现引擎36可以任何数目的方式处理源音频数据37，其在下文更详细地描述。虽然展示为仅相对于来自单一移动装置(即，在图2的实例中的移动装置18A)的经更新的移动装置数据64处理源音频数据37，但数据检索引擎32及电力分析模块64可从移动装置18中的每一者检索移动装置数据60，针对移动装置18中的每一者产生经更新的移动装置数据64，于是音频再现引擎36可基于经更新的移动装置数据64的每一实例或多个实例的组合(例如在移动装置18中的两者或更多者用于形成协作式环绕声系统10的单一扬声器时)再现源音频数据37。音频再现引擎36输出再现的音频信号66以供移动装置18回放。
如图2中进一步展示，移动装置18A包含控制单元40及扬声器20A。控制单元40可类似或实质上类似于头端装置14的控制单元30。扬声器20A表示移动装置可借以经由经处理音频信号66的回放而重现源音频数据37的一或多个扬声器。
控制单元40可执行或以其它方式经配置以实施协作式声音系统应用42及音频回放模块44。协作式声音系统应用42可表示经配置以建立与头端装置14的无线会话22A且随后经由此无线会话22A将移动装置数据60传送到头端装置14的模块或单元。协作式声音系统应用42还可在协作式声音系统应用42检测到移动装置60的状态中的可影响再现的音频信号66的回放的改变时周期性地发射移动装置数据60。音频回放模块44可表示经配置以回放音频数据或信号的模块或单元。音频回放模块44可将再现的音频信号66呈现给扬声器20A以用于回放。
协作式声音系统应用42可包含表示经配置以收集移动装置数据60的模块或单元的数据收集引擎46。数据收集引擎46可包含位置模块48、电力模块50及扬声器模块52。位置模块48可在可能的情况下使用全球定位系统(GPS)或通过无线网络三角测量来确定移动装置18A相对于头端装置14的位置。常常，位置模块48可能不能够以足够的准确度解析移动装置18A相对于头端装置14的位置以准许头端装置14恰当地执行本发明中描述的技术。
如果是这种情况，那么位置模块48可随后与由头端装置14的控制单元30执行或实施的位置模块38协调。位置模块38可将音调61或其它声音发射到位置模块48，位置模块48可与音频回放模块44介接，使得音频回放模块44致使所述20A回放此音调61。音调61可包括给定频率的音调。常常，音调61不在能够由人类听觉系统听到的频率范围中。位置模块38可随后检测移动装置18A的扬声器20A对此音调61的回放，且可基于此音调61的回放而导出或以其它方式确定移动装置18A的位置。
电力模块50表示经配置以确定以上所提到的电力消耗数据的模块或单元，所述电力消耗数据可同样包含移动装置18A的电池大小、由音频回放模块44采用的音频放大器的额定功率、扬声器20A的模型及功率效率，及由移动装置18A的控制单元40执行的各种过程(包含无线音频声道过程)的功率分布。电力模块50可从系统固件、由控制单元40执行的操作系统或通过检查各种系统数据而确定此信息。在一些情况下，电力模块50可接入文件服务器或网络(例如因特网)中可接入的某一其它数据源，将识别移动装置18A的类型、版本、产品或其它数据提供到文件服务器以检索此电力消耗数据的各种方面。
扬声器模块52表示经配置以确定扬声器特性的模块或单元。类似于电力模块50，扬声器模块52可收集或以其它方式确定扬声器20A的各种特性，包含扬声器20A的频率范围、扬声器20A的最大音量水平(常常以分贝(dB)表达)、扬声器20A的频率响应，及类似者。扬声器模块52可从系统固件、由控制单元40执行的操作系统或通过检查各种系统数据而确定此信息。在一些情况下，扬声器模块52可接入文件服务器或网络(例如因特网)中可接入的某一其它数据源，将识别移动装置18A的类型、版本、产品或其它数据提供到文件服务器以检索此扬声器特性数据的各种方面。
起初，如上文所描述，移动装置18A的用户或其它运营商与控制单元40介接以执行协作式声音系统应用42。控制单元40响应于此用户输入而执行协作式声音系统应用42。在执行协作式声音系统应用42之后，用户可即刻与协作式声音系统应用42介接(常常经由呈现图形用户接口的触摸显示器，为了易于说明的目的，其在图2的实例中未展示)以向头端装置14登记移动装置18A(假设协作式声音系统应用42可定位头端装置14)。如果不能够定位头端装置14，协作式声音系统应用42可帮助用户解决定位头端装置14的任何难题，潜在地提供故障处理提示以确保(例如)头端装置14及移动装置18A两者连接到相同的无线网络或PAN。
在任何情况下，假设协作式声音系统应用42成功地定位头端装置14且向头端装置14登记移动装置18A，协作式声音系统应用42可调用数据收集引擎46以检索移动装置数据60。在调用数据收集引擎46的过程中，位置模块48可尝试确定移动装置18A相对于头端装置14的位置，可能使用音调61与位置模块38协作以使得头端装置14能够以上文所描述的方式解析移动装置18A相对于头端装置14的位置。
如上所述，音调61可具有给定频率以便区分移动装置18A与移动装置18B到18N中的参与协作式环绕声系统10的其它移动装置，所述移动装置还可以尝试与位置模块38协作以确定它们相对于头端装置14的相应的位置。换句话说，头端装置14可使移动装置18A与具有第一频率的音调61相关联，使移动装置18B与具有第二不同频率的音调相关联，使移动装置18C与具有第三不同频率的音调相关联，等等。以此方式，头端装置14可同时并行地定位移动装置18中的多者而非循序地定位移动装置18中的每一者。
电力模块50及扬声器模块52可以上文所描述的方式收集电力消耗数据及扬声器特性数据。数据收集引擎46可聚合形成移动装置数据60的此数据。数据收集引擎46可产生移动装置数据60以使得移动装置数据60指定以下各者中的一或多者：移动装置18A的位置(如果可能)、扬声器20A的频率响应、扬声器20A的最大可允许声音重现水平、包含在移动装置18A内且向移动装置18A供电的电池的电池状态、移动装置18A的同步状态及移动装置18A的头戴式耳机状态(例如，头戴式耳机插孔当前是否在使用中而阻止扬声器20A的使用)。数据收集引擎46随后将此移动装置数据60发射到由头端装置14的控制单元30执行的数据检索引擎32。
数据检索引擎32可解析此移动装置数据60以将电力消耗数据提供到电力分析模块34。如上文所描述，电力分析模块34可处理此电力消耗数据以产生细化的电力数据62。数据检索引擎32还可以上文所描述的方式调用位置模块38以确定移动装置18A相对于头端装置14的位置。数据检索引擎32可随后更新移动装置数据60以包含所确定的位置(在必要时)及细化的电力数据62，将此经更新的移动装置数据60传递到音频再现引擎36。
音频再现引擎36可随后基于经更新的移动装置数据64而再现源音频数据37。音频再现引擎36可随后配置协作式环绕声系统10以将移动装置18的扬声器20A用作协作式环绕声系统10的一或多个虚拟扬声器。音频再现引擎36还可从源音频数据37再现音频信号66以使得在移动装置18A的扬声器20A播放再现的音频信号66时，再现的音频信号66的音频回放好像源自协作式环绕声系统10的一或多个虚拟扬声器，所述一或多个虚拟扬声器同样常常好像放置于不同于移动装置18中的至少一者(例如移动装置18A)的所确定的位置的位置中。
为了说明，音频再现引擎36可识别协作式环绕声系统10的虚拟扬声器中的每一者好像在其处发起源音频数据37的扬声器区段。在再现源音频数据37时，音频再现引擎36可随后从源音频数据37再现音频信号66，以使得在由移动装置18的扬声器20播放再现的音频信号66时，再现的音频信号66的音频回放好像源自在扬声器区段中的对应的所识别的一者内的位置中的协作式环绕声系统10的虚拟扬声器。
为了以此方式再现源音频数据37，音频再现引擎36可基于移动装置18中的一者(例如，移动装置18A)的位置而配置借以再现源音频数据37的音频预处理功能，以便避免提示用户移动移动装置18A。避免提示用户移动装置在一些情况下可能是必需的，例如在音频数据的回放已开始之后，在移动移动装置可能干扰房间中的其它收听者的条件下。在以一种方式再现源音频数据37的至少一部分以控制源音频数据的回放以便适应移动装置18A的位置时，音频再现引擎36可随后使用经配置的音频预处理功能。
另外，音频再现引擎36可基于移动装置数据60的其它方面而再现源音频数据37。例如，音频再现引擎36可在再现源音频数据37时基于一或多个扬声器特性而配置音频预处理功能以供使用(以便适应移动装置18A的扬声器20A的频率范围，例如移动装置18A的扬声器20A的最大音量，作为另一实例)。音频再现引擎36可随后基于经配置的音频预处理功能而再现源音频数据37的至少一部分以控制移动装置18A的扬声器20A对所再现的音频信号66的回放。
音频再现引擎36可随后发送或以其它方式将再现的音频信号66或其一部分发射到移动装置18。
图3A到3C是说明头端装置14及移动装置18在执行本发明中描述的协作式环绕声系统技术中的实例操作的流程图。虽然下文描述相对于移动装置18中的特定一者(即，图2及3A到3C的实例中的移动装置18A)进行描述，但可由移动装置18B到18N以类似于本文相对于移动装置18A描述的方式的方式执行所述技术。
起初，移动装置18A的控制单元40可执行协作式声音系统应用42(80)。协作式声音系统应用42可首先尝试在无线网络上定位头端装置14的存在(82)。如果协作式声音系统应用42不能够在网络上定位头端装置14(“否”84)，那么移动装置18A可继续尝试在网络上定位头端装置14，同时还潜在地呈现故障处理提示以辅助用户定位头端装置14(82)。然而，如果协作式声音系统应用42定位头端装置14(“是”84)，那么协作式声音系统应用42可建立会话22A且经由会话22A向头端装置14登记(86)，从而实际上使得头端装置14能够将移动装置18A识别为包含扬声器20A且能够参与协作式环绕声系统10的装置。
在向头端装置14登记之后，协作式声音系统应用42可调用数据收集引擎46，数据收集引擎46以上文所描述的方式收集移动装置数据60(88)。数据收集引擎46可随后将移动装置数据60发送到头端装置14(90)。头端装置14的数据检索引擎32接收移动装置数据60(92)且确定此移动装置数据60是否包含指定移动装置18A相对于头端装置14的位置的位置数据(94)。如果所述位置数据不足以使得头端装置14能够准确地定位移动装置18A(例如仅在30英尺内准确的GPS数据)或如果位置数据不存在于移动装置数据60中(“否”94)，那么数据检索引擎32可调用位置模块38，位置模块38与由协作式声音系统应用42调用的数据收集引擎46的位置模块48介接以将音调61发送到移动装置18A的位置模块48(96)。移动装置18A的位置模块48随后将此音调61传递到音频回放模块44，音频回放模块44与扬声器20A介接以重现音调61(98)。
同时，在发送音调61之后，头端装置14的位置模块38可与麦克风介接以检测扬声器20A对音调61的重现(100)。头端装置14的位置模块38可随后基于音调61的检测到的重现而确定移动装置18A的位置(102)。在使用音调61确定移动装置18A的位置之后，头端装置18的数据检索模块32可更新移动装置数据60以包含所确定的位置，进而产生经更新的移动装置数据64(图3B，104)。
如果数据检索模块32确定位置数据存在于移动装置数据60中(或位置数据充分准确以使得头端装置14能够相对于头端装置14定位移动装置18A)，或在产生经更新的移动装置数据64以包含所确定的位置之后，数据检索模块32可确定其是否已完成从向头端装置14登记的移动装置18中的每一者检索移动装置数据60(106)。如果头端装置14的数据检索模块32未完成从移动装置18中的每一者检索移动装置数据60(“否”106)，那么数据检索模块32继续检索移动装置数据60且以上文所描述的方式产生经更新的移动装置数据64(92到106)。然而，如果数据检索模块32确定其已完成收集移动装置数据60且产生经更新的移动装置数据64(“是”106)，那么数据检索模块32将经更新的移动装置数据64传递到音频再现引擎36。
音频再现引擎36可响应于接收到此经更新的移动装置数据64而检索源音频数据37(108)。音频再现引擎36可在再现源音频数据37时首先确定表示扬声器应放置在其处以适应多声道源音频数据37的回放的区段的扬声器区段(110)。例如，5.1声道源音频数据包含左前声道、中央声道、右前声道、环绕左声道、环绕右声道及低音炮声道。在低频率通常提供足够的影响而不管低音炮相对于头端装置的位置如何的条件下，低音炮声道不具方向性或不值得考虑。然而，其它五个声道可对应于特定位置以便提供用于沉浸式音频回放的最佳声音级。在一些实例中，音频再现引擎36可与位置模块38介接以导出房间的边界，借此位置模块38可致使扬声器16及/或扬声器20中的一或多者发射音调或声音以便识别墙壁、人、家具等的位置。基于此房间或物体位置信息，音频再现引擎36可确定左前扬声器、中央扬声器、右前扬声器、环绕左扬声器及环绕右扬声器中的每一者的扬声器区段。
基于这些扬声器区段，音频再现引擎36可确定协作式环绕声系统10的虚拟扬声器的位置(112)。也就是说，音频再现引擎36可在扬声器区段中的每一者内将虚拟扬声器放置在常常是相对于房间或物体位置信息的最佳位置或最佳位置附近处。音频再现引擎36可随后基于移动装置数据18将移动装置18映射到每一虚拟扬声器(114)。
例如，音频再现引擎36可首先考虑在经更新的移动装置数据60中指定的移动装置18中的每一者的位置，将那些装置映射到具有最靠近移动装置18的所确定的位置的虚拟位置的虚拟扬声器。音频再现引擎36可基于移动装置18中的当前指派的移动装置与虚拟扬声器的位置有多接近而确定是否将移动装置18中的一者以上映射到虚拟扬声器。此外，在与两个或两个以上移动装置18中的一者相关联的细化的电力数据62不足以回放源音频数据37的全部时，音频再现引擎36可确定将移动装置18中的两者或更多者映射到相同的虚拟扬声器，如上文所描述。音频再现引擎36还可基于移动装置数据60的其它方面而映射这些移动装置18，包含扬声器特性，同样如上文所描述。
音频再现引擎36可随后以上文针对扬声器16及扬声器20中的每一者所描述的方式从源音频数据37再现音频信号，从而有效地基于虚拟扬声器及/或移动装置数据60的位置而再现音频信号(116)。换句话说，音频再现引擎36可随后实例化或以其它方式界定再现源音频数据37的预处理功能，如上文更详细描述。以此方式，音频再现引擎36可基于虚拟扬声器及移动装置数据60的位置而再现或以其它方式处理源音频数据37。如上所述，音频再现引擎36可在处理此音频数据时聚合地或总体上考虑来自移动装置18中的每一者的移动装置数据60，但将从音频源数据60再现的单独的音频信号发射到移动装置18中的每一者。因此，音频再现引擎36将再现的音频信号66发射到移动装置18(图3C，120)。
响应于接收此再现的音频信号66，协作式声音系统应用42与音频回放模块44介接，其继而与扬声器20A介接以播放再现的音频信号66(122)。如上所述，协作式声音系统应用42可周期性地调用数据收集引擎46以确定移动装置数据60中的任一者是否已改变或更新(124)。如果移动装置数据60尚未改变(“否”124)，那么移动装置18A继续播放再现的音频信号66(122)。然而，如果移动装置数据60已改变或已更新(“是”124)，那么数据收集引擎46可将此改变的移动装置数据60发射到头端装置14的数据检索引擎32(126)。
数据检索引擎32可将此改变的移动装置数据传递到音频再现引擎36，音频再现引擎36可基于所述改变的移动装置数据60而修改移动装置18A已经由虚拟扬声器构造而映射到其的用于再现音频信号的预处理功能。如下文更详细描述，通常经更新的或改变的移动装置数据60归因于(作为一个实例)电力消耗中的改变或因为移动装置18A被另一任务(例如中断音频回放的话音呼叫)预先占据而改变。
在一些情况下，数据检索引擎32可在数据检索模块32的位置模块38可检测移动装置18的位置中的改变的意义上确定移动装置数据60已改变。换句话说，数据检索模块32可周期性地调用位置模块38以确定移动装置18的当前位置(或，替代地，位置模块38可不断地监视移动装置18的位置)。位置模块38可随后确定移动装置18中的一或多者是否已经移动，进而使得音频再现引擎36能够动态地修改预处理功能以适应移动装置18的位置中的进行中的改变(例如，可能在(例如)用户捡起移动装置以查看文本消息且随后将移动装置向下设定回不同的位置中的情况下会发生)因此，所述技术可在动态环境中可适用以潜在地确保虚拟扬声器在整个回放期间保持至少接近于最佳位置，即使移动装置18可能在回放期间移动或重新定位也如此。
图4是说明根据本发明中描述的技术而形成的另一协作式环绕声系统140的框图。在图4的实例中，音频源装置142、头端装置144、左前扬声器146A、右前扬声器146B及移动装置148A到148C可实质上类似于上文分别相对于图1、2、3A到3C所描述的音频源装置12、头端装置14、左前扬声器16A、右前扬声器16B及移动装置18A到18N。
如图4的实例中所展示，头端装置144将协作式环绕声系统140在其中操作的房间划分为五个单独的扬声器区段152A到152E(“区段152”)。在确定这些区段152之后，头端装置144可确定区段152中的每一者的虚拟扬声器154A到154E(“虚拟扬声器154”)的位置。
对于区段152A及152B中的每一者，头端装置144确定虚拟扬声器154A及154B的位置分别靠近或匹配左前扬声器146A及右前扬声器146B的位置。对于区段152C，头端装置144确定虚拟扬声器154C的位置不与移动装置148A到148C(“移动装置148”)中的任一者重叠。因此，头端装置144搜索区段152C以识别定位在区段152C内或部分在其内的移动装置148中的任一者。在执行此搜索中，头端装置144确定移动装置148A及148B定位在区段152C内或至少部分定位在其内。头端装置144随后将这些移动装置148A及148B映射到虚拟扬声器154C。头端装置144随后界定从源音频数据再现环绕左声道以供移动装置148A回放的第一预处理功能，以使得其好像如同声音源自虚拟扬声器154C。头端装置144还界定从源音频数据再现环绕右声道的第二实例以供移动装置148B回放的第二预处理功能，以使得其好像如同声音源自虚拟扬声器154C。
头端装置144可随后考虑虚拟扬声器154D且确定移动装置148C放置于区段152D内的附近最佳位置中，使得移动装置148C的位置与虚拟扬声器154D的位置重叠(常常在经界定或经配置的阈值内)。头端装置144可基于与移动装置148C相关联的移动装置数据的其它方面而界定用于再现环绕右声道的预处理功能，但可不必界定用以修改此环绕右声道将好像在何处发起的预处理功能。
头端装置144可随后确定在中心扬声器区段152E内不存在可支持虚拟扬声器154E的中央扬声器。因此，头端装置144可界定从源音频数据再现中央声道的预处理功能以将中央声道与左前声道及右前声道交叉混合，使得左前扬声器146A及右前扬声器146B重现它们的相应的左前声道及右前声道两者及中央声道。此预处理功能可修改中央声道，使得其好像如同声音是从虚拟扬声器154E的位置重现。
在界定处理源音频数据以使得源音频数据好像源自虚拟扬声器(例如虚拟扬声器154C及虚拟扬声器154E)的预处理功能时，在扬声器150中的一或多者未定位在这些虚拟扬声器的既定位置处时，头端装置144可执行本发明中描述的技术的受约束的基于向量的动态振幅平移方面。不执行仅基于成对(两个扬声器用于二维且三个扬声器用于三维)扬声器的基于向量的振幅平移(VBAP)，头端装置144可执行用于三个或更多个扬声器的受约束的基于向量的动态振幅平移技术。受约束的基于向量的动态振幅平移技术可基于实际的约束，进而与VBAP相比提供较高的自由度。
为了说明，考虑以下实例，其中三个扩音器可位于左后隅角中(且因此在环绕左扬声器区段152C中)。在此实例中，可界定三个向量，其可由[l11 l12]T,[l21 l22]T,[l31 l32]T表示，其具有表示虚拟源的功率和位置的给定[p1 p2]T。头端装置144可随后解出以下等式：其中是头端装置144可需要计算的未知量。
的解变为典型的许多未知量问题，且典型的解决方案涉及头端装置144确定最小范数解。假设头端装置144使用L2范数解出此等式，那么头端装置144解出以下等式：
头端装置144可通过基于约束操纵向量而单向约束g1、g2及g3。头端装置144可随后添加标量功率因数a1,a2,a3，如在以下等式中：及
应注意，在使用L2范数解决方案(其是为位于环绕左区段152C中的三个扬声器中的每一者提供恰当增益的解决方案)时，头端装置144可产生虚拟定位的扩音器，且同时增益的电力总和最小，以使得头端装置144可在给定对固有电力消耗限制的约束的情况下合理地分布用于全部可用的三个扩音器的电力消耗。
为了说明，如果第二装置用完电池电力，那么头端装置144可与其它功率a1及a3相比降低a2。作为更多特定实例，假设头端装置144确定三个扩音器向量[1 0]T、[1 0]T且头端装置144在其解决方案中被约束成具有如果不存在约束，意味着a1＝a2＝a3＝1，那么然而，如果出于某一原因，例如每一扩音器的电池或固有最大响度，那么头端装置144可需要降低第二扩音器的音量，从而导致第二向量降低于是在此实例中，头端装置144可减少第二扩音器的增益，但虚拟图像保持在相同或几乎相同的位置中。
上文描述的这些技术可如下一般化：
1.如果头端装置144确定扬声器中的一或多者具有频率相依约束，那么头端装置可经由任何种类的滤波器组分析及包含短时间傅里叶变换的合成而界定以上等式，使得其是相依其中k是频率索引。
2.头端装置144可通过基于所检测到的位置分配向量而将此扩展到任意N≥2的情况中。
3.头端装置144可任意使用恰当的电力增益约束将任何组合分组；其中此电力增益约束可重叠或不重叠。在一些情况下，头端装置144可同时使用全部扩音器以产生五个或更多不同的基于位置的声音。在一些实例中，头端装置144可将扩音器分组在每一指定区中，例如图4中展示的五个扬声器区段152。如果在一个区中仅存在一个扩音器，那么头端装置144可将用于所述区的群组扩展到下一区。
4.如果某些装置在移动或刚向协作式环绕声系统140登记，那么头端装置144可更新(改变或添加)对应的基础向量且计算每一扬声器的增益，所述增益将可能被调整。
5.虽然上文相对于L2范数进行描述，但头端装置144可利用除L2范数之外的不同范数以具有此最小范数解决方案。例如，在使用L0范数时，头端装置144可计算稀疏增益解决方案，意味着用于L2范数情况的小增益扩音器将变为零增益扩音器。
6.以上呈现的添加了电力约束的最小范数解决方案是实施约束优化问题的特定方式。然而，任何种类的受约束凸面优化方法可与所述问题进行组合：
以此方式，头端装置144可针对参与协作式环绕声系统140的移动装置150A识别协作式环绕声系统140的虚拟扬声器154C的指定位置。头端装置144可随后确定影响移动装置对多声道音频数据的回放的约束，例如预期电力持续时间。头端装置144可随后使用所确定的约束相对于源音频数据37执行上文所描述的受约束的基于向量的动态振幅平移，从而以一方式再现音频信号66，使得减少所确定的约束对移动装置150A对再现的音频信号66的回放的影响。
另外，头端装置144可在确定约束时确定预期电力持续时间，所述预期电力持续时间指示移动装置将具有足够电力来回放源音频数据37的预期持续时间。头端装置144可随后确定指示源音频数据37的回放持续时间的源音频持续时间。在源音频持续时间超过预期电力持续时间时，头端装置144可将所述预期电力持续时间确定为约束。
此外，在一些情况下，在执行受约束的基于向量的动态振幅平移时，头端装置144可使用作为约束的所确定的预期电力持续时间相对于源音频数据37执行受约束的基于向量的动态振幅平移以再现音频信号66，以使得回放再现的音频信号66的预期电力持续时间小于源音频持续时间。
在一些情况下，在确定所述约束时，头端装置144可确定频率相依约束。在执行受约束的基于向量的动态振幅平移时，头端装置144可使用所确定的频率约束相对于源音频数据37执行受约束的基于向量的动态振幅平移以再现音频信号66，以使得移动装置150A回放再现的音频信号66的预期电力持续时间(作为一个实例)小于指示源音频数据37的回放持续时间的源音频持续时间。
在一些情况下，在执行受约束的基于向量的动态振幅平移时，头端装置144可考虑支持多个虚拟扬声器中的一者的多个移动装置。如上所述，在一些情况下，头端装置144可相对于三个移动装置执行所述技术的此方面。在将预期电力持续时间用作约束相对于源音频数据37执行受约束的基于向量的动态振幅平移且假设三个移动装置支持单一虚拟扬声器时，头端装置144可首先根据以下等式计算分别用于第一移动装置、第二移动装置及第三移动装置的音量增益g1、g2及g3：
如上所述，a1、a2及a3表示第一移动装置的标量功率因数、第二移动装置的标量功率因数及第三移动装置的标量功率因数。l11、l12表示识别第一移动装置相对于头端装置144的位置的向量。l21、l22表示识别第二移动装置相对于头端装置144的位置的向量。l31、l32表示识别第三移动装置相对于头端装置144的位置的向量。p1、p2表示识别由第一移动装置、第二移动装置及第三移动装置支持的多个虚拟扬声器中的一者相对于头端装置144的指定位置的向量。
图5是更详细地说明图1的协作式环绕声系统10的一部分的框图。图2中展示的协作式环绕声系统10的所述部分包含头端装置14及移动装置18A。虽然下文相对于单一移动装置(即，在图5的实例中的移动装置18A)进行描述，但为了易于说明的目的，可相对于多个移动装置(例如，图1的实例中展示的移动装置18)来实施所述技术。
如图5的实例中所展示，头端装置14包含上文相对于图2所描述及在图2的实例中展示的相同组件、单元及模块，但还包含额外的图像产生模块160。图像产生模块160表示经配置以产生一或多个图像170以供经由移动装置18A的显示装置164进行显示及一或多个图像172以供经由源音频装置12的显示装置166进行显示的模块或单元。图像170可表示可指定移动装置18A将移动或放置的方向或位置的任何一或多个图像。同样，图像172可表示指示移动装置18A的当前位置及移动装置18A的所要的或既定的位置的一或多个图像。图像172还可指定移动装置18A将移动的方向。
同样，移动装置18A包含上文相对于图2所描述及在图2的实例中展示的相同组件、单元及模块，但还包含显示接口模块168。显示接口模块168可表示经配置以与显示装置164介接的协作式声音系统应用42的单元或模块。显示接口模块168可与显示装置164介接以发射或以其它方式致使显示装置164显示图像170。
起初，如上文所描述，移动装置18A的用户或其它运营商与控制单元40介接以执行协作式声音系统应用42。控制单元40响应于此用户输入而执行协作式声音系统应用42。在执行协作式声音系统应用42之后，用户可即刻与协作式声音系统应用42介接(常常经由呈现图形用户接口的触摸显示器，为了易于说明的目的，其在图2的实例中未展示)以向头端装置14登记移动装置18A(假设协作式声音系统应用42可定位头端装置14)。如果不能够定位头端装置14，协作式声音系统应用42可帮助用户解决定位头端装置14的任何难题，潜在地提供故障处理提示以确保(例如)头端装置14及移动装置18A两者连接到相同的无线网络或PAN。
在任何情况下，假设协作式声音系统应用42成功地定位头端装置14且向头端装置14登记移动装置18A，协作式声音系统应用42可调用数据收集引擎46以检索移动装置数据60。在调用数据收集引擎46的过程中，位置模块48可尝试确定移动装置18A相对于头端装置14的位置，可能使用音调61与位置模块38协作以使得头端装置14能够以上文所描述的方式解析移动装置18A相对于头端装置14的位置。
如上所述，音调61可具有给定频率以便区分移动装置18A与参与协作式环绕声系统10的其它移动装置18B到18N，所述移动装置还可以尝试与位置模块38协作以确定它们相对于头端装置14的相应的位置。换句话说，头端装置14可使移动装置18A与具有第一频率的音调61相关联，使移动装置18B与具有第二不同频率的音调相关联，使移动装置18C与具有第三不同频率的音调相关联，等等。以此方式，头端装置14可同时并行地定位移动装置18中的多者而非循序地定位移动装置18中的每一者。
电力模块50及扬声器模块52可以上文所描述的方式收集电力消耗数据及扬声器特性数据。数据收集引擎46可聚合形成移动装置数据60的此数据。数据收集引擎46可产生移动装置数据60，移动装置数据60指定以下各者中的一或多者：移动装置18A的位置(如果可能)、扬声器20A的频率响应、扬声器20A的最大可允许声音重现水平、包含在移动装置18A内且向移动装置18A供电的电池的电池状态、移动装置18A的同步状态及移动装置18A的头戴式耳机状态(例如，头戴式耳机插孔当前是否在使用中而阻止扬声器20A的使用)。数据收集引擎46随后将此移动装置数据60发射到由头端装置14的控制单元30执行的数据检索引擎32。
数据检索引擎32可解析此移动装置数据60以将电力消耗数据提供到电力分析模块34。如上文所描述，电力分析模块34可处理此电力消耗数据以产生细化的电力数据62。数据检索引擎32还可以上文所描述的方式调用位置模块38以确定移动装置18A相对于头端装置14的位置。数据检索引擎32可随后更新移动装置数据60以包含所确定的位置(在必要时)及细化的电力数据62，将此经更新的移动装置数据60传递到音频再现引擎36。
音频再现引擎36可随后基于经更新的移动装置数据64而处理源音频数据37。音频再现引擎36可随后配置协作式环绕声系统10以将移动装置18的扬声器20A用作协作式环绕声系统10的一或多个虚拟扬声器。音频再现引擎36还可从源音频数据37再现音频信号66以使得在移动装置18A的扬声器20A播放再现的音频信号66时，再现的音频信号66的音频回放好像源自协作式环绕声系统10的一或多个虚拟扬声器，所述一或多个虚拟扬声器常常好像放置于不同于移动装置18A的所确定的位置的位置中。
为了说明，音频再现引擎36可将扬声器区段指派给协作式环绕声系统10的一或多个虚拟扬声器中的相应一者，给定来自移动装置18中的一或多者的移动装置数据60支持虚拟扬声器中的对应一或多者。在再现源音频数据37时，音频再现引擎36可随后从源音频数据37再现音频信号66，以使得在由移动装置18的扬声器20播放再现的音频信号66时，再现的音频信号66的音频回放好像源自同样常常在扬声器区段中的对应的所识别的一个扬声器区段内的不同于移动装置18中的至少一者的位置的位置中的协作式环绕声系统10的虚拟扬声器。
为了以此方式再现源音频数据37，音频再现引擎36可基于移动装置18中的一者(例如，移动装置18A)的位置而配置借以再现源音频数据37的音频预处理功能，以便避免提示用户移动移动装置18A。虽然避免，但移动装置的用户提示在一些情况下可为必需的，例如在音频信号66的回放已开始之后，在回放之前起初围绕房间放置移动装置18时，在某些情况下，头端装置14可提示用户移动移动装置18。头端装置14可通过分析扬声器区段且确定一或多个扬声器区段不具有存在于所述区段中的任何移动装置或其它扬声器而确定需要移动移动装置18中的一或多者。
头端装置14可随后确定任何扬声器区段是否具有两个或两个以上扬声器，且基于经更新的移动装置数据64而识别这两个或更多扬声器中的哪些应被重新定位到不具有定位在此扬声器区段内的移动装置18的空扬声器区段。在尝试将来自一个扬声器区段的两个或两个以上扬声器中的一或多者重新定位到另一扬声器区段、确定重新定位两个或两个以上扬声器中的具有由细化的电力数据62指示的至少足够电力的扬声器以回放全部再现的音频信号66时，头端装置14可考虑细化的电力数据62。如果没有扬声器满足此电力准则，那么头端装置14可确定从过载扬声器区段(其可指位于所述区段中的一个以上扬声器的那些扬声器区段)到空扬声器区段(其可指不存在移动装置或其它扬声器的扬声器区段)的两个或两个以上扬声器。
在确定移动装置18中的何者重新定位在空扬声器区段中及这些移动装置18将放置在其处的位置之后，控制单元30可即刻调用图像产生模块160。位置模块38可提供移动装置18中的那些移动装置的既定或所要的位置及当前位置以重新定位到图像产生模块160。图像产生模块160可随后产生图像170及/或172、分别将这些图像170及/或172发射到移动装置18A及源音频装置12。移动装置18A可随后经由显示装置164呈现图像170，而源音频装置12可经由显示装置164呈现图像172。图像产生模块160可继续从位置模块38接收移动装置18的当前位置的更新且产生显示此经更新的当前位置的图像170及172。在此意义上，图像产生模块160可动态地产生反映移动装置18相对于头端单元14及既定位置的当前移动的图像170及/或172。一旦放置于既定位置中，图像产生模块160可产生指示移动装置18已经放置于所述既定或所要的位置中的图像170及/或172，进而促进协作式环绕声系统10的配置。下文相对于图6A到6C及7A到7C更详细地描述图像170及172。
另外，音频再现引擎36可基于移动装置数据60的其它方面而从源音频数据37再现音频信号66。例如，音频再现引擎36可基于一或多个扬声器特性而配置借以再现源音频数据37的音频预处理功能(以便(例如)适应移动装置18A的扬声器20A的频率范围，或移动装置18A的扬声器20A的最大音量，作为另一实例)。音频再现引擎36可随后将经配置的音频预处理功能应用到源音频数据37的至少一部分以控制移动装置18A的扬声器20A对再现的音频信号66的回放。
音频再现引擎36可随后发送或以其它方式将再现的音频信号66或其一部分发射到移动装置18A。音频再现引擎36可经由虚拟扬声器构造将移动装置18中的一或多者映射到多声道源音频数据37的每一声道。也就是说，移动装置18中的每一者映射到协作式环绕声系统10的不同虚拟扬声器。每一虚拟扬声器又映射到扬声器区段，所述扬声器区段可支持多声道源音频数据37的一或多个声道。因此，在发射再现的音频信号66时，音频再现引擎36可将再现的音频信号66的映射的声道发射到移动装置18中的被配置为协作式环绕声系统10的对应一或多个虚拟扬声器的对应一或多个移动装置。
在整个下文相对于图6A到6C及7A到7C描述的技术的论述中，对声道的参考可为如下：左声道可标示为“L”、右声道可标示为“R”、中央声道可标示为“C”、左后声道可被称为“环绕左声道”且可标示为“SL”，且右后声道可被称为“环绕右声道”且可标示为“SR”。同样，在图1中未说明低音炮声道，因为低音炮的位置不如其它五个声道的位置在提供良好的环绕声体验方面重要。
图6A到6C是更详细地说明根据本发明中描述的技术的各种方面由移动装置18A显示的图5的示范性图像170A到170C的图。图6A是展示第一图像172A的图，其包含箭头173A。箭头173A指示将移动移动装置18A以将移动装置18A放置在既定或最佳位置中的方向。箭头173A的长度可大致指示移动装置18A的当前位置与既定位置相距多远。
图6B是说明第二图像170B的图，其包含第二箭头173B。箭头173B与箭头173A一样可指示将移动移动装置18A以将移动装置18A放置在既定或最佳位置中的方向。箭头173B与箭头173A不同之处在于箭头173B具有较短的长度，其指示移动装置18A在呈现图像170A时已相对于移动装置18A的位置移动到更靠近既定位置。在此实例中，图像产生模块160可响应于位置模块38提供移动装置18A的经更新的当前位置而产生图像170B。
图6C是说明第三图像170C的图，其中图像170A到170C可被称为图像170(其在图5的实例中展示)。图像170C指示移动装置18A已经放置于环绕左虚拟扬声器的既定位置中。图像170C包含移动装置18A已经定位在环绕左虚拟扬声器的既定位置中的指示174(“SL”)。图像170C还包含指示装置已经重新定位为环绕声左后扬声器的文本区域176，使得用户进一步理解移动装置18恰当地定位在既定位置中以支持虚拟环绕声扬声器。图像170C进一步包含两个虚拟按钮178A及178B，其使得用户能够确认(按钮178A)或取消(按钮178B)将移动装置18A登记为参与支持协作式环绕声系统10的环绕声左边虚拟扬声器。
图7A到7C是更详细地说明根据本发明中描述的技术的各种方面由源音频装置12显示的图5的示范性图像172A到172C的图。图7A是展示第一图像170A的图，其包含扬声器区段192A到192E、扬声器(其可表示移动装置18)194A到194E、既定环绕声虚拟扬声器左边指示196及箭头198A。扬声器区段192A到192E(“扬声器区段192”)可各自表示5.1环绕声格式的不同扬声器区段。虽然展示为包含五个扬声器区段，但可相对于扬声器区段的任何配置实施所述技术，包含七个扬声器区段以适应7.1环绕声格式及新兴的三维环绕声格式。
扬声器194A到194E(“扬声器194”)可表示扬声器194的当前位置，其中扬声器194可表示图1的实例中展示的扬声器16及移动装置18。在恰当地定位时，扬声器194可表示虚拟扬声器的既定位置。在检测到扬声器194中的一或多者未恰当地定位以支持虚拟扬声器中的一者之后，头端装置14可即刻使用表示扬声器194中的一或多者将移动的箭头198A而产生图像172A。在图7A的实例中，移动装置18A表示已经定位成离开环绕右(SR)扬声器区段192D的环绕声左边(SL)扬声器194C。因此，头端装置14使用指示SL扬声器194C将移动到既定SL位置196的箭头198A而产生图像172A。既定SL位置196表示SL扬声器194C的既定位置，其中箭头198A从SL扬声器194C的当前位置指向既定SL位置196。头端装置14还可产生以上描述的图像170A以用于显示在移动装置18A上以进一步促进移动装置18A的重新定位。
图7B是说明第二图像172B的图，第二图像172B与图像172A类似，不同之处在于图像172B包含具有已移动到左边的SL扬声器194C的当前位置的新箭头198B。箭头198B与箭头198A一样可指示将移动移动装置18A以将移动装置18A放置在既定位置中的方向。箭头198B与箭头198A不同之处在于箭头198B具有较短的长度，其指示移动装置18A在呈现图像172A时已相对于移动装置18A的位置移动到更靠近既定位置。在此实例中，图像产生模块160可响应于位置模块38提供移动装置18A的经更新的当前位置而产生图像172B。
图7C是说明第三图像172C的图，其中图像172A到172C可被称为图像172(其在图5的实例中展示)。图像172C指示移动装置18A已经放置于环绕左虚拟扬声器的既定位置中。图像170C通过移除既定位置指示196且指示SL扬声器194C恰当地放置(移除将用实线SL扬声器194C替换的SL指示196的虚线)而指示此恰当布局。可响应于用户使用图像170C的确认按钮178A确认移动装置18A将参与支持协作式环绕声系统10的SL虚拟扬声器而产生及显示图像172C。
使用图像170及/或172，协作式环绕声系统的用户可将协作式环绕声系统的SL扬声器移动到SL扬声器区段。头端装置14可周期性地更新如上文所描述的这些图像以反映SL扬声器在房间设置内的移动以促进用户对SL扬声器的重新定位。也就是说，头端装置14可致使扬声器连续地发射上文提到的声音、检测此声音且更新此扬声器相对于图像内的其它扬声器的位置，其中随后显示此经更新的图像。以此方式，所述技术可促进协作式环绕声系统的自适应配置以潜在地实现重现用于更沉浸的环绕声体验的更准确的声音级的更佳的环绕声扬声器配置。
图8A到8C是说明头端装置14及移动装置18在执行本发明中描述的协作式环绕声系统技术中的实例操作的流程图。虽然下文描述相对于移动装置18中的特定一者(即，图5的实例中的移动装置18A)进行描述，但可由移动装置18B到18N以类似于本文相对于移动装置18A描述的方式的方式执行所述技术。
起初，移动装置18A的控制单元40可执行协作式声音系统应用42(210)。协作式声音系统应用42可首先尝试在无线网络上定位头端装置14的存在(212)。如果协作式声音系统应用42不能够在网络上定位头端装置14(“否”214)，那么移动装置18A可继续尝试在网络上定位头端装置14，同时还潜在地呈现故障处理提示以辅助用户定位头端装置14(212)。然而，如果协作式声音系统应用42定位头端装置14(“是”214)，那么协作式声音系统应用42可建立会话22A且经由会话22A向头端装置14登记(216)，从而实际上使得头端装置14能够将移动装置18A识别为包含扬声器20A且能够参与协作式环绕声系统10的装置。
在向头端装置14登记之后，协作式声音系统应用42可调用数据收集引擎46，数据收集引擎46以上文所描述的方式收集移动装置数据60(218)。数据收集引擎46可随后将移动装置数据60发送到头端装置14(220)。头端装置14的数据检索引擎32接收移动装置数据60(221)且确定此移动装置数据60是否包含指定移动装置18A相对于头端装置14的位置的位置数据(222)。如果所述位置数据不足以使得头端装置14能够准确地定位移动装置18A(例如仅在30英尺内准确的GPS数据)或如果位置数据不存在于移动装置数据60中(“否”222)，那么数据检索引擎32可调用位置模块38，位置模块38与由协作式声音系统应用42调用的数据收集引擎46的位置模块48介接以将音调61发送到移动装置18A的位置模块48(224)。移动装置18A的位置模块48随后将此音调61传递到音频回放模块44，音频回放模块44与扬声器20A介接以重现音调61(226)。
同时，在发送音调61之后，头端装置14的位置模块38可与麦克风介接以检测扬声器20A对音调61的重现(228)。头端装置14的位置模块38可随后基于音调61的检测到的重现而确定移动装置18A的位置(230)。在使用音调61确定移动装置18A的位置之后，头端装置18的数据检索模块32可更新移动装置数据60以包含所确定的位置，进而产生经更新的移动装置数据64(231)。
头端装置14可随后确定是否以上文所描述的方式重新定位移动装置18中的一或多者(图8B；232)。如果头端装置14确定重新定位(作为一个实例)移动装置18A(“是”232)，那么头端装置14可调用图像产生模块160以产生用于移动装置18A的显示装置164的第一图像170A(234)及用于耦合到头端系统14的源音频装置12的显示装置166的第二图像172A(236)。图像产生模块160可随后与移动装置18A的显示装置164介接以显示第一图像170A(238)，同时还与耦合到头端系统14的音频源装置12的显示装置166介接以显示第二图像172A(240)。头端装置14的位置模块38可确定移动装置18A的经更新的当前位置(242)，其中位置模块38可基于将由移动装置18A支持的虚拟扬声器(例如图7A到7C的实例中展示的SL虚拟扬声器)的既定位置及经更新的当前位置而确定移动装置18A是否已经恰当地定位(244)。
如果未恰当地定位(“否”244)，那么头端装置14可以上文所描述的方式继续以产生图像(例如，图像170B及172B)以用于经由相应的显示器164及166进行显示，从而反映移动装置18A相对于将由移动装置18A支持的虚拟扬声器的既定位置的当前位置(234到244)。在恰当地定位时(“是”244)，头端装置14可接收移动装置18A将参与支持协作式环绕声系统10的虚拟环绕声扬声器中的对应一者的确认。
返回参看图8B，在重新定位移动装置18中的一或多者之后，如果数据检索模块32确定位置数据存在于移动装置数据60中(或充分准确以使得头端装置14能够相对于头端装置14定位移动装置18)或在产生经更新的移动装置数据64以包含所确定的位置之后，数据检索模块32可确定其是否已完成从向头端装置14登记的移动装置18中的每一者检索移动装置数据60(246)。如果头端装置14的数据检索模块32未完成从移动装置18中的每一者检索移动装置数据60(“否”246)，那么数据检索模块32继续检索移动装置数据60且以上文所描述的方式产生经更新的移动装置数据64(221到246)。然而，如果数据检索模块32确定其已完成收集移动装置数据60且产生经更新的移动装置数据64(“是”246)，那么数据检索模块32将经更新的移动装置数据64传递到音频再现引擎36。
音频再现引擎36可响应于接收到此经更新的移动装置数据64而检索源音频数据37(248)。音频再现引擎36可在再现源音频数据37时以上文所描述的方式基于移动装置数据64从源音频数据37再现音频信号66(250)。在一些实例中，音频再现引擎36可首先确定表示扬声器应放置在其处以适应多声道源音频数据37的回放的区段的扬声器区段。例如，5.1声道源音频数据包含左前声道、中央声道、右前声道、环绕左声道、环绕右声道及低音炮声道。在低频率通常提供足够的影响而不管低音炮相对于头端装置的位置如何的条件下，低音炮声道不具方向性或不值得考虑。然而，可需要恰当地放置其它五个声道以提供用于沉浸式音频回放的最佳声音级。在一些实例中，音频再现引擎36可与位置模块38介接以导出房间的边界，借此位置模块38可致使扬声器16及/或扬声器20中的一或多者发射音调或声音以便识别墙壁、人、家具等的位置。基于此房间或物体位置信息，音频再现引擎36可确定左前扬声器、中央扬声器、右前扬声器、环绕左扬声器及环绕右扬声器中的每一者的扬声器区段。
基于这些扬声器区段，音频再现引擎36可确定协作式环绕声系统10的虚拟扬声器的位置。也就是说，音频再现引擎36可在扬声器区段中的每一者内将虚拟扬声器放置在常常是相对于房间或物体位置信息的最佳位置或最佳位置附近处。音频再现引擎36可随后基于移动装置数据18将移动装置18映射到每一虚拟扬声器。
例如，音频再现引擎36可首先考虑在经更新的移动装置数据60中指定的移动装置18中的每一者的位置，将那些装置映射到具有最靠近移动装置18的所确定的位置的虚拟位置的虚拟扬声器。音频再现引擎36可基于当前指派的移动装置与虚拟扬声器的位置有多接近而确定是否将移动装置18中的一者以上映射到虚拟扬声器。此外，在与两个或两个以上移动装置18中的一者相关联的细化的电力数据62不足以回放源音频数据37的全部时，音频再现引擎36可确定将移动装置18中的两者或更多者映射到相同的虚拟扬声器。音频再现引擎36还可基于移动装置数据60的其它方面而映射这些移动装置18，包含扬声器特性。
在任何情况下，音频再现引擎36可随后实例化或以其它方式界定用以从源音频数据37再现音频信号66的预处理功能，如上文更详细描述。以此方式，音频再现引擎36可基于虚拟扬声器及移动装置数据60的位置而再现源音频数据37。如上所述，音频再现引擎36可在处理此音频数据时聚合地或总体上考虑来自移动装置18中的每一者的移动装置数据60，但将单独的音频信号66或其部分发射到移动装置18中的每一者。因此，音频再现引擎36将再现的音频信号66发射到移动装置18(252)。
响应于接收此再现的音频信号66，协作式声音系统应用42与音频回放模块44介接，其继而与扬声器20A介接以播放再现的音频信号66(254)。如上所述，协作式声音系统应用42可周期性地调用数据收集引擎46以确定移动装置数据60中的任一者是否已改变或更新(256)。如果移动装置数据60尚未改变(“否”256)，那么移动装置18A继续播放再现的音频信号66(254)。然而，如果移动装置数据60已改变或已更新(“是”256)，那么数据收集引擎46可将此改变的移动装置数据60发射到头端装置14的数据检索引擎32(258)。
数据检索引擎32可将此改变的移动装置数据传递到音频再现引擎36，音频再现引擎36可基于所述改变的移动装置数据60而修改移动装置18A已经由虚拟扬声器构造而映射到其的用于处理所述声道的预处理功能。如以上更详细描述，通常经更新的或改变的移动装置数据60归因于电力消耗中的改变或因为移动装置18A被另一任务(例如中断音频回放的话音呼叫)预先占据而改变。以此方式，音频再现引擎36可基于经更新的移动装置数据64而从源音频数据37再现音频信号66(260)。
在一些情况下，数据检索引擎32可在数据检索模块32的位置模块38可检测移动装置18A的位置中的改变的意义上确定移动装置数据60已改变。换句话说，数据检索模块32可周期性地调用位置模块38以确定移动装置18的当前位置(或，替代地，位置模块38可不断地监视移动装置18的位置)。位置模块38可随后确定移动装置18中的一或多者是否已经移动，进而使得音频再现引擎36能够动态地修改预处理功能以适应移动装置18的位置中的进行中的改变(例如，可能在(例如)用户捡起移动装置以查看文本消息且随后将移动装置向下设定回不同的位置中的情况下会发生)因此，所述技术可在动态环境中可适用以潜在地确保虚拟扬声器在整个回放期间保持至少接近于最佳位置，即使移动装置18可能在回放期间移动或重新定位也如此。
图9A到9C是说明根据本发明中描述的技术而形成的实例协作式环绕声系统270A到270C的各种配置的框图。图9A是更详细地说明协作式环绕声系统270A的第一配置的框图。如图9A的实例中所展示，协作式环绕声系统270A包含源音频装置272、头端装置274、左前及右前扬声器276A、276B(“扬声器276”)及包含扬声器280A的移动装置278A。装置及/或扬声器272到278中的每一者可类似于或实质上类似于上文相对于图1、2、3A到3C、5、8A到8C的实例描述的装置及/或扬声器12到18中的对应一者。
头端装置274的音频再现引擎36可因此以上文所描述的方式接收包含细化的电力数据62的经更新的移动装置数据64。音频再现引擎36可使用上文更详细描述的技术的受约束的基于向量的动态振幅平移方面有效地执行音频分布。出于此原因，音频再现引擎36可被称为音频分布引擎。音频再现引擎36可基于包含细化的电力数据62的经更新的移动装置数据64而执行此受约束的基于向量的动态振幅平移。
在图9A的实例中，假定仅单一移动装置278A参与支持协作式环绕声系统270A的一或多个虚拟扬声器。在此实例中，仅存在参与协作式环绕声系统270A的两个扬声器276及移动装置278A的扬声器280A，其通常不足以再现5.1环绕声格式，但对于其它环绕声格式(例如杜比环绕声格式)可为足够的。在此实例中，假定细化的电力数据62指示移动装置278A仅剩余30％电力。
在再现用于支持协作式环绕声系统270A的虚拟扬声器的扬声器的音频信号的过程中，头端装置274可首先考虑与将由移动装置278A播放的源音频数据37的持续时间相关的此细化的电力数据62。为了说明，头端装置274可确定在以全音量播放源音频数据37的指派的一或多个声道时，由细化的电力数据62识别的30％电力电平将使得移动装置278A能够播放大致30分钟的源音频数据37，其中此30分钟可被称为预期电力持续时间。头端装置274可随后确定源音频数据37具有50分钟的源音频持续时间。将此源音频持续时间与预期电力持续时间进行比较，头端装置274的音频再现引擎36可使用受约束的基于向量的动态振幅平移再现源音频数据37以产生供移动装置278A回放的音频信号，其增加预期电力持续时间，使得其可超出源音频持续时间。作为一个实例，音频再现引擎36可确定通过将音量降低6dB，预期电力持续时间增加到大约60分钟。因此，音频再现引擎36可界定用以再现用于移动装置278A的已经在音量降低6dB方面进行调整的音频信号66的预处理功能。
音频再现引擎36可周期性地或不断地监视移动装置278A的预期电力持续时间，从而更新或重新界定预处理功能以使得移动装置278A将能够回放源音频数据37的全部。在一些实例中，移动装置278A的用户可界定偏好，所述偏好指定相对于电力电平的截止值或其它度量。也就是说，用户可与移动装置278A介接以(作为一个实例)要求在源音频数据37的回放完成之后移动装置278A具有至少特定量的剩余电力，例如，百分之50。用户可需要设定此类电力偏好，使得移动装置278A可在源音频数据37的回放之后用于其它目的(例如，紧急情况目的、电话呼叫、电子邮件、文本消息接发、使用GPS进行位置导引等)，而不必对移动装置278A充电。
图9B是展示实质上类似于图9A的实例中展示的协作式环绕声系统270A的协作式环绕声系统270B的另一配置的框图，不同之处在于协作式环绕声系统270B包含两个移动装置278A、278B，其中的每一者包含扬声器(分别是扬声器280A及280B)。在图9B的实例中，假定头端装置274的音频再现引擎36已接收指示移动装置278A仅剩余其电池电力的20％而移动装置278B剩余其电池电力的100％的细化的电力数据62。如上文所描述，音频再现引擎36可将移动装置278A的预期电力持续时间与针对源音频数据37所确定的源音频持续时间进行比较。
如果预期电力持续时间小于源音频持续时间，那么音频再现引擎36可随后以一方式从源音频数据37再现音频信号66，使得移动装置278A能够回放再现的音频信号66的全部。在图9B的实例中，音频再现引擎36可再现源音频数据37的环绕声左声道以将此环绕声左声道的一或多个方面与源音频数据37的再现的左前声道交叉混合。在一些情况下，音频再现引擎36可界定将环绕声左声道的较低频率的某一部分与左前声道交叉混合的预处理功能，其可实际上使得移动装置278A能够充当高频内容的高频扬声器。在一些情况下，音频再现引擎36可将此环绕声左声道与左前声道交叉混合且以上文相对于图9A的实例所描述的方式降低音量以进一步减少移动装置278A的电力消耗，同时播放对应于环绕声左声道的音频信号66。在这方面中，音频再现引擎36可应用一或多个不同预处理功能来处理相同声道以努力减少移动装置278A的电力消耗，同时播放对应于源音频数据37的一或多个声道的音频信号66。
图9C是展示实质上类似于图9A的实例中展示的协作式环绕声系统270A及图9B的实例中展示的协作式环绕声系统270B的协作式环绕声系统270C的另一配置的框图，不同之处在于协作式环绕声系统270C包含三个移动装置278A到278C，其中的每一者包含扬声器(分别为扬声器280A到280C)。在图9C的实例中，假定头端装置274的音频再现引擎36已接收指示移动装置278A剩余其电池电力的90％而移动装置278B剩余其电池电力的20％且移动装置278C剩余其电池电力的100％的细化的电力数据62。如上文所描述，音频再现引擎36可将移动装置278B的预期电力持续时间与针对源音频数据37所确定的源音频持续时间进行比较。
如果预期电力持续时间小于源音频持续时间，那么音频再现引擎36可随后以一方式从源音频数据37再现音频信号66，使得移动装置278B能够回放再现的音频信号66的全部。在图9C的实例中，音频再现引擎36可再现对应于源音频数据37的环绕声中央声道的音频信号66以将此环绕声中央声道的一或多个方面与源音频数据37的环绕声左声道(与移动装置278A相关联)及环绕声右声道(与移动装置278C相关联)交叉混合。在某些环绕声格式(例如5.1环绕声格式中)，此环绕声中央声道可能不存在，在此情况下，头端装置274可将移动装置278B登记为辅助支持环绕声左边虚拟扬声器及环绕声右边虚拟扬声器中的一或两者。在此情况下，头端装置274的音频再现引擎36可以上文相对于上文描述的技术的受约束的基于向量的振幅平移方面所描述的方式减少被发送到移动装置278B的从源音频数据37再现的音频信号66的音量，同时增加被发送到移动装置278A及278C中的一或两者的再现的音频信号66的音量。
在一些情况下，音频再现引擎36可界定将与环绕声中央声道相关联的音频信号66的较低频率的某一部分与对应于环绕声左声道的音频信号66中的一或多者交叉混合的预处理功能，其可实际上使得移动装置278B能够充当高频内容的高频扬声器。在一些情况下，音频再现引擎36可以上文相对于图9A、9B的实例所描述的方式在执行此交叉混合的同时还降低音量，以进一步减少移动装置278B的电力消耗，同时播放对应于环绕声中央声道的音频信号66。同样，在这方面中，音频再现引擎36可应用一或多个不同预处理功能来处理相同声道以努力减少移动装置278B的电力消耗，同时播放源音频数据37的所指派的一或多个声道。
图10是说明头端装置(例如图9A到9C的实例中展示的头端装置274)在实施本发明中描述的技术的各种电力调节方面的示范性操作的流程图。如上文更详细描述，头端装置274的数据检索引擎32从移动装置278接收包含电力消耗数据的移动装置数据60(290)。数据检索模块32调用电力处理模块34，电力处理模块34处理所述电力消耗数据以产生细化的电力数据62(292)。电力处理模块34将此细化的电力数据62返回到数据检索模块32，数据检索模块32更新移动装置数据60以包含此细化的电力数据62，进而产生经更新的移动装置数据64。
音频再现引擎36可接收包含细化的电力数据62的此经更新的移动装置数据64。音频再现引擎36可随后基于此细化的电力数据62确定移动装置278在播放从源音频数据37再现的音频信号66时的预期电力持续时间(293)。音频再现引擎36还可确定源音频数据37的源音频持续时间(294)。音频再现引擎36可随后确定预期电力持续时间是否超过移动装置278中的任一者的源音频持续时间(296)。如果全部预期电力持续时间超出源音频持续时间(“是”298)，那么头端装置274可从源音频数据37再现音频信号66以适应移动装置278的其它方面且随后将再现的音频信号66发射到移动装置278以供回放(302)。
然而，如果预期电力持续时间中的至少一者不超出源音频持续时间(“否”298)，那么音频再现引擎36可以上文所描述的方式从源音频数据37再现音频信号66以降低对对应的一或多个移动装置278的电力要求(300)。头端装置274可随后将再现的音频信号66发射到移动装置18(302)。
为了更详细地说明所述技术的这些方面，考虑观看电影的实例及关于此系统可如何利用每一装置的电力使用的知识的若干小使用情况。如之前所提到，移动装置可采用不同形式，电话、平板计算机、固定器具、计算机等。中央装置也是，其可以是智能TV、接收器或具有较强计算能力的另一移动装置。
相对于音频信号分布来描述上文描述的技术的电力优化方面。但是，这些技术可经扩展到将移动装置的屏幕及闪光灯致动器用作媒体回放扩展。在此实例中，头端装置可从媒体源学习且分析照明增强可能性。例如，在夜晚有雷暴的电影中，某些霹雳可伴有环境闪光，进而潜在地将视觉体验增强为更沉浸。对于具有在教堂中围绕观众的蜡烛的场景的电影，可在围绕观众的移动装置的屏幕中再现蜡烛的经扩展源。在此视觉域中，对协作式系统的电力分析及管理可类似于上文描述的音频情形。
图11到13是说明具有各种阶及子阶的球面谐波基底函数的图。这些基底函数可与系数相关联，其中这些系数可以用于以类似于离散余弦变换(DCT)系数如何可用于表示信号的方式在二维或三维中表示声音场。可相对于球面谐波系数或可用于表示声音场的任何其它类型的分层元素来执行本发明中描述的技术。以下描述用于表示声音场且形成高阶立体混响音频数据的球面谐波系数的演进。
环绕声的演进现今已使得许多输出格式可用于娱乐。此类环绕声格式的实例包含流行的5.1格式(其包含以下六个声道：左前(FL)、右前(FR)、中央或前方中央、左后或环绕左、右后或环绕右及低频效果(LFE))，发展的7.1格式及即将到来的22.2格式(例如，用于与超高清电视标准一起使用)。空间音频格式的另一实例是球面谐波系数(也被称作高阶立体混响)。
未来的标准化音频编码器(将PCM音频表示转换为位流(节约每一时间样本所需的位数目)的装置)的输入可任选地为三个可能的格式中的一者：(i)传统的基于声道的音频，其打算通过扩音器在预先指定的位置处播放；(ii)基于对象的音频，其涉及用于具有相关联的元数据的单一音频对象的离散脉码调制(PCM)数据，所述元数据含有它们的位置坐标(以及其它信息)；及(iii)基于场景的音频，其涉及使用球面谐波系数(SHC)表示声音场，其中所述系数表示球面谐波基底函数的线性总和的‘权重’。在此上下文中，SHC也被称作高阶立体混响信号。
市场中存在各种‘环绕声’格式。它们的范围(例如)是从5.1家庭影院系统(其在使起居室享有立体声方面已获得成功)到NHK(日本广播协会或日本广播公司)所开发的22.2系统。内容创建者(例如，好莱坞工作室)将希望产生电影的音轨一次，而不花费精力来针对每一扬声器配置对其进行重混(remix)。最近，标准委员会已经考虑将编码提供到标准化位流中及在再现器的位置处的扬声器几何形状及声学条件可调适及不可知的后续解码的方式。
为向内容建立者提供此种灵活性，可使用分层要素集合表示声音场。所述分层要素集合可指其中元素经排序以使得较低阶元素的基础集合提供模型化声音场的完整表示的一组元素。随着所述集合经扩展以包含高阶要素，所述表示变得更详细。
分层要素集合的一个实例为一组球面谐波系数(SHC)。以下表达式示范使用SHC对声音场的描述或表示：
此表达式展示声音场的任何点(其在此实例中以相对于俘获声音场的麦克风的球面坐标来表达)处的压力pi可通过SHC唯一地表示。此处，c是声音速度(～343m/s)，是参考点(或观察点)，是阶n的球面巴塞尔函数，且是阶n及子阶m的球面谐波基底函数。可认识到，方括号中的术语是信号(即，)的频域表示，其可通过各种时间-频率变换来近似，例如离散傅里叶变换(DFT)、离散余弦变换(DCT)或小波变换。分层集合的其它实例包含小波变换系数集合及多分辨率基函数的系数的其它集合。
图11是说明零阶球面谐波基底函数410、一阶球面谐波基底函数412A到412C及二阶球面谐波基底函数414A到414E。所述阶是由表格的行识别，所述行被标示为行416A到416C，其中行416A是指零阶，行416B是指一阶且行416C是指二阶。子阶是由表格的列识别，所述列被标示为列418A到418E，其中列418A是指零子阶，列418B是指第一子阶，列418C是指负第一子阶，列418D是指第二子阶，且列418E是指负第二子阶。对应于零阶球面谐波基底函数410的SHC可视为指定声音场的能量，而对应于剩余的高阶球面谐波基底函数(例如，球面谐波基底函数412A到412C及414A到414E的SHC可指定所述能量的方向。
图2为说明从零阶(n＝0)到四阶(n＝4)的球面谐波基底函数的图。如可看出，对于每一阶，存在m子阶的扩展，出于易于说明的目的，在图2的实例中展示所述子阶但未明确注释。
图3为说明从零阶(n＝0)到四阶(n＝4)的球面谐波基底函数的另一图。在图3中，在三维座标空间中展示了球面谐波基底函数，其中展示了阶与子阶两者。
在任何情况下，可通过各种麦克风阵列配置物理地获取(例如，记录)SHC或替代地，可从声音场的基于声道或基于对象的描述导出它们。SHC表示基于场景的音频。例如，四阶SHC表示涉及每一时间样本(1+4)2＝25个系数。
为说明可如何从基于对象的描述导出这些SHC，考虑以下等式。可将对应于个别音频对象的声音场的系数表达为：
其中i为为具有阶n的球面汉克(Hankel)函数(第二种类)，且为对象的位置。知晓随频率而变的源能量g(ω)(例如，使用时间-频率分析技术，例如对PCM流执行快速傅里叶变换)允许我们将每一PCM对象及其位置转换为SHC另外，可展示(由于上式为线性及正交分解)：每一对象的系数具相加性。以此方式，许多PCM对象可由系数(例如，作为个别对象的系数向量的总和)来表示。实质上，这些系数含有关于声音场的信息(随3D坐标而变的压力)，且以上情形表示在观测点附近的从个别对象到整体声音场的表示的变换。
还可以如下从麦克风阵列记录导出SHC：
其中，是的时域等效物，*表示卷积运算，<,>表示内积，bn(ri,t)表示取决于ri的时域滤波器函数，mi(t)是第i个麦克风信号，其中第i个麦克风换能器以半径ri、仰角θi和方位角定位。因此，如果在麦克风阵列中存在32个换能器且每一麦克风定位在球面上，使得ri＝a是常量(例如来自mhAcoustics的Eigenmike EM32装置上的麦克风)，那么可如下使用矩阵运算导出25个SHC：
[1]以上等式中的矩阵可更一般地被称作其中下标s可指示所述矩阵是用于某一换能器几何条件组s。以上等式中的卷积(由*指示)是基于逐行，使得，例如，输出是b0(a,t)与时间序列之间的卷积的结果，其是由矩阵的第一行及麦克风信号的列的向量相乘而产生(其随时间而变化(考虑到向量相乘的结果是时间序列的事实))。
可相对于这些球面谐波系数实施本发明中描述的技术。为了说明，图2的实例中展示的头端装置14的音频再现引擎36可从源音频数据37再现音频信号66，其可指定这些SHC。音频再现引擎36可实施各种变换以重现声音场，可能考虑到扬声器16及/或扬声器20的位置，从而再现可在回放在之后即刻更完全及/或准确地重现声音场的各种音频信号66(在SHC可比基于对象或基于声道的音频数据更完全及/或更准确地描述声音场的条件下)。此外，在常常使用SHC更准确及更完全地表示声音场的条件下，音频再现引擎36可产生针对扬声器16及20的大多数任何位置而修裁的音频信号66。SHC可有效地移除对扬声器位置的限制，所述限制在大多数任何标准环绕声或多声道音频格式(包含上文所提及的5.1、7.1及22.2环绕声格式)中是普遍存在的。
应理解，取决于实例，本文中的任何所描述的方法的某些动作或事件可以用不同顺序执行、可以添加、合并或全部省略(例如，实践所述方法并不需要所有的所描述动作或事件)。此外，在某些实例中，可(例如)通过多线程处理、中断处理或多个处理器同时而非顺序地执行动作或事件。此外，虽然为了清晰起见，本发明的某些方面被描述为是通过单个模块或单元执行，但是应理解，本发明的技术可以通过与视频译码器相关联的单元或模块的组合执行。
在一或多个实例中，所描述的功能可用硬件、软件、固件或其任何组合来实施。如果以软件来实施，那么所述功能可以作为一或多个指令或代码存储在计算机可读媒体上或经由计算机可读媒体进行传输，并且由基于硬件的处理单元执行。计算机可读媒体可包含计算机可读存储媒体，其对应于有形媒体，例如数据存储媒体，或包含任何促进将计算机程序从一处传送到另一处的媒体(例如，根据通信协议)的通信媒体。
以此方式，计算机可读媒体一般可对应于(1)非暂时性的有形计算机可读存储媒体，或(2)通信媒体，例如，信号或载波。数据存储媒体可以是可由一或多个计算机或一个或多个处理器存取以检索用于实施本发明中描述的技术的指令、代码及/或数据结构的任何可用媒体。计算机程序产品可包含计算机可读媒体。
举例来说(且并非限制)，此些计算机可读存储媒体可以包含RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置，或可用于存储呈指令或数据结构的形式的所要程序代码且可由计算机存取的任何其它媒体。同样，可恰当地将任何连接称作计算机可读媒体。举例来说，如果使用同轴电缆、光纤电缆、双绞线、数字订户线(DSL)或例如红外线、无线电及微波等无线技术从网站、服务器或其它远程源发射指令，那么同轴电缆、光纤电缆、双绞线、DSL或例如红外线、无线电及微波等无线技术包含在媒体的定义中。
然而，应理解，所述计算机可读存储媒体和数据存储媒体并不包含连接、载波、信号或其它暂时媒体，而是实际上针对于非瞬时有形存储媒体。如本文中所使用，磁盘和光盘包含压缩光盘(CD)、激光光盘、光学光盘、数字影音光盘(DVD)、软性磁盘和蓝光光盘，其中磁盘通常以磁性方式重现数据，而光盘利用激光以光学方式重现数据。以上各者的组合也应包含在计算机可读媒体的范围内。
指令可以由一或多个处理器执行，所述一或多个处理器例如一或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其它等效的集成或离散逻辑电路。因此，如本文中所使用的术语“处理器”可指前述结构或适合于实施本文中所描述的技术的任何其它结构中的任一者。另外，在一些方面中，本文所述的功能性可在经配置用于编码和解码的专用硬件和/或软件模块内提供，或者并入在组合编解码器中。而且，可将所述技术完全实施于一或多个电路或逻辑元件中。
本发明的技术可以在广泛多种装置或设备中实施，包括无线手持机、集成电路(IC)或一组IC(例如，芯片组)。本发明中描述各种组件、模块或单元是为了强调经配置以执行所公开的技术的装置的功能方面，但未必需要通过不同硬件单元实现。实际上，如上文所描述，各种单元可以结合合适的软件及/或固件组合在编解码器硬件单元中，或者通过互操作硬件单元的集合来提供，所述硬件单元包含如上文所描述的一或多个处理器。
已描述所述技术的各种实施例。这些和其它实施例在所附权利要求书的范围内。

Claims (33)

1.一种用于形成协作式多声道声音系统的方法，其包括：
识别一个或多个移动装置，所述一个或多个移动装置中的每一者与协作式环绕声系统的头端装置分开、包含扬声器且可用于参与所述协作式环绕声系统；
配置所述协作式环绕声系统以将所述一个或多个移动装置中的每一者的所述扬声器用作所述协作式环绕声系统的一个或多个虚拟扬声器；
从所识别的一个或多个移动装置中的一者接收指定所述所识别的移动装置中的对应一者的电力电平的移动装置数据；
基于所识别的移动装置的所确定的电力电平从音频源再现音频信号，以便控制来自所述音频源的所述音频信号的回放以适应所述移动装置的所述电力电平，且使得在由所述一个或多个移动装置的所述扬声器播放所述音频信号时，所述音频信号的音频回放好像源自所述协作式环绕声系统的所述一个或多个虚拟扬声器；及
将从所述音频源再现的经处理音频信号发射到参与所述协作式环绕声系统的所述一个或多个移动装置中的每一者。
2.根据权利要求1所述的方法，其中所述协作式环绕声系统的所述一个或多个虚拟扬声器好像放置于不同于所述一个或多个移动装置中的至少一者的位置的位置中。
3.根据权利要求1所述的方法，其中配置所述协作式环绕声系统包括识别所述协作式环绕声系统的所述虚拟扬声器中的每一者好像在其处发起所述音频信号的所述音频回放的扬声器区段，且
其中再现所述音频信号包括从所述音频源再现所述音频信号，以使得在由所述一个或多个移动装置的所述扬声器播放所述音频信号时，所述音频信号的所述音频回放好像源自所述协作式环绕声系统的放置于所述对应的所识别的扬声器区段内的位置中的所述一个或多个虚拟扬声器。
4.根据权利要求1所述的方法，其进一步包括从所述所识别的一个或多个移动装置中的每一者接收指定所述所识别的移动装置中的影响所述音频的音频回放的对应一个移动装置的方面的移动装置数据，
其中配置所述协作式环绕声系统包括基于相关联的移动装置数据而配置所述协作式环绕声系统以将所述一个或多个移动装置中的每一者的所述扬声器用作所述协作式环绕声系统的所述一个或多个虚拟扬声器。
5.根据权利要求1所述的方法，其进一步包括从所述所识别的一个或多个移动装置中的一者接收指定所述所识别的一个或多个移动装置中的所述一者的位置的移动装置数据，
其中配置所述协作式环绕声系统包括：
基于根据所述移动装置数据所确定的所述所识别的移动装置中的所述一者的所述位置而确定所述所识别的移动装置中的所述一者不在用于播放从所述音频源再现的所述音频信号的指定位置中；及
提示所述所识别的移动装置中的所述一者的用户重新定位所述所识别的移动装置中的所述一者以修改所述所识别的移动装置中的所述一者对所述音频的回放。
6.根据权利要求1所述的方法，其进一步包括从所述所识别的一个或多个移动装置中的一者接收指定所述所识别的一个或多个移动装置中的所述一者的位置的移动装置数据，其中再现所述音频信号包括：
基于所述所识别的移动装置中的一者的所述位置而配置音频预处理功能以避免提示用户移动所识别的移动装置中的一者；及
在从所述音频源再现所述音频信号的至少一部分时执行所述经配置的音频预处理功能以控制所述音频信号的回放，以便适应所述所识别的移动装置中的所述一者的所述位置，且
其中发射所述音频信号包括将从所述音频源再现的所述音频信号的至少经预处理的部分发射到所述所识别的移动装置中的所述一者。
7.根据权利要求1所述的方法，其进一步包括从所述所识别的一个或多个移动装置中的一者接收指定包含在所述所识别的移动装置中的一者内的所述扬声器的一个或多个扬声器特性的移动装置数据，
其中再现所述音频信号包括：
基于所述一个或多个扬声器特性配置借以处理来自所述音频源的所述音频信号的音频预处理功能；及
在从所述音频源再现所述音频信号的至少一部分时执行所述经配置的音频预处理功能以控制所述音频信号的回放，以便适应包含在所述所识别的移动装置中的所述一者内的所述扬声器的所述一个或多个扬声器特性，且
其中发射所述音频信号包括将所述音频信号的至少所述经预处理的部分发射到所述所识别的移动装置中的所述一者。
8.根据权利要求1所述的方法，其进一步包括从所述所识别的一个或多个移动装置中的每一者接收指定所述所识别的移动装置中的影响所述音频的音频回放的对应一个移动装置的方面的移动装置数据，
其中所述移动装置数据指定以下各者中的一者或多者：所述所识别的移动装置中的所述对应一者的位置、包含在所述所识别的移动装置中的所述对应一者内的所述扬声器的频率响应、包含在所述所识别的移动装置中的所述对应一者内的所述扬声器的最大可允许声音重现水平、所述所识别的移动装置中的所述对应一者的所述电力电平、所述所识别的移动装置中的所述对应一者的同步状态，及所述所识别的移动装置中的所述对应一者的头戴式耳机状态。
9.根据权利要求1所述的方法，其进一步包括确定所述移动装置中的所述对应一者的所述电力电平不足以完成对从所述音频源再现的所述音频信号的回放，其中从所述音频源再现所述音频信号包括基于所述移动装置中的所述对应一者的所述电力电平不足以完成所述音频信号的回放的所述确定而再现所述音频信号，以减少由所述移动装置中的所述对应一者播放所述音频信号所需的电力的量。
10.根据权利要求1所述的方法，其进一步包括从所述所识别的一个或多个移动装置中的一者接收指定所述所识别的移动装置中的所述对应一者的所述电力电平的移动装置数据，且
其中从所述音频源再现所述音频信号包括以下各者中的一者或多者：
调整将由所述移动装置中的所述对应一者播放的所述音频信号的音量以适应所述移动装置的所述电力电平；
将待由所述移动装置中的所述对应一者播放的所述音频信号与将由剩余的移动装置中的一者或多者播放的所述音频信号交叉混合以适应所述移动装置的所述电力电平；及
减小将由所述移动装置中的所述对应一者播放的所述音频信号的频率的至少某一范围以适应所述移动装置的所述电力电平。
11.根据权利要求1所述的方法，其中所述音频源包括高阶立体混响音频源数据、多声道音频源数据及基于对象的音频源数据中的一者。
12.一种头端装置，其包括：
一个或多个处理器，其经配置以：
识别一个或多个移动装置，所述一个或多个移动装置中的每一者与所述头端装置分开、包含扬声器且可用于参与协作式环绕声系统；
配置所述协作式环绕声系统以将所述一个或多个移动装置中的每一者的所述扬声器用作所述协作式环绕声系统的一个或多个虚拟扬声器；
接收器，其经配置以从所识别的一个或多个移动装置中的一者接收指定所述所识别的移动装置中的对应一者的电力电平的移动装置数据；
其中所述一个或多个处理器进一步经配置以基于所识别的移动装置的所确定的电力电平从音频源再现音频信号，以便控制来自所述音频源的所述音频信号的回放以适应所述移动装置的所述电力电平，且使得在由所述一个或多个移动装置的所述扬声器播放所述音频信号时，所述音频信号的音频回放好像源自所述协作式环绕声系统的所述一个或多个虚拟扬声器；及
发射器，其经配置以将从所述音频源再现的经处理音频信号发射到参与所述协作式环绕声系统的所述一个或多个移动装置中的每一者。
13.根据权利要求12所述的头端装置，其中所述协作式环绕声系统的所述一个或多个虚拟扬声器好像放置于不同于所述一个或多个移动装置中的至少一者的位置的位置中。
14.根据权利要求12所述的头端装置，
其中所述一个或多个处理器进一步经配置以在配置所述协作式环绕声系统时识别所述协作式环绕声系统的所述虚拟扬声器中的每一者好像在其处发起所述音频信号的所述音频回放的扬声器区段，且
其中所述一个或多个处理器进一步经配置以在再现所述音频信号时从所述音频源再现所述音频信号，以使得在由所述一个或多个移动装置的所述扬声器播放所述音频信号时，所述音频信号的所述音频回放好像源自所述协作式环绕声系统的放置于所述对应的所识别的扬声器区段内的位置中的所述一个或多个虚拟扬声器。
15.根据权利要求12所述的头端装置，
其中所述一个或多个处理器进一步经配置以从所述所识别的一个或多个移动装置中的每一者接收指定所述所识别的移动装置中的影响所述音频的音频回放的对应一个移动装置的方面的移动装置数据，
其中所述一个或多个处理器进一步经配置以在配置所述协作式环绕声系统时基于相关联的移动装置数据而配置所述协作式环绕声系统以将所述一个或多个移动装置中的每一者的所述扬声器用作所述协作式环绕声系统的所述一个或多个虚拟扬声器。
16.根据权利要求12所述的头端装置，
其中所述一个或多个处理器进一步经配置以从所述所识别的一个或多个移动装置中的一者接收指定所述所识别的一个或多个移动装置中的所述一者的位置的移动装置数据，
其中所述一个或多个处理器进一步经配置以在配置所述协作式环绕声系统时：基于根据所述移动装置数据所确定的所述所识别的移动装置中的所述一者的所述位置而确定所述所识别的移动装置中的所述一者不在用于播放从所述音频源再现的所述音频信号的指定位置中；及提示所述所识别的移动装置中的所述一者的用户重新定位所述所识别的移动装置中的所述一者以修改所述所识别的移动装置中的所述一者对所述音频的回放。
17.根据权利要求12所述的头端装置，
其中所述一个或多个处理器进一步经配置以从所述所识别的一个或多个移动装置中的一者接收指定所述所识别的一个或多个移动装置中的所述一者的位置的移动装置数据，
其中所述一个或多个处理器进一步经配置以在再现所述音频信号时：基于所述所识别的移动装置中的一者的所述位置而配置音频预处理功能以避免提示用户移动所识别的移动装置中的一者；及在从所述音频源再现所述音频信号的至少一部分时执行所述经配置的音频预处理功能以控制所述音频信号的回放，以便适应所述所识别的移动装置中的所述一者的所述位置，且
其中所述发射器进一步经配置以在发射所述音频信号时将从所述音频源再现的所述音频信号的至少经预处理的部分发射到所述所识别的移动装置中的所述一者。
18.根据权利要求12所述的头端装置，
其中所述接收器进一步经配置以从所述所识别的一个或多个移动装置中的一者接收指定包含在所述所识别的移动装置中的一者内的所述扬声器的一个或多个扬声器特性的移动装置数据，
其中所述一个或多个处理器进一步经配置以在再现所述音频信号时：基于所述一个或多个扬声器特性配置借以处理来自所述音频源的所述音频信号的音频预处理功能；及在从所述音频源再现所述音频信号的至少一部分时执行所述经配置的音频预处理功能以控制所述音频信号的回放，以便适应包含在所述所识别的移动装置中的所述一者内的所述扬声器的所述一个或多个扬声器特性，且
其中所述发射器进一步经配置以在发射所述音频信号时将所述音频信号的至少所述经预处理的部分发射到所述所识别的移动装置中的所述一者。
19.根据权利要求12所述的头端装置，
其中所述接收器进一步经配置以从所述所识别的一个或多个移动装置中的每一者接收指定所述所识别的移动装置中的影响所述音频的音频回放的对应一个移动装置的方面的移动装置数据，
其中所述移动装置数据指定以下各者中的一者或多者：所述所识别的移动装置中的所述对应一者的位置、包含在所述所识别的移动装置中的所述对应一者内的所述扬声器的频率响应、包含在所述所识别的移动装置中的所述对应一者内的所述扬声器的最大可允许声音重现水平、所述所识别的移动装置中的所述对应一者的所述电力电平、所述所识别的移动装置中的所述对应一者的同步状态，及所述所识别的移动装置中的所述对应一者的头戴式耳机状态。
20.根据权利要求12所述的头端装置，其中所述一个或多个处理器进一步经配置以确定所述移动装置中的所述对应一者的所述电力电平不足以完成对从所述音频源再现的所述音频信号的回放，其中从所述音频源再现所述音频信号包括基于所述移动装置中的所述对应一者的所述电力电平不足以完成所述音频信号的回放的所述确定而再现所述音频信号，以减少由所述移动装置中的所述对应一者播放所述音频信号所需的电力的量。
21.根据权利要求12所述的头端装置，
其中所述接收器进一步经配置以从所述所识别的一个或多个移动装置中的一者接收指定所述所识别的移动装置中的所述对应一者的所述电力电平的移动装置数据，且
其中所述一个或多个处理器进一步经配置以在从所述音频源再现所述音频信号时执行以下各者中的一者或多者：调整将由所述移动装置中的所述对应一者播放的所述音频信号的音量以适应所述移动装置的所述电力电平；将待由所述移动装置中的所述对应一者播放的所述音频信号与将由剩余的移动装置中的一者或多者播放的所述音频信号交叉混合以适应所述移动装置的所述电力电平；及减小将由所述移动装置中的所述对应一者播放的所述音频信号的频率的至少某一范围以适应所述移动装置的所述电力电平。
22.根据权利要求12所述的头端装置，其中所述音频源包括高阶立体混响音频源数据、多声道音频源数据及基于对象的音频源数据中的一者。
23.一种头端装置，其包括：
用于识别一个或多个移动装置的装置，所述一个或多个移动装置中的每一者与所述头端装置分开、包含扬声器且可用于参与协作式环绕声系统；
用于配置所述协作式环绕声系统以将所述一个或多个移动装置中的每一者的所述扬声器用作所述协作式环绕声系统的一个或多个虚拟扬声器的装置；
用于从所识别的一个或多个移动装置中的一者接收指定所述所识别的移动装置中的对应一者的电力电平的移动装置数据的装置；
用于基于所述移动装置中之一的所确定的电力电平从音频源再现音频信号，以便控制来自所述音频源的所述音频信号的回放以适应所识别的移动装置的电力电平，且使得在由所述一个或多个移动装置的所述扬声器播放所述音频信号时，所述音频信号的音频回放好像源自所述协作式环绕声系统的所述一个或多个虚拟扬声器的装置；及
用于将从所述音频源再现的经处理音频信号发射到参与所述协作式环绕声系统的所述一个或多个移动装置中的每一者的装置。
24.根据权利要求23所述的头端装置，其中所述协作式环绕声系统的所述一个或多个虚拟扬声器好像放置于不同于所述一个或多个移动装置中的至少一者的位置的位置中。
25.根据权利要求23所述的头端装置，其中所述用于配置所述协作式环绕声系统的装置包括用于识别所述协作式环绕声系统的所述虚拟扬声器中的每一者好像在其处发起所述音频信号的所述音频回放的扬声器区段的装置，且
其中所述用于再现所述音频信号的装置包括用于以下操作的装置：从所述音频源再现所述音频信号，以使得在由所述一个或多个移动装置的所述扬声器播放所述音频信号时，所述音频信号的所述音频回放好像源自所述协作式环绕声系统的放置于所述对应的所识别的扬声器区段内的位置中的所述一个或多个虚拟扬声器。
26.根据权利要求23所述的头端装置，其进一步包括用于从所述所识别的一个或多个移动装置中的每一者接收指定所述所识别的移动装置中的影响所述音频的音频回放的对应一个移动装置的方面的移动装置数据的装置，
其中所述用于配置所述协作式环绕声系统的装置包括用于以下操作的装置：基于相关联的移动装置数据而配置所述协作式环绕声系统以将所述一个或多个移动装置中的每一者的所述扬声器用作所述协作式环绕声系统的所述一个或多个虚拟扬声器。
27.根据权利要求23所述的头端装置，其进一步包括用于从所述所识别的一个或多个移动装置中的一者接收指定所述所识别的一个或多个移动装置中的所述一者的位置的移动装置数据的装置，
其中所述用于配置所述协作式环绕声系统的装置包括：
用于以下操作的装置：基于根据所述移动装置数据所确定的所述所识别的移动装置中的所述一者的所述位置而确定所述所识别的移动装置中的所述一者不在用于播放从所述音频源再现的所述音频信号的指定位置中；及
用于以下操作的装置：提示所述所识别的移动装置中的所述一者的用户重新定位所述所识别的移动装置中的所述一者以修改所述所识别的移动装置中的所述一者对所述音频的回放。
28.根据权利要求23所述的头端装置，其进一步包括用于从所述所识别的一个或多个移动装置中的一者接收指定所述所识别的一个或多个移动装置中的所述一者的位置的移动装置数据的装置，
其中所述用于再现所述音频信号的装置包括：
用于以下操作的装置：基于所述所识别的移动装置中的一者的所述位置而配置音频预处理功能以避免提示用户移动所识别的移动装置中的一者；及
用于以下操作的装置：在从所述音频源再现所述音频信号的至少一部分时执行所述经配置的音频预处理功能以控制所述音频信号的回放，以便适应所述所识别的移动装置中的所述一者的所述位置，及
其中所述用于发射所述音频信号的装置包括用于将从所述音频源再现的所述音频信号的至少经预处理的部分发射到所述所识别的移动装置中的所述一者的装置。
29.根据权利要求23所述的头端装置，其进一步包括用于以下操作的装置：从所述所识别的一个或多个移动装置中的一者接收指定包含在所述所识别的移动装置中的一者内的所述扬声器的一个或多个扬声器特性的移动装置数据，
其中所述用于再现所述音频信号的装置包括：
用于基于所述一个或多个扬声器特性配置借以处理来自所述音频源的所述音频信号的音频预处理功能的装置；及
用于以下操作的装置：在从所述音频源再现所述音频信号的至少一部分时执行所述经配置的音频预处理功能以控制所述音频信号的回放，以便适应包含在所述所识别的移动装置中的所述一者内的所述扬声器的所述一个或多个扬声器特性，且
其中所述用于发射所述音频信号的装置包括用于将所述音频信号的至少所述经预处理的部分发射到所述所识别的移动装置中的所述一者的装置。
30.根据权利要求23所述的头端装置，其进一步包括用于从所述所识别的一个或多个移动装置中的每一者接收指定所述所识别的移动装置中的影响所述音频的音频回放的对应一个移动装置的方面的移动装置数据的装置，
其中所述移动装置数据指定以下各者中的一者或多者：所述所识别的移动装置中的所述对应一者的位置、包含在所述所识别的移动装置中的所述对应一者内的所述扬声器的频率响应、包含在所述所识别的移动装置中的所述对应一者内的所述扬声器的最大可允许声音重现水平、所述所识别的移动装置中的所述对应一者的所述电力电平、所述所识别的移动装置中的所述对应一者的同步状态，及所述所识别的移动装置中的所述对应一者的头戴式耳机状态。
31.根据权利要求23所述的头端装置，其进一步包括用于以下操作的装置：确定所述移动装置中的所述对应一者的所述电力电平不足以完成对从所述音频源再现的所述音频信号的回放，其中从所述音频源再现所述音频信号包括基于所述移动装置中的所述对应一者的所述电力电平不足以完成所述音频信号的回放的所述确定而再现所述音频信号，以减少由所述移动装置中的所述对应一者播放所述音频信号所需的电力的量。
32.根据权利要求23所述的头端装置，其进一步包括用于从所述所识别的一个或多个移动装置中的一者接收指定所述所识别的移动装置中的所述对应一者的所述电力电平的移动装置数据的装置，且
其中所述用于从所述音频源再现所述音频信号的装置包括以下各者中的一者或多者：
用于调整将由所述移动装置中的所述对应一者播放的所述音频信号的音量以适应所述移动装置的所述电力电平的装置；
用于以下操作的装置：将待由所述移动装置中的所述对应一者播放的所述音频信号与将由剩余的移动装置中的一者或多者播放的所述音频信号交叉混合以适应所述移动装置的所述电力电平；及
用于减小将由所述移动装置中的所述对应一者播放的所述音频信号的频率的至少某一范围以适应所述移动装置的所述电力电平的装置。
33.根据权利要求23所述的头端装置，其中所述音频源包括高阶立体混响音频源数据、多声道音频源数据及基于对象的音频源数据中的一者。
CN201380061543.8A 2012-11-28 2013-10-28 协作式声音系统 Active CN104871566B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201261730911P 2012-11-28 2012-11-28
US61/730,911 2012-11-28
US13/831,515 US9154877B2 (en) 2012-11-28 2013-03-14 Collaborative sound system
US13/831,515 2013-03-14
PCT/US2013/067119 WO2014085005A1 (en) 2012-11-28 2013-10-28 Collaborative sound system

Publications (2)

Publication Number Publication Date
CN104871566A CN104871566A (zh) 2015-08-26
CN104871566B true CN104871566B (zh) 2017-04-12

Family

ID=50773327

Family Applications (3)

Application Number Title Priority Date Filing Date
CN201380061577.7A Active CN104813683B (zh) 2012-11-28 2013-10-28 协作式声音系统中的受约束的动态振幅平移
CN201380061575.8A Active CN104871558B (zh) 2012-11-28 2013-10-28 用于协作式声音系统的图像产生的方法和装置
CN201380061543.8A Active CN104871566B (zh) 2012-11-28 2013-10-28 协作式声音系统

Family Applications Before (2)

Application Number Title Priority Date Filing Date
CN201380061577.7A Active CN104813683B (zh) 2012-11-28 2013-10-28 协作式声音系统中的受约束的动态振幅平移
CN201380061575.8A Active CN104871558B (zh) 2012-11-28 2013-10-28 用于协作式声音系统的图像产生的方法和装置

Country Status (6)

Country Link
US (3) US9154877B2 (zh)
EP (3) EP2926570B1 (zh)
JP (3) JP5882552B2 (zh)
KR (1) KR101673834B1 (zh)
CN (3) CN104813683B (zh)
WO (3) WO2014085006A1 (zh)

Families Citing this family (115)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101624904B1 (ko) * 2009-11-09 2016-05-27 삼성전자주식회사 휴대용 단말기에서 디엔엘에이를 이용하여 멀티 사운드 채널 컨텐츠를 재생하기 위한 장치 및 방법
US9131305B2 (en) * 2012-01-17 2015-09-08 LI Creative Technologies, Inc. Configurable three-dimensional sound system
US9288603B2 (en) 2012-07-15 2016-03-15 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for backward-compatible audio coding
US9473870B2 (en) * 2012-07-16 2016-10-18 Qualcomm Incorporated Loudspeaker position compensation with 3D-audio hierarchical coding
US9154877B2 (en) 2012-11-28 2015-10-06 Qualcomm Incorporated Collaborative sound system
JP6271586B2 (ja) * 2013-01-16 2018-01-31 ドルビー・インターナショナル・アーベー Ｈｏａラウドネスレベルを測定する方法及びｈｏａラウドネスレベルを測定する装置
US10038957B2 (en) 2013-03-19 2018-07-31 Nokia Technologies Oy Audio mixing based upon playing device location
KR102028339B1 (ko) * 2013-03-22 2019-10-04 한국전자통신연구원 사운드 가상화 방법 및 장치
EP2782094A1 (en) * 2013-03-22 2014-09-24 Thomson Licensing Method and apparatus for enhancing directivity of a 1st order Ambisonics signal
US9716958B2 (en) * 2013-10-09 2017-07-25 Voyetra Turtle Beach, Inc. Method and system for surround sound processing in a headset
US20160253145A1 (en) * 2013-10-31 2016-09-01 Lg Electronics Inc. Electronic device and method for controlling the same
US11310614B2 (en) * 2014-01-17 2022-04-19 Proctor Consulting, LLC Smart hub
US9704491B2 (en) 2014-02-11 2017-07-11 Disney Enterprises, Inc. Storytelling environment: distributed immersive audio soundscape
US9319792B1 (en) * 2014-03-17 2016-04-19 Amazon Technologies, Inc. Audio capture and remote output
DK178063B1 (en) * 2014-06-02 2015-04-20 Bang & Olufsen As Dynamic Configuring of a Multichannel Sound System
US9838819B2 (en) * 2014-07-02 2017-12-05 Qualcomm Incorporated Reducing correlation between higher order ambisonic (HOA) background channels
US9584915B2 (en) 2015-01-19 2017-02-28 Microsoft Technology Licensing, Llc Spatial audio with remote speakers
CN107211211A (zh) * 2015-01-21 2017-09-26 高通股份有限公司 用于改变音频输出设备集的声道配置的系统和方法
US9723406B2 (en) 2015-01-21 2017-08-01 Qualcomm Incorporated System and method for changing a channel configuration of a set of audio output devices
US9578418B2 (en) 2015-01-21 2017-02-21 Qualcomm Incorporated System and method for controlling output of multiple audio output devices
US11048855B2 (en) 2015-02-11 2021-06-29 Google Llc Methods, systems, and media for modifying the presentation of contextually relevant documents in browser windows of a browsing application
US10284537B2 (en) 2015-02-11 2019-05-07 Google Llc Methods, systems, and media for presenting information related to an event based on metadata
US10223459B2 (en) 2015-02-11 2019-03-05 Google Llc Methods, systems, and media for personalizing computerized services based on mood and/or behavior information from multiple data sources
US11392580B2 (en) 2015-02-11 2022-07-19 Google Llc Methods, systems, and media for recommending computerized services based on an animate object in the user's environment
US9769564B2 (en) 2015-02-11 2017-09-19 Google Inc. Methods, systems, and media for ambient background noise modification based on mood and/or behavior information
DE102015005704A1 (de) * 2015-05-04 2016-11-10 Audi Ag Fahrzeug mit einem Infotainmentsystem
US9864571B2 (en) 2015-06-04 2018-01-09 Sonos, Inc. Dynamic bonding of playback devices
US9584758B1 (en) 2015-11-25 2017-02-28 International Business Machines Corporation Combining installed audio-visual sensors with ad-hoc mobile audio-visual sensors for smart meeting rooms
US9820048B2 (en) * 2015-12-26 2017-11-14 Intel Corporation Technologies for location-dependent wireless speaker configuration
US9591427B1 (en) * 2016-02-20 2017-03-07 Philip Scott Lyren Capturing audio impulse responses of a person with a smartphone
US9965247B2 (en) 2016-02-22 2018-05-08 Sonos, Inc. Voice controlled media playback system based on user profile
US9772817B2 (en) 2016-02-22 2017-09-26 Sonos, Inc. Room-corrected voice detection
US9947316B2 (en) 2016-02-22 2018-04-17 Sonos, Inc. Voice control of a media playback system
US10509626B2 (en) 2016-02-22 2019-12-17 Sonos, Inc Handling of loss of pairing between networked devices
US10095470B2 (en) 2016-02-22 2018-10-09 Sonos, Inc. Audio response playback
US10264030B2 (en) 2016-02-22 2019-04-16 Sonos, Inc. Networked microphone device control
JP6461850B2 (ja) * 2016-03-31 2019-01-30 株式会社バンダイナムコエンターテインメント シミュレーションシステム及びプログラム
US9978390B2 (en) 2016-06-09 2018-05-22 Sonos, Inc. Dynamic player selection for audio signal processing
US9763280B1 (en) 2016-06-21 2017-09-12 International Business Machines Corporation Mobile device assignment within wireless sound system based on device specifications
GB2551779A (en) * 2016-06-30 2018-01-03 Nokia Technologies Oy An apparatus, method and computer program for audio module use in an electronic device
CN106057207B (zh) * 2016-06-30 2021-02-23 深圳市虚拟现实科技有限公司 远程立体声全方位实时传输和播放方法
US10134399B2 (en) 2016-07-15 2018-11-20 Sonos, Inc. Contextualization of voice inputs
US10152969B2 (en) 2016-07-15 2018-12-11 Sonos, Inc. Voice detection by multiple devices
US20180020309A1 (en) * 2016-07-17 2018-01-18 Bose Corporation Synchronized Audio Playback Devices
EP4376444A2 (en) * 2016-08-01 2024-05-29 Magic Leap, Inc. Mixed reality system with spatialized audio
US10115400B2 (en) 2016-08-05 2018-10-30 Sonos, Inc. Multiple voice services
US9913061B1 (en) 2016-08-29 2018-03-06 The Directv Group, Inc. Methods and systems for rendering binaural audio content
KR102230645B1 (ko) * 2016-09-14 2021-03-19 매직 립, 인코포레이티드 공간화 오디오를 갖는 가상 현실, 증강 현실 및 혼합 현실 시스템들
JP7003924B2 (ja) * 2016-09-20 2022-01-21 ソニーグループ株式会社 情報処理装置と情報処理方法およびプログラム
US9942678B1 (en) 2016-09-27 2018-04-10 Sonos, Inc. Audio playback settings for voice interaction
US9743204B1 (en) 2016-09-30 2017-08-22 Sonos, Inc. Multi-orientation playback device microphones
US10181323B2 (en) 2016-10-19 2019-01-15 Sonos, Inc. Arbitration-based voice recognition
CN107872754A (zh) * 2016-12-12 2018-04-03 深圳市蚂蚁雄兵物联技术有限公司 一种多声道环绕立体声系统及安装方法
US11183181B2 (en) 2017-03-27 2021-11-23 Sonos, Inc. Systems and methods of multiple voice services
CN110786023B (zh) * 2017-06-21 2021-12-28 雅马哈株式会社 信息处理装置、信息处理系统、记录介质及信息处理方法
US10516962B2 (en) * 2017-07-06 2019-12-24 Huddly As Multi-channel binaural recording and dynamic playback
US10475449B2 (en) 2017-08-07 2019-11-12 Sonos, Inc. Wake-word detection suppression
JP7004727B2 (ja) * 2017-08-08 2022-01-21 マクセル株式会社 音声連携システム
US10048930B1 (en) 2017-09-08 2018-08-14 Sonos, Inc. Dynamic computation of system response volume
US10446165B2 (en) 2017-09-27 2019-10-15 Sonos, Inc. Robust short-time fourier transform acoustic echo cancellation during audio playback
US10051366B1 (en) 2017-09-28 2018-08-14 Sonos, Inc. Three-dimensional beam forming with a microphone array
US10482868B2 (en) 2017-09-28 2019-11-19 Sonos, Inc. Multi-channel acoustic echo cancellation
US10621981B2 (en) 2017-09-28 2020-04-14 Sonos, Inc. Tone interference cancellation
US10609485B2 (en) 2017-09-29 2020-03-31 Apple Inc. System and method for performing panning for an arbitrary loudspeaker setup
US10466962B2 (en) 2017-09-29 2019-11-05 Sonos, Inc. Media playback system with voice assistance
US10880650B2 (en) 2017-12-10 2020-12-29 Sonos, Inc. Network microphone devices with automatic do not disturb actuation capabilities
US10818290B2 (en) 2017-12-11 2020-10-27 Sonos, Inc. Home graph
CN109996167B (zh) * 2017-12-31 2020-09-11 华为技术有限公司 一种多终端协同播放音频文件的方法及终端
US11343614B2 (en) 2018-01-31 2022-05-24 Sonos, Inc. Device designation of playback and network microphone device arrangements
US11175880B2 (en) 2018-05-10 2021-11-16 Sonos, Inc. Systems and methods for voice-assisted media content selection
US10847178B2 (en) 2018-05-18 2020-11-24 Sonos, Inc. Linear filtering for noise-suppressed speech detection
US10959029B2 (en) 2018-05-25 2021-03-23 Sonos, Inc. Determining and adapting to changes in microphone performance of playback devices
US10681460B2 (en) 2018-06-28 2020-06-09 Sonos, Inc. Systems and methods for associating playback devices with voice assistant services
US11076035B2 (en) 2018-08-28 2021-07-27 Sonos, Inc. Do not disturb feature for audio notifications
US10461710B1 (en) 2018-08-28 2019-10-29 Sonos, Inc. Media playback system with maximum volume setting
US10587430B1 (en) 2018-09-14 2020-03-10 Sonos, Inc. Networked devices, systems, and methods for associating playback devices based on sound codes
US10878811B2 (en) 2018-09-14 2020-12-29 Sonos, Inc. Networked devices, systems, and methods for intelligently deactivating wake-word engines
US11024331B2 (en) 2018-09-21 2021-06-01 Sonos, Inc. Voice detection optimization using sound metadata
US10811015B2 (en) 2018-09-25 2020-10-20 Sonos, Inc. Voice detection optimization based on selected voice assistant service
US11100923B2 (en) 2018-09-28 2021-08-24 Sonos, Inc. Systems and methods for selective wake word detection using neural network models
US10692518B2 (en) 2018-09-29 2020-06-23 Sonos, Inc. Linear filtering for noise-suppressed speech detection via multiple network microphone devices
US11899519B2 (en) 2018-10-23 2024-02-13 Sonos, Inc. Multiple stage network microphone device with reduced power consumption and processing load
EP3654249A1 (en) 2018-11-15 2020-05-20 Snips Dilated convolutions and gating for efficient keyword spotting
US11183183B2 (en) 2018-12-07 2021-11-23 Sonos, Inc. Systems and methods of operating media playback systems having multiple voice assistant services
US11132989B2 (en) 2018-12-13 2021-09-28 Sonos, Inc. Networked microphone devices, systems, and methods of localized arbitration
US10602268B1 (en) 2018-12-20 2020-03-24 Sonos, Inc. Optimization of network microphone devices using noise classification
US10867604B2 (en) 2019-02-08 2020-12-15 Sonos, Inc. Devices, systems, and methods for distributed voice processing
US11315556B2 (en) 2019-02-08 2022-04-26 Sonos, Inc. Devices, systems, and methods for distributed voice processing by transmitting sound data associated with a wake word to an appropriate device for identification
US11120794B2 (en) 2019-05-03 2021-09-14 Sonos, Inc. Voice assistant persistence across multiple network microphone devices
US11361756B2 (en) 2019-06-12 2022-06-14 Sonos, Inc. Conditional wake word eventing based on environment
US10586540B1 (en) 2019-06-12 2020-03-10 Sonos, Inc. Network microphone device with command keyword conditioning
US11200894B2 (en) 2019-06-12 2021-12-14 Sonos, Inc. Network microphone device with command keyword eventing
US11968268B2 (en) 2019-07-30 2024-04-23 Dolby Laboratories Licensing Corporation Coordination of audio devices
US11138975B2 (en) 2019-07-31 2021-10-05 Sonos, Inc. Locally distributed keyword detection
US11138969B2 (en) 2019-07-31 2021-10-05 Sonos, Inc. Locally distributed keyword detection
US10871943B1 (en) 2019-07-31 2020-12-22 Sonos, Inc. Noise classification for event detection
US11189286B2 (en) 2019-10-22 2021-11-30 Sonos, Inc. VAS toggle based on device orientation
US11533560B2 (en) 2019-11-15 2022-12-20 Boomcloud 360 Inc. Dynamic rendering device metadata-informed audio enhancement system
US11200900B2 (en) 2019-12-20 2021-12-14 Sonos, Inc. Offline voice control
US11562740B2 (en) 2020-01-07 2023-01-24 Sonos, Inc. Voice verification for media playback
CN111297054B (zh) * 2020-01-17 2021-11-30 铜仁职业技术学院 一种教学讲台
US11556307B2 (en) 2020-01-31 2023-01-17 Sonos, Inc. Local voice data processing
US11308958B2 (en) 2020-02-07 2022-04-19 Sonos, Inc. Localized wakeword verification
KR102372792B1 (ko) * 2020-04-22 2022-03-08 연세대학교 산학협력단 사운드의 병행 출력을 통한 사운드 제어 시스템 및 이를 포함하는 통합 제어 시스템
KR102324816B1 (ko) * 2020-04-29 2021-11-09 연세대학교 산학협력단 사운드의 병행 출력을 통한 공간 이동에 따른 사운드 인터렉션 시스템 및 방법
US11308962B2 (en) 2020-05-20 2022-04-19 Sonos, Inc. Input detection windowing
US11482224B2 (en) 2020-05-20 2022-10-25 Sonos, Inc. Command keywords with input detection windowing
US11727919B2 (en) 2020-05-20 2023-08-15 Sonos, Inc. Memory allocation for keyword spotting engines
US11698771B2 (en) 2020-08-25 2023-07-11 Sonos, Inc. Vocal guidance engines for playback devices
US11984123B2 (en) 2020-11-12 2024-05-14 Sonos, Inc. Network device interaction by range
US11521623B2 (en) 2021-01-11 2022-12-06 Bank Of America Corporation System and method for single-speaker identification in a multi-speaker environment on a low-frequency audio recording
US11551700B2 (en) 2021-01-25 2023-01-10 Sonos, Inc. Systems and methods for power-efficient keyword detection
KR20220146165A (ko) * 2021-04-23 2022-11-01 삼성전자주식회사 오디오 신호 처리를 위한 전자 장치 및 그 동작 방법
CN115497485A (zh) * 2021-06-18 2022-12-20 华为技术有限公司 三维音频信号编码方法、装置、编码器和系统
CN113438548B (zh) * 2021-08-30 2021-10-29 深圳佳力拓科技有限公司 基于视频数据包与音频数据包的数字电视展示方法与装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1507701A (zh) * 2001-05-07 2004-06-23 参量虚拟扬声器和环绕声系统

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6154549A (en) 1996-06-18 2000-11-28 Extreme Audio Reality, Inc. Method and apparatus for providing sound in a spatial environment
US20020072816A1 (en) * 2000-12-07 2002-06-13 Yoav Shdema Audio system
US6757517B2 (en) 2001-05-10 2004-06-29 Chin-Chi Chang Apparatus and method for coordinated music playback in wireless ad-hoc networks
JP4766440B2 (ja) 2001-07-27 2011-09-07 日本電気株式会社 携帯端末装置及び携帯端末装置の音響再生システム
EP1542503B1 (en) * 2003-12-11 2011-08-24 Sony Deutschland GmbH Dynamic sweet spot tracking
JP4368210B2 (ja) 2004-01-28 2009-11-18 ソニー株式会社 送受信システム、送信装置およびスピーカ搭載機器
US20050286546A1 (en) 2004-06-21 2005-12-29 Arianna Bassoli Synchronized media streaming between distributed peers
EP1615464A1 (en) 2004-07-07 2006-01-11 Sony Ericsson Mobile Communications AB Method and device for producing multichannel audio signals
JP2006033077A (ja) * 2004-07-12 2006-02-02 Pioneer Electronic Corp スピーカ装置
WO2006051505A1 (en) 2004-11-12 2006-05-18 Koninklijke Philips Electronics N.V. Apparatus and method for sharing contents via headphone set
US20060177073A1 (en) * 2005-02-10 2006-08-10 Isaac Emad S Self-orienting audio system
JP2006279548A (ja) * 2005-03-29 2006-10-12 Fujitsu Ten Ltd 車載用スピーカシステム及びオーディオ装置
KR100704697B1 (ko) 2005-07-21 2007-04-10 경북대학교 산학협력단 배터리의 소비 전력 제어 방법 및 상기 방법이 적용되는휴대용 기기
JP4669340B2 (ja) 2005-07-28 2011-04-13 富士通株式会社 情報処理装置、情報処理方法および情報処理プログラム
US20070087686A1 (en) 2005-10-18 2007-04-19 Nokia Corporation Audio playback device and method of its operation
JP2007288405A (ja) * 2006-04-14 2007-11-01 Matsushita Electric Ind Co Ltd 映像音声出力システム、映像音声処理方法、およびプログラム
US20080077261A1 (en) * 2006-08-29 2008-03-27 Motorola, Inc. Method and system for sharing an audio experience
US9319741B2 (en) * 2006-09-07 2016-04-19 Rateze Remote Mgmt Llc Finding devices in an entertainment system
JP4810378B2 (ja) 2006-09-20 2011-11-09 キヤノン株式会社 音響出力装置及びその制御方法並びに音響システム
US20080216125A1 (en) 2007-03-01 2008-09-04 Microsoft Corporation Mobile Device Collaboration
FR2915041A1 (fr) * 2007-04-13 2008-10-17 Canon Kk Procede d'attribution d'une pluralite de canaux audio a une pluralite de haut-parleurs, produit programme d'ordinateur, moyen de stockage et noeud gestionnaire correspondants.
USRE48946E1 (en) * 2008-01-07 2022-02-22 D&M Holdings, Inc. Systems and methods for providing a media playback in a networked environment
US8380127B2 (en) * 2008-10-29 2013-02-19 National Semiconductor Corporation Plurality of mobile communication devices for performing locally collaborative operations
US20110091055A1 (en) 2009-10-19 2011-04-21 Broadcom Corporation Loudspeaker localization techniques
KR20110072650A (ko) 2009-12-23 2011-06-29 삼성전자주식회사 오디오 장치 및 이의 오디오 신호 전송 방법, 그리고 오디오 시스템
US9282418B2 (en) 2010-05-03 2016-03-08 Kit S. Tam Cognitive loudspeaker system
US9377941B2 (en) * 2010-11-09 2016-06-28 Sony Corporation Audio speaker selection for optimization of sound origin
US9154877B2 (en) 2012-11-28 2015-10-06 Qualcomm Incorporated Collaborative sound system

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1507701A (zh) * 2001-05-07 2004-06-23 参量虚拟扬声器和环绕声系统

Also Published As

Publication number Publication date
US20140146970A1 (en) 2014-05-29
CN104871558B (zh) 2017-07-21
KR20150088874A (ko) 2015-08-03
JP5882552B2 (ja) 2016-03-09
CN104813683B (zh) 2017-04-12
JP5882550B2 (ja) 2016-03-09
US9124966B2 (en) 2015-09-01
CN104871558A (zh) 2015-08-26
EP2926572B1 (en) 2017-05-17
WO2014085007A1 (en) 2014-06-05
US9131298B2 (en) 2015-09-08
CN104871566A (zh) 2015-08-26
WO2014085006A1 (en) 2014-06-05
US20140146984A1 (en) 2014-05-29
JP2016504824A (ja) 2016-02-12
JP5882551B2 (ja) 2016-03-09
EP2926572A1 (en) 2015-10-07
JP2016502345A (ja) 2016-01-21
EP2926573A1 (en) 2015-10-07
US20140146983A1 (en) 2014-05-29
EP2926570B1 (en) 2017-12-27
KR101673834B1 (ko) 2016-11-07
US9154877B2 (en) 2015-10-06
CN104813683A (zh) 2015-07-29
JP2016502344A (ja) 2016-01-21
EP2926570A1 (en) 2015-10-07
WO2014085005A1 (en) 2014-06-05

Similar Documents

Publication Publication Date Title
CN104871566B (zh) 协作式声音系统
CN107493542B (zh) 用于在听音环境中播放音频内容的扬声器系统
CN107509141B (zh) 具有声道重新映射器和对象渲染器的音频处理装置
CN109313907A (zh) 合并音频信号与空间元数据
CN106375907A (zh) 用于传送个性化音频的系统和方法
CN109891503B (zh) 声学场景回放方法和装置
CN104604257A (zh) 用于在各种收听环境中渲染并且回放基于对象的音频的系统
JP6246922B2 (ja) 音響信号処理方法
CN104157292A (zh) 抗啸叫音频信号处理方法和装置
US20150124995A1 (en) Public address system with wireless audio transmission
WO2023087031A2 (en) Systems and methods for rendering spatial audio using spatialization shaders
CN112788489B (zh) 控制方法、装置和电子设备
US20160330556A1 (en) Public address system with wireless audio transmission
CN219834335U (zh) 一种蓝牙音响系统
US20230370777A1 (en) A method of outputting sound and a loudspeaker
CN115696170A (zh) 音效处理方法、音效处理装置、终端和存储介质
Sousa The development of a'Virtual Studio'for monitoring Ambisonic based multichannel loudspeaker arrays through headphones
CN104604253A (zh) 到可单独寻址驱动器的上混内容的反射和直接渲染

Legal Events

Date Code Title Description
PB01 Publication
EXSB Decision made by sipo to initiate substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant