CN105432098A - 针对任意扬声器布局的音频对象的平移 - Google Patents

Abstract

可以确定N个音频对象中的每一个的音频信号对于M个扬声器中的至少一个的增益贡献。确定增益贡献可以包含确定作为扬声器(或者群集)位置和分派给各扬声器(或者群集)的增益的函数的响度中心位置。确定增益贡献还可以包含确定成本函数的最小值。成本函数的第一项可以代表响度中心位置和音频对象位置之间的差异。

Description

针对任意扬声器布局的音频对象的平移

相关申请的交叉引用

本申请要求2013年7月30日提交的西班牙专利申请No.P201331169的优先权和2014年6月9日提交的美国临时专利申请No.62/009,536的优先权，这两个申请中的每个的全部内容特此通过引用并入。

技术领域

本发明涉及音频数据处理。特别地，本公开涉及处理对应于音频对象的音频数据。

背景技术

由于1927年在电影中引入了声音，因此用于捕捉电影声轨的艺术意图并且再现这个内容的技术不断地进化。在二十世纪七十年代，Dolby引入了一种编码和发布具有3个屏幕声道和单环绕声声道的混合产品的成本高效的手段。Dolby在二十世纪90年代用5.1声道格式将数字声音带入电影院，5.1声道格式提供了分立的左、中和右屏幕声道、左和右环绕阵列以及用于低频效果的低音声道。2010年引入的杜比环绕(DolbySurround)7.1通过将现有的左和右环绕声道分成四个“区域”来增加环绕声道的数量。

电影院和家庭影院音频回放系统都正变得愈发多功能和复杂。家庭影院音频回放系统正包括数量增加的扬声器。随着声道的数量增加并且扬声器布局从平面二维(2D)阵列转变成包括高程(elevation)的三维(3D)阵列，在回放环境中再现声音正变成一个愈发复杂的过程。改进的音频处理方法将是所希望的。

发明内容

提供了改进的处理音频对象的方法。如本文中使用的，术语“音频对象”是指音频信号(在本文中也被称为“音频对象信号”)和相关联的元数据，其可以在没有参照任何特定回放环境的情况下被创建或“创作”。相关联的元数据可以包括音频对象位置数据、音频对象增益数据、音频对象大小数据、音频对象轨迹数据等。如本文中使用的，术语“集群”和“分组”或“组合”能互换地用于描述将对象和/或音床(声道)组合成“群集”以便减少作为在自适应音频回放系统中发送和呈现的自适应音频内容的单位的数据量。如本文中使用的，术语“呈现”可以指将音频对象或者群集变换成用于特定回放环境的扬声器馈送信号的过程。呈现过程可以至少部分地根据相关联的元数据并且根据回放环境数据执行。回放环境数据可以包括回放环境中的扬声器数量的指示和回放环境内的各扬声器的位置的指示。

本文中描述的一些实现可以包含接收包括N个音频对象的音频数据。音频对象可以包括音频信号和相关联的元数据。元数据可以至少包括音频对象位置数据。在一些实现中，所述方法可以包含执行从该N个音频对象产生M个群集的音频对象集群过程，M是小于N的数。

集群过程可以包含选择M个代表性音频对象，并且根据M个代表性音频对象中的每个的音频对象位置数据来确定M个群集中的每个的群集质心位置。在一些实现中，各群集质心位置可以是代表与群集关联的所有音频对象的位置的单个位置。

集群过程可以包含确定N个音频对象中的每个的音频信号对于M个群集中的至少一个的增益贡献。在一些实现例中，确定增益贡献可以包含确定响度中心位置并且确定成本函数(costfunction)的最小值。在一些示例中，成本函数的第一项可以代表响度中心位置和音频对象位置之间的差异。

在一些实现中，响度中心位置可以是群集质心位置以及被分派给各群集的增益的函数。在一些示例中，确定响度中心位置可以包含借助加权过程组合群集质心位置，在加权过程中，赋予群集质心位置的权重对应于分派给群集质心位置的增益。例如，确定响度中心位置可以包含：确定各群集质心位置和分派给各群集质心位置的增益的乘积；计算乘积之和；确定所有群集质心位置的增益之和；将乘积之和除以增益之和。

在一些实现中，成本函数的第二项可以代表对象位置和群集质心位置之间的距离。例如，成本函数的第二项可以与对象位置和群集质心位置之间距离的平方成比例。在一些实现中，成本函数的第三项可以设置所确定的增益贡献的尺度。在一些实现中，成本函数可以是分派给各群集的增益的二次函数。然而，在其他实现中，成本函数可以不是二次函数。

在一些实现中，所述方法可以包含根据对应群集中的音频对象的增益贡献来修正至少一个群集质心位置。在一些示例中，至少一个群集质心位置可以是随时间变化的。

本文中描述的一些替代实现还可以包含接收包括N个音频对象的音频数据。音频对象可以包括音频信号和相关联的元数据。元数据可以至少包括音频对象位置数据。在一些实现中，所述方法可以包含确定N个音频对象中的每个的音频信号对于M个扬声器中的至少一个的增益贡献。

例如，确定增益贡献可以包含确定响度中心位置，并且确定成本函数的最小值。响度中心位置可以作为扬声器位置和分派给各扬声器的增益的函数。在一些示例中，成本函数的第一项可以代表响度中心位置和音频对象位置之间的差异。

确定响度中心位置可以包含借助加权过程组合扬声器位置，在加权过程中，赋予扬声器位置的权重对应于分派给扬声器位置的增益。例如，确定响度中心位置可以包含：确定各扬声器位置和分派给各对应扬声器位置的增益的乘积；计算乘积之和；确定所有扬声器的增益之和；将乘积之和除以增益之和。

在一些实现中，成本函数的第二项可以代表音频对象位置和扬声器位置之间的距离。例如，成本函数的第二项可以与音频对象位置和扬声器位置之间距离的平方成比例。在一些实现中，成本函数的第三项设置所确定的增益贡献的尺度。

在一些实现中，成本函数可以是分派给各扬声器的增益的二次函数。然而，在其他实现中，成本函数可以不是二次函数。

本文中公开的方法可以借助硬件、固件、一个或多个非暂态介质中存储的软件、和/或其组合来实现。例如，本公开的至少一些方面可在包括接口系统和逻辑系统的设备中实现。接口系统可以包括用户接口和/或网络接口。在一些实现中，设备可以包括存储系统。接口系统可以包括逻辑系统和存储系统之间的至少一个接口。

逻辑系统可以包括至少一个处理器，诸如通用单芯片或多芯片处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其他可编程逻辑器件、分立的门或晶体管逻辑、分立的硬件组件、和/或其组合。在一些实现中，逻辑系统可以能够根据一个或多个非暂态介质存储的软件，至少部分执行本文中公开的方法。

在一些实现中，逻辑系统可以能够经由接口系统接收包括N个音频对象的音频数据并且确定N个音频对象中的每个的音频对象信号对于M个扬声器中的至少一个的增益贡献。音频对象可以包括音频信号和相关联的元数据。元数据可以至少包括音频对象位置数据。在一些示例中，确定增益贡献可以包含确定响度中心位置并且确定成本函数的最小值。响度中心位置可以是扬声器位置和分派给各扬声器的增益的函数。成本函数的第一项可以代表响度中心位置和音频对象位置之间的差异。在一些实现中，确定响度中心位置可以包含借助加权过程组合扬声器位置，在加权过程中，赋予扬声器位置的权重对应于分派给扬声器位置的增益。

在一些实现中，逻辑系统可以能够借助接口系统接收包括N个音频对象的音频数据，并且确定N个音频对象中的每个的音频对象信号对于M个群集中的至少一个的增益贡献。音频对象可以包括音频信号和相关联的元数据。元数据可以至少包括音频对象位置数据。

在一些实现，逻辑系统可以能够执行从N个音频对象产生M个群集的音频对象集群过程，M是小于N的数。例如，集群过程可以包含：选择M个代表性音频对象；根据M个代表性音频对象中的每个的音频对象位置数据来确定M个群集中的每个的群集质心位置；以及确定N个音频对象中的每个的音频对象信号对于M个群集中的至少一个的增益贡献。各群集质心位置可以是代表与群集相关联的所有音频对象的位置的单个位置。在一些实现中，至少一个群集质心位置可以是随时间变化的。

在一些示例中，确定增益贡献可以包含确定响度中心位置并且确定成本函数的最小值。响度中心位置可以是群集质心位置和分派给各群集的增益的函数。成本函数的第一项可以代表响度中心位置和音频对象位置之间的差异。在一些实现中，确定响度中心位置可以包含借助加权过程组合群集质心位置，在加权过程中，赋予群集质心位置的权重对应于分派给群集质心位置的增益。

在一些实现中，成本函数的第二项可以代表对象位置和扬声器位置或者群集质心位置之间的距离。例如，成本函数的第二项可以与对象位置和扬声器位置或者群集质心位置之间距离的平方成比例。在一些实现中，成本函数的第三项设置所确定的增益贡献的尺度。在一些实现中，成本函数可以是分派给各扬声器或者群集的增益的二次函数。然而，在其他实现中，成本函数可以不是二次函数。

在附图和下面的具体实施方式中阐明了本说明书中描述的主题的一个或多个实现的细节。根据具体实施方式、附图和权利要求书，其他特征、方面和优点将变得清楚。要注意，下面附图的相对尺寸可以不按比例绘制。

附图说明

图1示出具有杜比环绕5.1配置的回放环境的示例。

图2示出具有杜比环绕7.1配置的回放环境的示例。

图3A和图3B示出包括高度扬声器配置的家庭影院回放环境的两个示例。

图4A示出描绘虚拟回放环境中的不同高程处的扬声器区域的图形用户界面(GUI)的示例。

图4B示出另一个回放环境的示例。

图5是示出能够执行集群过程的系统的示例的框图。

图6是示出能够在自适应音频处理系统中对于对象和/或音床进行集群的系统的示例的框图。

图7A和图7B描绘在两个不同时间的音频对象对于群集的贡献。

图8A和图8B示出确定对应于音频对象的增益的示例。

图9是提供向扬声器位置呈现音频对象的一些方法的概况的流程图。

图10A和图10B是提供向群集呈现音频对象的一些方法的概况的流程图。

图10C和图10D提供根据对应群集中的音频对象的增益贡献来修正群集质心位置的示例。

图10E是提供能够实现本公开的各种方面的设备的组件示例的框图。

图11是提供音频处理设备的组件示例的框图。

各种附图中的类似参考标号和名称指示类似的元件。

具体实施方式

下面的描述涉及出于描述本公开的一些创新方面目的的某些实现以及可实现这些创新方面的情境的示例。然而，可以以各种不同方式应用本文中的教导。例如，虽然各种实现是依据特定回放环境被描述的，但本文中的教导可广泛应用于其他已知的回放环境以及可在未来引入的回放环境。此外，所描述的实现可至少部分地在各种装置和系统中作为硬件、软件、固件、基于云的系统等实现。因此，本公开的教导不意图限于附图中示出和/或本文中描述的实现，而是作为替代地具有广泛的适用性。

图1示出具有杜比环绕5.1配置的回放环境的示例。在这个示例中，回放环境是影院回放环境。杜比环绕5.1是在二十世纪九十年代开发出的，但这种配置仍旧广泛地应用于在家庭和影院回放环境中。在电影院回放环境，投影仪105可配置成将例如影片的视频图像投影到屏幕150上。音频数据可以与视频图像同步并且由声音处理器110进行处理。功率放大器115可以向回放环境100的扬声器提供扬声器馈送信号。

杜比环绕5.1配置包括用于左环绕阵列122的左环绕声道120和用于右环绕阵列127的右环绕声道125。杜比环绕5.1配置还包括用于左扬声器阵列132的左声道130、用于中央扬声器阵列137的中央声道135和用于右扬声器阵列142的右声道140。在电影院环境中，这些声道可被分别称为左屏幕声道、中央屏幕声道和右屏幕声道。针对低音音箱145设置单独的低频效果(LFE)声道144。

在2010年，Dolby通过引入杜比环绕7.1为数字影院提供增强方案。图2示出具有杜比环绕7.1配置的回放环境的示例。可以将数字投影仪205配置成接收数字视频数据并且将视频图像投影到屏幕150上。音频数据可以由声音处理器210进行处理。功率放大器215可以向回放环境200的扬声器提供扬声器馈送信号。

像杜比环绕5.1一样，杜比环绕7.1配置包括用于左扬声器阵列132的左声道130、用于中央扬声器阵列137的中央声道135、用于右扬声器阵列142的右声道140和用于低音音箱145的LFE声道144。杜比环绕7.1配置包括均可由单个声道进行驱动的左侧环绕(Lss)阵列220和右侧环绕(Rss)阵列225。

然而，杜比环绕7.1通过将杜比环绕5.1的左环绕声道和右环绕声道分成四个区域来增加了环绕声道的数量：除了左侧环绕阵列220和右侧环绕阵列225之外，还包括用于左后环绕(Lrs)扬声器224和右后环绕(Rrs)扬声器226的单独声道。回放环境200内的环绕区域的数量增加可显著改善声音的局域化。

为了创建更身临其境的环境，一些回放环境可被配置成具有增加数量的扬声器，这些扬声器由增加数量的声道驱动。此外，一些回放环境可以包括部署在各种高程的扬声器，其中一些可以是被配置成从回放环境的座位区上方的区域产生声音的“高度扬声器”。

图3A和图3B示出包括高度扬声器配置的家庭影院回放环境的两个示例。在这些示例中，回放环境300a和300b包括杜比环绕5.1配置的主要特征，包括左环绕扬声器322、右环绕扬声器327、左扬声器332、右扬声器342、中央扬声器337和低音音箱145。然而，回放环境300包括用于高度扬声器的杜比环绕5.1配置的扩展形式，该扩展形式也可被称为杜比环绕5.1.2配置。

图3A示出将高度扬声器安装在家庭影院回放环境的屋顶360上的回放环境的示例。在这个示例中，回放环境300a包括处于左中上(Ltm)位置的高度扬声器352和处于右中上(Rtm)位置的高度扬声器357。在图3B中示出的示例中，左扬声器332和右扬声器342是被配置成反射来自屋顶360的声音的DolbyElevation扬声器。如果正确配置，则被反射的声音可被听众365感知为就好像是声音源是源自屋顶360一样。然而，扬声器的数量和配置只是以举例方式提供的。一些当前的家庭影院实现提供了多达34个扬声器位置，并且预料到的家庭影院实现可允许有甚至更多位置。

因此，现代趋势是不仅仅包括更多扬声器和更多声道，而且包括处于不同高程的扬声器。随着声道的数量增加并且扬声器布局从2D转变成3D，定位和呈现声音的任务变得愈发困难。

因此，Dolby已开发出各种工具，包括但不限于用户界面，其增加3D音频声音系统的功能性和/或降低该系统的创作复杂度。可使用一些这样的工具来创建音频对象和/或用于音频对象的元数据。

图4A示出描绘虚拟回放环境中的不同高程处的扬声器区域的图形用户界面(GUI)的示例。可以例如根据来自逻辑系统的指令、根据从用户输入装置接收的信号等在显示装置上显示GUI400。以下，参照图11描述一些这样的装置。

如参照诸如虚拟回放环境404的虚拟回放环境在本文中使用的，术语“扬声器区域”大体是指可以与或可以不与实际回放环境的扬声器成一一对应关系的逻辑构造。例如，“扬声器区域位置”可以对应于或可以不对应于电影院回放环境的特定扬声器位置。作为替代地，术语“扬声器区域位置”可以大体上指虚拟回放环境的区域。在一些实现中，虚拟回放环境的扬声器区域可以例如借助使用诸如DoblyHeadphone^TM(时常被称为MobileSurround^TM)技术对应于虚拟扬声器，该技术使用一组两通道立体耳机实时创建虚拟环绕声环境。在GUI400中，存在七个处于第一高程的扬声器区域402a和两个处于第二高程的扬声器区域402b，从而在虚拟回放环境404中形成总共九个扬声器区域。在这个示例中，扬声器区域1-3在虚拟回放环境404的前部区域405中。前部区域405可以对应于例如屏幕150所处的影院回放环境的区域、电视屏幕所处的家庭的区域等。

这里，扬声器区域4大体对应于虚拟回放环境404的左部区域410中的扬声器并且扬声器区域5对应于虚拟回放环境404的右部区域415中的扬声器。扬声器区域6对应于虚拟回放环境404的左后部区域412并且扬声器区域7对应于虚拟回放环境404的右后部区域414。扬声器区域8对应于上部区域420a中的扬声器并且扬声器区域9对应于上部区域420b中的扬声器，上部区域402a、420b可以是虚拟屋顶区域。因此，图4A中示出的扬声器区域1-9的位置可以对应于或可以不对应于实际回放环境的扬声器的位置。此外，其他实现可以包括更多或更少的扬声器区域和/或高程。

在本文中描述的各种实现中，可以使用诸如GUI400的用户界面作为创作工具和/或呈现工具的一部分。在一些实现中，创作工具和/或呈现工具可以借助存储在一个或多个非暂态介质上的软件实现。创作工具和/或呈现工具可以(至少部分地)用硬件、固件等实现，诸如以下参照图11描述的逻辑系统和其他装置。在一些创作实现中，可以使用相关创作工具创建相关音频数据的元数据。元数据可以例如包括指示三维空间中的音频对象的位置和/或轨迹的数据、扬声器区域约束数据等。可以关于虚拟回放环境404的扬声器区域402而非关于实际回放环境的特定扬声器布局创建元数据。呈现工具可以接收音频数据和相关联的元数据，并且可以针对回放环境计算音频增益和扬声器馈送信号。这样的音频增益和扬声器馈送信号可以根据幅度平移过程被计算，该幅度平移过程可以创建声音是来自回放环境中的位置P的知觉。例如，扬声器馈送信号可以根据下式被提供到回放环境的扬声器1至N：

xi_；(t)＝g_ix(t)，i＝1，...N(式1)

在式1中，x_i(t)代表将被施加到扬声器i的扬声器馈送信号，g_i代表对应声道的增益因子，x(t)代表音频信号并且t代表时间。可以例如根据特此通过引用并入的V.Pulkki的CompensatingDisplacementofAmplitude-PannedVirtuslSources(AudioEngineerngSociety(AES)InternationalConferenceonVirtual，SyntheticandEntaertainmentAudio)的第3-4页的第2部分中描述的幅度平移方法来确定增益因子。在一些实现中，增益可以依赖于频率。在一些实现中，可通过用x(t-Δt)取代x(t)来引入时间延迟。

在一些呈现实现中，参照扬声器区域402创建的音频再现数据可以被映射到大范围的回放环境的扬声器位置，这些回放环境可以是杜比环绕5.1配置、杜比环绕7.1配置、Hamasaki22.2配置、或其他配置。例如，参照图2，呈现工具可以将用于扬声器区域4和5的音频再现数据映射到具有杜比环绕7.1配置的回放环境的左侧环绕阵列220和右侧环绕阵列225。用于扬声器区域1、2和3的音频再现数据可以被分别映射到左屏幕声道230、右屏幕声道240和中央屏幕声道235。用于扬声器区域6和7的音频再现数据可以被映射到左后环绕扬声器224和右后环绕扬声器226。

图4B示出另一个回放环境的示例。在一些实现中，呈现工具可以将用于扬声器区域1、2和3的音频再现数据映射到回放环境450的对应屏幕扬声器455。呈现工具可以将用于扬声器区域4和5的音频再现数据映射到左侧环绕阵列460和右侧环绕阵列465，并且可以将用于扬声器区域8和9的音频再现数据映射到左顶部扬声器470a和右顶部扬声器470b。用于扬声器区域6和7的音频再现数据可以被映射到左后环绕扬声器480a和右后环绕扬声器480b。

在一些创作实现中，可以使用创作工具来创建用于音频对象的元数据。元数据可以指示对象的3D位置、呈现约束、内容类型(例如，对话、效果等)和/或其他信息。根据实现，元数据可以包括诸如宽度数据、增益数据、轨迹数据等的其他类型的数据。一些音频对象可以是静态的，而其他音频对象可以移动。

音频对象可以根据它们的相关联的元数据被呈现，相关联的元数据通常包括指示音频对象在给定时间点在三维空间中的位置的位置元数据。当在回放环境中监测或回放音频对象时，使用回放环境中存在的扬声器根据位置元数据来呈现音频对象，而非将音频对象输出到预定物理声道，像诸如杜比5.1和杜比7.1的传统的、基于声道的系统的情况一样。

除了位置元数据之外，其他类型的元数据可能是产生预期的音频效果所需要的。例如，在一些实现中，与音频对象相关联的元数据可以指示也被称为“宽度”的音频对象大小。可以使用大小元数据来指示音频对象所占用的空间区域或体积。空间大的音频对象应该被感知为覆盖大的空间区域，而不仅仅被感知为具有只由音频对象位置元数据限定的位置的点声音源。在一些情形下，例如，大音频对象应该被感知为占用回放环境中的重要部分，可能甚至环绕听众。

影院声轨可以包括均具有其相关联的位置元数据、大小元数据和可能其他空间元数据的数以百计的对象。此外，电影院声音系统可以包括数以百计的扬声器，这些扬声器可以被单独控制，以提供令人满意的关于音频对象位置和大小的感知。在电影院中，因此，可以通过数以百计的扬声器再现数以百计的对象，并且对象-扬声器信号映射由非常大的平移系数矩阵组成。当对象的数量是M并且扬声器的数量是N时，这个矩阵具有多达M×N个元素。

诸如电视机、音频-视频接收器(AVR)和移动装置的消费装置的限制致使整个声轨(各音频对象与其他音频对象分开)被传递到消费装置是不可行的。例如，家庭影院的音频处理能力、盘存储空间和比特率限制将通常与电影院声音系统的音频处理能力、盘存储空间和比特率限制并不相当。因此，一些实现可以涉及简化为消费装置提供的音频数据的方法。这些实现可以包含“集群”过程，该过程组合在某个方面(例如，在空间位置、空间大小和/或内容类型方面)类似的音频对象的数据。这些实现可以例如防止对话被混入具有不期望元数据(诸如不靠近中央扬声器的位置或大群集大小)的群集中。以下，参照图5至图7B描述集群的一些示例。

通过对象集群进行场景简化

出于下面描述的目的，术语“集群”和“分组”或“组合”可以互换地用于描述对象和/或音床(声道)的组合，该组合用以减少作为自适应音频回放系统中发送和呈现的自适应音频内容的单位的数据的量；并且术语“减少”可以用于指通过对象和音床的这种集群执行自适应音频的场景简化的动作。在这个描述中的术语“集群”、“分组”或“组合”并不限于对象或音床声道只严格唯一分派给单个群集，作为替代地，可以使用权重或增益矢量将对象或音床声道分布于多于一个的输出音床或者群集，权重或增益矢量确定对象或音床信号对于输出群集或输出音床信号的贡献。

在一个实施例中，自适应音频系统包括至少一个组件，该组件被配置成通过由声道音床和对象的组合创建的空间场景的感知透明简化以及对象集群来减小基于对象的音频内容的带宽。这些组件执行的对象集群过程使用可以包括空间位置、对象内容类型、时间属性、对象大小等关于对象的某些信息，以通过将类似对象分组成取代原始对象的对象集群来降低空间场景的复杂度。

用于基于原始复杂音床和音轨来分布和呈现扣人心弦的用户体验的标准音频编码的额外音频处理一般被称为场景简化和/或对象集群。这个处理的主要目的是通过集群或分组技术来减小空间场景，集群或分组技术减少了将被传递到再现装置的单独音频元件(音床和对象)的数量，但仍然保持足够的空间信息，使得被感知到的原始创作的内容和呈现的输出之间的差异减至最小。

场景简化过程可以有助于使用关于诸如空间位置、时间属性、内容类型、大小和/或其他合适特性的关于对象的信息以将对象动态地集群成减少的数量，进行在减小带宽的声道或编码系统中的对象加音床内容的呈现。这个过程可以通过执行下面的集群操作中的一个或多个来减少对象的数量：(1)将对象集群成对象；(2)将对象与音床进行集群；和(3)将对象和/或音床集群成对象。另外，对象可以分布于两个或更多个群集。该过程可以使用关于对象的时间信息来控制对象的集群和分离。

在一些实现中，对象群集用单个等效波形和元数据集合取代构成对象的个体波形和元数据元素，使得用于N个对象的数据被用于单个对象的数据取代，从而基本上将对象数据从N压缩成1。作为替代地或者附加地，对象或音床声道可以被分布于多于一个的群集(例如，使用幅度平移技术)，从而将对象数据从N减少成M，其中，M<N。集群过程可以使用基于由于被集群对象的位置、响度或其他特性而导致的失真的误差度量来确定被集群对象的集群压缩与声音劣化之间的折衷。在一些实施例中，可以同步地执行集群过程。作为替代地或者附加地，集群过程可以是由事件驱动的，诸如通过使用听觉场景分析(ASA)和/或事件边界检测，以通过集群来控制对象简化。

在一些实施例中，该过程可以利用端点呈现算法和/或装置的知识来控制集群。以这种方式，可以使用回放装置的某些特性或性质来告知集群过程。例如，可以针对扬声器与耳机或其他音频驱动器利用不同的集群方案，或者可以针对无损编码与有损编码使用不同的集群方案，等等。

图5是示出能够执行集群过程的系统的示例的框图。如图5中所示，系统500包括处理输入音频信号以产生处于减小的带宽的输出音频信号的编码器级504和解码器级506。在一些实现中，部分520和部分530可处于不同位置。例如，部分520可以对应于后期制作创作系统，并且部分530可以对应于诸如家庭影院系统的回放环境。在图5中示出的示例中，通过已知压缩技术来处理输入信号的一部分509，以产生经压缩的音频比特流505。经压缩的音频比特流505可以被解码器级506解码，以产生输出507的至少一部分。这种已知压缩技术可以包含分析输入音频内容509，量化音频数据，然后对音频数据本身执行诸如掩蔽等的压缩技术。压缩技术可以是有损的或无损的，并且可以在可以允许用户选择诸如192kbps、256kbps、512kbps等的压缩带宽的系统中实现。

在自适应音频系统中，输入音频的至少一部分包括输入信号501，输入信号501包括音频对象，进而包括音频对象信号和相关联的元数据。元数据定义了诸如对象空间位置、对象大小、内容类型、响度等相关联音频内容的某些特性。可以通过回放系统处理任何实际数量的音频对象(例如，数以百计的对象)。为了有助于准确回放各式各样回放系统和传输介质中的大量对象，系统500包括集群过程或组件502，集群过程或组件502通过将原始对象组合成较少数量的对象群组，将对象的数量减少成较小的、更易管理的数量的对象。

集群过程因此建立对象的群组，以从个体输入对象501的原始集合产生较小数量的输出群组503。集群过程502基本上处理对象的元数据以及音频数据本身，以生成数量减少的对象群组。可以分析元数据，以确定在任何时间点哪些对象最适合与其他对象组合，组合对象对应的音频波形可以被求和以生成替代或组合对象。在这个示例中，组合后的对象群组然后被输入编码器504，编码器504被配置成产生发送到解码器506的包含音频和元数据的比特流505。

总体上，结合有对象集群过程502的自适应音频系统包括由原始空间音频格式生成元数据的组件。系统500包括被配置成处理包含传统基于声道的音频元素和音频对象编码元素二者的一个或多个比特流的音频处理系统的部分。可以在基于声道的音频编解码比特流或音频对象比特流中添加包含音频对象编码元素的扩展层。因此，在这个示例中，比特流505包括要由呈现器处理以与现有扬声器和驱动器设计或者利用可被单独寻址的驱动器和驱动器定义的下一代扬声器一起使用的扩展层。

来自空间音频处理器的空间音频内容可以包括音频对象、声道和位置元数据。当对象被呈现时，可以根据回放扬声器的位置元数据和位置将对象分派给一个或多个扬声器。诸如大小元数据的额外元数据可与对象相关联，以改变回放位置或以其他方式限制将用于回放的扬声器。可以响应于工程师的混合输入在音频工作站中生成元数据以提供呈现提示，该呈现提示控制空间参数(例如，位置、大小、速率、强度、音色等)，并且指明在展示期间收听环境中的哪个(些)驱动器或扬声器播放各个声音。可以在工作站中将元数据与各个音频数据相关联，以便由空间音频处理器进行封装并传送。

图6是示出在自适应音频处理系统中能够对于对象和/或音床进行集群的系统的示例的框图。在图6中示出的示例中，能够执行场景简化任务的对象处理组件606读入任意数量的输入音频文件和元数据。输入音频文件包括输入对象602和相关联的对象元数据，并且可以包括音床604和相关联的音床元数据。这个输入文件/元数据因此对应于“音床”或“对象”音轨。

在这个示例中，对象处理组件606能够组合媒体智能(mediaintelligence)/内容分类、空间失真分析和对象选择/集群信息来创建较小数量的输出对象和音床音轨。特别地，通过相关联的对象/群集元数据，对象可以被集群在一起以创建新的等同的对象和/或对象群集608。对象还可被选择缩混至音床。这在图6中示出为缩混对象610的输出输入呈现器616，以便与音床612进行组合618，以形成输出音床对象和相关联的元数据620。输出音床配置620(例如，杜比5.1配置)不一定需要匹配输入音床配置，该输入音床配置例如对于Atomos电影院而言可以是9.1。在这个示例中，通过组合来自输入音轨的元数据对于输出音轨生成新的元数据，并且还通过组合来自输入音轨的音频对于输出音轨生成新的音频数据。

在这个实现中，对象处理组件606能够使用特定处理配置信息622。这个处理配置信息622可以包括输出对象的数量、帧大小和特定媒体智能设置。媒体智能可以涉及确定对象的(或与对象相关联的)参数或特性，诸如内容类型(即，对话/音乐/效果等)、区域(片段/分类)、预处理结果、听觉场景分析结果和其他类似信息。例如，对象处理组件606可以能够确定哪些音频信号对应于语音、音乐和/或特效声音。在一些实现中，对象处理组件606能够通过分析音频信号来确定至少一些这样的特性。作为替代或者附加地，对象处理组件606可以能够根据诸如标签、标记等相关联的元数据确定至少一些这样的特性。

在替代实施例中，可以通过保持参考所有原始音轨以及简化元数据(例如，哪些对象属于哪个群集，哪些对象将被呈现给音床等)来延迟音频生成。此信息可以例如可用于在影音室和编码室或其他类似场景之间分布场景简化过程的功能。

依据以上描述，应该清楚，各群集可以接收来自多个音频对象的音频信号和元数据的组合。各音频对象的性质的贡献可以由规则集来确定。此规则集可以被认为是平移算法。在这个背景下，在给定各音频对象的音频信号和元数据以及各群集的位置的情况下，平移算法可以针对每个音频对象生成对应于各群集的信号的集合。代表群集的位置的点可以在本文中被称为“群集质心”。

原则上，可以使用各种平移算法来计算音频对象对于各群集的贡献。然而，对于静态扬声器布局非常可用的一些平移算法可能对于确定音频对象性质对于群集的贡献而言不是最佳的。一个原因是，不同于回放环境中的扬声器布局，群集质心位置常常是随时间变化的并且可以是随时间显著变化的。

图7A和图7B描绘了在两个不同的时间音频对象对于群集的贡献。在图7A和图7B中，各椭圆形代表音频对象。各椭圆形的大小对应于对应音频对象的音频信号的幅度或“响度”。尽管在图7A中只示出14个音频对象，但这些音频对象可以只是在图7A所表现的时间的场景中所涉及的音频对象的一部分。在此时刻，集群过程(诸如以上描述的)已确定图7A中示出的14个音频对象将被分组成两个群集，这两个群集在图7A中被标记为C1和C2。

集群过程已选择音频对象710a和710b作为这两个集群最具代表性的音频对象。在这个示例中，选择音频对象710a和710b是因为它们的对应音频数据相比于其他附近的音频对象具有最高幅度。因此，如虚线箭头指示的，来自附近音频对象的音频数据(包括音频对象705c的音频数据)将与音频对象710a和710b的音频数据相组合，以形成所得的群集C1和C2的音频信号。在这个示例中，对应于群集C1的位置的群集质心710a被认为具有与音频对象710a的位置相同的位置。对应于群集C2位置的群集质心710b被认为具有与音频对象710b的位置相同的位置。

然而，在图7B所表现的时间，包括音频对象710a和710c的若干音频对象的位置相对于图7A中示出的配置已发生变化。在图7B所表现的时刻，集群过程已确定图7B中示出的14个音频对象将被分组成三个群集。在给定音频对象710a和710c的新位置的情况下，音频对象705c现在被认为是附近音频对象(包括音频对象705d、705e、705f和705g)中的最具代表性的。因此，音频对象705d、705e、705f和705g的音频数据现在将对所得的群集C3的音频信号有贡献。只有音频对象705h和705i持续对所得的群集C1的音频信号有贡献。

一些平移算法需要基于扬声器位置产生几何机构。例如，基于矢量的幅度平移(VBAP)算法需要由扬声器位置限定的凸包的三角剖分。因为与扬声器布局不同，群集位置常常是随时间变化的，所以使用基于几何结构的平移算法来呈现对应于移动群集的音频数据将需要以非常高的时间变化率重新计算几何结构(诸如供VBAP算法使用的三角形)，这样会需要大量的计算负担。因此，对于消费装置而言，使用这样的算法呈现对应于移动群集可能不是最佳的。此外，即使计算成本不是问题，由于群集移动，使用基于几何结构的平移算法呈现对应于移动群集的音频数据会造成结果不连续：随着群集移动，可能需要针对平移算法选择不同的几何结构。结构的变化是离散的变化，即使群集的运动小，也会发生该变化。

对于呈现对应于移动群集的音频数据而言，甚至不需要几何结构的平移算法也可能是不方便的。当扬声器的空间密度有大的变化时，诸如基于距离的幅度平移(DBAP)的一些平移算法不是最佳的。在其中环绕听众的空间中的一些区域被扬声器密集覆盖而该空间的其他区域包括稀疏扬声器分布的扬声器布局中，平移算法应该考虑这个事实。否则，音频对象趋向于会被感知为位于被扬声器密集覆盖的区域中，这仅仅是由于能量中的最大部分将被集中在那里。这个问题可能在呈现群集的情境下更具挑战性，因为群集常常在空间中移动并且可造成空间密度的显著变化。

此外，动态选择将参于呈现音频对象的群集子集的过程不总是产生连续结果，即使当音频对象的元数据出现连续变化时也是如此。可能不连续的一个原因是选择过程是离散的。如图7A和图7B中所示的，例如，即使一个或多个音频对象(诸如音频对象705a和705c)的平滑移动仍可能导致其他音频对象的音频贡献将被“重新分派”给其他群集。

本文中提供的一些实现包含用于针对扬声器或者群集的任意布局平移音频对象的方法。一些这样的实现不需要使用基于几何结构的算法。本文中公开的方法可以在音频对象的元数据连续改变时和/或群集位置连续改变时产生连续结果。根据一些这样的实现，群集位置和/或音频对象位置的小改变将导致所计算出的增益的小改变。一些这样的方法补偿扬声器密度或者群集密度的变化。尽管公开的方法可适于呈现对应于位置可以随时间变化的群集的音频数据，但这些方法还可用于向具有任意布局的物理扬声器呈现音频数据。

根据本文中公开的一些实现，平移算法的增益计算是基于响度中心(CL)的构思，其在概念上与质量中心的构思类似。根据一些这样的实现，平移算法将确定用于扬声器或者群集的增益，以使得响度中心匹配(或基本上匹配)音频对象的位置。

图8A和图8B示出确定对应于音频对象的增益的示例。尽管这些示例中的讨论主要集中于确定扬声器的增益，但相同的总体构思可用于来确定群集的增益。图8A和图8B描绘了音频对象705和扬声器805、810和815。在这个示例中，音频对象705设置在扬声器805和810的中途。这里，参照原点820，音频对象705在3D空间中的位置被示出为

响度中心的位置可以被确定为：

${\stackrel{\&RightArrow;}{r}}_{CL}=\underset{i}{\&Sigma;}{g}_i{\stackrel{\&RightArrow;}{r}}_i/\underset{i}{\&Sigma;}{g}_i$ (式2)

在式2中，代表响度中心的位置，代表扬声器i的位置并且g_i代表扬声器i的增益。

在图8A和图8B中，扬声器805、810和815的位置被分别示出为和因此，在图8A和图8B中示出的示例中，响度中心的位置可以被确定为 $\&lsqb;\left(g_1{\stackrel{\&RightArrow;}{r}}_1\right)+\left(g_2{\stackrel{\&RightArrow;}{r}}_2\right)+\left(g_3{\stackrel{\&RightArrow;}{r}}_3\right)\&rsqb;/\&lsqb;g_1+g_2+g_3\&rsqb;,$ 其中，g₁、g₂和g₃分别代表扬声器805、810和815的增益。

一些实现包含选择增益以使得匹配或基本上匹配例如，参照式2，一些方法可以包含选择g_i以使得这样的方法具有正属性。例如，如果与扬声器位置相符，则在一些这样的实现中，增益只被分派给该扬声器。如果处于多个扬声器位置之间的线上，则在一些这样的实现中，增益只沿着该线被分派给扬声器。

一些实现包括额外的有利规则。例如，一些实现包括消除非唯一解的规则。

一些这样的规则可以包含最小化其增益将被确定的扬声器(或者群集)的数量。再次参照图8A，示出扬声器805、810和815中的每一个的增益的两个示例。因为音频对象705在扬声器805和810的中途，所以在设置g₃＝0的同时将g₁和g₂设置成同一值将使得在这个示例中，g₁和g₂被设置成1。然而，存在还可以使得的各种其他增益组合。图8A中还示出一个这样的示例：在这个图中示出的第二示例中，g₁＝.5、g₂＝.3和g₃＝.1。

因此，一些实现可以包含使向更远离音频对象的扬声器(或者群集)施加增益受到惩罚的规则。在上述两个情景之中，例如，这些实现将偏好在设置g₃＝0的同时将g₁和g₂设置成1而使得

这些规则可以消除一些但并非全部的非唯一解决方案。如图8B中所示的，例如，即使应用使向更远离音频对象的扬声器(或者群集)施加增益受到惩罚的规则并且在设置g₃＝0的同时将g₁和g₂设置成同一值，将使得的g₁和g₂的值的数量也将仍然是无限多的。因此，在一些实现中，为了在许多非唯一解决方案之中选择单个解决方案，向增益应用缩放因子(scalingfactor)。

在一些实现中，可以借助成本函数实现平移算法的以上规则(以及可能的其他规则)。成本函数可以是基于音频对象的位置、扬声器(或者群集)位置和对应增益。平移算法可以包含相对于增益使成本函数最小。根据一些示例，成本函数中的主项代表响度中心位置和音频对象位置之间(和之间)的差异。成本函数可以包括从许多可能的解决方案之中辨别出并且选择解决方案的“正则(regularization)”项。例如，正则项可以使向相对更远离音频对象的扬声器(或者群集)施加增益受到惩罚。

图9是提供向扬声器位置呈现音频对象的一些方法的概况的流程图。方法900的操作(如同本文中描述的其他方法一样)不一定按指示的次序执行。此外，这些方法可以包括比示出和/或描述的框更多或更少的框。这些方法可以至少部分由逻辑系统(诸如图10E和图11示出的和以下描述的逻辑系统)实现。此逻辑系统可以是音频处理系统的组件。作为替代地或者附加地，这些方法可以借助其上存储有软件的非暂态介质实现。该软件可以包括用于控制一个或多个装置来至少部分执行本文中描述的方法的指令。

在这个示例中，方法900先从框905开始，框905涉及接收包括N个音频对象的音频数据。例如，可以由音频处理系统接收音频数据。在这个示例中，音频对象包括音频信号和相关联的元数据。元数据可以包括各种类型的元数据，诸如在本文中的别处描述的元数据，但在这个示例中至少包括音频对象位置数据。

这里，框910涉及确定N个音频对象中的每个的音频对象信号对于M个扬声器中的至少一个的增益贡献。在这个示例中，确定增益贡献包含确定作为扬声器位置和分派给各扬声器的增益的函数的响度中心位置。这里，确定增益贡献包含确定成本函数的最小值。在这个示例中，成本函数的第一项代表响度中心位置和音频对象位置之间的差异。

根据一些实现，确定响度中心位置可以包含借助加权过程组合扬声器位置，在加权过程中，赋予扬声器位置的权重对应于分派给扬声器位置的增益。在一些这样的实现中，成本函数的第一项可以如下：

$E_{CL}=\&lsqb;{(\underset{i}{\&Sigma;}{g}_i){\stackrel{\&RightArrow;}{r}}_o-\underset{i}{\&Sigma;}{g}_i{\stackrel{\&RightArrow;}{r}}_i\&rsqb;}^2$ (式3)

在式3中，E_CL代表响度中心和音频对象位置之间的误差。因此，在一些实现中，确定响度中心位置可以包含：确定各扬声器位置和分派给各对应扬声器的增益的乘积；计算乘积之和；确定所有扬声器的增益之和；将乘积之和除以增益之和。

如上所述，在一些实现中，成本函数的第二项代表对象位置和扬声器位置之间的距离。根据一些这样的实现，成本函数的第二项与音频对象位置和扬声器位置之间距离的平方成比例。因此，成本函数的第二项可以涉及对于向相对远离源的扬声器施加增益的惩罚。例如，该项可以允许成本函数在以上参照图8A所述的选项之间进行辨别。在一些这样的实现中，成本函数的第二项可以如下：

$E_{dis\tan ce}={\mathrm{\&alpha;}}_{dis\tan ce}\underset{i}{\&Sigma;}{g}_i^2{({\stackrel{\&RightArrow;}{r}}_o-{\stackrel{\&RightArrow;}{r}}_i)}^2$ (式4)

在式4中，E_distance代表对于向相对远离源的扬声器施加增益的惩罚并且α_distance代表距离加权因子。E_distance是上述正则项的示例。在一些实现中，加权因子α_distance可以在0.1和0.0001之间。在一个示例中，α_distance＝0.01。

在一些实现中，成本函数的第三项可以设置用于所确定的增益贡献的尺度(scale)。该项可以允许例如成本函数如以上参照8B所述地在选项之间进行辨别，并且从可能无限数量的增益集中选择单个增益集。在一些这样的实现中，成本函数的第三项可以如下：

$E_{sum-to-one}={\mathrm{\&alpha;}}_{sum-to-one}{\&lsqb;\underset{i}{\&Sigma;}{g}_i-1\&rsqb;}^2$ (式5)

在式5中，E_sum-to-one代表设置增益的尺度的项，并且α_sum-to-one代表增益贡献的缩放因子。在一些示例中，α_sum-to-one可以被设置成1。然而，在其他示例中，α_sum-to-one可以被设置成另一个值，诸如2或其他正数。

在一些实现中，成本函数可以是分派给各扬声器的增益的二次函数。在一些这样的实现中，成本函数可以包括上述的第一项、第二项和第三项，例如，如下：

E[g_i]＝E_CL+E_distance+E_sum-to-one(式6)

在式6中，E[g_i]代表为g_i的二次的成本函数。涉及二次成本函数的实现可以具有潜在优点。例如，使成本函数最小通常是直接的(解析的)。此外，对于二次成本函数，只有一个最小值。然而，替代实现可以使用非二次成本函数，诸如更高次的成本函数。尽管这些替代实现具有一些潜在益处，但相比于二次成本函数的最小化过程，使成本函数最小可能不是直接的。此外，对于更高次的成本函数，一般有多于一个的最小值。确定更高次的成本函数的全局极小值可能存在挑战。

一些实现包含以下过程：调节因应用成本函数而导致的增益以确保保持音量，换句话讲，确保任何任意扬声器布局中音频对象以相同音量/响度被感知。存在各种可能性。在一些实现中，增益可以被归一化，使得：

$g_i^{normalized}=g_i/({\underset{j}{\&Sigma;}{g}_j^p)}^{1/p}$ (式7)

在式7中，g_i ^normalized代表归一化后的扬声器(或者群集)增益并且p代表常数。在一些示例中，p可以在[1,2]的范围内。

尽管主要依据向扬声器进行呈现描述了使用成本函数确定增益贡献的以上讨论，但这些方法可以尤其用于确定群集的增益贡献，群集可以是随时间变化的群集。

图10A和图10B是提供向群集呈现音频对象的一些方法的概况的流程图。方法1000的操作(如同本文中描述的其他方法一样)不一定按指示的次序执行。此外，这些方法可以包括比示出和/或描述的框更多或更少的框。可以至少部分由逻辑系统(诸如图10E和图11示出的和以下描述的逻辑系统)实现这些方法。此逻辑系统可以是音频处理系统的组件。作为替代地或者附加地，可以借助其上存储有软件的非暂态介质实现这些方法。该软件可以包括用于控制一个或多个装置来至少部分执行本文中描述的方法的指令。

在这个示例中，方法1000先从框1005开始，框1005涉及接收包括N个音频对象的音频数据。例如，可以由音频处理系统接收音频数据。在这个示例中，音频对象包括音频信号和相关联的元数据。元数据可以包括各种类型的元数据，诸如在本文中别处描述的元数据，但在这个示例中至少包括音频对象位置数据。在这个示例中，框1010涉及执行从N个音频对象产生M个群集的音频对象集群过程，M是小于N的数。

图10B示出框1010的细节的一个示例。在这个示例中，框1010a涉及选择M个代表性音频对象。如本文中别处所描述的，根据特定实现，可以按照各种标准选择代表性音频对象。如以上参照图7A和图7B描述的，例如，一个这样的标准可以是各音频对象的音频信号的幅度：在框1010a中可以选择相对“较响的”音频对象作为代表。

这里，框1010b涉及根据M个代表性音频对象中的每个的音频对象位置数据来确定M个群集中的每个的群集质心位置。这里，各群集质心位置是代表与群集关联的所有音频对象的位置的单个位置。在这个示例中，各群集质心位置对应于M个代表性音频对象中的一个的位置。

在这个示例中，框1010c涉及确定N个音频对象中的每个的音频信号对于M个群集中的至少一个的增益贡献。这里，确定增益贡献涉及确定作为群集质心位置和分派给各群集的增益的函数的响度中心位置，并且确定成本函数的最小值。在这个实现中，成本函数的第一项代表响度中心位置和音频对象位置之间的差异。

因此，确定对于M个群集中的每个的增益贡献的过程可基本上如上所述地在确定对于M个扬声器中的每个的增益贡献的情境下执行。然而，该过程可以在一些方面不同，因为群集质心位置可以是随时间变化的并且回放环境的扬声器位置一般将不是随时间变化的。

因此，在一些实现中，确定响度中心位置可以包含借助加权过程组合群集质心位置，在加权过程中，赋予群集质心位置的权重对应于分派给群集质心位置的增益。例如，确定响度中心位置可以包含：确定各群集质心位置和分派给各群集质心位置的增益的乘积；计算乘积之和；确定所有群集质心位置的增益之和；将乘积之和除以增益之和。

在一些示例中，成本函数的第二项代表对象位置和群集质心位置之间的距离。例如，成本函数的第二项可以与对象位置和群集质心位置之间距离的平方成比例。在一些实现中，成本函数的第三项可以设置所确定的增益贡献的尺度。成本函数可以是分派给各群集的增益的二次函数。

在这个示例中，可选框1015包含根据对应群集中的音频对象的增益贡献来修正至少一个群集质心位置。如以上所述的，在一些实现中，群集质心位置可以简单地是被选择作为群集代表的音频对象的位置。在包括可选框1015的实现中，代表性音频对象位置可以是初始群集质心位置。在执行以上提及的用于确定音频对象信号对于各群集的贡献的过程之后，在这些实现中，可以根据所确定的增益来确定至少一个修正后的群集质心位置。

图10C和图10D提供了根据对应群集中的音频对象的增益贡献来修正群集质心位置的示例。图10C和图10D和图7A和图7B的修正形式。在图10C中，在执行以上提及的确定音频对象信号对于群集C1和C2的贡献的过程之后，修正了群集质心710a的位置。在这个示例中，群集质心710a的位置被移位成更靠近音频对象705c(群集C1中的第二响音频对象)：用虚线轮廓示出修正后的群集质心710a的位置。

类似地，在图10D中，在执行以上提及的确定音频对象信号对于群集C1、C2和C3的贡献的过程之后，修正了群集质心710a的位置。在这个示例中，群集质心710a的位置被移位成更靠近音频对象705h和705i(群集C1中此时仅剩的其它音频对象)的中点。

图10E是提供能够实现本公开的各种方面的设备的组件示例的框图。设备1050可以是例如音频处理系统(或者可以是音频处理系统的一部分)。

在这个示例中，设备1050包括接口系统1055和逻辑系统1060。逻辑系统1060可以例如包括通用单芯片或多芯片处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑器件、分立的门或晶体管逻辑、和/或分立的硬件组件。

在这个示例中，设备1050包括存储系统1065。存储系统1065可以包括一种或多种合适类型的非暂态存储介质，诸如闪存存储器、硬盘驱动等。接口系统1055可以包括网络接口、逻辑系统和存储系统之间的接口和/或外部装置接口(诸如通用串行总线(USB)接口)。

在这个示例中，逻辑系统1060能够至少部分地执行本文中公开的方法。例如，逻辑系统1060可以能够借助接口系统接收包括N个音频对象的音频数据，音频对象包括音频信号和相关联的元数据。元数据可以至少包括音频对象位置数据。

在一些实现中，逻辑系统1060可以能够确定N个音频对象中的每个的音频对象信号对于M个扬声器中的至少一个的增益贡献。确定增益贡献可以包含确定作为扬声器位置和分派给各扬声器的增益的函数的响度中心位置，并且确定成本函数的最小值。成本函数的第一项可以代表响度中心位置和音频对象位置之间的差异。确定响度中心位置可以包含借助加权过程组合扬声器位置，在加权过程中，赋予扬声器位置的权重对应于分派给扬声器位置的增益。

在一些实现中，逻辑系统1060可以能够执行从N个音频对象产生M个群集的音频对象集群过程，M是小于N的数。集群过程可以包含选择M个代表性音频对象，并且根据M个代表性音频对象中的每个的音频对象位置数据来确定M个群集中的每个的群集质心位置。各群集质心位置可以是代表与群集关联的所有音频对象的位置的单个位置。

逻辑系统1060可以能够确定N个音频对象中的每个的音频对象信号对于M个群集中的至少一个的增益贡献。确定增益贡献可以包含确定作为群集质心位置和分派给各群集的增益的函数的响度中心位置，并且确定成本函数的最小值。在一些实现中，确定响度中心位置可以包含借助加权过程组合群集质心位置，在加权过程中，赋予群集质心位置的权重对应于分派给群集质心位置的增益。至少一个群集质心位置可以是随时间变化的。

成本函数的第一项可以代表响度中心位置和音频对象位置之间的差异。成本函数的第二项可以代表对象位置和扬声器位置或群集质心位置之间的距离。例如，成本函数的第二项可以与对象位置和扬声器位置或群集质心位置之间的距离的平方成比例。成本函数的第三项可以设置所确定的增益贡献的尺度。成本函数可以是分派给各扬声器或群集的增益的二次函数。

在一些实现中，逻辑系统1060可以能够根据一个或多个非暂态介质存储的软件、至少部分地执行本文中公开的方法。非暂态介质可以包括与逻辑系统1060相关联的存储器，诸如随机存取存储器(RAM)和/或只读存储器(ROM)。非暂态介质可以包括存储系统1065的存储器。

图11是提供音频处理设备的组件示例的框图。在这个示例中，音频处理系统1100包括接口系统1105。接口系统1105可以包括诸如无线网络接口的网络接口。作为替代或者附加地，接口系统1105可以包括通用串行总线(USB)接口或其他这样的接口。

音频处理系统1100包括逻辑系统1110。逻辑系统1110可以包括处理器，诸如通用单芯片或多芯片处理器。逻辑系统1110可以包括数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑器件、分立的门或晶体管逻辑、分立的硬件组件、和/或其组合。逻辑系统1110可以被配置成控制音频处理系统1100的其它组件。尽管在图11中示出了音频处理系统1100的组件之间没有接口，但逻辑系统1110可以被配置成具有与其他组件通信的接口。适宜地，其他组件可以被配置为或可以不被配置为相互通信。

逻辑系统1110可以被配置成执行音频处理功能，包括但不限于本文中描述的那些类型的功能。在一些这样的实现中，逻辑系统1110可以被配置成根据一个或多个非暂态介质中存储的软件进行操作(至少部分)。非暂态介质可以包括与逻辑系统1110相关联的存储器，诸如随机存取存储器(RAM)和/或只读存储器(ROM)。非暂态介质可以包括存储系统1115的存储器。存储系统1115可以包括一种或多种合适类型的非暂态存储介质，诸如闪存存储器、硬盘驱动等。

根据音频处理系统1100的表现形式，显示系统1130可以包括一种或多种合适类型的显示器。例如，显示系统1130可以包括液晶显示器、等离子体显示器、双稳态显示器等。

用户输入系统1135可以包括被配置成从用户接受输入的一个或多个装置。在一些实现中，用户输入系统1135可以包括覆在显示系统1130的显示器上的触摸屏。用户输入系统1135可以包括鼠标、跟踪球、姿势检测系统、操纵杆、在显示系统1130上呈现的一个或多个GUI和/或菜单、按钮、键盘、开关等。在一些实现中，用户输入系统1135可以包括麦克风1125：用户可以借助麦克风1125提供针对音频处理系统1100的语音命令。逻辑系统可以被配置用于识别语音并且根据这些语音命令控制音频处理系统1100的至少一些操作。在一些实现中，用户输入系统1135可以被认为是用户接口，因此被认为是接口系统1105的部分。

电源系统1140可以包括诸如锂-镉电池或锂离子电池的一个或多个合适的能量存储装置。电源系统1140可以被配置成从电插座接收电力。

对于本领域的普通技术人员，可以容易地明白本公开中描述的实现的各种修改形式。在不脱离本公开的精神或范围的情况下，本文中定义的总体原理可以应用于其它实现。因此，权利要求书不意图限于本文中示出的实现，而是应被给予与本公开、本文中公开的原理和新颖特征一致的最广范围。

Claims (30)

1.一种方法，所述方法包括：

接收包括N个音频对象的音频数据，音频对象包括音频信号和相关联的元数据，所述元数据至少包括音频对象位置数据；以及

执行用于从所述N个音频对象产生M个群集的音频对象集群过程，M是小于N的数，其中，所述集群过程包括：

选择M个代表性音频对象；

根据所述M个代表性音频对象中的每一个的音频对象位置数据来确定所述M个群集中的每一个的群集质心位置，各群集质心位置是代表与群集关联的所有音频对象的位置的单个位置；以及

确定所述N个音频对象中的每一个的音频信号对于所述M个群集中的至少一个的增益贡献，其中，确定增益贡献包含：

确定作为群集质心位置和分派给各群集的增益的函数的响度中心位置；以及

确定成本函数的最小值，所述成本函数的第一项代表响度中心位置和音频对象位置之间的差异。

2.根据权利要求1所述的方法，其中，确定响度中心位置包含借助加权过程对群集质心位置进行组合，在加权过程中，赋予群集质心位置的权重对应于分派给群集质心位置的增益。

3.根据权利要求1或权利要求2所述的方法，其中，确定响度中心位置包含：

确定各群集质心位置和分派给各群集质心位置的增益的乘积；

计算乘积之和；

确定所有群集质心位置的增益之和；以及

将乘积之和除以增益之和。

4.根据权利要求1至3中的任一项所述的方法，其中，所述成本函数的第二项代表对象位置和群集质心位置之间的距离。

5.根据权利要求4所述的方法，其中，所述成本函数的第二项与音频对象位置和群集质心位置之间的距离的平方成比例。

6.根据权利要求4或权利要求5所述的方法，其中，所述成本函数的第三项设置所确定的增益贡献的尺度。

7.根据权利要求1至6中的任一项所述的方法，其中，所述成本函数是分派给各群集的增益的二次函数。

8.根据权利要求1至7中的任一项所述的方法，还包括根据对应群集中的音频对象的增益贡献来修正至少一个群集质心位置。

9.根据权利要求1至8中的任一项所述的方法，其中，至少一个群集质心位置是随时间变化的。

10.一种方法，所述方法包括：

接收包括N个音频对象的音频数据，音频对象包括音频信号和相关联的元数据，所述元数据至少包括音频对象位置数据；以及

确定所述N个音频对象中的每一个的音频信号对于M个扬声器中的至少一个的增益贡献，其中，确定增益贡献包含：

确定作为扬声器位置和分派给各扬声器的增益的函数的响度中心位置；以及

确定成本函数的最小值，所述成本函数的第一项代表响度中心位置和音频对象位置之间的差异。

11.根据权利要求10所述的方法，其中，确定响度中心位置包含借助加权过程对扬声器位置进行组合，在加权过程中，赋予扬声器位置的权重对应于分派给扬声器位置的增益。

12.根据权利要求10或权利要求11所述的方法，其中，确定响度中心位置包含：

确定各扬声器位置和分派给各对应扬声器的增益的乘积；

计算乘积之和；

确定所有扬声器的增益之和；以及

将乘积之和除以增益之和。

13.根据权利要求10至12中的任一项所述的方法，其中，所述成本函数的第二项代表音频对象位置和扬声器位置之间的距离。

14.根据权利要求13所述的方法，其中，所述成本函数的第二项与音频对象位置和扬声器位置之间的距离的平方成比例。

15.根据权利要求13或权利要求14所述的方法，其中，所述成本函数的第三项设置所确定的增益贡献的尺度。

16.根据权利要求9至14中的任一项所述的方法，其中，所述成本函数是分派给各扬声器的增益的二次函数。

17.一种非暂态介质，在所述非暂态介质上存储有软件，所述软件包括用于控制至少一个设备执行根据权利要求1至16中的任一项所述的方法的指令。

18.一种设备，所述设备包括：

接口系统；以及

逻辑系统，所述逻辑系统适于执行根据权利要求1至16中的任一项所述的方法。

19.一种设备，所述设备包括：

接口系统；以及

逻辑系统，所述逻辑系统能够：

通过所述接口系统接收包括N个音频对象的音频数据，音频对象包括音频信号和相关联的元数据，所述元数据至少包括音频对象位置数据；以及

确定所述N个音频对象中的每一个的音频信号对于M个扬声器中的至少一个的增益贡献，其中，确定增益贡献包含：

确定作为扬声器位置和分派给各扬声器的增益的函数的响度中心位置；以及

确定成本函数的最小值，所述成本函数的第一项代表响度中心位置和音频对象位置之间的差异。

20.根据权利要求19所述的设备，其中，确定响度中心位置包含借助加权过程对扬声器位置进行组合，在加权过程中，赋予扬声器位置的权重对应于分派给扬声器位置的增益。

21.一种设备，所述设备包括：

接口系统；以及

逻辑系统，所述逻辑系统能够：

通过所述接口系统接收包括N个音频对象的音频数据，音频对象包括音频信号和相关联的元数据，所述元数据至少包括音频对象位置数据；以及

执行用于从所述N个音频对象产生M个群集的音频对象集群过程，M是小于N的数，其中，所述集群过程包括：

选择M个代表性音频对象；

根据所述M个代表性音频对象中的每一个的音频对象位置数据来确定所述M个群集中的每一个的群集质心位置，各群集质心位置是代表与群集关联的所有音频对象的位置的单个位置；以及

确定所述N个音频对象中的每一个的音频信号对于所述M个群集中的至少一个的增益贡献，其中，确定增益贡献包含：

确定作为群集质心位置和分派给各群集的增益的函数的响度中心位置；以及

确定成本函数的最小值，所述成本函数的第一项代表响度中心位置和音频对象位置之间的差异。

22.根据权利要求21所述的设备，确定响度中心位置包含借助加权过程对群集质心位置进行加权，在加权过程中，赋予群集质心位置的权重对应于分派给所述群集质心位置的增益。

23.根据权利要求19至22中的任一项所述的设备，其中，所述成本函数的第二项代表对象位置和扬声器位置或群集质心位置之间的距离。

24.根据权利要求23所述的设备，其中，所述成本函数的第二项与音频对象位置和扬声器位置或群集质心位置之间的距离的平方成比例。

25.根据权利要求23或权利要求24所述的设备，其中，所述成本函数的第三项设置所确定的增益贡献的尺度。

26.根据权利要求21至25中的任一项所述的设备，其中，至少一个群集质心位置是随时间变化的。

27.根据权利要求19至26中的任一项所述的设备，其中，所述成本函数是分派给各扬声器或群集的增益的二次函数。

28.根据权利要求19至27中的任一项所述的设备，还包括存储设备，其中，所述接口包括所述逻辑系统和所述存储设备之间的接口。

29.根据权利要求19至28中的任一项所述的设备，其中，所述接口包括网络接口。

30.根据权利要求19至29中的任一项所述的设备，其中，所述逻辑系统包括选自由通用单芯片或多芯片处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑器件、分立的门或晶体管逻辑、分立的硬件组件组成的元件组中的至少一个元件。