CN103650535B

CN103650535B - 用于增强3d音频创作和呈现的系统和工具

Info

Publication number: CN103650535B
Application number: CN201280032165.6A
Authority: CN
Inventors: N·R·茨恩高斯; 查尔斯·Q.·鲁宾逊; J·W·斯查夫
Original assignee: Dolby Laboratories Licensing Corp
Current assignee: Dolby Laboratories Licensing Corp
Priority date: 2011-07-01
Filing date: 2012-06-27
Publication date: 2016-07-06
Anticipated expiration: 2032-06-27
Also published as: MX2013014273A; US20190158974A1; US10244343B2; AU2023214301A1; KR102052539B1; IL258969A; MY181629A; IL254726A0; EP4135348A3; IL230047A; IL251224A; KR102156311B1; TWI666944B; JP2023052933A; RU2018130360A; DK2727381T3; AU2019257459A1; KR101843834B1; CA3134353C; JP2014520491A

Abstract

提供了用于创作和呈现音频再现数据的改进工具。一些这样的创作工具允许音频再现数据被推广用于各种各样的再现环境。可以通过对音频对象创建元数据来创作音频再现数据。可以参照扬声器区域创建所述元数据。在呈现过程期间，可以根据特定再现环境的再现扬声器布局来再现音频再现数据。

Description

用于增强3D音频创作和呈现的系统和工具

相关申请的交叉引用

本申请要求于2011年7月1日提交的美国临时申请No.61/504,005和于2012年4月20日提交的美国临时申请No.61/636,102的优先权，这两篇申请的全部内容出于所有目的通过引用并入此。

技术领域

本公开涉及音频再现数据的创作和呈现。特别地，本公开涉及创作并呈现用于再现环境（诸如影院音响再现系统）的音频再现数据。

背景技术

自从在1927年随影片引入声音以来，用于捕捉电影声带的艺术意图并且在影院环境里重放它的技术一直稳定发展。在20世纪30年代，盘上同步声音让位于影片上的变积式声音，影片上的变积式声音在20世纪40年代通过影院声学考虑和改进的扩音器设计、连同多轨录音和可操纵重播（通过使用控制音调来移动声音）的早期引入得到了进一步改进。在20世纪50年代和60年代，影片的磁条化允许在影院里进行多声道重放，在高级影院里引入环绕声道和多达五个的屏幕声道。

在20世纪70年代，连同用3个屏幕声道和单声环绕声道对混音进行编码和发布的成本有效手段一起，杜比在后期制作中和影片上都引入了降噪。影院音响的质量在20世纪80年代通过杜比频谱录音（SR）降噪和认证程序（诸如THX）得到了进一步改进。在20世纪90年代，杜比将数字声音以5.1声道格式加入电影，5.1声道格式提供了分立的左屏幕声道、中心屏幕声道和右屏幕声道、左环绕阵列和右环绕阵列、以及用于低频效果的超低音声道。于2010年引入的杜比Surround7.1通过将现有的左环绕声道和右环绕声道划分为四个“区域”，增加了环绕声道的数量。

随着声道数量增加以及扩音器布局从平面二维（2D）阵列转变为包括高度的三维（3D）阵列，定位和呈现声音的任务变得越来越困难。改进的音频创作和呈现方法是所期望的。

发明内容

本公开中所描述的主题的一些方面可以在用于创作和呈现音频再现数据的工具中实现。一些这样的创作工具允许音频再现数据被推广用于各种各样的再现环境。根据一些这样的实现，可以通过对音频对象创建元数据来创作音频再现数据。可以参照扬声器区域创建所述元数据。在呈现过程期间，可以根据特定再现环境的再现扬声器布局再现音频再现数据。

本文中所描述的一些实现提供一种包括接口系统和逻辑系统的设备。逻辑系统可以被配置用于通过接口系统接收音频再现数据和再现环境数据，音频再现数据包括一个或多个音频对象和相关联的元数据。再现环境数据可以包括再现环境中的再现扬声器的数量的指示、以及再现环境内的每个再现扬声器的位置的指示。逻辑系统可以被配置用于至少部分基于相关联的元数据和再现环境数据将音频对象呈现到一个或多个扬声器馈送信号中，其中，每个扬声器馈送信号对应于再现环境内的再现扬声器中的至少一个。逻辑系统可以被配置为计算与虚拟扬声器位置相应的扬声器增益。

再现环境可以是例如影院音响系统环境。再现环境可以具有杜比环绕5.1配置、杜比环绕7.1配置、或Hamasaki22.2环绕声配置。再现环境数据可以包括指示再现扬声器位置的再现扬声器布局数据。再现环境数据可以包括指示再现扬声器区域和与这些再现扬声器区域相应的再现扬声器位置的再现扬声器区域布局数据。

元数据可以包括用于将音频对象位置映射到单个再现扬声器位置的信息。呈现可以包含基于所希望的音频对象位置、从所希望的音频对象位置到参考位置的距离、音频对象的速率或音频对象内容类型中的一个或多个来创建总增益（aggregategain）。元数据可以包括用于将音频对象的位置约束到一维曲线或二维表面的数据。元数据可以包括用于音频对象的轨迹数据。

呈现可以包含施加扬声器区域约束。例如，所述设备可以包括用户输入系统。根据一些实现，呈现可以包含根据从用户输入系统接收的屏幕与房间平衡控制数据应用屏幕与房间平衡控制。

所述设备可以包括显示系统。逻辑系统可以被配置为控制显示系统以显示再现环境的动态三维视图。

呈现可以包含控制在三个维度中的一个或多个中的音频对象扩散。呈现可以包含响应于扬声器过载的动态对象分摊（blobbing）。呈现可以包含将音频对象位置映射到再现环境的扬声器阵列的平面。

所述设备可以包括一个或多个非暂态存储介质，诸如存储系统的存储装置。存储器装置可以例如包括随机存取存储器（RAM）、只读存储器（ROM）、闪存、一个或多个硬盘驱动器等。接口系统可以包括逻辑系统与一个或多个这样的存储装置之间的接口。接口系统还可以包括网络接口。

元数据可以包括扬声器区域约束元数据。逻辑系统可以被配置用于通过执行以下操作来使所选扬声器馈送信号衰减：计算包括来自所选扬声器的贡献的第一增益；计算不包括来自所选扬声器的贡献的第二增益；并将第一增益与第二增益混合。逻辑系统可以被配置为确定是将平移规则（panningrules）应用于音频对象位置，还是将音频对象位置映射到单个扬声器位置。逻辑系统可以被配置为使当从将音频对象位置映射到第一单个扬声器位置转变为将音频对象位置映射到第二单个扬声器位置时的扬声器增益的转变平滑。逻辑系统可以被配置为使当在将音频对象位置映射到单个扬声器位置与将平移规则应用于音频对象位置之间转变时的扬声器增益的转变平滑。逻辑系统可以被配置为计算用于沿着虚拟扬声器位置之间的一维曲线的音频对象位置的扬声器增益。

本文中所描述的一些方法包含接收音频再现数据以及接收再现环境数据，音频再现数据包括一个或多个音频对象和相关联的元数据，再现环境数据包括再现环境中的再现扬声器的数量的指示。再现环境数据可以包括再现环境内的每个再现扬声器的位置的指示。这些方法可以包含至少部分基于相关联的元数据将音频对象呈现到一个或多个扬声器馈送信号中。每个扬声器馈送信号可以对应于再现环境内的再现扬声器中的至少一个。再现环境可以是影院音响系统环境。

呈现可以包含基于所希望的音频对象位置、从所希望的音频对象位置到参考位置的距离、音频对象的速率或音频对象内容类型中的一个或多个来创建总增益。元数据可以包括用于将音频对象的位置约束到一维曲线或二维表面的数据。呈现可以包含施加扬声器区域约束。

一些实现可以表现为在其上存储软件的一个或多个非暂态介质中。所述软件可以包括用于控制一个或多个装置执行以下操作的指令：接收音频再现数据，音频再现数据包括一个或多个音频对象和相关联的元数据；接收再现环境数据，再现环境数据包括再现环境中的再现扬声器的数量的指示、以及再现环境内的每个再现扬声器的位置的指示；并至少部分基于相关联的元数据将音频对象呈现到一个或多个扬声器馈送信号中。每个扬声器馈送信号可以对应于再现环境内的再现扬声器中的至少一个。再现环境可以是例如影院音响系统环境。

呈现可以包含基于所希望的音频对象位置、从所希望的音频对象位置到参考位置的距离、音频对象的速率或音频对象内容类型中的一个或多个来创建总增益。元数据可以包括用于将音频对象的位置约束到一维曲线或二维表面的数据。呈现可以包含施加扬声器区域约束。呈现可以包含响应于扬声器过载的动态对象分摊。

本文中描述了替代装置和设备。一些这样的设备可以包括接口系统、用户输入系统和逻辑系统。逻辑系统可以被配置用于：通过接口系统接收音频数据；通过用户输入系统或接口系统接收音频对象的位置；并确定音频对象在三维空间中的位置。确定可以包含将所述位置约束到三维空间内的一维曲线或二维表面。逻辑系统可以被配置用于至少部分基于通过用户输入系统接收的用户输入来创建与音频对象相关联的元数据，该元数据指示音频对象在三维空间中的位置。

元数据可以包括指示音频对象在三维空间内的时变位置的轨迹数据。逻辑系统可以被配置为根据通过用户输入系统接收的用户输入来计算轨迹数据。轨迹数据可以包括三维空间内的在多个时间实例的一组位置。轨迹数据可以包括初始位置、速率数据和加速度数据。轨迹数据可以包括初始位置以及限定三维空间中的位置和相应时间的方程。

所述设备可以包括显示系统。逻辑系统可以被配置为控制显示系统根据轨迹数据显示音频对象轨迹。

逻辑系统可以被配置为根据通过用户输入系统接收的用户输入创建扬声器区域约束元数据。扬声器区域约束元数据可以包括用于禁用所选扬声器的数据。逻辑系统可以被配置为通过将音频对象位置映射到单个扬声器来创建扬声器区域约束元数据。

所述设备可以包括声音再现系统。逻辑系统可以被配置为至少部分根据所述元数据控制声音再现系统。

音频对象的位置可以被约束到一维曲线。逻辑系统可以被进一步配置为沿着该一维曲线创建虚拟扬声器位置。

本文中描述了替代方法。一些这样的方法涉及：接收音频数据，接收音频对象的位置，并确定音频对象在三维空间中的位置。确定可以包含将所述位置约束到三维空间内的一维曲线或二维表面。所述方法可以涉及至少部分基于用户输入创建与音频对象相关联的元数据。

元数据可以包括指示音频对象在三维空间中的位置的数据。元数据可以包括指示音频对象在三维空间内的时变位置的轨迹数据。创建元数据可以包含例如根据用户输入来创建扬声器区域约束元数据。扬声器区域约束元数据可以包括用于禁用所选扬声器的数据。

音频对象的位置可以被约束到一维曲线。所述方法可以涉及沿着该一维曲线创建虚拟扬声器位置。

本公开的其他方面可以在一个或多个其上存储有软件的非暂态介质中实现。所述软件可以包括用于控制一个或多个装置执行以下操作的指令：接收音频数据；接收音频对象的位置；并确定音频对象在三维空间中的位置。确定可以包含将所述位置约束到三维空间内的一维曲线或二维表面。所述软件可以包括用于控制一个或多个装置以创建与音频对象相关联的元数据的指令。可以至少部分基于用户输入来创建所述元数据。

音频对象的位置可以被约束到一维曲线。所述软件可以包括用于控制一个或多个装置以沿着该一维曲线创建虚拟扬声器位置的指令。

在附图和以下描述中阐述了本说明书中所描述的主题的一种或多种实现的细节。从描述、附图和权利要求书，其他特征、方面和优点将变得清楚。指出，附图中的相对尺寸可以不按比例绘制。

附图说明

图1示出具有杜比环绕5.1配置的再现环境的例子。

图2示出具有杜比环绕7.1配置的再现环境的例子。

图3示出具有Hamasaki22.2环绕声配置的再现环境的例子。

图4A示出描绘在虚拟再现环境中处于不同高度（elevation）的扬声器区域的图形用户界面（GUI）的例子。

图4B示出另一再现环境的例子。

图5A-5C示出与具有被约束到三维空间的二维表面的位置的音频对象相应的扬声器响应的例子。

图5D和5E示出音频对象可以被约束到的二维表面的例子。

图6A是概括将音频对象的位置约束到二维表面的过程的一个例子的流程图。

图6B是概括将音频对象位置映射到单个扬声器位置或单个扬声器区域的过程的一个例子的流程图。

图7是概括建立并使用虚拟扬声器的过程的流程图。

图8A-8C示出映射到线端点的虚拟扬声器和相应的扬声器响应的例子。

图9A-9C示出使用虚拟系链（virtualtether）移动音频对象的例子。

图10A是概括使用虚拟系链移动音频对象的过程的流程图。

图10B是概括使用虚拟系链移动音频对象的替代过程的流程图。

图10C-10E示出图10B中概括的过程的例子。

图11示出在虚拟再现环境中应用扬声器区域约束的例子。

图12是概括应用扬声器区域约束规则的一些例子的流程图。

图13A和13B示出可以在虚拟再现环境的二维视图与三维视图之间切换的GUI的例子。

图13C-13E示出再现环境的二维和三维描绘的组合。

图14A是控制设备呈现诸如图13C-13E中所示的GUI的GUI的过程的流程图。

图14B是概括针对再现环境呈现音频对象的过程的流程图。

图15A示出虚拟再现环境中的音频对象和相关联的音频对象宽度的例子。

图15B示出与图15A中所示的音频对象宽度相应的扩散分布图的例子。

图16是概括使音频对象分摊的过程的流程图。

图17A和17B示出被定位在三维虚拟再现环境中的音频对象的例子。

图18示出与平移模式相应的区域的例子。

图19A-19D示出将近场平移技术和远场平移技术应用于处于不同位置的音频对象的例子。

图20指示在屏幕与房间偏置控制过程中可以使用的再现环境的扬声器区域。

图21是提供创作和/或呈现设备的组件的例子的框图。

图22A是表示可以用于音频内容创建的一些组件的框图。

图22B是表示可以用于再现环境中的音频重放的一些组件的框图。

各个图中相似的附图标记和指定名称指示相似的元件。

具体实施方式

为了描述本公开的一些创新方面以及在其中可以实现这些创新方面的上下文的例子的目的，以下描述针对特定实现。然而，可以以各种不同的方式应用本文中的教导。例如，尽管就特定再现环境而言描述了各种实现，但是本文中的教导可广泛地应用于其他已知的再现环境、以及在未来可能引入的再现环境。类似地，尽管本文中给出了图形用户界面（GUI）的例子，这些例子中的一些提供扬声器位置、扬声器区域等的例子，但是发明人还可构想其他实现。而且，所描述的实现可以在可以用各种硬件、软件、固件等实现的各种创作和/或呈现工具中实现。因此，本公开的教导并非意图被局限于附图中所示的和/或本文中所描述的实现，而是具有广泛的适用性。

图1示出具有杜比环绕5.1配置的再现环境的例子。杜比环绕5.1开发于20世纪90年代，但是这种配置仍被广泛地部署在影院音响系统环境中。投影仪105可以被配置为将视频图像（例如，关于电影的视频图像）投影在屏幕150上。音频再现数据可以与视频图像同步，并且被声音处理器110处理。功率放大器115可以将扬声器馈送信号提供给再现环境100的扬声器。

杜比环绕5.1配置包括左环绕阵列120、右环绕阵列125，左环绕阵列120和右环绕阵列125均由单个声道成套驱动（gang-driven）。杜比环绕5.1配置还包括用于左屏幕声道130、中央屏幕声道135和右屏幕声道140的单独声道。用于超低音扬声器145的单独声道被提供用于低频效果（LFE）。

在2010年，杜比通过引入杜比环绕7.1增强了数字影院音响。图2示出具有杜比环绕7.1配置的再现环境的例子。数字投影仪205可以被配置为接收数字视频数据并将视频图像投影在屏幕150上。音频再现数据可以被声音处理器210处理。功率放大器215可以将扬声器馈送信号提供给再现环境200的扬声器。

杜比环绕7.1配置包括左侧环绕阵列220和右侧环绕阵列225，左侧环绕阵列220和右侧环绕阵列225均可以由单个声道驱动。像杜比环绕5.1那样，杜比环绕7.1配置包括用于左屏幕声道230、中央屏幕声道235、右屏幕声道240和超低音扬声器245的单独声道。然而，杜比环绕7.1通过将杜比环绕5.1的左环绕声道和右环绕声道划分为四个区域，增加了环绕声道的数量：除了左侧环绕阵列220和右侧环绕阵列225之外，还包括用于左后环绕扬声器224和右后环绕扬声器226的单独声道。增加再现环境200内的环绕区域的数量可以显著地改进声音的局部化。

为了努力创建更加身临其境的环境，一些再现环境可以被配置有数量增加的扬声器，这些扬声器由数量增加的声道驱动。而且，一些再现环境可以包括部署在各种高度处的扬声器，这些扬声器中的一些可以在再现环境的座位区的上方。

图3示出具有Hamasaki22.2环绕声配置的再现环境的例子。Hamasaki22.2在日本的NHK科学和技术研究实验室被开发为超高清电视的环绕声组件。Hamasaki22.2提供24个扬声器声道，这些扬声器声道可以用于驱动按三层布置的扬声器。再现环境300的上扬声器层310可以由9个声道驱动。中间扬声器层320可以由10个声道驱动。下扬声器层330可以由5个声道驱动，这5个声道中的两个声道用于超低音扬声器345a和345b。

因此，现代趋势是不仅包括更多个扬声器和更多个声道，而且还包括处于不同高度的扬声器。随着声道数量增加以及扬声器布局从2D阵列转变为3D阵列，定位和呈现声音的任务变得越来越困难。

本公开提供了对于3D音频声音系统增加功能性和/或降低创作复杂度的各种工具以及相关用户界面。

图4A示出描绘在虚拟再现环境中处于不同高度的扬声器区域的图形用户界面（GUI）的例子。GUI400可以例如根据来自逻辑系统的指令、根据从用户输入装置接收的信号以及根据其他方式而显示在显示装置上。以下参照图21描述一些这样的装置。

如本文中关于虚拟再现环境（诸如虚拟再现环境404）所使用的，术语“扬声器区域”泛指可以具有或可以不具有与实际再现环境的再现扬声器的一一对应关系的逻辑构造。例如，“扬声器区域位置”可以对应于或可以不对应于影院再现环境的特定再现扬声器位置。作为替代，术语“扬声器区域位置”可以泛指虚拟再现环境的区域。在一些实现中，虚拟再现环境的扬声器区域可以例如通过使用虚拟化技术而对应于虚拟扬声器，所述虚拟化技术通过使用一组两声道立体声耳机实时地创建虚拟环绕声环境，诸如DolbyHeadphone^TM（有时被称为MobileSurround^TM）。在GUI400中，存在处于第一高度的七个扬声器区域402a和处于第二高度的两个扬声器区域402b，从而在虚拟再现环境404下产生总共九个扬声器区域。在这个例子中，扬声器区域1-3在虚拟再现环境404的前区405中。前区405可以对应于例如影院再现环境的其中安置屏幕150的区域、家里安置电视屏幕的区域等。

这里，扬声器区域4大致对应于虚拟再现环境404的左侧区410中的扬声器，扬声器区域5对应于虚拟再现环境404的右侧区415中的扬声器。扬声器区域6对应于虚拟再现环境404的左后区412，扬声器区域7对应于虚拟再现环境404的右后区414。扬声器区域8对应于上部区420a中的扬声器，扬声器区域9对应于上部区420b中的扬声器，上部区420b可以是虚拟天花板区，诸如图5D和5E中所示的虚拟天花板520的区域。因此，如以下更详细描述的，图4A中所示的扬声器区域1-9的位置可以对应于或可以不对应于实际再现环境的再现扬声器的位置。而且，其他实现可以包括更多的或更少的扬声器区域和/或高度。

在本文中所描述的各种实现中，诸如GUI400的用户界面可以用作创作工具和/或呈现工具的一部分。在一些实现中，创作工具和/或呈现工具可以通过存储在一个或多个非暂态介质上的软件实现。创作工具和/或呈现工具可以（至少部分）用硬件、固件等（诸如以下参照图21描述的逻辑系统和其他装置）实现。在一些创作实现中，相关联的创作工具可以用于创建用于相关联的音频数据的元数据。该元数据可以例如包括指示音频对象在三维空间中的位置和/或轨迹的数据、扬声器区域约束数据等。可以对于虚拟再现环境404的扬声器区域402创建元数据，而不是对于实际再现环境的特定扬声器布局创建元数据。呈现工具可以接收音频数据和相关联的元数据，并且可以针对再现环境计算音频增益和扬声器馈送信号。可以根据振幅平移过程来计算这样的音频增益和扬声器馈送信号，该振幅平移过程可以创建声音正来自再现环境中的位置P的感知。例如，可以根据以下方程将扬声器馈送信号提供给再现环境的再现扬声器1至N：

x_i(t)=g_ix(t),i=1,…N（方程1）

在方程1中，x_i(t)表示将施加于扬声器i的扬声器馈送信号，gi表示相应声道的增益因子，x(t)表示音频信号，t表示时间。可以例如根据V.Pulkki,CompensatingDisplacementofAmplitude-PannedVirtualSources（AudioEngineeringSociety(AES)InternationalConferenceonVirtual,SyntheticandEntertainmentAudio）的第2章第3-4页中所描述的振幅平移方法来确定增益因子，该文献通过引用并入。在一些实现中，增益可以是频率相关的。在一些实现中，可以通过用x(t-Δt)取代x(t)来引入时间延迟。

在一些呈现实现中，可以将关于扬声器区域402创建的音频再现数据映射到范围广泛的再现环境的扬声器位置，再现环境可以为杜比环绕5.1配置、杜比环绕7.1配置、Hamasaki22.2配置或另一种配置。例如，参照图2，呈现工具可以将用于扬声器区域4和5的音频再现数据映射到具有杜比环绕7.1配置的再现环境的左侧环绕阵列220和右侧环绕阵列225。可以分别将用于扬声器区域1、2和3的音频再现数据映射到左屏幕声道230、右屏幕声道240和中心屏幕声道235。可以将用于扬声器区域6和7的音频再现数据映射到左后环绕扬声器224和右后环绕扬声器226。

图4B示出另一再现环境的例子。在一些实现中，呈现工具可以将用于扬声器区域1、2和3的音频再现数据映射到再现环境450的相应屏幕扬声器455。呈现工具可以将用于扬声器区域4和5的音频再现数据映射到左侧环绕阵列460和右侧环绕阵列465，并且可以将用于扬声器区域8和9的音频再现数据映射到左侧头顶阵列470a和右侧头顶阵列470b。可以将用于扬声器区域6和7的音频再现数据映射到左后环绕扬声器480a和右后环绕扬声器480b。

在一些创作实现中，创作工具可以用于创建音频对象的元数据。如本文中所使用的，术语“音频对象”可以是指音频数据和相关联的元数据的流。该元数据典型地指示对象的3D位置、呈现约束以及内容类型（例如，对话、效果等）。根据实现，元数据可以包括其他类型的数据，诸如宽度数据、增益数据、轨迹数据等。一些音频对象可以是静态的，而其他音频对象可以移动。可以根据相关联的元数据创作或呈现音频对象细节，所述相关联的元数据尤其可以指示音频对象在给定时刻在三维空间中的位置。当在再现环境中监视或重放音频对象时，可以使用存在于再现环境中的再现扬声器根据位置元数据来呈现音频对象，而不是如传统的基于声道的系统（诸如杜比5.1和杜比7.1）的情况那样将音频对象输出到预定物理声道。

本文中参照基本上与GUI400相同的GUI描述各种创作和呈现工具。然而，可以与这些创作和呈现工具相关联地使用各种其他用户界面，包括但不限于，GUI。一些这样的工具可以通过应用各种类型的约束来简化创作过程。现在将参照图5A等描述一些实现。

图5A-5C示出与具有被约束到三维空间的二维表面的位置的音频对象相应的扬声器响应的例子，在这个例子中，三维空间是半球体。在这些例子中，已经通过采用9扬声器配置（其中，每个扬声器对应于扬声器区域1-9中的一个扬声器区域）的呈现器计算了扬声器响应。然而，如本文中其他地方所指出的，在虚拟再现环境的扬声器区域与再现环境中的再现扬声器之间通常可能不存在一对一映射。首先参照图5A，音频对象505被示出在虚拟再现环境404的左前部分中的位置。因此，与扬声器区域1相应的扬声器指示大幅增益，与扬声器区域3和4相应的扬声器指示适中增益。

在这个例子中，可以通过将光标510放置在音频对象505上并将音频对象505“拖动”到虚拟再现环境404的x,y平面中的所希望的位置上来改变音频对象505的位置。当朝向再现环境的中部拖动对象时，还将它映射到半球体的表面，并且它的高度增加。这里，音频对象505的高度的增加由表示音频对象505的圆的直径的增大指示：如图5B和5C所示，当音频对象505被拖动到虚拟再现环境404的顶部中心时，音频对象505显得越来越大。可替换地或另外，音频对象505的高度可以由颜色、亮度、数值高度指示等指示。当音频对象505位于虚拟再现环境404的顶部中心时，如图5C所示，与扬声器区域8和9相应的扬声器指示大幅增益，而其他扬声器指示很小的增益或没有增益。

在这种实现中，音频对象505的位置被约束到二维表面，诸如球形表面、椭圆形表面、圆锥形表面、圆柱形表面、楔形等。图5D和5E示出音频对象可以被约束到的二维表面的例子。图5D和5E是通过虚拟再现环境404的截面图，其中，前区405显示在左侧。在图5D和5E中，y-z轴的y值在虚拟再现环境404的前区405的方向上增大，以保留与图5A-5C中所示的x-y轴的取向的一致性。

在图5D中所示的例子中，二维表面515a是椭圆体的截面。在图5E中所示的例子中，二维表面515b是楔形体的截面。然而，图5D和5E中所示的二维表面515的形状、取向和位置仅仅是例子。在替代实现中，二维表面515的至少一部分可以延伸到虚拟再现环境404的外部。在一些这样的实现中，二维表面515可以延伸到虚拟天花板520之上。因此，二维表面515在其内延伸的三维空间不一定与虚拟再现环境404的体积共同延伸。在还其他实现中，音频对象可以被约束到一维特征，诸如曲线、直线等。

图6A是概括将音频对象的位置约束到二维表面的过程的一个例子的流程图。与本文中所提供的其他流程图一样，过程600的操作不一定按所示的顺序执行。而且，过程600（和本文中所提供的其他过程）可以包括比图中所指示的和/或所描述的操作多或少的操作。在这个例子中，方框605至622由创作工具执行，方框624至630由呈现工具执行。创作工具和呈现工具可以在单个设备中实现或者在多于一个的设备中实现。尽管图6A（和本文中所提供的其他流程图）可以造成创作过程和呈现过程被顺序执行的印象，但是在许多实现中，基本上同时执行创作过程和呈现过程。创作过程和呈现过程可以是交互式的。例如，可以将创作操作的结果发送给呈现工具，用户可以评估呈现工具的相应结果，该用户可以基于这些结果执行进一步的创作，等等。

在方框605中，接收音频对象位置应当被约束到二维表面的指示。该指示可以例如由被配置为提供创作工具和/或呈现工具的设备的逻辑系统接收。与本文中所描述的其他实现一样，可以根据存储在非暂态介质中的软件的指令、根据固件以及根据其他方式来操作逻辑系统。该指示可以是响应于用户输入而来自用户输入装置（诸如触摸屏、鼠标、跟踪球、手势识别装置等）的信号。

在操作方框607中，接收音频数据。因为音频数据还可以从与元数据创作工具时间同步的另一源（例如，混音台）直接转到呈现器，所以在这个例子中，方框607是可选的。在一些这样的实现中，可以存在将每个音频流结合到相应的传入元数据流以形成音频对象的隐含机制。例如，元数据流可以包含用于它所表示的音频对象的标识符，例如，从1至N的数值。如果呈现设备被配置有也从1至N编号的音频输入，则呈现工具可以自动地假设，音频对象由用数值（例如，1）标识的元数据流和在第一音频输入上接收的音频数据形成。类似地，被标识为编号2的任何元数据流可以与在第二音频输入声道上接收的音频一起形成对象。在一些实现中，可以用创作工具预先对音频和元数据进行打包以形成音频对象，并且可以将音频对象提供给呈现工具，例如，通过网络将音频对象作为TCP/IP包发送给呈现工具。

在替代实现中，创作工具可以在网络上仅发送元数据，呈现工具可以从另一源（例如，通过脉冲码调制（PCM）流、通过模拟音频以及其他源）接收音频。在这样的实现中，呈现工具可以被配置为对音频数据和元数据进行分组以形成音频对象。音频数据可以例如被逻辑系统通过接口接收。该接口可以例如是网络接口、音频接口（例如，被配置用于通过AES3标准（AES3标准由音频工程协会和欧洲广播联盟开发，也被称为AES/EBU）、通过多声道音频数字接口（MADI）协议、通过模拟信号、以及通过其他方式进行通信的接口）、或逻辑系统与存储装置之间的接口。在这个例子中，呈现器所接收的数据包括至少一个音频对象。

在方框610中，接收音频对象位置的(x,y)坐标或(x,y,z)坐标。方框610可以例如涉及接收音频对象的初始位置。方框610还可以涉及接收用户已经例如如以上参照图5A-5C所描述的那样定位或重新定位音频对象的指示。在方框615中，可以将音频对象的坐标映射到二维表面。二维表面可以类似于以上参照图5D和图5E所描述的那些二维表面中的一个二维表面，或者它可以是不同的二维表面。在这个例子中，x-y平面的每个点将被映射到单个z值，所以方框615涉及将在方框610中接收的x坐标和y坐标映射到z的值。在其他实现中，可以使用不同的映射过程和/或坐标系。可以在方框615中所确定的(x,y,z)位置处显示音频对象（方框620）。在方框621中，可以存储音频数据和元数据（包括在方框615中确定的映射的(x,y,z)位置）。可以将音频数据和元数据发送给呈现工具（方框622）。在一些实现中，可以在正在执行一些创作操作的同时，例如，在正在GUI400中定位、约束、显示音频对象的同时、以及在其他时候，连续地发送元数据。

在方框623中，确定创作过程是否将继续。例如，当从用户界面接收到指示用户不再希望将音频对象位置约束到二维表面的输入时，创作过程可以结束（方框625）。否则，创作过程可以例如通过回到方框607或方框610来继续。在一些实现中，不管创作过程是否继续，呈现操作都可以继续。在一些实现中，为了展览的目的，可以将音频对象记录到创作平台上的盘，然后从与声音处理器（例如，类似于图2的声音处理器210的声音处理器）连接的专用声音处理器或影院服务器重放这些音频对象。

在一些实现中，呈现工具可以是在被配置为提供创作功能的设备上运行的软件。在其他实现中，可以在另一装置上提供呈现工具。用于创作工具与呈现工具之间的通信的通信协议的类型可以根据这两个协议是否在同一装置上运行或者它们是否通过网络进行通信而变化。

在方框626中，呈现工具接收音频数据和元数据（包括在方框615中确定的一个(x,y,z)位置（多个(x,y,z)位置））。在替代实现中，呈现工具分开接收音频数据和元数据，并通过隐含机制将这些数据解释为音频对象。如以上所指出的，例如，元数据流可以包含音频对象标识码（例如，1、2、3等），并且可以在呈现系统上分别与第一音频输入、第二音频输入、第三音频输入（例如，数字或模拟音频连接）附连以形成可以呈现给扩音器的音频对象。

在过程600的呈现操作（和本文中所描述的其他呈现操作）期间，可以根据特定再现环境的再现扬声器布局来应用平移增益方程。因此，呈现工具的逻辑系统可以接收再现环境数据，再现环境数据包括再现环境中的再现扬声器的数量的指示、以及再现环境内的每个再现扬声器的位置的指示。可以例如通过访问存储在逻辑系统可访问的存储器中的或通过接口系统接收的数据结构来接收这些数据。

在这个例子中，将平移增益方程应用于一个(x,y,z)位置（多个(x,y,z)位置），以确定增益值（方框628），以应用于音频数据（方框630）。在一些实现中，再现扬声器（例如，被配置用于与呈现工具的逻辑系统进行通信的耳机的扬声器（或其他扬声器））可以再现已经响应于这些增益值对其水平进行了调整的音频数据。在一些实现中，再现扬声器位置可以对应于虚拟再现环境（诸如上述虚拟再现环境404）的扬声器区域的位置。相应的扬声器响应可以例如如图5A-5C所示那样显示在显示装置上。

在方框635中，确定所述过程是否将继续。例如，当从用户接口接收到指示用户不再希望继续呈现过程的输入时，所述过程可以结束（方框640）。否则，所述过程可以例如通过回到方框626来继续进行。如果逻辑系统接收到用户希望回到相应的创作过程的指示，则过程600可以回到方框607或方框610。

其他实现可以涉及对于音频对象施加各种其他类型的约束并创建其他类型的约束元数据。图6B是概括将音频对象位置映射到单个扬声器位置的过程的一个例子的流程图。该过程在本文中也可以被称为“抓取（snapping）”。在方框655中，接收音频对象位置可以被抓取到单个扬声器位置或单个扬声器区域的指示。在这个例子中，指示是当合适时音频对象位置将被抓取到单个扬声器位置。该指示可以例如由被配置为提供创作工具的设备的逻辑系统接收。该指示可以对应于从用户输入装置接收的输入。然而，该指示还可以对应于音频对象的类别（例如，子弹声音、嗓音发声等）和/或音频对象的宽度。关于类别和/或宽度的信息可以例如作为音频对象的元数据而被接收。在这样的实现中，方框657可以在方框655之前发生。

在方框656中，接收音频数据。在方框657中，接收音频对象位置的坐标。在这个例子中，根据在方框657中接收的坐标显示音频对象位置（方框658）。在方框659中，保存包括音频对象坐标和指示抓取功能的抓取标志的元数据。创作工具将音频数据和元数据发送给呈现工具（方框660）。

在方框662中，确定创作过程是否将继续。例如，当从用户接口接收到指示用户不再希望将音频对象位置抓取到扬声器位置的输入时，创作过程可以结束（方框663）。否则，创作过程可以例如通过回到方框665来继续。在一些实现中，不管创作过程是否继续，呈现操作都可以继续。

在方框664中，呈现工具接收创作工具发送的音频数据和元数据。在方框665中，确定（例如，由逻辑系统确定）是否将音频对象位置抓取到扬声器位置。该确定可以至少部分基于音频对象位置与再现环境的最近再现扬声器位置之间的距离。

在这个例子中，如果在方框665中确定要将音频对象位置抓取到扬声器位置，则将在方框670中将音频对象位置映射到扬声器位置，通常是最接近所接收的关于音频对象的预期(x,y,z)位置的扬声器位置。在这种情况下，用于该扬声器位置所再现的音频数据的增益将为1.0，而用于其他扬声器所再现的音频数据的增益将为零。在替代实现中，可以在方框670中将音频对象位置映射到一组扬声器位置。

例如，再次参照图4B，方框670可以涉及将音频对象的位置抓取到左头顶扬声器470a中的一个。可替换地，方框670可以涉及将音频对象的位置抓取到单个扬声器和相邻扬声器，例如，1个或2个相邻扬声器。因此，相应的元数据可以应用于小的再现扬声器集合和/或单个再现扬声器。

然而，如果在方框665中确定将不将音频对象位置抓取到扬声器位置，例如，如果这将导致在位置上相对于所接收的关于该对象的原始预期位置的差异大，则将应用平移规则（方框675）。可以根据音频对象位置以及音频对象的其他特性（诸如宽度、容量等）来应用平移规则。

可以在方框681中将在方框675中确定的增益数据应用于音频数据，并且可以保存结果。在一些实现中，被配置用于与逻辑系统进行通信的扬声器可以再现作为结果的音频数据。如果在方框685中确定过程650将继续，则过程650可以回到方框664以继续呈现操作。可替换地，过程650可以回到方框655以重新开始创作操作。

过程650可以包含各种类型的平滑操作。例如，逻辑系统可以被配置为使当从将音频对象位置映射到第一单个扬声器位置转变为将音频对象位置映射到第二单个扬声器位置时应用于音频数据的增益的转变平滑。再次参照图4B，如果音频对象的位置最初被映射到左头顶扬声器470a中的一个、后来被映射到右后环绕扬声器480b中的一个，则逻辑系统可以被配置为使扬声器之间的转变平滑，以使得音频对象看起来不是突然从一个扬声器（或扬声器区域）“跳”到另一个扬声器（或扬声器区域）。在一些实现中，可以根据交叉渐变速率参数来实现平滑。

在一些实现中，逻辑系统可以被配置为使当在将音频对象位置映射到单个扬声器位置与将平移规则应用于音频对象位置之间转变时应用于音频数据的增益的转变平滑。例如，如果随后在方框665中确定音频对象的位置已经移动到被确定为离最近扬声器太远的位置，则可以在方框675中将平移规则应用于音频对象位置。然而，当从抓取转变为平移（或反之亦然）时，逻辑系统可以被配置为使应用于音频数据的增益中的转变平滑。例如，当从用户接口接收到相应输入时，所述过程可以在方框690中结束。

一些替代实现可以涉及创建逻辑约束。在一些实例中，例如，混音器可以期望对在特定平移操作期间正使用的扬声器群组进行更加明确的控制。一些实现允许用户产生扬声器群组与平移接口之间的一维或二维“逻辑映射”。

图7是概括建立并使用虚拟扬声器的过程的流程图。图8A-8C示出被映射到线端点的虚拟扬声器和相应的扬声器区域响应的例子。首先参照图7的过程700，在方框705中，接收创建虚拟扬声器的指示。该指示可以例如由创作设备的逻辑系统接收，并且可以对应于从用户输入装置接收的输入。

在方框710中，接收虚拟扬声器位置的指示。例如，参照图8A，用户可以使用用户输入装置来将光标510定位在虚拟扬声器805a的位置处，并且例如通过鼠标点击选择该位置。在这个例子中，在方框715中，（例如，根据用户输入）确定将选择额外的虚拟扬声器。所述过程回到方框710，并且在这个例子中，用户选择图8A中所示的虚拟扬声器805b的位置。

在这个实例中，用户仅期望建立两个虚拟扬声器位置。因此，在方框715中，（例如，根据用户输入）确定将不选择额外的虚拟扬声器。如图8A所示，可以显示连接虚拟扬声器805a和805b的位置的多段线810。在一些实现中，音频对象505的位置将被约束到多段线810。在一些实现中，音频对象505的位置可以被约束到参数化曲线。例如，可以根据用户输入来提供一组控制点，并且诸如样条曲线的曲线拟合算法可以用于确定参数化曲线。在方框725中，接收沿着多段线810的音频对象位置的指示。在一些这样的实现中，所述位置将被指示为0与1之间的标量值。在方框725中，可以显示音频对象的(x,y,z)坐标和虚拟扬声器所限定的多段线。可以显示音频数据和相关联的元数据，相关联的元数据包括所获得的标量位置和虚拟扬声器的(x,y,z)坐标（方框727）。这里，在方框728中，可以通过合适的通信协议将音频数据和元数据发送给呈现工具。

在方框729中，确定创作过程是否将继续。如果不将继续，则根据用户输入，过程700可以结束（方框730）或者可以继续呈现操作。然而，如以上所指出的，在许多实现中，可以与创作操作同时执行至少一些呈现操作。

在方框732中，呈现工具接收音频数据和元数据。在方框735中，对每个虚拟扬声器位置计算将应用于音频数据的增益。图8B示出了对于虚拟扬声器805a的位置的扬声器响应。图8C示出了对于虚拟扬声器805b的位置的扬声器响应。在这个例子中，如本文中所描述的许多其他例子中那样，所指示的扬声器响应是针对具有与对于GUI400的扬声器区域所示出的位置相应的位置的再现扬声器的。这里，虚拟扬声器805a和805b以及线810被定位在不接近具有与扬声器区域8和9相应的位置的再现扬声器的平面中。因此，在图8B或图8C中没有指示用于这些扬声器的增益。

当用户将音频对象505沿着线810移动到其他位置时，逻辑系统将例如根据音频对象标量位置参数来计算与这些位置相应的交叉渐变（方框740）。在一些实现中，配对平移定律（pair-wisepanninglaw）（例如，能量守恒正弦或幂次定律）可以用于在对于虚拟扬声器805a的位置将应用于音频数据的增益与对于虚拟扬声器805b的位置将应用于音频数据的增益之间进行混合。

在方框742中，然后可以（例如，根据用户输入）确定是否继续过程700。可以（例如，通过GUI）向用户提供继续呈现操作的选项或回到创作操作的选项。如果确定过程700不将继续进行，则该过程结束（方框745）。

当平移快速移动音频对象（例如，对应于汽车、喷气式飞机等的音频对象）时，如果用户在一个时刻选择音频对象位置，则可能难以创作平滑轨迹。音频对象轨迹中的平滑性的缺乏可能影响所感知的声像。因此，本文中所提供的一些创作实现将低通滤波器应用于音频对象的位置，以便使所得的平移增益平滑。作为替代的创作实现将低通滤波器应用于应用于音频数据的增益。

其他创作实现可以允许用户模拟抓取、拉动、投掷音频对象或类似地与音频对象交互。一些这样的实现可以包含应用模拟的物理定律（诸如用于描述速率、加速度、动量、动能、力的施加等的规则集合）。

图9A-9C示出使用虚拟系链拖动音频对象的例子。在图9A中，虚拟系链905形成在音频对象505与光标510之间。在这个例子中，虚拟系链905具有虚拟弹簧常数。在一些这样的实现中，可以根据用户输入来选择虚拟弹簧常数。

图9B示出在随后的时间的音频对象505和光标510，在该时间之后，用户朝向扬声器区域3移动光标510。用户可能已经使用鼠标、控制杆、跟踪球、手势检测设备或另一类型的用户输入装置移动了光标510。虚拟系链905被拉伸，并且音频对象505被移动至扬声器区域8附近。音频对象505在图9A和图9B中大致具有相同的大小，这指示（在这个例子中）音频对象505的高度基本未变化。

图9C示出在稍后时间的音频对象505和光标510，在该时间之后用户在扬声器区域9周围移动光标。虚拟系链905被进一步拉伸。如音频对象505的大小缩小所指示的，音频对象505被向下移动。音频对象505按平滑弧线移动。这个例子示出了这样的实现的一个可能益处，该可能益处是与用户仅逐点地选择音频对象505的位置的情况相比，音频对象505按更平滑的轨迹移动。

图10A是概括使用虚拟系链移动音频对象的过程的流程图。过程100从方框1005开始，在方框1005中，接收音频数据。在方框1007中，接收在音频对象与光标之间附连虚拟系链的指示。该指示可以由创作设备的逻辑系统接收，并且可以对应于从用户输入装置接收的输入。参照图9A，例如，用户可以将光标510定位在音频对象505上方，然后通过用户输入装置或GUI指示虚拟系链905应当形成在光标510与音频对象505之间。可以接收光标和对象位置数据（方框1010）。

在这个例子中，随着光标510移动，逻辑系统可以根据光标位置数据计算光标速率和/或加速度数据（方框1015）。可以根据虚拟系链905的虚拟弹簧常数以及光标位置、速率和加速度数据来计算音频对象505的位置数据和/或轨迹数据。一些这样的实现可以涉及将虚拟质量分配给音频对象505（方框1020）。例如，如果光标510以相对恒定的速率移动，则虚拟系链905可以不拉伸，并且音频对象505可被以相对恒定的速率拉动。如果光标510加速，则虚拟系链905可以被拉伸，并且相应的力可以通过虚拟系链905施加于音频对象505。在光标510的加速度与通过虚拟系链905施加的力之间可存在时滞。在替代实现中，可以以不同的方式确定音频对象505的位置和/或轨迹，例如，在不将虚拟弹簧常数分配给虚拟系链905的情况下，通过将摩擦和/或惯性规则应用于音频对象505、等等。

可以显示光标510和音频对象505的离散位置和/或轨迹（方框1025）。在这个例子中，逻辑系统按时间间隔对音频对象进行采样（方框1030）。在一些这样的实现中，用户可以确定用于采样的时间间隔。可以保存音频对象位置和/或轨迹元数据等（方框1034）。

在方框1036中，确定这种创作模式是否将继续。如果用户期望如此，则所述过程可以例如通过回到方框1005或方框1010来继续。否则，过程1000可以结束（方框1040）。

图10B是概括使用虚拟系链移动音频对象的替代过程的流程图。图10C-10E显示图10B中概括的过程的例子。首先参照图10B，过程1050从方框1055开始，在方框1055中，接收音频数据。在方框1057中，接收在音频对象与光标之间附连系链的指示。该指示可以由创作设备的逻辑系统接收，并且可以对应于从用户输入装置接收的输入。参照图10C，例如，用户可以将光标510定位在音频对象505上方，然后通过用户输入装置或GUI指示虚拟系链905应当形成在光标510与音频对象505之间。

在方框1060中，可以接收光标和音频对象位置数据。在方框1062中，逻辑系统可以（通过用户输入装置或GUI）接收音频对象505应被保持在所指示的位置（例如，光标510所指示的位置）的指示。在方框1065中，逻辑装置接收光标510已经移动到新的位置的指示，该指示可以与音频对象505的位置一起显示（方框1067）。参照图10D，例如，光标510已经从虚拟再现环境404的左侧移动到右侧。然而，音频对象510仍保持在与图10C中所指示的位置相同的位置。结果，虚拟系链905被大幅拉伸。

在方框1069中，逻辑系统（例如，通过用户输入装置或GUI）接收音频对象505将被释放的指示。逻辑系统可以计算可以显示的所得到的音频对象位置和/或轨迹数据（方框1075）。所得到的显示可以类似于图10E中所示的显示，图10E显示音频对象505在整个虚拟再现环境404上平滑地、快速地移动。逻辑系统可以将音频对象位置和/或轨迹元数据保存在存储系统中（方框1080）。

在方框1085中，确定创作过程1050是否将继续。如果逻辑系统接收到用户期望如此做的指示，则所述过程可以继续。例如，过程1050可以通过回到方框1055或方框1060来继续。否则，创作工具可以将音频数据和元数据发送给呈现工具（方框1090），此后，过程1050可以结束（方框1095）。

为了优化被感知的音频对象运动的逼真性，可能可取的是让创作工具（或呈现工具）的用户选择再现环境中的扬声器的子集并使工作扬声器的集合限于所选子集。在一些实现中，在创作或呈现操作期间，可以指定扬声器区域和/或多组扬声器区域工作或不工作。例如，参照图4A，前区405、左区410、右区415和/或上区420的扬声器区域可以作为一个组进行控制。包括扬声器区域6和7（以及，在其他实现中，位于扬声器区域6与7之间的一个或多个其他扬声器区域）的后区的扬声器区域也可以作为一个组进行控制。可以提供用以动态地启用或禁用与特定扬声器区域相应的或与包括多个扬声器区域的区域相应的所有扬声器的用户界面。

在一些实现中，创作装置（或呈现装置）的逻辑系统可以被配置为根据通过用户输入系统接收的用户输入来创建扬声器区域约束元数据。扬声器区域约束元数据可以包括用于禁用所选扬声器区域的数据。现在将参照图11和图12描述一些这样的实现。

图11显示在虚拟再现环境中应用扬声器区域约束的例子。在一些这样的实现中，用户可以能够通过使用用户输入装置（诸如鼠标）点击GUI（诸如GUI400）中的扬声器区域的表示来选择扬声器区域。这里，用户禁用了在虚拟再现环境404的侧面的扬声器区域4和5。扬声器区域4和5可以对应于物理再现环境（诸如影院音响系统环境）中的大部分（或所有）扬声器。在这个例子中，用户还将音频对象505的位置约束到沿着线1105的位置。在沿着侧壁的大部分或所有扬声器被禁用的情况下，从屏幕150到虚拟再现环境404的背面的平移将被约束为不使用侧面扬声器。这可以对于宽观众区（特别是对于坐在与扬声器区域4和5相应的再现扬声器附近的观众成员）创建改进的所感知的从前到后的运动。

在一些实现中，可以对于所有重新呈现模式实施扬声器区域约束。例如，可以在当较少的区域可用于呈现时（例如，当用于杜比环绕7.1或5.1配置的呈现仅暴露7个或5个区域时）的情况下实施扬声器区域约束。还可以在当更多区域可用于呈现时实施扬声器区域约束。就这一点而论，扬声器区域约束也可以被看作指导重新呈现的方式，从而对常规的“上混/下混”过程提供非盲解决方案。

图12是概括应用扬声器区域约束规则的一些例子的流程图。过程1200从方框1205开始，在方框1205中，接收应用扬声器区域约束规则的一个或多个指示。该指示（这些指示）可以由创作或呈现设备的逻辑系统接收，并且可以对应于从用户输入装置接收的输入。例如，这些指示可以对应于使一个或多个扬声器区域不工作的用户选择。在一些实现中，例如，如下所述，方框1205可以涉及接收应当应用什么类型的扬声器区域约束规则的指示。

在方框1207中，创作工具接收音频数据。可以例如根据来自创作工具的用户的输入接收音频对象位置数据（方框1210），并显示该音频对象位置数据（方框1215）。在这个例子中，位置数据是(x,y,z)坐标。这里，在方框1215中，还显示用于所选扬声器区域约束规则的工作扬声器区域和不工作扬声器区域。在方框1220中，保存音频数据和相关联的元数据。在这个例子中，元数据包括音频对象位置和扬声器区域约束元数据，扬声器区域约束元数据可以包括扬声器区域标识标志。

在一些实现中，扬声器区域约束元数据可以指示呈现工具应当应用平移方程来以二元的方式（例如，通过将所选（被禁用）扬声器区域的所有扬声器认为是“关”并将所有其他扬声器认为是“开”）计算增益。逻辑系统可以被配置为创建包括用于禁用所选扬声器区域的数据的扬声器区域约束元数据。

在替代实现中，扬声器区域约束元数据可以指示呈现工具将应用平移方程来以混合方式计算增益，该混合方式包括来自被禁用扬声器区域的扬声器的某一程度的贡献。例如，逻辑系统可以被配置为通过执行以下操作来创建指示呈现工具应当使所选扬声器区域衰减的扬声器区域约束元数据：计算包括来自所选（被禁用）扬声器区域的贡献的第一增益；计算不包括来自所选（被禁用）扬声器区域的贡献的第二增益；并将第一增益与第二增益混合。在一些实现中，可以将偏置（bias）应用于第一增益和/或第二增益（例如，从所选最小值到所选最大值），以便允许一定范围的来自所选扬声器区域的潜在贡献。

在这个例子中，在方框1225中，创作工具将音频数据和元数据发送给呈现工具。逻辑系统然后可以确定创作过程是否将继续（方框1227）。如果逻辑系统接收到用户期望这样做的指示，则创作过程可以继续。否则，创作过程可以结束（方框1229）。在一些实现中，呈现操作可以根据用户输入而继续。

在方框1230中，呈现工具接收包括由创作工具创建的元数据和音频数据的音频对象。在这个例子中，在方框1235中，接收特定音频对象的位置数据。呈现工具的逻辑系统可以应用平移方程来根据扬声器区域约束规则计算用于音频对象位置数据的增益。

在方框1245中，将所计算的增益应用于音频数据。逻辑系统可以将增益、音频对象位置和扬声器区域约束元数据保存在存储系统中。在一些实现中，扬声器系统可以再现音频数据。在一些实现中，相应的扬声器响应可以显示在显示器上。

在方框1248中，确定过程1200是否将继续。如果逻辑系统接收到用户期望这样做的指示，则所述过程可以继续。例如，呈现过程可以通过回到方框1230或方框1235来继续。如果接收到用户希望回到相应的创作过程的指示，则所述过程可以回到方框1207或方框1210。否则，过程1200可以结束（方框1250）。

在三维虚拟再现环境中定位并呈现音频对象的任务正变得越来越困难。该困难的一部分与在GUI中表示虚拟再现环境的挑战相关。本文中所提供的一些创作和呈现实现允许用户在二维屏幕空间平移与三维房间-空间平移之间切换。这样的功能可以帮助在提供对于用户方便的GUI的同时保持音频对象定位的精度。

图13A和13B显示可以在虚拟再现环境的二维视图与三维视图之间切换的GUI的例子。首先参照图13A，GUI400在屏幕上描绘图像1305。在这个例子中，图像1305是剑齿虎的图像。在虚拟再现环境404的这个顶视图中，用户可以容易地观察到音频对象505在扬声器区域1附近。可以例如通过音频对象505的大小、颜色或某些其他属性来推断高度。然而，在这个视图中该位置与图像1305的位置的关系可能难以确定。

在这个例子中，GUI400可以表现为围绕轴（诸如轴1310）动态旋转。图13B显示旋转过程之后的GUI1300。在这个视图中，用户可以更清楚地看到图像1305，并且可以使用来自图像1305的信息来更精确地定位音频对象505。在这个例子中，音频对象对应于剑齿虎正朝其看的声音。能够在虚拟再现环境404的顶视图与屏幕视图之间切换允许用户通过使用来自屏幕上材料的信息来快速地、精确地选择音频对象505的适当高度。

本文中提供了用于创作和/或呈现的各种其他方便的GUI。图13C-13E显示再现环境的二维描绘和三维描绘的组合。首先参照图13C，在GUI1310的左侧区中描绘虚拟再现环境404的顶视图。GUI1310还包括虚拟（或实际）再现环境的三维描绘1345。三维描绘1345的区域1350对应于GUI400的屏幕150。在三维描绘1345中可以清楚地看到音频对象505的位置，特别是它的高度。在这个例子中，在三维描绘1345中还显示了音频对象505的宽度。

扬声器布局1320描绘扬声器位置1324至1340，每个扬声器位置可以指示与音频对象505在虚拟再现环境404中的位置相应的增益。在一些实现中，扬声器布局1320可以例如表示实际再现环境（诸如杜比环绕5.1配置、杜比环绕7.1配置、补充有头顶扬声器的杜比7.1配置等）的再现扬声器位置。当逻辑系统接收到音频对象505在虚拟再现环境404中的位置的指示时，逻辑系统可以被配置为例如通过上述振幅平移过程将这个位置映射到用于扬声器布局1320的扬声器位置1324至1340的增益。例如，在图13C中，扬声器位置1325、1335和1337均具有指示与音频对象505的位置相应的增益的颜色的变化。

现在参照图13D，音频对象已经被移动到屏幕150后面的位置。例如，用户可能已经通过在GUI400中将光标放置音频对象505上并将它拖动到新的位置来移动音频对象505。这个新的位置也被显示在已经被旋转到新的取向的三维描绘1345中。扬声器布局1320的响应可以在图13C和图13D中基本表现相同。然而，在实际GUI中，扬声器位置1325、1335和1337可以具有不同外观（诸如不同亮度或颜色）以指示由音频对象505的新位置引起的相应增益差异。

现在参照图13E，音频对象505已经被快速地移动到虚拟再现环境404的右后部分中的位置。在图13E中描绘的时刻，扬声器位置1326正与音频对象505的当前位置相对应，并且扬声器位置1325和1337仍与音频对象的前一位置相对应。

图14A是概括控制设备以呈现诸如图13C-13E中所示的那些GUI的GUI的过程的流程图。过程1400从方框1405开始，在方框1405中，接收显示音频对象位置、扬声器区域位置和再现环境的再现扬声器位置的一个或多个指示。扬声器区域位置可以对应于例如如图13C-13E所示的虚拟再现环境和/或实际再现环境。该指示（这些指示）可以由呈现和/或创作设备的逻辑系统接收，并且可以对应于从用户输入装置接收的输入。例如，这些指示可以对应于再现环境配置的用户选择。

在方框1407中，接收音频数据。在方框1410中，例如，根据用户输入，接收音频对象位置数据和宽度。在方框1415中，显示音频对象、扬声器区域位置和再现扬声器位置。可以在例如如图13C-13E中所示的二维和/或三维视图中显示音频对象位置。宽度数据不仅可以用于音频对象呈现，而且还可以影响音频对象如何显示（参见图13C-13E的三维描绘1345中的音频对象505的描绘）。

可以记录音频数据和相关联的元数据（方框1420）。在方框1425中，创作工具将音频数据和元数据发送给呈现工具。逻辑系统然后确定（方框1427）创作过程是否将继续。如果逻辑系统接收到用户期望这样做的指示，则创作过程可以（例如，通过回到方框1405）继续。否则，创作过程可以结束（方框1429）。

在方框1430中，呈现工具接收包括由创作工具创建的元数据和音频数据的音频对象。在这个例子中，在方框1435中，接收关于特定音频对象的位置数据。呈现工具的逻辑系统可以应用平移方程来根据宽度元数据计算用于音频对象位置数据的增益。

在一些呈现实现中，逻辑系统可以将扬声器区域映射到再现环境的再现扬声器。例如，逻辑系统可以访问包括扬声器区域和相应的再现扬声器位置的数据结构。以下参照图14B描述更多的细节和例子。

在一些实现中，例如可通过逻辑系统根据音频对象位置、宽度和/或其他信息（诸如再现环境的扬声器位置）来应用平移方程（方框1440）。在方框1445中，根据在方框1440中获得的增益对音频数据进行处理。可以将所得到的音频数据中的至少一些与从创作工具接收的相应的音频对象位置数据和其他元数据一起存储（如果如此期望的话）。扬声器可以再现该音频数据。

逻辑系统然后可以确定（方框1448）过程1400是否将继续。如果例如逻辑系统接收到用户期望这样做的指示，则过程1400可以继续。否则，过程1400可以结束（方框1449）。

图14B是概括针对再现环境呈现音频对象的过程的流程图。过程1450从方框1455开始，在方框1455中，接收针对再现环境呈现音频对象的一个或多个指示。该指示（这些指示）可以由呈现设备的逻辑系统接收，并且可以对应于从用户输入装置接收的输入。例如，这些指示可以对应于再现环境配置的用户选择。

在方框1457中，接收音频再现数据（包括一个或多个音频对象和相关联的元数据）。在方框1460中，可以接收再现环境数据。再现环境数据可以包括再现环境中的再现扬声器的数量的指示、以及再现环境内的每个再现扬声器的位置的指示。再现环境可以是影院音响系统环境、家庭影院环境等。在一些实现中，再现环境数据可以包括指示再现扬声器区域和与扬声器区域相应的再现扬声器位置的再现扬声器区域布局数据。

在方框1465中，可以显示再现环境。在一些实现中，可以以类似于图13C-13E中所示的扬声器布局1320的方式显示再现环境。

在方框1470中，可以将音频对象呈现到用于再现环境的一个或多个扬声器馈送信号中。在一些实现中，可以以诸如上述方式的方式创作与音频对象相关联的元数据，以使得元数据可以包括与扬声器区域相应（例如，与GUI400的扬声器区域1-9相应）的增益数据。逻辑系统可以将扬声器区域映射到再现环境的再现扬声器。例如，逻辑系统可以访问存储在存储器中的、包括扬声器区域和相应的再现扬声器位置的数据结构。呈现装置可以具有各种这样的数据结构，每个数据结构对应于不同的扬声器配置。在一些实现中，呈现设备可以具有用于各种标准再现环境配置（诸如，杜比环绕5.1配置、杜比环绕7.1配置和/或Hamasaki22.2环绕声配置）的这样的数据结构。

在一些实现中，关于音频对象的元数据可以包括来自创作过程的其他信息。例如，元数据可以包括扬声器约束数据。元数据可以包括用于将音频对象位置映射到单个再现扬声器位置或单个再现扬声器区域的信息。元数据可以包括将音频对象的位置约束到一维曲线或二维表面的数据。元数据可以包括用于音频对象的轨迹数据。元数据可以包括对于内容类型（例如，对话、音乐或效果）的标识符。

因此，呈现过程可以涉及使用元数据例如以施加扬声器区域约束。在一些这样的实现中，呈现设备可以为用户提供修改元数据所指示的约束（例如，修改扬声器约束并相应地重新呈现）的选项。呈现可以涉及基于所希望的音频对象位置、从所希望的音频对象位置到参考位置的距离、音频对象的速率或音频对象内容类型中的一个或多个来创建总增益。可以显示再现扬声器的相应响应（方框1475）。在一些实现中，逻辑系统可以控制扬声器以再现与呈现过程的结果相应的声音。

在方框1480中，逻辑系统可以确定过程1450是否将继续。如果例如逻辑系统接收到用户期望这样做的指示，则过程1450可以继续。例如，过程1450可以通过回到方框1457或方框1460来继续。否则，过程1450可以结束（方框1485）。

扩散和视在源宽度控制是一些现有环绕声创作/呈现系统的特征。在本公开中，术语“扩散”是指在多个扬声器上分布同一信号以使声像模糊。术语“宽度”是指将输出信号去相关到每个声道以用于视在宽度控制。宽度可以是控制应用于每个扬声器馈送信号的去相关量的附加标量值。

本文中所描述的一些实现提供了面向3D轴的扩散控制。现在将参照图15A和图15B描述一种这样的实现。图15A示出虚拟再现环境中的音频对象和相关联的音频对象宽度的例子。这里，GUI400指示围绕音频对象505延伸的、指示音频对象宽度的椭圆体1505。音频对象宽度可以由音频对象元数据指示和/或根据用户输入被接收。在这个例子中，椭圆体1505的x维度和y维度是不同的，但是在其他实现中，这些维度可以相同。图15A中没有示出椭圆体1505的z维度。

图15B示出与图15A中所示的音频对象宽度相应的扩散分布图的例子。扩散可以被表示为三维矢量参数。在这个例子中，可以例如根据用户输入，沿着3个维度独立地控制扩散分布图1507。沿着x轴和y轴的增益在图15B中用曲线1510和1520各自的高度表示。用于每个采样1512的增益也由扩散分布图1507内的相应圆1515的大小指示。扬声器1510的响应由图15B中的灰色阴影指示。

在一些实现中，扩散分布图1507可以用对于每个轴的可分离积分实现。根据一些实现，最小扩散值可以作为扬声器放置的函数被自动地设定，以避免平移时的音色差异。作为替代地或附加地，最小扩散值可以作为被平移音频对象的速率的函数被自动设定，以使得随着音频对象速率增大，对象在空间上变得更加向外扩散，类似于在运动图片中快速地移动图像如何显得模糊。

当使用基于音频对象的音频呈现实现（诸如上述那些）时，可能大量的音轨和伴随的元数据（包括，但不限于，指示三维空间中的音频对象位置的元数据）不混合地被传送到再现环境。实时呈现工具可以使用这样的元数据和关于再现环境的信息来计算用于优化每个音频对象的再现的扬声器馈送信号。

当大量音频对象被一起混合到扬声器输出时，当放大的模拟信号被再现扬声器重放时，过载可发生于数字域中（例如，数字信号可以在模拟转换之前被裁剪）或模拟域中。这两种情况都可以导致听觉失真，这是不希望的。模拟域中的过载还可能损坏再现扬声器。

因此，本文中所描述的一些实现涉及响应于再现扬声器过载的动态对象“分摊（blobbing）”。当用给定的扩散分布图呈现音频对象时，在一些实现中，可以在保持恒定的总能量的同时将能量引至数量增加的相邻再现扬声器。例如，如果用于音频对象的能量在N个再现扬声器上均匀地扩散，则它可以以增益1/sqrt(N)对每个再现扬声器输出作出贡献。这种方法提供额外的混合“净余量（headroom）”，并且可以减轻或阻止再现扬声器失真，诸如裁剪。

为了使用数值例子，假设如果扬声器接收大于1.0的输入，则它将进行裁剪。假定两个对象被指示将被混合到扬声器A中，一个以水平1.0进行混合，另一个以水平0.25进行混合。如果不使用分摊，则扬声器A中的混合水平将总共为1.25，并且发生裁剪。然而，如果将第一对象与另一个扬声器B分摊，则（根据一些实现）每个扬声器将以0.707接收对象，在扬声器A中得到用于混合额外对象的额外的“净余量”。然后可以安全地将第二对象混合到扬声器A中而不进行裁剪，这是因为对于扬声器A的混合水平将为0.707+0.25=0.957。

在一些实现中，在创作阶段期间，可以将每个音频对象以给定的混合增益混合到扬声器区域的子集（或所有扬声器区域）。因此，可以构造对每个扩音器有贡献的所有对象的动态列表。在一些实现中，可以通过例如使用信号的原始均方根（RMS）与混合增益相乘的乘积降低能量水平来对该列表进行排序。在其他实现中，可以根据其他准则（诸如分配给音频对象的相对重要性）来对该列表进行排序。

在呈现过程期间，如果对于给定再现扬声器输出检测到过载，则可以在几个再现扬声器上扩散音频对象的能量。例如，可以使用与过载量以及每个音频对象对于给定再现扬声器的相对贡献成比例的宽度或扩散因子来扩散音频对象的能量。如果同一音频对象对几个过载再现扬声器有贡献，则在一些实现中，它的宽度或扩散因子可以加性地增大，并且应用于音频数据的下一呈现帧。

一般来讲，硬限幅器将将超过阈值的任何值裁剪为阈值。如以上例子中那样，如果扬声器接收水平为1.25的混合对象，并且可以仅允许1.0的最大水平，则该对象将被“硬限幅”为1.0。软限幅器将在到达绝对阈值之前开始应用限幅，以便提供更加平滑的、听起来更加愉悦的结果。软限幅器还可以使用“前瞻”特征来预测何时可发生特征裁剪，以便在裁剪将发生之前平滑地降低增益，从而避免裁剪。

本文中所提供的各种“分摊”实现可以与硬限幅器或软限幅器结合使用以在避免空间精度/清晰度降低的同时限制听觉失真。与整体扩散或仅使用限幅器相反，分摊实现可以选择性地将响的对象或给定内容类型的对象定为目标。这样的实现可以由混合器控制。例如，如果用于音频对象的扬声器区域约束元数据指示不应当使用再现扬声器的子群组，则除了实现分摊方法之外，呈现设备还可以应用相应的扬声器区域约束规则。

图16是概括使音频对象分摊的过程的流程图。过程1600从方框1605开始，在方框1605中，接收激活音频对象分摊功能的一个或多个指示。该指示（这些指示）可以由呈现设备的逻辑系统接收，并且可以对应于通过用户输入装置接收的输入。在一些实现中，这些指示可以包括再现环境配置的用户选择。在替代性实现中，用户可能在之前已经选择了再现环境配置。

在方框1607中，接收音频再现数据（包括一个或多个音频对象和相关联的元数据）。在一些实现中，元数据可以包括例如如上所述的扬声器区域约束元数据。在这个例子中，在方框1610中，从音频再现数据解析（或以其他方式接收，例如通过来自用户接口的输入接收）音频对象位置、时间和扩散数据。

通过例如如上所述那样将平移方程应用于音频对象数据来对于再现环境配置确定再现扬声器响应（方框1612）。在方框1615中，显示音频对象位置和再现扬声器响应（方框1615）。还可以通过被配置为与逻辑系统进行通信的扬声器再现这些再现扬声器响应。

在方框1620中，逻辑系统确定对于再现环境的任何再现扬声器是否检测到了过载。如果是，则可以应用音频对象分摊规则（诸如上述音频对象分摊规则），直到没有检测到过载为止（方框1625）。在方框1630中输出的音频数据可以被保存（如果如此期望的话），并且可以被输出到再现扬声器。

在方框1635中，逻辑系统可以确定过程1600是否将继续。如果例如逻辑系统接收到用户期望这样做的指示，则过程1600可以继续。例如，过程1600可以通过回到方框1607或方框1610来继续。否则，过程1600可以结束（方框1640）。

一些实现提供可以用于使三维空间中的音频对象位置成像的扩展平移增益方程。现在将参照图17A和图17B描述一些例子。图17A和图17B示出被定位在三维虚拟再现环境中的音频对象的例子。首先参照图17A，可以在虚拟再现环境404内看到音频对象505的位置。在这个例子中，如图17B所示，扬声器区域1-7位于一个平面中，扬声器区域8和9位于另一平面中。然而，扬声器区域、平面等的数量仅仅是作为例子；本文中所描述的构思可以扩展到不同数量的扬声器区域（或单独的扬声器）以及多于两个的高度平面。

在这个例子中，可以在从0至1的范围内的高度参数“z”将音频对象的位置映射到高度平面。在这个例子中，值z=0对应于包括扬声器区域1-7的基本平面，而值z=1对应于包括扬声器区域8和9的头顶平面。0与1之间的e的值对应于通过仅使用基本平面中的扬声器而产生的声像与通过仅使用头顶平面中的扬声器而产生的声像之间的混合。

在图17B中所示的例子中，用于音频对象505的高度参数的值为0.6。因此，在一种实现中，可以通过使用用于基本平面的平移方程，根据音频对象505在基本平面中的(x,y)坐标来产生第一声像。可以通过使用用于头顶平面的平移方程，根据音频对象505在头顶平面中的(x,y)坐标来产生第二声像。可以通过根据音频对象505对于每个平面的接近度将第一声像与第二声像组合来生成所得到的声像。可以应用高度z的能量或振幅守恒函数。例如，假定z可以在从0至1的范围内，第一声像的增益值可以与Cos(z*π/2)相乘，第二声像的增益值可以与sin(z*π/2)相乘，以使得它们的平方和为1（能量守恒）。

本文中所描述的其他实现可以涉及基于两种或更多种平移技术计算增益并基于一个或多个参数创建总增益。这些参数可以包括以下中的一个或多个：所希望的音频对象位置；从所希望的音频对象位置到参考位置的距离；音频对象的速度或速率；或音频对象内容类型。

现在将参照图18等描述一些这样的实现。图18显示对应于不同平移模式的区域的例子。这些区域的大小、形状和广度仅作为例子。在这个例子中，将近场平移方法应用于位于区域1805内的音频对象，并将远场平移方法应用于区域1815中、区域1810之外的音频对象。

图19A-19D示出将近场平移技术和远场平移技术应用于处于不同位置处的音频对象的例子。首先参照图19A，音频对象基本上在虚拟再现环境1900的外部。这个位置对应于图18的区域1815。因此，在这个实例中，将应用一个或多个远场平移方法。在一些实现中，远场平移方法可以基于本领域的普通技术人员已知的基于矢量的振幅平移（VBAP）方程。例如，远场平移方法可以基于V.Pulkki,CompensatingDisplacementofAmplitude-PannedVirtualSources（AESInternationalConferenceonVirtual,SyntheticandEntertainmentAudio）的第2.3章第4页中所描述的VBAP方程，该文献通过引用并入此。在替代实现中，可以使用其他方法（例如，涉及相应声学平面或球形波的合成的方法）来平移远场音频对象和近场音频对象。D.devries的WaveFieldSynthesis(AESMonograph1999)描述了相关方法，该文献通过引用并入此。

现在参照图19B，音频对象在虚拟再现环境1900的内部。该位置对应于图18的区域1805。因此，在这个实例中，将应用一个或多个近场平移方法。一些这样的近场平移方法将使用在虚拟再现环境1900中包围音频对象505的若干个扬声器区域。

在一些实现中，近场平移方法可以包含“双平衡”平移和组合两组增益。在图19B中所描绘的例子中，第一组增益对应于沿着y轴的、围住音频对象505的位置的两组扬声器区域之间的前/后平衡。相应响应涉及虚拟再现环境1900的除了扬声器区域1915和1960之外的所有扬声器区域。

在图19C中所描绘的例子中，第二组增益对应于沿着x轴的、包围音频对象505的位置的两组扬声器区域之间的左/右平衡。相应响应涉及扬声器区域1905到1925。图19D指示组合图19B和图19C中所指示的响应的结果。

可能希望的是，随着音频对象进入或离开虚拟再现环境1900，在不同平移模式之间进行混合。因此，将根据近场平移方法和远场平移方法计算的增益的混合应用于位于区域1810中的音频对象（参见图18）。在一些实现中，配对平移定律（例如，能量守恒正弦或幂次定律）可以用于在根据近场平移方法和远场平移方法计算的增益之间进行混合。在替代实现中，配对平移定律可以是振幅守恒，而不是能量守恒，以使得总和等于1，而不是平方和等于1。还可以混合所得到的处理后的信号，例如独立地使用这两种方法对音频信号进行处理并且使这两个所得到的音频信号交叉渐变。

可能希望的是，提供允许内容创建者和/或内容再现者容易地针对给定创作轨迹精细地调节不同的重新呈现的机制。在对运动图像进行混合的上下文中，屏幕与房间能量平衡的概念被认为是重要的。在一些实例中，根据再现环境中的再现扬声器的数量，给定声音轨迹（或“平移”）的自动重新呈现将导致不同的屏幕与房间平衡。根据一些实现，可以根据在创作过程期间创建的元数据来控制屏幕与房间偏置。根据替代实现，可以仅在呈现端控制屏幕与房间偏置（例如，在内容再现者的控制下），而不响应于元数据控制屏幕与房间偏置。

因此，本文中所描述的一些实现提供一种或多种形式的屏幕与房间偏置控制。在一些这样的实现中，屏幕与房间偏置可以被实现为缩放操作。例如，缩放操作可以涉及音频对象沿着前后方向的原始预期轨迹和/或在呈现器中用于确定平移增益的扬声器位置的缩放。在一些这样的实现中，屏幕与房间偏置控制可以是0与最大值（例如，1）之间的变量值。变化可以例如可用GUI、虚拟或物理滑动器、旋钮等进行控制。

可替换地或附加地，屏幕与房间偏置控制可以使用某些形式的扬声器区域约束来实现。图20指示在屏幕与房间偏置控制中可以使用的再现环境的扬声器区域。在这个例子中，可以建立前扬声器区域2005和后扬声器区域2010（或2015）。可以将屏幕与房间偏置作为所选扬声器区域的函数进行调整。在一些这样的实现中，屏幕与房间偏置可以被实现为前扬声器区域2005与后扬声器区域2010（或2015）之间的缩放操作。在替代性实现中，可以以二元的方式（例如，通过允许用户选择前侧偏置、后侧偏置或者不选择偏置）实现屏幕与房间偏置。对于每种情况的偏置设置可以对应于用于前扬声器区域2005和后扬声器区域2010（2015）的预定（通常，非零）偏置水平。本质上，这样的实现可以提供用于屏幕与房间偏置控制的三个预置（而不是连续值的缩放操作（或除了连续值的缩放操作之外还提供该三个预置））。

根据一些这样的实现，可以在创作GUI（例如，400）中通过将侧壁划分为四个侧壁和一个后侧壁来创建两个额外的逻辑扬声器区域。在一些实现中，这两个额外的逻辑扬声器区域对应于呈现器的左壁/左环绕声区域和右壁/右环绕声区域。根据用户的关于这两个逻辑扬声器区域中的哪个进行工作的选择，当向杜比5.1或杜比7.1配置进行呈现时，呈现工具可以应用预置的缩放因子（例如，如上所述）。当对于不支持这两个额外的逻辑区域的定义的再现环境（例如，因为它们的物理扬声器配置在侧壁上至多具有一个物理扬声器）进行呈现时，呈现工具也可以应用这样的预置缩放因子。

图21是提供创作和/或呈现设备的组件的例子的框图。在这个例子中，装置2100包括接口系统2105。接口系统2105可以包括网络接口，诸如无线网络接口。可替换地或附加地，接口系统2105可以包括通用串行总线（USB）接口或另一这样的接口。

装置2100包括逻辑系统2110。逻辑系统2110可以包括处理器，诸如通用单芯片或多芯片处理器。逻辑系统2110可以包括数字信号处理器（DSP）、专用集成电路（ASIC）、现场可编程门阵列（FPGA）或其他可编程逻辑器件、分立门或晶体管逻辑、或分立硬件组件、或它们的组合。逻辑系统2110可以被配置为控制装置2100的其他组件。尽管图21中示出装置2100的组件之间没有接口，但是逻辑系统2110可以被配置有用于与其他组件进行通信的接口。所述其他组件可以视情况被配置为彼此通信或者可以不被配置为彼此通信。

逻辑系统2110可以被配置为执行音频创作和/或呈现功能，包括，但不限于，本文中所描述的音频创作和/或呈现功能的类型。在一些这样的实现中，逻辑系统2110可以被配置为（至少部分）根据存储在一个或多个非暂态介质上的软件进行操作。非暂态介质可以包括与逻辑系统2110相关联的存储器，诸如随机存取存储器（RAM）和/或只读存储器（ROM）。非暂态介质可以包括存储系统2115的存储器。存储系统2115可以包括一种或多种合适类型的非暂态存储介质，诸如闪存、硬盘驱动器等。

根据装置2100的表现形式，显示系统2130可以包括一种或多种合适类型的显示器。例如，显示系统2130可以包括液晶显示器、等离子体显示器、双稳态显示器等。

用户输入系统2135可以包括被配置为接受用户输入的一个或多个装置。在一些实现中，用户输入系统2135可以包括覆盖显示系统2130的显示器的触摸屏。用户输入系统2135可以包括鼠标、跟踪球、手势检测系统、控制杆、呈现在显示系统2130上的一个或多个GUI和/或菜单、按钮、键盘、开关等。在一些实现中，用户输入系统2135可以包括麦克风2125：用户可以通过麦克风2125向装置2100提供语音命令。逻辑系统可以被配置用于语音识别以及用于根据这样的语音命令控制装置2100的至少一些操作。

电源系统2140可以包括一个或多个合适的能量存储装置，诸如镍镉电池或锂离子电池。电源系统2140可以被配置为从电插座接收电源。

图22A是表示可以用于音频内容创建的一些组件的框图。系统2200可以例如用于混音室和/或配音阶段中的音频内容创建。在这个例子中，系统2200包括音频和元数据创作工具2205和呈现工具2210。在这种实现中，音频和元数据创作工具2205和呈现工具2210分别包括音频连接接口2207和2212，音频连接接口2207和2212可以被配置用于通过AES/EBU、MADI、模拟等进行通信。音频和元数据创作工具2205和呈现工具2210分别包括网络接口2209和2217，网络接口2209和2217可以被配置为通过TCP/IP或任何其他合适的协议发送和接收元数据。接口2220被配置为将音频数据输出到扬声器。

系统2200可以例如包括将元数据创建工具（即，如本文中所描述的平移程序）作为插件运行的现有创作系统，诸如，ProTools^TM系统。平移程序还可以在与呈现工具2210连接的单机系统（例如，PC或混音台）上运行，或者可以在与呈现工具2210相同的物理装置上运行。在后一种情况下，平移程序和呈现器可以使用例如通过共享存储器的本地连接。平移程序GUI还可以在平板装置、膝上型电脑等上被遥控。呈现工具2210可以包括这样的呈现系统，该呈现系统包括被配置用于执行呈现软件的声音处理器。呈现系统可以包括例如包括用于音频输入/输出和合适逻辑系统的接口的个人电脑、膝上型电脑等。

图22B是表示可以用于再现环境（例如，电影院）中的音频重放的一些组件的框图。在这个例子中，系统2250包括影院服务器2255和呈现系统2260。影院服务器2255和呈现系统2260分别包括网络接口2257和2262，网络接口2257和2262可以被配置为通过TCP/IP或任何其他合适的协议发送和接收音频对象。接口2264被配置为将音频数据输出到扬声器。

对于本公开中所描述的实现的各种修改对于本领域的普通技术人员可能是显见的。本文中所定义的总原理可以在不脱离本公开的精神或范围的情况下应用于其他实现。因此，权利要求书并非意图被局限于本文中所示的实现，而是要被给予与本公开、本文中所公开的原理和新颖特征一致的最宽泛的范围。

Claims

1.一种用于呈现音频再现数据的设备，包括：

接口系统；和

逻辑系统，所述逻辑系统被配置用于：

通过接口系统接收音频再现数据，所述音频再现数据包括一个或多个音频对象和相关联的元数据，其中，所述相关联的元数据包括所述一个或多个音频对象中的至少一个音频对象的轨迹数据，所述轨迹数据指示所述至少一个音频对象在三维空间中的时变音频对象位置，其中，音频对象位置被约束到二维表面，其中，音频再现数据已相对于包含处于不同高度的多个扬声器区域的虚拟再现环境被创建；

通过接口系统接收再现环境数据，所述再现环境数据包括实际三维再现环境中的再现扬声器的数量的指示、以及该实际再现环境内的每个再现扬声器的位置的指示；

将参照虚拟再现环境的多个扬声器区域创建的音频再现数据映射到实际再现环境的再现扬声器；和

至少部分基于相关联的元数据将所述一个或多个音频对象呈现到一个或多个扬声器馈送信号中，其中，每个扬声器馈送信号对应于实际再现环境内的再现扬声器中的至少一个。

2.根据权利要求1所述的设备，其中，所述实际再现环境包括影院音响系统环境。

3.根据权利要求1所述的设备，其中，所述实际再现环境包括杜比环绕5.1配置、杜比环绕7.1配置和补充有头顶扬声器的杜比7.1配置中的任一种。

4.根据权利要求1所述的设备，其中，所述再现环境数据包括指示再现扬声器位置的再现扬声器布局数据。

5.根据权利要求1所述的设备，其中，所述再现环境数据包括指示再现扬声器位置的再现扬声器区域布局数据。

6.根据权利要求5所述的设备，其中，所述元数据包括用于将音频对象位置映射到单个再现扬声器位置的信息。

7.根据权利要求1所述的设备，其中，该呈现包含基于所希望的音频对象位置、从所希望的音频对象位置到参考位置的距离、音频对象的速率或音频对象内容类型中的一个或多个来创建增益。

8.根据权利要求1所述的设备，其中，所述二维表面包含球面、椭圆面、圆锥面、圆柱面或楔形面之一。

9.根据权利要求1所述的设备，其中，该呈现包含施加扬声器区域约束，该扬声器区域约束包含用于禁用所选再现扬声器的数据。

10.根据权利要求1所述的设备，其中，所述实际再现环境包含用于视频图像的投影的屏幕；其中，所述音频再现数据与视频图像同步；并且，其中，该呈现包含根据从用户输入系统接收的屏幕与房间平衡控制数据应用屏幕与房间平衡控制。

11.根据权利要求1所述的设备，还包括显示系统，其中，所述逻辑系统被配置为控制显示系统显示实际再现环境的动态三维视图。

12.根据权利要求1所述的设备，其中，该呈现包含控制在多个再现扬声器上音频对象在三个维度中的一个或多个中的扩散。

13.根据权利要求1所述的设备，其中，该呈现包含响应于扬声器过载通过在保持总体恒定能量的同时将音频能量引至数量增加的相邻再现扬声器来进行动态对象分摊。

14.根据权利要求1所述的设备，其中，该呈现包含将音频对象位置映射到实际再现环境的扬声器阵列的平面。

15.根据权利要求1所述的设备，还包括存储器装置，其中，所述接口系统包括所述逻辑系统与所述存储器装置之间的接口。

16.根据权利要求1所述的设备，其中，所述接口系统包括网络接口。

17.根据权利要求1所述的设备，其中，所述逻辑系统被配置为确定是将用于音频对象位置的平移规则应用于多个扬声器位置，还是将音频对象位置映射到单个扬声器位置。

18.根据权利要求17所述的设备，其中，所述逻辑系统被配置为使当从将音频对象位置映射到第一单个扬声器位置转变为将音频对象位置映射到第二单个扬声器位置时的扬声器增益中的转变平滑。

19.根据权利要求17所述的设备，其中，所述逻辑系统被配置为使当在将音频对象位置映射到单个扬声器位置与将用于音频对象位置的平移规则应用于多个扬声器位置之间转变时的扬声器增益中的转变平滑。

20.根据权利要求1-19中的任何一个所述的设备，其中，所述逻辑系统被进一步配置为计算与多个扬声器区域相应的扬声器增益。

21.根据权利要求20所述的设备，其中，所述逻辑系统被进一步配置为计算用于沿着虚拟扬声器位置之间的一维曲线的音频对象位置的扬声器增益。

22.一种用于呈现音频再现数据的方法，包括：

接收音频再现数据，所述音频再现数据包括一个或多个音频对象和相关联的元数据，其中，所述相关联的元数据包括所述一个或多个音频对象中的至少一个音频对象的轨迹数据，所述轨迹数据指示所述至少一个音频对象在三维空间中的时变音频对象位置，其中，音频对象位置被约束到二维表面，其中，音频再现数据已相对于包含处于不同高度的多个扬声器区域的虚拟再现环境被创建；

接收再现环境数据，所述再现环境数据包括实际再现环境中的再现扬声器的数量的指示、以及三维实际再现环境的每个再现扬声器的位置的指示；

23.根据权利要求22所述的方法，其中，所述实际再现环境包括影院音响系统环境。

24.根据权利要求22所述的方法，其中，该呈现包含基于所希望的音频对象位置、从所希望的音频对象位置到参考位置的距离、音频对象的速率或音频对象内容类型中的一个或多个来创建增益。

25.根据权利要求22所述的方法，其中，该呈现包含施加扬声器区域约束，该扬声器区域约束包含用于禁用所选再现扬声器的数据。

26.一种用于呈现音频再现数据的设备，包括：

用于接收音频再现数据的装置，所述音频再现数据包括一个或多个音频对象和相关联的元数据，其中，所述相关联的元数据包括所述一个或多个音频对象中的至少一个音频对象的轨迹数据，所述轨迹数据指示所述至少一个音频对象在三维空间中的时变音频对象位置，其中，音频对象位置被约束到二维表面，其中，音频再现数据已相对于包含处于不同高度的多个扬声器区域的虚拟再现环境被创建；

用于接收再现环境数据的装置，所述再现环境数据包括实际再现环境中的再现扬声器的数量的指示、以及三维实际再现环境的每个再现扬声器的位置的指示；

用于将参照虚拟再现环境的多个扬声器区域创建的音频再现数据映射到实际再现环境的再现扬声器的装置；和

用于至少部分基于相关联的元数据将所述一个或多个音频对象呈现到一个或多个扬声器馈送信号中的装置，其中，每个扬声器馈送信号对应于实际再现环境内的再现扬声器中的至少一个。

27.根据权利要求26所述的设备，其中，所述实际再现环境包括影院音响系统环境。

28.根据权利要求26所述的设备，其中，该用于呈现的装置包含用于基于所希望的音频对象位置、从所希望的音频对象位置到参考位置的距离、音频对象的速率或音频对象内容类型中的一个或多个来创建增益的装置。

29.根据权利要求26所述的设备，其中，该用于呈现的装置包含用于施加扬声器区域约束的装置，该扬声器区域约束包含用于禁用所选再现扬声器的数据。

30.根据权利要求26所述的设备，其中，该用于呈现的装置包含用于响应于扬声器过载通过在保持总体恒定能量的同时将音频能量引至数量增加的相邻再现扬声器来进行动态对象分摊的装置。

31.一种用于创作音频对象的设备(2100)，所述设备(2100)包括：

接口系统(2105)；

用户输入系统(2135)；

显示系统(2130)；和

逻辑系统(2110)，所述逻辑系统(2110)被构造用于：

通过接口系统接收音频数据；

在显示系统(2130)上在图形用户界面中显示虚拟再现环境；

其中，所述虚拟再现环境包含位于不同高度的多个扬声器区域；

通过用户输入系统接收关于音频对象的位置的用户输入；

根据通过用户输入系统接收到的用户输入确定指示音频对象在三维空间中的时变位置的轨迹数据，其中，该确定包含将该时变位置约束到三维空间内的二维表面，其中所述音频对象包含音频数据；

在所述图形用户界面中显示根据所述轨迹数据的音频对象轨迹；和

创建与音频数据对象相关联的元数据，其中，所述元数据包括所述轨迹数据。

32.根据权利要求31所述的设备，其中，所述二维表面包含球面、椭圆面、圆锥面、圆柱面或楔形面之一。

33.根据权利要求31所述的设备，其中，所述轨迹数据包括三维空间内的在多个时间实例的一组位置。

34.根据权利要求31所述的设备，其中，所述轨迹数据包括初始位置、速率数据和加速度数据。

35.根据权利要求31所述的设备，其中，所述轨迹数据包括初始位置以及限定三维空间中的位置和相应时间的方程。

36.根据权利要求31所述的设备，还包括声音再现系统，其中，所述逻辑系统被配置为至少部分地根据所述元数据控制所述声音再现系统。

37.根据权利要求31所述的设备，其中，所述多个扬声器区域对应于包含再现扬声器的实际三维再现环境的再现扬声器，或者其中，所述多个扬声器区域对应于虚拟环绕声环境的虚拟扬声器。

38.根据权利要求31所述的设备，其中，所述音频对象的增加的高度在所述图形用户界面中被用圆圈的直径增大指示，该圆圈表示图形用户界面中的音频对象。

39.一种用于创作音频对象的方法，包括：

接收音频数据；

在显示系统上在图形用户界面中显示虚拟再现环境；其中，所述虚拟再现环境包含位于不同高度的多个扬声器区域；

接收关于音频对象的位置的用户输入；

确定指示音频对象在三维空间中的时变位置的轨迹数据，其中，该确定包含将该时变位置约束到三维空间内的二维表面，其中所述音频对象包含音频数据；

创建与音频对象相关联的元数据，其中所述元数据包括所述轨迹数据。

40.根据权利要求39所述的方法，其中，所述二维表面包含球面、椭圆面、圆锥面、圆柱面或楔形面之一。

41.一种用于创作音频对象的设备，包括：

用于接收音频数据的装置；

用于在显示系统上在图形用户界面中显示虚拟再现环境的装置；其中，所述虚拟再现环境包含位于不同高度的多个扬声器区域；

用于接收关于音频对象的位置的用户输入的装置；

用于确定指示音频对象在三维空间中的时变位置的轨迹数据的装置，其中，该确定包含将该时变位置约束到三维空间内的二维表面，其中所述音频对象包含音频数据；

用于在所述图形用户界面中显示根据所述轨迹数据的音频对象轨迹的装置；和

用于创建与音频对象相关联的元数据的装置，其中所述元数据包括所述轨迹数据。

42.根据权利要求41所述的设备，其中，所述二维表面包含球面、椭圆面、圆锥面、圆柱面或楔形面之一。