CN110045818B - 用于虚拟现实环境的移动扬声器系统 - Google Patents

Abstract

一种计算系统包括具有指令的存储器和耦合到所述存储器的处理器。所述处理器在执行所述指令时被配置为执行以下步骤：将与虚拟环境中所包括的虚拟对象相关联的声音映射到机器人扬声器；将信息发送到所述机器人扬声器以致使所述机器人扬声器移动到物理环境中的与所述虚拟环境中的所述虚拟对象的位置相对应的位置；以及将音频信号发送到所述机器人扬声器。所述机器人扬声器基于所述音频信号并且在所述物理环境中的所述位置处输出与所述虚拟对象相关联的所述声音。

Description

用于虚拟现实环境的移动扬声器系统

技术领域

各个实施方案总体涉及音频系统，并且更具体地，涉及用于虚拟现实环境的移动扬声器系统。

背景技术

越来越受关注的技术领域是虚拟现实。虚拟现实系统使用户沉浸在计算机生成的虚拟环境中，所述计算机生成的虚拟环境通常包括各种类型的虚拟对象和由此类虚拟对象生成的声音。用于虚拟现实的应用可以包括例如娱乐、游戏、医疗保健、通信以及人员培训和发展。

常规的虚拟现实技术通常包括由用户佩戴的虚拟现实头戴式耳机。计算系统生成虚拟现实内容，所述虚拟现实内容包括经由头戴式耳机呈现给用户的虚拟环境。计算系统还可以响应于用户交互(诸如经由游戏控制器的交互或用户他或她自己执行的移动)来更新虚拟现实内容的各方面。

如上所述，虚拟环境可以包括在虚拟环境内产生声音和/或影响声音的任何数量的虚拟对象。与这些虚拟对象相关联的声音通常经由一个或多个音频装置输出给用户，所述音频装置诸如耳机、包括在VR头戴式耳机中的扬声器和/或包括在用户所在的物理环境中的扬声器。

尽管常规系统通常能够提供包括与虚拟环境中所包括的各种类型的对象相关联的声音效果的动态音频输出，但输出的音频可能不能准确地表示虚拟现实内容的各个方面。例如，在虚拟对象位于远离用户某一距离并且在用户上方某一距离的情况下，实现耳机或扬声器以向用户输出音频的常规系统可能不能够输出音频，使得用户将由虚拟对象生成的声音感知为从虚拟对象位于虚拟环境中的特定位置处发出的声音。

如前所述，用于生成并输出与虚拟现实环境相关联的音频的更有效技术将是有用的。

发明内容

一个实施方案阐述了一种用于将声音映射到机器人扬声器的方法。所述方法包括：将与虚拟环境中所包括的虚拟对象相关联的声音映射到机器人扬声器；将信息发送到所述机器人扬声器以致使所述机器人扬声器移动到物理环境中的与所述虚拟环境中的所述虚拟对象的位置相对应的位置；以及将音频信号发送到所述机器人扬声器，其中所述机器人扬声器基于所述音频信号并且在所述物理环境中的所述位置处输出与所述虚拟对象相关联的所述声音。

其他实施方案尤其提供了被配置为实现上述方法的系统、装置和计算机可读存储介质。

所公开的技术的至少一个优点是向虚拟现实内容的用户输出的音频更准确地表示虚拟现实内容。具体地，基于用户在虚拟现实内容中看到的内容，用户听到的音频与用户对音频的期望更紧密地匹配。因此，音频有助于实现更加沉浸式的虚拟现实体验。

附图说明

为了能够详细理解上文所列举的特征的方式，可以通过参照实施方案来对上文简要概述的各个实施方案进行更具体的描述，其中一些实施方案在附图中展示。然而，应注意，附图仅仅展示了典型的实施方案，并且因此不应被认为是对本发明范围的限制，这是因为设想的实施方案可容许其他等效的实施方案。

图1是展示根据各个实施方案的一个或多个方面的实现一个或多个机器人扬声器的虚拟现实系统的概念图；

图2是展示根据各个实施方案的一个或多个方面的图1的虚拟现实系统的计算装置的框图；

图3是展示根据各个实施方案的一个或多个方面的图1的机器人扬声器的框图；

图4是根据各个实施方案的一个或多个方面的用于将虚拟对象映射到机器人扬声器的方法步骤的流程图；并且

图5是根据各个实施方案的一个或多个方面的用于经由机器人扬声器输出与虚拟对象相关联的音频的方法步骤的流程图；

图6A至图6C是展示根据各个实施方案的一个或多个方面的用于经由具有轮子的机器人扬声器输出与虚拟对象相关联的声音的技术的图示；

图7是展示根据各个实施方案的一个或多个方面的多个机器人扬声器的图示，所述多个机器人扬声器中的两个或更多个可以一个或多个线阵列布置；

图8是展示根据各个实施方案的一个或多个方面的以一结构布置的多个机器人扬声器的图示；并且

图9A至图9B是展示根据各个实施方案的一个或多个方面的从天花板悬挂的多个机器人扬声器和通过气体推进的机器人扬声器的运动的图示。

具体实施方式

在以下描述中，阐述了多个具体细节以提供对各个实施方案的更全面理解。然而，对本领域的技术人员来说将明显的是，可在没有这些特定细节中的一个或多个的情况下实践各个实施方案。

系统概述

图1是展示根据各个实施方案的一个或多个方面的实现一个或多个机器人扬声器的虚拟现实系统的概念图。如图所示，VR系统100包括VR头戴式耳机110和一个或多个计算装置112。VR系统100与一个或多个机器人扬声器108通信地耦合。如图所示，VR系统100、机器人扬声器108和用户102位于物理环境104中。在各个实施方案中，物理环境104可以是开放环境(例如，户外)或封闭的环境(例如，有墙壁和天花板的房间)。物理环境104可以具有基于物理环境104内的墙壁、天花板、地板、物理对象等(未示出)的存在或不存在的各种声学特性。应当理解，虽然本文所描述的实施方案被描述为用VR系统100实现，但所描述的实施方案可以用任何类型的虚拟环境计算系统(例如，增强现实系统)来实现。

通常，VR系统100生成VR内容，诸如包括一个或多个虚拟对象的虚拟环境，并且响应于从用户102接收到的输入来更新VR内容。VR内容通常包括视觉内容(例如，虚拟对象)和与视觉内容相对应的音频内容(例如，由虚拟对象产生的声音)两者。视觉内容可以经由一个或多个显示装置(例如，安装在VR头戴式耳机110中或以其他方式耦合到VR头戴式耳机110的一个或多个显示器)显示给用户102。音频内容可以经由一个或多个机器人扬声器108并且可选地经由一个或多个附加静态音频装置(例如，耳机、VR头戴式耳机110上的一个或多个扬声器、布置在物理环境104中的一个或多个固定扬声器等)呈现给用户102。

常规的VR方法通常经由静态音频装置输出音频内容，诸如由用户佩戴的耳机或包括在物理环境中的固定扬声器。如上所述，经由静态音频装置输出的音频内容可能无法准确地表示虚拟环境和/或虚拟环境中所包括的虚拟对象。例如，由固定扬声器输出的声音可能无法准确地反映用户与虚拟环境中所包括的虚拟对象之间的距离、方向和/或运动。

因此，在各个实施方案中，VR系统100识别在虚拟环境内生成的一种或多种声音，并且确定所述声音是否是将经由一个或多个机器人扬声器108输出的候选者。例如，如果特定虚拟对象是将被映射到机器人扬声器108的候选者并且满足一组一个或多个标准(诸如虚拟对象在虚拟环境内的用户102的位置的指定距离内)，则可以经由机器人扬声器108输出由虚拟对象产生或以其他方式与虚拟对象相关联的声音。如果虚拟对象和/或声音是将经由机器人扬声器108输出的候选者，并且机器人扬声器108可用于输出声音，则声音和/或虚拟对象被映射到机器人扬声器108。然后可以将机器人扬声器108移动到物理环境104内的一位置，所述位置对应于在虚拟环境中发出(或将要发出)声音的位置。然后经由机器人扬声器108输出声音，以便生成沉浸式听觉环境，所述沉浸式听觉环境更准确地反映对应虚拟对象在虚拟环境内的位置、取向、移动等。

在一些实施方案中，当用户102在不改变物理环境104内的位置或取向的情况下移动或改变虚拟环境内的取向(例如，经由使用手势、游戏控制器、操纵杆等的输入来移动或改变虚拟环境内的取向)和/或与VR内容交互时，机器人扬声器108可以在物理环境104内重新定位以反映用户102在虚拟环境内的更新的位置和/或取向。另外，机器人扬声器108可以在物理环境104内重新定位以反映虚拟对象在虚拟环境内的位置和取向，而不管用户102是否已经移动或改变了物理环境104内的取向或用户102在虚拟环境内的位置和/或取向是否已经改变。

如图所示，VR系统100可以包括一个或多个计算装置112。在各个实施方案中，计算装置112响应于用户输入来生成VR内容并更新VR内容。在一些实施方案中，计算装置112与VR头戴式耳机110分开并且通信地耦合，如图1所示。另外，在一些实施方案中，计算装置112与VR头戴式耳机110集成和/或耦合到VR头戴式耳机110。下文结合图2更详细地描述可以用VR系统100实现的计算装置112的示例。

如图所示，VR头戴式耳机110被配置为由VR系统100的用户102佩戴。VR头戴式耳机110可以经由有线连接(例如，一根或多根电缆、连接器等)和/或无线连接(例如，Wi-Fi、蓝牙等)通信地耦合到计算装置112。VR头戴式耳机110可以包括一个或多个输入/输出装置，所述一个或多个输入/输出装置中的一个或多个可以与计算装置112一起操作。例如，VR头戴式耳机110可以包括一个或多个传感器(例如，惯性传感器、加速度计、陀螺仪、磁力计、接近传感器等)。来自一个或多个传感器的数据可以被发送到计算装置112，所述计算装置112可以确定用户102的位置、用户102的运动、用户102的头部的绝对和/或相对取向106(并且对应地，VR头戴式耳机110的绝对和相对取向)、VR头戴式耳机是否由用户102佩戴等。另外，VR头戴式耳机110可以包括一个或多个视觉输出装置(例如，用于输出从计算装置112接收到的视觉内容的显示器)。VR头戴式耳机110还可以包括一个或多个音频输出装置(例如，用于输出从计算装置112接收到的音频内容的耳机、集成扬声器等)。

如本文所用，用户102在物理环境104中的位置可以在物理环境104的x、y和z轴的三维空间中定义。用户102在物理环境104中的取向可以被定义为用户102在物理环境104的三维空间内面向的方向。可以相对于绝对参考系或相对于物理环境104中的参考位置或对象来定义取向。

VR系统100可以包括耦合到计算装置112和/或VR头戴式耳机110的一个或多个输入装置(未示出)。例如，VR头戴式耳机110可以包括用于接收用户输入的一个或多个输入装置(例如，按钮、开关、触摸板、传声器等)。VR系统100还可以包括通信地耦合到计算装置112和/或VR头戴式耳机110(例如，通过有线或无线连接)，并且被配置为由用户102操作的一个或多个单独的控制器装置(例如，游戏手柄、操纵杆、其他手持控制器装置)。VR系统100可以经由输入装置从用户102接收输入(例如，与VR内容交互的输入、菜单导航输入、语音输入、音量改变输入)。VR系统100可以响应于经由输入装置接收的输入来更新VR内容。在一些实施方案中，输入装置中的一个或多个还可以向用户102提供触觉反馈。

每个机器人扬声器108可以包括一个或多个音频输出装置(例如，一个或多个扬声器、放大器等)。音频输出装置可以接收音频信号并处理音频信号(例如，经由解码、放大、数字信号处理、音频效果等)以产生音频输出，所述音频输出然后经由一个或多个扬声器输出。音频信号可以包括由计算装置112生成的音频内容(例如，VR内容的音频内容)。

每个机器人扬声器108还可以包括移动性部件(例如，移动性部件326，图3)。机器人扬声器108的移动性部件可以包括能够在物理环境104内将机器人扬声器108从一个位置移动到另一个位置并改变取向的机械的、电气的和/或任何其他合适的部件，如下文结合图3、图6A至图6C、图7至图8和图9A至图9B进一步详细描述的。

图2展示根据各个实施方案的一个或多个方面的VR系统100的计算装置112。在各个实施方案中，一个或多个计算装置112可以与头戴式耳机110分开并通信地耦合、与头戴式耳机110集成、或者以上的组合。如图所示，计算装置112包括一个或多个处理器202、输入/输出(I/O)装置204和存储器206。

处理器202可以是被配置为处理数据并执行程序指令的任何技术上可行的硬件单元。处理器202可以包括例如但不限于，中央处理单元(CPU)、图形处理单元(GPU)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、数字信号处理器(DSP)以及其任何组合。

I/O装置204可以包括用于接收输入和/或提供输出的装置。例如但不限于，I/O装置204可以包括一个或多个控制器装置、键盘、鼠标、触摸板、一个或多个传感器装置(例如，相机、运动传感器、加速度计、陀螺仪、磁力计、惯性传感器等)、一个或多个传声器、耳机以及一个或多个静态音频装置。I/O装置204中的一个或多个可以包括在VR头戴式耳机110中。I/O装置204还可以包括用于使用任何合适的通信技术与其他计算装置112、VR头戴式耳机110和机器人扬声器108通信的一个或多个通信装置(未示出)(例如，无线通信装置、有线通信装置)。

存储器206可以包括用于存储数据和软件应用的任何技术上可行的存储介质。存储器可以包括例如随机存取存储器(RAM)模块、只读存储器(ROM)模块、硬盘驱动器、固态驱动器、闪存存储器等。

如图2所示，存储器206包括VR模块208、跟踪模块210、场景管理器模块212、音频管理器模块214、物理环境分析模块216、音频处理模块218、VR内容定义220、虚拟对象信息222、物理环境信息224、机器人扬声器信息226和用户性质信息228。

在操作中，VR模块208响应于用户输入(诸如经由传感器或控制器装置接收的输入)来生成VR内容并更新VR内容。VR内容可以包括虚拟环境、一个或多个虚拟对象、以及可选地用户102在虚拟环境中的表示。用户102的表示不需要是可见的并且可以体现分配给虚拟环境中的用户102的性质(例如，位置、运动、取向、尺寸等)。用户102的表示还可以包括一个或多个相关联的虚拟对象(例如，虚拟身体部位)，并且可以对应于VR内容内的角色。VR模块208可以根据存储在存储器206中的预设VR内容定义220来生成VR内容。VR内容定义220可以包括可能的虚拟环境、虚拟对象和用户表示的定义。在各个实施方案中，VR内容定义220可以由VR模块208的开发者创建，并且可以作为库或数据库(例如，对象类库、性质的可能参数范围的数据库)存储在存储器206中和/或预先配置在VR模块208中(例如，配置在VR模块208的程序指令内)。

在一些实施方案中，VR内容定义220可以进一步定义用于将虚拟对象和/或与虚拟对象相关联的声音映射到机器人扬声器108的优先级。例如，VR内容定义220可以定义VR内容中的狗。VR内容定义220可以进一步定义用于将VR内容中的虚拟狗的任何实例映射到机器人扬声器108的优先级。优先级可以是分配给一个或多个虚拟对象的排名、虚拟对象必须映射到机器人扬声器108的指示、或者虚拟对象可能永远不会映射到机器人扬声器108的指示。

跟踪模块210跟踪用户102和机器人扬声器108。例如，跟踪模块210结合一个或多个I/O装置204(例如，头戴式耳机110上的一个或多个传感器)确定并跟踪用户102的位置和运动和/或用户102在物理环境104中的头部取向106。跟踪模块210可以将与用户102的位置、运动和取向106相对应的元数据作为用户性质信息228存储在存储器206中。用户性质信息228存储与物理环境104中的用户102相关联的性质的元数据。与用户102相关联的性质可以包括用户102的位置、用户102的检测到的运动(例如，运动的速度和方向)和用户102的取向106。VR模块208可以读取用户性质信息228以确定用户102在虚拟环境内的位置、运动和取向。

在一些实施方案中，跟踪模块210还确定并跟踪机器人扬声器108的位置。例如，跟踪模块210可以使用一种或多种技术(例如，三边测量)结合一个或多个I/O装置204(例如，传声器、传感器)来确定并跟踪机器人扬声器108的位置。另外地或可替代地，每个机器人扬声器108可以包括I/O装置(例如，传感器324)和/或被配置为确定机器人扬声器108在物理环境104内的位置并将所述位置发送到计算装置112的其他部件。例如，机器人扬声器108可以将扬声器位置信息318(图3)发送到计算装置112。跟踪模块210然后可以将与机器人扬声器108的位置相对应的元数据作为机器人扬声器信息226存储在存储器206中。在一些实施方案中，跟踪模块210还结合一个或多个跟踪系统(例如，OPTITRACK、LIGHTHOUSE、编码光系统)来跟踪用户102(例如，通过跟踪VR头戴式耳机110)和机器人扬声器108。

在各个实施方案中，场景管理器模块212识别由VR模块208生成的VR内容中的虚拟对象。场景管理器模块212确定虚拟对象的性质，并将与虚拟对象的性质相对应的元数据作为虚拟对象信息222存储在存储器206中。虚拟对象信息222包括与虚拟环境中的虚拟对象的性质相对应的元数据。在一些实施方案中，虚拟对象包括构成虚拟环境的可见对象(例 如，地面、天空中的云、景观等)以及虚拟环境中存在的其他虚拟对象(例如，动物、人、事物)。在一些实施方案中，场景管理器模块212识别虚拟对象并通过评估由VR模块208生成的VR内容来确定虚拟对象的性质。场景管理器模块212可以周期性地(例如，每一秒)或连续性地评估VR内容。

可由场景管理器模块212确定的虚拟对象的性质的示例包括但不限于：虚拟环境中的虚拟对象的位置、虚拟对象距虚拟环境中的与用户102对应的位置的距离、到虚拟环境中的其他虚拟对象(例如，墙壁等)的距离、从虚拟对象到虚拟环境中的用户或另一个虚拟对象的最短直线路径(例如，射线跟踪路径)、虚拟对象的混响性质(例如，反射系数、对象形状等)、虚拟对象的吸声或掩蔽性质(例如，吸声系数等)、虚拟对象的尺寸(例如，长度、宽度、高度)、以及形状或几何形状(例如，虚拟对象是否具有平坦或锯齿状的形状等)。

在各个实施方案中，音频管理器模块214识别由VR模块208生成的VR内容中的虚拟对象(例如，由场景管理器模块212识别的相同虚拟对象)。对于给定的虚拟对象，音频管理器模块214获得虚拟对象的性质(例如，来自虚拟对象信息222)。

音频管理器模块214确定虚拟对象是否是将被映射到包括在有限数量的机器人扬声器108中的机器人扬声器的候选者。在一些实施方案中，音频管理器模块214通过确定虚拟对象是否产生声音和/或虚拟对象是否影响来自其他虚拟对象的声音来确定虚拟对象是否是将被映射到机器人扬声器的候选者。在一些实施方案中，VR内容定义220或虚拟对象信息222可以定义虚拟对象是否产生声音(例如，虚拟人说话、虚拟狗吠、虚拟海洋制造波浪声音)或是否影响其他虚拟对象产生的声音。例如，虚拟对象可以通过反射声音(例如，反射声音的墙壁)或掩蔽声音(例如，窗户或门可掩蔽或消除通过的声音)来影响声音。在一些实施方案中，如果确定虚拟对象产生声音和/或影响声音，则确定虚拟对象是将被映射到机器人扬声器108的候选者。在一些实施方案中，VR内容定义220或虚拟对象信息222可以指示虚拟对象是将被映射到机器人扬声器的候选者，而不管虚拟对象是否产生或影响声音。

如果确定虚拟对象是将被映射到机器人扬声器108的候选者，则音频管理器模块214识别由虚拟对象产生或影响的声音。然后，音频管理器模块214可以评估所识别的声音的性质和/或虚拟对象的性质(例如，从虚拟对象信息222)以确定声音和/或虚拟对象是否满足用于将虚拟对象映射到机器人扬声器108的一组一个或多个标准。如果确定声音和/或虚拟对象满足所述一组标准，则可以将虚拟对象和/或声音映射到机器人扬声器108。

在一些实施方案中，音频管理器模块214评估虚拟对象的性质和声音的性质，以确定声音和/或虚拟对象是否满足所述一组标准。标准的示例包括但不限于：虚拟对象是否在距虚拟环境内的用户102的阈值距离范围内、声音是否在预定义的频率范围内、虚拟对象是否已被预定义为需要映射到机器人扬声器108、以及虚拟对象是否产生特定类型的声音。

在一些实施方案中，用于映射到机器人扬声器108的标准是虚拟对象是否在距虚拟环境内的用户的位置的阈值距离范围内。如果虚拟对象距用户的位置太远或太靠近，则音频管理器模块214可以确定虚拟对象在阈值距离范围之外。可以从输出中省略距用户位置太远的声音和/或可以经由一个或多个静态音频装置(例如，固定扬声器)输出所述声音，并且可以经由一个或多个静态音频装置(例如，耳机)输出太靠近用户位置的声音。如果音频管理器模块214确定虚拟对象在阈值距离范围之外，则虚拟对象不满足该标准。

在一些实施方案中，用于映射到机器人扬声器108的另一标准是声音是否在阈值频率范围内。如果声音具有不在阈值频率范围内的频率，则音频管理器模块214可以确定声音在阈值频率范围之外。与机器人扬声器108相比，当在阈值频率范围之外的声音由静态音频装置输出时，所述声音可能具有用户可感知的很小的或零差异。因此，在阈值频率范围之外的声音可以由静态音频装置而不是机器人扬声器108输出。如果音频管理器模块214确定声音在阈值频率范围之外，则声音不满足该标准。

在一些实施方案中，用于映射到机器人扬声器108的另一标准是虚拟对象是否已被预定义为需要映射到机器人扬声器108。音频管理器模块214可以确定虚拟对象已由(例 如，VR内容定义220内的)开发者预定义为需要将虚拟对象映射到机器人扬声器108。虚拟对象可以基于VR内容内的虚拟对象的重要性由开发者预定义为需要映射到一个或多个机器人扬声器108。如果音频管理器模块214确定虚拟对象被预定义为需要映射到机器人扬声器108，则虚拟对象满足用于映射的一组标准。

在一些实施方案中，用于映射到机器人扬声器108的另一标准是VR内容内的声音类型和/或在VR内容内产生声音的虚拟对象的类型。也就是说，某些声音更适合于经由机器人扬声器108输出。例如，在涉及第一人称射击游戏的VR内容中，来自敌人角色的声音可被认为是相对更重要的，并且因此更适合于经由机器人扬声器108输出，而不是来自虚拟环境中的其他对象的环境声音(例如，河水流淌的声音)。如果音频管理器模块214确定敌人角色声音比来自环境中的对象的声音更重要，则音频管理器模块214可以确定敌人角色声音满足标准并且来自环境中的对象(例如，河流)的声音不满足标准。在一些实施方案中，音频管理器模块214可以确定来自环境中的对象的声音满足标准，但具有比敌人角色声音更低的优先级。

作为另一个示例，相较于对应于来自用户表示的内部独白的语音，来自角色的语音可能更适合于经由机器人扬声器108输出，因为内部独白通常不需要空间感和距离感。音频管理器模块214可以确定来自角色的语音满足标准并且内部独白不满足标准。在一些实施方案中，音频管理器模块214可以确定内部独白满足标准，但具有比来自角色的语音更低的优先级。

作为另一个示例，来自主角的语音可以被认为是更重要的，并且因此比来自配角的语音更适合于经由机器人扬声器108输出。音频管理器模块214可以确定来自主角的语音满足标准。音频管理器模块216可以确定来自配角的语音也满足标准，但具有比来自主角的语音更低的优先级。

在一些实施方案中，音频管理器模块214还基于所述一组标准确定声音和/或虚拟对象的优先级。音频管理器模块214可以基于所述一组标准对虚拟对象进行优先级排序或去优先级以便映射到机器人扬声器108。例如，更靠近用户但仍在阈值距离范围内的虚拟对象可以优先于更远离用户但仍在阈值距离范围内的虚拟对象。作为另一示例，如果VR内容对应于虚拟雨林中保持的虚拟会议，则来自会议参与者的语音可优先于来自虚拟雨林中的对象的环境声音，因为来自参与者的语音比与环境相关联的环境声音更重要。如果虚拟对象被预定义为需要映射到机器人扬声器108，则音频管理器模块214可以确定虚拟对象具有最高优先级。

如果声音和/或虚拟对象满足所述一组标准，并且机器人扬声器108可用于映射，则将虚拟对象和/或声音映射到机器人扬声器108。如果没有机器人扬声器108可用于映射(例如，所有机器人扬声器108已经被映射虚拟对象)，则音频管理器模块214可以确定声音和/或虚拟对象是否优先于已经映射到机器人扬声器108的另一个虚拟对象。如果音频管理器模块214确定声音和/或虚拟对象优先于已经映射到机器人扬声器108的另一个虚拟对象，则音频管理器模块214可以移除当前映射并在更高优先级的声音和/或虚拟对象与机器人扬声器108之间生成新的映射。

在一些实施方案中，虚拟对象和/或与虚拟对象相关联的声音到机器人扬声器的映射是动态的并且随时间的推移而变化。例如，当VR内容被更新时，特定虚拟对象和/或由虚拟对象产生或影响的声音是否满足所述一组标准可以随时间的推移而变化。如果映射到机器人扬声器108的虚拟对象不再满足所述一组标准，则音频管理器模块214可以移除该映射和/或用更高优先级虚拟对象与机器人扬声器108之间的映射替换该映射。在一些实施方案中，音频管理器模块214连续地确定虚拟对象和/或与虚拟对象相关联的声音如何被映射到机器人扬声器108以及是否应当移除或替换任何映射。

在一些实施方案中，多个虚拟对象和/或与多个虚拟对象相关联的声音可以被映射到相同的机器人扬声器108。例如，可以通过消除角色语音的窗口听到角色在虚拟环境中说话。在这种情况下，角色(作为声音的产生者)和窗口(作为影响声音的对象)两者可以被映射到相同的机器人扬声器108。

在一些实施方案中，相同虚拟对象和/或与相同虚拟对象相关联的声音可以被映射到多个机器人扬声器108。例如，虚拟环境中的海洋可以产生与移动波相对应的声音。海洋可以被映射到多个机器人扬声器108，并且多个机器人扬声器108可以形成机器人扬声器的线阵列。波声的输出可以在阵列中的第一机器人扬声器处开始，然后随着波在虚拟环境内移动而移动到阵列中的其他机器人扬声器108。下面结合图7描述机器人扬声器108的线阵列的示例。

在一些实施方案中，音频管理器模块214还可以针对映射到机器人扬声器108的一个或多个虚拟对象和/或与一个或多个虚拟对象相关联的声音确定要应用于与由虚拟对象生成或影响的声音相对应的音频信号的一个或多个处理操作。处理操作的示例包括幅度调整、均衡、空间化和/或其他类型的音频效果(例如，混响)。音频管理器模块214可以基于虚拟对象信息222(例如，虚拟对象与用户之间的距离、虚拟墙壁的反射率或吸收系数等)、物理环境信息224(例如，物理环境104中墙壁的存在或不存在)、机器人扬声器信息226(例如，机器人扬声器108相对于用户102的位置)、以及用户性质信息228(例如，用户102的位置和/或取向)确定要应用的处理操作。音频管理器模块214可以指令音频处理模块218结合一个或多个处理器202(例如，数字信号处理器)来根据确定的处理操作处理与由虚拟对象生成或影响的声音相对应的音频信号。

例如，音频管理器模块214可以将虚拟对象和虚拟环境内的与用户102相对应的位置之间的距离与映射的机器人扬声器108和用户102之间的距离进行比较。音频管理器模块214可以确定关于音频信号的一个或多个处理操作(例如，调整均衡、幅度和/或混响)以协调距离。根据处理操作处理音频信号，使得当经由机器人扬声器108输出对应于音频信号的音频时，用户102将音频感知为来自与虚拟对象和虚拟环境内的与用户102相对应的位置之间的距离基本相同的距离。

音频管理器模块214可以进一步针对已经映射到机器人扬声器108的一个或多个虚拟对象和/或与一个或多个虚拟对象相关联的声音来确定物理环境104中的目标位置和取向，机器人扬声器108将被定位在所述目标位置和取向处。音频管理器模块214可以访问机器人扬声器信息226以确定每个机器人扬声器108的当前位置，确定每个机器人扬声器108的目标位置和取向，并将目标位置发送到机器人扬声器108。

在一些实施方案中，音频管理器模块214可以使得不满足所述一组标准的声音和/或虚拟对象经由VR音频输出的常规技术输出(例如，经由静态音频装置输出)。可以经由一个或多个静态音频装置输出这样的声音。

例如，用户102可以在作为小房间的物理环境104中使用VR系统100。VR系统100为用户102生成VR内容，其包括大礼堂和与用户102相邻的虚拟人，其中用户102的位置在礼堂的中心。虚拟人在虚拟礼堂里拍手。拍手本身的声音可以经由静态音频装置输出(例如，VR头戴式耳机110上的耳机、扬声器)，因为虚拟人与用户之间的距离短。拍手的声音可以通过虚拟礼堂的墙壁反射。音频管理器模块214可以进一步确定墙壁是用于映射到机器人扬声器108的候选者，因为墙壁是影响拍手声音的虚拟对象。音频管理器模块214可以确定拍手的反射声音和/或墙壁满足用于映射到机器人扬声器108的所述一组标准。然后，音频管理器模块214可以将墙壁映射到相应的机器人扬声器108。音频管理器模块214可以进一步至少基于虚拟对象信息222、物理环境信息224、机器人扬声器信息226和用户信息228来确定虚拟礼堂中的墙壁和用户之间的距离比物理环境104中的机器人扬声器108和用户102之间的距离长。因此，音频管理器模块214可以确定一个或多个处理操作以应用于与墙壁的声音反射相对应的音频信号以解释距离的差异，以及确保用户将对应的音频输出感知为声音的反射(例如，回声)。以这种方式，经由机器人扬声器108输出的音频信号与虚拟礼堂中的墙壁与用户位置之间的距离更紧密地关联。音频管理器模块214可以进一步指令机器人扬声器108移动到相应的目标位置和/或取向，以便与墙壁相对于用户的位置、方向等更紧密地关联。

物理环境分析模块216可以确定物理环境104的一个或多个性质(例如，物理对象的尺寸、位置、到物理对象的距离等)，并且对性质进行分析以确定物理环境104的声学性质。在一些实施方案中，物理环境分析模块216可以经由一个或多个I/O装置204和/或I/O装置304(例如，机器人扬声器108上的传感器324)来确定物理环境104的性质。在一些另外的实施方案中，物理环境104的性质可以从单独的房间声学分析系统(未示出)和/或用户输入获得。对应于物理环境104的性质的元数据可以作为物理环境信息224存储在存储器206中。物理环境分析模块216可以对物理环境信息224进行分析以确定物理环境104的声学特性。例如，物理环境分析模块216可以从物理环境信息224确定物理环境104的墙壁的反射率。可替代地，可以从房间声学分析系统和/或从用户输入获得物理环境104的声学特性。

音频处理模块218处理对应于与映射到机器人扬声器108的虚拟对象相关联的声音的音频信号。音频处理模块218对音频信号执行由音频管理器模块214确定的处理操作。在一些实施方案中，结合处理器202中的一个或多个(例如，数字信号处理器)执行处理。然后将音频信号发送到机器人扬声器108以便输出。在一些实施方案中，音频处理模块218被包括在音频管理器模块214中，并且因此，音频管理器模块214确定处理操作，对音频信号执行处理操作，并将已处理的音频信号发送到机器人扬声器108。

在一些实施方案中，VR系统100可以包括多个计算装置112。VR系统100的功能(例 如，如存储在存储器206中的模块所表示)和存储在存储器206中的信息可以在多个装置112之间划分。例如，第一计算装置112可以包括虚拟现实模块208、场景管理器模块212、VR内容定义220和虚拟对象信息222。第二计算装置112可以包括跟踪模块210、音频管理器模块214、物理环境分析模块216、音频处理模块218、物理环境信息224、机器人扬声器信息226和用户性质信息228。第一计算装置112可以向第二计算装置112(例如，音频管理器模块214)提供虚拟对象信息222。机器人扬声器108可以与至少第二计算装置112通信地耦合，并且还可选地与第一计算装置112通信地耦合。

图3展示根据各个实施方案的一个或多个方面的机器人扬声器108。如图所示，机器人扬声器108包括一个或多个处理器302、输入/输出(I/O)装置304和存储器306。

处理器302可以是被配置为处理数据并执行程序指令的任何技术上可行的硬件单元。处理器302可以包括例如但不限于，中央处理单元(CPU)、图形处理单元(GPU)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、数字信号处理器(DSP)或其任何组合。

I/O装置304可以包括用于接收输入和/或提供输出的装置。例如但不限于，I/O装置304可以包括一个或多个传感器324(例如，加速度计、陀螺仪、惯性传感器等)和/或一个或多个音频输出装置310。在一些实施方案中，传感器324包括超声波测距仪、激光距离测量装置、光学传感器、RF传感器和蓝牙传感器(例如，蓝牙低功耗传感器)中的一个或多个。I/O装置304还可以包括用于与VR系统100中的计算装置112、VR头戴式耳机110和/或其他机器人扬声器108通信的一个或多个通信装置(未示出)(例如，无线通信装置)。在一些实施方案中，机器人扬声器108可以经由任何合适的无线通信技术(例如，Wi-Fi、蓝牙)与计算装置112、VR头戴式耳机110和其他机器人扬声器108通信。

移动性部件326移动并改变机器人扬声器108在物理环境104内的取向。通常，移动性部件326可以包括用于在物理环境104内使机器人扬声器108移动和/或旋转的任何类型的机械、电气、流体、气流生成和/或任何其他合适的部件。移动部件326可以根据来自计算装置112的指令和/或目标位置来移动和重新定向机器人扬声器108。移动性部件326可以在三维空间中相对于x、y和/或z维度改变机器人扬声器108的位置，并且在任何合适方向上重新定向机器人扬声器108。在各个实施方案中，移动性部件326是完整的，能够在至少x和y维度上的所有方向上自由地移动机器人扬声器108。下文结合图6A至图9B描述移动性部件的详细示例和机器人扬声器108的移动。

音频输出装置310输出对应于从计算装置112接收到的音频信号的音频。音频输出装置310可以包括一个或多个扬声器，并且另外包括解码器(例如，模数转换器)、放大器和前置放大器中的一个或多个。

存储器306可以包括用于存储数据和软件应用的任何技术上可行的存储介质。存储器可以包括例如随机存取存储器(RAM)模块、只读存储器(ROM)模块、硬盘驱动器、固态驱动器、闪存存储器等。如图3所示，存储器306包括扬声器管理器模块312、定位模块314、音频输出模块316和扬声器位置信息318。

在操作中，扬声器管理器模块312跟踪机器人扬声器108的当前位置。扬声器管理器模块312结合传感器324来确定机器人扬声器108的当前位置。扬声器管理器模块312将与机器人扬声器108的当前位置相对应的元数据作为扬声器位置信息318存储在存储器306中。在一些实施方案中，扬声器管理器模块312还可以经由一个或多个传感器324跟踪机器人扬声器108与用户102之间的距离，并且在扬声器位置信息318中存储与所述距离相对应的元数据。扬声器管理器模块312可以将扬声器位置信息318发送到计算装置112。

在一些实施方案中，扬声器管理器模块312从计算装置112接收关于用户102和机器人扬声器108的跟踪信息(例如，由跟踪模块210生成的用户性质信息228和机器人扬声器信息226)。因此，扬声器管理器模块312可以获得用户102和其他机器人扬声器108在物理环境104内的位置，从而有助于机器人扬声器108在物理环境104中的移动。

定位模块314指引机器人扬声器108的移动。定位模块314可以例如通过控制移动性部件326来控制机器人扬声器108在物理环境108内的移动。定位模块314还可以经由传感器324检测障碍物(例如，物理环境108中的其他机器人扬声器108和其他对象)，机器人扬声器108在物理环境104内移动时应当避开所述障碍物。在一些实施方案中，定位模块314可以包括用于避开物理环境104中的障碍物(例如，其他机器人扬声器108、其他对象)的子模块或子例程。定位模块314还可以包括控制回路反馈功能(例如，比例积分微分(PID)回路功能)，以用于连续控制机器人扬声器108的移动和障碍物检测。在一些实施方案中，定位模块314可以包括专用机器人移动模块(例如，机器人操作系统)。

音频输出模块316可以结合音频输出装置310来对音频信号执行一个或多个操作，以经由音频输出装置310的一个或多个扬声器向用户102输出音频。在一些实施方案中，操作包括对音频信号进行解码、放大音频信号以及将音频信号转换成音频。

在各个实施方案中，在操作中，机器人扬声器108从计算装置112接收音频信号和目标位置。扬声器管理器模块312接收目标位置并指引定位模块314致动移动性部件326，以便将机器人扬声器108从当前位置移动到目标位置。定位模块314致动移动性部件326以将机器人扬声器108移动到目标位置。当机器人扬声器108位于目标位置处时，音频输出模块316对音频信号执行一个或多个操作以便输出。

在一些实施方案中，机器人扬声器108可以在移动到目标位置的同时输出音频。例如，如果VR内容包括在移动的同时说话的虚拟角色，则虚拟角色被映射到的机器人扬声器108可以在机器人扬声器108移动时输出与虚拟角色的语音相对应的音频。

在一些实施方案中，被示出为包括在图2中的计算装置112中的某些模块可以替代地包括在机器人扬声器108中。例如，每个机器人扬声器108可以包括类似于音频处理模块218的音频处理模块(并且可以可选地从计算装置112中省略音频处理模块218)。机器人扬声器108处的音频处理模块可以包括在存储器306中(例如，在音频输出模块316中或作为单独的模块)。在此类实施方案中，音频管理器模块214确定用于音频信号的处理操作，如上文结合图2所述。然后，音频管理器模块214可以向机器人扬声器108传达要执行的处理操作(例如，执行什么处理操作的指令)和对应的音频信号。机器人扬声器108处的音频处理模块根据来自音频管理器模块214的通信对音频信号执行处理操作。

图4是根据一些实施方案的用于将一个或多个虚拟对象映射到一个或多个机器人扬声器108的方法步骤的流程图。虽然相对于图2的系统描述了方法步骤，但本领域技术人员应理解，被配置为以任何顺序实现所述方法步骤的任何系统均落在设想的实施方案的范围内。

如图所示，方法400开始于步骤402处，其中计算装置112的音频管理器模块214识别虚拟环境中所包括的虚拟对象。虚拟对象和虚拟环境包括在由VR模块208生成的VR内容中。在步骤404处，音频管理器模块214获得与虚拟对象相关联的信息。例如，音频管理器模块214可以从虚拟对象信息222获得虚拟对象信息。

在步骤406处，音频管理器模块214确定虚拟对象是否在虚拟环境中产生声音。如果在步骤406处，音频管理器模块214确定虚拟对象产生声音，则方法400前进到步骤412。如果在步骤406处，音频管理器模块214确定虚拟对象不产生声音，则方法400前进到步骤408。

在步骤408处，音频管理器模块214确定虚拟对象是否影响虚拟环境中的声音(例 如，由其他虚拟对象生成的声音)。如果在步骤408处，音频管理器模块214确定虚拟对象影响虚拟环境中的声音，则方法400前进到步骤412。如果在步骤408处，音频管理器模块214确定虚拟对象不影响虚拟环境中的声音，则方法400前进到步骤410，其中音频管理器模块214忽视虚拟对象。例如，在步骤410处，音频管理器模块214将不将虚拟对象映射到任何机器人扬声器108。

在步骤412处，音频管理器模块214识别与虚拟对象相关联的声音。如果声音是由虚拟对象产生或受到虚拟对象影响(例如，反射、混响)，则声音可能与虚拟对象相关联。在步骤414处，音频管理器模块214确定声音和/或虚拟对象是否满足一组一个或多个机器人扬声器映射标准。如果在步骤414处，音频管理器模块214确定声音和/或虚拟对象不满足所述一组标准，则方法400前进到步骤418，其中音频管理器模块214经由一个或多个静态音频装置输出与虚拟对象相关联的声音。可以经由一个或多个静态音频装置(例如耳机、VR头戴式耳机110上的扬声器、物理环境104中用户102周围的固定扬声器)输出与虚拟对象相关联但未映射到机器人扬声器108的声音。

如果在步骤414处，音频管理器模块214确定声音和/或虚拟对象满足所述一组标准，则方法400前进到步骤416，其中音频管理器模块214将虚拟对象和/或与虚拟对象相关联的声音映射到机器人扬声器108。在步骤420处，音频管理器模块214确定机器人扬声器108的目标位置，并且可选地，确定一个或多个处理操作。在步骤422处，音频处理模块218将在步骤420处确定的处理操作应用于与虚拟对象相关联的音频信号。在步骤424处，音频管理器模块214将音频信号和目标位置发送到机器人扬声器108。

图5是根据一些实施方案的用于经由机器人扬声器输出与虚拟对象相关联的音频的方法步骤的流程图。虽然相对于图3的系统描述了方法步骤，但本领域技术人员应理解，被配置为以任何顺序实现所述方法步骤的任何系统均落在设想的实施方案的范围内。

如图所示，方法500开始于步骤502处，其中机器人扬声器108经由扬声器管理器模块312接收目标位置和与虚拟对象相关联的音频信号。在步骤504处，机器人扬声器108的定位模块314致使机器人扬声器108经由移动性部件326移动到目标位置。在步骤506处，机器人扬声器108的音频输出模块316经由音频输出装置310输出与音频信号相对应的音频。在一些实施方案中，机器人扬声器108对音频信号执行(例如，经由音频输出模块216或单独的音频处理模块)由音频管理器模块214确定的一个或多个处理操作，之后输出与音频信号相对应的音频。机器人扬声器108可以如在上述步骤422中代替计算装置112对音频信号执行处理操作。

图6A至图6C是展示根据各个实施方案的一个或多个方面的用于经由具有轮子的机器人扬声器输出与虚拟对象相关联的声音的技术的图示。如图所示，物理环境104包括围绕佩戴VR头戴式耳机110的用户102布置的机器人扬声器108-1至108-5。例如，机器人扬声器108-2位于位置608处，并且机器人扬声器108-5位于位置610处。每个机器人扬声器108朝向用户102定向。机器人扬声器108可以在物理环境104中的位置处输出声音，如图6A所示。机器人扬声器108中的每一个包括移动性部件326，所述移动性部件326包括一个或多个轮子602。尽管结合轮子描述了下文讨论的实施方案，但所述技术适用于任何类型的移动性部件326。

机器人扬声器108中的每一个可以经由一个或多个轮子602在物理环境104中四处移动。例如，如图6B所示，机器人扬声器108-2可以从位置608移动到目标位置612，并且机器人扬声器108-5可以从位置610移动到目标位置614。机器人扬声器108-2和108-5行进到达它们各自的目标位置的路径不需要是直线路径，因为直线路径可能包括要避开的障碍物。

在各个实施方案中，机器人扬声器108可以移动到目标位置，因为映射到机器人扬声器108的虚拟对象的相对于虚拟环境内的用户102的位置和/或取向已经改变，或者因为不同的虚拟对象已被映射到机器人扬声器108。机器人扬声器108可以移动和/或改变取向以匹配虚拟对象的更新位置和/或取向，或者匹配新映射的虚拟对象的位置和/取向。

如图6C所示，机器人扬声器108-2和108-5分别到达目标位置612和614。在位置612和614处，机器人扬声器108-2和108-5分别输出与分别映射到机器人扬声器108-2和108-5的虚拟对象相关联的音频。在一些实施方案中，机器人扬声器108-2和108-5可以在移动到目标位置的同时根据由计算装置112(在图6A至图6C中未示出)生成的VR内容将与虚拟对象相关联的声音分别输出到机器人扬声器108-2和108-5。

图7是展示根据各个实施方案的一个或多个方面的多个机器人扬声器的图示，所述多个机器人扬声器中的两个或更多个可以一个或多个线阵列布置。如图7所示，物理环境104可以包括围绕佩戴VR头戴式耳机110的用户102布置的机器人扬声器108-1至108-10。机器人扬声器108-2、108-3、108-4和108-5以机器人扬声器的第一线阵列布置。第一虚拟对象可以被映射到机器人扬声器108-2、108-3、108-4和108-5。机器人扬声器108-7、108-8、108-9和108-10以机器人扬声器的第二线阵列布置。第二虚拟对象可以被映射到机器人扬声器108-7、108-8、108-9和108-10。机器人扬声器108具有包括轮子608的移动性部件326。机器人扬声器108可以四处移动并形成任何数量的机器人扬声器108的线阵列。

在各个实施方案中，可以经由机器人扬声器的第一线阵列108-2、108-3、108-4和108-5输出与第一虚拟对象相关联的移动声音(例如，风声、海浪声、车辆和用户102擦肩而过的声音)。在此类实施方案中，可以在线阵列中的每个机器人扬声器处依次输出声音。例如，声音可首先在机器人扬声器108-2处输出，然后在机器人扬声器108-3处输出，然后在机器人扬声器108-4处输出，以及然后在机器人扬声器108-5处输出。机器人扬声器108-2至108-5的依次声音输出模拟相对于用户102移动的声音。此外，如果声音是来回移动的声音(例如，在两个位置之间来回奔跑的吠狗)，那么声音可以在扬声器线阵列之间来回输出(例 如，依次经由扬声器108-2、108-3、108-4和108-5中的每一个输出，然后经由相同的扬声器中的每一个以相反的顺序输出，然后经由相同的扬声器中的每一个以初始顺序输出等)。

作为另一示例，可以经由机器人扬声器的第二线阵列108-7、108-8、108-9和108-10输出与第二虚拟对象相关联的声音。声音可以是波束形成的并且经由机器人扬声器108-7、108-8、108-9和108-10输出。在机器人扬声器108可以形成一个或多个扬声器阵列(例如，线性阵列、二维或平面阵列)的实施方案中，音频管理器模块214可以确定适合于准备音频信号以便经由扬声器阵列输出的一个或多个处理操作(例如，波束形成)。

图8是展示根据各个实施方案的一个或多个方面的以一结构布置的多个机器人扬声器的图示。如图8所示，物理环境104包括布置在结构802(例如，桁架结构)上的机器人扬声器108-1至108-6。结构802可以包括轮子804-1至804-6。如图所示，当从顶部朝下透视观察时，结构802是圆形的，并且围绕用户102。结构802可以是刚性的。结构802可以经由轮子804围绕用户102旋转并且在物理环境104中四处移动。因此，具有轮子804的结构802可以用作机器人扬声器108的移动性部件326。机器人扬声器108可以彼此通信(例如，经由扬声器管理器模块312)，以协调结构802的移动和旋转。

在一些实施方案中，代替轮子804，结构802可以具有用于移动和旋转的铰接的机器人附件(例如，手臂、腿部)。在一些另外的实施方案中，结构802可以悬挂在天花板上(例 如，经由滑轮系统)。另外，在一些实施方案中，当从顶部朝下透视观察时，结构802可以被实现为具有除圆形形状之外的形状，诸如椭圆形、矩形、三角形等。

图9A至图9B是展示根据各个实施方案的一个或多个方面的从天花板悬挂的多个机器人扬声器和通过气体推进的机器人扬声器的运动的图示。如图9A所示，物理环境104包括从天花板结构902悬挂的机器人扬声器108-1至108-4。每个机器人扬声器108可以通过系绳904从天花板结构902悬挂。如本文所用，系绳904可以是柔性类型的(例如，电缆、绳索、电线)或非柔性类型的(例如，棒、管、杆)。根据系绳的类型，系绳904可以包括在安装点处、被机动化和/或被致动的铰链。

图9A至图9B中的每个机器人扬声器108的移动性部件326可以包括气体推进系统。气体推进系统可以包括气体(例如，压缩气体)容器和用于从气体容器中喷射气体的装置。例如，机器人扬声器108-4可以通过喷射气体射流908从位置906移动到目标位置910。然后，通过以受控方式连续地喷射气体射流908，机器人扬声器108-4可以被保持在目标位置910一段时间。在一些实施方案中，移动性部件326可以包括其他形式的气体推进。例如，在一些实施方案中，移动性部件326可以包括在物理环境104中移动空气的气体推进系统，诸如螺旋桨、转子、风扇等。

在一些实施方案中，天花板结构902包括一个或多个装置，所述一个或多个装置可以改变悬挂机器人扬声器108的系绳904的长度。也就是说，在一些实施方案中，系绳904是可伸缩的且可延伸的(例如，使用机动化卷轴，系绳904是伸缩式延伸杆)。装置可以包括用于与对应的机器人扬声器108的定位模块314通信的通信装置。装置可以从定位模块314接收关于改变系绳904的长度的指令，以便将机器人扬声器108移动和/或重新定向到目标位置和/或取向。

在一些另外的实施方案中，系绳904不直接附接到天花板结构902，而是附接到被配置为在天花板结构902上或下方爬行的机器人。爬行机器人可以使用任何合适的技术(例 如，梯板中的微吸力、微粘附、向上螺旋桨、微刺等)在天花板结构902上或下方爬行。机器人还可以包括用于缩回或延伸系绳904的装置。爬行机器人可以从定位模块314接收指令，以便将机器人扬声器108移动和/或重新定向到目标位置和/或取向。

在各个实施方案中，机器人扬声器108可以被约束到物理环境104的特定方面。例如，每个机器人扬声器108可以包括用于附接到物理环境104的墙壁内的金属螺柱的一个或多个磁体，以及用于从一个位置移动到另一个位置(例如，从螺柱到螺柱)以在墙壁上移动的装置。机器人扬声器108还可以包括用于在墙壁上上下移动的装置(例如，机器人附件、气体推进装置)。

在另一示例中，机器人扬声器108各自被配置为单独地能够悬停(例如，安装在悬停平台，诸如无人机单元上)。这种机器人扬声器108可以包括推进单元(例如，笼状螺旋桨和转子、轻于空气的悬停装置、机翼机构)和可选的噪声消除部件，以减少来自推进单元的噪声。在一些实施方案中，悬停方法可适用于低重力或零重力环境(例如，在空间站处)。适用于低重力或零重力环境的推进单元可以包括反作用轮、反应控制喷射机或反应线圈。

应当理解，用于移动机器人扬声器108的方法或部件的以上示例(其可以体现在移动性部件326中)不是详尽的。用于移动机器人扬声器108的其他方法是可能的。更一般地，机器人扬声器108可以被配置为使用任何合适的方法来移动和改变取向。例如，除了上文讨论的那些之外的其他示例性方法可以包括：自平衡平台，每个平台可以具有带有两个轮子的单轴(例如，带两个轮子的倒立摆)；自平衡平台，每个平台可以坐在单个球(单轮)上(例 如，使用球的倒立摆，其可以在任何方向上横穿而不改变其取向)；或基于同轴转子、多转子(例如，四轴飞行器)的悬停移动性平台；或基于垂直气体喷射的推进移动性平台。

总之，虚拟现实系统将虚拟环境中的虚拟对象识别为用于映射到机器人扬声器的候选者。然后，虚拟现实系统确定虚拟对象是否满足用于映射到机器人扬声器的一个或多个标准。如果虚拟对象满足一个或多个标准，则虚拟现实系统将虚拟对象映射到一个或多个机器人扬声器。接下来，虚拟现实系统确定机器人扬声器的位置信息并且基于虚拟对象的特性和/或用户所在的物理环境可选地处理与虚拟对象相关联的音频信号(例如，经由一种或多种数字信号处理算法)。机器人扬声器然后根据位置信息进行定位并输出音频信号。

通过所公开的技术实现的至少一个技术改进是用于虚拟现实内容的音频输出更准确地表示虚拟现实内容。根据用户的视角，用户将虚拟现实内容的视觉部件感知为与虚拟现实内容的声学部件共同定位，使得例如虚拟对象的视觉和声学表示在虚拟环境中匹配。另一技术改进是音频输出考虑了虚拟现实系统的用户所在的物理环境的声学特性。因此，虚拟现实用户体验得到改善，因为用户听到的音频与用户看到的内容更紧密相关(例 如，通过虚拟现实耳机)。

1.在一些实施方案中，一种计算系统包括包括：存储器，所述存储器包括指令；以及处理器，所述处理器耦合到所述存储器，并且在执行所述指令时被配置为执行以下步骤：将与虚拟环境中所包括的虚拟对象相关联的声音映射到机器人扬声器；将信息发送到所述机器人扬声器以致使所述机器人扬声器移动到物理环境中的与所述虚拟环境中的所述虚拟对象的位置相对应的位置；以及将音频信号发送到所述机器人扬声器，其中所述机器人扬声器基于所述音频信号并且在所述物理环境中的所述位置处输出与所述虚拟对象相关联的所述声音。

2.如条款1所述的系统，其中所述指令进一步配置所述处理器以将与所述虚拟环境中所包括的第二虚拟对象相关联的第二声音映射到所述机器人扬声器；将第二信息发送到所述机器人扬声器以致使所述机器人扬声器移动到所述物理环境中的与所述虚拟环境中的所述第二虚拟对象的位置相对应的第二位置；以及将第二音频信号发送到所述机器人扬声器，其中所述机器人扬声器基于所述第二音频信号并且在所述物理环境中的所述第二位置处输出与所述第二虚拟对象相关联的第二声音。

3.如条款1或2所述的系统，其中所述指令进一步配置所述处理器，以在将所述第二声音映射到所述机器人扬声器之前，移除所述机器人扬声器和与所述虚拟对象相关联的所述声音之间的映射。

4.如条款1-3中任一项所述的系统，其中所述指令进一步配置所述处理器以将第二信息发送到所述机器人扬声器以致使所述机器人扬声器移动到所述物理环境中的与所述虚拟环境中的所述虚拟对象的第二位置相对应的第二位置；以及将第二音频信号发送到所述机器人扬声器，其中所述机器人扬声器基于所述第二音频信号并且在所述物理环境中的所述第二位置处输出与所述虚拟对象相关联的第二声音。

5.如条款1-4中任一项所述的系统，其中所述指令进一步配置所述处理器以基于确定所述虚拟对象在所述虚拟环境内的所述位置与所述虚拟环境内的用户位置之间的距离在预先确定的距离内来确定与所述虚拟对象相关联的所述声音将被映射到所述机器人扬声器。

6.如条款1-5中任一项所述的系统，其中所述指令进一步配置所述处理器以基于确定与所述虚拟对象相关联的所述声音在预先确定的频率范围内来确定与所述虚拟对象相关联的所述声音将被映射到所述机器人扬声器。

7.如条款1-6中任一项所述的系统，其中所述指令进一步配置所述处理器以针对所述虚拟环境中所包括的多个虚拟对象中的每一个确定映射优先级，其中所述多个虚拟对象包括所述虚拟对象。

8.如条款1-7中任一项所述的系统，其中指令还配置处理器以确定包括在所述多个虚拟对象中的第二虚拟对象具有比所述虚拟对象更高的映射优先级；并且根据所述确定：移除与所述虚拟对象关联的所述声音与所述机器人扬声器之间的映射；并且将与所述第二虚拟对象相关联的声音映射到所述机器人扬声器。

9.如条款1-8中任一项所述的系统，其中与所述虚拟对象相关联的所述声音包括由所述虚拟对象产生的声音。

10.如条款1-9中任一项所述的系统，其中与所述虚拟对象相关联的所述声音包括由所述虚拟对象反射的声音。

11.在一些实施方案中，一种计算机实现的方法包括：将包括在虚拟环境中所包括的多个虚拟对象中的虚拟对象映射到机器人扬声器；将信息发送到所述机器人扬声器以致使所述机器人扬声器移动到物理环境中的与所述虚拟环境中的所述虚拟对象的位置相对应的位置；以及将音频信号发送到所述机器人扬声器，其中所述机器人扬声器基于所述音频信号并且在所述物理环境中的所述位置处输出与所述虚拟对象相关联的一个或多个声音。

12.如条款11所述的方法，还包括：在将所述音频信号发送到所述机器人扬声器之前，基于所述物理环境中的所述位置和所述虚拟对象在所述虚拟环境的所述位置中的至少一者对所述音频信号执行一个或多个处理操作。

13.如条款11或12所述的方法，其中所述一个或多个处理操作包括幅度调整、均衡、空间化和波束形成中的至少一者。

14.如条款11-13中任一项所述的方法，还包括：将与所述虚拟环境中所包括的第二虚拟对象相关联的第二声音映射到所述机器人扬声器；将第二信息发送到所述机器人扬声器以致使所述机器人扬声器移动到所述物理环境中的与所述虚拟环境中的所述第二虚拟对象的位置相对应的第二位置；以及将第二音频信号发送到所述机器人扬声器，其中所述机器人扬声器基于所述第二音频信号并且在所述物理环境中的所述第二位置处输出与所述第二虚拟对象相关联的第二声音。

15.如条款11-14中任一项所述的方法，还包括：将第二信息发送到所述机器人扬声器以致使所述机器人扬声器移动到所述物理环境中的与所述虚拟环境中的所述虚拟对象的第二位置相对应的第二位置；以及将第二音频信号发送到所述机器人扬声器，其中所述机器人扬声器基于所述第二音频信号并且在所述物理环境中的所述第二位置处输出与所述虚拟对象相关联的第二声音。

16.在一些实施方案中，一种音频装置包括：移动性装置；音频输出装置；以及耦合到所述移动性装置和所述音频输出装置的一个或多个电路，所述一个或多个电路被配置为：接收目标位置，其中所述目标位置对应于虚拟对象在虚拟环境内的位置；经由所述移动性装置将所述音频装置移动到所述目标位置；并且经由所述音频输出装置输出与所述目标位置处的所述虚拟对象相关联的声音。

17.如条款16所述的音频装置，其中所述移动性装置包括轮子、机器人附件、气体推进部件和可伸缩系绳中的至少一者。

18.如条款16或17所述的音频装置，其中所述一个或多个电路进一步被配置为响应于所述虚拟对象在所述虚拟环境内的移动来将所述音频装置移动到第二目标位置，其中所述第二目标位置对应于所述移动之后所述虚拟对象在所述虚拟环境内的第二位置。

19.如条款16-18中任一项所述的音频装置，其中所述一个或多个电路进一步被配置为：接收第二目标位置，其中所述第二目标位置对应于第二虚拟对象在所述虚拟环境内的位置；经由所述移动性装置将所述音频装置移动到所述第二目标位置；并且经由所述音频输出装置输出与所述第二目标位置处的所述第二虚拟对象相关联的声音。

20.如条款16-19中任一项所述的音频装置，其中所述移动性装置包括悬停部件。

权利要求中的任一者所述的任何权利要求元件和/或本申请中以任何方式描述的任何元件的任何和所有组合都落入所述实施方案的预期范围内。

已经出于说明目的呈现了各种实施方案的描述，但是所述描述并不意图是排他性的或者限于所公开的实施方案。在不脱离所描述实施方案的范围和精神的情况下，许多修改和变化将对本领域的普通技术人员来说是明显的。

本发明实施方案的各方面可体现为系统、方法或计算机程序产品。因此，本公开的各方面可采取完全硬件实施方案、完全软件实施方案(包括固件、驻留软件、微代码等)或组合软件方面和硬件方面的实施方案的形式，所述实施方案在本文中可全部概括地称为“模块”或“系统”。此外，本公开的各方面可采取在一个或多个计算机可读介质中体现的计算机程序产品的形式，所述一个或多个计算机可读介质具有在其上体现的计算机可读程序代码。

可使用一个或多个计算机可读介质的任何组合。计算机可读介质可以是计算机可读信号介质或计算机可读存储介质。计算机可读存储介质可以是(例如)但不限于电子、磁性、光学、电磁、红外、或半导体系统、设备或装置或者前述系统、设备或装置的任何合适组合。计算机可读存储介质的更特定的示例(非详尽性的列表)将包括以下各项：具有一根或多根电线的电气连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或闪存存储器)、光纤、便携式光盘只读存储器(CD-ROM)、光学存储装置、磁性存储装置或上述各项的任何合适组合。在本文档的上下文中，计算机可读存储介质可以是任何有形介质，所述有形介质可含有或存储供指令执行系统、设备或装置使用或连同指令执行系统、设备或装置一起使用的程序。

上文参考根据本公开的实施方案的方法、设备(系统)和计算机程序产品的流程图图解和/或方框图来描述本公开的各方面。应了解，流程图图解和/或方框图的每一个方框以及流程图图解和/或方框图中的方框的组合可通过计算机程序指令来实现。可将这些计算机程序指令提供至通用计算机、专用计算机或其他可编程数据处理设备的处理器以产生机器，以使得经由计算机或其他可编程数据处理设备的处理器执行的指令使得能够实现流程图和/或方框图的一个或多个方框中所指定的功能/动作。此类处理器可以是但不限于通用处理器、专用处理器、应用特定的处理器或现场可编程处理器或门阵列。

附图中的流程图和方框图示出根据本公开的各种实施方案的系统、方法和计算机程序产品的可能实现方式的架构、功能性和操作。在这方面，流程图或方框图中的每个方框可表示代码的模块、片段或部分，所述模块、片段或部分包括用于实现所指定的一个或多个逻辑功能的一个或多个可执行指令。也应注意，在一些替代实现方式中，方框中提到的功能可不按附图中提到的顺序出现。例如，连续示出的两个方框可实际上大致同时执行，或所述方框有时可按相反顺序执行，取决于所涉及的功能性。也应指出的是，方框图和/或流程图图解的每个方框以及方框图和/或流程图图解中的方框的组合可以由执行指定功能或动作的基于专用硬件的系统或者专用硬件和计算机指令的组合来实施。

虽然前述内容针对本公开的实施方案，但可以在不脱离本公开的基本范围的情况下设计本公开的其他和进一步的实施方案，并且本公开的范围由所附权利要求确定。

Claims (16)

1.一种计算系统，其包括：

存储器，所述存储器包括指令；以及

处理器，所述处理器耦合到所述存储器，并且在执行所述指令时被配置为执行以下步骤：

确定虚拟对象或者与虚拟对象相关联的声音是否满足一组一个或多个机器人扬声器映射标准；

响应于确定所述虚拟对象或者所述声音不满足所述一组一个或多个机器人扬声器映射标准，经由一个或多个静态音频装置输出声音；以及

响应于确定所述虚拟对象或者所述声音满足所述一组一个或多个机器人扬声器映射标准:

将与虚拟环境中所包括的与所述虚拟对象相关联的所述声音映射到机器人扬声器；

将信息发送到所述机器人扬声器以致使所述机器人扬声器移动到物理环境中的与所述虚拟环境中的所述虚拟对象的位置相对应的位置；以及

将音频信号发送到所述机器人扬声器，其中所述机器人扬声器基于所述音频信号并且在所述物理环境中的所述位置处输出与所述虚拟对象相关联的所述声音。

2.如权利要求1所述的系统，其中所述指令进一步配置所述处理器：

将与所述虚拟环境中所包括的与第二虚拟对象相关联的第二声音映射到所述机器人扬声器；

将第二信息发送到所述机器人扬声器以致使所述机器人扬声器移动到所述物理环境中的与所述虚拟环境中的所述第二虚拟对象的位置相对应的第二位置；以及

将第二音频信号发送到所述机器人扬声器，其中所述机器人扬声器基于所述第二音频信号并且在所述物理环境中的所述第二位置处输出与所述第二虚拟对象相关联的第二声音。

3.如权利要求2所述的系统，其中所述指令进一步配置所述处理器，以在将所述第二声音映射到所述机器人扬声器之前，移除所述机器人扬声器和与所述虚拟对象相关联的所述声音之间的映射。

4.如权利要求1所述的系统，其中所述指令进一步配置所述处理器：

将第二信息发送到所述机器人扬声器以致使所述机器人扬声器移动到所述物理环境中的与所述虚拟环境中的所述虚拟对象的第二位置相对应的第二位置；以及

将第二音频信号发送到所述机器人扬声器，其中所述机器人扬声器基于所述第二音频信号并且在所述物理环境中的所述第二位置处输出与所述虚拟对象相关联的第二声音。

5.如权利要求1所述的系统，其中所述指令进一步配置所述处理器以基于确定所述虚拟对象在所述虚拟环境内的所述位置与所述虚拟环境内的用户位置之间的距离在预先确定的距离内来确定与所述虚拟对象相关联的所述声音将被映射到所述机器人扬声器。

6.如权利要求1所述的系统，其中所述指令进一步配置所述处理器以基于确定与所述虚拟对象相关联的所述声音在预定义的频率范围内来确定与所述虚拟对象相关联的所述声音将被映射到所述机器人扬声器。

7.如权利要求1所述的系统，其中所述指令进一步配置所述处理器以针对所述虚拟环境中所包括的多个虚拟对象中的每一个确定映射优先级，其中所述多个虚拟对象包括所述虚拟对象。

8.如权利要求7所述的系统，其中所述指令进一步配置所述处理器：

确定包括在所述多个虚拟对象中的第二虚拟对象具有比所述虚拟对象更高的映射优先级；并且

基于所述确定：

移除与所述虚拟对象相关联的所述声音与所述机器人扬声器之间的映射；并且

将与所述第二虚拟对象相关联的声音映射到所述机器人扬声器。

9.如权利要求1所述的系统，其中与所述虚拟对象相关联的所述声音包括由所述虚拟对象产生的声音。

10.如权利要求1所述的系统，其中与所述虚拟对象相关联的所述声音包括由所述虚拟对象反射的声音。

11.一种计算机实现的方法，其包括：

确定虚拟对象或者与虚拟对象相关联的声音是否满足一组一个或多个机器人扬声器映射标准；

响应于确定所述虚拟对象或者所述声音不满足所述一组一个或多个机器人扬声器映射标准，经由一个或多个静态音频装置输出声音；以及

响应于确定所述虚拟对象或者所述声音满足所述一组一个或多个机器人扬声器映射标准:

将在虚拟环境中所包括的与所述虚拟对象相关联的所述声音映射到机器人扬声器；

将信息发送到所述机器人扬声器以致使所述机器人扬声器移动到物理环境中的与所述虚拟环境中的所述虚拟对象的位置相对应的位置；以及

将音频信号发送到所述机器人扬声器，其中所述机器人扬声器基于所述音频信号并且在所述物理环境中的所述位置处输出与所述虚拟对象相关联的一个或多个声音。

12.如权利要求11所述的方法，其还包括：在将所述音频信号发送到所述机器人扬声器之前，基于所述物理环境中的所述位置和所述虚拟对象在所述虚拟环境中的所述位置中的至少一者对所述音频信号执行一个或多个处理操作。

13.如权利要求12所述的方法，其中所述一个或多个处理操作包括幅度调整、均衡、空间化和波束形成中的至少一者。

14.如权利要求11所述的方法，其还包括：

将与所述虚拟环境中所包括的第二虚拟对象相关联的第二声音映射到所述机器人扬声器；

将第二信息发送到所述机器人扬声器以致使所述机器人扬声器移动到所述物理环境中的与所述虚拟环境中的所述第二虚拟对象的位置相对应的第二位置；以及

将第二音频信号发送到所述机器人扬声器，其中所述机器人扬声器基于所述第二音频信号并且在所述物理环境中的所述第二位置处输出与所述第二虚拟对象相关联的第二声音。

15.如权利要求11所述的方法，其还包括：

将第二信息发送到所述机器人扬声器以致使所述机器人扬声器移动到所述物理环境中的与所述虚拟环境中的所述虚拟对象的第二位置相对应的第二位置；以及

将第二音频信号发送到所述机器人扬声器，其中所述机器人扬声器基于所述第二音频信号并且在所述物理环境中的所述第二位置处输出与所述虚拟对象相关联的第二声音。

16.一种计算机可读存储介质，其包括指令，当指令被计算机执行时，使得计算机执行如权利要求11-15中任一项的方法。