CN101978707A - 计算机生成的三维虚拟环境中的真实音频通信 - Google Patents

Abstract

在计算机生成的三维虚拟环境中的参与者可以控制其化身的声音的分散模式，使得化身的声音可利用简单的控制被方向性地增强。音频散布包迹被设计用于在化身的前方进一步扩展，而在化身的两侧和后面减少扩展。音频散布包迹可以是静止的或可控的以使化身在虚拟环境中经过的距离能够被调整。因此，化身能够在虚拟环境中“喊叫”或“低语”，使得正常情况下位于化身的听范围之外的其他化身可选择性地接收由用户生成的音频。针对每个用户，独立的音频流被混合，其来自在其化身的散布包迹内的化身的用户所生成的音频。特定贡献的音量取决于化身在虚拟环境中的分离度。

Description

计算机生成的三维虚拟环境中的真实音频通信

相关申请的交叉引用

本申请要求2008年3月18日递交的第61/037447号题为“Method and Apparatus For Providing 3 Dimensional Audio on a Conference Bridge”的美国临时专利申请的优先权，其内容通过引用被结合于此。

技术领域

本发明涉及虚拟环境，更具体地说涉及用于在计算机生成的三维虚拟环境中实现真实(realistic)音频通信的方法和装置。

背景技术

虚拟环境模拟实际的或虚幻的3-D环境，并且允许多个参与者经由位于远端的客户端来彼此交互和与该环境中的构成物交互。虽然虚拟环境的其他用途也正被开发，但是，虚拟环境可被应用的一种情境是与游戏相关的。

在虚拟环境中，实际的或虚幻的宇宙在计算机处理器/存储器中被模拟。多个人可通过计算机网络来参与到虚拟环境中，计算机网络例如是局域网或者诸如因特网之类的广域网。每个玩家选择一个“化身”，该化身通常是人或其他对象的三维表示，用于在虚拟环境中表示人或其他对象。参与者向控制虚拟环境的虚拟环境服务器发送命令以致使其化身在虚拟环境中移动。通过这种方式，参与者能够致使其化身与在虚拟环境中的其他化身和其他对象交互。

虚拟环境通常表现为虚拟现实的三维映射的形式，并且可包括房间、户外区域，以及通常在实体世界中所经历的环境的其他表示物。虚拟环境还可包括多个对象、人、动物、机器人、化身、机器人化身、立体元件，以及允许化身参与到活动中的对象/环境。参与者经由在其计算机上的虚拟环境客户端来在虚拟环境中建立存在，通过该虚拟环境客户端，参与者可以创建化身，然后使化身“生活”在虚拟环境中。

随着化身在虚拟环境中移动，化身所经历的视图(view)根据化身在虚拟环境中所处的位置而变化。这些视图可被显示给参与者，使得控制化身的参与者可以看到化身正在看到的东西。另外，许多虚拟环境使得参与者能够切换到不同的视图，例如，从化身之外的有利地位来看化身位于虚拟环境中的何处。

参与者可使用诸如计算机鼠标和键盘之类的传统输入设备来控制化身。该输入被发送到虚拟环境客户端，该客户端将命令转发到一个或多个虚拟环境服务器，这些虚拟环境服务器正在控制虚拟环境并经由与参与者的计算机相关联的显示器向参与者提供虚拟环境的表示。

取决于虚拟环境的建立方式，化身可能能够观察环境并可选择地与其他化身、虚拟环境中的已建模物体、虚拟环境中的机器人对象，或环境自身(即，化身可被允许在虚拟环境中的湖泊或河流中游泳)交互。在这些情况下，客户端控制输入可被允许以引起已建模对象的变化，例如，移动其他对象、开门等等，这些变化可选择地然后可被虚拟环境中的其他化身经历。

在虚拟环境中由一个化身与另一已建模对象的“交互”意味着虚拟环境服务器响应于接收到针对化身的客户端控制输入，在已建模的环境中模拟交互。在某些情形下，由一个化身与任何其他化身、对象、环境或自动的或机器人化的化身的交互将导致可影响虚拟环境中的其他化身、对象、环境以及自动的或机器人化的化身或者被虚拟环境中的其他化身、对象、环境以及自动的或机器人化的化身所观察或经历的结果。

虚拟环境可针对用户被创建，但是，更平常的是虚拟环境是一直存在的，其中即使用户不与虚拟环境交互时，虚拟环境也继续存在并被虚拟环境服务器所支持。因此，在虚拟环境有多于一个用户的情况下，环境在一用户未登入时可继续演变，使得下次用户进入虚拟环境时，虚拟环境将会变得与上次的样子不同。

虚拟环境通常用于在线游戏，例如用于在线角色扮演游戏，其中，用户扮演一人物角色并控制该人物的大部分动作。除了游戏，虚拟环境还在用于模拟实际生活环境以对用户提供接口，该接口将使能在线教育、培训、购物、商业合作，以及多组用户间和商业与用户间的其他类型的交互。

当化身碰到虚拟环境中的其他化身时，由化身所表示的参与者可选择彼此交流。例如，参与者可通过向彼此打消息来彼此交流，或者音频可被在用户之间传输以使参与者能够彼此交谈。

虽然关于化身和动画的视觉渲染方面有巨大的进步，但是，音频实现方式已经落后并且虚拟环境的音频特性常常不是很真实。相应地，能够提供用于在计算机生成的三维虚拟环境中实现更真实的音频通信的方法和装置将是有利的。

发明内容

提供了用于在计算机生成的三维虚拟环境中实现真实音频通信的方法和装置。在一个实施例中，计算机生成的三维虚拟环境中的参与者能够控制其化身的语音的散布模式，使得化身的语音可利用简单的控制被方向性地增强。在一个实施例中，音频散布包迹被设计为在化身前面的方向进一步扩张，并且在化身的两侧和后面以更小的方向扩展。音频散布包迹的形状可被虚拟环境的其他方面所影响，其他方面例如是天花板、地板、墙壁和其他逻辑障碍。音频散布包迹可以是静止的或者可选地可由参与者控制以使化身的语音能够在化身的前方被向外扩展。这使化身能够在虚拟环境中“喊叫”，使得通常位于化身的听觉范围之外的其他化身仍能够听到用户。类似地，音频的音量水平可被减小以允许化身低语或者基于化身的相对位置和化身正面对的方向来被调整。根据用户的化身在虚拟环境中的位置和朝向、用户的散布包迹的形状以及有哪些其他化身位于用户的用户散布包迹内，可针对虚拟环境中的每个用户来混合单独的音频流。

附图说明

本发明的各方面在所附的权利要求中被具体指出。本发明通过示例在下述附图中被说明，其中，相似的参照号指示类似的元件。下述附图公开了多个本发明的实施例，其出于说明目的而非意欲限制本发明的范围。出于清晰的目的，不是每个组件都在每个图中被标号。在图中：

图1是示例性系统的一部分的功能框图，该系统使用户能够访问计算机生成的三维虚拟环境；

图2是计算机生成的示例性三维虚拟环境中的用户的二维视图，并且示出了计算机生成的三维虚拟环境中的用户的正常音频散布包迹；

图3是计算机生成的示例性三维虚拟环境中的用户的二维视图，并且示出了计算机生成的三维虚拟环境中的用户的方向性音频散布包迹；

图4到图5示出了用户可控音频散布包迹的两个示例，其使用户能够将其语音投射在根据本发明实施例的计算机生成的三维虚拟环境中；

图6和图7示出了根据本发明实施例的计算机生成的示例性三维虚拟环境中音频散布包迹与障碍物的交互；

图8是示出了在计算机生成的三维虚拟环境中实现真实音频通信的处理的流程图；

图9是根据本发明的实施例，示出了图1中的系统的组件的功能性框图，所述组件交互以使音频能够在计算机生成的三维虚拟环境的用户之间传输；

图10是示出了三维空间中的散布包迹的三维坐标空间的示图；以及

图11是虚拟环境的三维视图。

具体实施方式

下述详尽的描述给出了多个具体细节以提供针对本发明的彻底理解。但是，本领域技术人员应当理解，本发明可无需这些具体细节而被实施。在其他示例中，公知方法、过程、组件、协议、算法和电路未被具体说明以不模糊本发明。

图1示出了示例性系统10的一部分，其示出了多个用户12与一个或多个虚拟环境14之间的交互。用户可通过分组网络16或其他常用通信基础设施来从他们的计算机22访问虚拟环境14。虚拟环境14是由一个或多个虚拟环境服务器18实现的。一个或多个通信服务器20可以在用户12之间传输音频。

虚拟环境可被实现为使用一个或多个实例，每个实例可被一个或多个虚拟环境服务器容宿。当存在多个实例时，一个实例中的化身一般没有察觉到其他实例中的化身，但是用户可以通过若干虚拟环境客户端同时存在于多个世界。惯常地，虚拟环境的每个实例可被称为单独的世界。在以下描述中将假定化身是在同一世界中实例化的并因此可以彼此看到和彼此通信。世界可由一个虚拟环境服务器18实现，或者可由多个虚拟环境服务器实现。虚拟环境被设计为真实世界环境的视觉表示，这使得人类能够近乎实时地彼此交互和彼此通信。

一般而言，虚拟环境将具有其自己的独特三维坐标空间。表示用户的化身可在三维坐标空间中移动，并在三维坐标空间中与对象和其他化身交互。虚拟环境服务器维护虚拟环境，并基于用户化身在虚拟环境中的位置为每个用户生成视觉显示。该视图可取决于化身正朝向的方向和所选择的观看选项，例如，用户是否选择使视图看起来好像用户正通过化身的眼睛观看，或用户是否选择从化身切回全景以查看化身所处位置的三维视图以及在计算机产生的三维虚拟环境中化身正在干什么。

每个用户12具有计算机22，该计算机可被用于访问计算机产生的三维虚拟环境。计算机22将运行虚拟环境客户端24以及对虚拟环境的用户界面26。用户界面26可以是虚拟环境客户端24的一部分或被实现成独立的进程。虽然特定的虚拟环境客户端可被设计为与多个虚拟环境服务器通过接口连接，但是用户希望访问的每个虚拟环境可要求单独的虚拟环境客户端。通信客户端28被提供以使用户能够与其他参与计算机产生的三维虚拟环境的用户通信。通信客户端可以是虚拟环境客户端24的一部分、用户界面26，或者可以是运行在计算机22上的独立进程。

用户可在显示器/音频30上看到计算机产生的三维虚拟环境的一部分的表示，并且经由诸如鼠标、触摸板或键盘之类的用户输入设备32来输入命令。显示器/音频30可被用户在参与到虚拟环境中时用来发送/接收音频信息。例如，显示器/音频30可以是具有扬声器和麦克风的显示屏。用户界面在虚拟环境客户端的控制下生成显示在显示器上的输出，从用户接收输入并且将用户输入传递给虚拟环境客户端。虚拟环境客户端使用户的化身34或其他在用户控制下的对象在虚拟环境中执行所希望的行动。以这种方式，用户可控制虚拟环境的一部分，例如人物的化身或与化身有联系的其他对象，以针对虚拟环境的其他用户改变虚拟环境。

通常，化身是对人物或其他在虚拟环境中表示用户的人或其他生物的三维渲染。用户在创建虚拟环境的简档时选择他们的化身的样子，然后可以例如通过例如使化身行走、奔跑、挥手、交谈或做出类似的动作来控制化身在虚拟环境中的动作。因此，表示虚拟环境14中的化身的框34并不意欲显示化身在虚拟环境中出现的预期方式。相反，化身的实际外貌是不重要的，因为每个用户的化身的实际外貌希望是在一定程度上不同的，并且根据用户的偏好被定制。由于化身在计算机生成的三维虚拟环境中的实际外貌对此处所讨论的概念是不重要的，因此化身在这里一般用简单的几何图形或二维绘图而非诸如人或动物之类的复杂三维图形来表示。

图2示出了计算机生成的示例性三维虚拟环境的一部分，并且示出了与计算机生成的三维虚拟环境中的化身相关联的正常音频散布包迹。为了易于图示并且为了更清晰地显示出音频散布如何产生，图2被以二维示出。音频散布以同样的方式出现在垂直方向。为了简化说明，大多数描述利用二维图形来说明音频散布如何可在虚拟环境中被影响。应当牢记，许多虚拟环境是三维的，因此音频散布包迹将在所有三个维度上扩展。将二维音频散布包迹扩展到三维是直接的，并且结合图10和图11提供了多个关于此的示例。因此，虽然说明书关注于二维，但是本发明并不以此方式受限，因为应用于控制X和Y坐标散布属性的同样的原则可被用于控制垂直散布(Z坐标方向)。

例如，图10示出了另一个示例，其中，第一个化身位于XYZ坐标(2，2，25)，并且第二个化身位于XYZ坐标(25，25，4)。只看X和Y坐标，两个化身大约相距18.34个单元。如果音频散布包迹是20个单元，则仅看X和Y坐标，两个化身应当能够彼此交谈。但是，当考虑到Z坐标，两个化身在三维空间中的分离度(separation)是28.46，其远远超过了20个单元散布包迹的范围。相应地，在三维虚拟环境中，当确定两个化身是否可以彼此交谈时，经常有必要考虑两个化身的Z坐标分离度以及X和Y坐标的分离度。将基于用户的化身的位置和针对化身的散布包迹来针对每个用户创建混合音频流，使得来自用户的散布包迹内的化身所表示的每个用户的音频可被混合并提供给用户。通过这种方式，可针对每个用户创建单独的音频流，使得用户可听到来自在虚拟环境中靠近其化身的其他用户的音频。特定用户的音量将在混合处理期间被调节，使得来自靠近化身的音频比来自远方化身的音频更大声。

如图2所示，在该示例中，已经假定在虚拟环境14的可视区域有5个化身34。出于讨论的目的，化身已被标号为A到E。虽然存在用户可控制多于一个化身的实例，但是，通常每个化身将由单独的用户控制。在图中，箭头示出了化身在虚拟环境中正面对的方向。

在图2所示的示例中，只要与化身相关联的用户距彼此在特定距离内，用户一般被允许彼此交谈。例如，化身A不在任何其他化身的范围内，因而与化身A相关联的用户不能向与任何其他化身相关联的用户交谈。类似地，化身D和E虽然彼此看着对方，但是他们并不足够近以能彼此交谈。但是，化身B和C可听到彼此，因为它们距彼此足够近。在图2所示的示例中，每个化身的音频散布包迹是球形的(在二维空间中是圆形的)，使得化身可与在特定径向距离内的任意化身交流。当与化身相关联的用户说话时，其他在径向距离内的化身将听到该用户。如果化身相距太远，他们不能够在虚拟环境中“交谈”，因此音频分组/数据将不在用户间传输。

如果用户靠得更近，用户将能够更清晰地听到彼此，并且，随着用户间距离拉大，音频的音量逐渐减弱，直到用户音频的贡献在散布包迹的边缘处减少到零为止。在一个实施例中，用户贡献音量的方式以基于线性被确定。因此，请看图3中所示的示例，用户A在散布包迹内。靠近用户的音量是最大的，随着您在散布包迹内远离用户A，所贡献的音量基于线性逐渐减弱，直到到达散布包迹的边缘为止。

针对虚拟环境的每个用户来单独地混合音频。具体的音频混合将取决于有哪些其他用户在该用户的散布包迹内以及他们在散布包迹内的位置。用户在散布包迹中的位置影响用来向与散布包迹相关联的用户呈现该用户的音频的音量。由于针对每个用户来单独地混合音频，因此不是每个用户都需要音频桥，而是可以基于在虚拟环境中有哪些其他用户靠近该用户来针对每个用户单独地创建音频流。

图3示出了本发明的一个实施例，其中音频散布包迹的形状可被形成为在化身的前方扩展并且在化身的后方、左侧和右侧减少距离。这使得化身能够在虚拟环境中的特定方向上交谈，同时使化身对虚拟环境的其他用户生成的噪音量最小化。因此，用户与其他用户交谈的能力部分地取决于该用户的化身在虚拟环境中的朝向。这反映了真实的生活，其中，与以同样的音量交谈但是面对不同方向的人相比，听到正面对你的同一人是更容易的。因此，音频散布包迹可由用户利用诸如用于控制化身正面对的方向的控制手段之类的简单控制手段来控制。可选地，如下所讨论的，其他控制手段也可被用于控制音频散布包迹的音量或距离以进一步增强在虚拟环境中的用户音频控制。

在图3所示的示例中，化身处在与其在图2所示的示例中所处位置相同的位置上。音频散布包迹已被调节以在化身正面对的方向上扩展更多，并且在化身的两边和后面扩展更少。这影响哪些化身能够彼此交流。例如，如图3所示，虽然化身B和C站立得相对靠近彼此，但是由于他们并不面对对方，因而不能彼此交谈。类似地，虽然化身D和E比化身B和C相距更远，但是因为他们面对对方，因而能够彼此交谈。因此，化身A还是单独一个，不能与其他任何化身交谈。

在图3所示的实施例中，化身必须在彼此的音频散布包迹内，音频才能在彼此之间传送。一种可替换的方式是使在化身中的至少一个在其他化身的散布包迹内的情况下能够传输音频。例如，如果化身B在化身C的散布包迹内，但是化身C并不在化身B的散布包迹内，则音频可在与化身C和B相关联的用户之间传输。可选地，音频可在一个方向上被传输，使得与化身C相关联的用户可以听到与化身B相关联的用户，但是，与化身B相关联的用户不能听到与化身C相关联的用户。

音频散布包迹的形状可取决于用户的偏好以及虚拟环境提供商的偏好。例如，虚拟环境提供商可在用户进入虚拟环境时给用户提供用来选择将与其化身相关联的音频散布形状的选项。音频散布图形在被用户调整之前可以是不变的。例如，用户可为他们的化身选择语音，使得一些用户将具有粗野的高的语音，而其他用户将具有弱而低的语音。可替换地，虚拟环境提供商可针对不同类型的化身提供特定的音频散布简档，例如，警察化身可比其他类型的化身在更远的距离被听到。另外，音频散布包迹的形状可取决于其他环境因素，例如，化身在虚拟环境中的位置以及在虚拟环境中是否存在外界噪声。

图4示出了一个实施例，其中，化身被提供该提升其语音音量的选项，使得他们的声音可到达虚拟环境的更远处。这使得化身可在虚拟环境中“喊叫”。如图4所示，假定与化身A相关联的用户希望和与化身B相关联的用户交谈。通过使用户A的化身A面对化身B，用户A可在虚拟环境中面对用户B。如上面结合图3所讨论的，在音频散布简档被设计为在化身前面扩展更多的情况下，该动作将指示主音频散布简档凸起(lobe)朝着化身B扩展。但是，如图4所示，如果化身A和B在虚拟环境中相距太远，则音频散布简档的主音频散布凸起可能未大到足以包含化身B。

根据本发明的实施例，用户A可朝着化身B“喊叫”以使音频散布简档在B的方向上进一步扩展。用户向B喊叫的意愿可由用户通过对简单控制手段的操纵来指示。例如，在有滚轮的鼠标上，鼠标滚轮可以是一种用户用来扩展其化身的音频散布简档的喊叫控制手段。在该实施例中，用户仅可通过接触鼠标滚轮并用其手指向前推来使鼠标滚轮卷动。在大多数一般计算机用户界面中，这一般用于利用鼠标滚轮来向上卷动。相反地，如果用户不再想喊叫，则用户以与在大多数一般用户界面上利用鼠标滚轮向下卷动类似的动作来在鼠标滚轮上向后拉。

存在如下时刻，即，用户想与给定体积的虚拟环境内的每个用户交流。例如，一个人可能希望给一满屋的化身做陈述。为此，用户可使其音频散布包迹在所有方向上增大以扩充至可填满整个体积。这在图4和图5中被示出为虚线5。在此实施例中，用户语音的音量不会增加，但是，所有在体积内的用户将能够听到用户，使得他们可听到由用户生成的音频。此处，该特征将被称为“全方向声音”。当用户调用全方向声音时，来自用户的音频被混合到呈现给体积内的每个其他用户的音频流中，使得其他用户能够听到调用全方向声音的用户。当用户调用全方向声音时，用户的外貌可被以某种方式改变，使得参与在虚拟环境中的其他人可察觉到谁已经调用了全方向声音。

用户可使用明确的控制来调用全方向声音，或者全方向声音可优选地基于化身在虚拟环境中的位置而被内在地调用。例如，用户可走到舞台的指挥台上，并且，用户在舞台上的出现可导致用户所提供的音频被包含在特定体积的虚拟环境内的每个其他化身的混合音频流中。

取决于具体的虚拟环境和其他对化身可用的活动，鼠标滚轮在虚拟环境中可具有多种用途。如果是这种情况，则输入的组合可被用于控制音频散布简档。例如，左击鼠标并结合卷动鼠标滚轮，或者与鼠标滚轮的卷动一起按下键盘上的键可被用于指示鼠标卷动动作与化身的语音而非另一动作相关联。可替换地，可不使用鼠标滚轮，并且一次击键或者在键盘上的多次击键的组合可被用于扩展音频散布包迹，并且致使音频散布包迹返回至正常。因此，除了基于化身在三维虚拟环境中的朝向来实现方向性的音频散布包迹之外，用户还可以实时地弯曲(warp)音频散布包迹以控制化身在虚拟环境中的音频散布包迹。

当用户选择在虚拟环境中向另一用户喊叫时，化身的脸部表情可变化或关于谁在喊叫的其他视觉指示可被提供。这使用户能够知道他们正在喊叫并且使虚拟环境的其他用户能够理解为什么物理已发生改变。例如，化身可将其双手放在嘴部形成杯状以提供他们正在特定方向上喊叫的视觉暗示。化身语音的更大扩展可被显示为化身或者通过提供化身的幽灵移动到靠近语音范围的新的中心来显示，使得其他用户能够确定谁在喊叫。其他视觉指示也可被提供。

如图4所示，用户控制的音频散布包迹弯曲可切换，使得取决于切换控制的状态，用户或者正常交谈或者喊叫。可替换地，如图5所示，用户控制的音频散布简档弯曲可以更渐进，并具有多个离散水平。具体地，如图5所示，用户可增加他们的声音在计算机生成的三维虚拟环境中的投射的方向性和范围，使得取决于用户希望在虚拟环境中喊叫的程度，他们声音的范围可扩展不同的距离。在图5中，用户已被提供以4个离散水平，然后被提供结合全方向声音使用的第五个水平。也可使用其他数量的水平。另外，取决于实现，离散化可被模糊，使得控制接近于连续化。

在另一实施例中，用户喊叫对象的选择可当用户将鼠标放在另一化身上并按下按钮(例如，左击或右击其他化身)时被实现。如果人物在其他化身的正常交谈距离内，则来自其他化身的音频将被包含在呈现给用户的混合音频流中。来自收听距离内的其他化身的音频将同样被包含在呈现给用户的混合音频流中。如果其他化身不在收听距离内，即不在正常音频散布包迹内，则用户可被提供以向其他化身喊叫的选项。在此实施例中，用户将被提供给一个指令以双击其他化身来向他们喊叫。取决于用户界面设计者的偏好，多种不同实现喊叫能力的方式是可行的。

在一实施例中，当化身的音频被混合到用户的音频流中时，化身的邻近度可调整其音频的音量，使得用户被呈现给更类似正常实际音频的音频流。其他环境因素可同样影响虚拟环境中的化身之间的通信。

虽然前述描述关注于使化身能够增加散布包迹的大小以在虚拟环境中喊叫，但是，可选地，同样的控制也可用于减少散布包迹的大小，使得用户能够在虚拟环境中低语。在此实施例中，用户可在相反的方向控制其声音以减小散布包迹的大小，使得用户必须靠近用户的化身以与该用户交流。鼠标控制或其他控制手段可被以此种方式使用以按需减小音频散布包迹的大小。

图6和图7示出了一个实施例，其中，音频散布包迹的简档被虚拟环境中的障碍物所影响。一般地，不管虚拟环境中的其他对象，在虚拟环境中的两个化身将能够听到彼此，如果他们在彼此的交谈距离之内的话。例如，假定如图7所示，化身A在一个房间，而化身B在另一个房间。正常情况下，虚拟环境服务器将使化身能够彼此通信(如表示散布包迹的虚线所示)，因为它们在虚拟环境中彼此靠近。图11示出了类似的情形，其中，两个化身彼此靠近，但是在虚拟环境中的不同层上。从化身的角度看，两个化身不太可能看穿墙或地板/天花板，因而使化身能够穿过这种性质的障碍物听到彼此是不自然的。此特征还使化身能够听到在虚拟环境中正发生在其他化身间的对话，而不被其他化身所看到。

根据本发明的实施例，音频散布简档可被调整以考虑虚拟环境中的障碍物。障碍物可被想成在简档上创建阴影以在特定方向减少简档的距离。这阻碍了化身间的通信，其中，如果不存在强加的障碍物，它们将能够通信。例如，在图6中，化身A在一个房间中，并且通过门口交谈。在门两侧的侧壁和墙用作部分阻碍用户的音频散布简档的障碍物。如果门被关闭，这也可影响散布包迹。因此，站在靠近墙位置的化身B将不能听到化身A或与化身A交谈，因为化身B在墙的阴影内并且在化身A的音频散布简档之外。相比之下，化身C在通过门的化身A站点的直线处，并且因而可与化身A通信。当然，化身B可与化身C通信，并且由此，仍可听到化身B侧的在化身A和C间的对话。因此，特定化身可被仅部分地包含在其他各方间的通信中。为了实现此特性的实施例，根据每个客户端实现了离散混合器，其中，所有这些所描述的属性本质上基于每个客户端的基础而被计算。混合器确定来自邻近化身的哪些音频能够被特定用户所听到，并相应地混合可用的音频流。基于每个客户端的基础来实现此特性是有优势的，因为从来不存在两个在特定时间点上在同一位置上的两个用户，并且由此，每个客户端的最终输出将必定是不同的。

图11示出了两个在垂直方向上分离的化身，因为它们在不同的层上。地板可以如图5和6中的墙以同样的方式运作。具体地，如果在不同层上的房间被定义为单独的体积，则来自一层的声音将不会进入另一层，使得即便两个化身在X和Y坐标空间二者上非常靠近彼此，但是它们被垂直地分离，使得两个化身不能彼此交谈。

阴影对象对声音的传输可以是完全不透明的，或仅减弱对象的声音。例如，混凝土墙可以以100％减弱声音，正常的墙可以以90％减弱声音而同时允许一些声音通过，以及，窗帘可以仅以诸如10％来减弱声音。当对象被置入虚拟环境中时，减弱的水平可被指定。

使用通信服务器实现音频，通信服务器可被配置用于针对虚拟环境中的每个用户单独地混合音频。通信服务器将从虚拟环境的所有用户接收音频，并通过确定其他用户的哪些具有在用户的散布包迹内的化身来针对特定用户创建音频流。为了使参与者能够被选择，需要在选择过程中包括对方向性的提示，使得选择过程不仅看参与者的相对距离，还要看在虚拟环境中参与者正朝向的方向。这可以通过将每个参与者与向量相关联并确定向量是否扩展到足够靠近其他化身以确保将来自其他用户的音频包含在音频流中。另外，如果阴影被包括在确定中，则该过程可查看以确定向量是否穿过虚拟环境中的任何阴影对象。如果确实穿越，阴影的程度可被计算以确定音频是否应被包含。也可使用其他实现了音频连接确定处理的方式，并且，本发明并不限于该特定示例性实现。

在另一实施例中，在两个化身间将被传输的音频可通过结合沿着化身之间的向量的衰减来确定。在此实施例中，虚拟环境中的正常“空气”或空的空间可被提供给每单元距离5％的衰减因数。取决于其所期望的材料，在环境中的其他对象可被提供给其他衰减因数。在此实施例中，在化身间的传输可取决于化身间的距离以及(由此)声音必须穿越的空气量和向量所穿越的对象。在仍实现通信的同时能够容纳的向量的强度以及相应的衰减可取决于化身正朝向的方向。另外，用户可通过致使化身喊叫来暂时增加向量的强度。

在前述描述中，假定用户可在虚拟环境中选择喊叫。可选地，该特权可针对在虚拟环境中拥有特定物品的化身而被保留。例如，化身需要找到或买到诸如虚拟牛角之类的特定物品来使化身能够喊叫。也可以有其他实施例。

图8示出了处理的流程图，其中的多个部分可被一个或多个实体用来确定是否应在计算机生成的三维虚拟环境中的特定参与者之间传输音频。在图8所示的处理中，将假定一个或多个虚拟环境服务器已渲染了虚拟环境(100)使得其可供参与者使用。因此，虚拟环境服务器将使用户A能够进入虚拟环境并且将渲染用户A在虚拟环境中的化身A(102)。类似地，虚拟环境服务器将使用户B能够进入虚拟环境并且将渲染用户B在虚拟环境中的化身B(102’)。其他用户也可在虚拟环境中具有化身。

虚拟环境服务器将针对化身A定义音频散布包迹，该音频散布包迹指定了化身将如何能够在虚拟环境中通信(104)。每个化身可具有一组预定义的音频散布包迹，其是虚拟环境中所有化身的特性，或者虚拟环境服务器可针对每个用户定义定制的特定音频散布包迹。因此，定义音频散布包迹的步骤可通过如下指定而得到满足，即指定与位于相对于该化身的其他方向上的化身相比，该化身能够与位于化身前方的更大距离的其他化身通信。

自动地，或在控制化身A的用户启动之后，虚拟环境服务器将确定化身B是否位于化身A的音频散布包迹内(106)。例如，这可通过看化身A是否正朝向化身B，然后确定在虚拟环境中化身B离化身A多远来实现。如果化身B在化身A的音频散布包迹内，则虚拟环境服务器将使来自化身B的音频能够被包含在发送给与化身A相关联的用户的音频流中。

如果化身B不在化身A的音频散布包迹中，则用户可被提供以控制音频散布包迹的形状的机会，例如通过使用户能够向化身B喊叫。具体地，用户A可操纵其用户界面以使化身A向化身B喊叫(110)。如果用户A经由其用户界面恰当地发出信号表示其希望向化身B喊叫，则虚拟环境服务器将在喊叫的方向上扩大化身在虚拟环境中的音频散布包迹(112)。

虚拟环境服务器然后将类似地确定化身B是否在化身A的已扩大的音频散布包迹内(114)。如果在音频散布包迹内，则虚拟环境服务器将使音频能够在与化身相关联的用户之间传输(116)。如果不在音频散布包迹内，那么两个化身将需要在虚拟环境中彼此靠近以使音频能够在与化身A和B相关联的用户之间传输(118)。

图9示出了根据本发明实施例的一个可被用于在虚拟环境中实现真实音频的系统。如图9所示，用户12被提供以访问虚拟环境14的机会，虚拟环境14是利用一个或多个虚拟环境服务器18实现的。

用户12A和12B在虚拟环境14中由化身34A和34B表示。当用户彼此接近并面向彼此时，音频位置和方向检测子系统64将确定音频应被在与化身相关联的用户之间传输。音频可被混合功能78混合以向每个化身提供单独确定的音频流。

在图9所示的实施例中，混合功能被实现在服务器处。本发明并不限于此种方式，因为混合功能可被实现在虚拟环境客户端处。在可替换的实施例中，来自多个用户的音频将被传输给用户的虚拟环境客户端，并且虚拟环境客户端将选择音频中将被呈现给用户的特定部分。在服务器处实现混合功能减少了必须发送给每个用户的音频量，但是增加了服务器的负载。在客户端处实现混合功能分散了创建单独混合音频流的负载，因而对服务器更宽容。但是，这需要向每个客户端发送多个音频流。可基于可用带宽和处理能力来选择具体解决方案。

上述功能可被实现为一组或多组程序指令，这些程序指令被存储在计算机可读存储器中并且被在一个或多个计算机中的一个或多个处理器上执行。但是，对本领域技术人员而言，很明显，此处所描述的所有逻辑可通过利用分立元件、诸如专用集成电路(ASIC)之类的集成电路、结合诸如现场可编程门阵列(FPGA)之类的可编程逻辑器件来使用的可编程逻辑或微处理器、状态机，或包含其任意组合的任何其他设备来实现。可编程逻辑可被暂时地或永久地固定在有形介质上，例如，只读存储器芯片、计算机内存、磁盘或其他存储器介质。所有这些实施例意欲落入本发明的范围内。

应当理解，在本发明的精神和范围内，可进行对多个示出在附图中并在说明书中所描述的实施例的变更和修改。相应地，意欲使所有包含在上述描述并示出在附图中的内容以说明性而非限制性的方式被解释。本发明仅如在所附权利要求及其等价物中限定的那样受限。

Claims (20)

1.一种选择性地使音频能够在计算机生成的三维虚拟环境中的用户之间传输的方法，该方法包括如下步骤：

确定第一化身在所述虚拟环境中的位置；

确定所述第一化身在所述虚拟环境中的朝向以确定所述第一化身在所述虚拟环境中面对的方向；

如果第二化身位于所述虚拟环境中距所述第一化身在第一距离之内并且所述第一化身正面对所述第二化身，则使来自与所述第二化身相关联的第二用户的音频被包含在与所述第一化身相关联的第一用户的混合音频流中；以及

如果所述第二化身位于所述虚拟环境中距所述第一化身在所述第一距离之内但是所述第一化身不是正面对所述第二化身，则不使来自与所述第二化身相关联的所述第二用户的音频被包含在与所述第一化身相关联的所述第一用户的混合音频流中。

2.如权利要求1所述的方法，还包括如下步骤：针对所述第一化身定义音频散布包迹，使得如果所述第二化身位于所述音频散布包迹内，则来自与所述第二化身相关联的用户的音频将被包含在所述第一用户的混合音频流中，并且如果所述第二化身位于所述音频散布包迹之外，则来自与所述第二化身相关联的用户的音频将不被包含在所述第一用户的混合音频流中。

3.如权利要求2所述的方法，其中，所述第一化身的音频散布包迹是可由与所述第一化身相关联的所述第一用户控制的。

4.如权利要求3所述的方法，其中，所述第一化身的音频散布包迹可被增大以朝着所述第一化身正面对的方向扩展更大的方向，以使所述第一化身能够在所述虚拟环境中喊叫。

5.如权利要求3所述的方法，其中，所述第一化身的音频散布包迹可被减小以朝着所述第一化身正面对的方向扩展更小的方向，以使所述第一化身能够在所述虚拟环境中低语。

6.如权利要求3所述的方法，其中，所述第一化身的音频散布包迹可被增大以扩展至符合所述虚拟环境的体积，使得任何由与所述第一化身相关联的所述第一用户生成的音频将被包含在针对与位于所述虚拟环境的体积内的化身相关联的所有其他用户而混合的音频流中。

7.如权利要求6所述的方法，其中，当所述第一化身进入所述虚拟环境中的特定位置时，所述第一化身的音频散布包迹被自动增大以扩展至符合所述虚拟环境的体积。

8.如权利要求3所述的方法，其中，所述音频散布包迹可由所述第一用户经由与鼠标滚轮的交互来控制。

9.如权利要求1所述的方法，所述方法还包括如下步骤：确定在所述虚拟环境中在所述第一化身与所述第二化身之间是否存在障碍物，并且如果在所述第一和第二化身之间存在足够的障碍物，则选择性地不把来自与所述第二化身相关联的所述第二用户的音频包括在与所述第一化身相关联的所述第一用户的混合音频流中。

10.如权利要求9所述的方法，其中，所述障碍物是墙壁。

11.如权利要求2所述的方法，其中，所述第一化身的音频散布包迹的形状取决于化身在环境中的位置。

12.一种包含存储在计算机可读存储器上的数据和指令的计算机程序，所述计算机程序当在计算机处理器上被载入时可使计算机能够实现一种使得能够在计算机生成的三维虚拟环境中模拟现实音频的方法，该方法包括如下步骤：

针对与第一用户相关联的第一化身，在所述计算机生成的三维虚拟环境中定义第一音频散布包迹；以及

选择来自与位于所述音频散布包迹内的化身相关联的其他用户的音频，用以包括在将被呈现给所述第一用户的混合音频流中。

13.如权利要求12所述的计算机程序，其中，所述方法还包括基于所述计算机生成的三维虚拟环境中的障碍物来调整所述音频散布包迹的形状的步骤。

14.如权利要求12所述的计算机程序，还进一步包括针对虚拟环境中的物品定义衰减因数以确定所述散布包迹的大小和形状。

15.如权利要求14所述的计算机程序，还包括使所述第一用户能够控制所述音频散布包迹。

16.如权利要求15所述的计算机程序，其中，使所述用户能够控制所述音频散布包迹的步骤使所述用户能够扩大所述音频散布包迹以包含来自远方化身的音频，使得所述化身能够在所述计算机生成的三维虚拟环境中喊叫。

17.如权利要求16所述的计算机程序，其中，使所述用户能够控制所述音频散布包迹的步骤使所述用户能够减小所述音频散布包迹，以防止化身被包含在所述音频散布包迹中，使得所述化身能够在所述计算机生成的三维虚拟环境中低语。

18.如权利要求12所述的计算机程序，其中，如果第二化身位于所述第一化身的散布包迹内，则与所述第二化身相关联的用户能够听到来自所述第一用户的音频。

19.如权利要求18所述的计算机程序，还包括所述用户调用特征，该特征将使来自所述第一用户的音频能够被包含在提供给与所述虚拟环境的体积内的化身相关联的所有用户的音频流中。

20.如权利要求19所述的计算机程序，其中，当所述第一化身进入虚拟环境的定义区域时，所述特征被内在地调用。

Images