CN1969589A - 用于创建音频场景的设备和方法 - Google Patents

用于创建音频场景的设备和方法 Download PDF

Info

Publication number
CN1969589A
CN1969589A CNA2005800195704A CN200580019570A CN1969589A CN 1969589 A CN1969589 A CN 1969589A CN A2005800195704 A CNA2005800195704 A CN A2005800195704A CN 200580019570 A CN200580019570 A CN 200580019570A CN 1969589 A CN1969589 A CN 1969589A
Authority
CN
China
Prior art keywords
incarnation
audio
weighting
audio stream
virtual environment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2005800195704A
Other languages
English (en)
Other versions
CN1969589B (zh
Inventor
保罗·安德鲁·鲍斯特德
法尔扎德·撒菲伊
迈赫兰·多拉沙齐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sv Co
Dolby Laboratories Licensing Corp
Original Assignee
Smart Internet Technology CRC Pty Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from AU2004902027A external-priority patent/AU2004902027A0/en
Application filed by Smart Internet Technology CRC Pty Ltd filed Critical Smart Internet Technology CRC Pty Ltd
Priority to CN201010145178.7A priority Critical patent/CN101827301B/zh
Publication of CN1969589A publication Critical patent/CN1969589A/zh
Application granted granted Critical
Publication of CN1969589B publication Critical patent/CN1969589B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/002—Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Information Transfer Between Computers (AREA)
  • Processing Or Creating Images (AREA)
  • Stereophonic System (AREA)

Abstract

本发明提供一种用于创建音频场景的设备和方法。该用于为虚拟环境中的化身创建音频场景的设备包括：音频处理器，其可进行操作以创建包括来自位于所述化身的听觉范围的一部分中的对象的音频的加权音频流；和关联装置，其可进行操作以将所述加权音频流与表示所述听觉范围的所述部分在所述虚拟环境中的位置的数据关联起来，其中，所述加权音频流和所述数据表示所述音频场景。

Description

用于创建音频场景的设备和方法
技术领域
本发明总体上涉及用于创建音频场景的设备和方法，并且具体地但决不是专门地应用于创建虚拟环境的音频场景。
背景技术
近年来在创建视觉沉浸式虚拟环境方面已取得显著的进步。这些进步已经导致了大规模多玩家角色扮演游戏的广泛应用，在这种游戏中参与者可以进入公共的虚拟环境(如战场)，并在虚拟环境中由化身来代表，化身通常采用动画人物的形式。在采用战场形式的虚拟环境的情况下，化身可以是士兵。
视觉沉浸式虚拟环境的广泛应用部分地是由于图像处理技术的显著提高，图像处理技术使得可以生成非常详细并且逼真的图形虚拟环境。三维声卡的普及提供了在虚拟环境中向参与者提供高质量声音的能力。然而，尽管大量使用三维声卡，但是现在的视觉沉浸式虚拟环境通常不能为参与者提供逼真的机制以相互进行通信。许多环境使用诸如基于文本的聊天或步话机式话音的非沉浸式通信机制。
定义
以下给出了对在本说明书中使用的各种术语的定义。
加权音频流-包括一条或更多条音频信息的音频信息，每条音频信息都具有基于源与音频信息的接受者之间距离而调节(增大或减小)的振幅。
非加权音频流-包括一条或更多条音频信息的音频信息，但是与加权音频流不同，在非加权音频流中各条音频信息的振幅与原始振幅相比是不经修改的。
音频场景-包括组合的多个声音(例如，属于虚拟环境内的其他化身和其他声音源的多个话音)的音频信息，空间地布置这些声音，并且可能根据源与声音的接受者之间距离来使这些声音衰减。音频场景可能还包括代表环境的声音特性的声音效果。
发明内容
根据本发明的第一方面，提供了一种用于为虚拟环境中的化身创建音频场景的设备，该设备包括：
音频处理器，其可进行操作以创建加权音频流，该加权音频流包括来自位于所述化身的听觉范围的一部分中的对象的音频；和
关联装置，其可进行操作以将所述加权音频流与表示所述听觉范围的所述部分在所述虚拟环境中的位置的数据关联起来，其中，所述加权音频流和所述数据表示所述音频场景。
根据本发明第一方面的设备具有几个优点。一个优点在于，通过将听觉范围分成一个或更多个部分，可以将音频场景的保真度调节到所需水平。听觉范围中的部分的数量越大，音频场景的保真度就越高。可以想像，本设备并不限于一个部分的单个加权音频流。事实上，本设备能够创建多个加权音频流，每个加权音频流都包括位于听觉范围的其他部分的对象的音频。本设备的另一个优点在于，加权音频流可以复制诸如由于在对象与接受者之间的传播距离而导致音频的衰减的特性。本发明的还一优点在于，可以将音频流再现成好像它是从该位置发出来的。由此，如果数据表示对象的位置是接受者的右手侧，则可以使用立体声音系统的右音道对该音频进行再现。
优选地，所述音频处理器还可进行操作以创建所述加权音频流，使得所述加权音频流包括未加权音频流，所述未加权音频流包括来自位于所述化身的所述听觉范围的所述部分内的另一对象的音频。
在加权音频流中包括未加权音频流的优点在于，提供了用于表示来自位于所述化身的所述听觉范围的所述部分周围的一个或更多个其他对象的音频的方法。未加权音频流的优点在于，可以对未加权音频流进行重用，以创建许多化身的音频场景，这可以减小用于创建音频场景的总处理需求。
优选地，所述音频处理器可进行操作以根据预定混合操作和权重信息来创建所述加权音频流，所述预定混合操作包括标识了所述对象和/或所述其他多个对象的标识信息，所述权重信息可以由所述音频处理器使用来设定所述加权音频流中的所述音频和所述未加权音频流的振幅。
优选地，所述设备还包括可进行操作以通过通信网络接收所述音频、所述未加权音频流以及所述混合操作的通信装置，所述通信装置还可进行操作以通过所述通信网络来发送所述加权音频流和所述数据。
使用该通信装置是有利的，因为它使得可以在分布式环境中使用所述设备。
根据本发明的第二方面，提供了一种可进行操作以为虚拟环境中的化身创建用于音频场景的音频信息的设备，该设备包括：
音频处理器，其可进行操作以创建未加权音频流，该未加权音频流包括来自位于所述化身的听觉范围的一部分中的对象的音频；和
关联装置，其可进行操作以将所述未加权音频流与表示所述对象在所述虚拟环境中的近似位置的数据关联起来，其中，所述未加权音频流和所述数据表示所述音频信息。
根据本发明第二方面的设备具有几个优点，其中两个优点类似于本发明的第一方面的上述第一和第二优点。
优选地，所述音频处理器可进行操作以根据预定混合操作来创建所述未加权音频流，所述预定混合操作包括标识了所述对象的标识信息。
优选地，所述设备还包括可进行操作以通过通信网络接收所述音频和所述预定混合操作的通信装置，所述通信装置还可进行操作以通过所述通信网络来发送所述未加权音频流和所述数据。
使用该通信装置是有利的，因为它使得可以在分布式环境中使用所述设备。
根据本发明的第三方面，提供了一种用于获得可以被用来为虚拟环境中的化身创建音频场景的信息的设备，该设备包括：
标识装置，其可进行操作以确定位于所述化身的听觉范围的一部分中的对象的标识符；
加权装置，其可进行操作以确定待施加给来自所述对象的音频的权重；以及
定位装置，其可进行操作以确定所述部分在所述虚拟环境中的位置，其中，所述标识符、所述权重以及所述位置表示可以被用来创建所述音频场景的所述信息。
由于以下几个原因，本发明的第三方面的获取权重和位置的能力是有利的。第一，可以使用权重来创建包括来自对象的音频的加权音频流。在这方面，当将音频插入加权音频流时，可以使用所述权重来设定该音频的振幅。第二，可以使用所述位置来对音频进行再现，就好像该音频来自该位置一样。例如，如果该位置表示对象的位置在接受者的右手侧，则可以使用立体声音系统的右音道来再现出该音频。
优选地，所述设备还包括通信装置，所述通信装置可进行操作以通过通信网络向多个系统中的一个发送所述标识符、所述权重以及所述位置，以进行处理。
使用该通信装置是有利的，因为它使得可以在分布式环境中使用所述设备。此外，它使得所述设备可以将所述标识符、所述权重以及所述位置发送给具有执行所需处理所需要的资源(处理能力)的系统。
优选地，所述通信装置还可进行操作以创建用于所述通信网络的择路信息，其中，所述择路信息是如下信息：所述通信网络可以使用所述择路信息将所述音频择路到所述多个系统中的所述一个系统，以进行处理。
能够提供择路信息是有利的，因为它使得所述设备可以在通信网络中有效地选择将用于传送音频的多个链路。
优选地，所述标识装置、所述加权装置以及所述定位装置可进行操作以通过对所述虚拟环境的表示进行处理来分别确定所述标识符、所述权重以及所述位置。
优选地，所述标识装置可进行操作以通过以下步骤来确定所述听觉范围的所述部分：
选择所述虚拟环境中的多个化身中的第一化身；
标识出所述多个化身中的最接近于所述多个化身中的所述第一化身的第二化身；
确定是否可以将所述多个化身中的所述第二化身包括在已有群集中；
当确定可以将所述多个化身中的所述第二化身包括在所述已有群集中时，将所述第二化身包括在所述已有群集中；
当确定不能将所述多个化身中的所述第二化身包括在所述已有群集中时，创建包括所述多个化身中的所述第二化身的新群集，从而创建多个群集；
确定所述多个群集中的两个群集之间的角间隙；
创建基本上位于所述角间隙中的另一群集；以及
将所述多个化身中的至少一个化身包括在所述另一群集中。
另选地，所述标识装置可进行操作以通过以下步骤来确定所述听觉范围的所述部分：
选择所述虚拟环境中的多个化身中的一个化身；
确定从所述化身延伸到所述多个化身中的所述一个化身的辐射线；
对所述多个化身中的每一个与所述辐射线的绝对角距进行计算；
将所述多个化身中的每一个的所述绝对角距排列成升序列表；
对所述升序列表中的所述多个绝对角距中的相继的绝对角距之间的差分角间隔进行计算；
选择所述差分角间隔中的具有比其他差分角间隔更高的值的至少一个差分角间隔；以及
确定从所述化身发出并将与所述差分角间隔中的所述至少一个相关联的所述多个化身中的两个化身等分的另一辐射线。
根据本发明的第四方面，提供了一种用于创建可以被用来为虚拟环境中的化身创建音频场景的信息的设备，该设备包括：
标识装置，其可进行操作以确定位于所述化身的听觉范围的一部分中的对象的标识符；和
定位装置，其可进行操作以确定所述对象在所述虚拟环境中的近似位置，其中，所述标识符和所述近似位置表示可以被用来创建所述音频场景的所述信息。
确定对象的近似位置是有利的，因为可以使用该近似位置来再现来自该对象的音频，就好像所述音频是从所述位置发出的一样。
优选地，所述设备还包括通信装置，所述通信装置可进行操作以通过通信网络向多个系统中的一个发送所述标识符和所述位置，以进行处理。
使用该通信装置是有利的，因为它使得可以在分布式环境中使用所述设备。此外，它使得所述设备可以将所述标识符、所述权重以及所述位置发送给具有执行所需处理所需要的资源(处理能力)的系统。
优选地，所述通信装置还可进行操作以创建用于所述通信网络的择路信息，其中，所述择路信息是如下信息：所述通信网络可以使用所述择路信息将所述音频择路到所述多个系统中的所述一个系统，以进行处理。
能够提供择路信息是有利的，因为它使得所述设备可以在通信网络中有效地选择将用于传送音频的多个链路。
优选地，所述标识装置和所述定位装置可进行操作以通过对所述虚拟环境的表示进行处理来分别确定所述标识符和所述位置。
优选地，所述标识装置可进行操作以通过以下步骤来确定所述对象的所述近似位置：
将所述虚拟环境划分成多个单元格；和
确定所述对象在所述多个单元格的一个单元格中的所处的位置。
根据本发明的第五方面，提供了一种用于为虚拟环境中的化身呈现音频场景的设备，该设备包括：
获取装置，其可进行操作以获取加权音频流和数据，所述加权音频流包括来自位于所述化身的听觉范围的一部分中的对象的音频，所述数据与所述加权音频流相关联并表示所述听觉范围的所述部分在所述虚拟环境中的位置；和
空间音频呈现引擎，其可进行操作以对所述加权音频流和所述数据进行处理，以呈现出所述音频场景。
根据本发明的第六方面，提供了一种用于为虚拟环境中的化身创建音频场景的方法，该方法包括以下步骤：
创建步骤，创建包括来自位于所述化身的听觉范围的一部分中的对象的音频的加权音频流；和
关联步骤，将所述加权音频流与表示所述听觉范围的所述部分在所述虚拟环境中的位置的数据关联起来，其中，所述加权音频流和所述数据表示所述音频场景。
优选地，所述创建步骤使得所述加权音频流包括未加权音频流，所述未加权音频流包括来自位于所述化身的所述听觉范围的所述部分内的另一对象的音频。
优选地，根据预定混合操作和权重信息来执行所述创建步骤，所述预定混合操作包括标识了所述对象和/或所述其他多个对象的标识信息，所述权重信息可以由所述音频处理器使用来设定所述加权音频流中的所述音频和未加权音频流的振幅。
优选地，所述方法还包括以下步骤：
通过通信网络接收所述音频、所述未加权音频流以及所述混合操作；和
通过所述通信网络来发送所述加权音频流和所述数据。
根据本发明的第七方面，提供了一种为虚拟环境中的化身创建用于音频场景的音频信息的方法，该方法包括以下步骤：
创建步骤，创建包括来自位于所述化身的听觉范围的一部分中的对象的音频的未加权音频流；和
关联步骤，将所述未加权音频流与表示所述对象在所述虚拟环境中的近似位置的数据关联起来，其中，所述未加权音频流和所述数据表示所述音频信息。
优选地，根据预定混合操作来执行所述创建步骤，其中，所述预定混合操作包括标识了所述对象的标识信息。
优选地，所述方法还包括以下步骤：
通过通信网络接收所述音频和所述预定混合操作；和
通过所述通信网络来发送所述未加权音频流和所述数据。
根据本发明的第八方面，提供了一种用于获得可以被用来为虚拟环境中的化身创建音频场景的信息的方法，该方法包括以下步骤：
第一确定步骤，确定位于所述化身的听觉范围的一部分中的对象的标识符；
第二确定步骤，确定待施加给来自所述对象的音频的权重；以及
第三确定步骤，确定所述部分在所述虚拟环境中的位置，其中，所述标识符、所述权重以及所述位置表示可以被用来创建音频场景的所述信息。
优选地，所述方法还包括以下步骤：通过通信网络向多个系统中的一个发送所述标识符、所述权重以及所述位置，以进行处理。
优选地，所述方法还包括以下步骤：创建用于所述通信网络的择路信息，其中，所述择路信息是如下信息：所述通信网络可以使用所述择路信息将所述音频择路到所述多个系统中的所述一个系统，以进行处理。
优选地，所述第一、第二以及第三确定步骤分别包括通过对所述虚拟环境的表示进行处理来确定所述标识符、所述权重以及所述位置的步骤。
优选地，所述方法还包括以下步骤以确定所述听觉范围的所述部分：
选择所述虚拟环境中的多个化身中的第一化身；
标识出所述多个化身中的最接近于所述多个化身中的所述第一化身的第二化身；
确定是否可以将所述多个化身中的所述第二化身包括在已有群集中；
当确定可以将所述多个化身中的所述第二化身包括在所述已有群集中时，将所述第二化身包括在所述已有群集中；
当确定不能将所述多个化身中的所述第二化身包括在所述已有群集中时，创建包括所述多个化身中的所述第二化身的新群集，从而创建多个群集；
确定所述多个群集中的两个群集之间的角间隙；
创建位于所述角间隙中的还一群集；以及
将所述多个化身中的至少一个化身包括在所述还一群集中。
另选地，所述方法还包括以下步骤以确定所述听觉范围的所述位置：
选择所述虚拟环境中的多个化身中的一个化身；
确定从所述化身延伸到所述多个化身中的所述一个化身的辐射线；
对所述多个化身中的每一个与所述辐射线的绝对角距进行计算；
将所述多个化身中的每一个的所述绝对角距排列成升序列表；
对所述升序列中的所述绝对角距中的相继的绝对角距之间的差分角间隔进行计算；
选择所述差分角间隔中的具有比其他差分角间隔更高的值的至少一个差分角间隔；以及
确定从所述化身发出并将与所述差分角间隔相关联的所述多个化身中的两个化身等分的另一辐射线。
根据本发明的第九方面，提供了一种用于创建可以被用来为虚拟环境中的化身创建音频场景的信息的方法，该方法包括以下步骤：
第一确定步骤，确定位于所述化身的听觉范围的一部分中的对象的标识符；和
第二确定步骤，确定所述对象在所述虚拟环境中的近似位置，其中，所述标识符和所述近似位置表示可以被用来创建所述音频场景的所述信息。
优选地，所述方法还包括以下步骤：通过通信网络向多个系统中的一个发送所述标识符和所述位置，以进行处理。
优选地，所述方法还包括以下步骤：创建用于所述通信网络的择路信息，其中，所述择路信息是如下信息：所述通信网络可以使用所述择路信息将所述音频择路到所述多个系统中的所述一个系统，以进行处理。
优选地，所述第一和第二确定步骤分别包括通过对所述虚拟环境的表示进行处理来确定所述标识符和所述位置的步骤。
优选地，所述方法还包括以下步骤以确定所述对象的所述近似位置：
将所述虚拟环境划分成多个单元格；和
确定所述对象在所述多个单元格的一个单元格中的所处的位置。
根据本发明的第十方面，提供了一种用于为虚拟环境中的化身呈现音频场景的方法，该方法包括以下步骤：
获取加权音频流和数据，所述加权音频流包括来自位于所述化身的听觉范围的一部分中的对象的音频，所述数据与所述加权音频流相关联并表示所述听觉范围的所述部分在所述虚拟环境中的位置；和
对所述加权音频流和所述数据进行处理，以呈现出所述音频场景。
根据本发明的第十一方面，提供了一种计算机程序，该计算机程序包括用于使得计算设备执行根据本发明的第六、第七、第八、第九以及第十方面的所述方法的至少一条指令。
根据本发明的第十二方面，提供了一种包括根据本发明的第十一方面的计算机程序的计算机可读介质。
附图说明
尽管任何其他实施例可能落在本发明的范围内，但是以下仅以示例的方式参照附图对本发明的一实施例进行描述，在附图中：
图1提供了根据本发明的实施例的系统的框图；
图2提供了由图1所示的系统执行的各种步骤的流程图；
图3提供了在图1所示的系统中使用的栅格概要算法中包括的步骤的流程图；
图4例示了由图1所示的系统使用的地图；
图5例示了由图1所示的系统使用的控制表；
图6提供了在图1所示的系统中使用的群集概要算法中包括的步骤的流程图；
图7是对使用图6的算法而形成的群集的例示；
图8是在另选群集化算法中包括的各种步骤的流程图；
图9提供了对针对图4所示的地图运行图8的另选群集化算法的结果的视觉描述；
图10例示了由图1所示的系统使用的另一控制表；
图11提供了在由图1所示的系统执行的处理中包括的步骤的流程图；以及
图12提供了在由图1所示的系统执行的处理中包括的步骤的流程图。
具体实施方式
参照例示了实现了本发明的系统101的图1，系统101包括：音频场景创建系统103；虚拟环境(DVE)状态维护系统105；以及客户机计算设备107。系统101还包括通信网络109。音频场景创建系统103、虚拟环境状态维护系统105以及客户机计算设备107连接到通信网络109，并被配置成使用网络109以按分布式方式进行操作；即，通过通信网络109相互交换信息。通信网络109采用诸如因特网的公众接入分组交换网络的形式，因此由许多互连的路由器(图中未示出)组成。
一般来说，将虚拟环境状态维护系统105配置成对与虚拟环境(如战场)有关的动态信息进行维护。由系统105维护的动态信息例如包括虚拟环境中的各种化身的位置，并且，在虚拟环境涉及游戏的情况下，包括单个玩家的分数。将音频场景创建系统103基本上配置成对虚拟环境中的多个参与者的与实时音频有关的方面进行创建和管理(如参与者语音)；即，对音频场景进行创建和管理。将客户机计算设备107基本上配置成与虚拟环境状态维护系统105和音频场景创建系统103相交互，以允许使用客户机计算设备107的人参与到虚拟环境中。
更具体来说，图形环境状态维护系统105采用包括传统计算机硬件(如主板、硬盘存储器以及随机存取存储器)的计算机服务器(或者在另选实施例中，采用相互互连的多个分布式计算机服务器)的形式。除了硬件以外，计算机服务器还包括执行各种系统级操作(例如，存储器管理)的操作系统(如Linux或微软Windows)。操作系统还提供了用于执行应用软件的环境。在这方面，计算机服务器包括应用程序包，该应用程序包被装载在硬盘存储器上并且能够对与虚拟环境有关的动态信息进行维护。在这方面，如果虚拟环境例如是战场，那么动态信息可能表示某个化身(其例如代表士兵)位于坦克中。虚拟环境状态维护系统105基本上包括采用软件形式的两个模块111和113。第一个模块111基本上负责向客户机计算设备107发送(与虚拟环境有关的)动态信息和从客户机计算设备107接收该动态信息。将第二个模块113配置成向音频场景创建系统103发送该动态信息。
如前所述，将音频场景创建系统103基本上配置成对多个音频场景进行创建和管理。每个音频场景都基本上表示对虚拟环境中的化身可能会听到的声音的逼真再现。为了创建这些音频场景，音频场景创建系统103包括控制服务器115、概要(summarisation)服务器117(本发明的另选实施例可能包括多个分布式概要服务器)以及多个分布式场景创建服务器119。控制服务器115、概要服务器117以及所述多个分布式场景创建服务器119连接到通信网络109，并使用通信网络109来按分布式方式进行相互合作。
控制服务器115采用包括传统计算机硬件(如主板、硬盘存储器以及随机存取存储器)的计算机服务器的形式。除了硬件以外，该计算机服务器还包括执行各种系统级操作的操作系统(如Linux或微软Windows)。该操作系统还提供了用于执行应用软件的环境。在这方面，该计算机服务器包括被装载到硬盘存储器上并执行图2所示的流程图201的各种步骤的应用软件。该应用软件执行的第一个步骤203是与虚拟环境状态维护系统105进行交互，以获得与虚拟环境有关的动态信息。该应用软件获得并处理该动态信息，以标识出存在于虚拟环境中的各种化身和虚拟环境中的化身的位置。虚拟环境状态维护系统105还可以对动态信息进行处理，以获得这些化身的状态的详情(例如，活动的或不活动的)和任何声音障碍物的详情。为了获得动态信息，控制服务器115的应用软件通过通信网络109与虚拟环境状态维护系统105中的第二个模块113进行交互。
一旦控制服务器115的应用软件从虚拟环境状态维护系统105获得了动态信息，它就开始对该动态信息进行处理，以创建由概要服务器117和场景创建服务器119来处理的许多混合操作，以针对虚拟环境中的各化身创建音频场景。接在初始步骤203之后，控制服务器115执行运行栅格概要算法的步骤205。参照示出了栅格概要算法的流程图301的图3，栅格概要算法的第一个步骤303是使用在初始步骤203中获得动态信息来形成虚拟环境的地图401(可在图4中看到)。地图401被划分成多个单元格并绘示出多个化身在虚拟环境中的位置。地图401将这些化身绘示成小黑点。尽管本实施例只包括单个地图401，但是可以想像在本发明的另选实施例中可以使用多个地图401。
注意，将虚拟环境中的各化身视为具有被分成交互区和背景区的听觉范围。交互区通常被视为直接围绕化身的听觉范围的部分，而背景区是听觉范围的位于听觉范围的周围附近(外限)的部分。作为示例，在图4中将化身的听觉范围的交互区示为围绕化身的圆圈。
在形成地图401时，控制服务器115的应用软件确保各单元格的尺寸大于或等于化身的交互区。
当执行栅格概要算法时而执行的下一步骤305是确定地图401中的各单元格的‘质心’。基本上通过标识出各单元格中的这样的点来确定质心，即，单元格内的多个化身以该点为中心。可以将质心视为这些化身在虚拟环境中的近似位置。栅格概要算法中的最后一个步骤307是基于地图401对由概要服务器117使用的控制表501(其被示于图5中)进行更新。控制表501包括多个行，每一行都表示地图401中的多个单元格中的一个。每一行都还含有相应单元格中的每个化身的标识符和该单元格的质心。实际上可以将控制表501中的每一行都视为未加权混合操作。为了对控制表501进行更新，控制服务器115的应用软件通过通信网络109与概要服务器117进行交互。
一旦控制服务器115的应用软件完成了运行栅格概要算法的步骤205，则它执行的下一步骤207是运行群集概要算法。图6提供了在群集概要算法中包括的各种步骤的流程图601。群集概要算法的第一个步骤603是选择虚拟环境中的多个化身中的第一化身。接在第一个步骤603之后，群集概要算法包括选择所述多个化身中的与在第一个步骤603中选择的所述多个化身中的第一化身最近的第二化身的步骤605。一旦选择了所述多个化身中的第二化身，群集概要算法包括确定所述多个化身中的第二化身是否适合于(fit in to)先前定义的群集的步骤607。接在前一步骤607之后，群集概要算法包括如果所述多个化身中的第二化身适合于先前定义的群集则将它置于该群集中的步骤609。另一方面，如果确定所述多个化身中的第二化身不适合于先前定义的群集，则群集概要算法包括执行建立以所述多个化身中的第二化身为中心的新群集的步骤611。注意，执行前述步骤603到611，直到建立了预定数量M个群集。
一旦建立了M个群集，则群集概要算法包括执行找出该M个群集之间的最大角间隙的步骤613。一旦确定了最大角间隙，则群集概要算法包括在该最大角间隙中建立新群集的步骤615。重复前述步骤613和615，直到建立了总共K个群集。注意，群集数量M群集数量K。
群集概要算法的最后一个步骤617包括将所有剩余的化身置于所述K个群集(它们是得到最小角误差的那些群集)中的最佳群集内；即，在不对来自源的声音进行概要的情况下，从所述多个化身中的第一化身的视点给出的声音源与该声音源的实际位置之间的角差。
一旦执行了群集概要算法的步骤603到617，则在控制服务器115上运行的应用软件进行到执行最后一个步骤209，在本说明书的随后段落中对该步骤进行详细讨论。图7示出了对使用群集概要算法而建立的群集的例示。
本领域的技术人员将容易理解，本发明并不限于使用上述群集化算法。以示例的方式，以下对可以在本发明的另一实施例中使用的另选群集化算法进行描述。图8中的流程图807示出了在该另选群集化算法中包括的步骤。
另选群集概要算法的第一个步骤803是选择虚拟环境中的多个化身中的一个化身。下一步骤805是接着确定位于该化身的听觉范围内的多个化身和多个栅格概要的总数。这些栅格概要基本上是由概要服务器117生成的未加权音频流。在本说明书的随后段落中对概要服务器117的该方面的详细说明进行了阐述。
接在前一步骤805之后，下一步骤807是对听觉范围内的多个化身和多个栅格概要的总数是否小于或等于K(其为基于可用于发送音频场景的带宽量而选择的数量)进行评定。如果确定化身和栅格概要的总数小于或等于K，则在控制服务器115上运行的应用软件进行到本算法的最后一个步骤209(在本说明书的随后段落中对该步骤进行讨论)。
在听觉范围内的化身和/或栅格概要的总数大于K的情况下，控制服务器115继续执行本另选群集概要算法。在此情况下，本另选群集概要算法中的下一步骤809是在地图401上有效地绘制从(在先前的步骤803中选择的)所述化身起发出并经过所述化身的听觉范围内的任何其他化身的辐射线。在步骤809之后，下一步骤811是对每个化身的绝对角距和所述化身的听觉范围内的栅格概要进行计算。接在步骤811之后，本另选群集群化算法包括将这些绝对角距排列成升序列表的步骤813。下一步骤815是对该升序列表中的每两个相继的绝对角距的差分角间隔进行计算。一旦执行了前一步骤815，下一步骤817就是标识出K个最大差分角距。下一步骤819是通过在与所述K个最大差分角距相关联的多个化身中的每一个之间有效地形成多条辐射线来将所述化身的听觉范围划分为K个部分。将这些辐射线之间的区域称为听觉范围的一部分。图9示出了对地图401运行本另选群集概要算法的效果。
作为本另选群集概要算法的前述步骤的示例，考虑包括总共10个化身/栅格概要和K等于4的虚拟环境。假设本另选群集概要算法的初始步骤811和813得到了按升序的以下绝对角距列表：
0，10，16，48，67，120，143，170，222以及253，它们分别对应于化身/栅格概要A0到A9。
本另选群集概要算法的随后步骤815(其包括对以上列表中的每两个相继的绝对角距的差分角间隔进行计算)的结果如下：
10，6，32，19，53，23，27，52，31以及107
本另选群集概要算法的步骤817(其包括标识出K(4)个最大差分角距)的结果是选择以下差分角距：
107，53，52以及32
本另选群集概要算法的步骤819(其包括将听觉范围划分成多个部分)的结果是定义了以下K(4)个化身群集：
1：A0、A1以及A3
2：A3和A4
3：A5、A6以及A7
4：A8和A9
接在前述多个步骤之后，本另选群集概要算法包括确定所述多个化身在虚拟环境中的位置的步骤821。在控制服务器115上运行的应用软件通过与虚拟环境状态维护系统105中的第二个模块113进行交互来执行该步骤。一旦确定了所述多个化身的位置，本另选群集概要算法包括利用所述多个化身的位置来确定在所述多个化身与针对其正在运行本另选群集概要算法的化身之间的距离。在步骤823之后，本另选群集概要算法包括利用这些距离来确定待施加给从所述化身的听觉范围内的所述多个化身发出的音频的权重的步骤825。步骤825还包括利用(根据栅格概要算法确定的)质心来确定对所述化身的听觉范围内的各栅格概要的权重的步骤。
在此阶段，本另选群集概要算法包括如下步骤827：确定在对听觉范围进行分割的先前步骤819中标识出该听觉范围的所述多个部分中的每一个部分的质心。与栅格概要算法一样，本另选群集概要算法通过选择各部分中的所述多个化身以其为中心的位置来确定质心。
本另选群集概要算法的最后一个步骤829包括对所述多个场景创建服务器119中的控制表1001(其被示于图10中)进行更新。这包括对控制表1001进行更新以包括听觉范围内的所述多个部分中的所述多个化身中的每一个的标识符、待施加于所述多个部分中的所述多个化身的多个权重以及所述多个部分中的每一个的质心。注意，控制服务器115通过通信网络109对场景创建服务器119中的控制表1001进行更新。
如可以在图10中看到的，所述多个场景创建服务器119中的控制表1001包括多个行。每一行都对应于化身的听觉范围的一部分，并含有听觉范围的各部分中的多个化身/栅格概要的标识符(分别为Sh和Zi)。控制表1001的每一行还包括待施加给来自这些化身/栅格概要的音频的权重(W)和所述多个部分的质心(其被包含在控制表1001的“位置坐标”一栏中)。质心具有x，y坐标的形式。
当完成了本另选群集概要算法的最后一个步骤829时，运行在控制服务器115上的应用软件进行到执行它的最后一个步骤209。最后一个步骤209包括与通信网络109进行交互，以建立多个专用通信链路。这些通信链路是这样的：它们使得可以将音频从客户机计算设备107传送到概要服务器117和/或所述多个场景创建服务器119，并将栅格概要(未加权音频流)从概要服务器117传送到所述多个场景创建服务器119。
一旦控制服务器115完成了前述步骤203到209，概要服务器117就能够创建多个未加权音频流(栅格概要)。概要服务器117采用包括传统计算机硬件(如主板、硬盘存储装置以及随机存取存储器)的计算机服务器的形式。除了硬件以外，该计算机服务器还包括执行各种系统级操作的操作系统(如Linux或微软Windows)。该操作系统还提供了用于执行应用软件的环境。在这方面，该计算机服务器包括被配置成执行混合处理(图11例示的流程图1101示出了该混合处理的步骤)的应用软件，以创建多个未加权音频流。
流程图1101的第一个步骤1103是获得与在概要服务器117中的控制表501的“待混合流”一栏中标识的多个化身中的每一个相关联的音频流Sn。图5例示了该控制表501。注意，概要服务器117通过通信网络109获得这些音频流Sn。在这方面，与通信网络109相交互的控制服务器115的先前步骤209建立了在通信网络109中的多个必要链接，以使得概要服务器117可以接收这些音频流Sn。然后，对于控制表501中的每一行，下一步骤1105是将所标识出的多个音频流Sn混合起来，从而产生M个混合音频流。这M个混合音频流中的每一个都包括在控制表501中的M行中的每一行的“待混合流”一栏中标识出的多个音频流Sn。当在混合步骤1105中对所述多个音频流Sn进行混合时，使得每个音频流Sn都具有它们最初未经改变的振幅。因此将该M个混合音频流视为未加权音频流。如前所述，这些未加权音频流含有来自位于图4所示的地图401的多个单元格中的多个化身的音频。
流程图1101中的下一步骤1107是使用地图401中的相应单元格的对应质心对这些未加权音频流进行标记。该步骤1107实际上包括插入来自控制表501的“单元格的质心”一栏的x，y坐标。处理流程图1101中的最后一个步骤1109是将这些未加权音频流从概要服务器117转发给合适的场景创建服务器119，这是通过使用通信网络109将这些未加权音频流从概要服务器117传送给场景创建服务器119来实现的。与通信网络109相交互的控制服务器115的先前步骤209建立了在通信网络109中的多个必要链接，以使得可以将这些未加权音频流从概要服务器117传送给场景创建服务器119。
一旦已将这些未加权音频流传送给场景创建服务器119，则能够执行混合处理以创建多个加权音频流。图12的流程图1201示出了在该混合处理中包括的步骤。每个场景创建服务器119都采用包括传统计算机硬件(如主板、硬盘存储装置以及随机存取存储器)的计算机服务器的形式。除了硬件以外，该计算机服务器还包括执行各种系统级操作的操作系统(如Linux或微软Windows)。该操作系统还提供了用于执行应用软件的环境。在这方面，该计算机服务器包括被配置成执行流程图1201的各种步骤的应用软件。
除了流程图1201导致创建加权音频流(而不是产生未加权音频流)以外，流程图1201的步骤基本上与由概要服务器117执行的流程图1101的步骤相同。如可以在图12中看到的，第一个步骤1203包括获得在场景创建服务器119的控制表1001中标识出的音频流Zi和Sn，其中Zi是来自概要服务器117的未加权音频流，Sn是与特定化身相关联的音频流。然后，对于控制表1001中的每一行，流程图1201包括步骤1205：将在控制表1001的“群集概要流”中标识出的音频流Zi与Sn混合起来，从而产生多个加权音频流。该多个加权音频流中的每一个都包括在控制表1001中的对应行中标识出的音频流Zi与Sn。与由概要服务器117创建的未加权音频流不同，加权音频流中的音频流Zi和Sn具有不同的振幅。在混合步骤1205中实际上通过将音频流Zi和Sn乘以它们的相关联的权重Wn(这些权重Wn也被包含在控制表1001的“群集概要流”一栏中)来确定所述振幅。
流程图1201中的下一步骤1207是使用包含在控制表1001的对应“位置坐标”一栏中的质心对这些加权音频流进行标记。该步骤1207实际上包括插入包含在“位置坐标”一栏中的x，y坐标。流程图1201的最后一个步骤1209是将这些加权音频流通过通信网络109发送给客户机计算设备107以进行处理。
客户机计算设备107采用包括典型计算机硬件(如主板、硬盘以及存储器)的个人计算机的形式。除了硬件以外，该客户机计算设备107还装载有操作系统(如微软Windows)，该操作系统对各种系统级操作进行管理并提供了可以在其中执行应用软件的环境。客户机计算设备107还包括：音频客户端121；虚拟环境客户端123；以及空间音频渲现(rending)引擎125。音频客户端121采用被配置成从所述多个场景创建服务器119接收多个加权音频流并对这些加权音频流进行处理的应用软件的形式。空间音频渲现引擎125采用音频渲现软件和声卡的形式。当接收到来自场景创建服务器119的加权音频流时，音频客户端121与空间音频渲现引擎125进行交互，以对这些加权音频流进行呈现(再现)，从而使用客户机计算设备107为人创建音频场景。在这方面，空间音频渲现引擎125连接到一组扬声器，使用这组扬声器来向人传送音频场景。注意，音频客户端121在对加权音频流进行标记的先前步骤1207中通过场景创建服务器119提取插入在加权音频流中的位置信息。将所提取的位置信息(连同加权音频流一起)传送给空间音频渲现引擎125，空间音频渲现引擎125接着利用该位置信息来对信息进行再现，就好像它是从该位置(即，例如从右手侧)发出的一样。
虚拟环境客户端123采用软件(在另选实施例中可能是某些专用图像处理硬件)的形式，并且基本上被配置成与虚拟环境状态维护系统105的第一个模块111进行交互，以获得与虚拟环境有关的动态信息。当接收到动态信息时，图形客户端123对该动态信息进行处理，以再现(呈现)出虚拟环境。为了使得可以将该虚拟环境显示给使用客户机计算设备107的人，客户机计算设备107还包括监视器(未示出)。图形客户端123还被配置成向虚拟环境状态维护系统105提供与在虚拟环境中存在的人有关的动态信息。
本领域的技术人员将理解，这里描述的本发明可以容许除已具体描述的那些变型和修改以外的变型和修改。应当理解，本发明包括落在本发明的精神和范围内的所有这种变型和修改。

Claims (40)

1、一种用于为虚拟环境中的化身创建音频场景的设备，该设备包括：
音频处理器，其可进行操作以创建加权音频流，该加权音频流包括来自位于所述化身的听觉范围的一部分中的对象的音频；和
关联装置，其可进行操作以将所述加权音频流与表示所述听觉范围的所述部分在所述虚拟环境中的位置的数据关联起来，其中，所述加权音频流和所述数据表示所述音频场景。
2、根据权利要求1所述的设备，其中，所述音频处理器还可进行操作以创建所述加权音频流，使得所述加权音频流包括未加权音频流，所述未加权音频流包括来自位于所述化身的所述听觉范围的所述部分内的另一对象的音频。
3、根据权利要求1或2所述的设备，其中，所述音频处理器可进行操作以根据预定混合操作和权重信息来创建所述加权音频流，所述预定混合操作包括标识了所述对象和/或其他多个对象的标识信息，所述权重信息可以由所述音频处理器使用来设定所述加权音频流中的所述音频和所述未加权音频流的振幅。
4、根据权利要求3所述的设备，其中，所述设备还包括可进行操作以通过通信网络接收所述音频、所述未加权音频流以及所述混合操作的通信装置，所述通信网络还可被操作以通过所述通信网络来发送所述加权音频流和所述数据。
5、一种可进行操作以为虚拟环境中的化身创建用于音频场景中的音频信息的设备，该设备包括：
音频处理器，其可进行操作以创建未加权音频流，该未加权音频流包括来自位于所述化身的听觉范围的一部分中的对象的音频；和
关联装置，其可进行操作以将所述未加权音频流与表示所述对象在所述虚拟环境中的近似位置的数据关联起来，其中，所述未加权音频流和所述数据表示所述音频信息。
6、根据权利要求5所述的设备，其中，所述音频处理器可进行操作以根据预定混合操作来创建所述未加权音频流，所述预定混合操作包括标识了所述对象的标识信息。
7、根据权利要求6所述的设备，该设备还包括可进行操作以通过通信网络接收所述音频和所述预定混合操作的通信装置，所述通信网络还可被操作以通过所述通信网络来发送所述未加权音频流和所述数据。
8、一种用于获得可以用来为虚拟环境中的化身创建音频场景的信息的设备，该设备包括：
标识装置，其可进行操作以确定位于所述化身的听觉范围的一部分中的对象的标识符；
加权装置，其可进行操作以确定待施加给来自所述对象的音频的权重；以及
定位装置，其可进行操作以确定所述部分在所述虚拟环境中的位置，其中，所述标识符、所述权重以及所述位置表示可以被用来创建所述音频场景的所述信息。
9、根据权利要求8所述的设备，该设备还包括通信装置，所述通信装置可进行操作以通过通信网络向多个系统中的一个发送所述标识符、所述权重以及所述位置，以进行处理。
10、根据权利要求9所述的设备，其中，所述通信装置还可进行操作以创建用于所述通信网络的择路信息，其中，所述择路信息是如下的信息：所述通信网络可以使用所述择路信息将所述音频择路到所述多个系统中的所述一个系统，以进行处理。
11、根据权利要求8到10中的任何一项所述的设备，其中，所述标识装置、所述加权装置以及所述定位装置可进行操作，以通过对所述虚拟环境的表示进行处理来分别确定所述标识符、所述权重以及所述位置。
12、根据权利要求8到11中的任何一项所述的设备，其中，所述标识装置可进行操作以通过以下步骤来确定所述听觉范围的所述部分：
选择所述虚拟环境中的多个化身中的第一化身；
标识出所述多个化身中的最接近于所述多个化身中的所述第一化身的第二化身；
确定是否可以将所述多个化身中的所述第二化身包括在已有群集中；
当确定可以将所述多个化身中的所述第二化身包括在所述已有群集中时，将所述第二化身包括在所述已有群集中；
当确定不能将所述多个化身中的所述第二化身包括在所述已有群集中时，创建包括所述多个化身中的所述第二化身的新群集，从而创建多个群集；
确定所述多个群集中的两个群集之间的角间隙；
创建位于所述角间隙中的另一群集；以及
将所述多个化身中的至少一个化身包括在所述另一群集中。
13、根据权利要求8到11中的任何一项所述的设备，其中，所述标识装置可进行操作以通过以下步骤来确定所述听觉范围的所述部分：
选择所述虚拟环境中的多个化身中的一个化身；
确定从所述化身延伸到所述多个化身中的所述一个化身的辐射线；
对所述多个化身中的每一个与所述辐射线的绝对角距进行计算；
将所述多个化身中的每一个的所述绝对角距排列成升序列表；
对所述升序列表中的所述多个绝对角距中的相继的绝对角距之间的差分角间隔进行计算；
选择所述差分角间隔中的具有比其他差分角间隔更高的值的至少一个差分角间隔；以及
确定从所述化身发出并将与所述差分角间隔相关联的所述多个化身中的两个化身等分的另一辐射线。
14、一种用于创建可以用来为虚拟环境中的化身创建音频场景的信息的设备，该设备包括：
标识装置，其可进行操作以确定位于所述化身的听觉范围的一部分中的对象的标识符；和
定位装置，其可进行操作以确定所述对象在所述虚拟环境中的近似位置，其中，所述标识符和所述近似位置表示可以用来创建所述音频场景的所述信息。
15、根据权利要求14所述的设备，还包括通信装置，所述通信装置可进行操作以通过通信网络向多个系统中的一个发送所述标识符和所述位置，以进行处理。
16、根据权利要求15所述的设备，其中，所述通信装置还可进行操作以创建用于所述通信网络的择路信息，其中，所述择路信息是如下的信息：所述通信网络可以使用所述择路信息将所述音频择路到所述多个系统中的所述一个系统，以进行处理。
17、根据权利要求14到16中的任何一项所述的设备，其中，所述标识装置和所述定位装置可进行操作，以通过对所述虚拟环境的表示进行处理来分别确定所述标识符和所述位置。
18、根据权利要求14到17中的任何一项所述的设备，其中，所述标识装置可进行操作以通过以下步骤来确定所述对象的所述近似位置：
将所述虚拟环境划分成多个单元格；和
确定所述对象在所述多个单元格的一个单元格中的所处的位置。
19、一种用于为虚拟环境中的化身呈现音频场景的设备，该设备包括：
获取装置，其可进行操作以获取加权音频流和数据，所述加权音频流包括来自位于所述化身的听觉范围的一部分中的对象的音频，所述数据与所述加权音频流相关联并表示所述听觉范围的所述部分在所述虚拟环境中的位置；和
空间音频呈现引擎，其可进行操作以对所述加权音频流和所述数据进行处理，以呈现出所述音频场景。
20、一种用于为虚拟环境中的化身创建音频场景的方法，该方法包括以下步骤：
创建步骤，创建加权音频流，该加权音频流包括来自位于所述化身的听觉范围的一部分中的对象的音频；和
关联步骤，将所述加权音频流与表示所述听觉范围的所述部分在所述虚拟环境中的位置的数据关联起来，其中，所述加权音频流和所述数据表示所述音频场景。
21、根据权利要求20所述的方法，其中，所述创建步骤使得所述加权音频流包括未加权音频流，所述未加权音频流包括来自位于所述化身的所述听觉范围的所述部分内的另一对象的音频。
22、根据权利要求20或21所述的方法，其中，根据预定混合操作和权重信息来执行所述创建步骤，所述预定混合操作包括标识了所述对象和/或其他多个对象的标识信息，所述权重信息可以由音频处理器使用来设定所述加权音频流中的所述音频和所述未加权音频流的振幅。
23、根据权利要求22所述的方法，该方法还包括以下步骤：
通过通信网络接收所述音频、所述未加权音频流以及所述混合操作；和
通过所述通信网络来发送所述加权音频流和所述数据。
24、一种为虚拟环境中的化身创建用于音频场景中的音频信息的方法，该方法包括以下步骤：
创建步骤，创建包括来自位于所述化身的听觉范围的一部分中的对象的音频的未加权音频流；和
关联步骤，将所述未加权音频流与表示所述虚拟环境中的所述对象的近似位置的数据关联起来，其中，所述未加权音频流和所述数据表示所述音频信息。
25、根据权利要求24所述的方法，其中，根据预定混合操作来执行所述创建步骤，其中，所述预定混合操作包括标识了所述对象的标识信息。
26、根据权利要求25所述的方法，该方法还包括以下步骤：
通过通信网络接收所述音频和所述预定混合操作；和
通过所述通信网络来发送所述未加权音频流和所述数据。
27、一种用于获得可以被用来为虚拟环境中的化身创建音频场景的信息的方法，该方法包括以下步骤：
第一确定步骤，确定位于所述化身的听觉范围的一部分中的一对象的标识符；
第二确定步骤，确定待施加给来自所述对象的音频的权重；以及
第三确定步骤，确定所述部分在所述虚拟环境中的位置，其中，所述标识符、所述权重以及所述位置表示可以被用来创建音频场景的所述信息。
28、根据权利要求27所述的方法，该方法还包括以下步骤：通过通信网络向多个系统中的一个发送所述标识符、所述权重以及所述位置，以进行处理。
29、根据权利要求28所述的方法，该方法还包括以下步骤：创建用于所述通信网络的择路信息，其中，所述择路信息是如下的信息：所述通信网络可以使用所述择路信息将所述音频择路到所述多个系统中的所述一个系统，以进行处理。
30、根据权利要求27到29中的任何一项所述的方法，其中，所述第一、第二以及第三确定步骤分别包括通过对所述虚拟环境的表示进行处理来确定所述标识符、所述权重以及所述位置的步骤。
31、根据权利要求27到30中的任何一项所述的方法，该方法还包括以下步骤以确定所述听觉范围的所述部分：
选择所述虚拟环境中的多个化身中的第一化身；
标识出所述多个化身中的最接近于所述多个化身中的所述第一化身的第二化身；
确定是否可以将所述多个化身中的所述第二化身包括在已有群集中；
当确定可以将所述多个化身中的所述第二化身包括在所述已有群集中时，将所述第二化身包括在所述已有群集中；
当确定不能将所述多个化身中的所述第二化身包括在所述已有群集中时，创建包括所述多个化身中的所述第二化身的新群集，从而创建多个群集；
确定所述多个群集中的两个群集之间的角间隙；
创建位于所述角间隙中的另一群集；以及
将所述多个化身中的至少一个化身包括在所述另一群集中。
32、根据权利要求27到30中的任何一项所述的方法，该方法还包括以下步骤以确定所述听觉范围的所述部分：
选择所述虚拟环境中的多个化身中的一个化身；
确定从所述化身延伸到所述多个化身中的所述一个化身的辐射线；
对所述多个化身中的每一个与所述辐射线的绝对角距进行计算；
将所述多个化身中的每一个的所述绝对角距排列成升序列表；
基于所述绝对角距对所述多个化身中的相继的化身之间的差分角间隔进行计算；
选择所述差分角间隔中的具有比其他差分角间隔更高的值的至少一个差分角间隔；以及
确定从所述化身发出并将与所述差分角间隔相关联的所述多个化身中的两个化身等分的另一辐射线。
33、一种用于创建可以被用来为虚拟环境中的化身创建音频场景的信息的方法，该方法包括以下步骤：
第一确定步骤，确定位于所述化身的听觉范围的一部分中的对象的标识符；和
第二确定步骤，确定所述对象在所述虚拟环境中的近似位置，其中，所述标识符和所述近似位置表示可以被用来创建所述音频场景的所述信息。
34、根据权利要求33所述的方法，该方法还包括以下步骤：通过通信网络向多个系统中的一个发送所述标识符和所述位置，以进行处理。
35、根据权利要求34所述的方法，该方法还包括以下步骤：创建用于所述通信网络的择路信息，其中，所述择路信息是如下的信息：所述通信网络可以使用所述择路信息来将所述音频择路到所述多个系统中的所述一个系统，以进行处理。
36、根据权利要求33到35中的任何一项所述的方法，其中，所述第一和第二确定步骤分别包括通过对所述虚拟环境的表示进行处理来确定所述标识符和所述位置的步骤。
37、根据权利要求33到36中的任何一项所述的方法，该方法还包括以下步骤以确定所述对象的所述近似位置：
选择所述差分角间隔中的具有比其他差分角间隔更高的值的至少一个差分角间隔；以及
确定从所述化身发出并将与所述差分角间隔相关联的所述多个化身中的两个化身等分的另一辐射线。
38、一种用于为虚拟环境中的化身呈现音频场景的方法，该方法包括以下步骤：
获取加权音频流和数据，所述加权音频流包括来自位于所述化身的听觉范围的一部分中的对象的音频，所述数据与所述加权音频流相关联并表示所述听觉范围的所述部分在所述虚拟环境中的位置；和
对所述加权音频流和所述数据进行处理，以呈现出所述音频场景。
39、一种计算机程序，该计算机程序包括用于使得计算设备执行根据权利要求20到38中的任何一项所述的方法的至少一条指令。
40、一种包括根据权利要求39所述的计算机程序的计算机可读介质。
CN2005800195704A 2004-04-16 2005-04-15 用于创建音频场景的设备和方法 Active CN1969589B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201010145178.7A CN101827301B (zh) 2004-04-16 2005-04-15 用于创建音频场景的设备和方法

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
AU2004902027 2004-04-16
AU2004902027A AU2004902027A0 (en) 2004-04-16 Devices for facilitating rendering of an audio scene
AU2004903760 2004-07-08
AU2004903760A AU2004903760A0 (en) 2004-07-08 Apparatuses and methods for use in creating an audio scene
PCT/AU2005/000534 WO2005101897A1 (en) 2004-04-16 2005-04-15 Apparatuses and methods for use in creating an audio scene

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201010145178.7A Division CN101827301B (zh) 2004-04-16 2005-04-15 用于创建音频场景的设备和方法

Publications (2)

Publication Number Publication Date
CN1969589A true CN1969589A (zh) 2007-05-23
CN1969589B CN1969589B (zh) 2011-07-20

Family

ID=35150372

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201010145178.7A Active CN101827301B (zh) 2004-04-16 2005-04-15 用于创建音频场景的设备和方法
CN2005800195704A Active CN1969589B (zh) 2004-04-16 2005-04-15 用于创建音频场景的设备和方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201010145178.7A Active CN101827301B (zh) 2004-04-16 2005-04-15 用于创建音频场景的设备和方法

Country Status (7)

Country Link
US (1) US9319820B2 (zh)
EP (1) EP1754393B1 (zh)
JP (1) JP4848362B2 (zh)
KR (1) KR101167058B1 (zh)
CN (2) CN101827301B (zh)
AU (4) AU2005234518A1 (zh)
WO (1) WO2005101897A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102681657A (zh) * 2010-12-27 2012-09-19 微软公司 交互式内容创建
CN105340299A (zh) * 2013-06-18 2016-02-17 杜比实验室特许公司 用于生成环绕立体声声场的方法及其装置和程序产品

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4854736B2 (ja) * 2005-06-24 2012-01-18 ドルビー ラボラトリーズ ライセンシング コーポレイション 没入型オーディオ通信
AU2006261594B2 (en) * 2005-06-24 2012-02-02 Dolby Laboratories Licensing Corporation Immersive audio communication
KR100782836B1 (ko) * 2006-02-08 2007-12-06 삼성전자주식회사 컨텐츠 관리 방법, 장치 및 저장매체와 이를 이용한 적응적컨텐츠 재생 방법
JP4187748B2 (ja) * 2006-03-23 2008-11-26 株式会社コナミデジタルエンタテインメント 画像生成装置、画像生成方法、ならびに、プログラム
CA2667110C (en) * 2006-11-08 2014-01-14 Dolby Laboratories Licensing Corporation Apparatuses and methods for use in creating an audio scene
US7840668B1 (en) * 2007-05-24 2010-11-23 Avaya Inc. Method and apparatus for managing communication between participants in a virtual environment
WO2009042896A1 (en) * 2007-09-26 2009-04-02 Aq Media, Inc. Audio-visual navigation and communication dynamic memory architectures
US8315409B2 (en) * 2008-09-16 2012-11-20 International Business Machines Corporation Modifications of audio communications in an online environment
US9384469B2 (en) 2008-09-22 2016-07-05 International Business Machines Corporation Modifying environmental chat distance based on avatar population density in an area of a virtual world
US20100077318A1 (en) * 2008-09-22 2010-03-25 International Business Machines Corporation Modifying environmental chat distance based on amount of environmental chat in an area of a virtual world
JP2010122826A (ja) * 2008-11-18 2010-06-03 Sony Computer Entertainment Inc オンライン会話システム、オンライン会話用サーバ、オンライン会話制御方法及びプログラム
US8577060B2 (en) * 2009-07-02 2013-11-05 Avaya Inc. Method and apparatus for dynamically determining mix sets in an audio processor
US9528852B2 (en) * 2012-03-02 2016-12-27 Nokia Technologies Oy Method and apparatus for generating an audio summary of a location
WO2014033494A1 (en) * 2012-08-28 2014-03-06 Glowbl Graphical user interface, method, computer program and corresponding storage medium
US9372531B2 (en) 2013-03-12 2016-06-21 Gracenote, Inc. Detecting an event within interactive media including spatialized multi-channel audio content
US10674299B2 (en) * 2014-04-11 2020-06-02 Samsung Electronics Co., Ltd. Method and apparatus for rendering sound signal, and computer-readable recording medium
US9466278B2 (en) * 2014-05-08 2016-10-11 High Fidelity, Inc. Systems and methods for providing immersive audio experiences in computer-generated virtual environments
US10062208B2 (en) * 2015-04-09 2018-08-28 Cinemoi North America, LLC Systems and methods to provide interactive virtual environments
EP3361756B1 (en) * 2015-10-09 2024-04-17 Sony Group Corporation Signal processing device, signal processing method, and computer program
US10904607B2 (en) * 2017-07-10 2021-01-26 Dolby Laboratories Licensing Corporation Video content controller and associated method
BR112021019785A2 (pt) 2019-04-03 2021-12-07 Dolby Laboratories Licensing Corp Servidor de mídia para cenas de voz escalonáveis
US11023095B2 (en) 2019-07-12 2021-06-01 Cinemoi North America, LLC Providing a first person view in a virtual world using a lens
US11750745B2 (en) 2020-11-18 2023-09-05 Kelly Properties, Llc Processing and distribution of audio signals in a multi-party conferencing environment
CN117652137A (zh) * 2021-07-15 2024-03-05 罗布乐思公司 虚拟元宇宙中的空间化音频聊天
US11700335B2 (en) * 2021-09-07 2023-07-11 Verizon Patent And Licensing Inc. Systems and methods for videoconferencing with spatial audio

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5736982A (en) * 1994-08-03 1998-04-07 Nippon Telegraph And Telephone Corporation Virtual space apparatus with avatars and speech
US5862228A (en) * 1997-02-21 1999-01-19 Dolby Laboratories Licensing Corporation Audio matrix encoding
US7379961B2 (en) * 1997-04-30 2008-05-27 Computer Associates Think, Inc. Spatialized audio in a three-dimensional computer-based scene
US6011851A (en) * 1997-06-23 2000-01-04 Cisco Technology, Inc. Spatial audio processing method and apparatus for context switching between telephony applications
US6125115A (en) 1998-02-12 2000-09-26 Qsound Labs, Inc. Teleconferencing method and apparatus with three-dimensional sound positioning
JPH11232488A (ja) * 1998-02-17 1999-08-27 Mitsubishi Electric Corp ３次元仮想空間システム
GB9805534D0 (en) 1998-03-17 1998-05-13 Central Research Lab Ltd A method of improving 3d sound reproduction
FI116505B (fi) * 1998-03-23 2005-11-30 Nokia Corp Menetelmä ja järjestelmä suunnatun äänen käsittelemiseksi akustisessa virtuaaliympäristössä
JP2000013900A (ja) 1998-06-25 2000-01-14 Matsushita Electric Ind Co Ltd 音再生装置
JP3625664B2 (ja) 1998-10-29 2005-03-02 三洋電機株式会社 ヘッドフォンステレオのリモートコントロール装置
JP2000172483A (ja) * 1998-12-10 2000-06-23 Nippon Telegr & Teleph Corp <Ntt> 共有仮想画面における音声認識方法及びシステム及び共有仮想画面における音声認識プログラムを格納した記憶媒体
GB2349055B (en) * 1999-04-16 2004-03-24 Mitel Corp Virtual meeting rooms with spatial audio
US7006616B1 (en) * 1999-05-21 2006-02-28 Terayon Communication Systems, Inc. Teleconferencing bridge with EdgePoint mixing
KR100416757B1 (ko) * 1999-06-10 2004-01-31 삼성전자주식회사 위치 조절이 가능한 가상 음상을 이용한 스피커 재생용 다채널오디오 재생 장치 및 방법
US6772195B1 (en) * 1999-10-29 2004-08-03 Electronic Arts, Inc. Chat clusters for a virtual world application
JP2003518268A (ja) * 1999-12-22 2003-06-03 サーノフ コーポレイション 不連続な繋ぎ音声ストリームの平滑化方法および装置
AUPQ570700A0 (en) 2000-02-17 2000-03-09 Lake Technology Limited Virtual audio environment
EP1134724B1 (en) * 2000-03-17 2008-07-23 Sony France S.A. Real time audio spatialisation system with high level control
WO2001085293A1 (en) * 2000-05-10 2001-11-15 Simation, Inc. Method and system for providing a dynamic virtual environment using data streaming
CZ20031035A3 (cs) 2000-10-13 2004-02-18 Alza Corporation Nárazový aplikátor opatřený množinou mikročepelek
WO2002037471A2 (en) * 2000-11-03 2002-05-10 Zoesis, Inc. Interactive character system
JP2002282538A (ja) * 2001-01-19 2002-10-02 Sony Computer Entertainment Inc 音声制御プログラム、音声制御プログラムを記録したコンピュータ読み取り可能な記憶媒体、音声制御プログラムを実行するプログラム実行装置、音声制御装置及び音声制御方法
AUPR647501A0 (en) 2001-07-19 2001-08-09 Vast Audio Pty Ltd Recording a three dimensional auditory scene and reproducing it for the individual listener
JP3675750B2 (ja) * 2001-09-27 2005-07-27 株式会社ドワンゴ ネットワークゲーム情報管理システム、ネットワークゲーム情報処理装置、ネットワークゲーム情報管理方法、および、プログラム
BE1015649A3 (fr) 2003-08-18 2005-07-05 Bilteryst Pierre Jean Edgard C Systeme de reproduction acoustique tridimensionnelle d'une source originelle monophonique.
US20050069143A1 (en) * 2003-09-30 2005-03-31 Budnikov Dmitry N. Filtering for spatial audio rendering
JPWO2005066918A1 (ja) 2003-12-26 2007-07-26 富田　誠次郎 シュミレーション装置
US7814153B2 (en) * 2004-03-12 2010-10-12 Prototerra, Inc. System and method for client side managed data prioritization and connections

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102681657A (zh) * 2010-12-27 2012-09-19 微软公司 交互式内容创建
CN105340299A (zh) * 2013-06-18 2016-02-17 杜比实验室特许公司 用于生成环绕立体声声场的方法及其装置和程序产品
US9668080B2 (en) 2013-06-18 2017-05-30 Dolby Laboratories Licensing Corporation Method for generating a surround sound field, apparatus and computer program product thereof
CN105340299B (zh) * 2013-06-18 2017-09-12 杜比实验室特许公司 用于生成环绕立体声声场的方法及其装置

Also Published As

Publication number Publication date
CN1969589B (zh) 2011-07-20
AU2005234518A1 (en) 2005-10-27
AU2011200932A1 (en) 2011-03-24
EP1754393A4 (en) 2011-02-23
EP1754393B1 (en) 2020-12-02
WO2005101897A1 (en) 2005-10-27
AU2011200742B2 (en) 2013-05-02
KR101167058B1 (ko) 2012-07-30
EP1754393A1 (en) 2007-02-21
AU2011200737B2 (en) 2013-05-02
US20080234844A1 (en) 2008-09-25
KR20070041681A (ko) 2007-04-19
AU2011200737A1 (en) 2011-03-10
JP2007533213A (ja) 2007-11-15
CN101827301A (zh) 2010-09-08
AU2011200742A1 (en) 2011-03-10
US9319820B2 (en) 2016-04-19
CN101827301B (zh) 2016-01-20
JP4848362B2 (ja) 2011-12-28

Similar Documents

Publication Publication Date Title
CN1969589A (zh) 用于创建音频场景的设备和方法
CN1685334A (zh) 用于提供内容的方法和系统
CN1559121A (zh) 使用无线通信的教学方法和系统
CN1881978A (zh) 应用管理系统、应用管理方法、服务器以及通信系统
CN1167020C (zh) 数据共享方法和终端
CN1507739A (zh) 娱乐系统
CN101051980A (zh) 一种文件数据分发方法及相关设备
CN1921916A (zh) 游戏方法和游戏系统
CN1723452A (zh) 传输和下载流数据的方法
CN1520123A (zh) 对地址询问的回答方法、程序、装置和地址通知方法、程序、装置
CN1507589A (zh) 用于传送内容数据的内容服务器和方法、程序及记录介质
CN1750717A (zh) 再现音频信号的方法及其回放装置
CN1691765A (zh) 信息处理设备、成像设备、信息处理方法及程序
CN101075983A (zh) 即时语音通信终端、服务器、系统和即时语音通信方法
CN101035250A (zh) 一种基于数字机顶盒的虚拟现实游戏装置和方法
CN1913944A (zh) 消息输出装置、消息控制方法、程序以及信息记录媒体
CN1859388A (zh) 动态内容发送方法及个性化引擎和动态内容发送系统
CN1444173A (zh) 网络游戏系统
CN101051457A (zh) 一种电影卡拉ok的电子娱乐系统
CN1886731A (zh) 服务器/客户端系统,负荷分散装置,负载分散方法以及负载分散程序
CN1835782A (zh) 分级装置、分级方法、程序和信息记录介质
CN1260685C (zh) 发送和/或接收流数据的装置及其方法
CN1292570C (zh) 移动通信方法及系统，服务器，传送装置及移动通信终端
CN1297177C (zh) 音频信息变换方法
CN1306812C (zh) 信息处理装置和方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
ASS Succession or assignment of patent right

Owner name: DOLBY LAB LICENSING CORP

Free format text: FORMER OWNER: SV COMPANY

Effective date: 20100713

Owner name: SV COMPANY

Free format text: FORMER OWNER: SMART NETWORK TECHNOLOGY CRC CO., LTD.

Effective date: 20100713

C41 Transfer of patent application or patent right or utility model
COR Change of bibliographic data

Free format text: CORRECT: ADDRESS; FROM: NEW SOUTH WALES,AUSTRALIA TO: CALIFORNIA, USA

TA01 Transfer of patent application right

Effective date of registration: 20100713

Address after: California, USA

Applicant after: DOLBY LABORATORIES LICENSING Corp.

Address before: New South Wales, Australia

Applicant before: SV Co.

Effective date of registration: 20100713

Address after: New South Wales, Australia

Applicant after: SV Co.

Address before: New South Wales, Australia

Applicant before: Smart Network Technology CRC Co.,Ltd.

C14 Grant of patent or utility model
GR01 Patent grant