CN101573991B - 用于创建音频场景的设备和方法 - Google Patents

用于创建音频场景的设备和方法 Download PDF

Info

Publication number
CN101573991B
CN101573991B CN2007800417395A CN200780041739A CN101573991B CN 101573991 B CN101573991 B CN 101573991B CN 2007800417395 A CN2007800417395 A CN 2007800417395A CN 200780041739 A CN200780041739 A CN 200780041739A CN 101573991 B CN101573991 B CN 101573991B
Authority
CN
China
Prior art keywords
incarnation
audio scene
link
virtual environment
audio
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN2007800417395A
Other languages
English (en)
Other versions
CN101573991A (zh
Inventor
P·鲍斯特德
F·萨费
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dolby Laboratories Licensing Corp
Original Assignee
Dolby Laboratories Licensing Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=39364104&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=CN101573991(B) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Priority claimed from AU2006906213A external-priority patent/AU2006906213A0/en
Application filed by Dolby Laboratories Licensing Corp filed Critical Dolby Laboratories Licensing Corp
Publication of CN101573991A publication Critical patent/CN101573991A/zh
Application granted granted Critical
Publication of CN101573991B publication Critical patent/CN101573991B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A63F13/12—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/35—Details of game servers
    • A63F13/355—Performing operations on behalf of clients with restricted processing capabilities, e.g. servers transform changing game scene into an encoded video stream for transmitting to a mobile phone or a thin client
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/34—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using peer-to-peer connections
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/54—Controlling the output signals based on the game progress involving acoustic signals, e.g. for simulating revolutions per minute [RPM] dependent engine sounds in a driving game or reverberation against a virtual wall
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00—Digital computers in general; Data processing equipment in general
    • G06F15/16—Combinations of two or more digital computers each having at least an arithmetic unit, a program unit and a register, e.g. for a simultaneous processing of several programs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/40—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of platform network
    • A63F2300/408—Peer to peer connection
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/50—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers
    • A63F2300/53—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers details of basic data processing
    • A63F2300/538—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers details of basic data processing for performing operations on behalf of the game client, e.g. rendering
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/50—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers
    • A63F2300/55—Details of game data or player data management
    • A63F2300/5546—Details of game data or player data management using player registration data, e.g. identification, account, preferences, game history
    • A63F2300/5553—Details of game data or player data management using player registration data, e.g. identification, account, preferences, game history user representation in the game field, e.g. avatar
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/6063—Methods for processing data by generating or executing the game program for sound processing
    • A63F2300/6072—Methods for processing data by generating or executing the game program for sound processing of an input signal, e.g. pitch and rhythm extraction, voice recognition
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/6063—Methods for processing data by generating or executing the game program for sound processing
    • A63F2300/6081—Methods for processing data by generating or executing the game program for sound processing generating an output signal, e.g. under timing constraints, for spatialization
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Tourism & Hospitality (AREA)
  • General Physics & Mathematics (AREA)
  • Child & Adolescent Psychology (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Information Transfer Between Computers (AREA)
  • Processing Or Creating Images (AREA)
  • Stereophonic System (AREA)

Abstract

在多个化身的虚拟环境中为化身创建音频场景。在化身之间创建链接结构。基于化身与其它链接的化身的关联，为每个化身创建音频场景。

Description

用于创建音频场景的设备和方法
技术领域
本发明总的来说涉及浸入式(immersive)音频通信领域，且更加具体地，但决不排他地涉及在对等环境中创建浸入式音频场景。
背景技术
近年来，在创建可视地浸入式虚拟环境领域已经有显著的发展。这些发展导致大规模多游戏者角色扮演游戏的广泛兴起，在上述游戏中，参加者能够进入公共的虚拟环境(比如战场)，且在虚拟环境中由一般为动画人物形式的化身代表。
可视地浸入式虚拟环境的广泛兴起部分由于以下二者的显著发展：使得能够在虚拟环境中产生非常具体和逼真的图形的图像处理技术和采用高速处理单元的立体声卡的开发。然而，这些环境的主要缺点在于当前游戏者间的通信机制很原始——通常涉及文本聊天或者无线对讲机语音通信。将语音似乎来自化身的更自然的通信环境嵌入对应于游戏者的虚拟世界中实现起来是复杂的，且传送起来很昂贵。由参与虚拟环境的每个游戏者产生的音频必须被发送给在收听范围内的每个其他游戏者。对于大规模多游戏者游戏，用于促进这种音频交换的上游和下游带宽要求会特别高。
此外，呈现所有接收的音频流所需要的CPU成本较高，其需要采用特别强大的处理单元以满足参与虚拟环境的最小硬件要求。
定义
以下提供本说明书中通篇使用的各种术语的定义：
音频场景——音频信息，包括空间地发出且根据在声源和接收方之间的距离可选地衰减的组合声音(例如，属于其他化身的语音及虚拟环境内的其他实时声源)。音频场景还可以包括表示环境的声学特性的音效。
发明内容
在本发明的第一方面中，提供了一种为包括多个化身的虚拟环境中的化身创建音频场景的方法，所述方法包括步骤：创建多个化身之间的链接结构；和基于每个化身与其他链接的化身的关联呈现每个化身的音频场景。
有益地，本发明的方面提供用于通过利用链接的对等类型结构传送浸入式音频场景的低带宽技术。以这种方式传送服务消除了通过中心服务器发送实时业务流的要求。这对于传送这种服务通常需要的大的服务器地段和带宽成本来说能够显著节省成本。代替地，根据本发明的方面，可以使用使用服务的同级(或者链接的化身)的CPU资源和带宽来传送该服务。另外，因为每个新链接的化身添加资源以支持该服务，可以随着虚拟环境中化身的数目增长而容易地依比例决定服务传送。
根据第二方面，提供了包括用于控制计算机以实现根据本发明的第一方面的方法的至少一个指令的计算机程序。
根据第三方面，提供了计算机可读介质，该计算机可读介质提供根据本发明的第二方面的计算机程序。
根据第四方面，提供了被设置以执行根据本发明的第一方面的方法步骤的用户计算装置。
根据第五方面，提供了被设置以创建虚拟环境的音频场景的系统，该系统包括：多个计算装置，每个计算装置能够控制虚拟环境中的至少一个化身，其中，每个计算装置被设置成呈现至少一个化身的输出音频场景并将该输出音频场景传递到至少一个其他计算装置。
附图说明
尽管任何其他形式可能落入本发明的范围，现在参考附图仅通过实例的方式描述本发明的实施例，在附图中：
图1是被设置以执行本发明的实施例的系统的框图；
图2示出虚拟环境中化身的布局实例；
图3示出呈现由图2的虚拟环境的化身接收的每个音频流所需的角度和衰减电平；
图4是在图2的虚拟环境中链接化身的格网连接的实例；
图5示出确定图2的化身之间的最短链接的最小生成树的应用；和
图6示出了根据本发明的实施例被添加到最小生成树的边缘。
具体实施方式
参考图1，系统100包括虚拟环境服务器102；控制服务器103；用户计算装置104；和通信系统106。
虚拟环境服务器102的主要功能是保持用于虚拟环境的状态信息。在本发明的实施例中，虚拟环境是多游戏者在线游戏的战场，且化身表示该虚拟环境中的参加者(也就是说，用户计算装置104的用户)且是动画士兵的形式。由虚拟环境服务器102保持的状态信息包括例如，虚拟环境中化身的位置；也就是说，战场中士兵的位置。
注意到，实施例不限于用于多游戏者在线游戏的虚拟环境和化身。该实施例可应用于多种虚拟环境，包括例如，商业背景(比如虚拟职员会议)或者教育背景(比如虚拟讲座)中的虚拟环境。
为执行保持状态信息的主要功能，虚拟环境服务器102包括计算机硬件，该计算机硬件包括主板、中央处理单元、随机存取存储器、硬盘、网络硬件和电源。除了硬件之外，虚拟环境服务器102包括驻留在硬盘上且与硬件合作以提供可以执行软件应用的环境的操作系统(比如可以在位于URL为http://www.redhat.com的网站从因特网获得的Linux)。在这点上，虚拟环境服务器102的硬盘装载了用于保持状态信息的虚拟环境服务器应用程序(比如可以在位于URL为http://www.idsoftware.com的网址从因特网获得的Quake引擎)。
控制服务器103经由高速链路105连接到虚拟环境服务器102。控制服务器103包括与虚拟环境服务器相同的硬件且装载有控制服务器应用程序，其被设置成与虚拟环境服务器102相互作用以获得识别在虚拟环境中出现的各种化身的信息，和在虚拟环境中化身的位置。该信息还可以包括化身的状态细节(例如，活动或者不活动)和任何动态声障(sound barrier)的细节。使用嵌入在控制服务器应用程序内的算法，控制服务器103产生被传递到每个用户计算装置的浸入式音频呈现信息。如图1所示，控制服务器102也被设置成经由链路114与用户计算装置通信。
用户计算装置104是膝上型或者台式计算机的形式。然而，容易理解本实施例不限于膝上型或者台式通信装置。设想在本发明的备选实施例中，用户计算装置104(例如，如所示的装置04a-h)可以是比如诺基亚的N-Gage和Playstation Portable(便携PS)的便携无线通信装置。每个用户计算装置104包括计算机硬件，该计算机硬件包括主板、中央处理单元、随机存取存储器、硬盘或者类似的存储装置、电源、监视器和用户信息输入(例如，键盘)。除了硬件之外，每个用户计算装置104的硬盘装载有能够与计算装置104的硬件相互作用以提供可以执行软件应用的环境的操作系统。在这点上，每个用户计算装置104的硬盘装载有虚拟环境客户应用程序和浸入式音频通信客户应用程序。
该虚拟环境客户应用程序被设置成发送虚拟环境的状态信息到加载在虚拟环境服务器102上的虚拟环境服务器应用程序和从其接收虚拟环境的状态信息。该浸入式音频通信客户应用程序被设置成将音频信息发送到其它浸入式音频通信客户端并从其接收音频信息。先前描述了每个用户计算装置104装载有操作系统。该实施例可以容易地被设置成操作加载在用户计算装置104上的任何不同操作系统，包括例如Microsoft Windows XP或者Linux(当计算装置104台式计算机形式时二者都是典型地使用的)。
通信系统106使得每个用户计算装置104的虚拟环境客户应用程序和虚拟环境系统102的虚拟环境服务器应用程序能够彼此交换数据(更具体地说，交换状态信息)。通信系统106还使得每个用户计算装置104的浸入式音频通信客户应用程序和控制服务器103能够彼此交换数据(更具体地说，交换对等图的形式的链接结构的细节)。
为支持数据交换，通信系统106包括用于从用户计算装置104发送和接收数据的因特网的形式的数据网络110。本发明不限于使用因特网且本发明的可选实施例可以采用，例如，基于802.11的无线网络等。为使得虚拟环境系统102和用户计算装置104能够经由通信系统106交换数据，虚拟环境服务器102经由高速数据链路形式的通信链路114连接到因特网110。
本发明的实施例主要涉及用于向参与虚拟环境的用户计算装置104的用户提供浸入式音频的低带宽对等技术。同样地，以下描述具体地集中在加载在控制服务器103上的控制服务器应用程序和加载在每个用户计算装置104上的浸入式音频通信客户应用程序的功能性。
如先前讨论的，位于控制服务器103上的控制服务器应用程序被设置成从虚拟环境服务器应用程序获得关于在虚拟环境中操作的化身的位置的信息。根据在这里描述的实施例，位置信息是三维坐标(x，y，z)的形式。控制服务器应用程序另外被配置成获得可能影响虚拟环境内的声音的传播的任何静态和动态声障的细节(在下文中称为“屏障信息”)。一旦已经获得位置信息和屏障信息，控制服务器应用程序执行以下动作：
(1)基于虚拟环境中化身的位置(x，y，z)，计算树，或者一系列树(如果存在不在彼此的收听范围内的多个完全不同的化身组)。这些树将发言的化身连接到收听的化身。控制服务器应用程序还可以考虑比如可用带宽和节点的可靠性的因素(即，对应于每个用户计算装置)以确定怎样构造树。例如，如果树中的节点不具有高可用带宽，应用可以限制其可以连接到的树中的其他节点的数目。如果节点是不可靠的(例如，如果节点具有高延迟或者分组损失的历史)，那么控制服务器应用程序会想要确保其是树的叶子。
(2)将环路引入树中以减小形成对等图的每个发言者和收听者之间的路径长度。控制服务器应用程序将不引入比规定长度短的环路以保证在最终由用户计算装置输出的音频流中不存在正反馈或者明显的回声；和
(3)将与对等图相关联的以下细节传递到在该图中标识的用户计算装置104：
(a)化身集合，用户计算机装置“A”必须创建到该化身集合的连接；
(b)应用于A将在每个这些连接上发送的音频流的衰减值α(α对应于图链接的长度)；和
(c)所接收的音频流将要被呈现的角度θ(θ对应于图链接的角度)。
关于创建树结构的函数(参见以上点1)，可以采用任何适当的树结构。然而，在本实施例的情况下，采用最小生成树(MST)。(其是关于与树中的链路的长度相关联的成本度量最小化的，与在虚拟环境中的化身之间的距离成正比。)
有两个主要功能由位于每个用户计算装置104上的浸入式音频客户应用程序执行。第一功能是呈现接收的音频流以创建浸入式音频场景，从而向用户计算装置104的用户重放。该处理基本上涉及用户计算装置104在其连接到{E1，E2，...，En}的图的每个边上接收音频流并以由浸入式音频呈现信息指定的角度θ呈现该音频流。第二功能涉及将由用户计算装置104产生的混合音频流发送到全部其他边连接的用户计算装置/化身。混合音频流包括由用户计算机装置捕捉的音频流(即客户的语音)和在所有其他边上(当然，不包括要被发送的混合音频流所沿着的边)接收的音频流的混合。在发送混合音频流之前，使用用于该特定边的衰减值α衰减该混合音频流，这也由浸入式音频呈现信息指定。
参考图1到6，现在将描述由用户计算装置呈现浸入式音频场景的方法的实例。
在第一步骤中，虚拟环境服务器102将虚拟环境的状态信息传递到客户服务器103的客户服务器应用程序用于后续的处理。给定具有由客户(C1，C2，...CN)控制的每个N个化身(A1，A2，...AN)的虚拟世界。由这N个客户中的每一个产生音频样本(Vi)。以F个边(E1，E2，...，EF)构造图。这些边中的每一个具有相关联的角度θj和衰减因数αj，其中0＜j＜＝F。
(步骤1)将全部化身置于平面上，它们的(x，y)坐标对应于它们在虚拟环境中的(x，y)坐标，如图2所示。
(步骤2)创建图的全部节点之间的格网连接；如果存在墙壁则除去在墙壁的相对侧的化身之间的任何链路。
(步骤3)使用任何适当的算法-比如Kruskal算法计算连接全部节点的最小生成树(MST)。
(步骤4)处于图中不是最小生成树的一部分的全部链路；
(步骤5)当可以添加环路而不超过在节点的传输限制，且当存在超过阈值(例如，收听范围的两倍)的可能的环路时，则：
(a)设置min_edge_length＝infinity
(b)对于可以彼此听到的每对节点i，j
(i)计算在两个节点之间的最小环路距离为：min_loopij＝SPij+VDij。其中SPij是在树上i，j之间的最短路径且VDij＝在i和j之间的直接链路的长度，如果存在的话，
(ii)如果min_loopij＞环路阈值(2×hearing_range)且Dij＜min_edge_length
(1)min_edge_length＝VDij
(2)min_edge＝{i，j}
(c)将min_edge涉及的边添加到图。这是引入可接受的环路的最小边。
现在考虑连接到虚拟环境的7个游戏者。每个游戏者使用连接到因特网的不同PC。每个游戏者正在控制单独的化身-这些化身被命名为A1到A7。这些化身在虚拟世界中的x，y(空间)位置如表1所示。
表1：化身的X，Y位置
Figure G2007800417395D00081
每个化身可被看作是节点。假定每个节点能够发送4个流，且每个节点的收听范围是115。
步骤1将化身们置于平面上，其x，y坐标与它们在虚拟世界中占据的坐标相同。这如图2所示。
步骤2创建节点之间的格网连接(即，每个节点连接到每个其它节点)。该步骤提供由最小生成树算法使用的底层节点拓扑。用于该实例的格网网络如图4所示。
在每个化身之间的距离之后用在算法中，且被计算为值(矩阵)VDij，如表2所示：
表2：VDij：计算的值
VD2，1＝148  VD3，1＝47   VD4，1＝119
VD1，2＝148               VD3，2＝105  VD4，2＝45
VD1，3＝47   VD2，3＝105               VD4，3＝72
VD1，4＝119  VD2，4＝45   VD3，4＝72
VD1，5＝46   VD2，5＝172  VD3，5＝86   VD4，5＝152
VD1，6＝115  VD2，6＝191  VD3，6＝140  VD4，6＝189
VD1，7＝105  VD2，7＝126  VD3，7＝105  VD4，7＝132
VD5，1＝46   VD6，1＝115  VD7，1＝105
VD5，2＝172  VD6，2＝191  VD7，2＝126
VD5，3＝86   VD6，3＝140  VD7，3＝105
VD5，4＝152  VD6，4＝189  VD7，4＝132
VD6，5＝75   VD7，5＝90
VD5，6＝75                VD7，6＝68
VD5，7＝90   VD6，7＝68
在步骤3，Kruskal算法用于计算最小生成树。Kruskal算法是用于计算最小生成树的一般算法，且是电信工程师和图论专家熟知的。
在步骤4，从图中去除不是最小生成树的一部分的链路。该阶段的输出如图5所示。
在步骤5计算能够彼此“听到”的节点的集合：
H＝
[(3，1)，(3，5)，(3，7)，(3，4)，(3，2)，(2，4)，(1，5)，(1，6)，(1，7)，(5，6)，(7，6)，(7，5)]
且也计算每个图链路的距离，如表3所示：
表3：每个图链路之间的距离
  Link 2，4   45
  Link 4，3   72
  Link 3，1   47
  Link 1，5   46
  Link 5，6   75
  Link 6，7   68
最后，为H中全部元素计算最短路径：
SP(3，1)＝D(3，1)＝47
SP(3，5)＝D(3，1)+D(1，5)＝47+46＝93
SP(3，7)＝D(3，1)+D(1，5)+D(5，6)+D(6，7)＝47+46+75+68＝236
SP(3，4)＝D(3，4)＝72
SP(3，2)＝D(3，4)，D(4，2)＝72+45＝117
SP(2，4)＝D(2，4)＝45
SP(1，5)＝D(1，5)＝46
SP(1，6)＝D(1，5)+D(5，6)＝46+75＝121
SP(1，7)＝D(1，5)+D(5，6)+D(6，7)＝46+75+68＝189
SP(5，6)＝D(5，6)＝75
SP(7，6)＝D(7，6)＝68
SP(7，5)＝D(7，6)+D(6，5)＝68+75＝143
min_loopij＝SPij+VDij
min_loop(3，1)＝47+47＝94
min_loop(3，5)＝93+86＝179
min_loop(3，7)＝236+105＝341
min_loop(3，4)＝72+72＝144
min_loop(3，2)＝117+105＝222
min_loop(2，4)＝45+45＝90
min_loop(1，5)＝46+46＝92
min_loop(1，6)＝46+115＝181
min_loop(1，7)＝189+105＝194
min_loop(5，6)＝75+75＝150
min_loop(7，6)＝68+68＝136
min_loop(7，5)＝143+90＝233
然后设置min_edge_length＝infinity，发现min_loop(3，7)＞2×hearing_range(230)且VD(3，7)＜min_edge_length；这样min_edge_length＝VD(3，7)＝105且Min_edge＝{3，7}。
此外，不存在其它的min_loop(i，j)＞2×hearing_range。然后将边{3，7}添加到图，如图6所示。
然后使用更新的图重复步骤5(由步骤5的先前迭代添加的链路)直到不存在剩余要添加的环路。
步骤5的下一迭代发现不存在要添加的更多可接受的环路，这样算法停止，而仅添加链路7，3。
参考图3，示出了表示呈现从化身3的角度来看呈现进入音频流所需要的角度和衰减电平的图。如先前的图所示，化身3将从化身1，7和4接收音频流。驻留在控制化身3的用户计算装置上的虚拟环境客户应用程序将如下呈现音频场景：将在化身3的左边以角度θ31呈现从化身1到达的音频。将在收听者的左边以θ37度呈现从化身7接收的音频；同时将在收听者的右边以θ34呈现从化身4接收的音频，如图6所示。
从化身1，7和4接收到的音频流是全部上游节点的衰减的混合。例如，从化身1发送到化身3的音频流是在混合了化身1的语音(其由用户计算装置本地记录)的进入流(除了链路3，1以外)上接收的全部音频的混合。根据在其上接收音频的链路的长度衰减这些语音。因此，在链路3，1上发送的音频流等于：衰减了α12的由化身2发送的音频流混合衰减了α15的由化身5发送的音频、混合化身1的本地产生的语音。
因为来自每个化身的音频与在全部进入链路上接收的音频的衰减版本混合，化身3将以由于不同程度的衰减而导致的变化距离而有效地听到从化身1的方向发出的化身1和5。化身6的语音将影响化身3从化身1和7的方向听到的音频。但是，如果正确地设置衰减级别，那么化身6的音量将是可忽略的。也应注意到，在该实例中，如果不存在引入的环路，那么化身3将不会听到化身7，因为通过5和1的路径上的衰减将过大。
将容易理解即使已经在用于支持虚拟环境的背景下描述了本发明的实施例，本发明不限于用于虚拟环境。同样地，本发明可用于提供例如，用于用作仅有音频的会议系统的浸入式音频系统。
尽管已经参考本实施例对本发明进行了描述，但本领域技术人员应该理解的是，在不脱离本发明的范围的情况下，可以作出各种变更、改变和改进，并以等价物对其元件和其步骤进行替换。另外，可以做出许多修改以在本发明的教导中在本发明中采用特定的情况或者材料而不脱离本发明的中心范围。虽然上面没有明确地的描述，然而这种变更、改变、修改和改进仍意在和隐含在本发明的范围和精神内。
因此，本发明不意图限于在这里描述的特定的实施例且将包括属于独立权利要求的范围内的全部实施例。

Claims (14)

1.一种为包括多个化身的虚拟环境中的化身创建音频场景的方法，所述方法包括步骤：
创建多个化身之间在所述虚拟环境中的链接结构；和
基于每个化身与其他链接的化身的关联呈现每个化身的音频场景；
其中，所创建的链接结构能够操作以定义用于呈现所述音频场景的角度和衰减因数中的至少一个以应用于进入链路上的音频流，其中所述用于呈现所述音频场景的角度对应于所述每个化身与所述其他链接的化身之间的链路的角度。
2.如权利要求1所述的创建音频场景的方法，其中，该链接结构包括最小生成树。
3.如权利要求1所述的创建音频场景的方法，其中，所述最小生成树链接结构是关于与所述树中的链路的长度相关联的成本度量最小化的，并且其中所述树中的链路的长度正比于所述虚拟环境中两个化身之间的距离。
4.如权利要求3所述的创建音频场景的方法，其中，该衰减因数包括与所述链接结构中链路的长度相对应的值。
5.如权利要求2到4中任意一个所述的创建音频场景的方法，由此，在链接结构中两个化身之间的链路的角度定义呈现角度。
6.如权利要求1到4中任意一个所述的创建音频场景的方法，其中，该链接结构是连接所述多个化身的树结构。 
7.如权利要求6所述的创建音频场景的方法，其中，该树结构是最小生成树。
8.如权利要求7所述的创建音频场景的方法，进一步包括将环路引入到最小生成树以使得环路的最小长度小于预定值以避免呈现音频场景时的回声的步骤。
9.如权利要求8所述的创建音频场景的方法，其中，该预定值是化身的收听范围的两倍。
10.如权利要求1-4中的任意一个所述的创建音频场景的方法，进一步包括将呈现的音频场景与由所述多个化身中的至少一个产生的音频流混合的步骤。
11.如权利要求10所述的创建音频场景的方法，进一步包括将混合的音频场景发送到另一链接的化身的步骤。
12.一种为包括多个化身的虚拟环境中的化身创建音频场景的系统，所述系统包括：
用于创建多个化身之间在所述虚拟环境中的链接结构的装置；和
用于基于每个化身与其他链接的化身的关联呈现每个化身的音频场景的装置；
其中，所创建的链接结构能够操作以定义用于呈现所述音频场景的角度和衰减因数中的至少一个以应用于进入链路上的音频流，其中所述用于呈现所述音频场景的角度对应于所述每个化身与所述其他链接的化身之间的链路的角度。
13.一种被设置成创建包括多个化身的虚拟环境的音频场景的系 统，所述多个化身在所述虚拟环境中存在链接结构，该系统包括：多个计算装置，每个计算装置能够控制虚拟环境中的至少一个化身，其中，每个计算装置被设置成基于所述至少一个化身与其他链接的化身的关联呈现至少一个化身的输出音频场景并将该输出音频场景传递到至少一个其他计算装置，其中，所创建的链接结构能够操作以定义用于呈现所述音频场景的角度和衰减因数中的至少一个以应用于进入链路上的音频流，其中所述用于呈现所述音频场景的角度对应于所述每个化身与所述其他链接的化身之间的链路的角度。
14.如权利要求13所述的被设置成创建音频场景的系统，其中，每个计算装置进一步被设置成从至少一个其他计算装置接收输入音频场景，并与输出音频场景一起呈现该输入音频场景。 
CN2007800417395A 2006-11-08 2007-11-08 用于创建音频场景的设备和方法 Active CN101573991B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
AU2006906213 2006-11-08
AU2006906213A AU2006906213A0 (en) 2006-11-08 Apparatuses and methods for use in creating an audio scene
PCT/AU2007/001712 WO2008055305A1 (en) 2006-11-08 2007-11-08 Apparatuses and methods for use in creating an audio scene

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201110152951.7A Division CN102325299B (zh) 2006-11-08 2007-11-08 用于创建音频场景的设备和方法

Publications (2)

Publication Number Publication Date
CN101573991A CN101573991A (zh) 2009-11-04
CN101573991B true CN101573991B (zh) 2011-08-03

Family

ID=39364104

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201110152951.7A Active CN102325299B (zh) 2006-11-08 2007-11-08 用于创建音频场景的设备和方法
CN2007800417395A Active CN101573991B (zh) 2006-11-08 2007-11-08 用于创建音频场景的设备和方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201110152951.7A Active CN102325299B (zh) 2006-11-08 2007-11-08 用于创建音频场景的设备和方法

Country Status (11)

Country Link
US (1) US8403751B2 (zh)
EP (1) EP2095679B1 (zh)
JP (2) JP4997291B2 (zh)
KR (2) KR101225475B1 (zh)
CN (2) CN102325299B (zh)
AU (1) AU2007317195A1 (zh)
BR (1) BRPI0718711B1 (zh)
CA (1) CA2667110C (zh)
HK (1) HK1135269A1 (zh)
RU (2) RU2495538C2 (zh)
WO (1) WO2008055305A1 (zh)

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2095679B1 (en) * 2006-11-08 2013-07-10 Dolby Laboratories Licensing Corporation Apparatuses and methods for use in creating an audio scene
GB0703974D0 (en) * 2007-03-01 2007-04-11 Sony Comp Entertainment Europe Entertainment device
EP2232700B1 (en) 2007-12-21 2014-08-13 Dts Llc System for adjusting perceived loudness of audio signals
US20090234948A1 (en) * 2008-03-11 2009-09-17 Garbow Zachary A Using Multiple Servers to Divide a Virtual World
US20090235191A1 (en) * 2008-03-11 2009-09-17 Garbow Zachary A Method for Accessing a Secondary Virtual Environment from Within a Primary Virtual Environment
US8875026B2 (en) * 2008-05-01 2014-10-28 International Business Machines Corporation Directed communication in a virtual environment
US8315409B2 (en) * 2008-09-16 2012-11-20 International Business Machines Corporation Modifications of audio communications in an online environment
US8577060B2 (en) * 2009-07-02 2013-11-05 Avaya Inc. Method and apparatus for dynamically determining mix sets in an audio processor
US8538042B2 (en) * 2009-08-11 2013-09-17 Dts Llc System for increasing perceived loudness of speakers
JP2013520112A (ja) * 2010-02-18 2013-05-30 スマート サービシィズ シーアールシー プロプライエタリー リミテッド 複数のコンピュータ間のデータ配布システム、方法及びソフトウェアアプリケーション
US9312829B2 (en) 2012-04-12 2016-04-12 Dts Llc System for adjusting loudness of audio signals in real time
CN104801043B (zh) * 2014-01-23 2019-12-13 腾讯科技（深圳）有限公司 场景音效控制的方法及装置
US9466278B2 (en) * 2014-05-08 2016-10-11 High Fidelity, Inc. Systems and methods for providing immersive audio experiences in computer-generated virtual environments
WO2016038970A1 (ja) * 2014-09-08 2016-03-17 富士フイルム株式会社 撮像制御装置、撮像制御方法、カメラシステム及びプログラム
EP3287867A1 (en) * 2016-08-26 2018-02-28 Nokia Technologies Oy Audio processing
GB201719854D0 (en) * 2017-11-29 2018-01-10 Univ London Queen Mary Sound effect synthesis
US10735882B2 (en) * 2018-05-31 2020-08-04 At&T Intellectual Property I, L.P. Method of audio-assisted field of view prediction for spherical video streaming
US20200228911A1 (en) * 2019-01-16 2020-07-16 Roblox Corporation Audio spatialization
US10785563B1 (en) * 2019-03-15 2020-09-22 Hitachi, Ltd. Omni-directional audible noise source localization apparatus
US10952006B1 (en) 2020-10-20 2021-03-16 Katmai Tech Holdings LLC Adjusting relative left-right sound to provide sense of an avatar's position in a virtual space, and applications thereof
US10979672B1 (en) 2020-10-20 2021-04-13 Katmai Tech Holdings LLC Web-based videoconference virtual environment with navigable avatars, and applications thereof
US11070768B1 (en) 2020-10-20 2021-07-20 Katmai Tech Holdings LLC Volume areas in a three-dimensional virtual conference space, and applications thereof
US11095857B1 (en) 2020-10-20 2021-08-17 Katmai Tech Holdings LLC Presenter mode in a three-dimensional virtual conference space, and applications thereof
US11076128B1 (en) 2020-10-20 2021-07-27 Katmai Tech Holdings LLC Determining video stream quality based on relative position in a virtual space, and applications thereof
US11457178B2 (en) 2020-10-20 2022-09-27 Katmai Tech Inc. Three-dimensional modeling inside a virtual video conferencing environment with a navigable avatar, and applications thereof
US11750745B2 (en) 2020-11-18 2023-09-05 Kelly Properties, Llc Processing and distribution of audio signals in a multi-party conferencing environment
US11743430B2 (en) 2021-05-06 2023-08-29 Katmai Tech Inc. Providing awareness of who can hear audio in a virtual conference, and applications thereof
US11184362B1 (en) 2021-05-06 2021-11-23 Katmai Tech Holdings LLC Securing private audio in a virtual conference, and applications thereof
US11928774B2 (en) 2022-07-20 2024-03-12 Katmai Tech Inc. Multi-screen presentation in a virtual videoconferencing environment
US11876630B1 (en) 2022-07-20 2024-01-16 Katmai Tech Inc. Architecture to control zones
US11651108B1 (en) 2022-07-20 2023-05-16 Katmai Tech Inc. Time access control in virtual environment application
US11700354B1 (en) 2022-07-21 2023-07-11 Katmai Tech Inc. Resituating avatars in a virtual environment
US11741664B1 (en) 2022-07-21 2023-08-29 Katmai Tech Inc. Resituating virtual cameras and avatars in a virtual environment
US11593989B1 (en) 2022-07-28 2023-02-28 Katmai Tech Inc. Efficient shadows for alpha-mapped models
US11776203B1 (en) 2022-07-28 2023-10-03 Katmai Tech Inc. Volumetric scattering effect in a three-dimensional virtual environment with navigable video avatars
US11682164B1 (en) 2022-07-28 2023-06-20 Katmai Tech Inc. Sampling shadow maps at an offset
US11704864B1 (en) 2022-07-28 2023-07-18 Katmai Tech Inc. Static rendering for a combination of background and foreground objects
US11562531B1 (en) 2022-07-28 2023-01-24 Katmai Tech Inc. Cascading shadow maps in areas of a three-dimensional environment
US11956571B2 (en) 2022-07-28 2024-04-09 Katmai Tech Inc. Scene freezing and unfreezing
US11711494B1 (en) 2022-07-28 2023-07-25 Katmai Tech Inc. Automatic instancing for efficient rendering of three-dimensional virtual environment
US11748939B1 (en) 2022-09-13 2023-09-05 Katmai Tech Inc. Selecting a point to navigate video avatars in a three-dimensional environment

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1411679A (zh) * 1999-11-02 2003-04-16 数字剧场系统股份有限公司 在多声道音频环境中提供互动式音频的系统和方法
CN1496748A (zh) * 2002-10-22 2004-05-19 �����ɷ� 游戏软件及游戏装置
CN1711585A (zh) * 2002-11-04 2005-12-21 摩托罗拉公司(在特拉华州注册的公司) 使用通信设备的化身控制

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0389700A (ja) * 1989-08-31 1991-04-15 Matsushita Electric Ind Co Ltd 音像定位方法
EP0962097A4 (en) * 1997-01-29 2006-08-09 Digital Advertising And Market METHOD FOR TRANSFERRING DATA SUPPORT FILES TO A COMMUNICATIONS NETWORK
US6175842B1 (en) * 1997-07-03 2001-01-16 At&T Corp. System and method for providing dynamic three-dimensional multi-user virtual spaces in synchrony with hypertext browsing
JP3560282B2 (ja) * 1999-02-08 2004-09-02 日本電信電話株式会社 マルチユーザ仮想空間における音源の定位制御方法、その装置及びそのプログラムを記録した記録媒体
JP2004267433A (ja) * 2003-03-07 2004-09-30 Namco Ltd 音声チャット機能を提供する情報処理装置、サーバおよびプログラム並びに記録媒体
JP3772328B2 (ja) * 2003-03-31 2006-05-10 株式会社光栄 ネットワークゲームサーバ、制御方法、プログラム及び記憶媒体
US7503006B2 (en) * 2003-09-25 2009-03-10 Microsoft Corporation Visual indication of current voice speaker
WO2005101897A1 (en) * 2004-04-16 2005-10-27 Smart Internet Technology Crc Pty Ltd Apparatuses and methods for use in creating an audio scene
US7491123B2 (en) * 2004-07-29 2009-02-17 Nintendo Co., Ltd. Video game voice chat with amplitude-based virtual ranging
JP2006094315A (ja) * 2004-09-27 2006-04-06 Hitachi Ltd 立体音響再生システム
US7577110B2 (en) * 2005-08-12 2009-08-18 University Of Southern California Audio chat system based on peer-to-peer architecture
EP2095679B1 (en) * 2006-11-08 2013-07-10 Dolby Laboratories Licensing Corporation Apparatuses and methods for use in creating an audio scene

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1411679A (zh) * 1999-11-02 2003-04-16 数字剧场系统股份有限公司 在多声道音频环境中提供互动式音频的系统和方法
CN1496748A (zh) * 2002-10-22 2004-05-19 �����ɷ� 游戏软件及游戏装置
CN1711585A (zh) * 2002-11-04 2005-12-21 摩托罗拉公司(在特拉华州注册的公司) 使用通信设备的化身控制

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Paul Boustead.COMPARISON OF DELIVERY ARCHITECTURES FOR IMMERSIVE AUDIO IN CROWDED NETWORKED GAMES.《PROCEEDINGS OF THE 14TH INTERNATIONAL WORKSHOP ON NETWORK AND OPERATING SYSTEMS SUPPORT FOR DIGITAL AUDIO AND VIDEO》.2004,第22-27页.
Paul Boustead.COMPARISON OF DELIVERY ARCHITECTURES FOR IMMERSIVE AUDIO IN CROWDED NETWORKED GAMES.《PROCEEDINGS OF THE 14TH INTERNATIONAL WORKSHOP ON NETWORK AND OPERATING SYSTEMS SUPPORT FOR DIGITAL AUDIO AND VIDEO》.2004,第22-27页. *

Also Published As

Publication number Publication date
RU2012100228A (ru) 2013-07-20
CN102325299A (zh) 2012-01-18
EP2095679B1 (en) 2013-07-10
JP4997291B2 (ja) 2012-08-08
RU2449496C2 (ru) 2012-04-27
US20100049346A1 (en) 2010-02-25
HK1135269A1 (en) 2010-05-28
JP2010509810A (ja) 2010-03-25
US8403751B2 (en) 2013-03-26
CN102325299B (zh) 2014-03-12
JP5563014B2 (ja) 2014-07-30
CA2667110A1 (en) 2008-05-15
BRPI0718711B1 (pt) 2019-09-24
CA2667110C (en) 2014-01-14
CN101573991A (zh) 2009-11-04
RU2009121548A (ru) 2010-12-20
RU2495538C2 (ru) 2013-10-10
KR20120080647A (ko) 2012-07-17
EP2095679A1 (en) 2009-09-02
WO2008055305A1 (en) 2008-05-15
EP2095679A4 (en) 2011-10-19
BRPI0718711A2 (pt) 2014-01-14
AU2007317195A1 (en) 2008-05-15
KR101201695B1 (ko) 2012-11-15
JP2012196465A (ja) 2012-10-18
KR20090086585A (ko) 2009-08-13
KR101225475B1 (ko) 2013-01-23

Similar Documents

Publication Publication Date Title
CN101573991B (zh) 用于创建音频场景的设备和方法
JP4854736B2 (ja) 没入型オーディオ通信
CN1969589B (zh) 用于创建音频场景的设备和方法
US8117550B1 (en) Real to virtual telecommunications
EP1437880B1 (en) Enhanced audio communications in an interactive environment
AU2012200463B2 (en) Apparatus and Methods for use in Creating an Audio Scene
JP7116240B2 (ja) 音声出力制御システム、中継装置、通信装置、音声出力制御方法及びプログラム
AU2006261594B2 (en) Immersive audio communication
AU2012202422B2 (en) Immersive Audio Communication

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant