CN101573991A - 用于创建音频场景的设备和方法 - Google Patents
用于创建音频场景的设备和方法 Download PDFInfo
- Publication number
- CN101573991A CN101573991A CNA2007800417395A CN200780041739A CN101573991A CN 101573991 A CN101573991 A CN 101573991A CN A2007800417395 A CNA2007800417395 A CN A2007800417395A CN 200780041739 A CN200780041739 A CN 200780041739A CN 101573991 A CN101573991 A CN 101573991A
- Authority
- CN
- China
- Prior art keywords
- incarnation
- audio scene
- virtual environment
- calculation element
- establishment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 22
- 238000004364 calculation method Methods 0.000 claims description 43
- 238000004590 computer program Methods 0.000 claims description 4
- 238000007654 immersion Methods 0.000 description 18
- 238000004891 communication Methods 0.000 description 17
- 238000004422 calculation algorithm Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 5
- 230000004888 barrier function Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 210000003127 knee Anatomy 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000011144 upstream manufacturing Methods 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- A63F13/12—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
- A63F13/35—Details of game servers
- A63F13/355—Performing operations on behalf of clients with restricted processing capabilities, e.g. servers transform changing game scene into an encoded video stream for transmitting to a mobile phone or a thin client
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
- A63F13/34—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using peer-to-peer connections
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/50—Controlling the output signals based on the game progress
- A63F13/54—Controlling the output signals based on the game progress involving acoustic signals, e.g. for simulating revolutions per minute [RPM] dependent engine sounds in a driving game or reverberation against a virtual wall
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F15/00—Digital computers in general; Data processing equipment in general
- G06F15/16—Combinations of two or more digital computers each having at least an arithmetic unit, a program unit and a register, e.g. for a simultaneous processing of several programs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R5/00—Stereophonic arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/40—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of platform network
- A63F2300/408—Peer to peer connection
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/50—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers
- A63F2300/53—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers details of basic data processing
- A63F2300/538—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers details of basic data processing for performing operations on behalf of the game client, e.g. rendering
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/50—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers
- A63F2300/55—Details of game data or player data management
- A63F2300/5546—Details of game data or player data management using player registration data, e.g. identification, account, preferences, game history
- A63F2300/5553—Details of game data or player data management using player registration data, e.g. identification, account, preferences, game history user representation in the game field, e.g. avatar
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/60—Methods for processing data by generating or executing the game program
- A63F2300/6063—Methods for processing data by generating or executing the game program for sound processing
- A63F2300/6072—Methods for processing data by generating or executing the game program for sound processing of an input signal, e.g. pitch and rhythm extraction, voice recognition
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/60—Methods for processing data by generating or executing the game program
- A63F2300/6063—Methods for processing data by generating or executing the game program for sound processing
- A63F2300/6081—Methods for processing data by generating or executing the game program for sound processing generating an output signal, e.g. under timing constraints, for spatialization
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
- H04S7/303—Tracking of listener position or orientation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Computer Hardware Design (AREA)
- Tourism & Hospitality (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Child & Adolescent Psychology (AREA)
- Software Systems (AREA)
- Economics (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Information Transfer Between Computers (AREA)
- Stereophonic System (AREA)
- Processing Or Creating Images (AREA)
Abstract
在多个化身的虚拟环境中为化身创建音频场景。在化身之间创建链接结构。基于化身与其它链接的化身的关联,为每个化身创建音频场景。
Description
技术领域
本发明总的来说涉及浸入式(immersive)音频通信领域,且更加具体地,但决不排他地涉及在对等环境中创建浸入式音频场景。
背景技术
近年来,在创建可视地浸入式虚拟环境领域已经有显著的发展。这些发展导致大规模多游戏者角色扮演游戏的广泛兴起,在上述游戏中,参加者能够进入公共的虚拟环境(比如战场),且在虚拟环境中由一般为动画人物形式的化身代表。
可视地浸入式虚拟环境的广泛兴起部分由于以下二者的显著发展:使得能够在虚拟环境中产生非常具体和逼真的图形的图像处理技术和采用高速处理单元的立体声卡的开发。然而,这些环境的主要缺点在于当前游戏者间的通信机制很原始——通常涉及文本聊天或者无线对讲机语音通信。将语音似乎来自化身的更自然的通信环境嵌入对应于游戏者的虚拟世界中实现起来是复杂的,且传送起来很昂贵。由参与虚拟环境的每个游戏者产生的音频必须被发送给在收听范围内的每个其他游戏者。对于大规模多游戏者游戏,用于促进这种音频交换的上游和下游带宽要求会特别高。
此外,呈现所有接收的音频流所需要的CPU成本较高,其需要采用特别强大的处理单元以满足参与虚拟环境的最小硬件要求。
定义
以下提供本说明书中通篇使用的各种术语的定义:
音频场景——音频信息,包括空间地发出且根据在声源和接收方之间的距离可选地衰减的组合声音(例如,属于其他化身的语音及虚拟环境内的其他实时声源)。音频场景还可以包括表示环境的声学特性的音效。
发明内容
在本发明的第一方面中,提供了一种为包括多个化身的虚拟环境中的化身创建音频场景的方法,所述方法包括步骤:创建多个化身之间的链接结构;和基于每个化身与其他链接的化身的关联呈现每个化身的音频场景。
有益地,本发明的方面提供用于通过利用链接的对等类型结构传送浸入式音频场景的低带宽技术。以这种方式传送服务消除了通过中心服务器发送实时业务流的要求。这对于传送这种服务通常需要的大的服务器地段和带宽成本来说能够显著节省成本。代替地,根据本发明的方面,可以使用使用服务的同级(或者链接的化身)的CPU资源和带宽来传送该服务。另外,因为每个新链接的化身添加资源以支持该服务,可以随着虚拟环境中化身的数目增长而容易地依比例决定服务传送。
根据第二方面,提供了包括用于控制计算机以实现根据本发明的第一方面的方法的至少一个指令的计算机程序。
根据第三方面,提供了计算机可读介质,该计算机可读介质提供根据本发明的第二方面的计算机程序。
根据第四方面,提供了被设置以执行根据本发明的第一方面的方法步骤的用户计算装置。
根据第五方面,提供了被设置以创建虚拟环境的音频场景的系统,该系统包括:多个计算装置,每个计算装置能够控制虚拟环境中的至少一个化身,其中,每个计算装置被设置成呈现至少一个化身的输出音频场景并将该输出音频场景传递到至少一个其他计算装置。
附图说明
尽管任何其他形式可能落入本发明的范围,现在参考附图仅通过实例的方式描述本发明的实施例,在附图中:
图1是被设置以执行本发明的实施例的系统的框图;
图2示出虚拟环境中化身的布局实例;
图3示出呈现由图2的虚拟环境的化身接收的每个音频流所需的角度和衰减电平;
图4是在图2的虚拟环境中链接化身的格网连接的实例;
图5示出确定图2的化身之间的最短链接的最小生成树的应用;和
图6示出了根据本发明的实施例被添加到最小生成树的边缘。
具体实施方式
参考图1,系统100包括虚拟环境服务器102;控制服务器103;用户计算装置104;和通信系统106。
虚拟环境服务器102的主要功能是保持用于虚拟环境的状态信息。在本发明的实施例中,虚拟环境是多游戏者在线游戏的战场,且化身表示该虚拟环境中的参加者(也就是说,用户计算装置104的用户)且是动画士兵的形式。由虚拟环境服务器102保持的状态信息包括例如,虚拟环境中化身的位置;也就是说,战场中士兵的位置。
注意到,实施例不限于用于多游戏者在线游戏的虚拟环境和化身。该实施例可应用于多种虚拟环境,包括例如,商业背景(比如虚拟职员会议)或者教育背景(比如虚拟讲座)中的虚拟环境。
为执行保持状态信息的主要功能,虚拟环境服务器102包括计算机硬件,该计算机硬件包括主板、中央处理单元、随机存取存储器、硬盘、网络硬件和电源。除了硬件之外,虚拟环境服务器102包括驻留在硬盘上且与硬件合作以提供可以执行软件应用的环境的操作系统(比如可以在位于URL为http://www.redhat.com的网站从因特网获得的Linux)。在这点上,虚拟环境服务器102的硬盘装载了用于保持状态信息的虚拟环境服务器应用程序(比如可以在位于URL为http://www.idsoftware.com的网址从因特网获得的Quake引擎)。
控制服务器103经由高速链路105连接到虚拟环境服务器102。控制服务器103包括与虚拟环境服务器相同的硬件且装载有控制服务器应用程序,其被设置成与虚拟环境服务器102相互作用以获得识别在虚拟环境中出现的各种化身的信息,和在虚拟环境中化身的位置。该信息还可以包括化身的状态细节(例如,活动或者不活动)和任何动态声障(sound barrier)的细节。使用嵌入在控制服务器应用程序内的算法,控制服务器103产生被传递到每个用户计算装置的浸入式音频呈现信息。如图1所示,控制服务器102也被设置成经由链路114与用户计算装置通信。
用户计算装置104是膝上型或者台式计算机的形式。然而,容易理解本实施例不限于膝上型或者台式通信装置。设想在本发明的备选实施例中,用户计算装置104(例如,如所示的装置04a-h)可以是比如诺基亚的N-Gage和Playstation Portable(便携PS)的便携无线通信装置。每个用户计算装置104包括计算机硬件,该计算机硬件包括主板、中央处理单元、随机存取存储器、硬盘或者类似的存储装置、电源、监视器和用户信息输入(例如,键盘)。除了硬件之外,每个用户计算装置104的硬盘装载有能够与计算装置104的硬件相互作用以提供可以执行软件应用的环境的操作系统。在这点上,每个用户计算装置104的硬盘装载有虚拟环境客户应用程序和浸入式音频通信客户应用程序。
该虚拟环境客户应用程序被设置成发送虚拟环境的状态信息到加载在虚拟环境服务器102上的虚拟环境服务器应用程序和从其接收虚拟环境的状态信息。该浸入式音频通信客户应用程序被设置成将音频信息发送到其它浸入式音频通信客户端并从其接收音频信息。先前描述了每个用户计算装置104装载有操作系统。该实施例可以容易地被设置成操作加载在用户计算装置104上的任何不同操作系统,包括例如Microsoft Windows XP或者Linux(当计算装置104台式计算机形式时二者都是典型地使用的)。
通信系统106使得每个用户计算装置104的虚拟环境客户应用程序和虚拟环境系统102的虚拟环境服务器应用程序能够彼此交换数据(更具体地说,交换状态信息)。通信系统106还使得每个用户计算装置104的浸入式音频通信客户应用程序和控制服务器103能够彼此交换数据(更具体地说,交换对等图的形式的链接结构的细节)。
为支持数据交换,通信系统106包括用于从用户计算装置104发送和接收数据的因特网的形式的数据网络110。本发明不限于使用因特网且本发明的可选实施例可以采用,例如,基于802.11的无线网络等。为使得虚拟环境系统102和用户计算装置104能够经由通信系统106交换数据,虚拟环境服务器102经由高速数据链路形式的通信链路114连接到因特网110。
本发明的实施例主要涉及用于向参与虚拟环境的用户计算装置104的用户提供浸入式音频的低带宽对等技术。同样地,以下描述具体地集中在加载在控制服务器103上的控制服务器应用程序和加载在每个用户计算装置104上的浸入式音频通信客户应用程序的功能性。
如先前讨论的,位于控制服务器103上的控制服务器应用程序被设置成从虚拟环境服务器应用程序获得关于在虚拟环境中操作的化身的位置的信息。根据在这里描述的实施例,位置信息是三维坐标(x,y,z)的形式。控制服务器应用程序另外被配置成获得可能影响虚拟环境内的声音的传播的任何静态和动态声障的细节(在下文中称为“屏障信息”)。一旦已经获得位置信息和屏障信息,控制服务器应用程序执行以下动作:
(1)基于虚拟环境中化身的位置(x,y,z),计算树,或者一系列树(如果存在不在彼此的收听范围内的多个完全不同的化身组)。这些树将发言的化身连接到收听的化身。控制服务器应用程序还可以考虑比如可用带宽和节点的可靠性的因素(即,对应于每个用户计算装置)以确定怎样构造树。例如,如果树中的节点不具有高可用带宽,应用可以限制其可以连接到的树中的其他节点的数目。如果节点是不可靠的(例如,如果节点具有高延迟或者分组损失的历史),那么控制服务器应用程序会想要确保其是树的叶子。
(2)将环路引入树中以减小形成对等图的每个发言者和收听者之间的路径长度。控制服务器应用程序将不引入比规定长度短的环路以保证在最终由用户计算装置输出的音频流中不存在正反馈或者明显的回声;和
(3)将与对等图相关联的以下细节传递到在该图中标识的用户计算装置104:
(a)化身集合,用户计算机装置“A”必须创建到该化身集合的连接;
(b)应用于A将在每个这些连接上发送的音频流的衰减值α(α对应于图链接的长度);和
(c)所接收的音频流将要被呈现的角度θ(θ对应于图链接的角度)。
关于创建树结构的函数(参见以上点1),可以采用任何适当的树结构。然而,在本实施例的情况下,采用最小生成树(MST)。(其是关于与树中的链路的长度相关联的成本度量最小化的,与在虚拟环境中的化身之间的距离成正比。)
有两个主要功能由位于每个用户计算装置104上的浸入式音频客户应用程序执行。第一功能是呈现接收的音频流以创建浸入式音频场景,从而向用户计算装置104的用户重放。该处理基本上涉及用户计算装置104在其连接到{E1,E2,...,En}的图的每个边上接收音频流并以由浸入式音频呈现信息指定的角度θ呈现该音频流。第二功能涉及将由用户计算装置104产生的混合音频流发送到全部其他边连接的用户计算装置/化身。混合音频流包括由用户计算机装置捕捉的音频流(即客户的语音)和在所有其他边上(当然,不包括要被发送的混合音频流所沿着的边)接收的音频流的混合。在发送混合音频流之前,使用用于该特定边的衰减值α衰减该混合音频流,这也由浸入式音频呈现信息指定。
参考图1到6,现在将描述由用户计算装置呈现浸入式音频场景的方法的实例。
在第一步骤中,虚拟环境服务器102将虚拟环境的状态信息传递到客户服务器103的客户服务器应用程序用于后续的处理。给定具有由客户(C1,C2,...CN)控制的每个N个化身(A1,A2,...AN)的虚拟世界。由这N个客户中的每一个产生音频样本(Vi)。以F个边(E1,E2,...,EF)构造图。这些边中的每一个具有相关联的角度θj和衰减因数αj,其中0<j<=F。
(步骤1)将全部化身置于平面上,它们的(x,y)坐标对应于它们在虚拟环境中的(x,y)坐标,如图2所示。
(步骤2)创建图的全部节点之间的格网连接;如果存在墙壁则除去在墙壁的相对侧的化身之间的任何链路。
(步骤3)使用任何适当的算法-比如Kruskal算法计算连接全部节点的最小生成树(MST)。
(步骤4)处于图中不是最小生成树的一部分的全部链路;
(步骤5)当可以添加环路而不超过在节点的传输限制,且当存在超过阈值(例如,收听范围的两倍)的可能的环路时,则:
(a)设置min_edge_length=infinity
(b)对于可以彼此听到的每对节点i,j
(i)计算在两个节点之间的最小环路距离为:min_loopij=SPij+VDij。其中SPij是在树上i,j之间的最短路径且VDij=在i和j之间的直接链路的长度,如果存在的话,
(ii)如果min_loopij>环路阈值(2×hearing_range)且Dij<min_edge_length
(1)min_edge_length=VDij
(2)min_edge={i,j}
(c)将min_edge涉及的边添加到图。这是引入可接受的环路的最小边。
现在考虑连接到虚拟环境的7个游戏者。每个游戏者使用连接到因特网的不同PC。每个游戏者正在控制单独的化身-这些化身被命名为A1到A7。这些化身在虚拟世界中的x,y(空间)位置如表1所示。
表1:化身的X,Y位置
每个化身可被看作是节点。假定每个节点能够发送4个流,且每个节点的收听范围是115。
步骤1将化身们置于平面上,其x,y坐标与它们在虚拟世界中占据的坐标相同。这如图2所示。
步骤2创建节点之间的格网连接(即,每个节点连接到每个其它节点)。该步骤提供由最小生成树算法使用的底层节点拓扑。用于该实例的格网网络如图4所示。
在每个化身之间的距离之后用在算法中,且被计算为值(矩阵)VDij,如表2所示:
表2:VDij:计算的值
VD2,1=148 VD3,1=47 VD4,1=119
VD1,2=148 VD3,2=105 VD4,2=45
VD1,3=47 VD2,3=105 VD4,3=72
VD1,4=119 VD2,4=45 VD3,4=72
VD1,5=46 VD2,5=172 VD3,5=86 VD4,5=152
VD1,6=115 VD2,6=191 VD3,6=140 VD4,6=189
VD1,7=105 VD2,7=126 VD3,7=105 VD4,7=132
VD5,1=46 VD6,1=115 VD7,1=105
VD5,2=172 VD6,2=191 VD7,2=126
VD5,3=86 VD6,3=140 VD7,3=105
VD5,4=152 VD6,4=189 VD7,4=132
VD6,5=75 VD7,5=90
VD5,6=75 VD7,6=68
VD5,7=90 VD6,7=68
在步骤3,Kruskal算法用于计算最小生成树。Kruskal算法是用于计算最小生成树的一般算法,且是电信工程师和图论专家熟知的。
在步骤4,从图中去除不是最小生成树的一部分的链路。该阶段的输出如图5所示。
在步骤5计算能够彼此“听到”的节点的集合:
H=
[(3,1),(3,5),(3,7),(3,4),(3,2),(2,4),(1,5),(1,6),(1,7),(5,
6),(7,6),(7,5)]
且也计算每个图链路的距离,如表3所示:
表3:每个图链路之间的距离
Link 2,4 | 45 |
Link 4,3 | 72 |
Link 3,1 | 47 |
Link 1,5 | 46 |
Link 5,6 | 75 |
Link 6,7 | 68 |
最后,为H中全部元素计算最短路径:
SP(3,1)=D(3,1)=47
SP(3,5)=D(3,1)+D(1,5)=47+46=93
SP(3,7)=D(3,1)+D(1,5)+D(5,6)+D(6,7)=47+46+75+68=236
SP(3,4)=D(3,4)=72
SP(3,2)=D(3,4),D(4,2)=72+45=117
SP(2,4)=D(2,4)=45
SP(1,5)=D(1,5)=46
SP(1,6)=D(1,5)+D(5,6)=46+75=121
SP(1,7)=D(1,5)+D(5,6)+D(6,7)=46+75+68=189
SP(5,6)=D(5,6)=75
SP(7,6)=D(7,6)=68
SP(7,5)=D(7,6)+D(6,5)=68+75=143
min_loopij=SPij+VDij
min_loop(3,1)=47+47=94
min_loop(3,5)=93+86=179
min_loop(3,7)=236+105=341
min_loop(3,4)=72+72=144
min_loop(3,2)=117+105=222
min_loop(2,4)=45+45=90
min_loop(1,5)=46+46=92
min_loop(1,6)=46+115=181
min_loop(1,7)=189+105=194
min_loop(5,6)=75+75=150
min_loop(7,6)=68+68=136
min_loop(7,5)=143+90=233
然后设置min_edge_length=infinity,发现min_loop(3,7)>2×hearing_range(230)且VD(3,7)<min_edge_length;这样min_edge_length=VD(3,7)=105且Min_edge={3,7}。
此外,不存在其它的min_loop(i,j)>2×hearing_range。然后将边{3,7}添加到图,如图6所示。
然后使用更新的图重复步骤5(由步骤5的先前迭代添加的链路)直到不存在剩余要添加的环路。
步骤5的下一迭代发现不存在要添加的更多可接受的环路,这样算法停止,而仅添加链路7,3。
参考图3,示出了表示呈现从化身3的角度来看呈现进入音频流所需要的角度和衰减电平的图。如先前的图所示,化身3将从化身1,7和4接收音频流。驻留在控制化身3的用户计算装置上的虚拟环境客户应用程序将如下呈现音频场景:将在化身3的左边以角度θ31呈现从化身1到达的音频。将在收听者的左边以θ37度呈现从化身7接收的音频;同时将在收听者的右边以θ34呈现从化身4接收的音频,如图6所示。
从化身1,7和4接收到的音频流是全部上游节点的衰减的混合。例如,从化身1发送到化身3的音频流是在混合了化身1的语音(其由用户计算装置本地记录)的进入流(除了链路3,1以外)上接收的全部音频的混合。根据在其上接收音频的链路的长度衰减这些语音。因此,在链路3,1上发送的音频流等于:衰减了α12的由化身2发送的音频流混合衰减了α15的由化身5发送的音频、混合化身1的本地产生的语音。
因为来自每个化身的音频与在全部进入链路上接收的音频的衰减版本混合,化身3将以由于不同程度的衰减而导致的变化距离而有效地听到从化身1的方向发出的化身1和5。化身6的语音将影响化身3从化身1和7的方向听到的音频。但是,如果正确地设置衰减级别,那么化身6的音量将是可忽略的。也应注意到,在该实例中,如果不存在引入的环路,那么化身3将不会听到化身7,因为通过5和1的路径上的衰减将过大。
将容易理解即使已经在用于支持虚拟环境的背景下描述了本发明的实施例,本发明不限于用于虚拟环境。同样地,本发明可用于提供例如,用于用作仅有音频的会议系统的浸入式音频系统。
尽管已经参考本实施例对本发明进行了描述,但本领域技术人员应该理解的是,在不脱离本发明的范围的情况下,可以作出各种变更、改变和改进,并以等价物对其元件和其步骤进行替换。另外,可以做出许多修改以在本发明的教导中在本发明中采用特定的情况或者材料而不脱离本发明的中心范围。虽然上面没有明确地的描述,然而这种变更、改变、修改和改进仍意在和隐含在本发明的范围和精神内。
因此,本发明不意图限于在这里描述的特定的实施例且将包括属于独立权利要求的范围内的全部实施例。
Claims (16)
1.一种为包括多个化身的虚拟环境中的化身创建音频场景的方法,所述方法包括步骤:
创建多个化身之间的链接结构;和
基于每个化身与其他链接的化身的关联呈现每个化身的音频场景。
2.如权利要求1所述的创建音频场景的方法,其中,该链接结构能够操作以定义呈现角度和衰减因数中的至少一个以应用于进入链路上的音频流。
3.如权利要求2所述的创建音频场景的方法,其中,基于链接结构中两个化身之间的距离计算成本度量。
4.如权利要求3所述的创建音频场景的方法,其中,该成本度量定义衰减因数。
5.如权利要求2到4中任意一个所述的创建音频场景的方法,由此,在链接结构中两个化身之间的链路的角度定义所述呈现角度。
6.如先前权利要求的任意一个所述的创建音频场景的方法,其中,该链接结构是连接所述多个化身的树结构。
7.如权利要求6所述的创建音频场景的方法,其中,该树结构是最小生成树。
8.如权利要求7所述的创建音频场景的方法,进一步包括将环路引入到最小生成树以使得环路的最小长度小于预定值以避免呈现音频场景时的回声的步骤。
9.如权利要求8所述的创建音频场景的方法,其中,该预定值是化身的收听范围的两倍。
10.根据先前权利要求的任意一个所述的创建音频场景的方法,进一步包括将呈现的音频场景与由所述多个化身中的至少一个产生的音频流混合的步骤。
11.如权利要求10所述的创建音频场景的方法,进一步包括将混合的音频场景发送另一链接的化身的步骤。
12.一种计算机程序,包括用于控制计算机以实现如权利要求1到11的任意一个所述的方法的至少一个指令。
13.一种计算机可读介质,提供如权利要求12所述的计算机程序。
14.一种用户计算装置,被设置成执行如权利要求1到13的任意一个所述的方法步骤。
15.一种被设置成创建虚拟环境的音频场景的系统,该系统包括:多个计算装置,每个计算装置能够控制虚拟环境中的至少一个化身,其中,每个计算装置被设置成呈现至少一个化身的输出音频场景并将该输出音频场景传递到至少一个其他计算装置。
16.如权利要求15所述的被设置成创建音频场景的系统,其中,每个计算装置进一步被设置成从至少一个其他计算装置接收输入音频场景,并与输出音频场景一起呈现该输入音频场景。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
AU2006906213 | 2006-11-08 | ||
AU2006906213A AU2006906213A0 (en) | 2006-11-08 | Apparatuses and methods for use in creating an audio scene | |
PCT/AU2007/001712 WO2008055305A1 (en) | 2006-11-08 | 2007-11-08 | Apparatuses and methods for use in creating an audio scene |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201110152951.7A Division CN102325299B (zh) | 2006-11-08 | 2007-11-08 | 用于创建音频场景的设备和方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101573991A true CN101573991A (zh) | 2009-11-04 |
CN101573991B CN101573991B (zh) | 2011-08-03 |
Family
ID=39364104
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201110152951.7A Active CN102325299B (zh) | 2006-11-08 | 2007-11-08 | 用于创建音频场景的设备和方法 |
CN2007800417395A Active CN101573991B (zh) | 2006-11-08 | 2007-11-08 | 用于创建音频场景的设备和方法 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201110152951.7A Active CN102325299B (zh) | 2006-11-08 | 2007-11-08 | 用于创建音频场景的设备和方法 |
Country Status (11)
Country | Link |
---|---|
US (1) | US8403751B2 (zh) |
EP (1) | EP2095679B1 (zh) |
JP (2) | JP4997291B2 (zh) |
KR (2) | KR101201695B1 (zh) |
CN (2) | CN102325299B (zh) |
AU (1) | AU2007317195A1 (zh) |
BR (1) | BRPI0718711B1 (zh) |
CA (1) | CA2667110C (zh) |
HK (1) | HK1135269A1 (zh) |
RU (2) | RU2495538C2 (zh) |
WO (1) | WO2008055305A1 (zh) |
Families Citing this family (43)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA2667110C (en) * | 2006-11-08 | 2014-01-14 | Dolby Laboratories Licensing Corporation | Apparatuses and methods for use in creating an audio scene |
GB0703974D0 (en) * | 2007-03-01 | 2007-04-11 | Sony Comp Entertainment Europe | Entertainment device |
PL2232700T3 (pl) | 2007-12-21 | 2015-01-30 | Dts Llc | System regulacji odczuwanej głośności sygnałów audio |
US20090235191A1 (en) * | 2008-03-11 | 2009-09-17 | Garbow Zachary A | Method for Accessing a Secondary Virtual Environment from Within a Primary Virtual Environment |
US20090234948A1 (en) * | 2008-03-11 | 2009-09-17 | Garbow Zachary A | Using Multiple Servers to Divide a Virtual World |
US8875026B2 (en) * | 2008-05-01 | 2014-10-28 | International Business Machines Corporation | Directed communication in a virtual environment |
US8315409B2 (en) * | 2008-09-16 | 2012-11-20 | International Business Machines Corporation | Modifications of audio communications in an online environment |
US8577060B2 (en) * | 2009-07-02 | 2013-11-05 | Avaya Inc. | Method and apparatus for dynamically determining mix sets in an audio processor |
US8538042B2 (en) | 2009-08-11 | 2013-09-17 | Dts Llc | System for increasing perceived loudness of speakers |
EP2537287A1 (en) * | 2010-02-18 | 2012-12-26 | Smart Services CRC Pty Limited | A system, method and software application for the dissemination of data across a plurality of computing systems |
US9312829B2 (en) | 2012-04-12 | 2016-04-12 | Dts Llc | System for adjusting loudness of audio signals in real time |
CN104801043B (zh) * | 2014-01-23 | 2019-12-13 | 腾讯科技(深圳)有限公司 | 场景音效控制的方法及装置 |
US9466278B2 (en) * | 2014-05-08 | 2016-10-11 | High Fidelity, Inc. | Systems and methods for providing immersive audio experiences in computer-generated virtual environments |
JP6205071B2 (ja) * | 2014-09-08 | 2017-09-27 | 富士フイルム株式会社 | 撮像制御装置、撮像制御方法、カメラシステム及びプログラム |
EP3287867A1 (en) * | 2016-08-26 | 2018-02-28 | Nokia Technologies Oy | Audio processing |
GB201719854D0 (en) * | 2017-11-29 | 2018-01-10 | Univ London Queen Mary | Sound effect synthesis |
US10735882B2 (en) | 2018-05-31 | 2020-08-04 | At&T Intellectual Property I, L.P. | Method of audio-assisted field of view prediction for spherical video streaming |
US20200228911A1 (en) * | 2019-01-16 | 2020-07-16 | Roblox Corporation | Audio spatialization |
US10785563B1 (en) * | 2019-03-15 | 2020-09-22 | Hitachi, Ltd. | Omni-directional audible noise source localization apparatus |
US11095857B1 (en) | 2020-10-20 | 2021-08-17 | Katmai Tech Holdings LLC | Presenter mode in a three-dimensional virtual conference space, and applications thereof |
US11076128B1 (en) | 2020-10-20 | 2021-07-27 | Katmai Tech Holdings LLC | Determining video stream quality based on relative position in a virtual space, and applications thereof |
US11457178B2 (en) | 2020-10-20 | 2022-09-27 | Katmai Tech Inc. | Three-dimensional modeling inside a virtual video conferencing environment with a navigable avatar, and applications thereof |
US10952006B1 (en) | 2020-10-20 | 2021-03-16 | Katmai Tech Holdings LLC | Adjusting relative left-right sound to provide sense of an avatar's position in a virtual space, and applications thereof |
US10979672B1 (en) | 2020-10-20 | 2021-04-13 | Katmai Tech Holdings LLC | Web-based videoconference virtual environment with navigable avatars, and applications thereof |
US11070768B1 (en) | 2020-10-20 | 2021-07-20 | Katmai Tech Holdings LLC | Volume areas in a three-dimensional virtual conference space, and applications thereof |
US11750745B2 (en) | 2020-11-18 | 2023-09-05 | Kelly Properties, Llc | Processing and distribution of audio signals in a multi-party conferencing environment |
US11743430B2 (en) | 2021-05-06 | 2023-08-29 | Katmai Tech Inc. | Providing awareness of who can hear audio in a virtual conference, and applications thereof |
US11184362B1 (en) | 2021-05-06 | 2021-11-23 | Katmai Tech Holdings LLC | Securing private audio in a virtual conference, and applications thereof |
US11651108B1 (en) | 2022-07-20 | 2023-05-16 | Katmai Tech Inc. | Time access control in virtual environment application |
US11928774B2 (en) | 2022-07-20 | 2024-03-12 | Katmai Tech Inc. | Multi-screen presentation in a virtual videoconferencing environment |
US11876630B1 (en) | 2022-07-20 | 2024-01-16 | Katmai Tech Inc. | Architecture to control zones |
US12009938B2 (en) | 2022-07-20 | 2024-06-11 | Katmai Tech Inc. | Access control in zones |
US12022235B2 (en) | 2022-07-20 | 2024-06-25 | Katmai Tech Inc. | Using zones in a three-dimensional virtual environment for limiting audio and video |
US11741664B1 (en) | 2022-07-21 | 2023-08-29 | Katmai Tech Inc. | Resituating virtual cameras and avatars in a virtual environment |
US11700354B1 (en) | 2022-07-21 | 2023-07-11 | Katmai Tech Inc. | Resituating avatars in a virtual environment |
US11711494B1 (en) | 2022-07-28 | 2023-07-25 | Katmai Tech Inc. | Automatic instancing for efficient rendering of three-dimensional virtual environment |
US11682164B1 (en) | 2022-07-28 | 2023-06-20 | Katmai Tech Inc. | Sampling shadow maps at an offset |
US11776203B1 (en) | 2022-07-28 | 2023-10-03 | Katmai Tech Inc. | Volumetric scattering effect in a three-dimensional virtual environment with navigable video avatars |
US11704864B1 (en) | 2022-07-28 | 2023-07-18 | Katmai Tech Inc. | Static rendering for a combination of background and foreground objects |
US11562531B1 (en) | 2022-07-28 | 2023-01-24 | Katmai Tech Inc. | Cascading shadow maps in areas of a three-dimensional environment |
US11956571B2 (en) | 2022-07-28 | 2024-04-09 | Katmai Tech Inc. | Scene freezing and unfreezing |
US11593989B1 (en) | 2022-07-28 | 2023-02-28 | Katmai Tech Inc. | Efficient shadows for alpha-mapped models |
US11748939B1 (en) | 2022-09-13 | 2023-09-05 | Katmai Tech Inc. | Selecting a point to navigate video avatars in a three-dimensional environment |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0389700A (ja) | 1989-08-31 | 1991-04-15 | Matsushita Electric Ind Co Ltd | 音像定位方法 |
CA2279631A1 (en) | 1997-01-29 | 1998-07-30 | West-Walker, Francis Nigel | Method of transferring media files over a communications network |
US6175842B1 (en) | 1997-07-03 | 2001-01-16 | At&T Corp. | System and method for providing dynamic three-dimensional multi-user virtual spaces in synchrony with hypertext browsing |
JP3560282B2 (ja) * | 1999-02-08 | 2004-09-02 | 日本電信電話株式会社 | マルチユーザ仮想空間における音源の定位制御方法、その装置及びそのプログラムを記録した記録媒体 |
US6931370B1 (en) * | 1999-11-02 | 2005-08-16 | Digital Theater Systems, Inc. | System and method for providing interactive audio in a multi-channel audio environment |
JP3534345B1 (ja) * | 2002-10-22 | 2004-06-07 | コナミ株式会社 | ゲームプログラム及びゲーム装置 |
US20040085259A1 (en) * | 2002-11-04 | 2004-05-06 | Mark Tarlton | Avatar control using a communication device |
JP2004267433A (ja) * | 2003-03-07 | 2004-09-30 | Namco Ltd | 音声チャット機能を提供する情報処理装置、サーバおよびプログラム並びに記録媒体 |
JP3772328B2 (ja) * | 2003-03-31 | 2006-05-10 | 株式会社光栄 | ネットワークゲームサーバ、制御方法、プログラム及び記憶媒体 |
US7503006B2 (en) * | 2003-09-25 | 2009-03-10 | Microsoft Corporation | Visual indication of current voice speaker |
CN101827301B (zh) * | 2004-04-16 | 2016-01-20 | 杜比实验室特许公司 | 用于创建音频场景的设备和方法 |
US7491123B2 (en) * | 2004-07-29 | 2009-02-17 | Nintendo Co., Ltd. | Video game voice chat with amplitude-based virtual ranging |
JP2006094315A (ja) | 2004-09-27 | 2006-04-06 | Hitachi Ltd | 立体音響再生システム |
US7577110B2 (en) * | 2005-08-12 | 2009-08-18 | University Of Southern California | Audio chat system based on peer-to-peer architecture |
CA2667110C (en) * | 2006-11-08 | 2014-01-14 | Dolby Laboratories Licensing Corporation | Apparatuses and methods for use in creating an audio scene |
-
2007
- 2007-11-08 CA CA2667110A patent/CA2667110C/en active Active
- 2007-11-08 RU RU2012100228/28A patent/RU2495538C2/ru active
- 2007-11-08 WO PCT/AU2007/001712 patent/WO2008055305A1/en active Application Filing
- 2007-11-08 KR KR1020097011764A patent/KR101201695B1/ko active IP Right Grant
- 2007-11-08 CN CN201110152951.7A patent/CN102325299B/zh active Active
- 2007-11-08 KR KR1020127014156A patent/KR101225475B1/ko active IP Right Grant
- 2007-11-08 EP EP07815515.7A patent/EP2095679B1/en active Active
- 2007-11-08 US US12/513,892 patent/US8403751B2/en active Active
- 2007-11-08 AU AU2007317195A patent/AU2007317195A1/en not_active Abandoned
- 2007-11-08 CN CN2007800417395A patent/CN101573991B/zh active Active
- 2007-11-08 JP JP2009535524A patent/JP4997291B2/ja active Active
- 2007-11-08 RU RU2009121548/28A patent/RU2449496C2/ru active
- 2007-11-08 BR BRPI0718711-4A patent/BRPI0718711B1/pt active Search and Examination
-
2009
- 2009-12-24 HK HK09112156.6A patent/HK1135269A1/xx unknown
-
2012
- 2012-05-14 JP JP2012110546A patent/JP5563014B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
CN101573991B (zh) | 2011-08-03 |
US8403751B2 (en) | 2013-03-26 |
BRPI0718711A2 (pt) | 2014-01-14 |
KR20090086585A (ko) | 2009-08-13 |
EP2095679A4 (en) | 2011-10-19 |
KR20120080647A (ko) | 2012-07-17 |
JP4997291B2 (ja) | 2012-08-08 |
JP2010509810A (ja) | 2010-03-25 |
RU2009121548A (ru) | 2010-12-20 |
US20100049346A1 (en) | 2010-02-25 |
AU2007317195A1 (en) | 2008-05-15 |
JP5563014B2 (ja) | 2014-07-30 |
CN102325299A (zh) | 2012-01-18 |
CN102325299B (zh) | 2014-03-12 |
RU2495538C2 (ru) | 2013-10-10 |
KR101201695B1 (ko) | 2012-11-15 |
CA2667110C (en) | 2014-01-14 |
CA2667110A1 (en) | 2008-05-15 |
RU2449496C2 (ru) | 2012-04-27 |
EP2095679A1 (en) | 2009-09-02 |
RU2012100228A (ru) | 2013-07-20 |
KR101225475B1 (ko) | 2013-01-23 |
EP2095679B1 (en) | 2013-07-10 |
JP2012196465A (ja) | 2012-10-18 |
WO2008055305A1 (en) | 2008-05-15 |
BRPI0718711B1 (pt) | 2019-09-24 |
HK1135269A1 (en) | 2010-05-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101573991B (zh) | 用于创建音频场景的设备和方法 | |
JP4854736B2 (ja) | 没入型オーディオ通信 | |
CN1969589B (zh) | 用于创建音频场景的设备和方法 | |
US8117550B1 (en) | Real to virtual telecommunications | |
EP1437880B1 (en) | Enhanced audio communications in an interactive environment | |
AU2012200463B2 (en) | Apparatus and Methods for use in Creating an Audio Scene | |
WO2020170946A1 (ja) | 音声出力制御装置、音声出力制御システム、音声出力制御方法及びプログラム | |
AU2006261594B2 (en) | Immersive audio communication | |
AU2012202422B2 (en) | Immersive Audio Communication |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |