CN101895556A - 沉浸式音频通信 - Google Patents

沉浸式音频通信 Download PDF

Info

Publication number
CN101895556A
CN101895556A CN2010102425421A CN201010242542A CN101895556A CN 101895556 A CN101895556 A CN 101895556A CN 2010102425421 A CN2010102425421 A CN 2010102425421A CN 201010242542 A CN201010242542 A CN 201010242542A CN 101895556 A CN101895556 A CN 101895556A
Authority
CN
China
Prior art keywords
audio
incarnation
virtual environment
frequency information
virtual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2010102425421A
Other languages
English (en)
Other versions
CN101895556B (zh
Inventor
保罗·安德鲁·鲍斯特德
法尔扎德·撒菲伊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dolby Laboratories Licensing Corp
Original Assignee
Dolby Laboratories Licensing Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from AU2005903357A external-priority patent/AU2005903357A0/en
Application filed by Dolby Laboratories Licensing Corp filed Critical Dolby Laboratories Licensing Corp
Publication of CN101895556A publication Critical patent/CN101895556A/zh
Application granted granted Critical
Publication of CN101895556B publication Critical patent/CN101895556B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A63F13/10—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/54—Controlling the output signals based on the game progress involving acoustic signals, e.g. for simulating revolutions per minute [RPM] dependent engine sounds in a driving game or reverberation against a virtual wall
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/33—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using wide area network [WAN] connections
    • A63F13/332—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using wide area network [WAN] connections using wireless networks, e.g. cellular phone networks
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/45—Controlling the progress of the video game
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/90—Constructional details or arrangements of video game devices not provided for in groups A63F13/20 or A63F13/25, e.g. housing, wiring, connections or cabinets
    • A63F13/92—Video game devices specially adapted to be hand-held while playing
    • G06Q50/40—
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/6063—Methods for processing data by generating or executing the game program for sound processing
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/6063—Methods for processing data by generating or executing the game program for sound processing
    • A63F2300/6081—Methods for processing data by generating or executing the game program for sound processing generating an output signal, e.g. under timing constraints, for spatialization
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/64—Methods for processing data by generating or executing the game program for computing dynamical parameters of game objects, e.g. motion determination or computation of frictional forces for a virtual car

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Tourism & Hospitality (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Acoustics & Sound (AREA)
  • Primary Health Care (AREA)
  • General Physics & Mathematics (AREA)
  • Marketing (AREA)
  • General Health & Medical Sciences (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Information Transfer Between Computers (AREA)
  • Processing Or Creating Images (AREA)
  • Telephonic Communication Services (AREA)
  • Stereophonic System (AREA)

Abstract

一种沉浸式音频通信。本发明提供一种将空间音频用于虚拟环境的系统和方法，所述虚拟环境能运行在具有有限处理能力的便携式设备上，并且利用低带宽通信连接。所述系统识别虚拟环境中的第一化身；并且确定所述化身是否满足重用准则，所述重用准则使得系统能够对所述第一化身重用已经为虚拟环境中的第二化身生成的音频信息。

Description

沉浸式音频通信
本申请是申请号为200680027097.9(PCT/AU2006/000881)、申请日为2006年6月23日、发明名称为“沉浸式音频通信”的发明专利申请的分案申请。
技术领域
本发明总体上涉及沉浸式音频通信(immersive audio communication)领域，并且具体地但决不排他地适用于与虚拟环境的化身(avatar)相关联的沉浸式音频场景。
背景技术
传统地，分布式虚拟环境(如多人在线游戏)使用基本的装置以使得用户能够相互通信。例如，一些分布式虚拟环境已经采用了基于文本的通信，而其他的虚拟环境已经支持在因特网协议技术上的简单的单声道语音。
已经提出，可以通过在虚拟环境中增加介质或高质量音频通信来改进用户对虚拟环境的感知。因此，已经进行了相当多的研究来为分布式虚拟环境提供实时沉浸式音频通信。大多数研究集中在为用户提供表达方向感和距离感的空间音频；即，音频信息听起来好像是从特定位置发出并且已经传播了一定距离。
为分布式虚拟环境提供沉浸式音频通信的研究通常假设虚拟环境的用户使用计算设备(如，台式计算机)，该计算设备具有合理量的处理能力，并且经由相对高带宽的数据链路连接到虚拟环境。这样，当前的沉浸式音频通信技术通常涉及跨越一个或更多中心服务器和用户的计算设备而进行分布式沉浸式音频场景计算。
便携式无线计算设备的最近进展(如诺基亚N-Gage和PlayStationPortable)意味着数量日益增长的用户将潜在地期望经由便携式无线计算设备访问虚拟环境。与台式计算设备相比，便携式无线计算设备具有有限处理能力，并且将经由合理低带宽的无线链路连接到虚拟环境。不幸的是，因为无线计算设备可能没有足够的处理能力来参与到分布式音频场景计算中，所以当今的沉浸式音频通信技术可能无法有效支持便携式无线计算设备(或其他具有相对低计算能力的计算设备)。其结果是，大部分计算密集的音频场景处理将被推回到虚拟环境服务器上。这基本意味着如果要支持便携式无线计算设备并为其提供沉浸式音频通信，可能需要采用更强大的服务器。
发明内容
根据本发明的第一方面，提供了一种将音频用于虚拟环境的方法，该方法包括以下步骤：
识别与所述虚拟环境相关联的第一化身；
对于为与所述虚拟环境相关联的第二化身创建的音频信息，确定是否满足音频重用准则；以及
在确定满足所述音频重用准则时，对所述第一化身重用所述音频信息。
该方法的优点在于，与现有的沉浸式音频技术不同，其能够有利于便携式无线通信设备(或具有相对低处理能力的任何其他设备)进行沉浸式音频通信。该优点源自所述方法涉及尽可能(即，当满足音频重用准则时)重用音频信息这一事实，这可以减少创建沉浸式音频的处理密集型任务。借助于示例实现，该方法可以由一个或更多个中央音频场景创建服务器来执行，以降低(多个)中央服务器的音频场景处理要求。与本发明相反，现有的沉浸式音频通信技术不采用音频信息重用，并且将因此而比采用本发明的系统需要更多处理资源。
该方法优选地还包括以下步骤：基于所述第一化身和与虚拟环境相关联的第三化身之间的距离处理所述音频信息。
执行处理音频的步骤的优点在于，其可以被用来将对距离的感知添加到重用的音频信息中。例如，该处理步骤可以涉及将所述音频信息衰减以表示该音频信息已经传播了一定距离。
该方法优选地还包括以下步骤：在确定不满足所述音频重用准则时，为所述第一化身创建替代音频信息。
创建替代音频信息的优点在于，在不满足重用准则的情况下提供了获得用于所述第一化身的音频的机制。
确定是否满足音频重用准则的步骤优选地包括以下步骤：确定所述第一化身是否会将所述音频信息感知成是从所述虚拟环境中所述第三化身所在的预定区域发出的。
确定第一化身是否会将所述音频信息感知成是从所述预定区域发出的优点在于，其提供了用于确保重用的音频信息具有合理地靠近精确创建的音频信息的空间方面的空间特性的技术，该精确创建的音频信息可以在创建替代音频信息的前述步骤期间创建。
所述音频信息优选地包括空间音频信息。
根据本发明的第二方面，提供了一种将音频用于虚拟环境的系统，该系统包括一处理装置，该处理装置被设置为执行以下步骤：
识别与所述虚拟环境相关联的第一化身；
对于为与所述虚拟环境相关联的第二化身创建的音频信息，确定是否满足音频重用准则；以及
在确定满足所述音频重用准则时，对所述第一化身重用所述音频信息。
所述处理装置优选地还被设置为执行以下步骤：基于所述第一化身和与所述虚拟环境相关联的第三化身之间的距离处理所述音频信息。
所述处理装置优选地还被设置为执行以下步骤：在确定不满足所述音频重用准则时，为所述第一化身创建替代音频信息。
将所述处理装置优选地设置为确定是否满足所述音频重用准则的所述步骤包括以下步骤：确定所述第一化身是否会将所述音频信息感知成是从所述虚拟环境中所述第三化身所在的预定区域发出的。
所述音频信息优选地包括空间音频信息。
根据本发明的第三方面，提供了一种包括至少一个指令的计算机程序，该指令被设置为使得计算设备执行根据本发明第一方面的方法。
根据本发明的第四方面，提供了一种包括根据本发明第三方面的计算机程序的计算机可读介质。
附图说明
尽管存在可能落入本发明的范围内的任何其他实施方式，下面仍将参照附图来描述仅作为实施例的本发明的实施方式，在附图中：
图1示出了包括本发明的一实施方式的系统；
图2(a)例示了由现有的沉浸式音频技术使用的技术；
图2(b)例示了根据本发明一实施方式由图1的系统创建沉浸式音频的技术；以及
图3是应用了图1的系统的虚拟环境的表示。
具体实施方式
参照图1，系统100包括虚拟环境系统102；用户计算设备104；以及通信系统106。
虚拟环境系统102的主要功能是维护虚拟环境的状态信息并为虚拟环境的参与者提供沉浸式音频通信。在本发明的该实施方式中，虚拟环境是多人在线游戏的战场，并且化身表示虚拟环境的参与者(即，用户计算设备104的用户)并且是动画战士的形式。由虚拟环境系统102维护的状态信息包括例如虚拟环境中化身的位置；即，战场中战士的位置。
应注意到，本发明并不限于用于多人在线游戏的虚拟环境和化身。本发明适用的虚拟环境的范围包括例如商务环境(如虚拟员工会议)或教育环境(如虚拟讲座)的虚拟环境。
为了执行维护状态信息和提供沉浸式音频通信的主要功能，虚拟环境系统102包括传统的计算机硬件，该计算机硬件包括主板、中央处理单元、随机存取存储器、硬盘、联网硬件和电源。除了硬件外，虚拟环境系统102包括操作系统(如Linux，其可从www.redhat.com获得)，该操作系统驻留在系统102的硬盘上，并且与硬件协同以提供其中可以执行软件应用的环境。在这点上，虚拟环境系统102的硬盘加载有用于维护状态信息的虚拟环境服务器应用(如Quake引擎，其可从www.idsoftware.com获得)、以及用于为虚拟环境的参与者提供沉浸式音频通信的沉浸式音频通信服务器应用。
用户计算设备104是以便携式无线通信设备的形式，如诺基亚N-Gage和PlayStation Portable。然而，容易理解到，本发明并不限于便携式无线通信设备。预期在本发明的另选实施方式中，用户计算设备104可以是例如膝上型或台式计算机。每个用户计算设备104包括传统的计算机硬件，该计算机硬件包括主板、中央处理单元、随机存取存储器、硬盘、电源、监视器和用户信息输入装置(例如，键盘)。除了硬件外，每个用户计算设备104的硬盘还加载有黑莓(BlackBerry)操作系统。该操作系统与计算设备104的硬件交互，以提供其中可以执行软件应用的环境。在这点上，每个用户计算设备104的硬盘加载有虚拟环境客户端应用和沉浸式音频通信客户端。
虚拟环境客户端应用被设置为向虚拟环境服务器应用发送和从虚拟环境服务器应用接收用于虚拟环境的虚拟环境状态信息，该虚拟环境服务器应用加载在虚拟环境系统102上。沉浸式音频通信客户端被设置为向虚拟环境系统102上的沉浸式音频通信服务器发送并从其接收音频信息。先前描述了每个用户计算设备104加载有操作系统，如用于诺基亚N-Gage的Symbian操作系统。本发明并不限于Symbian操作系统，并且同样，本发明适用于加载在用户计算设备104上的不同操作系统，包括例如微软Windows XP或Linux(当计算设备104是台式计算机的形式时，通常使用这两者)。
通信系统106使得每个用户计算设备104的虚拟环境客户端应用和虚拟环境系统102的虚拟环境服务器应用能够彼此交换数据(更具体地说，即状态信息)。通信系统106还使得每个用户计算设备104的沉浸式音频通信客户端应用和虚拟环境系统102的沉浸式音频通信服务器应用能够彼此交换数据(更具体地说，即音频信息)。
为了支持数据交换，通信系统106包括移动电话网络108，用于向用户计算设备104发送数据并从其接收数据。本发明并不限于使用移动电话网络108，并且本发明的另选实施方式可以采用例如基于802.11的无线网络。除了移动电话网络108外，通信系统106包括用于向虚拟环境系统102发送数据并从其接收数据的基于公共访问因特网协议的分组交换网络110，如因特网。移动电话网络108和通信系统106经由通信链路112彼此互连，该通信链路112是以高速光纤链路的形式。通信链路112使得能够在移动电话网络108和分组交换网络110之间交换数据。
为了使得虚拟环境系统102和用户计算设备104能够经由通信系统106交换数据，虚拟环境服务器102经由高速数据链路形式的通信链路114连接到分组交换网络110。此外，各用户计算设备104经由无线GPRS链路116连接到移动电话网络108。
本发明的实施方式主要涉及提供沉浸式音频通信。这样，下面对实施方式的描述集中在由加载在用户计算设备104上的沉浸式音频通信客户端应用、和加载在虚拟环境系统102上的沉浸式音频通信服务器应用所执行的功能。
有两种由沉浸式语音通信客户端应用执行的主要功能。第一个功能是将由用户计算设备104捕获的音频信息(例如，用户的语音)转发到加载在虚拟环境系统102上的沉浸式音频通信服务器。第二个功能是从加载在虚拟环境系统102上的沉浸式音频通信服务器接收音频场景(沉浸式音频通信信息)，并且将音频场景再现给用户计算设备104的用户。对音频场景的再现基本涉及通过扬声器或耳机播放音频场景。
加载在虚拟环境系统102上的沉浸式音频通信服务器应用还执行两个主要功能。首先，服务器应用处理从沉浸式音频通信客户端接收的音频信息，从而为虚拟环境中的每个化身创建音频场景。第二，服务器应用将音频场景转发到用户计算设备104。与创建音频场景的第一功能相关，预期可以采用任何适当的空间音频处理算法。然而，在本实施方式的情况下，沉浸式音频通信服务器应用被设置为使用头相关传输函数(HRTF)算法，在题为“3-D Sound for Virtual Reality and Multimedia”的出版物(Academic Press Professional，Cambridge，MA，USA，1994，作者Durand R.Begault)中描述了其细节。
除了执行头相关传输函数外，沉浸式音频通信服务器应用被设置为执行音频场景重用算法。音频场景重用算法的目的在于有可能最小化由沉浸式音频服务器应用执行的头相关传输函数操作，从而这样又最小化了创建音频场景需要的处理资源。正是重用算法实质上使得本发明适于为低处理能力设备(如无线便携式计算设备)提供用于虚拟环境的沉浸式音频。以下参照图2描述了音频场景重用算法，图2表示包括三个化身A1、A2和A3的虚拟环境，这三个化身面向相同的绝对方向(例如，北方)。做出该假设是为了简化对本发明的实施方式的描述。然而实际上化身可以朝向不同方向。
图2中示出重用的实施例。图2(a)示出现有沉浸式音频通信技术如何将来自化身A1的实时语音精确地放置在A2和A3的音频场景中。这需要两个空间放置操作，这两个空间放置操作涉及两个独立的头相关变换函数计算-每个听众(A1和A3)一个。执行精确的放置可能是计算密集的，特别是涉及很多化身时。相反，图2(b)示出了重用算法的结果。A1是使用头相关传输函数在A3的音频场景中精确再现的。A3的音频场景被重用为化身A2的音频场景。结果，A2将不精确地听到A1，就好像A1来自A1’一样。因为距A1比距A3更远，所以重用音频场景还将衰减。该重用场景的代价是一个空间放置操作(即，一个头相关传输函数)和一个衰减操作。
应注意到，场景算法是这样的，即在图2(b)中描述的场景中，假设重用音频场景不是特别不精确，如果可以增加重用音频场景的数量，则该算法可能对A2和A3两者不精确地再现A1(即，重用音频场景)。
重用算法并不仅仅是无区别地重用音频场景。在重用音频场景前，重用算法确定是否满足音频重用准则。在这点上，本发明的该实施方式使用角度差错的概念作为重用准则。参照图2(b)，角度差错是由从化身A1到化身A2和A3延伸的矢量所定义的角度。重用算法是这样的，即如果由所述矢量定义的角度等于或小于预定角度(其也称作“角度误差”)，则对A2重用A3的音频场景。
应注意到，重用准则不限于先前描述的角度误差的概念。在本发明的另选实施方式中，重用准则可以基于化身之间的距离。另选的是，角度差错概念可以不固定，并且可以例如是在对特定距离(例如10m)内的化身的相对小的角度误差和对于大于该距离的化身的较大的角度误差。
由沉浸式音频服务器应用执行的功能的更正式的描述如下：
给定具有N个化身(A1，A2，…An)的虚拟世界，每个化身由客户端(C1，C2，…CN)控制。从这些客户端中的每一个接收音频采样(Vi)。
1.计算每个化身(i)可以听到的说话的化身的集合，并且将该集合放置在Si中。
2.重复，直到每个集合Si为空，或已经达到一处理限度
a.对于i＝1到N，
i.找到集合Si中最接近的说话者(Aj)
ii.如果以前在可接受的误差内尚未计算出从化身i的角度来自Aj的音频的空间化版本(Hji)，则：
1.根据从化身Ai的角度精确再现的化身Aj，创建音频Vj的空间版本Hji。
2.将Hji的加权副本添加到集合Ri，该集合Ri是针对听众i在音频场景中再现的对象的集合。所应用的加权是在虚拟世界中i和j之间的相对距离的函数。
iii.其他
1.将可接受的误差内再现的对象Hji的加权副本添加到集合Ri。所应用的加权是在虚拟世界中i和j之间的相对距离的函数。
iv.从集合Si中移除Aj
b.结束循环
3.结束
作为沉浸式音频服务器如何比现有沉浸式音频技术需要更少处理能力的示例，考虑下面的例子，其中可接受的角度误差在距听众0到10米之间为10度，可接受的角度误差从10米到每个化身听觉范围的边缘为30度。使用在图3中描绘的虚拟世界，假设所有化身可以互相听到并且围绕每个化身的圆半径为10m。解出重用算法的以上正式定义：
A1需要A2的精确再现(H2，1)
A2需要A1的精确再现(H1，1)
A3需要A2的精确再现(H2，3)
A1需要A3的精确再现(H3，1)
A2可以重用H3，1，因为它将引入小于30度的角度误差
A3可以重用H1，2，因为它将引入小于30度的角度误差
使用重用机制，服务器中需要的再现计算量从(使用现有技术将可能出现的)6减少到4。
容易理解的是，即使已经在用来支持虚拟环境的上下文中描述了本发明的实施方式，但是本发明不限于使用虚拟环境。因而，本发明可以被用于提供用作例如仅有音频的会议系统的沉浸式音频系统。
尽管已经参照本实施方式描述了本发明，但是本领域技术人员将理解，在不背离本发明的范围的情况下，可以做出改变、变化和改进，并且其元件和其步骤可以由等同物替代。此外，在不背离本发明的主要范围的情况下，可以做出许多修改，以使本发明适于特定情况或使材料适于本发明的教导。尽管上面没有明确的描述，但是旨在将这样的改变、变化、修改和改进包含在本发明的范围和精神内。因此，本发明不是要限于这里描述的特定实施方式，而是将包括落入独立权利要求范围内的所有实施方式。

Claims (14)

1.一种将音频用于虚拟环境或音频会议系统的方法，该方法包括以下步骤：
识别与虚拟环境或音频会议系统相关联的第一化身，其中所述虚拟环境包括分布式虚拟环境，该分布式虚拟环境包括以下虚拟环境的一种或更多种：
多人或大规模在线游戏；
虚拟员工会议或其他与教育环境有关的虚拟环境；或者
虚拟讲座或其他与教育环境有关的虚拟环境；
对于为第二化身创建的再现音频信息，确定是否满足音频重用准则，其中，该再现音频信息是对第三化身的音频信息的再现；以及
在确定满足所述音频重用准则时，对所述第一化身重用所述再现音频信息。
2.如权利要求1所述的方法，该方法还包括以下步骤：基于所述第一化身和第三化身之间的距离处理所述音频信息，
其中所述第一化身、第二化身或第三化身的一个或更多个包括虚拟环境或音频会议系统中的参与者。
3.如权利要求1或权利要求2所述的方法，该方法还包括以下步骤：在确定不满足所述音频重用准则时，为所述第一化身创建替代的音频信息。
4.如权利要求1所述的方法，其中确定是否满足所述音频重用准则的步骤包括以下步骤：确定所述第一化身是否会将所述音频信息感知成是从所述虚拟环境中所述第三化身所在的预定区域发出的。
5.如权利要求1所述的方法，其中所述音频信息包括空间音频信息。
6.如权利要求5所述的方法，其中所述空间信息与距离或方向的一个或更多个有关，虚拟环境的两个或更多个化身与音频场景中距离或方向的一个或更多个相关联。
7.一种将音频用于虚拟环境或音频会议系统的系统，该系统包括：
用于识别与虚拟环境或音频会议系统相关联的第一化身的装置，其中所述虚拟环境包括分布式虚拟环境，该分布式虚拟环境包括以下虚拟环境的一种或更多种：
多人或大规模在线游戏；
虚拟员工会议或其他与教育环境有关的虚拟环境；或者
虚拟讲座或其他与教育环境有关的虚拟环境；
用于对于为第二化身创建的再现音频信息，确定是否满足音频重用准则的装置，其中，该再现音频信息是对第三化身的音频信息的再现；以及
用于在确定满足所述音频重用准则时，对所述第一化身重用所述再现音频信息的装置。
8.如权利要求7所述的系统，还包括：用于基于所述第一化身和第三化身之间的距离处理所述音频信息的装置，
其中所述第一化身、第二化身或第三化身的一个或更多个包括虚拟环境或音频会议系统中的参与者。
9.如权利要求7或权利要求8所述的系统，还包括：用于在确定不满足所述音频重用准则时，为所述第一化身创建替代的音频信息的装置。
10.如权利要求7所述的系统，其中确定是否满足所述音频重用准则的装置包括：用于确定所述第一化身是否会将所述音频信息感知成是从所述虚拟环境中所述第三化身所在的预定区域发出的装置。
11.如权利要求7所述的系统，其中所述音频信息包括空间音频信息。
12.如权利要求7所述的系统，其中所述空间信息与距离或方向的一个或更多个有关，虚拟环境的两个或更多个化身与音频场景中距离或方向的一个或更多个相关联。
13.一种将音频用于虚拟环境或音频会议系统的计算机系统，该系统包括：
虚拟环境服务器应用，其用于所述计算机系统以维护与虚拟环境有关的状态信息，其中识别与虚拟环境或音频会议系统相关联的第一化身，以及其中所述虚拟环境包括分布式虚拟环境，该分布式虚拟环境包括以下虚拟环境的一种或更多种：
多人或大规模在线游戏；
虚拟员工会议或其他与教育环境有关的虚拟环境；或者
虚拟讲座或其他与教育环境有关的虚拟环境；
沉浸式语音通信客户端应用，其用于：
将音频信息转发到虚拟环境服务器应用；
接收与虚拟环境的音频场景有关的信息；以及
将所述音频场景再现给客户端计算机的用户，该客户端计算机通信地连接到所述虚拟环境服务器应用。
14.如权利要求13所述的系统，还包括：
用于对于为第二化身创建的再现音频信息，确定是否满足音频重用准则的装置，其中，该再现音频信息是对第三化身的音频信息的再现；以及
用于在确定满足所述音频重用准则时，对所述第一化身重用所述再现音频信息的装置。
CN2010102425421A 2005-06-24 2006-06-23 沉浸式音频通信 Active CN101895556B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
AU2005903357 2005-06-24
AU2005903357A AU2005903357A0 (en) 2005-06-24 Immersive audio communication

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN2006800270979A Division CN101300580B (zh) 2005-06-24 2006-06-23 沉浸式音频通信

Publications (2)

Publication Number Publication Date
CN101895556A true CN101895556A (zh) 2010-11-24
CN101895556B CN101895556B (zh) 2013-01-16

Family

ID=37570037

Family Applications (2)

Application Number Title Priority Date Filing Date
CN2010102425421A Active CN101895556B (zh) 2005-06-24 2006-06-23 沉浸式音频通信
CN2006800270979A Active CN101300580B (zh) 2005-06-24 2006-06-23 沉浸式音频通信

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN2006800270979A Active CN101300580B (zh) 2005-06-24 2006-06-23 沉浸式音频通信

Country Status (7)

Country Link
US (1) US10155164B2 (zh)
EP (1) EP1897012B1 (zh)
JP (1) JP4854736B2 (zh)
KR (1) KR101253067B1 (zh)
CN (2) CN101895556B (zh)
SG (1) SG163521A1 (zh)
WO (1) WO2006135979A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103893970A (zh) * 2012-12-26 2014-07-02 迪士尼企业公司 响应于检测到对应的令牌来管理任务、环境和/或主题

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102341800B1 (ko) * 2007-09-26 2021-12-21 에이큐 미디어 인크 오디오-비주얼 내비게이션 및 통신
JP2014131140A (ja) * 2012-12-28 2014-07-10 Yamaha Corp 通信システム、ａｖレシーバ、および通信アダプタ装置
TWI530941B (zh) 2013-04-03 2016-04-21 杜比實驗室特許公司 用於基於物件音頻之互動成像的方法與系統
US20160026430A1 (en) * 2014-07-25 2016-01-28 Rovio Entertainment Ltd. Device-specific control
CN113812136A (zh) 2019-04-03 2021-12-17 杜比实验室特许公司 可缩放话音场景媒体服务器
US11070768B1 (en) 2020-10-20 2021-07-20 Katmai Tech Holdings LLC Volume areas in a three-dimensional virtual conference space, and applications thereof
US10979672B1 (en) 2020-10-20 2021-04-13 Katmai Tech Holdings LLC Web-based videoconference virtual environment with navigable avatars, and applications thereof
US11457178B2 (en) 2020-10-20 2022-09-27 Katmai Tech Inc. Three-dimensional modeling inside a virtual video conferencing environment with a navigable avatar, and applications thereof
US11095857B1 (en) 2020-10-20 2021-08-17 Katmai Tech Holdings LLC Presenter mode in a three-dimensional virtual conference space, and applications thereof
US10952006B1 (en) 2020-10-20 2021-03-16 Katmai Tech Holdings LLC Adjusting relative left-right sound to provide sense of an avatar's position in a virtual space, and applications thereof
US11076128B1 (en) 2020-10-20 2021-07-27 Katmai Tech Holdings LLC Determining video stream quality based on relative position in a virtual space, and applications thereof
US11184362B1 (en) 2021-05-06 2021-11-23 Katmai Tech Holdings LLC Securing private audio in a virtual conference, and applications thereof
US11743430B2 (en) 2021-05-06 2023-08-29 Katmai Tech Inc. Providing awareness of who can hear audio in a virtual conference, and applications thereof
US11876630B1 (en) 2022-07-20 2024-01-16 Katmai Tech Inc. Architecture to control zones
US11928774B2 (en) 2022-07-20 2024-03-12 Katmai Tech Inc. Multi-screen presentation in a virtual videoconferencing environment
US11651108B1 (en) 2022-07-20 2023-05-16 Katmai Tech Inc. Time access control in virtual environment application
US11700354B1 (en) 2022-07-21 2023-07-11 Katmai Tech Inc. Resituating avatars in a virtual environment
US11741664B1 (en) 2022-07-21 2023-08-29 Katmai Tech Inc. Resituating virtual cameras and avatars in a virtual environment
US11682164B1 (en) 2022-07-28 2023-06-20 Katmai Tech Inc. Sampling shadow maps at an offset
US11562531B1 (en) 2022-07-28 2023-01-24 Katmai Tech Inc. Cascading shadow maps in areas of a three-dimensional environment
US11593989B1 (en) 2022-07-28 2023-02-28 Katmai Tech Inc. Efficient shadows for alpha-mapped models
US11704864B1 (en) 2022-07-28 2023-07-18 Katmai Tech Inc. Static rendering for a combination of background and foreground objects
US11956571B2 (en) 2022-07-28 2024-04-09 Katmai Tech Inc. Scene freezing and unfreezing
US11711494B1 (en) 2022-07-28 2023-07-25 Katmai Tech Inc. Automatic instancing for efficient rendering of three-dimensional virtual environment
US11776203B1 (en) 2022-07-28 2023-10-03 Katmai Tech Inc. Volumetric scattering effect in a three-dimensional virtual environment with navigable video avatars
US11748939B1 (en) 2022-09-13 2023-09-05 Katmai Tech Inc. Selecting a point to navigate video avatars in a three-dimensional environment

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5736982A (en) * 1994-08-03 1998-04-07 Nippon Telegraph And Telephone Corporation Virtual space apparatus with avatars and speech
US6106399A (en) 1997-06-16 2000-08-22 Vr-1, Inc. Internet audio multi-user roleplaying game
US6266053B1 (en) * 1998-04-03 2001-07-24 Synapix, Inc. Time inheritance scene graph for representation of media content
JP2000013900A (ja) * 1998-06-25 2000-01-14 Matsushita Electric Ind Co Ltd 音再生装置
GB2349055B (en) 1999-04-16 2004-03-24 Mitel Corp Virtual meeting rooms with spatial audio
JP2001036881A (ja) * 1999-07-16 2001-02-09 Canon Inc 音声伝送システム及び音声再生装置
US6816846B1 (en) * 1999-11-12 2004-11-09 Xerox Corporation Method for generating rich sound environments using genetic or shaped algorithms
JP2003521202A (ja) * 2000-01-28 2003-07-08 レイク テクノロジー リミティド 地理的な環境で使用される空間オーディオシステム。
JP2002199500A (ja) * 2000-12-25 2002-07-12 Sony Corp 仮想音像定位処理装置、仮想音像定位処理方法および記録媒体
JP2003006132A (ja) * 2001-06-25 2003-01-10 Matsushita Electric Ind Co Ltd 音声を用いたチャット装置、チャットプログラムおよびチャット方法
US6845338B1 (en) * 2003-02-25 2005-01-18 Symbol Technologies, Inc. Telemetric contextually based spatial audio system integrated into a mobile terminal wireless system
US7828657B2 (en) * 2003-05-20 2010-11-09 Turbine, Inc. System and method for enhancing the experience of participant in a massively multiplayer game
JP3898673B2 (ja) * 2003-07-18 2007-03-28 株式会社タムラ製作所 音声通信システム、方法及びプログラム並びに音声再生装置
CN1969589B (zh) * 2004-04-16 2011-07-20 杜比实验室特许公司 用于创建音频场景的设备和方法
CN1570946B (zh) 2004-04-28 2010-05-26 赖银樑 交互式网路运动模拟系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103893970A (zh) * 2012-12-26 2014-07-02 迪士尼企业公司 响应于检测到对应的令牌来管理任务、环境和/或主题
CN103893970B (zh) * 2012-12-26 2018-01-19 迪士尼企业公司 响应于检测到对应的令牌来管理任务、环境和/或主题的系统

Also Published As

Publication number Publication date
EP1897012A1 (en) 2008-03-12
US20100162119A1 (en) 2010-06-24
US10155164B2 (en) 2018-12-18
KR101253067B1 (ko) 2013-04-11
SG163521A1 (en) 2010-08-30
CN101895556B (zh) 2013-01-16
WO2006135979A1 (en) 2006-12-28
CN101300580B (zh) 2010-09-29
JP2008547290A (ja) 2008-12-25
CN101300580A (zh) 2008-11-05
EP1897012B1 (en) 2019-07-17
JP4854736B2 (ja) 2012-01-18
KR20080045672A (ko) 2008-05-23
EP1897012A4 (en) 2010-03-17

Similar Documents

Publication Publication Date Title
CN101895556B (zh) 沉浸式音频通信
CN102325299B (zh) 用于创建音频场景的设备和方法
CN1969589B (zh) 用于创建音频场景的设备和方法
JP2008547290A5 (zh)
US7197126B2 (en) Human communication system
JP2007523572A5 (zh)
US9338232B2 (en) Method and system for synchronizing status of member servers belonging to same replication group
CN103348628A (zh) 一种会议控制的方法及装置
Zimmermann et al. Spatialized audio streaming for networked virtual environments
CN114095548A (zh) 一种基于通讯网络的多人语音协同系统
AU2006261594B2 (en) Immersive audio communication
AU2012202422B2 (en) Immersive Audio Communication
JP7116240B2 (ja) 音声出力制御システム、中継装置、通信装置、音声出力制御方法及びプログラム
AU2012200463B2 (en) Apparatus and Methods for use in Creating an Audio Scene
Que et al. An immersive voice over IP service to wireless gaming: user study and impact of virtual world mobility

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant