JP2010509810A - オーディオシーン作成用装置および方法 - Google Patents

オーディオシーン作成用装置および方法 Download PDF

Info

Publication number
JP2010509810A
JP2010509810A JP2009535524A JP2009535524A JP2010509810A JP 2010509810 A JP2010509810 A JP 2010509810A JP 2009535524 A JP2009535524 A JP 2009535524A JP 2009535524 A JP2009535524 A JP 2009535524A JP 2010509810 A JP2010509810 A JP 2010509810A
Authority
JP
Japan
Prior art keywords
audio scene
avatar
audio
computing device
avatars
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009535524A
Other languages
English (en)
Other versions
JP4997291B2 (ja
Inventor
ボーステッド、ポール
サファエイ、ファルザド
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dolby Laboratories Licensing Corp
Original Assignee
Dolby Laboratories Licensing Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=39364104&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=JP2010509810(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Priority claimed from AU2006906213A external-priority patent/AU2006906213A0/en
Application filed by Dolby Laboratories Licensing Corp filed Critical Dolby Laboratories Licensing Corp
Publication of JP2010509810A publication Critical patent/JP2010509810A/ja
Application granted granted Critical
Publication of JP4997291B2 publication Critical patent/JP4997291B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • A63F13/12
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/35Details of game servers
    • A63F13/355Performing operations on behalf of clients with restricted processing capabilities, e.g. servers transform changing game scene into an encoded video stream for transmitting to a mobile phone or a thin client
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/34Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using peer-to-peer connections
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50Controlling the output signals based on the game progress
    • A63F13/54Controlling the output signals based on the game progress involving acoustic signals, e.g. for simulating revolutions per minute [RPM] dependent engine sounds in a driving game or reverberation against a virtual wall
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00Digital computers in general; Data processing equipment in general
    • G06F15/16Combinations of two or more digital computers each having at least an arithmetic unit, a program unit and a register, e.g. for a simultaneous processing of several programs
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00Stereophonic arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/40Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of platform network
    • A63F2300/408Peer to peer connection
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/50Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers
    • A63F2300/53Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers details of basic data processing
    • A63F2300/538Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers details of basic data processing for performing operations on behalf of the game client, e.g. rendering
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/50Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers
    • A63F2300/55Details of game data or player data management
    • A63F2300/5546Details of game data or player data management using player registration data, e.g. identification, account, preferences, game history
    • A63F2300/5553Details of game data or player data management using player registration data, e.g. identification, account, preferences, game history user representation in the game field, e.g. avatar
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60Methods for processing data by generating or executing the game program
    • A63F2300/6063Methods for processing data by generating or executing the game program for sound processing
    • A63F2300/6072Methods for processing data by generating or executing the game program for sound processing of an input signal, e.g. pitch and rhythm extraction, voice recognition
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60Methods for processing data by generating or executing the game program
    • A63F2300/6063Methods for processing data by generating or executing the game program for sound processing
    • A63F2300/6081Methods for processing data by generating or executing the game program for sound processing generating an output signal, e.g. under timing constraints, for spatialization
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2400/00Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • H04S7/302Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303Tracking of listener position or orientation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Tourism & Hospitality (AREA)
  • General Physics & Mathematics (AREA)
  • Child & Adolescent Psychology (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Information Transfer Between Computers (AREA)
  • Processing Or Creating Images (AREA)
  • Stereophonic System (AREA)

Abstract

【解決手段】オーディオシーンが多数のアバターの仮想環境でアバターに対して作成される。リンク構造はアバター間で形成される。オーディオシーンはアバターの別のリンクしたアバターとの関連に基づいて、各アバターに対して作成される。
【選択図】図3

Description

本発明は、一般に没入型のオーディオ通信の分野に関し、更に詳しくは、ピアツーピア(peer to peer)環境中での没入型のオーディオシーンの作成に関するが、決してこれ専用に限定されるものではない。
近年、視覚的に没入型仮想環境(immersive virtual environment)を作成する分野で著しい進歩があった。これらの進歩によって、大規模な複数の遊戯者(multi-player)によるロールプレーイングゲームが広範囲に取り込まれるようになった。参加者は、例えば戦場のような、共通の仮想環境に入ることができ、仮想環境でアバター(avatar)として表わされる。ここで、アバターは、典型的にはアニメ化されたキャラクタの形をしている。
視覚的に没入型の仮想環境が広範囲に取り込まれることは、高度に詳細で現実的なグラフィックスが仮想環境中で生成されることを可能にする画像処理技術と、高速処理ユニットを使用する三次元的音響カードの発達という二つの著しい進歩という要因を、部分的には、背景にしている。しかしながら、これらの環境における主な障害は、現在の遊戯者間の通信機構が原始的、即ち、通常は文章のチャットや携帯用無線電話機による音声通信であることである。遊戯者に関連する仮想世界のアバターから来るように思われる音声を、より自然な通信環境に埋め込むことは、実施するのが複雑であり、配信することも高価である。仮想環境に参加する各遊戯者によって生成されたオーディオは、聴取距離内にいる別の遊戯者に対して各別に、かつ全て送られるべきである。大規模な複数の遊戯者によるゲームには、そのようなオーディオ交換を容易にするような上流と下流の帯域幅要件は、特に厳しいものである。
さらに、全ての受信オーディオの流れを表現するのに必要なCPUコストは高く、仮想環境に参加するための最小ハードウェア要件に適合するために用いられる場合でも、著しく強力な演算処理装置が必要とされる。
定義
本明細書の全体にわたって使用される様々な術語について、以下に定義を定める:
オーディオシーン(Audio Scene)−空間的に配置された音を組み合わせて構成されたオーディオ情報で、任意的に音の発生源と受け手との間の距離に従って音が減衰される。この組み合わせられたオーディオ情報は、例えば、仮想環境内の別のアバターに属する声や、別のリアルタイム音源を含む。オーディオシーンは、また環境の音響の特性を表わす音響効果を含んでいてもよい。
本発明の第1の態様では、複数のアバターを含む仮想環境にアバター用のオーディオシーンを作成する方法が提供される。この方法は、複数のアバター間のリンク構造を作るステップと、別のリンクしたアバターとの関連に基づいて各アバターに対してオーディオシーンを与えるステップを含む。
本発明の態様は、没入型のオーディオシーンを伝えるために、リンクしたピアツーピア形構造を用いて、低帯域幅の技術を有利に提供することである。上述のやり方でサービスを届けることで、中央サーバーでは実時間トラフィックで配信する必要性が除去される。上述のサービスを配信するためには通常帯域幅コストと大規模サーバーの請負者(farms)が必要とされるので、これには著しい原価の削減がある。これに反して、本発明の態様においては、サービスを利用するピア、またはリンクしたアバターのCPUリソースと帯域幅を使用してサービスが提供できる。さらに、新しくリンクしたアバターがそれぞれサービスを支援するためにリソースを加えるので、仮想環境中のアバターが増大しても、サービスの配信を容易に増やすことができる。
本発明の第2の態様は、本発明の第1の態様に従った方法を実現するようにコンピュータを制御するための少なくとも1つの指示を含むコンピュータ・プログラムを提供することである。
本発明の第3の態様は、本発明の第2の態様に従ったコンピュータ・プログラムを提供するコンピュータ読取可能媒体を提供することである。
本発明の第4の態様は、本発明の第1の態様に従った方法による工程を実現するように構成されたユーザー計算装置を提供することである。
本発明の第5の態様は、仮想環境でオーディオシーンを作成するように構成されたシステムを提供することである。このシステムは、複数の計算装置を備え、各計算装置は仮想環境で少なくとも1つのアバターを制御することができ、そこでは、各計算装置は少なくとも1つのアバターに対して出力オーディオシーンを提出し、かつ少なくとも1台の他の計算装置に出力オーディオシーンを通信するように構成されている。
本発明の範囲内にある実施形態は他にもあるけれども、本発明の一実施例を単なる例示のためだけに、添付の図面を参照して記載する。
図1は、本発明の一実施例を実行するように配置されたシステムのブロックダイヤグラムである。 図2は、仮想環境中でアバターのレイアウトの具体例を示す図である。 図3は、図2の仮想環境のアバターによって受け取られる各オーディオ流を表現する(rendering)のに必要な角度と減衰レベルを示す図である。 図4は、図2の仮想環境でアバターをつなぐ網状結線(mesh connection)の具体例を示す図である。 図5は、図2のアバター間における最短の連結を決定するために最小全域木(minimum spanning tree)の適用を描く図である。 図6は、本発明の実施例に従って最小全域木に加えられている辺(edge)を示す図である。
図1を参照して、システム100は仮想環境サーバー102、制御サーバー103、ユーザー計算装置104および通信システム106を含んでいる。
仮想環境サーバー102の主要な機能は仮想環境の状態情報を保持することである。発明の本実施例では、仮想環境は複数の遊戯者によるオンラインゲームの戦場である。また、アバターは仮想環境での参加者(すなわちユーザー計算装置104の使用者)を表わし、アニメ化された兵士の形をしている。仮想環境サーバー102によって保持された状態情報では、例えば、仮想環境でのアバターの位置を含む。すなわち、アバターの位置は戦場の兵士の所在である。
本実施例が、複数の遊戯者のオンラインゲームのための仮想環境とアバターに制限されないことに注意されたい。実施例には例えば、仮想スタッフミーティングのようなビジネスコンテキストや、仮想講義のような教育のコンテキスト中の仮想環境を含む、一連の仮想環境へのアプリケーションがある。
状態情報を保持する主要な機能を行なうために、仮想環境サーバー102は、マザーボード、中央処理装置、ランダムアクセス記憶装置、ハードディスク、ネットワークのハードウェアおよび電源を含むコンピューター・ハードウェアで構成される。ハードウェアに加えて、仮想環境サーバー102は、ハードディスク上に存在し、ソフトウェア・アプリケーションを実行できる環境を提供するためにハードウェアと協同する、オペレーティング・システムを備えている。オペレーティング・システムは、例えばリナックスである。リナックスは、URL http://www.redhat.comにあるウェブサイトからインターネット経由で入手できる。この点に関しては、仮想環境サーバー102のハードディスクに、状態情報の保持のために仮想環境サーバアプリケーションが載せられる。仮想環境サーバアプリケーションは、例えばクエーク(Quake)エンジンであり、URL http://www.idsoftware.comにあるウェブサイトからインターネット経由で入手できる。
制御サーバー103は高速リンク105によって仮想環境サーバー102に接続される。制御サーバー103は仮想環境サーバーと同じハードウェアを組込み、仮想環境の中にある様々なアバターの特定と、仮想環境中のアバターの所在を識別する情報を得る仮想環境サーバー102と互いに影響しあうように配置された制御サーバアプリケーションが積み込まれている。またこの情報には、任意の動的な音の障壁の詳細や、例えば、活動中か静止状態にあるか等のアバターのステータスの詳細が含まれる。制御サーバー103は、制御サーバアプリケーション内に組み込まれたアルゴリズムを使用して、各ユーザー計算装置と通信する没入型オーディオレンダリング情報(immersive audio rendering information)を生成する。図1に示すように、制御サーバー102もリンク114を経由してユーザー計算装置と通信するように配置される。
ユーザー計算装置104は、ラップトップまたはデスクトップ・コンピュータの形式をしている。しかしながら、実施例がラップトップやデスクトップ通信装置に制限されないことはたやすく認識される。本発明の変形実施例において (例えばデバイス04a、…、04hとして図示されたように)、ユーザー計算装置104は、ノキア製のN-ゲージ(国際登録商標)やプレイステーション・ポータブル(登録商標)のような携帯無線通信装置でもよい。各ユーザー計算装置104は、マザーボード、中央処理装置、ランダムアクセス記憶装置、ハードディスク又は同様の記憶装置、電源、モニター、および、例えばキーボード等のユーザー情報入力装置を含むコンピューター・ハードウェアで構成されている。ハードウェアに加えて、ソフトウェア・アプリケーションを実行できる環境を設けるために、各ユーザー計算装置104のハードディスクに、計算装置104のハードウェアと相互に作用するオペレーティング・システムが載せられる。この点に関しては、各ユーザー計算装置104のハードディスクに、仮想環境クライアント・アプリケーションおよび没入型オーディオ通信クライアント・アプリケーションが載せられる。
仮想環境クライアント・アプリケーションは、仮想環境サーバー102に載せられた仮想環境サーバアプリケーションとの間で、仮想環境のために状態情報を送受するように配置される。没入型オーディオ通信クライアント・アプリケーションは、別の没入型オーディオ通信クライアントとの間でオーディオ情報を送受するように配置される。各ユーザー計算装置104にオペレーティング・システムが載せられることは上述してある。実施例では、例えば、マイクロソフト(登録商標)ウィンドウXP(登録商標)やリナックスを含む、ユーザー計算装置104に載せられるどんな種類のオペレーティング・システムでも動作するように容易に配置される。計算装置104がデスクトップ・コンピュータの形式であれば、ウィンドウXP(登録商標)やリナックスの両方が典型的に使用される。
通信システム106は、各ユーザー計算装置104の仮想環境クライアント・アプリケーションと、仮想環境システム102の仮想環境サーバアプリケーションとの間で、互いのデータ交換を、より明確には、状態情報の交換を可能にする。また、通信システム106は、各ユーザー計算装置104の没入型オーディオ通信クライアント・アプリケーションと制御サーバー103との間で、互いのデータ交換を、より明確には、ピアツーピアグラフの形式をしているリンク構造の詳細の交換を可能にする。
データの交換を支えるために、通信システム106は、ユーザー計算装置104からデータを送受するためにデータ網110をインターネットの形で有する。本発明はインターネットと共に使用されることに制限されず、また、本発明の変形実施例では、例えば、802.11に基づいた無線ネットワーク又はその相当物を使用してもよい。仮想環境システム102とユーザー計算装置104が、通信システム106を経由してデータ交換できるように、仮想環境サーバー102は、高速度データリンクの形式を有する通信リンク114によってインターネット110に接続される。
本発明の実施例では、仮想環境に参加するユーザー計算装置104の使用者に没入型オーディオを提供することについて、低帯域幅のピアツーピア技術を主に問題にしている。そのため、以下の記述は、特に制御サーバー103にロードされた制御サーバアプリケーションと、各ユーザー計算装置104にロードされた没入型オーディオ通信クライアント・アプリケーションの機能性に焦点を当てている。
上述したように、制御サーバー103上に存在する制御サーバアプリケーションは仮想環境サーバアプリケーションから仮想環境中で作動するアバターの所在に関係のある情報を得るように配置される。ここに記述された実施例に従って、所在情報は三次元座標(x、y、z)の形をとる。制御サーバアプリケーションは、仮想環境内の音声の伝搬に影響を及ぼす静的・動的な音の障壁(以下「障壁情報」という)の詳細を得るように、付加的に構成される。一旦所在情報および障壁情報が得られたならば、制御サーバアプリケーションは以下の作用を行なう:
(1) 仮想環境中のアバターの所在(x、y、z)に基づいて、木、あるいは一組の木を計算する。一組の木は、互いの聴取距離内にないような、アバターの数多くの異なるグループ分けがある場合に計算される。これらの木は、話し手のアバターを聞き手のアバターに接続する。制御サーバアプリケーションは、木がどのように構築されるか定めるために、ノード(即ち、各ユーザー計算装置に対応する)の利用可能な帯域幅および信頼度のような要因を考慮に入れる。例えば、木のノードに利用可能な高帯域幅がない場合、アプリケーションによってその木に接続される別のノードの数が制限される。ノードの信頼性の低い場合(例えばノードに大きな遅延かパケット損失の履歴がある場合)、制御サーバアプリケーションは、それが木の葉であることを確認しても良い。
(2) ピアツーピアグラフを形成する各話し手と聞き手との間の経路長を低減するために、木にループを導入する。制御サーバアプリケーションは、ユーザー計算装置によって最終的に出力されるオーディオ流(audio stream)の中に、正帰還も認知可能なエコーもないことを保証するために、所定長よりも短いループ長を導入しない。そして、
(3) ピアツーピアグラフ中で識別されたユーザー計算装置104に対して、ピアツーピアグラフに関連した以下の詳細を通信する:
(a) ユーザー計算装置「A」が接続を完成する必要があるアバターのセット;
(b) Aがこれらの各接続に対して送信するオーディオ流に適用すべき減衰値α(αはグラフ・リンクの長さに相当する);
(c) 受信オーディオ流が提供される角度θ(θはグラフ・リンクの角度に相当する)。
木構造(上記のポイント1を参照)を作成する機能に関して、任意の適切な木構造が使用できる。しかしながら、現在の実施例の場合には、最小全域木(MST)が使用される。(最小全域木は、木のリンクの長さに関係するコスト距離(cost metric)に関して最小である。木のリンクの長さは仮想環境中のアバター間の距離に比例する。)
各ユーザー計算装置104に存在する没入型オーディオクライアント・アプリケーションによって実現される2つのメイン作用がある。第1の機能は、ユーザー計算装置104のユーザーに対して再生用の没入型のオーディオシーンを作成するために受信オーディオ流を提供することである。このプロセスは、{E1、E2、…、En}に対して接続されるグラフの各辺でオーディオ流を受け取ると共に、没入型オーディオレンダリング情報によって指定された角度θでオーディオ流を与える、ユーザー計算装置104を基本的に含んでいる。第2の機能はすべての別の辺接続されたユーザー計算装置/アバターに対して、ユーザー計算装置104によって生成された混合オーディオ流を送ることを含む。混合オーディオ流は、ユーザー計算装置(つまりクライアントの音声)によって捕らえられたオーディオ流と、すべての別の辺(もちろん、混合オーディオ流が送信されるべき辺を除外して)上で受信されているオーディオ流の両方を混合して入れている。混合オーディオ流を送る前に、混合オーディオ流がその特定の辺に対する減衰値αを用いて減衰させられるが、これはまた没入型オーディオレンダリング情報によって指定される。
ここでは、図1〜6を参照して、ユーザー計算装置によって没入型のオーディオシーンを与える方法の一例を説明する。
第1段階では、仮想環境サーバー102は、仮想環境の状態情報を後の処理のためにクライアントサーバー103のクライアントサーバー・アプリケーションへ渡す。クライアント(C1、C2、…、C)によって各々制御されたN個のアバター(A1、A2、…、A)を備えた仮想世界を付与する。オーディオサンプル(Vi)は、これらN個のクライアントの各々によって生成される。グラフはF個の辺(E1、E2、…、E)で構成される。これらの各辺は関連する角度θjと減衰率αjを有する。ここで、0<j≦Fである。
(ステップ1) 図2に示されるような仮想環境中の(x、y)座標に対応する(x、y)座標で、平面にすべてのアバターを置く。
(ステップ2) グラフの全ノード間の網状結線を作成する。ここで壁が存在する場合には、壁の反対側にいるアバターとの間のどんなリンクも除去する。
(ステップ3) クラスカルのアルゴリズム(Kruskal's algorithm)のような、適切なアルゴリズムを使用して、ノードをすべて接続するための最小全域木(MST)を計算する。
(ステップ4) 最小全域木に含まれない、グラフ中のリンクをすべて除去する。
(ステップ5) ノードで伝送限界を超過せずに、ループを加えることができ、また、例えば聴取距離2倍のような、しきい値を越えるループがある場合には、次のような処理を行う:
(a) 辺長さの最小値(min_edge_length)を無限大に設定する。
(b) 互いに聞くことができる組のノードi、jの各々に対して、(i)と(ii)の処理をする。
(i) 次式のような2つのノードの間の最小のループ距離を計算する。
min_loopij = SPij + VDij.
ここで、SPijは、iとjとの間の木の最短パス経路である。VDijは、iとjの間の直接のリンクが存在する場合の、iとjの間の直接のリンクの長さである。
(ii) ループ最小値(min_loopij)がループしきい値(loop threshold)よりも大きい場合で、ノードi、jの距離Dijが辺長さの最小値(min_edge_length)よりも小さい場合:ここで、ループしきい値(loop threshold)は聴取距離の2倍(2 x hearing_range)である。
(1) 辺長さの最小値(min_edge_length)に、iとjの間の直接のリンクの長さ(VDij)をセットする(min_edge_length=VDij)
(2) 辺最小値(min_edge)に、ノードi、jの組をセットする(min_edge={i, j})
(c) グラフへ辺最小値(min_edge)によって引用された辺を加える。これは受理可能なループを導入する最も小さな辺である。
さて7名の遊戯者が仮想環境に接続されたと考えよう。各遊戯者は、インターネットに接続された異なるPCを使用している。各遊戯者は別々のアバターを制御している。これらのアバターはA1からA7まで命名される。仮想世界でのこれらアバターの空間位置(x、y)は、表1に示される通りである。
Figure 2010509810
アバターの各々はノードとみなしてよい。各ノードは、4個のオーディオ流を送ることができるとし、また、各ノードの聴取距離は115とする。
ステップ1では、アバターが仮想世界で占めていると同じx、y座標を備えた平面にアバターを置く。これは図2に示される。
ステップ2では、ノード間で網状結線を作成する。つまり、網状結線では、すべてのノードは他の全てのノードに接続される。このステップは最小全域木アルゴリズムにより使用される基礎的ノードトポロジーを提供する。この例に対する網目状ネットワークは図4に示される。
各アバターの間の距離は、後でアルゴリズムの中で使用され、表2に示すような値(マトリックス)VDijとして計算される。
Figure 2010509810
ステップ3では、クラスカルのアルゴリズムが最小全域木を計算するために使用された。クラスカルのアルゴリズムは、最小全域木を計算するための共通のアルゴリズムで、電気通信エンジニアやグラフ理論の専門家に有名である。
ステップ4では、最小全域木の一部に入らないリンクはグラフから取り除かれる。このステージの出力は図5に示される。
互いに「聞くことができる」ノードのセットはステップ5で計算される:
H = [(3,1) , (3,5) , (3,7) , (3,4) , (3,2) , (2,4) , (1,5) , (1,6) , (1,7) , (5, 6), (7,6), (7,5) ]
また、表3に示されるように、各グラフ・リンクの距離も計算される:
Figure 2010509810
結局、Hですべての要素に対する最短パス経路が計算される:
SP(3,1)=D(3,1)=47
SP(3,5)=D(3,1)+D(1,5)=47+46=93
SP(3,7)=D(3,1)+D(1,5)+D(5,6)+D(6,7)=47+46+75+68=236
SP(3,4)=D(3,4)=72
SP(3,2)=D(3,4)+D(4,2)=72+45=117
SP(2,4)=D(2,4)=45
SP(1,5)=D(1,5)=46
SP(1,6)=D(1,5)+D(5,6)=46+75=121
SP(1,7)=D(1,5)+D(5,6)+D(6,7)=46+75+68=189
SP(5,6)=D(5,6)=75
SP(7,6)=D(7,6)=68
SP(7,5)=D(7,6)+D(6,5)=68+75=143
min_loopij = SPij + VDij
min_loop (3,1) =47+47=94
min_loop (3,5) =93+86=179
min_loop (3,7) =236+105=341
min_loop (3,4) =72+72=144
min_loop (3,2) =117+105=222
min_loop (2,4) =45+45=90
min_loop (1,5) =46+46=92
min_loop (1,6) =46+115=181
min_loop (1,7) =189+105=194
min_loop (5,6) =75+75=150
min_loop (7,6) =68+68=136
min_loop (7,5) =143+90=233
次に、辺長さの最小値(min_edge_length)を無限大にセットすると、ループ最小値(min_loop(3,7) )は聴取距離の2倍(2 x hearing_range)(230)より大きく、またノード3と7の間の直接のリンクの長さVD(3,7)は辺長さの最小値(min_edge_length)よりも小さいことが分かる。従って、辺長さの最小値(min_edge_length)はVD(3,7) =105となり、辺最小値(Min_edge)はノード{3,7}の組となる。
更に、別のループ最小値(min_loop (i,j) )で聴取距離の2倍(2 x hearing_range)より大きいものは存在しない。そこで、辺{3,7}が図6に示すようにグラフに加えられる。
次に、ステップ5は、加算するためループが存在しなくなるまで、最新のグラフを使用して繰り返される。最新のグラフは、ステップ5の前回の繰り返しによってリンクに加えられたものである。
ステップ5の次回の繰り返しでは、加えるべき条件を満たしたループのないことが分かるので、アルゴリズムはリンク7,3を付加するだけで停止する。
図3を参照して、アバター3の視野から着信オーディオ流を与えるために必要とされる、提供角度(rendering angle)と減衰レベルを表示するグラフが示される。先の図中で示されるように、アバター3はアバター1、7、4からオーディオ流を受け取る。アバター3を制御するユーザー計算装置上で存在する仮想環境クライアント・アプリケーションは、以下のようにオーディオシーンを再現する。アバター1から到着するオーディオは、アバター3の左側の角度θ31で描画される。アバター7から受領したオーディオは聞き手の左側の角度θ37で描画される。一方、図6に示されるように、アバター4から受領したオーディオは、聞き手の右側の角度θ34で描画される。
アバター1、7、4から受け取られるオーディオ流は、全上流ノードの減衰した混合物である。例えば、アバター1からアバター3に送られたオーディオ流は、アバター1の声と混じり合った、(リンク3,1上のオーディオを除いて)着信オーディオ流として受け取られた全オーディオのミックスである。アバター1の声はユーザー計算装置によってローカルに記録される。これらの声は、オーディオを受け取るリンクの長さに応じて減衰される。したがって、リンク3,1上で送られるオーディオ流は次のものと等しい:アバター1のローカルに生成された声と、α15で減衰したアバター5によって送られたオーディオとの混合されたもので、さらにα12で減衰したアバター2によって送られたオーディオ流がアバター5のオーディオ流に混合されている。
各アバターからのオーディオが全着信リンク上で受け取られたオーディオの減衰変形体と混合しているので、減衰の異なるレベルのせいで距離が変化していると共に、アバター1の方向から放射されたアバター1、5の声をアバター3が効果的に聞く。アバター6の音声は、アバター1、7の両方の方向からアバター3によって聞かれるオーディオに影響する。しかしながら、そのとき減衰レベルが正確にセットされれば、アバター6のボリュームは無視できる。この例で留意すべき点として、もしループが導入されていない場合には、アバター7がアバター5とアバター1を経由する経路上の減衰が大きすぎる為に、アバター3はアバター7の声を聞かなかったことである。
たとえ本発明の実施例が仮想環境を支えるために使用されるコンテキストについて記述されたが、仮想環境と共に使用されることに本発明が制限されないことはたやすく認識される。それゆえ、例えば音響だけの会議システムのような、没入型のオーディオ・システムに用いるために本発明を使用することができる。
本発明は当面の実施例に関して記述されているが、変更、変化および改良が行われてもよいことは当業者によって了解される。また、発明の範囲から外れることなく、等価物や等価物のステップが実施例の要素やステップに代えて用いられてもよい。さらに、多くの変更が本発明の核心の範囲から外れずに、本発明の思想を特定の状況や材料に本発明を適応させるためになされてもよい。そのような変更、変化、変更および改良は、明示的には記述されていないが、しかしながら、発明の思想の範囲内で意図され意味するものである。したがって、本発明はここに記述した特定の実施例に制限されるものではなく、独立クレームの範囲内にある全ての実施例をすべて含むものである。

Claims (16)

  1. 複数のアバターを含む仮想環境にアバター用のオーディオシーンを作成する方法であって;
    前記複数のアバター間のリンク構造を作る工程と;
    別のリンクしたアバターとの関連に基づいて各アバターに対してオーディオシーンを提供する工程と;
    を含む方法。
  2. 前記リンク構造は、着信するリンク上のオーディオ流(audio stream)に適用するべき提供角度(rendering angle)と減衰係数(attenuation factor)の少なくとも1つを定義するのに使用可能であることを特徴とする請求項1に記載のオーディオシーン作成方法。
  3. コスト距離(cost metric)が前記リンク構造の2体のアバター間の距離に基づいて計算されることを特徴とする請求項2に記載のオーディオシーン作成方法。
  4. 前記コスト距離が前記減衰係数を定義することを特徴とする請求項3に記載のオーディオシーン作成方法。
  5. 前記リンク構造の前記2体のアバター間におけるリンクの角度は、前記提供角度を定義することを特徴とする請求項2乃至請求項4の何れか1項に記載のオーディオシーン作成方法。
  6. 前記リンク構造は前記複数のアバターを接続する木構造であることを特徴とする請求項1乃至請求項5の何れか1項に記載のオーディオシーン作成方法。
  7. 前記木構造は最小全域木であることを特徴とする請求項6に記載のオーディオシーン作成方法。
  8. さらに、ループの最小の長さが前記提供されるオーディオシーン中でのエコーを回避する所定値未満であるように、前記最小全域木にループを導入する工程を有することを特徴とする請求項7に記載のオーディオシーン作成方法。
  9. 前記所定値はアバターの聴取距離の2倍であることを特徴とする請求項8に記載のオーディオシーン作成方法。
  10. さらに、前記提供されるオーディオシーンを前記複数のアバターの少なくとも1体によって生成されたオーディオ流と混ぜる工程を有することを特徴とする請求項1乃至請求項9の何れか1項に記載のオーディオシーン作成方法。
  11. さらに、別のリンクしたアバターに前記混ぜたオーディオシーンを送る工程を有することを特徴とする請求項10に記載のオーディオシーン作成方法。
  12. 請求項1乃至請求項11の何れか1項に記載のオーディオシーン作成方法を実現するようにコンピュータを制御するための少なくとも1つの指示を含むコンピュータ・プログラム。
  13. 請求項12に記載のコンピュータ・プログラムを提供するコンピュータ読取可能媒体。
  14. 請求項1乃至請求項13の何れか1項に記載のオーディオシーン作成方法の工程を実践するように配置されたユーザ計算装置。
  15. 仮想環境に対してオーディオシーンを作成するように配置されたシステムであって;
    複数の計算装置であって、前記仮想環境で少なくとも1体のアバターを制御することができる各計算装置を備え;
    そこでは、各計算装置は少なくとも1体のアバターに対して出力オーディオシーンを提供するように配置され、かつ少なくとも1台の他の計算装置に前記出力オーディオシーンを通信するように配置されたことを特徴とするオーディオシーン作成システム。
  16. さらに、各計算装置は少なくとも1台の他の計算装置から入力オーディオシーンを受け取り、かつ前記出力オーディオシーンと共に前記入力オーディオシーンを提供するように配置されたことを特徴とする請求項15に記載のオーディオシーン作成システム。
JP2009535524A 2006-11-08 2007-11-08 オーディオシーン作成用装置および方法 Active JP4997291B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
AU2006906213A AU2006906213A0 (en) 2006-11-08 Apparatuses and methods for use in creating an audio scene
AU2006906213 2006-11-08
PCT/AU2007/001712 WO2008055305A1 (en) 2006-11-08 2007-11-08 Apparatuses and methods for use in creating an audio scene

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2012110546A Division JP5563014B2 (ja) 2006-11-08 2012-05-14 オーディオシーン作成用装置および方法

Publications (2)

Publication Number Publication Date
JP2010509810A true JP2010509810A (ja) 2010-03-25
JP4997291B2 JP4997291B2 (ja) 2012-08-08

Family

ID=39364104

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2009535524A Active JP4997291B2 (ja) 2006-11-08 2007-11-08 オーディオシーン作成用装置および方法
JP2012110546A Active JP5563014B2 (ja) 2006-11-08 2012-05-14 オーディオシーン作成用装置および方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2012110546A Active JP5563014B2 (ja) 2006-11-08 2012-05-14 オーディオシーン作成用装置および方法

Country Status (11)

Country Link
US (1) US8403751B2 (ja)
EP (1) EP2095679B1 (ja)
JP (2) JP4997291B2 (ja)
KR (2) KR101201695B1 (ja)
CN (2) CN101573991B (ja)
AU (1) AU2007317195A1 (ja)
BR (1) BRPI0718711B1 (ja)
CA (1) CA2667110C (ja)
HK (1) HK1135269A1 (ja)
RU (2) RU2495538C2 (ja)
WO (1) WO2008055305A1 (ja)

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101201695B1 (ko) * 2006-11-08 2012-11-15 돌비 레버러토리즈 라이쎈싱 코오포레이션 오디오 장면을 생성하는데 사용하기 위한 장치들 및 방법들
GB0703974D0 (en) * 2007-03-01 2007-04-11 Sony Comp Entertainment Europe Entertainment device
CN102017402B (zh) 2007-12-21 2015-01-07 Dts有限责任公司 用于调节音频信号的感知响度的系统
US20090235191A1 (en) * 2008-03-11 2009-09-17 Garbow Zachary A Method for Accessing a Secondary Virtual Environment from Within a Primary Virtual Environment
US20090234948A1 (en) * 2008-03-11 2009-09-17 Garbow Zachary A Using Multiple Servers to Divide a Virtual World
US8875026B2 (en) 2008-05-01 2014-10-28 International Business Machines Corporation Directed communication in a virtual environment
US8315409B2 (en) * 2008-09-16 2012-11-20 International Business Machines Corporation Modifications of audio communications in an online environment
US8577060B2 (en) * 2009-07-02 2013-11-05 Avaya Inc. Method and apparatus for dynamically determining mix sets in an audio processor
US8538042B2 (en) * 2009-08-11 2013-09-17 Dts Llc System for increasing perceived loudness of speakers
EP2537287A4 (en) * 2010-02-18 2012-12-26 Smart Services Crc Pty Ltd SYSTEM, METHOD AND SOFTWARE APPLICATION FOR DISTRIBUTING DATA OVER A VARIETY OF COMPUTER SYSTEMS
US9312829B2 (en) 2012-04-12 2016-04-12 Dts Llc System for adjusting loudness of audio signals in real time
CN104801043B (zh) * 2014-01-23 2019-12-13 腾讯科技(深圳)有限公司 场景音效控制的方法及装置
US9466278B2 (en) * 2014-05-08 2016-10-11 High Fidelity, Inc. Systems and methods for providing immersive audio experiences in computer-generated virtual environments
JP6205071B2 (ja) * 2014-09-08 2017-09-27 富士フイルム株式会社 撮像制御装置、撮像制御方法、カメラシステム及びプログラム
EP3287867A1 (en) * 2016-08-26 2018-02-28 Nokia Technologies Oy Audio processing
GB201719854D0 (en) * 2017-11-29 2018-01-10 Univ London Queen Mary Sound effect synthesis
US10735882B2 (en) * 2018-05-31 2020-08-04 At&T Intellectual Property I, L.P. Method of audio-assisted field of view prediction for spherical video streaming
US20200228911A1 (en) * 2019-01-16 2020-07-16 Roblox Corporation Audio spatialization
US10785563B1 (en) * 2019-03-15 2020-09-22 Hitachi, Ltd. Omni-directional audible noise source localization apparatus
US10952006B1 (en) 2020-10-20 2021-03-16 Katmai Tech Holdings LLC Adjusting relative left-right sound to provide sense of an avatar's position in a virtual space, and applications thereof
US11457178B2 (en) 2020-10-20 2022-09-27 Katmai Tech Inc. Three-dimensional modeling inside a virtual video conferencing environment with a navigable avatar, and applications thereof
US11076128B1 (en) 2020-10-20 2021-07-27 Katmai Tech Holdings LLC Determining video stream quality based on relative position in a virtual space, and applications thereof
US11070768B1 (en) 2020-10-20 2021-07-20 Katmai Tech Holdings LLC Volume areas in a three-dimensional virtual conference space, and applications thereof
US10979672B1 (en) 2020-10-20 2021-04-13 Katmai Tech Holdings LLC Web-based videoconference virtual environment with navigable avatars, and applications thereof
US11095857B1 (en) 2020-10-20 2021-08-17 Katmai Tech Holdings LLC Presenter mode in a three-dimensional virtual conference space, and applications thereof
US11750745B2 (en) 2020-11-18 2023-09-05 Kelly Properties, Llc Processing and distribution of audio signals in a multi-party conferencing environment
US11743430B2 (en) 2021-05-06 2023-08-29 Katmai Tech Inc. Providing awareness of who can hear audio in a virtual conference, and applications thereof
US11184362B1 (en) 2021-05-06 2021-11-23 Katmai Tech Holdings LLC Securing private audio in a virtual conference, and applications thereof
US11928774B2 (en) 2022-07-20 2024-03-12 Katmai Tech Inc. Multi-screen presentation in a virtual videoconferencing environment
US11651108B1 (en) 2022-07-20 2023-05-16 Katmai Tech Inc. Time access control in virtual environment application
US11876630B1 (en) 2022-07-20 2024-01-16 Katmai Tech Inc. Architecture to control zones
US11700354B1 (en) 2022-07-21 2023-07-11 Katmai Tech Inc. Resituating avatars in a virtual environment
US11741664B1 (en) 2022-07-21 2023-08-29 Katmai Tech Inc. Resituating virtual cameras and avatars in a virtual environment
US11562531B1 (en) 2022-07-28 2023-01-24 Katmai Tech Inc. Cascading shadow maps in areas of a three-dimensional environment
US11682164B1 (en) 2022-07-28 2023-06-20 Katmai Tech Inc. Sampling shadow maps at an offset
US11704864B1 (en) 2022-07-28 2023-07-18 Katmai Tech Inc. Static rendering for a combination of background and foreground objects
US11956571B2 (en) 2022-07-28 2024-04-09 Katmai Tech Inc. Scene freezing and unfreezing
US11593989B1 (en) 2022-07-28 2023-02-28 Katmai Tech Inc. Efficient shadows for alpha-mapped models
US11776203B1 (en) 2022-07-28 2023-10-03 Katmai Tech Inc. Volumetric scattering effect in a three-dimensional virtual environment with navigable video avatars
US11711494B1 (en) 2022-07-28 2023-07-25 Katmai Tech Inc. Automatic instancing for efficient rendering of three-dimensional virtual environment
US11748939B1 (en) 2022-09-13 2023-09-05 Katmai Tech Inc. Selecting a point to navigate video avatars in a three-dimensional environment

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0389700A (ja) * 1989-08-31 1991-04-15 Matsushita Electric Ind Co Ltd 音像定位方法
JP2000231474A (ja) * 1999-02-08 2000-08-22 Nippon Telegr & Teleph Corp <Ntt> マルチユーザ仮想空間における音源の定位制御方法、その装置及びそのプログラムを記録した記録媒体
JP2004267433A (ja) * 2003-03-07 2004-09-30 Namco Ltd 音声チャット機能を提供する情報処理装置、サーバおよびプログラム並びに記録媒体
JP2004298373A (ja) * 2003-03-31 2004-10-28 Koei:Kk ネットワークゲームサーバ、制御方法、プログラム及び記憶媒体
JP2005100420A (ja) * 2003-09-25 2005-04-14 Microsoft Corp 現在の音声発話者の視覚的指示
JP2006094315A (ja) * 2004-09-27 2006-04-06 Hitachi Ltd 立体音響再生システム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1248504C (zh) * 1997-01-29 2006-03-29 数字广告及销售有限公司 通过通信网络传送媒体文件的方法
US6175842B1 (en) 1997-07-03 2001-01-16 At&T Corp. System and method for providing dynamic three-dimensional multi-user virtual spaces in synchrony with hypertext browsing
US6931370B1 (en) * 1999-11-02 2005-08-16 Digital Theater Systems, Inc. System and method for providing interactive audio in a multi-channel audio environment
JP3534345B1 (ja) * 2002-10-22 2004-06-07 コナミ株式会社 ゲームプログラム及びゲーム装置
US20040085259A1 (en) * 2002-11-04 2004-05-06 Mark Tarlton Avatar control using a communication device
JP4848362B2 (ja) * 2004-04-16 2011-12-28 ドルビー ラボラトリーズ ライセンシング コーポレイション オーディオ・シーンを生成する際に使用する装置及び方法
US7491123B2 (en) * 2004-07-29 2009-02-17 Nintendo Co., Ltd. Video game voice chat with amplitude-based virtual ranging
US7577110B2 (en) * 2005-08-12 2009-08-18 University Of Southern California Audio chat system based on peer-to-peer architecture
KR101201695B1 (ko) * 2006-11-08 2012-11-15 돌비 레버러토리즈 라이쎈싱 코오포레이션 오디오 장면을 생성하는데 사용하기 위한 장치들 및 방법들

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0389700A (ja) * 1989-08-31 1991-04-15 Matsushita Electric Ind Co Ltd 音像定位方法
JP2000231474A (ja) * 1999-02-08 2000-08-22 Nippon Telegr & Teleph Corp <Ntt> マルチユーザ仮想空間における音源の定位制御方法、その装置及びそのプログラムを記録した記録媒体
JP2004267433A (ja) * 2003-03-07 2004-09-30 Namco Ltd 音声チャット機能を提供する情報処理装置、サーバおよびプログラム並びに記録媒体
JP2004298373A (ja) * 2003-03-31 2004-10-28 Koei:Kk ネットワークゲームサーバ、制御方法、プログラム及び記憶媒体
JP2005100420A (ja) * 2003-09-25 2005-04-14 Microsoft Corp 現在の音声発話者の視覚的指示
JP2006094315A (ja) * 2004-09-27 2006-04-06 Hitachi Ltd 立体音響再生システム

Also Published As

Publication number Publication date
EP2095679B1 (en) 2013-07-10
CN101573991B (zh) 2011-08-03
CA2667110A1 (en) 2008-05-15
JP2012196465A (ja) 2012-10-18
US8403751B2 (en) 2013-03-26
HK1135269A1 (en) 2010-05-28
EP2095679A4 (en) 2011-10-19
KR20090086585A (ko) 2009-08-13
US20100049346A1 (en) 2010-02-25
KR20120080647A (ko) 2012-07-17
EP2095679A1 (en) 2009-09-02
CN101573991A (zh) 2009-11-04
BRPI0718711B1 (pt) 2019-09-24
CA2667110C (en) 2014-01-14
RU2009121548A (ru) 2010-12-20
RU2012100228A (ru) 2013-07-20
RU2449496C2 (ru) 2012-04-27
KR101225475B1 (ko) 2013-01-23
RU2495538C2 (ru) 2013-10-10
BRPI0718711A2 (pt) 2014-01-14
AU2007317195A1 (en) 2008-05-15
JP4997291B2 (ja) 2012-08-08
CN102325299A (zh) 2012-01-18
JP5563014B2 (ja) 2014-07-30
WO2008055305A1 (en) 2008-05-15
KR101201695B1 (ko) 2012-11-15
CN102325299B (zh) 2014-03-12

Similar Documents

Publication Publication Date Title
JP5563014B2 (ja) オーディオシーン作成用装置および方法
JP4854736B2 (ja) 没入型オーディオ通信
US7346654B1 (en) Virtual meeting rooms with spatial audio
JP5405557B2 (ja) コンピュータで生成された三次元仮想環境へのウエブ・コンテンツの取り込み
US7985138B2 (en) SIP based VoIP multiplayer network games
US20070168359A1 (en) Method and system for proximity based voice chat
JP2004216151A (ja) 対話式環境における強化型オーディオ通信のための方法およびシステム
AU2012200463B2 (en) Apparatus and Methods for use in Creating an Audio Scene
Jiang et al. Peer-to-peer aoi voice chatting for massively multiplayer online games
Liu et al. Immersive peer-to-peer audio streaming platform for massive online games.
AU2006261594B2 (en) Immersive audio communication
AU2012202422B2 (en) Immersive Audio Communication

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110214

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110222

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20110420

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20110504

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110511

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20110523

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20110506

A072 Dismissal of procedure [no reply to invitation to correct request for examination]

Free format text: JAPANESE INTERMEDIATE CODE: A073

Effective date: 20110920

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120110

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120323

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120417

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120514

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150518

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4997291

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250