JP2008547290A5 - - Google Patents
Download PDFInfo
- Publication number
- JP2008547290A5 JP2008547290A5 JP2008517278A JP2008517278A JP2008547290A5 JP 2008547290 A5 JP2008547290 A5 JP 2008547290A5 JP 2008517278 A JP2008517278 A JP 2008517278A JP 2008517278 A JP2008517278 A JP 2008517278A JP 2008547290 A5 JP2008547290 A5 JP 2008547290A5
- Authority
- JP
- Japan
- Prior art keywords
- avatar
- audio
- virtual environment
- virtual
- immersive
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004891 communication Methods 0.000 claims description 61
- 238000000034 method Methods 0.000 claims description 12
- 238000009877 rendering Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 4
- 238000004422 calculation algorithm Methods 0.000 description 12
- 238000005516 engineering process Methods 0.000 description 4
- 230000004807 localization Effects 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000006011 modification reaction Methods 0.000 description 3
- 230000002238 attenuated Effects 0.000 description 1
- 230000003190 augmentative Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000003365 glass fiber Substances 0.000 description 1
- 230000002452 interceptive Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000000644 propagated Effects 0.000 description 1
- 230000001131 transforming Effects 0.000 description 1
Description
本発明は、一般的には、没入型オーディオ通信(immersive audio communication)に関するものであり、仮想環境のアバターに付随する没入型オーディオ・シーン(immerisive audio scene)に特に該当するが、決してこれに限定されるのではない。
従来より、分散型仮想環境(マルチプレーヤ・オンライン・ゲーム等)は、ユーザが互いに通信し合えるようにするために、初歩的な手段を用いていた。例えば、ある分散型仮想環境では、テキストに基づく通信を採用し、他の仮想環境では、インターネット・プロトコル技術によって単純なモノラル音声(mono voice)をサポートしている。
中程度または高い品質のオーディオ通信によって仮想環境を増強することにより、ユーザの仮想環境の知覚を改善できることが示唆されている。このため、分散型仮想環境にリアルタイム没入型オーディオ通信を装備するために、かなりの研究が行われている。研究の殆どは、ユーザに空間オーディオを提供して、方向および距離の感覚を伝えることを中心に据えている。即ち、オーディオ情報が、特定の方向から発するように聞こえ、ある距離を伝わってきたような感覚を伝える。
分散型仮想環境に没入型オーディオ通信を装備するための研究では、一般に、仮想環境のユーザが用いる計算機(デスクトップ・コンピュータ等)にはそれなりの量の処理能力があり、比較的高い帯域幅のデータ・リンクを通じて仮想環境に接続されていることを想定している。したがって、今日の没入型オーディオ通信技術は、一般に、1つ以上の中央サーバおよびユーザの計算機に跨って分散した没入型オーディオ・シーン計算を伴う。
Nokia N-Gageや、Playstation Portableのような、近年の携帯用ワイヤレス計算デバイスの普及(uptake)は、携帯用ワイヤレス計算機を通じて仮想環境にアクセスしたい潜在的なユーザ数が増大しつつあることを意味する。これらと同等のデスクトップ型と比較すると、携帯用ワイヤレス計算機は、処理能力に限界があり、それなりに低い帯域幅のワイヤレス・リンクを通じて仮想環境に接続する。生憎、今日の没入型オーディオ通信技術は、携帯用ワイヤレス計算機(または、計算能力が比較的低いその他の計算機)を効率よくサポートするとは考えられない。何故なら、ワイヤレス計算機には、分散オーディオ・シーン計算に関与できる程の十分な処理能力がないこともあるからである。この結果、計算が集中するオーディオ・シーンの処理の多くが、仮想環境サーバに押し戻されることになる。これが基本的に意味するのは、携帯用ワイヤレス計算機をサポートして、没入型オーディオ通信を提供するには、一層強力なサーバを採用しなければならなくなる可能性があるということである。
本発明の第1の態様によれば、仮想環境のためにオーディオを用いる方法を提供する。この方法は、
仮想環境に付随する第1アバターを特定するステップと、
第2アバターに作成したオーディオ情報に関して、オーディオ再利用判断基準を満たすか否か判定を行うステップと、
オーディオ再利用判断基準を満たすと判定した場合、第1アバターにオーディオ情報を再利用するステップと、
を備えている。
仮想環境に付随する第1アバターを特定するステップと、
第2アバターに作成したオーディオ情報に関して、オーディオ再利用判断基準を満たすか否か判定を行うステップと、
オーディオ再利用判断基準を満たすと判定した場合、第1アバターにオーディオ情報を再利用するステップと、
を備えている。
この方法の利点は、既存の没入型オーディオ技術とは異なり、携帯用ワイヤレス通信デバイス(または処理能力が比較的低いその他のあらゆるデバイス)のために没入型オーディオ通信を行いやすくする潜在的可能性があることである。この利点は、本方法が、可能であれば(即ち、オーディオ再利用判断基準を満たす場合)、オーディオ情報を再利用することを伴い、これによって没入型オーディオを作成する、処理が集中するタスクを削減することができるという事実に基づいている。実施形態例として、本方法は、1つ以上の中央オーディオ・シーン作成サーバによって実行し、中央サーバのオーディオ・シーン処理要求を低減することができる。本発明とは対照的に、既存の没入型オーディオ通信技術は、オーディオ情報再利用の態様を採用せず、このため、本発明を採用するシステムよりも多くの処理リソースを必要とする。
好ましくは、本方法は、更に、仮想環境に付随する第1アバターと第3アバターとの間の距離に基づいて、オーディオ情報を処理するステップを備えている。
オーディオを処理するステップを実行することの利点は、再利用するオーディオ情報に距離の感覚を加えることができることである。例えば、この処理ステップは、オーディオ情報を減衰させることによって、オーディオ情報がある距離を伝搬してきたことを表すことができる。
オーディオを処理するステップを実行することの利点は、再利用するオーディオ情報に距離の感覚を加えることができることである。例えば、この処理ステップは、オーディオ情報を減衰させることによって、オーディオ情報がある距離を伝搬してきたことを表すことができる。
好ましくは、本方法は、更に、オーディオ再利用判断基準を満たしていないと判定した場合、第1アバターに対して代わりのオーディオ情報を作成するステップを備えている。
代わりのオーディオ情報を作成することの利点は、再利用判断基準を満たさない場合に、第1アバターにオーディオを得るメカニズムを設けることである。
代わりのオーディオ情報を作成することの利点は、再利用判断基準を満たさない場合に、第1アバターにオーディオを得るメカニズムを設けることである。
好ましくは、オーディオ再利用判断基準を満たすか否か判定を行うステップは、第1アバターが、オーディオ情報を、第3アバターが位置する仮想環境の所定の区域から発するものとして知覚できるか否か判定を行うことを含む。
第1アバターが、オーディオ情報を、第3アバターが位置する仮想環境の所定の区域から発するものとして知覚できるか否か判定を行うことの利点は、再利用するオーディ情報が、精度高く作成したオーディオ情報の空間的態様にそれなりに近い空間特性を有することを保証する技術を提供することであり、前述の代わりのオーディオ情報を作成するステップの間に作成できることである。
好ましくは、オーディオ情報は空間オーディオ情報を備えている。
本発明の第2の態様によれば、仮想環境のためにオーディオを用いるシステムを提供し、このシステムは、
仮想環境に付随する第1アバターを特定するステップと、
仮想環境に付随する第2アバターに作成したオーディオ情報に関して、オーディオ再利用判断基準を満たすか否か判定を行うステップと、そして
オーディオ再利用判断基準を満たすと判定した場合、第1アバターにオーディオ情報を再利用するステップと、
を実行するように構成されている処理手段を備えている。
本発明の第2の態様によれば、仮想環境のためにオーディオを用いるシステムを提供し、このシステムは、
仮想環境に付随する第1アバターを特定するステップと、
仮想環境に付随する第2アバターに作成したオーディオ情報に関して、オーディオ再利用判断基準を満たすか否か判定を行うステップと、そして
オーディオ再利用判断基準を満たすと判定した場合、第1アバターにオーディオ情報を再利用するステップと、
を実行するように構成されている処理手段を備えている。
好ましくは、処理手段は、更に、仮想環境に付随する第1アバターと第3アバターとの間の距離に基づいて、オーディオ情報を処理するステップを実行するように構成されている。
好ましくは、処理手段は、オーディオ再利用判断基準を満たしていないと判定した場合、第1アバターに対して代わりのオーディオ情報を作成するステップを実行するように構成されている。
好ましくは、処理手段は、更に、オーディオ再利用判断基準を満たすか否か判定を行うステップが、第1アバターが、オーディオ情報を、第3アバターが位置する仮想環境の所定の区域から発するものとして知覚できるか否か判定を行うことを含むように構成されている。
好ましくは、オーディオ情報は空間オーディオ情報を備えている。
本発明の第3の態様によれば、計算機に、第1の態様の方法を実行させるように構成されている少なくとも1つの命令を備えているコンピュータ・プログラムを提供する。
本発明の第3の態様によれば、計算機に、第1の態様の方法を実行させるように構成されている少なくとも1つの命令を備えているコンピュータ・プログラムを提供する。
本発明の第4の態様によれば、第3の態様によるコンピュータ・プログラムを備えている、コンピュータ読み取り可能媒体を提供する。
本発明の範囲に該当する実施形態が他にもあり得るが、本発明の一実施形態についてこれより、添付図面を参照して説明する。しかし、これは一例に過ぎない。
図1を参照すると、システム100は、仮想環境システム102、ユーザ計算機104、および通信システム106を含む。
図1を参照すると、システム100は、仮想環境システム102、ユーザ計算機104、および通信システム106を含む。
仮想環境システム102の主要な機能は、仮想環境についての状態情報を維持すること、および仮想環境における参加者に没入型オーディオ通信を提供することである。本発明のこの実施形態では、仮想環境は、マルチプレーヤ・オンライン・ゲームの戦場(battlefield)であり、アバターが仮想環境の参加者(即ち、ユーザ計算機104のユーザ)を表し、動画化した兵士の姿となっている。仮想環境システム102が維持する状態情報は、例えば、仮想環境におけるアバターの位置、即ち、戦場における兵士の位置を含む。
尚、本発明は、マルチプレーヤ・オンライン・ゲームに合わせた仮想環境およびアバターに限定されるのではないことを注記しておく。本発明は、例えば、ビジネス関連(仮想社員会議等)、または教育関連(仮想講義等)を含む範囲の仮想環境に適用することができる。
状態情報を維持し、没入型オーディオ通信を提供するという主要な機能を実行するために、仮想環境システム102は、従前のコンピュータ・ハードウェアを備えている。コンピュータ・ハードウェアは、マザーボード、中央演算装置、ランダム・アクセス・メモリ、ハード・ディスク、ネットワーク構成ハードウェア、および電源を含む。ハードウェアに加えて、仮想環境システム102は、オペレーティング・システム(www.redhat.comから入手可能なLinux等)を含む。オペレーティング・システムは、システム102のハード・ディスク上に常駐し、ソフトウェア・アプリケーションを実行することができる環境を設けるために、ハードウェアと共動する。これに関して、仮想環境システム102のハード・ディスクには、状態情報を維持するために仮想環境サーバ・ソフトウェア(www.idsoftware.comから入手可能なQuakeエンジン等)、そして仮想環境の参加者に没入型オーディオ通信を提供するために没入型オーディオ通信サーバ・アプリケーションがロードされている。
ユーザ計算機104は、Nokia N-GageおよびPlaystation Portableのような、携帯用ワイヤレス通信デバイスの形態となっている。しかしながら、本発明は携帯用ワイヤレス通信デバイスに限定されるのではないことは、容易に認められよう。本発明の代替実施形態では、ユーザ計算機104は、例えば、ラップトップまたはデスクトップ・コンピュータとすることもできることも想定している。各ユーザ計算機104は、従前のコンピュータ・ハードウェアを備えており、その中には、マザーボード、中央演算装置、ランダム・アクセス・メモリ、ハード・ディスク、電源、モニタ、およびユーザ情報入力(例えば、キーボード)を含む。ハードウェアに加えて、各ユーザ計算機104のハード・ディスクには、BlackBerryオペレーティング・システムがロードされている。オペレーティング・システムは、計算機104のハードウェアと双方向処理を行い、ソフトウェア・アプリケーションを実行することができる環境を設ける。これに関して、各ユーザ計算機104のハード・ディスクには、仮想環境クライアント・アプリケーションおよび没入型オーディオ通信クライアントがロードされている。
仮想環境クライアント・アプリケーションは、仮想環境についての仮想環境状態情報を、仮想環境システム102上にロードされている仮想環境サーバ・アプリケーションとの間で送受信するように構成されている。没入型オーディオ通信クライアントは、仮想環境システム102上の没入型オーディオ通信サーバとの間でオーディオ情報を送受信するように構成されている。既に記載したが、各ユーザ計算機104には、Nokia N-Gage向けのSymbianオペレーティング・システムのような、オペレーティング・システムがロードされている。本発明は、Symbianオペレーティング・システムに限定されるのではなく、したがって本発明は、ユーザ計算機104上にロードされているオペレーティング・システムが異なっていても、適用することができる。別のオペレーティング・システムには、例えば、Microsoft Windows(登録商標) XPまたはLinuxが含まれる(双方共、計算機104がデスクトップ・コンピュータの形態であるときに用いられるのが通例である)。
通信システム106によって、ユーザ計算機104の各々の仮想環境クライアント・アプリケーション、および仮想環境システム102の仮想環境サーバ・アプリケーションが、互いにデータ(更に具体的には、状態情報)を交換することが可能になる。また、通信システム106によって、ユーザ計算機104の各々の没入型オーディオ通信クライアント・アプリケーションおよび仮想環境システム102の没入型オーディオ通信サーバ・アプリケーションは、互いにデータ(更に具体的には、状態情報)を交換することが可能になる。
データの交換をサポートするために、通信システム106はユーザ計算機104との間でデータを送受信する移動体電話ネットワーク108を備えている。本発明は、移動体電話ネットワーク108と共に用いることに限定されるのではなく、本発明の代替実施形態は、例えば、802.11系ワイヤレス・ネットワークを採用することもできる。移動体電話ネットワーク108に加えて、通信システム016は、仮想環境システム102との間でデータを送受信するために、インターネットのような、公衆アクセス・インターネット・プロトコルに基づくパケット交換ネットワーク110も備えている。移動体電話ネットワーク108および通信システム106は、通信リンク112を通じて互いに相互接続されている。通信リンク112は、高速光ファイバ・リンクの形態となっている。通信リンク112によって、移動体電話ネットワーク108およびパケット交換ネットワーク110間においてデータを交換することが可能となる。
仮想環境システム102およびユーザ計算機104が通信システム106を通じてデータを交換することを可能にするために、仮想環境サーバ102は、高速エータ・リンクの形態をなす通信リンク114を通じてパケット交換ネットワーク110に接続されている。更に、ユーザ計算機104は、各々、ワイヤレスGPRSリンク116を通じて移動体電話ネットワーク108に接続されている。
本発明の実施形態は、主に、没入型オーディオ通信の提供に関する。したがって、本実施形態の以下の説明では、ユーザ計算機104上にロードされている没入型オーディオ通信クライアント・アプリケーション、および仮想環境システム102上にロードされている没入型オーディオ通信サーバ・アプリケーションが実行する機能性を中心に据えることにする。
没入型音声通信クライアント・アプリケーションが実行する主な機能には2つある。第1の機能は、ユーザ計算機104が取り込んだオーディオ情報(例えば、ユーザの音声)を、仮想環境システム102上にロードされている没入型オーディオ通信サーバに転送することである。2番目の機能は、仮想環境システム102上にロードされている没入型オーディオ通信サーバからのオーディオ・シーン(没入型オーディオ通信情報)を受信し、このオーディオ・シーンをユーザ計算機104のユーザにレンダリングすることである。オーディオ・シーンのレンダリングには、基本的に、スピーカまたはヘッドホンを通じてオーディオ・シーンを再生することを伴う。
また、仮想環境システム102上にロードされている没入型オーディオ通信サーバ・アプリケーションも2つの主要な機能を実行する。第1に、サーバ・アプリケーションは、没入型オーディオ通信クライアントから受信したオーディオ情報を処理して、仮想環境におけるアバターの各々に合わせてオーディオ・シーンを作成する。第2に、サーバ・アプリケーションはこのオーディオ・シーンをユーザ計算機104に転送する。オーディオ・シーンを作成するという第1の機能に関して、適した空間オーディオ処理アルゴリズムであればいずれでも採用できることを想定している。しかしながら、本実施形態の場合、没入型オーディオ通信サーバ・アプリケーションは、Head Related Transfer Function(HRTF:頭部伝達関数)アルゴリズムを用いるように構成されており、その詳細は、"3-D Sound for Virtual Reality and Multimedia"と題する文献に明記されている。この文献は、Academic Press Professional, Cambridge, MA, USA, 1994に載っており、Durand R. Begaultの著作である。
頭部伝達関数を実行することに加えて、没入型オーディオ通信サーバ・アプリケーションは、オーディオ・シーン再利用アルゴリズムを実行するように構成されている。オーディオ・シーン再利用アルゴリズムの目的は、没入型オーディオ・サーバ・アプリケーションが実行する頭部伝達関数動作を潜在的に最小限に抑え、これによってオーディオ・シーンを作成するために必要な処理リソースを最小限に抑えることである。この再利用アルゴリズムによって、仮想環境用没入型オーディオを有する低処理能力デバイス(ワイヤレス形態用計算機等)をサポートするのに、本発明を本質的に相応しくする。以下の説明では、図2を参照しながらオーディオ・シーン再利用アルゴリズムについて記載する。図2は、3つのアバターA1、A2、およびA3を含む仮想環境を表す。これらのアバターの全ては同じ絶対方向(例えば、北)を向いている。この仮定は、本発明の実施形態のこの説明を簡素化するために行った。しかしながら、実際には、アバターは別々の方向を向いていてもよい。
再利用の一例を図2に示す。図2(a)は、既存の没入型オーディオ通信技術が、アバターA1からのリアルタイムの発話をA2およびA3のオーディオ・シーン内に正確に定位した(place)結果を示す。これには、2つの空間定位動作が必要であり、2回の別々の頭部変換関数の計算を、リスナA1およびA3毎に1回ずつ、伴う。精度高い定位を行うには、特に、多くのアバターが関与する場合、計算が集中する可能性がある。対照的に、図2(b)は、再利用アルゴリズムの結果を示す。頭部伝達関数を用いて、A1が精度高くA3のオーディオ・シーンにレンダリングされている。A3のオーディオ・シーンは、アバターA2のオーディオ・シーンとして再利用される。その結果、A2は、A1がA1’から来ているかのように、A1を精度低く聞くことになる。また、A3よりもA1から離れているので、再利用されるオーディオ・シーンを減衰させる。この再利用の状況に対するコストは、1回の空間定位動作(即ち、1回の頭部伝達関数)、および1回の減衰動作である。
尚、再利用アルゴリズムは、図2(b)に記載する状況では、再利用するオーディオ・シーンの数が増加する可能性がある場合、再利用するオーディオ・シーンの精度が低すぎることがないことを条件に、アルゴリズムはA2およびA3双方に対してA1を精度低くレンダリングする(すなわち、オーディオ・シーンを再利用する)可能性があることを注記しておく。
再利用アルゴリズムは、単純に、オーディオ・シーンを区別なく再利用するのではない。オーディオ・シーンを再利用する前に、再利用アルゴリズムは、オーディオ再利用判断基準を満たしているか否か判定を行う。これに関して、本発明のこの実施形態は、再利用判断基準として、角度誤差の概念を用いる。図2(b)を参照すると、角度誤差は、アバターA1からアバターA2およびA3に向かって延びるベクトルによって定義される。再利用アルゴリズムは、これらのベクトルによって定義される角度が既定の角度(「角度誤差」とも呼ぶ)以下である場合に、A3のオーディオ・シーンをA2に用いるようにしている。
尚、再利用判断基準は、前述した角度誤差の概念に限定されるのではないことを注記しておく。本発明の代替実施形態では、再利用判断基準は、アバター間の距離に基づくことができる。あるいは、角度誤差の概念を固定しなくてもよく、例えば、ある距離(例えば、10m)以内にあるアバターについては比較的小さな角度誤差とし、この距離よりも離れているアバターについてはそれよりも大きな角度誤差とすることもできる。
没入型オーディオ・サーバ・アプリケーションが実行する機能を、更に形式的に説明すると、次のようになる。
N個のアバター(A1、A2、...An)がある仮想世界を想定し、各々をクライアント(C2、C2、...CN)によって制御することとする。オーディオ・サンプル(Vi)をこれらのクライアントの各々から受信する。
N個のアバター(A1、A2、...An)がある仮想世界を想定し、各々をクライアント(C2、C2、...CN)によって制御することとする。オーディオ・サンプル(Vi)をこれらのクライアントの各々から受信する。
1.各アバター(i)が聞くことができる発話中のアバターの集合を計算し、当該集合をS
i
にセットする。
2.各集合S i が空になるまで、又は処理の限界に達するまでリピートする。
a.for i = 1からN
i.集合S i の中で最も近くにいる発話者A j を見つける。
ii.(If)アバターiの視点から見たA j からのオーディオについての空間化されたバージョン(H ji )が、予めの許容可能誤差内で計算されていないとき、(then)
1.アバターA i の視点から見た精度良くレンダリングされた、アバターA j からのオーディオV j について空間化されたバージョンH ji を作成する。
2.H ji について重み付けしたコピーを、リスナiのオーディオ・シーンにおけるレンダリングしたオブジェクトの集合である集合R i に付加する。当該適用される重み付けは、仮想世界におけるiおよびj間の相対的な距離の関数である。
iii.そうでない場合(Else)
1.許容可能誤差内にあるレンダリングしたオブジェクトH ji について重み付けしたコピーを、集合R i に付加する。当該適用される重み付けは、仮想世界におけるiとjとの間の相対的な距離の関数である。
iv.集合S i からA j を取り除く
b.forループ終了
3.繰り返し(while)終了
2.各集合S i が空になるまで、又は処理の限界に達するまでリピートする。
a.for i = 1からN
i.集合S i の中で最も近くにいる発話者A j を見つける。
ii.(If)アバターiの視点から見たA j からのオーディオについての空間化されたバージョン(H ji )が、予めの許容可能誤差内で計算されていないとき、(then)
1.アバターA i の視点から見た精度良くレンダリングされた、アバターA j からのオーディオV j について空間化されたバージョンH ji を作成する。
2.H ji について重み付けしたコピーを、リスナiのオーディオ・シーンにおけるレンダリングしたオブジェクトの集合である集合R i に付加する。当該適用される重み付けは、仮想世界におけるiおよびj間の相対的な距離の関数である。
iii.そうでない場合(Else)
1.許容可能誤差内にあるレンダリングしたオブジェクトH ji について重み付けしたコピーを、集合R i に付加する。当該適用される重み付けは、仮想世界におけるiとjとの間の相対的な距離の関数である。
iv.集合S i からA j を取り除く
b.forループ終了
3.繰り返し(while)終了
没入型オーディオ・サーバは、いかにして、既存の没入型オーディオ技法よりも低い処理能力で済ませるのか、その一例として、以下の例を考える。この例では、容認可能な角度誤差が、リスナから0および10メートルの間では、10度であり、10メートルから各アバターの聞き取り範囲の縁部まででは30度である。図3に示す仮想世界を用いて、全てのアバターが互いに聞き取ることができ、各アバターの周囲を囲む円は、半径が10mである。先の再利用アルゴリズムの形式的定義を全て纏めると次のようになる。
A1は、A2の精度高いレンダリングを要求する(H2、1)。
A2は、A1の精度高いレンダリングを要求する(H1、2)。
A3は、A2の精度高いレンダリングを要求する(H2、3)。
A1は、A3の精度高いレンダリングを要求する(H3、1)。
A2は、H3、1を再利用することができる。何故なら、生ずる角度誤差が30度未満であるからである。
A3は、H1,2を再利用することができる。何故なら、生ずる角度誤差が30度未満であるからである。
再利用メカニズムを用いると、サーバにおいて必要なレンダリング計算の回数が6回(既存の技法を用いた場合)から4回に減少する。
A2は、A1の精度高いレンダリングを要求する(H1、2)。
A3は、A2の精度高いレンダリングを要求する(H2、3)。
A1は、A3の精度高いレンダリングを要求する(H3、1)。
A2は、H3、1を再利用することができる。何故なら、生ずる角度誤差が30度未満であるからである。
A3は、H1,2を再利用することができる。何故なら、生ずる角度誤差が30度未満であるからである。
再利用メカニズムを用いると、サーバにおいて必要なレンダリング計算の回数が6回(既存の技法を用いた場合)から4回に減少する。
尚、本発明の実施形態は、仮想環境をサポートするために用いる場合について説明したが、本発明は、仮想環境で用いることに限定されるのではないことは容易に認められよう。したがって、本発明は、例えば、オーディオのみの会議システムとして用いるための没入型オーディオ・システムのみを設けるためにも用いることができる。
以上、本実施形態を参照しながら発明を説明したが、本発明の範囲から逸脱することなく、変形、変更および改良も可能であり、その要素およびそのステップを同等物で置き換えることも可能であることは当業者には言外である。加えて、本発明の中心的な範囲から逸脱することなく、本発明を特定の状況または素材に適合させるために、発明の教示に対して多くの修正を加えることもできる。このような変形、変更、修正、および改良は、以上では明示的には記載しなかったが、本発明の範囲および主旨に該当することを意図し、それを含意するものとする。したがって、本発明はここに記載した特定的な実施形態に限定されるのではなく、独立請求項の範囲に該当する実施形態を全て含むことを意図するものとする。
Claims (28)
- 仮想環境システムにおいて維持される状態情報を含む仮想環境についてオーディオを用いる方法であって、
前記仮想環境に付随する第1アバターを特定するステップと、
前記仮想環境に付随する第2アバターに作成したオーディオ情報に関して、オーディオ再利用判断基準を満たすか否か判定を行うステップであって、
前記オーディオ情報が前記仮想環境に関連付けられるオーディオ・シーンに関するものであり、前記第1アバター及び前記第2アバターが、それぞれ前記仮想環境内の参加者を表わしており、該参加者が、各計算デバイスを有するそれぞれのユーザから成り、
没入型オーディオ通信サーバ・アプリケーションが、複数の没入型オーディオ通信クライアント・アプリケーションから受信した前記オーディオ情報に関連付けられた空間特性に関してオーディオ情報の処理を行うと、前記仮想環境システムの前記サーバ・アプリケーションにおいて前記オーディオ・シーンが生成され、
前記空間特性に関する前記オーディオ情報の処理が、頭部伝達関数を計算することを含み、
前記各計算デバイスが、該計算デバイスのユーザに対して前記オーディオ・シーンをレンダリングする前記没入型オーディオ通信クライアント・アプリケーションの1つを備える、ステップと、
前記没入型オーディオ通信サーバ・アプリケーションにおける前記頭部伝達関数の計算を減らし、前記オーディオ・シーンの生成における効率化を図るために、前記オーディオ再利用判断基準を満たすと判定した場合に、前記オーディオ情報を前記第1アバターに再利用するステップであって、前記オーディオ情報を、前記第1アバターと前記仮想環境内の第3の参加者を表わす第3のアバターとの間の距離に基づいて処理することを備える、ステップと、を備えている、方法。 - 請求項1記載の方法において、
複数の前記計算デバイスの1又はそれ以上が、非携帯型計算デバイスの処理能力に関して制限された処理能力を有するデバイス、携帯型計算デバイス、ワイヤレス計算デバイス、又は移動体電話のうちの1又はそれ以上から成る、方法。 - 請求項1記載の方法であって、更に、前記オーディオ再利用判断基準を満たしていないと判定した場合に、前記第1アバターに対して代わりのオーディオ情報を作成するステップを備えている、方法。
- 請求項1から3までのいずれか1項に記載の方法において、前記オーディオ再利用判断基準を満たすか否か判定を行う前記ステップは、前記第1アバターが、前記オーディオ情報を、前記第3アバターが位置する仮想環境の所定の区域から発するものとして知覚できるか否か判定を行うことを含む、方法。
- 請求項1に記載の方法において、
前記仮想環境内の参加者が、自然数1〜nの集合によって数えられる複数の参加者から成り、ここで、nは2以上の自然数であり、
前記特定するステップ、前記判定を行うステップ、及び再利用するステップの1又はそれ以上が、
1からnまでの範囲内のiにおいて、各アバターiについて集合S i が空になるまで、又は処理の限界に達するまで、各アバターiが聞くことができる発話中のアバターの集合S i を再帰的に繰り返し計算するステップであって、
i.集合S i の中で最も近くにいる発話者であるアバターjを見つける
ii.(If)アバターiの視点から見たアバターjからのオーディオ情報についての空間化されたバージョンH ji が、予めの許容可能誤差内で計算されていないとき、(then)
1.アバターiから見た精度良くレンダリングされた、アバターjからのオーディオ情報について空間化されたバージョンH ji を作成する
2.H ji について重み付けしたコピーを、リスナであるアバターiのオーディオ・シーンにおけるレンダリングしたオブジェクトの集合である集合R i に付加する(ここで、当該適用される重み付けは、仮想世界におけるアバターiおよびアバターj間の相対的な距離の関数である)
iii.そうでない場合(Else)
1.許容可能誤差内にあるレンダリングしたオブジェクトH ji について重み付けしたコピーを、集合R i に付加する(ここで、当該適用される重み付けは、仮想世界におけるアバターiとアバターjとの間の相対的な距離の関数である)
iv.前記集合S i からアバターjを取り除く
ことを含むステップの1又はそれ以上を備える、方法。 - 仮想環境システムにおいて維持される状態情報を含む仮想環境についてオーディオを用いるシステムであって、該システムは、
前記仮想環境に付随する第1アバターを特定するステップと、
前記仮想環境に付随する第2アバターに作成したオーディオ情報に関して、オーディオ再利用判断基準を満たすか否か判定を行うステップであって、
前記オーディオ情報が前記仮想環境に関連付けられるオーディオ・シーンに関するものであり、前記第1アバター及び前記第2アバターが、それぞれ前記仮想環境内の参加者を表わしており、該参加者が、各計算デバイスを有するそれぞれのユーザから成り、
没入型オーディオ通信サーバ・アプリケーションが、複数の没入型オーディオ通信クライアント・アプリケーションから受信した前記オーディオ情報に関連付けられた空間特性に関してオーディオ情報の処理を行うと、前記仮想環境システムの前記サーバ・アプリケーションにおいて前記オーディオ・シーンが生成され、
前記空間特性に関する前記オーディオ情報の処理が、頭部伝達関数を計算することを含み、
前記各計算デバイスが、該計算デバイスのユーザに対して前記オーディオ・シーンをレンダリングする前記没入型オーディオ通信クライアント・アプリケーションの1つを備える、ステップと、
前記没入型オーディオ通信サーバ・アプリケーションにおける前記頭部伝達関数の計算を減らし、前記オーディオ・シーンの生成における効率化を図るために、前記オーディオ再利用判断基準を満たすと判定した場合に、前記オーディオ情報を前記第1アバターに再利用するステップであって、前記オーディオ情報を、前記第1アバターと前記仮想環境内の第3の参加者を表わす第3のアバターとの間の距離に基づいて処理することを備える、ステップと、
を実行するように構成されている処理手段を備えている、システム。 - 請求項6記載のシステムにおいて、
複数の前記計算デバイスの1又はそれ以上が、非携帯型計算デバイスの処理能力に関して制限された処理能力を有するデバイス、携帯型計算デバイス、ワイヤレス計算デバイス、又は移動体電話のうちの1又はそれ以上から成る、システム。 - 請求項6記載のシステムにおいて、前記処理手段は、更に、前記オーディオ再利用判断基準を満たしていないと判定した場合に、前記第1アバターに対して代わりのオーディオ情報を作成するステップを実行するように構成されている、システム。
- 請求項6から8までのいずれか1項に記載のシステムにおいて、前記オーディオ再利用判断基準を満たすか否か判定を行う前記ステップが、前記第1アバターが、前記オーディオ情報を、前記第3アバターが位置する仮想環境の所定の区域から発するものとして知覚できるか否か判定を行うことを含むように前記処理手段が構成される、システム。
- 請求項6に記載のシステムにおいて、
前記仮想環境内の参加者が、自然数1〜nの集合によって数えられる複数の参加者から成り、ここで、nは2以上の自然数であり、
前記特定するステップ、前記判定を行うステップ、及び再利用するステップの1又はそれ以上が、
1からnまでの範囲内のiにおいて、各アバターiについて集合S i が空になるまで、又は処理の限界に達するまで、各アバターiが聞くことができる発話中のアバターの集合S i を再帰的に繰り返し計算するステップであって、
i.集合S i の中で最も近くにいる発話者であるアバターjを見つける
ii.(If)アバターiの視点から見たアバターjからのオーディオ情報についての空間化されたバージョンH ji が、予めの許容可能誤差内で計算されていないとき、(then)
1.アバターiから見た精度良くレンダリングされた、アバターjからのオーディオ情報について空間化されたバージョンH ji を作成する
2.H ji について重み付けしたコピーを、リスナであるアバターiのオーディオ・シーンにおけるレンダリングしたオブジェクトの集合である集合R i に付加する(ここで、当該適用される重み付けは、仮想世界におけるアバターiおよびアバターj間の相対的な距離の関数である)
iii.そうでない場合(Else)
1.許容可能誤差内にあるレンダリングしたオブジェクトH ji について重み付けしたコピーを、集合R i に付加する(ここで、当該適用される重み付けは、仮想世界におけるアバターiとアバターjとの間の相対的な距離の関数である)
iv.前記集合S i からアバターjを取り除く
ことを含むステップの1又はそれ以上を備える、ように前記処理手段が構成される、システム。 - 計算デバイスに、請求項1から5までのいずれか1項記載の方法を実行させるように構成されている少なくとも1つの命令を備えているコンピュータ・プログラム。
- 請求項11記載のコンピュータ・プログラムを備えている、コンピュータ読み取り可能媒体。
- 請求項1に記載の方法において、前記仮想環境システムにおける前記没入型オーディオ通信サーバ・アプリケーション及び前記没入型オーディオ通信クライアント・アプリケーションが、通信システムを用いて相互にデータを交換する、方法。
- 請求項13に記載の方法において、前記データは、前記没入型オーディオ通信サーバ・アプリケーション及び前記没入型オーディオ通信クライアント・アプリケーションの間で交換され、前記状態情報又は前記オーディオ情報の1又はそれ以上を含む、方法。
- 請求項13に記載の方法において、前記通信システムが、電話ネットワーク又はパケット交換データ・ネットワークの1又はそれ以上を含む、方法。
- 請求項1に記載の方法において、前記仮想環境が、オンライン・ゲームを含んでおり、前記アバターのそれぞれが、該オンライン・ゲームの個々のプレーヤーから成る、方法。
- 請求項1に記載の方法において、前記仮想環境が、ビジネス関連の機能を備える、方法。
- 請求項17に記載の方法であって、前記ビジネス関連機能が、仮想会議を含んでおり、前記アバターのそれぞれが、該仮想会議における個々の参加者から成る、方法。
- 請求項1に記載の方法において、前記仮想環境が、教育関連の機能を備える、方法。
- 請求項19に記載の方法において、前記教育関連機能が、仮想講義を含んでおり、前記アバターのそれぞれが、前記仮想講義における参加者から成る、方法。
- 請求項6に記載のシステムにおいて、前記仮想環境システムにおける前記没入型オーディオ通信サーバ・アプリケーション及び前記没入型オーディオ通信クライアント・アプリケーションが、通信システムを用いて相互にデータを交換する、システム。
- 請求項21に記載のシステムにおいて、前記データが、前記没入型オーディオ通信サーバ・アプリケーション及び前記没入型オーディオ通信クライアント・アプリケーションの間で交換され、前記状態情報又は前記オーディオ情報の1又はそれ以上を含む、システム。
- 請求項21に記載のシステムにおいて、前記通信システムが、電話ネットワーク又はパケット交換データ・ネットワークの1又はそれ以上を含む、システム。
- 請求項6に記載のシステムにおいて、前記仮想環境が、オンライン・ゲームを含んでおり、前記アバターのそれぞれが、前記オンライン・ゲームの個々のプレーヤーから成る、システム。
- 請求項6に記載のシステムにおいて、前記仮想環境が、ビジネス関連の機能を備える、システム。
- 請求項25に記載のシステムにおいて、前記ビジネス関連機能が、仮想会議を含んでおり、前記アバターのそれぞれが、該仮想会議における個々の参加者から成る、システム。
- 請求項6に記載のシステムにおいて、前記仮想環境が、教育関連の機能を備える、システム。
- 請求項27に記載のシステムにおいて、前記教育関連機能が、仮想講義を含んでおり、前記アバターのそれぞれが、該仮想講義における参加者から成る、システム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
AU2005903357A AU2005903357A0 (en) | 2005-06-24 | Immersive audio communication | |
AU2005903357 | 2005-06-24 | ||
PCT/AU2006/000881 WO2006135979A1 (en) | 2005-06-24 | 2006-06-23 | Immersive audio communication |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2008547290A JP2008547290A (ja) | 2008-12-25 |
JP2008547290A5 true JP2008547290A5 (ja) | 2011-04-28 |
JP4854736B2 JP4854736B2 (ja) | 2012-01-18 |
Family
ID=37570037
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008517278A Active JP4854736B2 (ja) | 2005-06-24 | 2006-06-23 | 没入型オーディオ通信 |
Country Status (7)
Country | Link |
---|---|
US (1) | US10155164B2 (ja) |
EP (1) | EP1897012B1 (ja) |
JP (1) | JP4854736B2 (ja) |
KR (1) | KR101253067B1 (ja) |
CN (2) | CN101300580B (ja) |
SG (1) | SG163521A1 (ja) |
WO (1) | WO2006135979A1 (ja) |
Families Citing this family (29)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101742256B1 (ko) * | 2007-09-26 | 2017-05-31 | 에이큐 미디어 인크 | 오디오-비주얼 내비게이션 및 통신 |
EP2749327A1 (en) * | 2012-12-26 | 2014-07-02 | Disney Enterprises, Inc. | Managing objectives, an environment, and/or a theme associated with a virtual space based on characters made accessible responsive to corresponding tokens being detected |
JP2014131140A (ja) * | 2012-12-28 | 2014-07-10 | Yamaha Corp | 通信システム、avレシーバ、および通信アダプタ装置 |
TWI530941B (zh) | 2013-04-03 | 2016-04-21 | 杜比實驗室特許公司 | 用於基於物件音頻之互動成像的方法與系統 |
US20160026430A1 (en) * | 2014-07-25 | 2016-01-28 | Rovio Entertainment Ltd. | Device-specific control |
JP2022527111A (ja) | 2019-04-03 | 2022-05-30 | ドルビー ラボラトリーズ ライセンシング コーポレイション | スケーラブル音声シーンメディアサーバ |
US10952006B1 (en) | 2020-10-20 | 2021-03-16 | Katmai Tech Holdings LLC | Adjusting relative left-right sound to provide sense of an avatar's position in a virtual space, and applications thereof |
US11457178B2 (en) | 2020-10-20 | 2022-09-27 | Katmai Tech Inc. | Three-dimensional modeling inside a virtual video conferencing environment with a navigable avatar, and applications thereof |
US11070768B1 (en) | 2020-10-20 | 2021-07-20 | Katmai Tech Holdings LLC | Volume areas in a three-dimensional virtual conference space, and applications thereof |
US10979672B1 (en) | 2020-10-20 | 2021-04-13 | Katmai Tech Holdings LLC | Web-based videoconference virtual environment with navigable avatars, and applications thereof |
US11076128B1 (en) | 2020-10-20 | 2021-07-27 | Katmai Tech Holdings LLC | Determining video stream quality based on relative position in a virtual space, and applications thereof |
US11095857B1 (en) | 2020-10-20 | 2021-08-17 | Katmai Tech Holdings LLC | Presenter mode in a three-dimensional virtual conference space, and applications thereof |
US11743430B2 (en) | 2021-05-06 | 2023-08-29 | Katmai Tech Inc. | Providing awareness of who can hear audio in a virtual conference, and applications thereof |
US11184362B1 (en) | 2021-05-06 | 2021-11-23 | Katmai Tech Holdings LLC | Securing private audio in a virtual conference, and applications thereof |
US11928774B2 (en) | 2022-07-20 | 2024-03-12 | Katmai Tech Inc. | Multi-screen presentation in a virtual videoconferencing environment |
US12022235B2 (en) | 2022-07-20 | 2024-06-25 | Katmai Tech Inc. | Using zones in a three-dimensional virtual environment for limiting audio and video |
US11876630B1 (en) | 2022-07-20 | 2024-01-16 | Katmai Tech Inc. | Architecture to control zones |
US12009938B2 (en) | 2022-07-20 | 2024-06-11 | Katmai Tech Inc. | Access control in zones |
US11651108B1 (en) | 2022-07-20 | 2023-05-16 | Katmai Tech Inc. | Time access control in virtual environment application |
US11741664B1 (en) | 2022-07-21 | 2023-08-29 | Katmai Tech Inc. | Resituating virtual cameras and avatars in a virtual environment |
US11700354B1 (en) | 2022-07-21 | 2023-07-11 | Katmai Tech Inc. | Resituating avatars in a virtual environment |
US11956571B2 (en) | 2022-07-28 | 2024-04-09 | Katmai Tech Inc. | Scene freezing and unfreezing |
US11711494B1 (en) | 2022-07-28 | 2023-07-25 | Katmai Tech Inc. | Automatic instancing for efficient rendering of three-dimensional virtual environment |
US11682164B1 (en) | 2022-07-28 | 2023-06-20 | Katmai Tech Inc. | Sampling shadow maps at an offset |
US11593989B1 (en) | 2022-07-28 | 2023-02-28 | Katmai Tech Inc. | Efficient shadows for alpha-mapped models |
US11704864B1 (en) | 2022-07-28 | 2023-07-18 | Katmai Tech Inc. | Static rendering for a combination of background and foreground objects |
US11562531B1 (en) | 2022-07-28 | 2023-01-24 | Katmai Tech Inc. | Cascading shadow maps in areas of a three-dimensional environment |
US11776203B1 (en) | 2022-07-28 | 2023-10-03 | Katmai Tech Inc. | Volumetric scattering effect in a three-dimensional virtual environment with navigable video avatars |
US11748939B1 (en) | 2022-09-13 | 2023-09-05 | Katmai Tech Inc. | Selecting a point to navigate video avatars in a three-dimensional environment |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5736982A (en) * | 1994-08-03 | 1998-04-07 | Nippon Telegraph And Telephone Corporation | Virtual space apparatus with avatars and speech |
US6106399A (en) | 1997-06-16 | 2000-08-22 | Vr-1, Inc. | Internet audio multi-user roleplaying game |
US6266053B1 (en) * | 1998-04-03 | 2001-07-24 | Synapix, Inc. | Time inheritance scene graph for representation of media content |
JP2000013900A (ja) * | 1998-06-25 | 2000-01-14 | Matsushita Electric Ind Co Ltd | 音再生装置 |
GB2349055B (en) * | 1999-04-16 | 2004-03-24 | Mitel Corp | Virtual meeting rooms with spatial audio |
JP2001036881A (ja) * | 1999-07-16 | 2001-02-09 | Canon Inc | 音声伝送システム及び音声再生装置 |
US6816846B1 (en) * | 1999-11-12 | 2004-11-09 | Xerox Corporation | Method for generating rich sound environments using genetic or shaped algorithms |
WO2001055833A1 (en) * | 2000-01-28 | 2001-08-02 | Lake Technology Limited | Spatialized audio system for use in a geographical environment |
JP2002199500A (ja) * | 2000-12-25 | 2002-07-12 | Sony Corp | 仮想音像定位処理装置、仮想音像定位処理方法および記録媒体 |
JP2003006132A (ja) * | 2001-06-25 | 2003-01-10 | Matsushita Electric Ind Co Ltd | 音声を用いたチャット装置、チャットプログラムおよびチャット方法 |
US6845338B1 (en) * | 2003-02-25 | 2005-01-18 | Symbol Technologies, Inc. | Telemetric contextually based spatial audio system integrated into a mobile terminal wireless system |
US7828657B2 (en) * | 2003-05-20 | 2010-11-09 | Turbine, Inc. | System and method for enhancing the experience of participant in a massively multiplayer game |
JP3898673B2 (ja) * | 2003-07-18 | 2007-03-28 | 株式会社タムラ製作所 | 音声通信システム、方法及びプログラム並びに音声再生装置 |
AU2005234518A1 (en) * | 2004-04-16 | 2005-10-27 | Dolby Laboratories Licensing Corporation | Apparatuses and methods for use in creating an audio scene |
CN1570946B (zh) | 2004-04-28 | 2010-05-26 | 赖银樑 | 交互式网路运动模拟系统 |
-
2006
- 2006-06-23 CN CN2006800270979A patent/CN101300580B/zh active Active
- 2006-06-23 KR KR1020087001871A patent/KR101253067B1/ko active IP Right Grant
- 2006-06-23 EP EP06741272.6A patent/EP1897012B1/en active Active
- 2006-06-23 JP JP2008517278A patent/JP4854736B2/ja active Active
- 2006-06-23 US US11/993,800 patent/US10155164B2/en active Active
- 2006-06-23 CN CN2010102425421A patent/CN101895556B/zh active Active
- 2006-06-23 WO PCT/AU2006/000881 patent/WO2006135979A1/en active Application Filing
- 2006-06-23 SG SG201004523-5A patent/SG163521A1/en unknown
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4854736B2 (ja) | 没入型オーディオ通信 | |
JP2008547290A5 (ja) | ||
JP5563014B2 (ja) | オーディオシーン作成用装置および方法 | |
US9466278B2 (en) | Systems and methods for providing immersive audio experiences in computer-generated virtual environments | |
EP3039677B1 (en) | Multidimensional virtual learning system and method | |
JP2007533213A (ja) | オーディオ・シーンを生成する際に使用する装置及び方法 | |
US10086285B2 (en) | Systems and methods for implementing distributed computer-generated virtual environments using user contributed computing devices | |
AU2012202422B2 (en) | Immersive Audio Communication | |
AU2006261594B2 (en) | Immersive audio communication | |
US11533578B2 (en) | Virtual environment audio stream delivery | |
AU2012200463B2 (en) | Apparatus and Methods for use in Creating an Audio Scene |