JP2011518366A - コンピュータで生成された三次元仮想環境へのウエブ・コンテンツの取り込み - Google Patents

コンピュータで生成された三次元仮想環境へのウエブ・コンテンツの取り込み Download PDF

Info

Publication number
JP2011518366A
JP2011518366A JP2011500904A JP2011500904A JP2011518366A JP 2011518366 A JP2011518366 A JP 2011518366A JP 2011500904 A JP2011500904 A JP 2011500904A JP 2011500904 A JP2011500904 A JP 2011500904A JP 2011518366 A JP2011518366 A JP 2011518366A
Authority
JP
Japan
Prior art keywords
avatar
virtual environment
user
voice
dimensional virtual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011500904A
Other languages
English (en)
Other versions
JP2011518366A5 (ja
JP5405557B2 (ja
Inventor
アルン ハインドマン
アンドリュー リップマン
ニコラス ソウリオ
Original Assignee
アバイア インク．
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アバイア インク． filed Critical アバイア インク．
Publication of JP2011518366A publication Critical patent/JP2011518366A/ja
Publication of JP2011518366A5 publication Critical patent/JP2011518366A5/ja
Application granted granted Critical
Publication of JP5405557B2 publication Critical patent/JP5405557B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40—Support for services or applications
    • H04L65/401—Support for services or applications wherein the services involve a main real-time session and one or more additional parallel real-time or time sensitive sessions, e.g. white board sharing or spawning of a subconference
    • H04L65/4015—Support for services or applications wherein the services involve a main real-time session and one or more additional parallel real-time or time sensitive sessions, e.g. white board sharing or spawning of a subconference where at least one of the additional parallel sessions is real time or time sensitive, e.g. white board sharing, collaboration or spawning of a subconference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/131—Protocols for games, networked simulations or virtual reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/42—Systems providing special services or facilities to subscribers
    • H04M3/42221—Conversation recording systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2201/00—Electronic components, circuits, software, systems or apparatus used in telephone systems
    • H04M2201/22—Synchronisation circuits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2203/00—Aspects of automatic or semi-automatic exchanges
    • H04M2203/30—Aspects of automatic or semi-automatic exchanges related to audio recordings in general
    • H04M2203/301—Management of recordings

Abstract


【課題】三次元仮想環境のユーザ間で音声を、音声分散範囲の手法を用いて、選択的に送信する方法を提供する。
【解決手段】 本発明の方法は、（Ａ）三次元仮想環境内で第１アバターの位置を決定するステップと、（Ｂ）前記三次元仮想環境内で、前記第１アバターが向く方向を決定するステップと、（Ｃ）前記第２アバターが、前記第１アバターの第１距離内におり、前記第１アバターが前記第２アバターに向いている時は、第２アバターに関連する第２ユーザからの音声を、前記第１アバターに関連する第１ユーザの混合した音声ストリーム内に含めるステップと、（Ｄ）そうでない時は、含めないステップとを有する。
【選択図】 図１

Description

本発明は、コンピュータで生成された三次元仮想環境（以下、単に、「三次元仮想環境」と称する）に関し、特に、三次元仮想環境内の現実的な音声通信を実行する方法と装置に関する。
三次元仮想環境は、現実の或いは空想上の三次元環境をシミュレートし、多くの参加者が、互いに相互作用（対話）し、また三次元仮想環境内の構築物と相互作用する。これは、遠隔地のあるクライアントを介して行われる。三次元仮想環境が使用される１つのコンテキストは、ゲームに関連するが、三次元仮想環境用の他の使用例も開発されている。
三次元仮想環境においては、現実の世界或いは空想上の世界は、コンピュータ・プロセッサ／メモリ内にシミュレートされる。多くの人は、コンピュータ・ネットワーク（例、ＬＡＮ、ＷＡＮ、インターネット）を介して、三次元仮想環境に参加する。各プレーヤは「アバター」を選択する。この「アバター」は、三次元仮想環境内でプレーヤを代表する人或いは他のオブジェクトの三次元表示である。参加者は、コマンドを三次元仮想環境サーバに送る。この三次元仮想環境サーバが、三次元仮想環境を制御して、彼等のアバターが三次元仮想環境内で動けるようにする。かくして、参加者は、彼等のアバターが三次元仮想環境内の他のアバター或いは他のオブジェクトと相互作用させることができる。
三次元仮想環境は、仮想−現実の三次元マップの形態をとり、実際、現実の世界で一般的に経験する屋内、屋外或いは他の三次元仮想環境表示を含む。三次元仮想環境は、複数のオブジェクト、人々、動物、ロボット、アバター、ロボットアバター、特殊なエレメント、オブジェクト／環境を含み、これにより、アバターがアクティビティに参加できる。参加者は、彼等のコンピュータ上で三次元仮想環境クライアントを介して、三次元仮想環境内にプレゼンスを確立する。それを通して、彼等は、アバターを創設し、このアバターを三次元仮想環境内で活動（生活）させる。
アバターが、三次元仮想環境内を移動すると、アバターが見るビューは、アバターが三次元仮想環境内のどこにいるかによって、変わる。このビューは参加者に表示され、その結果、アバターをコントロールしている参加者は、アバターが見ているものを見ることができる。更に多くの三次元仮想環境により、参加者は、様々なビューポイントに、例えばアバターの外の好ましいポイントから、切り替わることができる。その結果、アバターが、三次元仮想環境内にいる場所を見ることができる。
参加者は、アバターを従来の入力デバイス（例、マウスとキーボード）を用いて制御できる。この入力は、三次元仮想環境クライアントに送られる。この三次元仮想環境クライアントが、コマンド（入力）を三次元仮想環境サーバに送る。この三次元仮想環境サーバが、三次元仮想環境を制御し、三次元仮想環境の表示を参加者のコンピュータのディスプレイを介して、参加者に提供する。
三次元仮想環境が如何に設定されるかに応じて、アバターは、三次元仮想環境を観測し、三次元仮想環境内の他のアバター、モデル化されたオブジェクト、三次元仮想環境内のロボット化されたオブジェクト、或いは三次元仮想環境そのものと相互作用する（即ち、アバターが三次元仮想環境内で湖或いは川に泳ぎに行く）ことができる。このような場合、クライアントの制御入力は、モデル化されたオブジェクトの変化を引き起こすことができる。例えば、他のオブジェクトを動かしたりドアを開けたりすることができる。これは、三次元仮想環境内の他のアバターがその後経験することである。
三次元仮想環境内で、あるアバターによる他のモデル化されたオブジェクトとの「相互作用」は、アバターに対するクライアント制御入力の受領に応じて、三次元仮想環境サーバが、モデル化された環境内の相互作用をシミュレートすることを意味する。あるアバターによる他のアバター又はオブジェクト又は三次元仮想環境或いは自動化された又はロボット化されたアバターとの「相互作用」は、ある場合は、他のアバター、オブジェクト、三次元仮想環境、自動化された又はロボット化されたアバターに影響する、或いはそれ等が観測したり経験する結果となる。
三次元仮想環境は、ユーザのために生成されるが、より一般的には、三次元仮想環境は、永続的である。この状態においては、三次元仮想環境は、継続し続け、ユーザが三次元仮想環境と相互作用しない時でも、三次元仮想環境サーバによりサポートされている。かくして、三次元仮想環境に複数のユーザがいる場合には、三次元仮想環境は、ユーザがログインしていない時でも展開し続け、その結果、ユーザは、前回見えていたものから変化した三次元仮想環境に、次回は入ることができる。
三次元仮想環境は、オンラインゲームで一般的に使用される。例えばオンラインのロールプレイングゲームで使用される。このゲームでは、ユーザは、キャラクターの役目を果たし、そのキャラクターのアクションの大部分を制御する。ゲーム以外に、三次元仮想環境は、実生活環境をシミュレートするのにも使われる。例えば、オンライン教育、トレーニング、ショッピング、会議、ユーザのグループ間の相互作用、或いは会社とユーザとの間の相互作用を提供できる。
アバターが、三次元仮想環境内で他のアバターと遭遇すると、アバターにより表された参加者は、互いに通信（会話）することを選択できる。例えば参加者は、他の参加者と互いにタイプを打つことにより参加することができる。或いは音声・ブリッジが確立されて、参加者が互いに話しをする事もできる。
大きな発展が、アバターとアニメーションの視覚化に関連して起こったが、音声の改良実現は遅れた。時に三次元仮想環境の音声特性は、あまり実際的では無かった。従って、三次元仮想環境において、現実的な音声通信（会話）を実行する方法と装置が求められている。
本発明により、三次元仮想環境内の現実的な音声会話を実現する方法と装置が、提供できる。一実施例においては、三次元仮想環境の参加者は、自分のアバターの音声の拡散パターンを制御し、アバターの音声は、簡単な制御を用いて分散方向を向上できる。
一実施例においては、音声分散エンベロープ（以下、単に「音声分散範囲」と称する）は、アバターの前の方向では伸びて、側面と後方向には余り伸びないようデザインされる。音声分散範囲の形状は、三次元仮想環境の他の態様、例えば、天井、床、壁により影響される。音声分散範囲は、静的である、あるいは選択的事項として参加者により制御可能である。これにより、アバターの音声が、アバターの前の方向に向いて外に伸びる。これにより、アバターは、三次元仮想環境内で「叫ぶ」ことができ、その結果、アバターの可聴範囲外にいる他のアバターであるユーザは、ユーザの声を聴くことができる。同様に、音声の音量レベルを下げ、アバターは、ささやいたり、或いは、アバター間の相対的位置と、アバターが向く方向によって、調節される。個々の音声ストリームは、三次元仮想環境の各ユーザに為に混合されるが、これは、三次元仮想環境内のユーザのアバターの位置と方向、ユーザの音声分散範囲の形状、どのアバターがユーザの音声分散範囲内にいるかに、応じて決められる。
ユーザが三次元仮想環境にアクセスできるシステムの一部の機能ブロック図。 三次元仮想環境内のユーザの二次元ビューで、そのユーザの通常（円形）の音声分散範囲を表す図。 三次元仮想環境内のユーザの二次元ビューで、そのユーザの方向性のある（長円形の）音声分散範囲を表す図。 本発明の一実施例により、ユーザが三次元仮想環境内で自分の声を出すことのできる、ユーザが制御可能な音声分散範囲の一例を表す図。 本発明の一実施例により、ユーザが三次元仮想環境内で自分の声を出すことのできる、ユーザが制御可能な音声分散範囲の一例を表す図。 本発明の一実施例により、三次元仮想環境内で、障害物と音声分散範囲の相互作用を表す図。 本発明の一実施例により、三次元仮想環境内で、障害物と音声分散範囲の相互作用を表す図。 三次元仮想環境内で、現実的な音声通信（会話）を実行するプロセスのフローチャート図。 図１のシステムの構成要素を表す機能ブロック図で、音声が三次元仮想環境のユーザの間で伝送される相互作用を表す図。 三次元空間内の音声分散範囲を表す三次元座標軸の空間を表す図。 三次元仮想環境の三次元ビューを表す図。
図１において、本発明のシステム１０では、複数のユーザ１２と三次元仮想環境１４は、相互作用している。ユーザ１２は、三次元仮想環境１４に、コンピュータ２２から、パケット・ネットワーク１６又は他の共通通信インフラを介して、アクセスできる。三次元仮想環境１４は、三次元仮想環境サーバ１８により実行（実現）される。ユーザ１２間で音声（以下、「音声」と称する）は、通信サーバ２０により実行（実現）される。以下、本明細書において、「相互作用」「通信」「会話」は、特に断りのないかぎり、同意である。
三次元仮想環境は、インスタンスを用いて実現（実行）される。各インスタンスは、三次元仮想環境サーバによりホストされている。複数のインスタンスがある場合には、１つのインスタンス内のアバターは、他のインスタンス内のアバターのことについては、知らない。従来、三次元仮想環境の各インスタンスは、別個の世界と称する。
以下の説明においては、次の事を仮定する。アバターは、同一の世界でインスタンスとして挙げられ、それ故に互いに見たり話したりすることができる。世界は、１個の三次元仮想環境サーバ１８により実現されるか、あるいは複数の三次元仮想環境サーバ１８により実現される。三次元仮想環境は、実世界環境の視覚的表現としてデザインされ、その結果、人間は互いに相互作用（会話）し、他の者とリアルタイムで通信できる。
三次元仮想環境は、それ自身の三次元（の座標軸）空間を有する。ユーザを表すアバターは、この三次元空間内を移動し、三次元空間内のオブジェクト又は他のアバターと相互作用する。三次元仮想環境サーバは三次元仮想環境を保持し、三次元仮想環境内のユーザのアバターの位置に基づいて、各ユーザの為に視覚的表示を生成する。このビュー（視覚的表示）は、アバターが向いている方向と選択されたビューのオプションに依存する。この選択されたビューのオプションの一例は、ユーザがアバターの目を通して見ているかのような見え方を選択するか、ユーザがアバターがいる三次元ビューを見るためにアバターから引き戻るのを選択するか、三次元仮想環境内でアバターが何をしているか、である。
ユーザ１２はコンピュータ２２を有する。このコンピュータ２２を用いて、コンピュータで生成された三次元仮想環境にアクセスする。コンピュータ２２は、三次元仮想環境クライアント２４とユーザ・インターフェース２６を、三次元仮想環境上で動かす。ユーザ・インターフェース２６は、三次元仮想環境クライアント２４の一部又は別個のプロセスとして実行される。別々の三次元仮想環境クライアントが、ユーザがアクセスしたい各三次元仮想環境に必要とされる。しかし、特定の三次元仮想環境クライアントは、複数の三次元仮想環境サーバとインターフェースできる。通信クライアント２８により、ユーザは、三次元仮想環境に参加している他のユーザと会話できる。通信クライアント２８は、三次元仮想環境クライアント２４とユーザ・インターフェース２６の一部であり、或いはコンピュータ２２上を走る別個のプロセスである。
ユーザは、三次元仮想環境の一部の表示を、ディスプレイ／音声装置３０上で見て、コマンドを、ユーザ入力装置３２（例、マウス、タッチパッド、キーボード）を介して、入力する。ディスプレイ／音声装置３０をユーザが用いて、三次元仮想環境に関連しながら、音声情報を送受信する。例えば、ディスプレイ／音声装置３０は、スピーカーとマイクとを有するディスプレイ・スクリーンである。ユーザ・インターフェースが、三次元仮想環境クライアントの制御の下で、ディスプレイに示された出力を生成し、ユーザからの入力を受領し、このユーザ入力を三次元仮想環境クライアントに転送する。三次元仮想環境クライアントは、このユーザ入力を三次元仮想環境サーバに転送する。三次元仮想環境サーバにより、ユーザのアバター３４又は他のオブジェクトは、ユーザの制御の下で、三次元仮想環境内で所望の動作を実行する。かくして、ユーザは、三次元仮想環境の一部を制御する。例えば、その人のアバター又はこのアバターに接触している他のオブジェクトを制御し、三次元仮想環境の他のユーザの為に、三次元仮想環境を変化させる。
アバターは、三次元仮想環境内のユーザを表す人或いは他の創造物の三次元表現である。ユーザは、三次元仮想環境用にプロファイルを生成した時に、アバターが見る方向を選択し、三次元仮想環境内でこのアバターの動きを制御する。「アバターの動き」とは、例えば、アバターが、歩いたり、走ったり、泳いだり、話したり或いは他の類似の動きを言う。かくして、三次元仮想環境１４内のアバターを表すブロック３４は、アバターが三次元仮想環境でどのように見えるかと期待されているものを示すものではない。アバターのアピアランス（外観）は、現実のものではない。その理由は、アバターの実際のアピアランスは、幾分異なっており、ユーザのプリファレンスに基づいて、カスタマイズされているからである。三次元仮想環境内のアバターの実際のアピアランスは、本発明の説明にとって重要なことではない。アバターは、簡単な形状或いは二次元の素描で表され、複雑な三次元の形状例えば人又は動物で、必ずしも表さなくてもよい。
図２は、三次元仮想環境の一部を示し、この三次元仮想環境内のアバターに関連する通常の音声分散範囲を示す。図２は、例示を容易にするために二次元で示しており、音声分散がいかに起きるかをより詳しく説明するものである。音声分散は、垂直方向にも同様に起きる。説明を簡略化するために、説明の大部分は二次元の図を用いて、音声分散が三次元仮想環境内でいかに行われるかを示す。多くの三次元仮想環境は三次元であり、それ故に音声分散範囲は、３つの方向（三次元）に伸びる。二次元の音声分散範囲を三次元に拡張することは簡単であり、この一例を図１０、１１を用いて説明する。かくして本発明は、二次元を例に説明しているが、本発明は、Ｘ軸とＹ軸の分散特性を制御するのと同様に、垂直方向（Ｚ軸方向）を制御するために同一の原理を用いる。
図１０は、第１のアバターが、ＸＹＺ軸の座標点（２、２、２５）にあり、第２のアバターが、座標点（１５、１５、４）にある状態を示す。Ｘ軸とＹ軸のみを見ると、２個のアバターは、１８．３４ユニット離れている。音声分散範囲が２０ユニットであるとすると、Ｘ軸とＹ軸のみを見ると、２個のアバターは互いに話すことができる。しかし、Ｚ軸をファクターに加えると、三次元空間における２個のアバター間の分離距離は２８．４６ユニットであり、音声が到達できる２０ユニットを超えている。従って、三次元仮想環境において、２個のアバター間のＺ軸の分離距離と、Ｘ軸とＹ軸の分離距離を考慮に入れて、２個のアバターが話すことができるか否かを決定しなければならない。音声ストリームが、各ユーザ用に、ユーザのアバターとそのアバターに対する音声分散範囲に基づいて生成されると、ユーザの音声分散範囲内にあるアバターにより表示されるユーザからの音声は、混合され、ユーザに与えられる。かくして、個々の音声ストリームは、各ユーザに対し生成され、その結果、ユーザは、三次元仮想環境内のアバター近傍にいる他のユーザからの音声を聴くことができる。特定のユーザの音量は、混合プロセスの間調整され、その結果、近傍のアバターからの音声は、遠くのアバターからの音声よりも音が大きくなる。
図２に示すように、５個のアバター３４が、三次元仮想環境１４の見える範囲内にあると仮定する。各アバターには、符号Ａ−Ｅが付されている。各アバターは、個々のユーザにより制御されるが、ユーザは、複数のアバターを制御できる場合もある。同図において矢印は、アバターが三次元仮想環境内で向いている方向を示す。
図２に示す実施例において、アバターに関連するユーザは、彼らが互いに特定の距離内にいる場合には、互いに話しをすることができる。一例として、アバターＡは、他のアバターの範囲内にはいない。従って、アバターＡのユーザは、他のアバターのいずれのユーザとも話しをすることができない。同様にアバターＤとＥは、互いに話しをできるほど十分近傍にはいないが、彼らは互いに見ることはできる。アバターＢとＣは、互いに話しを聴くことはできるが、それは彼らが互いに十分近傍にいるからである。図２の実施例において、各アバターの音声分散範囲は、球状（三次元空間）であり、その結果、アバターは特定の半径距離内にある他のアバターと会話はできる。アバターに関連するユーザが話すと、その半径距離内にいる他のアバターは、そのユーザの話しを聴くことができる。アバターが離れ過ぎて三次元仮想環境内で「話し」をすることができないと、音声のパケット／データは、ユーザ間で送信されない。
ユーザ同士が近づくと、ユーザは、互いの話をよりはっきりと聞くことができ、ユーザ同士が、離れると、音声音量は、音声分散範囲のエッジでユーザの音声の寄与分がゼロになるまで、減少する。一実施例においては、ユーザの寄与分の音量は、線形ベースで増減する。かくして図３に示す実施例を見ると、ユーザＡは音声分散範囲内にいる。ユーザに近い音量が最も高く、それらが音声分散範囲内でユーザＡから離れると、寄与分の音量は、音声分散範囲のエッジに達するまで、線形ベースで減少する。
音声は、三次元仮想環境の各ユーザに対し、個別に混合される。音声の特定の混合は、どの他のユーザがそのユーザの音声分散範囲内にいるかに、又、音声分散範囲内の彼らのロケーション（居場所）に依存する。音声分散範囲内のロケーションは、ユーザの音声が音声分散範囲に関連するユーザに提示される音量に影響する。音声は、各ユーザに対し個別に混合されるので、音声（オーディオ）ブリッジはユーザ毎に要求されず、音声ストリームは、各ユーザ毎に個別に、どの他のユーザが、三次元仮想環境内のそのユーザの近傍にいるかに基づいて、形成される。
図３によれば、音声分散範囲は、アバターの前方に伸び、後方で短くなり、アバターの右側と左側にも伸びる。この為、アバターは、三次元仮想環境内の特定の方向に向かって話すことができ、三次元仮想環境の他のユーザに対しアバターが生成したノイズの量を最少にできる。かくして、ユーザが他のユーザと話すことのできる程度は、一部は三次元仮想環境内のユーザのアバターの向いている方向に依存する。これは実生活を反映している。実生活においては、話者に面と向かった人は、違う方向を向いている人よりも、話者の話をより良く聴くことができる。その結果、音声分散範囲は、ユーザにより簡単に制御できる。例えば、アバターが向いている方向を制御して、音量を制御できる。選択的事項として、音声分散範囲の音量と距離を制御して、ユーザの三次元仮想環境内の音量制御を行う。
図３の実施例において、アバターは、図２の実施例と同様な位置にいる。しかし、音声分散範囲は、アバターが向いている方向に長く伸び、アバターの横方向と後方向には少ししか伸びないよう、調整されている。これにより、どのアバターが他のアバターと通信できるかに影響を及ぼす。例えば、図３に示すように、アバターＢとＣは、彼らは比較的近くに立っているにもかかわらず、互いに話しをすることができないが、それは彼らが互いに向かい合っていないからである。同様にアバターＤとＥの間の距離は、アバターＢとＣとの間の距離よりは離れているけれども、互いに向かい合っているために、アバターＤとＥは、話し合うことができる。アバターＡは、依然と一人であり、そのため他のアバターと話すことはできない。
図３の実施例において、互いに音声通信（会話）するためには、アバターは他のアバターの音声分散範囲内に入らなければならない。アバターの少なくとも一つが、他のアバターの音声分散範囲内にいる場合には、音声の交換（会話）が可能となる。例えば、アバターＢはアバターＣの音声分散範囲内にいるが、アバターＣはアバターＢの音声分散範囲内にいない場合には、音声は、アバターＣとアバターＢに関連するユーザ間で送信（会話）されない。選択的事項として、音声は、アバターＣに関連するユーザは、アバターＢに関連するユーザの話を聴くことができるが、アバターＢに関連するユーザは、アバターＣに関連するユーザの話を聴くことができないような方向に、発することもできる。
音声分散範囲の形状は、ユーザのプリファレンスと三次元仮想環境のプロバイダのプリファレンスに依存する。例えば、三次元仮想環境のプロバイダは、ユーザに、音声分散範囲の形状は、彼らのアバターが三次元仮想環境内に入った時に、彼らのアバターに関連するよう選択するオプションを与えることもできる。音声分散範囲の形状は、ユーザが変えるまで、永続的である。ユーザは、あるユーザは大きな音声を発するが、他のユーザは静かな音声を発するよう構成することもできる。別の構成として、三次元仮想環境のプロバイダは、様々なタイプのアバターに対し、特定の音声分散範囲のプロファイルを提供することもできる。例えば、警察官役のアバターは、他のタイプのアバターよりもより広い範囲の音声を聴くことができる。さらに音声分散範囲の形状は、他の環境ファクタに依存する。このファクタの一例は、三次元仮想環境内にいるアバターの位置と、三次元仮想環境内の周囲ノイズの有無である。
図４の実施例において、アバターには、彼らの音声の音量を増加するようなオプションを与えられ、その結果、彼らの音声は、三次元仮想環境内でさらに遠くまで届くようになる。これによりアバターは、三次元仮想環境内で「叫ぶ」ことができる。図４に示すように、アバターＡに関連するユーザが、アバターＢに関連するユーザと話そうと思っているとする。するとユーザＡのアバターＡが、アバターＢに向かい合うことにより、ユーザＡはアバターＢに三次元仮想環境内で向かい合う。図３で議論したように、音声分散範囲のプロファイルは、アバターの前方向に長く伸びるようデザインされているが、これにより、メインの音声分散範囲のプロファイルのローブ（弧）は、アバターＢの方向に伸びる。しかし、図４に示すように、音声分散範囲のプロファイルのメインの音声分散は、アバターＡとアバターＢが三次元仮想環境内で離れ過ぎている場合には、アバターＢに届くほど十分には大きくなっていない。
本発明の一実施例によれば、ユーザＡは、アバターＢの方向に向かって「叫ぶ」と、音声分散範囲のプロファイルは、アバターＢの方向にさらに伸びることになる。ユーザＢに向かって叫ぼうとする意図は、ユーザにより簡単な制御操作により示すことができる。例えば、ホイール付きのマウス上では、マウスのホイールは、ユーザが彼のアバターの音声分散範囲のプロファイルを伸ばすために使用できる「叫び」制御となる。この実施例において、ユーザは、単にマウスホイールをスクロールして離すだけである。この動作は、自分の指をマウスホイールに接触させ、前方向に動かすことにより行われる。これは、多くのコンピュータのユーザ・インターフェースのマウスホイールの使用例であり、マウスホイールを用いることでスクロールアップする。逆に、ユーザが叫ぶことを望まない場合には、ユーザはマウスホイールの上部を手前に引く。この動作は、マウスホイールを大部分のユーザ・インターフェースにおけるのと同様に、スクロールダウンするのと同様の動きである。
ユーザが、三次元仮想環境内のある空間部分内のあらゆるユーザと会話（通信）したい）と望む場合がある。例えば、ある人がアバターの部屋全体に対し、プレゼンテーションを行いたいと望む場合がある。こうするために、ユーザは自分の音声分散範囲を、全方向に広げて、三次元仮想環境内空間全体を満たそうとする。これを図４、５の点線５で示す。この実施例においては、ユーザの音量は大きくせずに、その空間内にいる全てのユーザが、プレゼンタであるユーザの声を聴くことができる。この様な特徴は、本明細書では、「オムニ・ボイス（Omni Voice）」と称する。ユーザがオムニ・ボイスを起動すると、ユーザからの音声は、その空間内にいる他のユーザに提示される音声・ストリームに混合され、他のユーザは、そのユーザが起動したオムニ・ボイスを聴くことができる。ユーザがオムニ・ボイスを起動すると、ユーザのアピアランスは幾分変わり、三次元仮想環境内にいる他の人は、誰がオムニ・ボイスの特徴を起動したかを知ることができる。
ユーザは、オムニ・ボイスを起動する制御を使用するか、好ましくは、オムニ・ボイスは、アバターが三次元仮想環境内にいる位置に依存して自動的に起動される。例えば、ユーザがステージの演台に上がると、ステージ上のプレゼンタであるユーザの存在により、ユーザにより提供される音量が、三次元仮想環境内の特定の空間内にいる他のアバターの混合された音声・ストリーム内に含まれるようになる。
マウスホイールには、特定の三次元仮想環境とアバターに利用可能な他のアクティビティに基づいて、三次元仮想環境内で複数の使用方法がある。入力を組み合わせることにより、音声分散範囲のプロファイルを制御する。例えば、マウスの左クリックとマウスホイールのスクローリングの組み合わせると、あるいはキーボード上のキーを押すこととマウスのスクローリングを組み合わせると、マウスのスクローリングのアクションが、他のアクションではなく、アバターの音声に関連しているというシグナルとなる。別の構成として、マウスホイールを使用せずに、キーボード上のキーストロークあるいはキーストロークの組み合わせを用いて、音声分散範囲を拡張するか、音声分散範囲を元の状態に戻す。かくして、三次元仮想環境内のアバターの方向に基づいて音声分散範囲の方向性を制御を実行することに加えて、ユーザは、リアルタイムで、音声分散範囲をワープさせて、アバターの音声分散範囲を三次元仮想環境内で制御できる。
ユーザが三次元仮想環境内で他のユーザに向かって叫ぶことを選択すると、アバターの顔の表情が変わるか、あるいは誰が叫んでいるかという視覚的表示が与えられる。これにより、ユーザは、彼らが誰が叫んでいるかを知ることができ、かつ他のユーザは、何故視覚的表示が変わったかが理解できる。例えば、アバターが自分の口の周りに両手で筒を作ると、これは彼が特定の方向に向かって叫んでいることの視覚的な証となる。アバターの音声のより大きな拡張は、アバターとして表示されるか、さらにはアバターのゴーストが音声範囲内の新たな中心に近付くことにより、与えられる。その結果、他のユーザは、誰が叫んでいるかを決定できる。他の視覚的表示も与えることもできる。
ユーザにより制御された音声分散範囲のワーピングは、図４に示すように、切り替えることができる。その結果、ユーザは、平常時のように話しているか、あるいは叫んでいるかは、切り替え制御の状態に、依存する。別の構成として、ユーザが制御した音声分散範囲のワーピングは、よりなだらかな複数のレベルを有してもよい（図５）。具体的には、図５に示すように、ユーザは、三次元仮想環境内で、自分の音声の発する方向と範囲を増やすことができる。その結果、自分の音声の届く範囲は、ユーザが三次元仮想環境内で叫びたい程度に応じて、様々な距離まで伸びる。図５においては、ユーザには、４つのレベルが与えられ、そしてオムニ・ベースと組み合わせて使用すると５つのレベルが与えられる。他の数のレベルも用いることができる。さらに区分をぼやかすと制御は、実施の仕方によっては、より連続的にすることもできる。
他の実施例において、ユーザが叫ぶことを選択することは、ユーザが他のアバターにポイントを合わせてマウスのボタンを押す時に行われる。例えば、他のアバター上で左クリック又は右クリックを行うことにより、実行できる。あるユーザが他のアバターの通常のお話し距離内にいる場合には、他のアバターからの音声は、ユーザに提示される音声・ストリーム内に混合される。可聴距離内にいる他のアバターからの音声も同様に、そのユーザに提示される混合された音声・ストリーム内に含めることができる。他のアバターが可聴距離内にいない場合、即ち通常の音声分散範囲内にいない場合には、ユーザには、他のアバターに向かって叫ぶオプションが与えられる。この実施例において、ユーザには、叫ばせるために、他のアバター上でダブルクリックする指示が与えられる。叫ぶ機能を実行する様々な方法は、ユーザ・インターフェースのデザイナーのプリファレンスに依存して、実現可能である。
一実施例おいて、アバターの近さ（近接性）は、音声がユーザの音声ストリームに混合された時には、彼らの音声の音量を調整する。その結果、ユーザには、似通った通常の現実的な音声ストリームが与えられる。他の環境ファクターも、三次元仮想環境内のアバター間の通信に影響を及ぼす。
上記の説明は、アバターが、三次元仮想環境内で叫ぶために、音声分散範囲を増加する例を中心に説明したが、同様な制御を用いて、音声分散範囲を小さくして、ユーザが、三次元仮想環境内でささやくようにすることもできる。この実施例において、ユーザは、反対方向に音声を制御して、音声分散範囲のサイズを小さくする。その結果、ユーザは、他のユーザと通信するために、そのユーザのアバターにさらに近付かなければならない。マウスコントロールあるいは他のコントロールを用いて、音声分散範囲のサイズを必要により減らすことができる。
図６、７は、音声分散範囲のプロファイルが、三次元仮想環境内の障害物により影響を受ける実施例を示す。三次元仮想環境内の２つのアバターは、彼らが互いのお話し範囲内にいる時には、互いの声を聴くことができる。これは、他のオブジェクトが三次元仮想環境内にあってもなくても同じである。例えば、アバターＡがある部屋におり、アバターＢが別の部屋にいるとする。通常、三次元仮想環境サーバによ、りアバターは、互いに通信できる（音声分散範囲を表す点線で示すように）。それは、彼らが三次元仮想環境内で互いに近くにいるからである。図１１は、２つのアバターは互いに近くにいるが、三次元仮想環境の別のフロアーにいる場合を示す。２つのアバターは、壁、又は床、又は天井を通して、互いに視ることはできない。アバターは、これらの障害物を通して互いに聴くことができるのは不自然である。このような特徴により、あるアバターは、他のアバターとの間の三次元仮想環境内で起こる会話を聴くことができるが、他のアバターからは視ることはできない。
本発明の一実施によれば、音声分散範囲のプロファイルを調整して、三次元仮想環境内の障害物を考慮に入れることができる。障害物は、音声分散範囲の特定の方向の大きさを減らすような、プロファイル上のシャドー（影）を形成するものと考えられる。これにより、アバター間の通信が阻止されるが、障害物がない場合には、彼らは通信（会話）することができる。図６において、アバターＡは、ある部屋にいて、ドア通路を通して話している。ドアの両側にあるドアの枠(ドアが開閉するためのドアの周囲の枠)と壁は、障害物として機能し、これがユーザの音声分散範囲を、部分的に遮る。ドアが閉じていると、これは音声分散範囲にも影響を及ぼす。かくして、壁際に立っているアバターＢは、アバターＡと話すことはできない。その理由は、アバターＢは壁の影にあり、アバターＡの音声分散範囲のプロファイルの外側にいるからである。これに対し、アバターＣは、アバターＡとドア通路越しに直接見える場所にいて、アバターＡと会話できる。アバターＢは、アバターＣと会話ができる。その為、アバターＡとＣの間の会話の内アバターＣの話しは聴くことができる。かくして、特定のアバターは、他のパーティー（アバター）間の通信に部分的に含まれる。この特徴の実施例を実行するために、個別のミキサーが、クライアント毎に配置される。自主的に全ての属性と特性が、クライアント・ベースで計算される。ミキサーは、近くのアバターからのどの音声が、特定のユーザにより聞こえるかを決定し、それにより得られた音声・ストリームを混合する。これをクライアント・ベースで実行することは、利点がある。その理由は、二人のユーザは、ある時点で全く同じ位置にいる必要はなく、それ故に、各クライアントの最終的な出力は、必ず異なる。
図１１は、２つのアバターが別のフロアーに居るため、垂直方向に離れている。このフロアーは、図５、６の壁と同様に機能する。具体的には、別々のフロアーにある部屋は、別々の空間として定義され、あるフロアーの音は別のフロアーには入っていかず、その結果、２つのアバターがＸ軸とＹ軸で互いに極めて近くにあったとしても、これらのアバターは、垂直方向に離れており、２つのアバターは話すことはできない。
シャドー・オブジェクトは、音の伝搬に対し完全に遮蔽するか、あるいは単に減衰させるだけのものである。例えば、コンクリート性の壁は、減衰率が１００％であるが、通常の壁は減衰率が９０％であり、その結果、ある音の一部はそこを通過できる。ある壁の減衰率は僅か１０％である。減衰のレベルは、オブジェクトが三次元仮想環境内に置かれた時に、特定される。
音声は、三次元仮想環境内の各ユーザに対し、個別に音声を混合するような通信サーバを用いて、実現される。通信サーバは、三次元仮想環境の全てのユーザからの音声を受領し、特定のユーザ用に音声ストリームを生成する。これは、どの他のユーザが、そのユーザの音声分散範囲内にアバターを有するかを決定することにより、行う。参加者を選択するために、方向性の概念を選択プロセスに導入する。その結果、その選択プロセスは、単に参加者の相対的距離を見るのではなく、参加者が三次元仮想環境内にどの方向を向いているかを見る。これはベクトルを各参加者に関連づけ、このベクトルが他のアバターに十分近いか否かを決定する。これにより、音声を音声・ストリーム内のユーザからの音声を含める。さらにシャドーが、決定に含まれると、このプロセスは、ベクトルが、三次元仮想環境内のシャドーオブジェクトを横切るか否かを決定するために、見る。横切る場合には、シャドーの量が計算されて、音声を含めるべきか否かを決定する。音声接続決定プロセスを実行する他の方法も用いることもができ、本発明は、この特定の実施例に限定されるものではない。
他の実施例において、２つのアバター間で交わされる音声は、アバター間のベクトルに沿って減衰量を組み込むことで、決定される。この実施例において、三次元仮想環境内の通常の空気すなわち「空間」には、単位距離当たり５％の減衰ファクターを入る。三次元仮想環境内の他のオブジェクトには、意図した材料に応じて別の減衰係数を与える。この実施例において、アバター間の音声伝搬は、アバター間の距離に依存し、それ故に音声が通過する空気とベクトルが通るオブジェクトの量に依存する。ベクトルの強さ、すなわち通信中の減衰量は、アバターが向いている方向に依存する。さらにユーザは、一時的にアバターを叫ばせることにより、ベクトルの強度を増やすことができる。
上記の説明において、ユーザは、三次元仮想環境内で叫ぶことを選択できると仮定した。選択的事項として、プリビレッジ（特権）は、三次元仮想環境内でアバターが処理する特定のアイテム用に得られる。アバターが特定のアイテム、例えば、仮想の角笛を見出したり、購入したりして、アバターに叫ばせる必要がある。他の実施例も同様に可能である。
図８は、音声が三次元仮想環境内の特定の参加者間で伝送されるべきか否かを決定するために、エンティティにより使用されるプロセスの一部のフローチャートである。図８のプロセスにおいて、三次元仮想環境サーバは、三次元仮想環境を生成し、それを参加者が使用できるようになる（ステップ１００）。かくして三次元仮想環境サーバにより、ユーザＡは三次元仮想環境内に入り、ユーザＡのアバターＡが三次元仮想環境内に入る（ステップ１０２）。同様に三次元仮想環境サーバにより、ユーザＢは、三次元仮想環境内に入り、ユーザＢのアバターＢが三次元仮想環境内に入る（ステップ１０２’）。他のユーザも三次元仮想環境内にアバターを有することができる。
三次元仮想環境サーバは、アバターＡに対する音声分散範囲を決定する。これによりアバターが、三次元仮想環境内でいかに通信（会話）するかを規定する（ステップ１０４）。各アバターは、三次元仮想環境内で、全てのアバターの特性である所定の音声分散範囲を有する。又は、三次元仮想環境サーバは、各ユーザ用にカスタムメイドされた特定の音声分散範囲を規定する。かくして、音声分散範囲を規定するステップは、アバターが、他のアバター（別の方向にある他のアバターよりも、そのアバターの前でより離れた距離にあるアバター）と通信できると指定することにより、実行される。
自動的に又はアバターＡをユーザが制御を開始することにより、三次元仮想環境サーバは、アバターＢが、アバターＡの音声分散範囲内にあるか否かを決定する（ステップ１０６）。これは、アバターＡがアバターＢの方を向き、その後アバターＢがアバターＡからいかに離れているかを決定することにより、行われる。アバターＢが、アバターＡの音声分散範囲内にある場合には、三次元仮想環境サーバにより、アバターＢからの音声は、アバターＡに関連するユーザに送信される音声・ストリーム内に含められる。
アバターＢが、アバターＡの音声分散範囲内に居ない場合には、ユーザには、音声分散範囲の形状を制御する機会が与えられる。例えば、ユーザがアバターＢに向かって叫べるようにすることにより、与えられる。特に、ユーザＡは、自分のユーザ・インターフェースを操作して、アバターＡがアバターＢに向かって叫べるようにする（ステップ１１０）。ユーザＡが自分のユーザ・インターフェースを介してアバターＢに向かって叫びたいとの信号を与えると、三次元仮想環境サーバは、叫ぶ方向に向かって、アバターの音声分散範囲を拡大する（ステップ１１２）。
三次元仮想環境サーバは、アバターＢがアバターＡの拡大した音声分散範囲内にいるか否かを決定する（ステップ１１４）。その音声分散範囲にいる場合には、三次元仮想環境サーバにより、音声は、アバターに関連したユーザ間で送信される。その中にない場合には、２つのアバターは、三次元仮想環境内で互いに近付き、音声が、アバターＡとアバターＢに関連するユーザ間で送信されるようになる（ステップ１１８）。
図９は、本発明の一実施例により、三次元仮想環境内で現実的な音声を実行するのに用いられるシステムを示す。図９に示すように、ユーザ１２には、三次元仮想環境１４へのアクセス権が与えられる。これは、三次元仮想環境サーバ１８を用いて行われる。
ユーザ１２Ａ、１２Ｂは、三次元仮想環境１４内でアバター３４Ａ、３４Ｂに置き換えられる。ユーザが互いに近付き互いに向かい合っている時には、音声位置と方向検知サブシステム６４が、その音声はアバターに関連したユーザ間で送信されていると決定する。音声は、混合機能７８により混合されて、個別に決定された音声・ストリームを各アバターに与える。
図９の実施例において、混合機能はサーバで行われる。本発明は、混合機能は、三次元仮想環境クライアントで行ってもよい。この他の実施例において、複数のユーザからの音声は、ユーザの三次元仮想環境クライアントに送られ、この三次元仮想環境クライアントが、音声の特定の部分がユーザに提示されるよう選択することもできる。サーバで混合機能を実行することにより、各ユーザに送信しなければならない音声の量を減らすことができるが、サーバの負荷は増す。クライアントでこの機能を実行すると、負荷を分散させて、個々の混合した音声・ストリームを形成するが、それはサーバ側にとってより容易となる。複数の音声・ストリームが、各クライアントに送信されなければならない。特定のソリューションが、利用可能なバンド幅と処理パワーにより選択することができる。
上記の説明は、コンピュータで読みとり可能なメモリ内に記憶されるプログラミング・インストラクションとして実行され、コンピュータ内のプロセッサで実行される。しかし、当業者は、個別のコンポーネント、集積回路例えばＡＳＩＣ、プログラムロジック装置と共に使用されるプログラマブル・ロジック例えばＦＰＧＡ（Field Programmable Gate Array）、マイクロプロセッサ、状態機械、或いはそれ等の組み合わせを利用して、本発明を実行可能である。プログラマブル・ロジックは、一時的或いは永続的でメモリチップ、コンピュータメモリ、メモリスティック、ディスク、或いは他の記憶媒体で固定（記憶）される。
以上の説明は、本発明の一実施例に関するもので、この技術分野の当業者であれば、本発明の種々の変形例を考え得るが、それらはいずれも本発明の技術的範囲に包含される。特許請求の範囲の構成要素の後に記載した括弧内の番号は、図面の部品番号に対応し、発明の容易なる理解の為に付したものであり、発明を限定的に解釈するために用いてはならない。また、同一番号でも明細書と特許請求の範囲の部品名は必ずしも同一ではない。これは上記した理由による。用語「又は」に関して、例えば「Ａ又はＢ」は、「Ａのみ」、「Ｂのみ」ならず、「ＡとＢの両方」を選択することも含む。特に記載のない限り、装置又は手段の数は、単数か複数かを問わない。
１０ システム
１２ ユーザ
１４ 三次元仮想環境
１６ パケット・ネットワーク
１８ 三次元仮想環境サーバ
２０ 通信サーバ
２２ コンピュータ
２４ 三次元仮想環境クライアント
２６ ユーザ・インターフェース
２８ 通信クライアント
３０ ディスプレイ／オーディオ
３２ ユーザ入力装置

図８
１００：仮想環境の生成
１０２：ユーザＡが仮想環境に入り、ユーザＡのアバターＡを生成する
１０２’：ユーザＢが仮想環境に入り、ユーザＢのアバターＢを生成する
１０４：アバターＡの音声分散範囲を規定する
１０６：アバターＢは、アバターＡの音声分散範囲内にいるか？
１０８：音声がユーザＡとＢの間で送信される
１１０：ユーザＡがユーザインターフェースを操作して、アバターＡをアバターＢに向かって叫ばさせる
１１２：叫ぶ方向に向かってアバターＡの音声分散範囲を拡大する
１１４：アバターＡの拡大した音声分散範囲内にアバターＢがいるか？
１１６：音声がユーザＡとＢの間で送信される
１１８：アバターＡとＢが三次元仮想環境内に近付き、音声がユーザＡとＢの間で送信される
図９
１８ 仮想環境サーバ
オーディオ・サブシステム
アバターの位置と方向決定サブシステム
３４ａ アバターＡのインスタンス
３４ｂ アバターＢのインスタンス
６８ 音声制御サブシステム
７８ 混合機能

Claims (20)

  1. コンピュータで生成された三次元仮想環境のユーザ間で音声を選択的に送信する方法において、
    （Ａ）三次元仮想環境内で第１アバターの位置を決定するステップと、
    （Ｂ）前記三次元仮想環境内で、前記第１アバターが向く方向を決定するステップと、
    （Ｃ）第２アバターに関連する第２ユーザからの音声を、前記第１アバターに関連する第１ユーザの混合した音声ストリーム内に含めるステップと、
    前記（Ｃ）ステップは、前記第２アバターが、前記第１アバターの第１距離内におり、前記第１アバターが前記第２アバターに向いている時に行われ、
    （Ｄ）第２アバターに関連する第２ユーザからの音声を、前記第１アバターに関連する第１ユーザの混合した音声ストリーム内に含めないステップと、
    前記（Ｄ）ステップは、前記第２アバターが、前記第１アバターの第１距離内にいるが、前記第１アバターが前記第２アバターに向いていない時に行われ、
    を有する
    ことを特徴とするコンピュータで生成された三次元仮想環境のユーザ間で音声を選択的に送信する方法。
  2. （Ｅ）前記第１アバターの音声分散範囲を規定するステップ
    をさらに有し、その結果、
    前記第２アバターが前記音声分散範囲内にいる場合、前記第２アバターに関連するユーザからの音声は、前記第１ユーザの混合した音声・ストリーム内に含まれ、
    前記第２アバターが前記音声分散範囲外にいる場合、前記第２アバターに関連するユーザからの音声は、前記第１ユーザの混合した音声・ストリーム内に含まれない
    ことを特徴とする請求項１記載の方法。
  3. 前記第１アバターの前記音声分散範囲は、前記第１アバターに関連する前記第１ユーザにより制御される
    ことを特徴とする請求項２記載の方法。
  4. 前記第１アバターの前記音声分散範囲は、前記第１アバターが前記三次元仮想環境内で叫ぶことができるよう、前記第１アバターが向いている方向に向けてより長い距離伸びる
    ことを特徴とする請求項３記載の方法。
  5. 前記第１アバターの前記音声分散範囲は、前記第１アバターが前記三次元仮想環境内でささやくことができるよう、前記第１アバターが向いている方向に向けてより短い距離しか伸びない
    ことを特徴とする請求項３記載の方法。
  6. 前記第１アバターの前記音声分散範囲は、前記三次元仮想環境の空間内と一致するように増加し、
    その結果、前記第１アバターに関連する前記第１ユーザにより生成された音声は、前記三次元仮想環境内の空間内にいるアバターに関係する他の全てのユーザの混合した音声・ストリーム内に含まれる
    ことを特徴とする請求項３記載の方法。
  7. 前記第１アバターが、前記三次元仮想環境の所定の位置に入った時に、前記第１アバターの前記音声分散範囲は、前記三次元仮想環境の空間内と一致するように自動的に増加する
    ことを特徴とする請求項６記載の方法。
  8. 前記音声分散範囲は、前記第１ユーザにより、マウス・ホイールを介して制御される
    ことを特徴とする請求項３記載の方法。
  9. （Ｆ）前記三次元仮想環境内で前記第１アバターと前記第２アバターの間に障害物があるか否かを決定するステップと、
    前記第１アバターと前記第２アバターの間に障害物がある場合には、前記第２ユーザからの音声は、前記第１ユーザの混合した音声・ストリーム内に含めない
    ことを特徴とする請求項１記載の方法。
  10. 前記障害物は、壁である
    ことを特徴とする請求項９記載の方法。
  11. 前記第１アバターの前記音声分散範囲は、前記三次元仮想環境内のアバターの位置に依存する
    ことを特徴とする請求項２記載の方法。
  12. 実際の音声を三次元仮想環境内で模擬させるインストラクションを実行するコンピュータ・プログラムにおいて、
    （Ａ）第１ユーザに関連する第１アバター用に、前記三次元仮想環境内に第１の音声分散範囲を規定するステップと、
    （Ｂ）前記第１ユーザに提示される混合した音声・ストリームに含める為に、前記第１の音声分散範囲内にいるアバターに関連する他のユーザからの音声を選択するステップと
    を有する
    ことを特徴とする請求項２記載の方法。
  13. （Ｃ）前記三次元仮想環境内の障害物に基づいて、前記第１の音声分散範囲の形状を調整するステップ
    をさらに有する
    ことを特徴とする請求項１２記載の方法。
  14. （Ｄ）前記第１の音声分散範囲のサイズと形状を決めるために、前記三次元仮想環境内のアイテムの減衰係数を規定するステップ
    をさらに有する
    ことを特徴とする請求項１２記載の方法。
  15. （Ｅ）前記第１ユーザに前記第１の音声分散範囲を制御させるステップ
    をさらに有する
    ことを特徴とする請求項１４記載の方法。
  16. 前記（Ｅ）ステップにより、前記ユーザは、前記第１の音声分散範囲を拡大して、離れた位置にいるアバターからの音声を含め、その結果、前記アバターは、叫ぶことができる
    ことを特徴とする請求項１５記載の方法。
  17. 前記（Ｅ）ステップにより、前記ユーザは、前記第１の音声分散範囲を縮小して、アバターが前記第１の音声分散範囲に入るのを阻止し、その結果、前記アバターは、ささやくことができる
    ことを特徴とする請求項１６記載の方法。
  18. 第２アバターが、前記第１アバターの前記第１の音声分散範囲内にある場合には、前記第２アバターに関連するユーザは、前記第１ユーザからの音声を聞くことができる
    ことを特徴とする請求項１２記載の方法。
  19. （Ｇ）ユーザがフューチャを起動するステップを更に有し、
    これにより、前記第１ユーザからの音声を、前記三次元仮想環境の空間内にいるアバターに関連する全てのユーザに提供される音声・ストリーム内に含める
    ことを特徴とする請求項１８記載の方法。
  20. 前記フューチャは、前記第１アバターが、前記三次元仮想環境内の所定の領域内に入った時に、自動的に起動される
    ことを特徴とする請求項１９記載の方法。

JP2011500904A 2008-03-18 2009-03-17 コンピュータで生成された三次元仮想環境へのウエブ・コンテンツの取り込み Expired - Fee Related JP5405557B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US3744708P 2008-03-18 2008-03-18
US61/037,447 2008-03-18
US12/344,542 US20090240359A1 (en) 2008-03-18 2008-12-28 Realistic Audio Communication in a Three Dimensional Computer-Generated Virtual Environment
US12/344,542 2008-12-28
PCT/US2009/037424 WO2009117434A1 (en) 2008-03-18 2009-03-17 Realistic audio communications in a three dimensional computer-generated virtual environment

Publications (3)

Publication Number Publication Date
JP2011518366A true JP2011518366A (ja) 2011-06-23
JP2011518366A5 JP2011518366A5 (ja) 2012-02-16
JP5405557B2 JP5405557B2 (ja) 2014-02-05

Family

ID=41089695

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2011500904A Expired - Fee Related JP5405557B2 (ja) 2008-03-18 2009-03-17 コンピュータで生成された三次元仮想環境へのウエブ・コンテンツの取り込み
JP2011500018A Active JP5396461B2 (ja) 2008-03-18 2009-03-18 仮想環境へのウエブ・コンテンツの取り込み

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2011500018A Active JP5396461B2 (ja) 2008-03-18 2009-03-18 仮想環境へのウエブ・コンテンツの取り込み

Country Status (5)

Country Link
US (4) US8605863B1 (ja)
EP (3) EP2269389A4 (ja)
JP (2) JP5405557B2 (ja)
CN (2) CN101978707B (ja)
WO (3) WO2009117434A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015198646A1 (ja) * 2014-06-25 2015-12-30 株式会社カプコン ゲーム装置、効果音加工方法及び記録媒体
JP6039042B1 (ja) * 2015-11-20 2016-12-07 株式会社スクウェア・エニックス 描画処理プログラム、描画処理装置、描画処理方法、発音処理プログラム、発音処理装置、及び、発音処理方法
JPWO2018135304A1 (ja) * 2017-01-18 2019-11-21 ソニー株式会社 情報処理装置、および情報処理方法、並びにプログラム

Families Citing this family (119)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9009603B2 (en) 2007-10-24 2015-04-14 Social Communications Company Web browser interface for spatial communication environments
US20090288007A1 (en) * 2008-04-05 2009-11-19 Social Communications Company Spatial interfaces for realtime networked communications
US9357025B2 (en) 2007-10-24 2016-05-31 Social Communications Company Virtual area based telephony communications
US7769806B2 (en) * 2007-10-24 2010-08-03 Social Communications Company Automated real-time data stream switching in a shared virtual area communication environment
US8930472B2 (en) 2007-10-24 2015-01-06 Social Communications Company Promoting communicant interactions in a network communications environment
US8407605B2 (en) 2009-04-03 2013-03-26 Social Communications Company Application sharing
US8191001B2 (en) 2008-04-05 2012-05-29 Social Communications Company Shared virtual area communication environment based apparatus and methods
US8397168B2 (en) 2008-04-05 2013-03-12 Social Communications Company Interfacing with a spatial virtual communication environment
US20090199275A1 (en) * 2008-02-06 2009-08-06 David Brock Web-browser based three-dimensional media aggregation social networking application
US8756304B2 (en) 2010-09-11 2014-06-17 Social Communications Company Relationship based presence indicating in virtual area contexts
US8028021B2 (en) * 2008-04-23 2011-09-27 International Business Machines Corporation Techniques for providing presentation material in an on-going virtual meeting
EP2377089A2 (en) * 2008-12-05 2011-10-19 Social Communications Company Managing interactions in a network communications environment
US9529423B2 (en) * 2008-12-10 2016-12-27 International Business Machines Corporation System and method to modify audio components in an online environment
KR101595751B1 (ko) * 2008-12-19 2016-02-22 삼성전자주식회사 화상통화 중 데이터 저장 방법 및 시스템
US8762861B2 (en) * 2008-12-28 2014-06-24 Avaya, Inc. Method and apparatus for interrelating virtual environment and web content
US20130174059A1 (en) 2011-07-22 2013-07-04 Social Communications Company Communicating between a virtual area and a physical space
US9853922B2 (en) 2012-02-24 2017-12-26 Sococo, Inc. Virtual area communications
US10356136B2 (en) 2012-10-19 2019-07-16 Sococo, Inc. Bridging physical and virtual spaces
US9065874B2 (en) 2009-01-15 2015-06-23 Social Communications Company Persistent network resource and virtual area associations for realtime collaboration
US8284157B2 (en) * 2010-01-15 2012-10-09 Microsoft Corporation Directed performance in motion capture system
US20110225517A1 (en) * 2010-03-10 2011-09-15 Oddmobb, Inc Pointer tools for a virtual social venue
US20110225039A1 (en) * 2010-03-10 2011-09-15 Oddmobb, Inc. Virtual social venue feeding multiple video streams
US20110225516A1 (en) * 2010-03-10 2011-09-15 Oddmobb, Inc. Instantiating browser media into a virtual social venue
US8667402B2 (en) * 2010-03-10 2014-03-04 Onset Vi, L.P. Visualizing communications within a social setting
US20110225518A1 (en) * 2010-03-10 2011-09-15 Oddmobb, Inc. Friends toolbar for a virtual social venue
US8572177B2 (en) 2010-03-10 2013-10-29 Xmobb, Inc. 3D social platform for sharing videos and webpages
US20110225515A1 (en) * 2010-03-10 2011-09-15 Oddmobb, Inc. Sharing emotional reactions to social media
US20110225498A1 (en) * 2010-03-10 2011-09-15 Oddmobb, Inc. Personalized avatars in a virtual social venue
WO2011112296A1 (en) * 2010-03-10 2011-09-15 Oddmobb, Inc. Incorporating media content into a 3d platform
US20110225519A1 (en) * 2010-03-10 2011-09-15 Oddmobb, Inc. Social media platform for simulating a live experience
US9171087B2 (en) * 2010-05-20 2015-10-27 Samesurf, Inc. Method and apparatus for the implementation of a real-time, sharable browsing experience on a host device
US8527591B2 (en) 2010-05-20 2013-09-03 Actual Works, Inc. Method and apparatus for the implementation of a real-time, sharable browsing experience on a guest device
CN101996077A (zh) * 2010-09-08 2011-03-30 海皮士（北京）网络技术有限公司 一种在三维客户端中嵌入浏览器的方法和系统
US8562441B1 (en) * 2011-05-03 2013-10-22 Zynga Inc. Secure, parallel, and independent script execution
US11025865B1 (en) * 2011-06-17 2021-06-01 Hrl Laboratories, Llc Contextual visual dataspaces
US9349118B2 (en) * 2011-08-29 2016-05-24 Avaya Inc. Input, display and monitoring of contact center operation in a virtual reality environment
US8776043B1 (en) 2011-09-29 2014-07-08 Amazon Technologies, Inc. Service image notifications
US9530156B2 (en) 2011-09-29 2016-12-27 Amazon Technologies, Inc. Customizable uniform control user interface for hosted service images
US10147123B2 (en) 2011-09-29 2018-12-04 Amazon Technologies, Inc. Electronic marketplace for hosted service images
US9626700B1 (en) 2011-09-29 2017-04-18 Amazon Technologies, Inc. Aggregation of operational data for merchandizing of network accessible services
US9093259B1 (en) * 2011-11-16 2015-07-28 Disney Enterprises, Inc. Collaborative musical interaction among avatars
US9392233B2 (en) * 2011-12-08 2016-07-12 International Business Machines Corporation System and method for combined meeting recording
US9503349B2 (en) * 2012-01-26 2016-11-22 Zoom International S.R.O. Complex interaction recording
US9679279B1 (en) 2012-02-27 2017-06-13 Amazon Technologies Inc Managing transfer of hosted service licenses
US9397987B1 (en) 2012-03-23 2016-07-19 Amazon Technologies, Inc. Managing interaction with hosted services
US9258371B1 (en) 2012-03-23 2016-02-09 Amazon Technologies, Inc. Managing interaction with hosted services
US9374448B2 (en) 2012-05-27 2016-06-21 Qualcomm Incorporated Systems and methods for managing concurrent audio messages
US9734131B1 (en) 2012-06-18 2017-08-15 Bromium, Inc. Synchronizing history data across a virtualized web browser
US9384026B1 (en) * 2012-06-18 2016-07-05 Bromium, Inc. Sharing and injecting cookies into virtual machines for retrieving requested web pages
US10095662B1 (en) 2012-06-18 2018-10-09 Bromium, Inc. Synchronizing resources of a virtualized browser
US9727534B1 (en) 2012-06-18 2017-08-08 Bromium, Inc. Synchronizing cookie data using a virtualized browser
GB201216667D0 (en) * 2012-07-10 2012-10-31 Paz Hadar Inside - on-line virtual reality immersion and integration system
US8954853B2 (en) * 2012-09-06 2015-02-10 Robotic Research, Llc Method and system for visualization enhancement for situational awareness
DE102012019527A1 (de) * 2012-10-05 2014-04-10 Deutsche Telekom Ag Verfahren und System zur Verbesserung und Erweiterung der Funktionalität eines Videotelefonats
WO2014071076A1 (en) * 2012-11-01 2014-05-08 Gutman Ronald David Conferencing for participants at different locations
US9886160B2 (en) * 2013-03-15 2018-02-06 Google Llc Managing audio at the tab level for user notification and control
CN104105056A (zh) * 2013-04-12 2014-10-15 上海果壳电子有限公司 通话方法、系统及手持设备
US9553787B1 (en) 2013-04-29 2017-01-24 Amazon Technologies, Inc. Monitoring hosted service usage
US10334101B2 (en) * 2013-05-22 2019-06-25 Nice Ltd. System and method for generating metadata for a recorded session
CA2925906A1 (en) * 2013-10-01 2015-04-09 Aaron DISHNO Three-dimensional (3d) browsing
US20180225885A1 (en) * 2013-10-01 2018-08-09 Aaron Scott Dishno Zone-based three-dimensional (3d) browsing
US20150156228A1 (en) * 2013-11-18 2015-06-04 Ronald Langston Social networking interacting system
US10388297B2 (en) * 2014-09-10 2019-08-20 Harman International Industries, Incorporated Techniques for generating multiple listening environments via auditory devices
US20160292966A1 (en) * 2015-03-31 2016-10-06 Gary Denham System and method of providing a virtual shopping experience
US10230801B2 (en) * 2015-04-14 2019-03-12 Avaya Inc. Session reconstruction using proactive redirect
CN105007297A (zh) * 2015-05-27 2015-10-28 国家计算机网络与信息安全管理中心 社交网络的交互方法及装置
US10007482B2 (en) * 2015-09-16 2018-06-26 Hashplay Inc. Method and system for voice chat in virtual environment
KR20170055867A (ko) * 2015-11-12 2017-05-22 엘지전자 주식회사 이동단말기 및 그 제어방법
EP3389260A4 (en) * 2015-12-11 2018-11-21 Sony Corporation Information processing device, information processing method, and program
US10516703B2 (en) * 2016-03-07 2019-12-24 Precision Biometrics, Inc. Monitoring and controlling the status of a communication session
US10560521B1 (en) * 2016-09-12 2020-02-11 Verint Americas Inc. System and method for parsing and archiving multimedia data
CN106528038B (zh) * 2016-10-25 2019-09-06 三星电子（中国）研发中心 一种虚拟现实场景下调节音频效果的方法、系统及装置
CN106598245B (zh) * 2016-12-16 2020-06-12 阿里巴巴（中国）有限公司 基于虚拟现实的多用户交互控制方法及装置
CN106886404A (zh) * 2017-01-17 2017-06-23 武汉卓尔云市集团有限公司 一种android的3D渲染装置
US11096004B2 (en) * 2017-01-23 2021-08-17 Nokia Technologies Oy Spatial audio rendering point extension
US10516961B2 (en) * 2017-03-17 2019-12-24 Nokia Technologies Oy Preferential rendering of multi-user free-viewpoint audio for improved coverage of interest
US10531219B2 (en) 2017-03-20 2020-01-07 Nokia Technologies Oy Smooth rendering of overlapping audio-object interactions
CN107050851B (zh) * 2017-03-27 2020-12-08 熊庆生 一种游戏内容效果的声音加强方法及系统
US11074036B2 (en) 2017-05-05 2021-07-27 Nokia Technologies Oy Metadata-free audio-object interactions
US10154360B2 (en) 2017-05-08 2018-12-11 Microsoft Technology Licensing, Llc Method and system of improving detection of environmental sounds in an immersive environment
CN110020235B (zh) * 2017-08-23 2021-08-03 北京京东尚科信息技术有限公司 Web浏览器三维模型定位方法、装置、介质和电子设备
US11395087B2 (en) 2017-09-29 2022-07-19 Nokia Technologies Oy Level-based audio-object interactions
US10582063B2 (en) * 2017-12-12 2020-03-03 International Business Machines Corporation Teleconference recording management system
CN107995440B (zh) * 2017-12-13 2021-03-09 北京奇虎科技有限公司 一种视频字幕贴图生成方法、装置、计算机可读存储介质及终端设备
US10673913B2 (en) * 2018-03-14 2020-06-02 8eo, Inc. Content management across a multi-party conference system by parsing a first and second user engagement stream and transmitting the parsed first and second user engagement stream to a conference engine and a data engine from a first and second receiver
DK180130B1 (da) 2018-05-07 2020-06-02 Apple Inc. Multi-participant live communication user interface
AU2019266225B2 (en) * 2018-05-07 2021-01-14 Apple Inc. Multi-participant live communication user interface
US11395089B2 (en) * 2018-05-08 2022-07-19 Google Llc Mixing audio based on a pose of a user
US10924566B2 (en) * 2018-05-18 2021-02-16 High Fidelity, Inc. Use of corroboration to generate reputation scores within virtual reality environments
US11232532B2 (en) * 2018-05-30 2022-01-25 Sony Interactive Entertainment LLC Multi-server cloud virtual reality (VR) streaming
EP3576413A1 (en) * 2018-05-31 2019-12-04 InterDigital CE Patent Holdings Encoder and method for encoding a tile-based immersive video
US11227435B2 (en) 2018-08-13 2022-01-18 Magic Leap, Inc. Cross reality system
CN109168068B (zh) * 2018-08-23 2020-06-23 Oppo广东移动通信有限公司 视频处理方法、装置、电子设备及计算机可读介质
US10909762B2 (en) 2018-08-24 2021-02-02 Microsoft Technology Licensing, Llc Gestures for facilitating interaction with pages in a mixed reality environment
US11128792B2 (en) 2018-09-28 2021-09-21 Apple Inc. Capturing and displaying images with multiple focal planes
JP2022512600A (ja) 2018-10-05 2022-02-07 マジック リープ， インコーポレイテッド 任意の場所における場所特有の仮想コンテンツのレンダリング
US10846898B2 (en) * 2019-03-28 2020-11-24 Nanning Fugui Precision Industrial Co., Ltd. Method and device for setting a multi-user virtual reality chat environment
CN114600064A (zh) 2019-10-15 2022-06-07 奇跃公司 具有定位服务的交叉现实系统
CN114616534A (zh) 2019-10-15 2022-06-10 奇跃公司 具有无线指纹的交叉现实系统
JP2023504775A (ja) 2019-11-12 2023-02-07 マジック リープ， インコーポレイテッド 位置特定サービスおよび共有場所ベースのコンテンツを伴うクロスリアリティシステム
EP4073763A4 (en) * 2019-12-09 2023-12-27 Magic Leap, Inc. CROSS-REALLY SYSTEM WITH SIMPLIFIED PROGRAMMING OF VIRTUAL CONTENT
US11228800B2 (en) * 2019-12-31 2022-01-18 Sling TV L.L.C. Video player synchronization for a streaming video system
WO2021163295A1 (en) 2020-02-13 2021-08-19 Magic Leap, Inc. Cross reality system with prioritization of geolocation information for localization
US11410395B2 (en) 2020-02-13 2022-08-09 Magic Leap, Inc. Cross reality system with accurate shared maps
US11562525B2 (en) 2020-02-13 2023-01-24 Magic Leap, Inc. Cross reality system with map processing using multi-resolution frame descriptors
US11521643B2 (en) * 2020-05-08 2022-12-06 Bose Corporation Wearable audio device with user own-voice recording
US11838336B2 (en) * 2020-08-27 2023-12-05 Varty Inc. Virtual events-based social network
US11792031B2 (en) * 2021-03-31 2023-10-17 Snap Inc. Mixing participant audio from multiple rooms within a virtual conferencing system
US11282278B1 (en) * 2021-04-02 2022-03-22 At&T Intellectual Property I, L.P. Providing adaptive asynchronous interactions in extended reality environments
US11743430B2 (en) * 2021-05-06 2023-08-29 Katmai Tech Inc. Providing awareness of who can hear audio in a virtual conference, and applications thereof
US11907605B2 (en) 2021-05-15 2024-02-20 Apple Inc. Shared-content session user interfaces
US11449188B1 (en) 2021-05-15 2022-09-20 Apple Inc. Shared-content session user interfaces
US11893214B2 (en) 2021-05-15 2024-02-06 Apple Inc. Real-time communication user interface
US20220368737A1 (en) * 2021-05-17 2022-11-17 Cloudengage, Inc. Systems and methods for hosting a video communications portal on an internal domain
US20230086248A1 (en) * 2021-09-21 2023-03-23 Meta Platforms Technologies, Llc Visual navigation elements for artificial reality environments
US11812135B2 (en) 2021-09-24 2023-11-07 Apple Inc. Wide angle video conference
US20240031530A1 (en) * 2022-07-20 2024-01-25 Katmai Tech Inc. Using zones in a three-dimensional virtual environment for limiting audio and video
US11935195B1 (en) * 2022-12-13 2024-03-19 Astrovirtual, Inc. Web browser derived content including real-time visualizations in a three-dimensional gaming environment
US11947871B1 (en) 2023-04-13 2024-04-02 International Business Machines Corporation Spatially aware virtual meetings

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1055261A (ja) * 1996-08-08 1998-02-24 Nippon Telegr & Teleph Corp <Ntt> ３次元仮想空間音通信方法とその装置
JPH11219278A (ja) * 1998-02-02 1999-08-10 Mitsubishi Electric Corp ３次元仮想世界システム
JP2005514702A (ja) * 2002-01-09 2005-05-19 レイク テクノロジー リミティド 対話型立体的オーディオビジュアル・システム
JP2005322125A (ja) * 2004-05-11 2005-11-17 Sony Corp 情報処理システム、情報処理方法、プログラム
US20060025216A1 (en) * 2004-07-29 2006-02-02 Nintendo Of America Inc. Video game voice chat with amplitude-based virtual ranging
JP2007336481A (ja) * 2006-06-19 2007-12-27 Square Enix Co Ltd ネットワークシステム

Family Cites Families (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2892901B2 (ja) 1992-04-27 1999-05-17 インターナショナル・ビジネス・マシーンズ・コーポレイション プレゼンテーションの獲得、管理およびプレイバック用自動化システム及び方法
US5559875A (en) 1995-07-31 1996-09-24 Latitude Communications Method and apparatus for recording and retrieval of audio conferences
US6175842B1 (en) * 1997-07-03 2001-01-16 At&T Corp. System and method for providing dynamic three-dimensional multi-user virtual spaces in synchrony with hypertext browsing
US6850609B1 (en) 1997-10-28 2005-02-01 Verizon Services Corp. Methods and apparatus for providing speech recording and speech transcription services
US6298129B1 (en) 1998-03-11 2001-10-02 Mci Communications Corporation Teleconference recording and playback system and associated method
US6230171B1 (en) * 1998-08-29 2001-05-08 International Business Machines Corporation Markup system for shared HTML documents
JP2000113221A (ja) * 1998-09-30 2000-04-21 Sony Corp 情報処理装置および方法、並びに提供媒体
US6504926B1 (en) * 1998-12-15 2003-01-07 Mediaring.Com Ltd. User control system for internet phone quality
WO2005015880A1 (en) 1998-12-29 2005-02-17 Tpresence, Inc. Computer network architecture for persistent, distributed virtual environments
KR100349597B1 (ko) * 1999-01-12 2002-08-22 삼성전자 주식회사 광도파로 소자 및 그 제조방법
US7349944B2 (en) * 1999-11-18 2008-03-25 Intercall, Inc. System and method for record and playback of collaborative communications session
KR100404285B1 (ko) * 2000-02-09 2003-11-03 (주) 고미드 2차원/3차원 겸용 웹 브라우징 방법 및 이를 저장하고 있는 기록매체
US20010019337A1 (en) * 2000-03-03 2001-09-06 Jong Min Kim System for providing clients with a three dimensional virtual reality
EP1266280B1 (en) * 2000-03-20 2006-08-16 BRITISH TELECOMMUNICATIONS public limited company Data entry
JP4479051B2 (ja) * 2000-04-28 2010-06-09 ソニー株式会社 情報処理装置および方法、並びに記録媒体
US20060036756A1 (en) 2000-04-28 2006-02-16 Thomas Driemeyer Scalable, multi-user server and method for rendering images from interactively customizable scene information
US6954728B1 (en) * 2000-05-15 2005-10-11 Avatizing, Llc System and method for consumer-selected advertising and branding in interactive media
US6501739B1 (en) * 2000-05-25 2002-12-31 Remoteability, Inc. Participant-controlled conference calling system
EP1316040A1 (en) * 2000-07-06 2003-06-04 Raymond Melkomian Virtual interactive global exchange
US6792093B2 (en) 2000-12-05 2004-09-14 Zvi Barak System and method for telephone call recording and recorded call retrieval
ATE394865T1 (de) 2000-09-19 2008-05-15 Nice Systems Ltd Kommunikationsmanagementsystem zum zumindest teilweisen aufzeichnen der kommunikation
GB0029574D0 (en) 2000-12-02 2001-01-17 Hewlett Packard Co Recordal service for voice communications
JP2002312295A (ja) * 2001-04-09 2002-10-25 Nec Interchannel Ltd 仮想３次元空間会話システム
US6909429B2 (en) * 2001-05-18 2005-06-21 A.G. Imaginations Ltd. System and method for displaying content in a three-dimensional virtual environment
WO2003058518A2 (en) * 2002-01-07 2003-07-17 Stephen James Crampton Method and apparatus for an avatar user interface system
JP3829722B2 (ja) * 2002-01-23 2006-10-04 ソニー株式会社 情報処理装置および方法、並びにプログラム
GB2389736B (en) * 2002-06-13 2005-12-14 Nice Systems Ltd A method for forwarding and storing session packets according to preset and/or dynamic rules
US6778639B2 (en) 2002-06-26 2004-08-17 International Business Machines Corporation Method, apparatus and computer program for authorizing recording of a message
US7054420B2 (en) 2002-09-11 2006-05-30 Telstrat International, Ltd. Voice over IP telephone recording architecture
US7466334B1 (en) 2002-09-17 2008-12-16 Commfore Corporation Method and system for recording and indexing audio and video conference calls allowing topic-based notification and navigation of recordings
US6993120B2 (en) 2002-10-23 2006-01-31 International Business Machines Corporation System and method for copying and transmitting telephony conversations
US7590230B1 (en) * 2003-05-22 2009-09-15 Cisco Technology, Inc. Automated conference recording for missing conference participants
US7467356B2 (en) * 2003-07-25 2008-12-16 Three-B International Limited Graphical user interface for 3d virtual display browser using virtual display windows
US20050030309A1 (en) * 2003-07-25 2005-02-10 David Gettman Information display
US20050226395A1 (en) * 2004-04-05 2005-10-13 Benco David S Network support for consensual mobile recording
GB2414369B (en) * 2004-05-21 2007-08-01 Hewlett Packard Development Co Processing audio data
US8077832B2 (en) * 2004-10-20 2011-12-13 Speechink, Inc. Systems and methods for consent-based recording of voice data
US7227930B1 (en) * 2004-10-20 2007-06-05 Core Mobility, Inc. Systems and methods for criteria-based recording of voice data
US7707262B1 (en) * 2004-12-28 2010-04-27 Aol Llc Negotiating content controls
JP2005149529A (ja) * 2005-01-06 2005-06-09 Fujitsu Ltd 音声対話システム
US7738638B1 (en) * 2005-04-05 2010-06-15 At&T Intellectual Property Ii, L.P. Voice over internet protocol call recording
US7570752B2 (en) * 2005-09-23 2009-08-04 Alcatel Lucent Telephony/conference activity presence state
JP2007156558A (ja) 2005-11-30 2007-06-21 Toshiba Corp 通信装置および通信方法
US20070282695A1 (en) * 2006-05-26 2007-12-06 Hagai Toper Facilitating on-line commerce
US20080005347A1 (en) 2006-06-29 2008-01-03 Yahoo! Inc. Messenger system for publishing podcasts
US7548609B2 (en) * 2006-09-07 2009-06-16 Cti Group (Holding), Inc. Process for scalable conversation recording
US8503651B2 (en) * 2006-12-27 2013-08-06 Nokia Corporation Teleconferencing configuration based on proximity information
US20080204449A1 (en) * 2007-02-27 2008-08-28 Dawson Christopher J Enablement of virtual environment functions and features through advertisement exposure
GB0703974D0 (en) * 2007-03-01 2007-04-11 Sony Comp Entertainment Europe Entertainment device
US20080252637A1 (en) * 2007-04-14 2008-10-16 Philipp Christian Berndt Virtual reality-based teleconferencing
US8300773B2 (en) * 2007-04-30 2012-10-30 Hewlett-Packard Development Company, L.P. Telephonic recording system and method
WO2009000028A1 (en) 2007-06-22 2008-12-31 Global Coordinate Software Limited Virtual 3d environments

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1055261A (ja) * 1996-08-08 1998-02-24 Nippon Telegr & Teleph Corp <Ntt> ３次元仮想空間音通信方法とその装置
JPH11219278A (ja) * 1998-02-02 1999-08-10 Mitsubishi Electric Corp ３次元仮想世界システム
JP2005514702A (ja) * 2002-01-09 2005-05-19 レイク テクノロジー リミティド 対話型立体的オーディオビジュアル・システム
JP2005322125A (ja) * 2004-05-11 2005-11-17 Sony Corp 情報処理システム、情報処理方法、プログラム
US20060025216A1 (en) * 2004-07-29 2006-02-02 Nintendo Of America Inc. Video game voice chat with amplitude-based virtual ranging
JP2007336481A (ja) * 2006-06-19 2007-12-27 Square Enix Co Ltd ネットワークシステム

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015198646A1 (ja) * 2014-06-25 2015-12-30 株式会社カプコン ゲーム装置、効果音加工方法及び記録媒体
JP2016007399A (ja) * 2014-06-25 2016-01-18 株式会社カプコン 効果音加工プログラム及びゲーム装置
US11027200B2 (en) 2014-06-25 2021-06-08 Capcom Co., Ltd. Game device, method and non-transitory computer-readable storage medium
JP6039042B1 (ja) * 2015-11-20 2016-12-07 株式会社スクウェア・エニックス 描画処理プログラム、描画処理装置、描画処理方法、発音処理プログラム、発音処理装置、及び、発音処理方法
JP2017097569A (ja) * 2015-11-20 2017-06-01 株式会社スクウェア・エニックス 描画処理プログラム、描画処理装置、描画処理方法、発音処理プログラム、発音処理装置、及び、発音処理方法
JPWO2018135304A1 (ja) * 2017-01-18 2019-11-21 ソニー株式会社 情報処理装置、および情報処理方法、並びにプログラム
US11311803B2 (en) 2017-01-18 2022-04-26 Sony Corporation Information processing device, information processing method, and program
JP7124715B2 (ja) 2017-01-18 2022-08-24 ソニーグループ株式会社 情報処理装置、および情報処理方法、並びにプログラム

Also Published As

Publication number Publication date
US9392037B2 (en) 2016-07-12
CN101978707A (zh) 2011-02-16
WO2009114936A1 (en) 2009-09-24
JP2011517811A (ja) 2011-06-16
EP2258103A1 (en) 2010-12-08
WO2009117434A1 (en) 2009-09-24
US20090241037A1 (en) 2009-09-24
EP2269389A4 (en) 2013-07-24
EP2258103A4 (en) 2013-07-24
WO2009114937A1 (en) 2009-09-24
US9258337B2 (en) 2016-02-09
US20090240359A1 (en) 2009-09-24
US8605863B1 (en) 2013-12-10
CN101978707B (zh) 2015-04-22
EP2258103B1 (en) 2018-05-02
US20090240818A1 (en) 2009-09-24
EP2269389A1 (en) 2011-01-05
EP2255492B1 (en) 2016-06-15
EP2255492A4 (en) 2013-04-10
JP5396461B2 (ja) 2014-01-22
CN102204207A (zh) 2011-09-28
EP2255492A1 (en) 2010-12-01
CN102204207B (zh) 2016-06-22
JP5405557B2 (ja) 2014-02-05

Similar Documents

Publication Publication Date Title
JP5405557B2 (ja) コンピュータで生成された三次元仮想環境へのウエブ・コンテンツの取り込み
US20100169799A1 (en) Method and Apparatus for Enabling Presentations to Large Numbers of Users in a Virtual Environment
US10911882B2 (en) Methods and systems for generating spatialized audio
EP2095679B1 (en) Apparatuses and methods for use in creating an audio scene
US20100169796A1 (en) Visual Indication of Audio Context in a Computer-Generated Virtual Environment
US8082297B2 (en) Method and apparatus for managing communication between participants in a virtual environment
US10979842B2 (en) Methods and systems for providing a composite audio stream for an extended reality world
CA2538957C (en) Three-dimensional virtual space simulator, three-dimensional virtual space simulation program, and computer readable recording medium where the program is recorded
US11683443B2 (en) Methods to improve person-to-person interactions in video conferences
US20060015560A1 (en) Multi-sensory emoticons in a communication system
US11109177B2 (en) Methods and systems for simulating acoustics of an extended reality world
US20200228911A1 (en) Audio spatialization
US20230017111A1 (en) Spatialized audio chat in a virtual metaverse
US20230032545A1 (en) Independent Control of Avatar Location and Voice Origination Location within a Virtual Collaboration Space
JP2022133254A (ja) ３次元（３ｄ）環境用の統合された入出力（ｉ／ｏ）
CN117597916A (zh) 保护虚拟会议中的私人音频和其应用
US20230218998A1 (en) 3D Spatialisation of Voice Chat
AU2012200463B2 (en) Apparatus and Methods for use in Creating an Audio Scene
WO2022182471A1 (en) Virtual environment audio stream delivery
JP2022502937A (ja) 特殊効果通信技術

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111226

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120110

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130118

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130123

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130416

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131008

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131030

LAPS Cancellation because of no payment of annual fees