JP2000231474A - マルチユーザ仮想空間における音源の定位制御方法、その装置及びそのプログラムを記録した記録媒体 - Google Patents
マルチユーザ仮想空間における音源の定位制御方法、その装置及びそのプログラムを記録した記録媒体Info
- Publication number
- JP2000231474A JP2000231474A JP3069599A JP3069599A JP2000231474A JP 2000231474 A JP2000231474 A JP 2000231474A JP 3069599 A JP3069599 A JP 3069599A JP 3069599 A JP3069599 A JP 3069599A JP 2000231474 A JP2000231474 A JP 2000231474A
- Authority
- JP
- Japan
- Prior art keywords
- localization
- sound
- data
- processing speed
- virtual space
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Information Transfer Between Computers (AREA)
- Computer And Data Communications (AREA)
- Stereophonic System (AREA)
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
Abstract
(57)【要約】
【課題】 マルチユーザ仮想空間システムにおいて、分
身表示と音像定位の処理能力が異なっていても、容易に
音像の定位と分身の表示の同期がとれるようにする。 【解決手段】 発話端末から、位置情報と音声データと
を一つのデータとしてネットワークに送信し、受信端末
では、分身の表示処理速度と音像定位処理速度を測定し
て、そのいずれかがデータ受信タイミングより遅い場
合、遅い方の処理速度に合わせて受信データの位置情報
と音声データを再編し、音像の定位と分身の表示の同期
をとる。
身表示と音像定位の処理能力が異なっていても、容易に
音像の定位と分身の表示の同期がとれるようにする。 【解決手段】 発話端末から、位置情報と音声データと
を一つのデータとしてネットワークに送信し、受信端末
では、分身の表示処理速度と音像定位処理速度を測定し
て、そのいずれかがデータ受信タイミングより遅い場
合、遅い方の処理速度に合わせて受信データの位置情報
と音声データを再編し、音像の定位と分身の表示の同期
をとる。
Description
【０００１】
【発明の属する技術分野】本発明は、複数の端末がネッ
トワークでつながれ、各端末の利用者が同一の仮想空間
を共有し、該仮想空間内で、各利用者の分身がオブジェ
クトとして表現され、音像定位する音声によるリアルタ
イム通信が可能なマルチユーザ仮想空間システムに関
し、詳しくは、音像の定位と分身の表示の同期化のため
の音源定位制御方法、その装置及びそのプログラムを記
録した記録媒体に関する。
トワークでつながれ、各端末の利用者が同一の仮想空間
を共有し、該仮想空間内で、各利用者の分身がオブジェ
クトとして表現され、音像定位する音声によるリアルタ
イム通信が可能なマルチユーザ仮想空間システムに関
し、詳しくは、音像の定位と分身の表示の同期化のため
の音源定位制御方法、その装置及びそのプログラムを記
録した記録媒体に関する。
【０００２】
【従来の技術】従来、複数の利用者がネットワークを介
して同一の仮想空間を共有し、音像定位する音声で会話
をする場合、特定の音声定位装置により音源を利用者の
仮想空間における位置情報に基づき定位させて出力した
り、あるいはソフトウェア制御により、同じく空間の利
用者の分身の位置情報を基に音像定位を行っていた。前
者の場合、音源と位置情報とは別の独立した線で送信し
ている。また、後者も分身を表示するモジュールと音像
定位するモジュールとは独立である。
して同一の仮想空間を共有し、音像定位する音声で会話
をする場合、特定の音声定位装置により音源を利用者の
仮想空間における位置情報に基づき定位させて出力した
り、あるいはソフトウェア制御により、同じく空間の利
用者の分身の位置情報を基に音像定位を行っていた。前
者の場合、音源と位置情報とは別の独立した線で送信し
ている。また、後者も分身を表示するモジュールと音像
定位するモジュールとは独立である。
【０００３】
【発明が解決しようとする課題】上記従来の音声定位通
信では、位置情報や音声データを送信するタイミング
は、ＣＰＵの性能等により、個々の端末で性能が異な
り、ハードウェア制御では別々の系で位置情報や音声デ
ータを送らなければならない。また、受信側において
も、位置情報から仮想空間内の分身表示と音像定位のタ
イミングが全て独立なため、受信側の発話者の動きと音
声の定位の動きにづれが生じる。
信では、位置情報や音声データを送信するタイミング
は、ＣＰＵの性能等により、個々の端末で性能が異な
り、ハードウェア制御では別々の系で位置情報や音声デ
ータを送らなければならない。また、受信側において
も、位置情報から仮想空間内の分身表示と音像定位のタ
イミングが全て独立なため、受信側の発話者の動きと音
声の定位の動きにづれが生じる。
【０００４】これらの理由により、送信側では、音声源
と位置情報の送信の同期がとれず、受信側では、どの位
置情報がどの音声源と対応するのか判別できず、また端
末の処理速度にずれがある場合は、時間の経過とともに
仮想空間内の分身の動きと音像定位の動きが一致しない
問題が起こる。特に、送信側の位置情報と音声のデータ
の送信タイミングの差に開きがある場合や送信側のタイ
ミングが受信側の処理速度を上回っている場合は、この
影響は大きい。
と位置情報の送信の同期がとれず、受信側では、どの位
置情報がどの音声源と対応するのか判別できず、また端
末の処理速度にずれがある場合は、時間の経過とともに
仮想空間内の分身の動きと音像定位の動きが一致しない
問題が起こる。特に、送信側の位置情報と音声のデータ
の送信タイミングの差に開きがある場合や送信側のタイ
ミングが受信側の処理速度を上回っている場合は、この
影響は大きい。
【０００５】本発明の目的は、複数の利用者がネットワ
ークを介して同一の仮想空間を共有し、音像定位する音
声でコミュニケーションを行うマルチユーザ仮想空間シ
ステムにおいて、送信側の送信タイミング（受信側の受
信タイミング）、受信側の分身表示処理能力、音像定位
処理能力が異なっていても、容易に音像の定位と分身の
表示の同期がとれるようにすることにある。
ークを介して同一の仮想空間を共有し、音像定位する音
声でコミュニケーションを行うマルチユーザ仮想空間シ
ステムにおいて、送信側の送信タイミング（受信側の受
信タイミング）、受信側の分身表示処理能力、音像定位
処理能力が異なっていても、容易に音像の定位と分身の
表示の同期がとれるようにすることにある。
【０００６】
【課題を解決する手段】本発明では、送信側の端末は、
音声が有音である場合、位置情報と音声データを１つの
データ（音源定位情報データと呼ぶ）としてネットワー
クに送信する。これにより、送信側のどの位置情報がど
の音声源に対応するのかを明確にすると同時に送信側で
の位置情報と音声のデータの送信タイミングの同期をと
ることができる。
音声が有音である場合、位置情報と音声データを１つの
データ（音源定位情報データと呼ぶ）としてネットワー
クに送信する。これにより、送信側のどの位置情報がど
の音声源に対応するのかを明確にすると同時に送信側で
の位置情報と音声のデータの送信タイミングの同期をと
ることができる。
【０００７】また、受信側では、音源定位情報データの
単位時間当りの受信数Ｔ１、自端末の単位時間当りの分
身表示処理数Ｔ２と音源定位処理数Ｔ３を測定し、Ｔ１
＜Ｔ２およびＴ１＜Ｔ３の場合には、音源定位情報の全
部をそのまま分身変移に同期して音声を出力するが、Ｔ
１＞Ｔ２またはＴ１＞Ｔ３の場合には、分身の表示処理
と音像定位処理の遅い方のタイミングに合わせて、音源
定位情報データの位置情報と音声データを再編すること
で、受信側の定位のタイミングと発話者の分身表示のタ
イミングの同期をとる。
単位時間当りの受信数Ｔ１、自端末の単位時間当りの分
身表示処理数Ｔ２と音源定位処理数Ｔ３を測定し、Ｔ１
＜Ｔ２およびＴ１＜Ｔ３の場合には、音源定位情報の全
部をそのまま分身変移に同期して音声を出力するが、Ｔ
１＞Ｔ２またはＴ１＞Ｔ３の場合には、分身の表示処理
と音像定位処理の遅い方のタイミングに合わせて、音源
定位情報データの位置情報と音声データを再編すること
で、受信側の定位のタイミングと発話者の分身表示のタ
イミングの同期をとる。
【０００８】
【発明の実施の形態】以下、本発明の一実施例について
図面をもとに説明する。図１は本発明の一実施例のシス
テム構成図である。図１において、各利用者の端末２
０、４０、６０は、サーバホスト１０にネットワーク１
００を介して接続されている。なお、端末はこれらに限
られるものではない。サーバホスト１０はユーザ認証部
１１、端末間通信制御部１２、記憶装置１３、モデル
（分身）制御部１４及び網制御部１５からなる。また、
端末Ａ２０は網制御部２１、符号化部２２、無音判定部
２３、音声入力装置２４、データ処理部２５、タイミン
グ検出部２６、記憶装置２７、仮想空間制御部２８、表
示装置２９、定位制御部３０、音声出力装置３１、デバ
イス制御部３２及び入力装置３３からなる。端末Ｂ４
０、端末Ｃ６０の構成も同様である。
図面をもとに説明する。図１は本発明の一実施例のシス
テム構成図である。図１において、各利用者の端末２
０、４０、６０は、サーバホスト１０にネットワーク１
００を介して接続されている。なお、端末はこれらに限
られるものではない。サーバホスト１０はユーザ認証部
１１、端末間通信制御部１２、記憶装置１３、モデル
（分身）制御部１４及び網制御部１５からなる。また、
端末Ａ２０は網制御部２１、符号化部２２、無音判定部
２３、音声入力装置２４、データ処理部２５、タイミン
グ検出部２６、記憶装置２７、仮想空間制御部２８、表
示装置２９、定位制御部３０、音声出力装置３１、デバ
イス制御部３２及び入力装置３３からなる。端末Ｂ４
０、端末Ｃ６０の構成も同様である。
【０００９】各利用者は、まず、自端末の仮想空間制御
部２８、４８、６８から網制御部２１、４１、６１、１
５を通してサーバホスト１０の端末間通信制御部１２に
接続し、入力装置３３、５３、７３からのＩＤとパス０
ードを送信する。サーバホスト１０では、記憶装置１３
に保持されている利用者のＩＤとパスワードを、ユーザ
ー認証部１１が端末通信制御部１２からのデータと照合
して利用者の認証を行う。そして、端末間通信制御部１
２から各端末の仮想空間制御部２８、４８、６８に位置
情報及び音声データの送信許可のメッセージを送信す
る。
部２８、４８、６８から網制御部２１、４１、６１、１
５を通してサーバホスト１０の端末間通信制御部１２に
接続し、入力装置３３、５３、７３からのＩＤとパス０
ードを送信する。サーバホスト１０では、記憶装置１３
に保持されている利用者のＩＤとパスワードを、ユーザ
ー認証部１１が端末通信制御部１２からのデータと照合
して利用者の認証を行う。そして、端末間通信制御部１
２から各端末の仮想空間制御部２８、４８、６８に位置
情報及び音声データの送信許可のメッセージを送信す
る。
【００１０】仮想空間のモデル及び利用者の分身モデル
は、各端末２０、４０、６０の記憶装置２７、４７、６
７で保持しており、仮想空間制御部２８、４８、６８
が、これらをロードして表示装置２９、４９、５９に出
力する。なお、サーバホスト１０の記憶装置１３には、
最新の仮想空間モデルが蓄積されており、利用者がサー
バホスト１０に接続してユーザー認証を受けた後に、新
規・更新分のみを、モデル制御部１４が定期的に端末間
通信制御部１２、網制御部１５を介して各端末２０、４
０、６０に送信する。
は、各端末２０、４０、６０の記憶装置２７、４７、６
７で保持しており、仮想空間制御部２８、４８、６８
が、これらをロードして表示装置２９、４９、５９に出
力する。なお、サーバホスト１０の記憶装置１３には、
最新の仮想空間モデルが蓄積されており、利用者がサー
バホスト１０に接続してユーザー認証を受けた後に、新
規・更新分のみを、モデル制御部１４が定期的に端末間
通信制御部１２、網制御部１５を介して各端末２０、４
０、６０に送信する。
【００１１】位置情報は、利用者が入力装置２３、４
３、７３を操作することにより、デバイス制御部３２、
５２、７２を介し、仮想空間制御部２８、４８、６８が
表示装置２９、４９、６９に画面を出力する毎に得ら
れ、仮想空間制御部２８、４８、６８からデータ処理部
２５、４５、６５へ送られる。音声データは、利用者の
発話音声を音声入力装置２４、４４、６４より取り込
み、あるレベルより低い音声データは、無音判定部２
３、４３、６３でカットされる。無音判定部２３、４
３、６３で有音と判定された音声データは、符号化部２
２、４２、６２でデジタル化されてデータ処理部２５、
４５、６５へ送られる。データ処理部２５、４５、６５
は、位置情報の取得タイミングで、無音の場合は位置情
報のみ、有無の場合には位置情報と音声データとをまと
めたデータ構造に編成し、音源定位情報データとして、
網制御部２１、４１、６１よりサーバホスト１０へ送信
する。
３、７３を操作することにより、デバイス制御部３２、
５２、７２を介し、仮想空間制御部２８、４８、６８が
表示装置２９、４９、６９に画面を出力する毎に得ら
れ、仮想空間制御部２８、４８、６８からデータ処理部
２５、４５、６５へ送られる。音声データは、利用者の
発話音声を音声入力装置２４、４４、６４より取り込
み、あるレベルより低い音声データは、無音判定部２
３、４３、６３でカットされる。無音判定部２３、４
３、６３で有音と判定された音声データは、符号化部２
２、４２、６２でデジタル化されてデータ処理部２５、
４５、６５へ送られる。データ処理部２５、４５、６５
は、位置情報の取得タイミングで、無音の場合は位置情
報のみ、有無の場合には位置情報と音声データとをまと
めたデータ構造に編成し、音源定位情報データとして、
網制御部２１、４１、６１よりサーバホスト１０へ送信
する。
【００１２】図２は、端末における音源定位情報データ
の作成送信制御の処理手順フローを示したものである。
また、図３は、データ処理部２５、４５、６５での該音
源定位情報データの作成送信の処理フローを示す。
の作成送信制御の処理手順フローを示したものである。
また、図３は、データ処理部２５、４５、６５での該音
源定位情報データの作成送信の処理フローを示す。
【００１３】こうして、各端末２０、４０、６０からサ
ーバホスト１０へ送信された位置情報のみあるいは位置
情報と音声データからなる音源定位情報データは、サー
バホスト１０の網制御部１５で受信され、端末間制御通
信部１２にて、ある一定間隔Ｔ１毎に、各端末から送信
されてきた音源定位情報データを一括し、網制御部１５
より全端末に配信する。ここで、音源定位情報データ
は、自端末の情報を除き、各端末の位置情報（Ｐ）及び
音声データ（Ａ）をまとめて配信される。例えば端末Ｂ
４０に対する音源定位情報データは、（Ｐa１、Ａa１）
（Ｐc１、Ａc１）、・・・（Ｐn１、Ａn１）となる（各
データの小文字：端末のアルファベットに対応）。
ーバホスト１０へ送信された位置情報のみあるいは位置
情報と音声データからなる音源定位情報データは、サー
バホスト１０の網制御部１５で受信され、端末間制御通
信部１２にて、ある一定間隔Ｔ１毎に、各端末から送信
されてきた音源定位情報データを一括し、網制御部１５
より全端末に配信する。ここで、音源定位情報データ
は、自端末の情報を除き、各端末の位置情報（Ｐ）及び
音声データ（Ａ）をまとめて配信される。例えば端末Ｂ
４０に対する音源定位情報データは、（Ｐa１、Ａa１）
（Ｐc１、Ａc１）、・・・（Ｐn１、Ａn１）となる（各
データの小文字：端末のアルファベットに対応）。
【００１４】以下では、端末Ｂ４０に着目して、受信側
での音源定位制御について説明する。サーバホスト１０
から配信された音源定位情報データは、端末Ｂ４０にお
いて、網制御部４１を介してデータ処理部４５で受信さ
れる。データ処理部４５では、音源定位情報データから
位置情報を分離して仮想空間制御部４８へ渡し、仮想空
間制御部４８で他の利用者の分身を仮想空間上の位置に
更新して表示装置４９に再表示する。また、位置情報と
音声データは、データ処理部４５から定位制御部５０に
送られて、該定位制御部５０にて仮想空間の相対位置に
変換されて、音像定位処理を行い、音声出力装置５１で
出力する。
での音源定位制御について説明する。サーバホスト１０
から配信された音源定位情報データは、端末Ｂ４０にお
いて、網制御部４１を介してデータ処理部４５で受信さ
れる。データ処理部４５では、音源定位情報データから
位置情報を分離して仮想空間制御部４８へ渡し、仮想空
間制御部４８で他の利用者の分身を仮想空間上の位置に
更新して表示装置４９に再表示する。また、位置情報と
音声データは、データ処理部４５から定位制御部５０に
送られて、該定位制御部５０にて仮想空間の相対位置に
変換されて、音像定位処理を行い、音声出力装置５１で
出力する。
【００１５】上記受信側端末Ｂ４０の処理の流れにおい
て、サーバホスト１０での音源定位情報データの送信タ
イミング（端末での単位時間当りのデータ受信数）Ｔ１
が、サーバホスト１０からのデータ受信毎にタイミング
検出部４６で測定され、データ処理部４５へ渡される。
また、データ処理部４５では、仮想空間制御部４１から
単位時間当りの他の利用者の分身の再表示処理数をＴ２
として、さらに、定位制御部５０から単位時間当りの音
像定位処理数をＴ３として測定する。
て、サーバホスト１０での音源定位情報データの送信タ
イミング（端末での単位時間当りのデータ受信数）Ｔ１
が、サーバホスト１０からのデータ受信毎にタイミング
検出部４６で測定され、データ処理部４５へ渡される。
また、データ処理部４５では、仮想空間制御部４１から
単位時間当りの他の利用者の分身の再表示処理数をＴ２
として、さらに、定位制御部５０から単位時間当りの音
像定位処理数をＴ３として測定する。
【００１６】データ処理部４５では、Ｔ１、Ｔ２、Ｔ３
の値を比較し、Ｔ１＞Ｔ２＞Ｔ３、またはＴ１＞Ｔ３＞
Ｔ２の場合は、Ｔ２、Ｔ３を基準にした処理タイミング
に切り替えて、音像定位情報データを他のアバターの表
示と音像定位の同期を図る。それ以外の場合はそのまま
処理を続ける。
の値を比較し、Ｔ１＞Ｔ２＞Ｔ３、またはＴ１＞Ｔ３＞
Ｔ２の場合は、Ｔ２、Ｔ３を基準にした処理タイミング
に切り替えて、音像定位情報データを他のアバターの表
示と音像定位の同期を図る。それ以外の場合はそのまま
処理を続ける。
【００１７】図４に、受信側の端末における音源定位制
御の全体的な処理フローの一例を示す。また、音源定位
情報データの受信時のデータ処理部（２５、４６、６
５）の処理フロー例を図５に、仮想空間制御部（２８、
４８、６８）での分身変移の表示処理フロー例を図６
に、定位制御部での分身変移に同期した音声出力の処理
フロー例を図７に示す。
御の全体的な処理フローの一例を示す。また、音源定位
情報データの受信時のデータ処理部（２５、４６、６
５）の処理フロー例を図５に、仮想空間制御部（２８、
４８、６８）での分身変移の表示処理フロー例を図６
に、定位制御部での分身変移に同期した音声出力の処理
フロー例を図７に示す。
【００１８】次に、図８及び図９に、本発明による音源
の定位制御の具体例を示す。図８は受信側での位置デー
タと音声データの再編成を説明する図である。ここで、
Ｔ１＝４、Ｔ２＝３、Ｔ３＝２とする。したがって、本
例では、Ｔ２＞Ｔ３であり、Ｔ１とＴ３の商の剰余数ｉ
＝２を受信側の処理タイミングの基準とする。これによ
り、図８（１）の単位時間当たり（Ｐ１、Ａ１）（Ｐ
２、Ａ２）（Ｐ３、Ａ３）（Ｐ４、Ａ４）と受信された
データを、データ処理部では、図８（２）に示すよう
に、（Ｐ１、Ａ１＋Ａ２）（Ｐ２、ＮＵＬＬ）（Ｐ３、
Ａ３＋Ａ４）（Ｐ４、ＮＵＬＬ）というように再編成し
て、仮想空間制御部と定位制御部に同時に送る（ＮＵＬ
Ｌ：無音を表す）。仮想空間制御部では、単位時間あた
りにＰ１、Ｐ３を順次処理して分身を表示装置に表示す
る。また、定位制御部では、Ｐ１でＡ１＋Ａ２を、Ｐ３
でＡ３＋Ａ４の２つを順次処理し、音声出力装置に出力
する。
の定位制御の具体例を示す。図８は受信側での位置デー
タと音声データの再編成を説明する図である。ここで、
Ｔ１＝４、Ｔ２＝３、Ｔ３＝２とする。したがって、本
例では、Ｔ２＞Ｔ３であり、Ｔ１とＴ３の商の剰余数ｉ
＝２を受信側の処理タイミングの基準とする。これによ
り、図８（１）の単位時間当たり（Ｐ１、Ａ１）（Ｐ
２、Ａ２）（Ｐ３、Ａ３）（Ｐ４、Ａ４）と受信された
データを、データ処理部では、図８（２）に示すよう
に、（Ｐ１、Ａ１＋Ａ２）（Ｐ２、ＮＵＬＬ）（Ｐ３、
Ａ３＋Ａ４）（Ｐ４、ＮＵＬＬ）というように再編成し
て、仮想空間制御部と定位制御部に同時に送る（ＮＵＬ
Ｌ：無音を表す）。仮想空間制御部では、単位時間あた
りにＰ１、Ｐ３を順次処理して分身を表示装置に表示す
る。また、定位制御部では、Ｐ１でＡ１＋Ａ２を、Ｐ３
でＡ３＋Ａ４の２つを順次処理し、音声出力装置に出力
する。
【００１９】図９は、仮想空間での分身の表示位置と対
応する音声出力を示した図である。この例の場合、Ｐ
２、Ｐ４といった位置情報は欠落するが、位置情報の変
化はＰ１とＰ２、Ｐ３とＰ４の間ではあまり変化かない
ので、Ｔ１／（Ｔ２ or Ｔ３）＜Ｋであれば表示上の大
きな問題とはならない（Ｋ：実験的に見た目上アバター
の動きが不連続に見えないように決定される定数）。
応する音声出力を示した図である。この例の場合、Ｐ
２、Ｐ４といった位置情報は欠落するが、位置情報の変
化はＰ１とＰ２、Ｐ３とＰ４の間ではあまり変化かない
ので、Ｔ１／（Ｔ２ or Ｔ３）＜Ｋであれば表示上の大
きな問題とはならない（Ｋ：実験的に見た目上アバター
の動きが不連続に見えないように決定される定数）。
【００２０】次に、別の例として、剰余のある例につい
て示す。ここでは、Ｔ１＝７、Ｔ２＝４、Ｔ３＝３とす
る。したがって、ｉ＝２、余りは１となる。この場合、
単位時間当り（Ｐ１、Ａ１）、（Ｐ２、Ａ２）、（Ｐ
３、Ａ３）、（Ｐ４、Ａ４）、（Ｐ５、Ａ５）（Ｐ６、
Ａ６）、（Ｐ７、Ａ７）と受信されたデータは、（Ｐ
１、Ａ１＋Ａ２）、（Ｐ２、ＮＵＬＬ）、（Ｐ３、Ａ３
＋Ａ４）、（Ｐ４、ＮＵＬＬ）、（Ｐ５、Ａ５＋Ａ
６）、（Ｐ６、ＮＵＬＬ）と再編成される。この結果、
Ｐ１、Ｐ３、Ｐ５と分身が表示され、また、Ｐ１でＡ１
＋Ａ２、Ｐ３でＡ３＋Ａ４、Ｐ５でＡ５＋Ａ６と音像定
位処理される。
て示す。ここでは、Ｔ１＝７、Ｔ２＝４、Ｔ３＝３とす
る。したがって、ｉ＝２、余りは１となる。この場合、
単位時間当り（Ｐ１、Ａ１）、（Ｐ２、Ａ２）、（Ｐ
３、Ａ３）、（Ｐ４、Ａ４）、（Ｐ５、Ａ５）（Ｐ６、
Ａ６）、（Ｐ７、Ａ７）と受信されたデータは、（Ｐ
１、Ａ１＋Ａ２）、（Ｐ２、ＮＵＬＬ）、（Ｐ３、Ａ３
＋Ａ４）、（Ｐ４、ＮＵＬＬ）、（Ｐ５、Ａ５＋Ａ
６）、（Ｐ６、ＮＵＬＬ）と再編成される。この結果、
Ｐ１、Ｐ３、Ｐ５と分身が表示され、また、Ｐ１でＡ１
＋Ａ２、Ｐ３でＡ３＋Ａ４、Ｐ５でＡ５＋Ａ６と音像定
位処理される。
【００２１】なお、実施例では、位置情報と音声情報を
サーバホスト経由で一括配信する方式をとったが、端末
間で直接通信することも可能であるが、この場合のＴ１
は、各端末のタイミングとなり、端末台数分のＴ１が存
在することになる。
サーバホスト経由で一括配信する方式をとったが、端末
間で直接通信することも可能であるが、この場合のＴ１
は、各端末のタイミングとなり、端末台数分のＴ１が存
在することになる。
【００２２】また、図２乃至図７に示した処理フロー図
の手順やアルゴリズムは、コンピュータで実行可能な形
式で記述し、音源定位制御プログラムとしてコンピュー
タ読み取り可能な記録媒体、例えばフロッピーディス
ク、コンパクトディスクなどに記録して提供することが
可能である。
の手順やアルゴリズムは、コンピュータで実行可能な形
式で記述し、音源定位制御プログラムとしてコンピュー
タ読み取り可能な記録媒体、例えばフロッピーディス
ク、コンパクトディスクなどに記録して提供することが
可能である。
【００２３】
【発明の効果】以上説明したように、本発明によれば、
仮想空間内の分身等の動きとその音声（音源）の動きが
一致し、音声を発声している利用者が誰かが明確にな
り、端末の性能差が例えば１０倍程度以下の任意の性能
の端末間でもコミュニケーションが矛盾なく行える。
仮想空間内の分身等の動きとその音声（音源）の動きが
一致し、音声を発声している利用者が誰かが明確にな
り、端末の性能差が例えば１０倍程度以下の任意の性能
の端末間でもコミュニケーションが矛盾なく行える。
【００２４】また、本発明では、音源の位置がほぼ正確
に伝わり、かつ複数の端末からの音源を独立に処理すれ
ば、多人数での利用が可能となり、遠隔地間でのネット
ワークを介した多人数参加型の迷路ゲームでの目的地の
方向付けや探検ゲームでの目標物の探索等にも応用でき
る。
に伝わり、かつ複数の端末からの音源を独立に処理すれ
ば、多人数での利用が可能となり、遠隔地間でのネット
ワークを介した多人数参加型の迷路ゲームでの目的地の
方向付けや探検ゲームでの目標物の探索等にも応用でき
る。
【図１】本発明における一実施例のシステム構成図であ
る。
る。
【図２】送信側の音源定位情報データの作成送信制御の
処理フロー図である。
処理フロー図である。
【図３】データ処理部での音源定位情報データの作成送
信の処理フロー図である。
信の処理フロー図である。
【図４】受信側の音源定位制御の全体的処理フロー図で
ある。
ある。
【図５】データ処理部での音源定位情報データの受信時
の処理フロー図である。
の処理フロー図である。
【図６】仮想空間制御部での分身変移の表示の処理フロ
ー図である。
ー図である。
【図７】定位制御部での分身変移に同期した音声出力の
処理フロー図である。
処理フロー図である。
【図８】位置情報と音声データの再編成の具体例を示す
図である。
図である。
【図９】図８の例の仮想空間での分身の表示位置と対応
する音声出力を示す図である。
する音声出力を示す図である。
１０ サーバ ２０、４０、６０ 端末 ２３、４３、６３ 無音判定部 ２４、４４、６４ 音声入力装置 ２５、４５、６５ データ処理部 ２６、４６、６６ タイミング検出部 ２７、４７、６７ 記憶装置 ２８、４８、６８ 仮想空間制御部 ２９、４９、６９ 表示装置 ３０、５０、７０ 定位制御部 ３１、５１、７１ 音声出力装置 ３３、５３、７３ 入力装置
───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5B089 GA21 GB01 GB03 JA17 JB05 JB22 JB24 KA01 KA18 LB13 LB14 LB25 ME17 5D062 CC13 5E501 AA17 AC15 AC16 BA05 BA17 CA08 FA14 FA32
Claims (3)
- 【請求項１】 複数の端末がネットワークでつながれ、
各端末が同一の仮想空間を共有し、該仮想空間内で各利
用者の分身がオブジェクトとして表現され、音像定位す
る音声によるリアルタイム通信が可能なマルチユーザ仮
想空間システムにおいて、 発話端末では、位置情報と音声データとを一つのデータ
としてネットワークに送信し、 受信端末では、分身の表示処理速度と音像定位処理速度
を測定し、そのいずれかがデータ受信タイミングより遅
い場合、遅い方の処理速度に合わせて受信データの位置
情報と音声データを再編し、音像の定位と分身の表示の
同期をとることを特徴とするマルチユーザ仮想空間にお
ける音源の定位制御方法。 - 【請求項２】 音声の発話の有無を識別する手段と、無
音の場合は位置情報のみを送信し、音声が発せられた場
合には、デジタル化した音声を位置情報の取得タイミン
グで分割し、位置情報と音声データを同時に送信する手
段と、分身の表示処理速度と音像定位処理速度を測定す
る手段と、前記分身の表示処理速度と音声定位処理速度
を比較する手段と、前記表示処理速度と音声定位処理速
度のいずれかがデータ受信タイミングより遅い場合、遅
い方の処理速度に合わせて受信データの位置情報と音声
データを再編し、音像の定位と分身の表示の同期をとる
手段と、 を具備することを特徴とするマルチユーザ仮想空間にお
ける音源の定位制御装置。 - 【請求項３】 複数の端末がネットワークでつながれ、
各端末が同一の仮想空間を共有し、該仮想空間内で各利
用者の分身がオブジェクトとして表現され、音像定位す
る音声によるリアルタイム通信が可能なマルチユーザ仮
想空間システムにおいて、音像の定位と分身の表示の同
期化のための音源の定位制御プログラムを記録したコン
ピュータ読み取り可能な記録媒体であって、 音声の発話の有無を識別する処理プロセスと、無音の場
合は位置情報のみを送信し、音声が発せられた場合に
は、デジタル化した音声を位置情報の取得タイミングで
分割し、位置情報と音声データを同時に送信する処理プ
ロセスと、分身の表示処理速度と音像定位処理速度を測
定する処理プロセスと、前記分身の表示処理速度と音声
定位処理速度を比較する処理プロセスと、前記表示処理
速度と音声定位処理速度のいずれかがデータ受信タイミ
ングより遅い場合、遅い方の処理速度に合わせて受信デ
ータの位置情報と音声データを再編し、音像の定位と分
身の表示の同期をとる処理プロセスとを記録しているこ
とを特徴とする記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP3069599A JP3560282B2 (ja) | 1999-02-08 | 1999-02-08 | マルチユーザ仮想空間における音源の定位制御方法、その装置及びそのプログラムを記録した記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP3069599A JP3560282B2 (ja) | 1999-02-08 | 1999-02-08 | マルチユーザ仮想空間における音源の定位制御方法、その装置及びそのプログラムを記録した記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000231474A true JP2000231474A (ja) | 2000-08-22 |
| JP3560282B2 JP3560282B2 (ja) | 2004-09-02 |
Family
ID=12310819
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP3069599A Expired - Fee Related JP3560282B2 (ja) | 1999-02-08 | 1999-02-08 | マルチユーザ仮想空間における音源の定位制御方法、その装置及びそのプログラムを記録した記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3560282B2 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010509810A (ja) * | 2006-11-08 | 2010-03-25 | ドルビー・ラボラトリーズ・ライセンシング・コーポレーション | オーディオシーン作成用装置および方法 |
| JP2022141401A (ja) * | 2021-03-15 | 2022-09-29 | 株式会社エヌ・ティ・ティ・データ | 配信サーバ、配信方法、及びプログラム |
-
1999
- 1999-02-08 JP JP3069599A patent/JP3560282B2/ja not_active Expired - Fee Related
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010509810A (ja) * | 2006-11-08 | 2010-03-25 | ドルビー・ラボラトリーズ・ライセンシング・コーポレーション | オーディオシーン作成用装置および方法 |
| JP2022141401A (ja) * | 2021-03-15 | 2022-09-29 | 株式会社エヌ・ティ・ティ・データ | 配信サーバ、配信方法、及びプログラム |
| JP7191146B2 (ja) | 2021-03-15 | 2022-12-16 | 株式会社エヌ・ティ・ティ・データ | 配信サーバ、配信方法、及びプログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3560282B2 (ja) | 2004-09-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101502111B (zh) | 同步化媒体体验 | |
| US7864934B2 (en) | Telephone used in a telephone system for transmitting data from an authorized telephone with speech authority to an unauthorized telephone without speech authority | |
| US20020075286A1 (en) | Image generating system and method and storage medium | |
| KR100974044B1 (ko) | 거리 측정 시스템, 거리 측정 방법, 정보 처리 장치 및프로그램과 기록 매체 | |
| WO2019085770A1 (zh) | 系统信息块的传输方法、基站和用户终端 | |
| WO2020253844A1 (zh) | 多媒体信息的处理方法、装置和存储介质 | |
| CN111445583B (zh) | 增强现实处理方法及装置、存储介质和电子设备 | |
| CN109157841B (zh) | 一种游戏组队方法、终端、服务器及计算机可读存储介质 | |
| US20080074548A1 (en) | Television image capturing system | |
| CN107845386B (zh) | 声音信号处理方法、移动终端和服务器 | |
| US20130103851A1 (en) | Information processing apparatus | |
| CN108810860B (zh) | 一种音频传输方法、终端设备及主耳机 | |
| CN108540544B (zh) | 一种运动信息共享方法及终端 | |
| CN113509720B (zh) | 虚拟对战的回放方法、装置、终端、服务器及存储介质 | |
| US10430572B2 (en) | Information processing system that recognizes a user, storage medium, and information processing method | |
| CN110809226A (zh) | 一种音频播放方法及电子设备 | |
| CN111435904A (zh) | 搜索空间的配置方法及装置、通信设备 | |
| CN109358744A (zh) | 信息共享方法、装置、存储介质及穿戴式设备 | |
| CN108134736B (zh) | 建群方法及装置 | |
| CN108880974B (zh) | 会话群组创建方法及装置 | |
| KR20110040904A (ko) | 통신 단말기, 제어 방법 및 기록 매체 | |
| JP2000231474A (ja) | マルチユーザ仮想空間における音源の定位制御方法、その装置及びそのプログラムを記録した記録媒体 | |
| CN114390426A (zh) | 一种音量校准方法及装置 | |
| JP2021118456A (ja) | コンピュータプログラム、方法及びサーバ装置 | |
| CN111401283A (zh) | 面部识别方法及装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040113 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040315 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040518 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040521 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090604 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090604 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100604 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |