JP2007079799A - 仮想空間表示装置および仮想空間表示方法 - Google Patents

Abstract

【課題】 現実世界と仮想世界を関連づけ、相互作用をもたせることで、ネットワークを利用した新たなコミュニケーションの形態を実現する。
【解決手段】 端末のディスプレイ１２０Ａには、仮想空間内に設けられた擬似的なプロジェクタ１４０Ａと、仮想空間内を探索するユーザＡのキャラクタ１６０ＡとユーザＢのキャラクタ１６０Ｂが表示される。仮想空間にはユーザＡの送信エリア１５０Ａが設けられ、送信エリア１５０Ａ内にいずれかのユーザのキャラクタが入ると、そのユーザにより撮影された実写映像がユーザＡのプロジェクタ１４０Ａに映し出される。送信エリア１５０Ａ内に複数のユーザのキャラクタが存在する場合、その複数のユーザのそれぞれによって撮影された実写画像がプロジェクタ１４０Ａ内に統合されるときの大きさが、各ユーザのキャラクタの状態量や実写画像内の動き量に応じて相対的に調整される。
【選択図】 図７

Description

この発明は、仮想空間内に３次元オブジェクトを表示する仮想空間表示装置および仮想空間表示方法に関する。

ネットワークに接続された複数のユーザ端末が仮想空間を共有し、この仮想空間内でユーザがキャラクタを操作して仮想世界を探索したり、ユーザのキャラクタ同士が仮想世界で遭遇することにより、ユーザ間でチャットのようなコミュニケーションをとることのできるシステムが利用されている。そのようなシステムでは、仮想空間内に３次元オブジェクトを描画するために３次元コンピュータグラフィックスの技術が利用されている。

一方、複数の遠隔地間をネットワークで結んでテレビ会議などを行うことのできる遠隔コミュニケーションシステムや、遠隔地の様子を監視カメラなどで撮影し、ネットワークを介して映像を送信する遠隔監視システムなどがある。

今後、ブロードバンドのネットワークを前提として、仮想世界および現実世界でのコミュニケーションシステムの利用がより一層促進することが予想されている。このような状況下、本出願人は、現実世界と仮想世界を関連づけ、相互作用をもたせることで、ネットワークを利用した新たなコミュニケーションの形態を実現する可能性を認識するに至った。

本発明はこうした状況に鑑みてなされたものであり、その目的は、現実世界と仮想世界に関連性をもたせて仮想空間を表示することのできる仮想空間表示装置および仮想空間表示方法を提供することにある。

上記課題を解決するために、本発明のある態様の仮想空間表示装置は、ネットワークに接続された複数のユーザの端末が仮想空間を共有するシステムにおいて、各ユーザが前記仮想空間内で操作する移動オブジェクトが前記仮想空間内の所定のエリア内に存在するかどうかを判定する判定部と、前記判定部により、前記所定のエリア内に前記移動オブジェクトが存在すると判定されたユーザの端末から、そのユーザによって撮影された実写画像のデータを前記ネットワークを介して取得する実写画像取得部と、前記所定のエリアに対応づけて前記仮想空間内に設けられた疑似的なプロジェクタ内に前記実写画像を統合する画像統合部とを含む。

ここで、「疑似的なプロジェクタ内に実写画像を統合する」とは、プロジェクタ内に表示すべき実写画像が１つ以上ある場合に、１つ以上の実写画像をプロジェクタ内に統合することであるが、特別な場合として、表示すべき実写画像が１つしか存在しない場合も含める趣旨である。また、実写画像をプロジェクタ内に統合することは、１つ以上の表示すべき実写画像をすべてプロジェクタ内に表示する場合だけでなく、少なくとも一部の実写画像をサムネイル画像やアイコン画像のようにして表示したり、非表示状態にすることも含める趣旨である。

「所定のエリア」は、仮想空間内に明示的に設定されてもよいが、疑似的なプロジェクタの近傍などの所定の位置にあるものとして扱われてもよい。

前記画像統合部は、前記所定のエリア内に前記移動オブジェクトが存在すると判定されたユーザが複数存在する場合に、その複数のユーザのそれぞれによって撮影された実写画像を前記疑似的なプロジェクタ内に統合する際の強調度合いを、前記複数のユーザが仮想空間内で操作する移動オブジェクトの状態量に応じて相対的に調整してもよい。

「実写画像の強調度合い」は、解像度、フレームレート、画質、彩度、明度などにより調整されてもよい。また、「移動オブジェクトの状態量」には、移動量、移動速度、キャラクタの姿勢や視線方向などがある。

本発明の別の態様は、仮想空間表示方法である。この方法は、複数のユーザの端末がネットワーク上に形成された仮想空間を共有するシステムにおいて、各ユーザが前記仮想空間内で操作する移動オブジェクトが前記仮想空間内の所定のエリア内に存在するかどうかを判定し、前記所定のエリア内に前記移動オブジェクトが存在すると判定されたユーザによって撮影された実写画像を前記仮想空間内に設けられた疑似的なプロジェクタ内に表示する。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、データ構造などの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、現実世界と仮想世界に関連性をもたせて仮想空間を表示することができる。

図１は、実施の形態に係る仮想空間表示システムの構成図である。仮想空間表示システムは、仮想空間管理サーバ２００と複数の端末（ここでは、２つの端末１００Ａ、１００Ｂを例示する）がネットワーク３００に接続されて構成される。

仮想空間管理サーバ２００は、仮想空間内の３次元オブジェクトを管理し、各端末１００Ａ、１００Ｂに３次元オブジェクトのデータを提供する。各端末１００Ａ、１００Ｂは、仮想空間を共有し、仮想空間内の３次元オブジェクトを各ディスプレイ１２０Ａ、１２０Ｂに表示する。

各端末１００Ａ、１００Ｂには、ビデオカメラ１１０Ａ、１１０Ｂが有線または無線で接続されており、撮影された実写画像が取り込まれる。各端末１００Ａ、１００Ｂに取り込まれた実写画像は、仮想空間管理サーバ２００に送信され、仮想空間内で映像オブジェクトとして共有される。仮想空間管理サーバ２００は、複数の端末１００Ａ、１００Ｂから送られた実写画像を適宜統合した上で、各端末１００Ａ、１００Ｂに統合された実写画像を送信する。各端末１００Ａ、１００Ｂは、統合された実写画像を仮想空間の仮想画像と合成して、各ディスプレイ１２０Ａ、１２０Ｂに表示する。

仮想空間内には、実写画像が表示される擬似的なプロジェクタが仮想オブジェクトとして存在し、この疑似プロジェクタに各端末１００Ａ、１００Ｂのビデオカメラ１１０Ａ、１００Ｂで撮影された実写画像が統合されて表示される。

各端末１００Ａ、１００ＢのユーザＡ、Ｂは、仮想空間において、キャラクタなどの移動オブジェクトを操作し、仮想空間内を探索する。各端末１００Ａ、１００Ｂにおいて撮影される実写画像は、ユーザ自身の姿やユーザが撮影した現実空間の物体などである。実写映像が仮想空間内の疑似プロジェクタに表示されることで、仮想空間と現実空間の間に接点が生まれる。これにより、疑似プロジェクタを仮想空間内の共有場として、ユーザ間のさまざまなコミュニケーションが可能となる。

仮想空間でユーザが操作するキャラクタと、疑似プロジェクタに表示されるユーザが撮影した実写画像の間には相互作用がある。たとえば、仮想空間内でユーザのキャラクタが疑似プロジェクタに近づいたり、ユーザのキャラクタの動き量が大きい場合などに、疑似プロジェクタにそのユーザが撮影した実写画像が大きく表示される。

また、疑似プロジェクタに複数のユーザの実写画像が統合されて表示される場合、各ユーザの実写画像の相対的な大きさは、各ユーザのキャラクタと疑似プロジェクタの間の距離や、各ユーザのキャラクタの動き量などによって、変化する。さらに、各ユーザのキャラクタ同士が仮想空間内で接近するなどの相互作用があると、疑似プロジェクタ内で各ユーザの実写画像の大きさや表示位置が相対的に変化する。

このように仮想空間内でユーザがキャラクタを操作することが疑似プロジェクタ内の実写画像の表示形態に影響を与える。また、逆に、現実世界で起きた事象が、疑似プロジェクタ内の実写映像の表示形態に影響を及ぼすこともある。たとえば、ユーザが手を振るなど、動きがあった場合に、疑似プロジェクタ内のそのユーザの実写画像が、他のユーザの実写画像よりも大きく表示される。

以下の説明では、各端末１００Ａ、１００Ｂを総称するときは、端末１００と表記し、それぞれに接続されているビデオカメラ１１０Ａ、１１０Ｂ、ディスプレイ１２０Ａ、１２０Ｂについても総称するときは、ビデオカメラ１１０、ディスプレイ１２０と表記する。

図２は、端末１００の構成図である。実写画像処理部１０は、ビデオカメラ１１０により撮影された実写画像を仮想空間内で共有するために、通信部５０を介して仮想空間管理サーバ２００に送信する。仮想空間管理サーバ２００は、複数の端末１００から受け取った実写画像を仮想空間内に設けられた疑似プロジェクタに表示するために１つの画像に統合する。実写画像処理部１０は、通信部５０を介して統合実写画像を仮想空間管理サーバ２００から受け取り、仮想空間の仮想画像と合成させるために描画処理部４０に与える。

描画処理部４０は、仮想空間管理サーバ２００から通信部５０を介して３次元オブジェクトのデータを受け取り、仮想空間内の３次元オブジェクトの描画処理を行い、仮想画像をディスプレイ１２０に表示する。また、描画処理部４０は、実写画像処理部１０から統合実写画像を受け取り、仮想空間内の疑似プロジェクタに映し出す形で仮想世界の仮想画像と合成し、ディスプレイ１２０に表示する。

操作部３０は、仮想空間内のユーザのキャラクタに対する操作を受け付け、描画処理部４０に操作内容を与える。描画処理部４０は操作内容にしたがってキャラクタを描画する。たとえば、ユーザがコントローラなどを操作して、キャラクタを仮想空間内で移動させる指示を与えると、操作部３０は、キャラクタの移動方向と移動量を描画処理部４０に与え、描画処理部４０は、キャラクタを仮想空間内で移動させて描画する。

図３は、端末１００の実写画像処理部１０の詳細な構成を説明する図である。実写画像入力部１２は、ビデオカメラ１１０により撮影された実写画像の入力を受け付け、パラメータ抽出部１４と画像変換部１６に与える。

パラメータ抽出部１４は、後述の仮想空間管理サーバ２００のアップロード部２１２から通信部５０を介して画像内の物体の動きなどの特徴パラメータを抽出するプログラムを受け取り、その特徴抽出プログラムを用いて、実写画像入力部１２から供給された実写画像から指定された特徴パラメータを抽出する。

抽出された特徴パラメータの値は、当該端末１００のビデオカメラ１１０で撮影された実写画像に固有の絶対的な量であるから、「絶対パラメータ」と呼ぶ。パラメータ抽出部１４は、絶対パラメータを仮想空間管理サーバ２００のパラメータ統合部２１６に通信部５０を介して送信する。

画像変換部１６は、仮想空間管理サーバ２００のアップロード部２１２から通信部５０を介して実写画像を変換するプログラムとその変換処理に必要な変換パラメータを受け取る。この変換パラメータの値は、当該端末１００の実写画像と他の端末の実写画像との関係で相対的に決められる量であるから、「相対パラメータ」と呼ぶ。画像変換部１６は、相対パラメータにもとづいて実写画像入力部１２から与えられた実写画像を変換し、変換処理後の実写画像データを仮想空間管理サーバ２００の画像統合部２１８に通信部５０を介して送信する。

統合画像取得部１８は、仮想空間管理サーバ２００の画像統合部２１８から複数の端末の実写画像が相対パラメータの割合で統合された画像のデータを通信部５０を介して受け取り、描画処理部４０に与える。

図４は、仮想空間管理サーバ２００の構成図である。仮想空間管理サーバ２００は、仮想オブジェクト記憶部２６０に仮想空間内の３次元オブジェクトのデータを格納し、仮想空間を管理する。

仮想空間処理部２５０は、端末１００が仮想空間を表示する際に必要なオブジェクトのデータを仮想オブジェクト記憶部２６０から読み出し、通信部２７０を介して端末１００に送信する。また、仮想空間処理部２５０は、端末１００からユーザのキャラクタの姿勢や動作に関するデータを受け取り、キャラクタを表示するために必要なデータを仮想オブジェクト記憶部２６０から読み出し、端末１００に与える。

仮想空間内では、各端末１００の実写画像が絶えず仮想空間内の疑似プロジェクタに表示されるのではなく、ユーザのキャラクタが仮想空間内の特定のエリアに入った場合にのみ、そのユーザの端末１００の実写画像が仮想空間管理サーバ２００に送信されて、疑似プロジェクタに表示されて共有される。この実写画像の送信が行われるエリアを「送信エリア」と呼ぶ。送信エリアは、ユーザ毎に指定することができる。

疑似プロジェクタは、ユーザ間で共有されてもよく、ユーザ毎に個別の疑似プロジェクタが設けられ、ユーザの送信エリアと１対１に対応づけられてもよい。

送信エリア記憶部２４０には、ユーザ毎に指定された送信エリアの位置情報と、送信エリアに対応づけられた疑似プロジェクタの位置情報とが記憶される。

送信エリア判定部２３０は、仮想空間処理部２５０から各ユーザのキャラクタの現在位置情報を受け取り、あるユーザのキャラクタが、いずれかのユーザの送信エリア内に存在するかどうかを判定し、送信エリア内にユーザのキャラクタが存在する場合、そのユーザの端末１００から実写画像を取得する指示を実写画像処理部２１０に与える。

実写画像処理部２１０は、通信部２７０を介して、送信エリア内にキャラクタを移動させたユーザの端末１００に対して、実写画像の送信要求を発行し、端末１００から実写画像を受信する。複数のユーザのキャラクタが同一送信エリア内に存在する場合は、複数のユーザの端末１００から取得した実写画像を統合する処理を行い、統合実写画像のデータを通信部２７０を介して各端末１００に送信する。

図５は、仮想空間管理サーバ２００の実写画像処理部２１０の詳細な構成を説明する図である。

プログラム記憶部２１４には、端末１００の実写画像の動きなどの特徴を示すパラメータを抽出するための特徴抽出プログラム、および実写画像を統合する際の相対的な割合にもとづいて画像を変換するための画像変換プログラムが記憶される。アップロード部２１２は、端末１００のパラメータ抽出部１４に特徴抽出プログラムを、画像変換部１６に画像変換プログラムを通信部２７０を介して送信する。

アップロード部２１２は、特徴抽出プログラムで使用される特徴パラメータに関する情報と、画像変換プログラムで使用される変換パラメータに関する情報をパラメータ統合部２１６に与える。

パラメータ統合部２１６は、通信部２７０を介して端末１００のパラメータ抽出部１４から実写映像の絶対的な特徴パラメータを受け取る。パラメータ統合部２１６は、複数の端末１００から受け取った実写映像の絶対的な特徴パラメータを相対評価し、画像変換プログラムで使用される変換パラメータを端末１００毎に求め、各端末１００の画像変換部１６に与える。

たとえば、特徴抽出プログラムにより、各端末１００の実写映像内の動き量が絶対的な特徴パラメータとして抽出された場合、パラメータ統合部２１６は、複数の端末１００間でその絶対的な特徴パラメータを相対評価し、各端末１００の実写画像を統合する際の解像度を相対的に決定し、元の解像度との比によって各端末１００の実写画像の縮小率を求める。パラメータ統合部２１６は、求めた縮小率を相対的な変換パラメータとして各端末１００の画像変換部１６に与える。

また、パラメータ統合部２１６は、仮想空間内の各ユーザのキャラクタの状態量によって、各端末１００の実写画像を統合する際の相対的な割合を決めてもよい。たとえば、キャラクタの移動量や移動速度が大きいほど、そのユーザの実写画像は相対的に強調して表示されるように変換パラメータを決める。

画像統合部２１８は、通信部２７０を介して、相対的な変換パラメータにもとづいて変換された実写画像を各端末１００の画像変換部１６から受け取り、各端末１００の変換後の実写画像を統合した画像データを生成し、端末１００の統合画像取得部１８に与える。なお、画像統合部２１８は、疑似プロジェクタに表示すべき実写画像が１つ存在しない場合は、疑似プロジェクタの大きさに合わせて変換された実写画像を統合画像データとして端末１００の統合画像取得部１８に与える。

図６は、以上の構成の端末１００と仮想空間管理サーバ２００による実写映像の統合表示手順を説明するフローチャートである。図７は、端末１００のディスプレイ１２０の表示画面例を示す。図７を参照しながら、実写画像の統合表示処理手順を説明する。

ここでは、ユーザＡの送信エリアにユーザＡとユーザＢのキャラクタが入ってきた場合に、ユーザＡの端末１００Ａのディスプレイ１２０Ａに、ユーザＡの実写画像とユーザＢの実写画像が統合されて表示される例に沿って統合表示処理手順を説明する。以下、仮想空間管理サーバ２００を単にサーバ２００と呼び、ユーザＡの端末１００Ａを第１端末１００Ａ、ユーザＢの端末１００Ｂを第２端末１００Ｂと呼ぶ。

サーバ２００は、ユーザＡの送信エリアにユーザＡもしくはユーザＢのキャラクタが存在するか否かを判定する（Ｓ１０）。

図７は、第１端末１００Ａのディスプレイ１２０Ａに表示される仮想空間を示す。仮想空間の地表面１３０には、オブジェクト１３２、１３４が描画されており、ユーザＡのキャラクタ１６０Ａ、ユーザＢのキャラクタ１６０Ｂは、この仮想空間内を移動する。地表面１３０にはユーザＡの送信エリア１５０Ａが設けられており、この送信エリア１５０Ａ内にユーザＡまたはユーザＢのキャラクタ１６０Ａ、１６０Ｂが入ると、そのユーザのビデオカメラ１１０で撮影された実写映像がユーザＡのプロジェクタ１４０Ａに映し出される。

今、送信エリア１５０Ａ内に、ユーザＡのキャラクタ１６０ＡとユーザＢのキャラクタ１６０Ｂが入ってきたとする。

サーバ２００は、特徴抽出プログラムを第１端末１００Ａと、第２端末１００Ｂに送信する（Ｓ１２Ａ、Ｓ１２Ｂ）。第１端末１００Ａおよび第２端末１００Ｂのパラメータ抽出部１４は、それぞれのビデオカメラ１１０Ａ、１１０Ｂで撮影された実写画像から絶対パラメータＰＡ、ＰＢを抽出し（Ｓ１４Ａ、Ｓ１４Ｂ）、サーバ２００に送信する（Ｓ１６Ａ、Ｓ１６Ｂ）。なお、一度送信した特徴抽出プログラムは、プログラムが変更されたり、第１端末１００Ａまたは第２端末１００Ｂからの要求が新たに生じない限り、再送しない方式をとってもよい。

一例として、特徴抽出プログラムは、実写画像の動きベクトルを抽出するプログラムであり、絶対パラメータＰＡ、ＰＢは、動きベクトルの平均動き量である。また、このような実写画像から抽出される特徴パラメータ以外に、仮想空間内のキャラクタの状態量も絶対パラメータとして仮想空間管理サーバ２００に送信される。たとえば、キャラクタ１６０Ａあるいはキャラクタ１６０Ｂが疑似プロジェクタに対して接近している程度や、キャラクタ１６０Ａあるいはキャラクタ１６０Ｂの移動量や移動速度、視線方向や姿勢などの状態量がある。

サーバ２００のパラメータ統合部２１６は、ユーザＡの実写画像の絶対パラメータＰＡと、ユーザＢの実写画像の絶対パラメータＰＢを相対評価して統合し（Ｓ１８）、ユーザＡの実写画像およびユーザＢの実写画像をそれぞれ相対割合に応じて変換するための画像変換パラメータを相対パラメータＱＡ、ＱＢとして求める（Ｓ２０）。

各ユーザの実写画像の絶対的パラメータにもとづいて、実写画像を変換する際の相対的なパラメータを求める方法にはいくつかのバリエーションがある。実写画像から抽出される特徴パラメータを相対評価して、変換パラメータを求める方法では、たとえば、平均動き量の大きい実写画像に対しては、解像度を高くし、平均動き量の小さい実写画像に対しては、解像度を低くするなどといった解像度の相対的な比率を決める。それによって、ユーザＡの実写画像の縮小率とユーザＢの実写画像の縮小率がそれぞれ相対パラメータＱＡ、ＱＢとして求められる。

また、キャラクタの状態量を加味して、実写画像を疑似プロジェクタ内に統合表示する際の強調度合いを決め、実写画像を変換する際の相対パラメータを求めてもよい。たとえば、キャラクタの動作が激しい場合や、キャラクタが疑似プロジェクタに近づいた場合に、そのキャラクタに対応するユーザの実写画像を相対的に拡大したり、そのユーザの実写画像を相対的に画質を高めたり、フレームレートを上げるように相対パラメータを設定する。また、キャラクタの姿勢やキャラクタの視線方向が疑似プロジェクトに対向しているなどによりユーザが疑似プロジェクトに関心を持っていることが推認される場合に、そのユーザの実写画像の強調度合いを高めるように相対パラメータを設定してもよい。

サーバ２００は、第１端末１００Ａには、画像変換プログラムを送信する（Ｓ２２Ａ）とともに、相対パラメータＱＡを送信し（Ｓ２４Ａ）、第２端末１００Ｂには、画像変換プログラムを送信する（Ｓ２２Ｂ）とともに、相対パラメータＱＢを送信する（Ｓ２４Ｂ）。なお、一度送信した画像変換プログラムは、プログラムが変更されたり、第１端末１００Ａまたは第２端末１００Ｂからの要求が新たに生じない限り、再送しない方式をとってもよい。

第１端末１００Ａおよび第２端末１００Ｂの画像変換部１６は、それぞれ相対パラメータＱＡ、ＱＢにもとづいてユーザＡ、Ｂの実写画像を変換し（Ｓ２６Ａ、Ｓ２６Ｂ）、変換画像ＩＡ、ＩＢをサーバ２００に送信する（Ｓ２８Ａ、Ｓ２８Ｂ）。

たとえば、ユーザＡの実写画像がユーザＢの実写画像よりも強調される場合は、ユーザＡの実写画像は解像度やフレームレートが相対的に高くなるように変換されてサーバ２００に送信され、ユーザＢの実写画像は解像度やフレームレートが相対的に低くなるように変換されてサーバ２００に送信される。

サーバ２００の画像統合部２１８は、ユーザＡの変換画像ＩＡとユーザＢの変換画像ＩＢを統合し（Ｓ３０）、統合画像ＩＣをユーザＡの端末１００Ａに送信する（Ｓ３２）。第１端末１００Ａの統合画像取得部１８は統合画像ＩＣを受け取り、描画処理部４０は、統合画像ＩＣを疑似プロジェクタ１４０Ａに表示することで、実写映像を仮想空間内に合成する（Ｓ３４）。

図７に示すように、疑似プロジェクタ１４０Ａには、ユーザＡの実写画像１４２Ａと、ユーザＢの実写画像１４２Ｂとが相対的に決められた割合で統合されて表示される。この例では、ユーザＡの実写画像１４２Ａの解像度は、ユーザＢの実写画像１４２Ｂの解像度よりも相対的に大きい。これは、ユーザＡが手を振っているため、ユーザＡの実写画像の平均動き量がユーザＢの実写画像の平均動き量よりも相対的に大きくなったからである。

疑似プロジェクタ内の実写画像の強調表示の方法には、いろいろなバリエーションがある。強調される実写画像は動画であるが、強調されない実写画像はあるフレームで静止して静止画の状態になったり、強調されない実写画像は完全に非表示状態になってもよい。

以上述べた実写画像の統合表示手順によれば、サーバ２００が複数の端末１００の実写画像を統合する際、実写画像を撮影した端末１００において前もって実写画像の解像度やフレームレートなどが変換され、サーバ２００は、変換後の実写画像を受け取って統合処理を行うことができる。

たとえば、あるユーザの実写映像は他のユーザの実写画像よりも相対的に小さく表示したり、フレームレートを下げて表示すれば十分である場合に、元の実写画像をそのまま送信するとネットワーク帯域を圧迫する。しかし、本実施の形態によれば、前もって端末１００において解像度やフレームレートが変換された実写画像をサーバ２００に送るため、データ量を大幅に減らすことができ、サーバ２００に接続可能な端末１００の数を増やすことができる。また、サーバ２００において、実写画像を統合するために変換処理をする必要がないため、サーバ２００に負荷が集中することを避けることができる。このようにして、端末接続数と処理能力の両面において、システム全体のスケーラビリティを高めることができる。

また、複数の端末１００の実写画像を統合する際の相対的な割合を求める際に必要な実写画像の特徴パラメータを取得するために、サーバ２００側から特徴抽出プログラムを送信することにしたため、サーバ２００は、統合のために必要なパラメータを適宜取得することができ、実写映像の統合処理に柔軟性をもたせることができる。

また、各端末１００は、実写画像の特徴パラメータを絶対量で求めてサーバ２００に送信し、サーバ２００が各端末１００から得た絶対的な特徴パラメータを相対評価し、複数の実写画像を統合する際の相対的な割合を決めて実写画像を統合するため、端末１００側では実写画像の統合処理が不要である。

本実施の形態では、仮想空間内に送信エリアを設け、ユーザのキャラクタがその送信エリアに入った場合に、ユーザのビデオカメラで撮影された実写画像が疑似プロジェクタに送信されるように構成されている。この送信エリアと疑似プロジェクタの対応関係を用いることで、疑似プロジェクタを仮想空間内で実世界と関係をもつ共有場として利用したさまざまなコミュニケーションが可能となる。以下、送信エリアと疑似プロジェクタを利用した各種のコミュニケーションを説明する。

図８（ａ）は、図７の例に相当する送信エリアの設定例である。プロジェクタＡ（符号１４０Ａ）に対応づけて送信エリアＡ（符号１５０Ａ）が設定される。ユーザＡのディスプレイ１２０Ａには、仮想空間内のプロジェクタＡと送信エリアＡが表示されているとする。このとき、送信エリア内にいずれかのユーザのキャラクタが入ると、そのユーザの実写画像がプロジェクタＡに表示される。同図の例では、ユーザＡの送信エリアＡにユーザＡのキャラクタ１６０ＡとユーザＢのキャラクタ１６０Ｂが存在し、プロジェクタＡにユーザＡの実写画像とユーザＢの実写画像が表示される。

これにより、ユーザＡは、プロジェクタＡを介してユーザＢと実写画像を通じてコミュニケーションをとることができる。また、ユーザＡが仮想空間内のプライベートなエリアに送信エリアＡを設定しておけば、送信エリアに侵入したユーザの実写画像をプロジェクタＡに映し出すことができ、監視カメラのような機能をもたせることもできる。

図８（ｂ）は、１対１のパーソナルコミュニケーションを実現するための送信エリアの設定例である。送信エリアＡ（符号１５０Ａ）は、プロジェクタＢ（符号１４０Ｂ）のすぐ前に設定され、送信エリアＢ（符号１５０Ｂ）は、プロジェクタＡ（符号１４０Ａ）のすぐ前に設定される。

ユーザＡのキャラクタ１６０ＡがプロジェクタＡの前にある送信エリアＢに入り、ユーザＢのキャラクタ１６０ＢがプロジェクタＢの前にある送信エリアＡに入ったとする。ユーザＡのディスプレイ１２０Ａには、ユーザＡのキャラクタ１６０ＡとプロジェクタＡが表示されており、ユーザＢのディスプレイ１２０Ｂには、ユーザＢのキャラクタ１６０ＢとプロジェクタＢが表示されている。

このとき、ユーザＡの実写画像は、送信エリアＢに対応づけられたプロジェクタＢに表示され、ユーザＢの実写画像は、送信エリアＡに対応づけられたプロジェクタＡに表示される。ユーザＡはディスプレイ１２０ＡにおいてプロジェクタＡに映し出されたユーザＢの実写画像を見ることができ、一方、ユーザＢはディスプレイ１２０ＢにおいてプロジェクタＢに映し出されたユーザＡの実写画像を見ることができる。これにより、遠隔テレビ会議のような１対１のパーソナルコミュニケーションが可能となる。

図９は、１対多のグループコミュニケーションを実現するための送信エリアの設定例である。プロジェクタＸ（符号１４０Ｘ）のすぐ前には、送信エリアＡ、Ｂ、Ｃ（符号１５０Ａ、１５０Ｂ、１５０Ｃ）が重なり合わされて設定される。一方、プロジェクタＡ（符号１４０Ａ）、プロジェクタＢ（符号１４０Ｂ）、プロジェクタＣ（符号１４０Ｃ）のすぐ前には、送信エリアＸ（符号１５０Ｘ）が設定される。

ユーザＡ〜Ｃのキャラクタ１６０Ａ〜１６０Ｃが、それぞれプロジェクタ１４０Ａ〜１４０Ｃの前の送信エリアＸに入り、ユーザＸのキャラクタ１６０ＸがプロジェクタＸの前の重なり合った送信エリアＡ〜Ｃに入ったとする。ユーザＸのディスプレイ１２０Ｘには、ユーザＸのキャラクタ１６０ＸとプロジェクタＸが表示されており、ユーザＡ〜Ｃのディスプレイ１２０Ａ〜１２０Ｃには、それぞれユーザＡ〜Ｃのキャラクタ１６０Ａ〜ＣとプロジェクタＡ〜Ｃが表示されている。

このとき、ユーザＡ〜Ｃの実写画像は、プロジェクタＸに統合されて表示される。一方、ユーザＸのキャラクタ１６０Ｘが送信エリアＡ〜Ｃ内にあるため、ユーザＸの実写画像は、プロジェクタＡ〜Ｃにそれぞれ表示される。

プロジェクタＸに、ユーザＡ〜Ｃの実写画像が統合されて表示される際、ユーザＡ〜Ｃの実写画像の大きさは、ユーザＡ〜Ｃの実写画像内の動きやユーザＡ〜Ｃのキャラクタ１６０Ａ〜Ｃの動作などにより、相対的に調整される。

これにより、ユーザＸと、３人のユーザＡ〜Ｃの間で１対多のグループコミュニケーションが可能となる。

図１０は、図９の例において、送信エリアＡ〜Ｃの全体がぴったり重なり合うのではなく、部分的に重なりをもつ場合を示す。この場合、ユーザＸのキャラクタ１６０Ｘが、一部が重なり合った送信エリアＡ〜Ｃのどの位置にあるかによって、ユーザＸの実写画像がいずれのプロジェクタＡ〜Ｃに表示されるかが異なる。

たとえば、ユーザＸのキャラクタ１６０Ｘが、送信エリア１５０Ａおよび送信エリア１５０Ｂのいずれとも重なりのない送信エリア１５０Ｃ内に位置する場合、ユーザＸの実写画像はプロジェクタ１４０Ｃのみに表示される。

ユーザＸのキャラクタ１６０Ｘが、送信エリア１５０Ａと送信エリア１５０Ｃが重なった位置で、かつ、送信エリア１５０Ｂとは重なりのない位置に存在する場合、ユーザＸの実写画像はプロジェクタ１４０Ａとプロジェクタ１４０Ｃのみに表示される。

ユーザＸのキャラクタ１６０Ｘが、送信エリア１５０Ａ〜Ｃが重なり合った位置に存在する場合、ユーザＸの実写画像はプロジェクタ１４０Ａ〜Ｃに表示される。

このように、ユーザＸのキャラクタ１６０Ｘが互いに一部が重なり合った送信エリア１５０Ａ〜Ｃ内を移動することで、コミュニケーションの相手を選択することができる。また、いずれの送信エリア１５０Ａ〜Ｃからも出ることで、いずれのユーザともコミュニケーションを終了することができる。

図１１は、ユーザが仮想空間内に複数の興味エリアを送信エリアとして設定する例を示す。ユーザＡは、プロジェクタＡ（符号１４０Ａ）に関連づけて複数の送信エリアＡ１〜Ａ３（符号１５０Ａ１〜１５０Ａ３）を設定する。これらの送信エリアＡ１〜Ａ３は、ユーザＡが仮想空間内で関心をもつエリアである。ユーザＡのキャラクタ１６０Ａは、仮想空間内のある地点にしか存在できないが、複数の送信エリアＡ１〜Ａ３を興味エリアとして設定することで、それらのエリア内にユーザのキャラクタ（同図の符号１６０Ｂ、１６０Ｃ）が移動してきたとき、そのユーザの実写画像をプロジェクタＡに表示し、興味エリア内にいるユーザとコミュニケーションをとることができる。

以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

上記の説明では、仮想空間内に送信エリアを設定したが、送信エリアを明示的に設定することなく、疑似プロジェクタが設置された領域の近傍、あるいは疑似プロジェクタをユーザのキャラクタの位置から視認することができる領域、たとえば疑似プロジェクトの前方領域を送信エリアとみなして、上記の実写画像の統合表示手順を実行するようにしてもよい。これにより、ユーザは疑似プロジェクタを仮想空間内に設置するだけで、その疑似プロジェクタを視認できる位置にキャラクタを移動させた他のユーザの実写画像を疑似プロジェクタに映し出して見ることができる。

また、上記の説明では、送信エリアにユーザのキャラクタが入った場合に、そのユーザの実写画像が疑似プロジェクタに映し出されたが、ユーザのプライバシーを保護する観点から、ユーザが送信エリアを設定できる領域を仮想空間内で制限したり、送信エリアにユーザのキャラクタが入った場合に、そのユーザに実写画像が送信されることを警告するメッセージを表示したり、実写画像の送信を拒否する権限がユーザに付与されるように構成してもよい。

また、図２の端末１００の構成の変形例を図１２に示す。実写画像処理部１０の前段に実写画像前処理部２０を設けた点が図２の端末１００の構成と異なり、それ以外は同じである。実写画像前処理部２０は、ビデオカメラ１１０からの映像に何らかの前処理を加え、実写画像処理部１０に入力として与える。ここで、実写画像前処理部２０による前処理は必須ではなく、実写画像前処理部２０をバイパスするか、もしくは実写画像前処理部２０が前処理を実行しないようにして、ビデオカメラ１１０により撮影された実写画像がそのまま実写画像処理部１０に入力されることも可能に構成してもよく、前処理の有無を手動もしくは自動で切り替えるように構成してもよい。

実写画像前処理部２０は、主にユーザのプライバシーを保護するために、実写画像に対して前処理を施す。たとえば、肌色の部分を検出してぼかしたり、個人情報が特定されるおそれがあるオブジェクトにぼかしを入れるなどのフィルタリング処理を行う。また、実写画像前処理部２０は、エッジフィルタなど、端末１００側でユーザの好みのフィルタ処理を実写画像に施し、実写画像をエッジ画像に置き換え、実写画像処理部１０に入力として与えてもよい。

その他のユーザのプライバシー保護の方法として、次のようなものがある。
（ａ）送信エリアに近づいた際、あるいは実際に送信エリアに入る前に、ユーザに警告メッセージを発する。
（ｂ）事前に送信を許可あるいは拒否する送信エリアのリストを送信側の端末１００で設定可能にする。
（ｃ）送信側の端末１００において、ビデオカメラにより撮影された実写画像を事前に録画済みの動画もしくは静止画に差し替える。
（ｄ）送信側の端末１００において、実写画像送信前に、プライバシーレベルに応じた劣化フィルタ処理を行う。たとえば、解像度を落としたり、ノイズを入れる。あるいは、各端末１００の設定に応じて、仮想空間管理サーバ２００がプライバシーレベルに応じた劣化フィルタ処理を行う。
（ｅ）送信エリアを仮想空間内に明示的に表示する。たとえば、色を変えるなどにより、ユーザが送信エリアを視認しやすいようにする。
（ｆ）送信エリアの中心からの距離に応じて、送信画像にノイズを加えるなどのフィルタ処理を入れるようにする。たとえば、送信エリアからの距離が短くなるほど、ノイズが大きくなるようにする。また、送信側ユーザのディスプレイ１２０に、画像送信時には、送信されている画像がオーバーレイされてサムネイル表示されるようにする。これにより、ユーザは自分の画像が送信されていることを認識することができる。

上記の実施の形態では、仮想空間管理サーバ２００と複数の端末１００がネットワーク３００で接続されたシステムにおいて仮想空間を共有し、各端末１００の実写画像を統合表示する仮想空間表示システムを説明したが、仮想空間表示システムは、このようなサーバ−クライアント型の通信システムだけでなく、ピアツーピア型の通信システムにおいても実現することができる。その場合、各端末１００が仮想空間管理サーバ２００の実写画像の統合処理に係る構成を有し、他の端末１００から受け取った実写画像を統合し、ディスプレイ１２０に表示する。また、上記の実施の形態では、画像変換部１６の構成を端末１００側にもたせたが、これを仮想空間管理サーバ２００側にもたせてシステムを構成してもよい。

図１３を参照して、このようなピアツーピア型の通信システムにおける実写映像の統合表示手順を説明する。図１３は、図６において、サーバ２００の機能構成を第１端末１００Ａにもたせた場合の処理の流れを示しており、図６と共通する処理には同符号を付して、適宜説明を省略する。

第１端末１００Ａは、ユーザＡの送信エリアにユーザＡもしくはユーザＢのキャラクタが存在するか否かを判定する（Ｓ１０）。今、送信エリア１５０Ａ内に、ユーザＡのキャラクタ１６０ＡとユーザＢのキャラクタ１６０Ｂが入ってきたとする。

第１端末１００Ａ内に設けられたアップロード部２１２は、特徴抽出プログラムを第２端末１００Ｂに送信する（Ｓ１２）。第２端末１００Ｂのパラメータ抽出部１４は、ビデオカメラ１１０Ｂで撮影された実写画像から絶対パラメータＰＢを抽出し（Ｓ１４Ｂ）、第１端末１００Ａに送信する（Ｓ１６）。第１端末１００Ａのパラメータ抽出部１４も、ビデオカメラ１１０Ａで撮影された実写画像から絶対パラメータＰＡを抽出する（Ｓ１４Ａ）。

第１端末１００Ａ内に設けられたパラメータ統合部２１６は、ユーザＡの実写画像の絶対パラメータＰＡと、ユーザＢの実写画像の絶対パラメータＰＢを相対評価して統合し（Ｓ１８）、ユーザＡの実写画像およびユーザＢの実写画像をそれぞれ相対割合に応じて変換するための画像変換パラメータを相対パラメータＱＡ、ＱＢとして求める（Ｓ２０）。

第１端末１００Ａは、第２端末１００Ｂに画像変換プログラムを送信する（Ｓ２２）とともに、相対パラメータＱＢを送信する（Ｓ２４）。

第２端末１００Ｂの画像変換部１６は、相対パラメータＱＢにもとづいてユーザＢの実写画像を変換し（Ｓ２６Ｂ）、変換画像ＩＢを第１端末１００Ａに送信する（Ｓ２８）。第１端末１００Ａの画像変換部１６も、相対パラメータＱＡにもとづいてユーザＡの実写画像を変換する（Ｓ２６Ａ）。

第１端末１００Ａ内に設けられた画像統合部２１８は、ユーザＡの変換画像ＩＡとユーザＢの変換画像ＩＢを統合して統合画像ＩＣを生成し（Ｓ３０）、描画処理部４０は、統合画像ＩＣを疑似プロジェクタ１４０Ａに表示することで、実写映像を仮想空間内に合成する（Ｓ３４）。

実施の形態に係る仮想空間表示システムの構成図である。 図１の端末の構成図である。 図２の実写画像処理部の詳細な構成を説明する図である。 図１の仮想空間管理サーバの構成図である。 図４の実写画像処理部の詳細な構成を説明する図である。 図１の端末と仮想空間管理サーバによる実写映像の統合表示手順を説明するフローチャートである。 図１の端末のディスプレイの表示画面例を示す図である。 パーソナルコミュニケーションを実現するための送信エリアの設定例である。 グループコミュニケーションを実現するための送信エリアの設定例である。 グループコミュニケーションを実現するための送信エリアの別の設定例である。 ユーザが仮想空間内に複数の興味エリアを送信エリアとして設定する例を示す図である。 図１の端末の構成の変形例を説明する図である。 ピアツーピア型の通信システムにおける実写映像の統合表示手順を説明するフローチャートである。

符号の説明

１０ 実写画像処理部、 １２ 実写画像入力部、 １４ パラメータ抽出部、 １６ 画像変換部、 １８ 統合画像取得部、 ２０ 実写画像前処理部、 ３０ 操作部、 ４０ 描画処理部、 ５０ 通信部、 １００ 端末、 １１０ ビデオカメラ、 １２０ ディスプレイ、 １４０ プロジェクタ、 １５０ 送信エリア、 １６０ キャラクタ、 ２００ 仮想空間管理サーバ、 ２１０ 実写画像処理部、 ２１２ アップロード部、 ２１４ プログラム記憶部、 ２１６ パラメータ統合部、 ２１８ 画像統合部、 ２２０ 画像記憶部、 ２３０ 送信エリア判定部、 ２４０ 送信エリア記憶部、 ２５０ 仮想空間処理部、 ２６０ 仮想オブジェクト記憶部、 ２７０ 通信部、 ３００ ネットワーク。

Claims (9)

1. ネットワークに接続された複数のユーザの端末が仮想空間を共有するシステムにおいて、各ユーザが前記仮想空間内で操作する移動オブジェクトが前記仮想空間内の所定のエリア内に存在するかどうかを判定する判定部と、
   前記判定部により、前記所定のエリア内に前記移動オブジェクトが存在すると判定されたユーザの端末から、そのユーザによって撮影された実写画像のデータを前記ネットワークを介して取得する実写画像取得部と、
   前記所定のエリアに対応づけて前記仮想空間内に設けられた疑似的なプロジェクタ内に前記実写画像を統合する画像統合部とを含むことを特徴とする仮想空間表示装置。
2. 前記画像統合部は、前記所定のエリア内に前記移動オブジェクトが存在すると判定されたユーザが複数存在する場合に、その複数のユーザのそれぞれによって撮影された実写画像を前記疑似的なプロジェクタ内に統合する際の強調度合いを、前記複数のユーザが仮想空間内で操作する移動オブジェクトの状態量に応じて相対的に調整することを特徴とする請求項１に記載の仮想空間表示装置。
3. 前記画像統合部は、前記複数のユーザが仮想空間内で操作する移動オブジェクトの状態量に応じて、前記複数のユーザのそれぞれによって撮影された実写画像を前記疑似的なプロジェクタ内に統合する際の相対的な大きさを調整することを特徴とする請求項２に記載の仮想空間表示装置。
4. 前記画像統合部は、前記複数のユーザが仮想空間内で操作する移動オブジェクトの状態量に応じて、前記複数のユーザのそれぞれによって撮影された実写画像を前記疑似的なプロジェクタ内に統合する際のフレームレートを相対的に調整することを特徴とする請求項２に記載の仮想空間表示装置。
5. 前記実写画像取得部は、前記擬似的なプロジェクタ内に統合する際に必要な変換処理が前記端末において事前に施された前記実写画像のデータを前記ネットワークを介して前記端末から取得し、
   前記画像統合部は、前記変換処理が事前に施された前記実写画像をもとに前記実写画像を前記擬似的なプロジェクタ内に統合することを特徴とする請求項１から４のいずれかに記載の仮想空間表示装置。
6. 前記仮想空間内に、前記所定のエリアおよびその所定のエリアに対応づけられた前記擬似的なプロジェクタがユーザ毎に個別に設けられ、
   前記画像統合部は、各ユーザの前記所定のエリア内に前記移動オブジェクトが存在すると判定されたユーザによって撮影された実写画像を、その所定のエリアに対応づけられた前記各ユーザの前記擬似的なプロジェクタ内に統合することを特徴とする請求項１から５のいずれかに記載の仮想空間表示装置。
7. 前記画像統合部は、ユーザ毎に設けられた前記所定のエリアが重複する場合、その重複部分に前記移動オブジェクトが存在すると判定されたユーザによって撮影された実写画像を、その重複部分に対応するすべての前記擬似的なプロジェクタ内に統合することを特徴とする請求項６に記載の仮想空間表示装置。
8. 複数のユーザの端末がネットワーク上に形成された仮想空間を共有するシステムにおいて、各ユーザが前記仮想空間内で操作する移動オブジェクトが前記仮想空間内の所定のエリア内に存在するかどうかを判定し、前記所定のエリア内に前記移動オブジェクトが存在すると判定されたユーザによって撮影された実写画像を前記仮想空間内に設けられた疑似的なプロジェクタ内に表示することを特徴とする仮想空間表示方法。
9. ネットワークに接続された複数のユーザの端末が仮想空間を共有するシステムにおいて、各ユーザが前記仮想空間内で操作する移動オブジェクトが前記仮想空間内の所定のエリア内に存在するかどうかを判定するステップと、
   前記所定のエリア内に前記移動オブジェクトが存在すると判定されたユーザの端末から、そのユーザによって撮影された実写画像のデータを前記ネットワークを介して取得するステップと、
   前記所定のエリアに対応づけて前記仮想空間内に設けられた疑似的なプロジェクタ内に前記実写画像を表示するステップとをコンピュータに実行させることを特徴とするプログラム。

Images