JP2020035392A - 遠隔コミュニケーションシステム等 - Google Patents

Abstract

【課題】 遠隔地にいるユーザー同士が、リアリティのある空間内であたかも実際に対面している感じで会話等し、コミュニケーションをとるシステムを提供すること【解決手段】 室内にいる第二ユーザー1bの第二モバイル端末10bと、遠隔地の現地にいる第一ユーザー1ａの第一モバイル端末10aと、それらと双方通信するサーバー20を備え、サーバーは、仮想空間を記憶保持し、第二モバイル端末は仮想空間内で指定した位置における当該仮想空間の自由視点映像を表示し、第一モバイル端末は自己が存在する現地の現実空間を撮影した映像を表示する。現地に対応する仮想空間内の位置が、上記の自由視点映像内に存在する場合、第二ユーザーのアバターを第一モバイル端末に表示する現実空間の対応する位置に表示し、第一ユーザーのアバターを第二モバイル端末に表示する上記の仮想空間の対応する位置に表示し、アバターの向きは仮想空間内での向きに合わす。【選択図】 図１

Description

本発明は、遠隔コミュニケーションシステム等に関するものである。

例えば、遠隔地の自由視点映像を得るためには、現地で撮影された多数のパノラマ画像を合成した静的な仮想空間を作る。そして、その仮想空間上の位置と視線の方向等の情報に基づき、その視線の先に見える映像を表示する技術がある。係る技術には、例えば、Ｇｏｏｇｌｅ社が公開するストリートビューのサービスなどがある。このサービスは、世界中の道路沿いの風景や、所定の店内の映像を提供しており、ユーザーは、世界の好きな場所に移動し、その景色や室内を見て歩くことができる。

しかしながら、ストリートビューのサービスは、過去に撮影された画像を用いているためユーザーから見えている世界はライブ映像ではないし、静止画であるのでリアリティに欠ける。

リアルタイムの自由視点映像を得るためには、例えば対象地点を様々な角度から撮影した多数のカメラ映像をリアルタイムに補間処理する必要がある。例えば、サッカースタジアムの観客席に多数のカメラを配置し、これらの映像をリアルタイムに合成することで好きな角度から選手のプレイをプレビューする技術などがある。しかし、係る技術を実現するためには、多くの専用カメラとそれらのキャリブレーションが必要となるため、世界中の様々な観光地を自由に散策するという用途には適さない。

さらに、上記の何れの自由視点映像も、ユーザーは、用意された映像を、視点を変えながら見ることができるものの、一方的に見るだけで、例えば遠隔地にいる現地の人とのコミュニケーションをとることはできない。

一方、自分のアバターとして遠隔操作が可能なロボットを現地に配備し、ロボットの目を通して自由視点映像を得るテレイグジスタンス技術がある。この技術を用いると、現地の景色等は、例えばロボットが保有するカメラを用いることで、上述した多くの専用カメラとそれらのキャリブレーションを行うことなく、比較的容易にリアルタイムで取得することができる。また、そのロボットを介して現地の人とコミュニケーションを取ることも可能となる。しかし、自分が操作できるロボットを遠隔地に用意する手間や、ロボットの行動範囲に対する制約から、やはり世界中の観光地を自由に旅する用途や、遠隔会議や作業者の遠隔アシストなど幅広い応用には向かない。

上述した課題はそれぞれ独立したものとして記載しているものであり、本発明は、必ずしも記載した課題の全てを解決できる必要はなく、少なくとも一つの課題が解決できれば良い。またこの課題を解決するための構成についても単独で分割出願・補正等により権利取得する意思を有する。

（１）上述した課題を解決するために、本発明の遠隔コミュニケーションシステムは、地理的に離れた場所にいる複数のユーザー同士がコミュニケーションをとるためのシステムであって、前記ユーザーが携帯する端末と、その端末と双方通信するサーバーとを備え、前記サーバーは、現実空間に対応する仮想空間を記憶保持し、前記複数のユーザーのうちの一部のユーザーが携帯する前記端末は、前記仮想空間内で指定した位置における当該仮想空間の自由視点映像を表示する機能を備え、前記一部のユーザーとは別のユーザーが携帯する前記端末は、自己が存在する現実空間を撮影した映像を表示する機能を備え、前記別のユーザーがいる場所に対応する前記仮想空間内の位置が、前記自由視点映像内に存在する場合、前記一部のユーザーのアバターを前記別のユーザーが携帯する前記端末に表示する前記現実空間の対応する位置に表示し、前記別のユーザーのアバターを前記一部のユーザーが携帯する前記端末に表示する前記仮想空間の対応する位置に表示し、前記アバターの向きは、前記端末からの情報に基づき設定される前記サーバー内の前記仮想空間内での向きに合わせるように構成した。

本発明によれば、地理的に離れた場所にいる複数のユーザーが、自分のアバターを相手側の端末に表示し、しかもアバターの表示態様は、現実空間内に存在するユーザーの位置と向きに合わせるので、遠隔地にいる参加者同士がアバターとなって同一の空間に存在するかのような環境を構築でき、しかも、ユーザーはあたかも実際に対面している感じで会話等し、コミュニケーションをとることができる。端末は、例えば実施形態のモバイル端末や、ウェアラブル端末等に対応する。自由視点映像を表示する機能は、例えば実施形態ではサーバーに記憶された仮想空間の情報を取得して表示部に表示したり、現実空間の周囲の映像を撮影・取得して表示部に表示したりする機能などに対応する。

（２）前記端末は、前記現実空間内における位置を検出する位置検出機能を備え、前記仮想空間の座標系と、前記現実空間の座標系は同期し、前記端末の前記現実空間内での移動及び又は回転に伴い、前記仮想空間内での前記地点も移動及び又は回転するように構成するとよい。このようにすると、仮想空間内での移動がよりリアリティが高まるので良い。

（３）前記ユーザーの前記端末から指定する前記仮想空間内の地点が、その端末の現実空間における存在位置の場合、その端末の表示部に表示する映像は、その端末に搭載されるカメラで撮影した映像とし、その映像内に別のユーザーが携帯する前記端末が指定した位置情報が存在する場合、その存在する地点に前記別のユーザーのアバターを、その別のユーザーが向いている方向に対応させて表示するとよい。このようにすると、ユーザーがいる現実空間のところに、遠隔地にいる別のユーザーが移動してきて、その場所で会っている感じをより現実的に醸し出せるので良い。

（４）前記仮想空間は、現実空間に基づいて作成したものであり、その現実空間を予め撮影した画像中の動きのない物体について三次元モデルを作成し、動きのある物体についてはライブ映像から必要な情報を推定し、リアルタイムに復元し、前記三次元モデルを用いた前記仮想空間内の適宜の位置に合成して構成するとよい。このようにすると、端末に表示する自由視点映像を、簡易なデータを用いつつ擬似的にリアリティの高い映像とできるので良い。

（５）前記動きのない物体の三次元モデルとして、異なる日照条件下のテクスチャを用意し、前記ライブ映像に基づき現地の状況に合ったテクスチャの三次元モデルを用いて前記仮想空間を形成するとよい。このようにすると、端末に表示する自由視点映像を、現在の現地の状況に応じたリアリティの高い映像となるので良い。

（６）本発明に係るサーバーは、（１）から（５）のいずれか１に記載の遠隔コミュニケーションシステムに用いられるサーバーとするとよい。

（７）本発明に係るプログラムは、（１）から（５）のいずれか１に記載の遠隔コミュニケーションシステムに用いられる機能をコンピュータに実現させるためのプログラムとするとよい。

本発明は、遠隔地にいるユーザー同士が、リアリティのある空間内であたかも実際に対面している感じで会話等し、コミュニケーションをとることができる。

本発明に係る遠隔コミュニケーションシステムの好適な一実施形態を示す図である。 モバイル端末を示す図である。 仮想空間の所定の地点にユーザーのアバターを飛ばした状態を示す図である。 図３に示す状態における表示部に表示される自由視点映像の一例を示す図である。 一方のユーザーのモバイル端末に、別のユーザーのアバターを表示する機能を説明する図である。 作成される仮想空間を説明する図である。 作成される仮想空間を説明する図である。 作成される仮想空間を説明する図である。 本システムの作用を説明する図である。 本システムの作用を説明する図である。 本発明に係る遠隔コミュニケーションシステムの好適な別の実施形態を示す図である。

以下、本発明の好適な実施形態について図面に基づき、詳細に説明する。なお、本発明は、これに限定されて解釈されるものではなく、本発明の範囲を逸脱しない限りにおいて、当業者の知識に基づいて、種々の変更、修正、改良を加え得るものである。

図１は、本発明に係る遠隔コミュニケーションシステムの好適な一実施形態を示している。本実施形態では、現実空間において互いに離れた地点に存在している第一ユーザー１ａと第二ユーザー１ｂ（以下、両者を特に区別する必要が無いときは、単に「ユーザー１」と称する）が、それぞれ携帯する第一モバイル端末１０ａと第二モバイル端末１０ｂ（以下、両者を特に区別する必要が無いときは、単に「モバイル端末１０」と称する）を用いてコミュニケーションをとるためのシステムである。モバイル端末１０は、例えばスマートフォンや、タブレットＰＣなどを用いると良い。そして、本実施形態では、第二ユーザー１ｂは、例えば室内などにいたまま自分の分身を、現実空間で離れた位置にある現地に飛ばし、現地にいる第一ユーザー１ａと交流する例を示している。この分身を用いた交流については後述する。

図２に示すように、モバイル端末１０は、薄型で平面略矩形状のケース本体を有し、そのケース本体の前面に液晶ディスプレイ等からなる表示部１２を備える。この表示部１２は、半透過型液晶のタッチパネル１３を構成する。また、ケース本体には、音声入力手段であるマイク１４や、音声出力手段であるスピーカー１５を内蔵する。さらに、ケース本体の前面の上方には操作者等を撮影するインカメラ１６を配置し、ケース本体の背面の上方にはアウトカメラ１７を配置する。それインカメラ１６とアウトカメラ１７は、ともにカメラ本体部分はケース本体に内蔵し、そのレンズ部分がケース本体の表面に露出するように配置する。さらにモバイル端末１０は、ケース本体内に制御部１１、１０軸のＧセンサー１８、ＧＰＳユニット１９、通信インタフェース８、記憶部９等を内蔵する。

これらの入力手段（タッチパネル１３，マイク１４，インカメラ１６，アウトカメラ１７，Ｇセンサー１８，ＧＰＳユニット１９等）や出力手段（表示部１２，スピーカー１５等）は、ケース本体に内蔵された制御部１１に接続される。制御部１１は、入力手段からの入力に伴い所定の処理を実行し、実行結果を出力手段に出力する。また制御部１１は、通信インタフェース８を用いてネットワークに接続し、外部の機器・装置等と通信可能となる。

また、制御部１１は、１０軸のＧセンサー１８の出力から、モバイル端末１０の向き・姿勢を検知する機能や、ＧＰＳユニット１９の出力に基づき、モバイル端末１０の現在位置を検知する機能や、ＡＲ（拡張現実）機能等を有する。

通信インタフェース８は、モバイル端末１０の基地局と通信して公衆回線網に接続したり、インターネットに接続したりする機能を持つ。記憶部９は、本実施形態との関係でいうと、プリインストールやダウンロードにより取得した遠隔地のユーザーとコミュニケーションを行うためのアプリケーションプログラムを記憶保持するもので、内部の不揮発性メモリやマイクロＳＤ等の外部の不揮発性メモリ等により構成される。

制御部１１は、ＣＰＵ，ＲＯＭ，ＲＡＭ、フラッシュメモリ、各種の周辺回路、インタフェース等を備えるマイコンを備える。制御部１１は、電源ＯＮに伴い内部電源からの電源供給がなされ動作を開始する。制御部１１は、ＲＯＭに記録されたブートローダーによって、フラッシュメモリに記録されたＯＳとアプリケーションプログラムをＲＡＭ上に展開し、ＲＡＭ上のＯＳ及びアプリケーションプログラムを実行することで、以下に示す各種の処理を実行し、各種の機能を実現する。

制御部１１に実装されるアプリケーションプログラムとしては、例えば、ユーザー１の肉体は日本等の現実空間上の所望の位置にいながら、自己の分身（実体がない仮想上の自分であり、本明細書では、「アバター」と称する）だけを世界中の任意の場所に行かせ、その場所において好きな方向を見ることができる機能（図３，図４等参照）を実現するプログラムや、そのアバターが存在する場所で別のユーザー１とコミュニケーションをとることができる機能（図５，図１０等参照）を実現するプログラムを備える。さらに、本実施形態では、ユーザー１のいる場所から現実空間で離れた遠隔地の好きな場所で好きな方向を見る機能によりユーザー１が持つモバイル端末１０の表示部１２に表示する映像は、例えば、過去に撮影された画像から形成した仮想空間をそのまま表示するのではなく、現在の現地の状況に応じた映像とすることで、よりリアリティが高い自由視点映像としている。また、本実施形態における仮想空間は、想像上の全くの架空の空間ではなく、現実空間を三次元モデル化等して形成した仮想空間であり、各仮想空間に対応する現実空間が存在する。

そして以下の説明では、室内などにいる第二ユーザー１ｂが、自分の分身である第二アバター２１ｂを、現実空間で離れた位置にある現地（観光地や店舗等）に飛ばし、その第二アバター２１ｂを現地にいる第一ユーザー１ａの第一モバイル端末１０ａに送り込み、コミュニケーションをとる例に基づいて説明する。基本的には、以下に記載の処理機能は、第一ユーザー１ａ，第一モバイル端末１０ａと、第二ユーザー１ｂ，第二モバイル端末１０ｂを入れ替えても同様に機能する。

このリアリティの高い自由視点映像は、以下のようにして構成する。本発明者は、世界中の景色等は、「静」と「動」から成り立つことに着目した。すなわち、例えば、図６等に示すように、ある地点において、所定の視点方向を撮影した映像を見ると、例えば、建物３０や土地等のように時間経過があっても動かない「静」の物体と、人物３１や車両などのように時間経過に伴い、位置や姿勢・形状等が変化する「動」の物体がある。例えば建物３０等は見た目が変わっているように見えても、光の当たり加減に伴う変化であり、表面の色や明るさが変わっているに過ぎない。物体表面の色は環境光に応じてめまぐるしく変化する。例えば、晴れの日と曇りの日、昼と夕方など、日照条件や雲の動きなどによって建築物の外観や雰囲気は大きく変わる。人間はこのような表面的な見た目の変化によって世界が無秩序に変化しているように錯覚するが、それら物体の三次元形状に限れば変化量は大きくない。さらに、１つの画像中に存在する物体の多くは「静」の物体である。

そこで本実施形態では、動かない土地や建物などの三次元形状に関する情報はStructure from Motionなどの計測技術によって、あらかじめ取得しておき、三次元モデルによる仮想空間を作成し、サーバー２０に記憶保持する。さらに、環境光に応じた陰影や反射等の変化は、現地のカメラの映像と対応付ける形で色の変化を記録しておき、上記の作成した三次元モデルに対し様々な日照条件下のテクスチャを用意する（図７参照）。そして、第二ユーザー１ｂの第二アバター２１ｂが仮想空間上の所定の位置に行き、その第二アバター２１ｂの自由視点により特定される方向の仮想空間を三次元デルに基づき作成・表示するに際し、物体表面のテクスチャに関する情報は、現地のライブ映像からの情報を利用し、現地の状況に合ったテクスチャを決定し、その情報を用いて外観の実際の変化を再現する。例えば、古い教会の壁などは色の変化が一定の範囲内に収まるため、一日分のテクスチャを記録しておくことで現実の外観を再現できる。例えば、ライブ映像から現在の現地が、晴れた昼間と判定した場合、例えば図８（ａ）に示すような昼間の日光が当たった明るい三次元モデルを表示し、例えば、ライブ映像から現在の現地が、夜間と判定した場合、例えば図８（ｂ）に示すような夜間で建物の表面に照明が照射されている三次元モデルを表示する。すなわち、本システムのユーザー１が表示部１２を介して見る遠隔地の景色は、本物のリアルタイム映像ではなく、前もって取得しておいた三次元情報と現地のカメラからの映像情報を用いて創り出された擬似的な現実空間のライブ映像である。上記の図示の例では、昼間と夜間の二種類としたが、時間帯に応じてさらに細かく分けけると良く、さらに、晴れの日、曇りの日、雨の日などのように天候等に応じたものも用意し、現在の現地のライブ映像に基づき対応する三次元モデルを表示すると良い。

ライブ映像は、例えば、世界の各所に設置されたあるいは設置するインターネットに接続されるネットワークカメラが配信する映像や、コミュニケーションをとる一方のユーザーが現地にいる場合には、そのユーザーが携帯するモバイル端末１０のアウトカメラ１７で撮影した映像を利用すると良い。特に、コミュニケーションを取る相手のユーザーが現地にいる場合、ネットワークカメラが設置されていないような場所でも現地の映像を取得することができるので好ましい。

一方、人物３１や車、動物、店内の商品といった、形状や位置が動的に変化する「動」の物体については、ライブ映像から必要な情報を推定し、その形状や位置をリアルタイムに復元し、上述した「静」の物体の三次元モデルを用いた仮想空間内の適宜の位置に合成する。

また、「静」は「動」に比べて圧倒的に大きく、通常、映像中に占める面積も多い。そこで、映像中に大きな割合を占める「静」の物体を予め三次元モデル化することで、現地の現在の状況に応じた仮想空間を再現可能となる。

第二ユーザー１ｂは、自己のモバイル端末１０を操作し、サーバー２０に例えばインターネット網を利用してアクセスし、現実空間の行きたい場所を指定する。この場所の指定は、例えばモバイル端末１０の表示部１２に表示される検索ボックスに例えば現地の住所や施設名を入力することで行う。モバイル端末１０の制御部１１は、入力された行きたい場所に関する情報を、サーバー２０に送る。また、第二モバイル端末１０ｂの制御部１１は、ＧＰＳユニット１９の出力に基づいて決定する現在位置と、Ｇセンサー１８の出力に基づいて決定する第二ユーザー１ｂが持つモバイル端末１０の姿勢を求め、求めた現在位置とモバイル端末１０の姿勢をサーバー２０に送る。通常、ユーザー１は、モバイル端末１０の表示部１２を正対して見るので、モバイル端末１０の姿勢、すなわち、モバイル端末１０の背面が向いている方向がユーザー１の視線となる。さらに、室内にいる第二ユーザー１ｂは、これに加えてコントローラやキーボードの十字キーなどでアバターの位置を制御する。

また、ユーザー１がいる現実空間の座標系と、サーバー２０内の仮想空間の座標系は同期している。ここで「座標系が同期する」とは、最初に基準となるＸＹＺ座標を合わせた後は、それぞれの空間（仮想空間や現実空間）の座標系同士で相対位置が変化しないことを言う。

サーバー２０は、モバイル端末１０から入力された仮想空間内の対応する位置を特定し、当該仮想空間上の位置に第二ユーザー１ｂひいてはその第二ユーザー１ｂが持つ第二モバイル端末１０ｂが存在するとして、両者の座標系の同期を取る。さらにサーバー２０は、第二モバイル端末１０ｂから送られる視点情報等に基づき、第二ユーザー１ｂが見たいとする（第二アバター２１ｂが見ている）方向の仮想空間の三次元映像（現地のライブカメラ映像に基づく処理済み）を作成し、第二モバイル端末１０ｂの表示部１２に表示する。

これにより、例えば図３に示すように、第二ユーザー１ｂの第二アバター２１ｂの視点が、例えば仮想空間内における所定の建物３０の正面側で所定距離離れた位置から当該建物３０を見るような状況の場合、サーバー２０は、その第二モバイル端末１０ｂの表示部１２に例えば図４に示すようにその第二アバター２１ｂの視野内に存在する建物３０や人物３１を配置した仮想空間を表示する。

ユーザーの頭の位置や向きは、そのユーザーが持つモバイル端末の位置や向きから推定される。そこで上記の状態から、例えば、第二ユーザー１ｂが第二モバイル端末１０ｂを持った状態のまま現実空間内の位置は変えずに体の向きを変えると、第二モバイル端末１０ｂの制御部１１は、その回転方向並びに角度をＧセンサー１８その他のセンサーで検知し、それをサーバー２０に送る（図１等参照）。サーバー２０は、座標系の同期がとれている仮想空間内の第二アバター２１ｂの向きを回転し、回転に伴う視点の変位に応じて表示部１２に当該変位した視点に対応する空間を表示する。また、現実空間内で所定方向に移動すると、モバイル端末１０の制御部１１は、その移動方向並びに距離をＧセンサー１８その他のセンサーで検知し、それをサーバー２０に送る（図１等参照）。そしてサーバー２０は、受け取った情報に基づき座標系の同期がとれている仮想空間内の第二アバター２１ｂを移動し、移動に伴う視点の変位に応じて表示部１２に当該変位した視点に対応する空間を表示する。

さらに、室内にいる第二ユーザー１ｂは、上記の第二モバイル端末１０ｂ自体の動きに加えて、第二モバイル端末１０ｂの画面（タッチパネル１３）を指で操作したり、コントローラを用いて移動方向を指示したりすることにより第二アバター２１ｂを自由に動かすことができる。これにより、例えば、図６に示すように室内にいる第二ユーザー１ｂの第二アバター２１ｂは空を飛ぶこともできる。

ユーザー間でのコミュニケーションを行うための機能は、以下の通りである。現地から離れた室内にいる第二ユーザー１ｂは、上述したとおりの操作に基づき、遠隔地の現地の位置を指定し、サーバー２０の仮想空間内の当該現地に対応する位置に第二アバター２１ｂをおく。また、第二モバイル端末１０ｂの動きや、タッチパネル１３・コントローラ等の操作に伴い、第二アバター２１ｂは、仮想空間内を移動する。

一方、現地にいる第一ユーザー１ａは、以下に示す処理を行うことで、第一モバイル端末１０ａの現在位置やその向きなどの情報をサーバー２０に送る。第一モバイル端末１０ａは、アウトカメラ１７で第一モバイル端末１０ａの背面側の景色を撮影しつつ、ＡＲ機能を実行する。例えば、床面や壁面に設置された平面または立体マーカーをモバイル端末１０のアウトカメラ１７等を用いて撮影することでモバイル端末の相対運動をリアルタイムにトラッキングして求める。このようにしてアウトカメラ１７の映像の変化に基づいて検知し、その検知した情報をＧセンサー１８その他のセンサーの情報に基づき補完し、回転方向と角度や移動方向と距離を求め、それをサーバー２０に送る（図１等参照）。サーバー２０は、座標系の同期がとれている仮想空間内の第一アバター２１ａの向きを回転したり、移動したりする制御を行う。

上述したように第一ユーザー１ａ（第一モバイル端末１０ａ）並びに第二ユーザー１ｂ（第二モバイル端末１０ｂ）の位置並びに向きに関する情報は、各モバイル端末１０がサーバー２０に送る。すなわち、第一ユーザー１ａは、第一モバイル端末１０ａを操作（アウトカメラ１７による撮影等）、仮想区間内における第一アバター２１ａの位置をサーバー２０に送り、第二ユーザー１ｂは、第二モバイル端末１０ｂ等を操作し、仮想区間内における第二アバター２１ｂの位置をサーバー２０に送る。サーバー２０は、例えば第二アバター２１ｂの位置・向き等の情報を送り、第一モバイル端末１０ａのアウトカメラ１７が撮影し表示部１２に表示する現実空間の範囲内に第二アバター２１ｂが存在する場合、当該第一モバイル端末１０ａの表示部１２に、撮影した現実空間内に当該第二ユーザー１ｂの第二アバター２１ｂを表示する処理を行う。

例えば、図５中、二点鎖線で示すように、第二ユーザー１ｂの第二アバター２１ｂが、仮想空間内の所定の建物３０の手前側の所定位置において、建物３０に背を向けた状態で存在している状態において、第一ユーザー１ａは現実空間において第二アバター２１ｂよりもさらに建物３０から離れた位置に存在し、当該建物３０を見るような視点にいる。第二ユーザー１ｂの第二アバター２１ｂの位置に第一モバイル端末１０ａを向ける。するとＡＲ技術を利用し、現在アウトカメラ１７で撮影した映像中の第二アバターが存在している位置に、第二アバター２１ｂを合成し、現実空間内の所定の位置に第二ユーザー１ｂの第二アバター２１ｂが重畳される形で可視化して表示する。

このように、空間内の所定位置に第二アバター２１ｂを重畳して表示する処理は、例えば、Augmented Reality（ＡＲ：拡張現実）と同様の原理・技術により実現する。第二アバター２１ｂは、３次元モデルまたは第二ユーザー１ｂのリアルタイム映像である。第一ユーザー１ａは、第一モバイル端末１０ａの表示部１２に第二アバター２１ｂが表示されることを視認し、目の前の現実空間内での近くに第二ユーザー１ｂの第二アバター２１ｂが存在することを認識でき、さらに第二アバター２１ｂが自分の方を向いているため、第二ユーザー１ｂは、自分の方を向いた姿勢にあることを認識できる。

これらのことは、第二ユーザー１ｂの第二モバイル端末１０ｂ側でも行われる。但し、第二ユーザー１ｂは、現地から離れた室内にいるので、サーバー２０の仮想空間内における第一アバター２１ａと第二アバター２１ｂの相対位置関係から、第一アバター２１ａと第二アバター２１ｂが接近し、第二アバター２１ｂの視界の範囲内に第一アバター２１ａが存在する場合、サーバー２０は、第二モバイル端末１０ｂの表示部１２に、仮想空間内の所定の位置に第二ユーザー１ｂのアバターの姿（第二アバター２１ｂ）を表示する。

これにより、図１に示すように、第一ユーザー１ａの第一アバター２１ａを第二ユーザー１ｂが持つ第二モバイル端末１０ｂの表示部１２に表示し（背景が仮想空間）、第二ユーザー１ｂの第二アバター２１ｂを第一ユーザー１ａの第一モバイル端末１０ａに表示する（背景が現実空間）。第一アバター２１ａも第二アバター２１ｂと同様に３次元モデルまたは第一ユーザー１ａのリアルタイム映像である。第一アバター２１ａと第二アバター２１ｂは、各ユーザーで同じでもよいが異ならせるとよい。特に例えば三人以上のユーザーが同じ領域に存在する場合を想定すると、あるユーザーのモバイル端末の表示部に他の二人のユーザーのアバターが同時に表示されるので、ユーザー毎に異なるアバターにするとそれらを区別して認識できるので良い。

上述したように、第一ユーザー１ａや第二ユーザー１ｂがいる現実空間の座標系と、コミュニケーションを仲介するサーバー２０内の仮想空間の座標系は同期しており、例えば第一ユーザー１ａの持つ第一モバイル端末１０ａの動きが、第二ユーザー１ｂの第二モバイル端末１０ｂの表示部１２に表示された第一アバター２１ａの動きとなって反映される。つまり、例えば、第一ユーザー１ａが第二ユーザー１ｂに近づくと、第二モバイル端末１０ｂには第一アバター２１ａか接近して拡大表示され、また、第一モバイル端末１０ａの向きを変えると、第二モバイル端末１０ｂの表示部１２に表示される第一アバター２１ａの向きを変える処理を行う。これらのことは、逆の場合も同様である。

また、例えば第一ユーザー１ａが、第一モバイル端末１０ａのマイク１４を介して音声入力すると、その入力された音声データは、サーバー２０に伝達される。同様に、第二ユーザー１ｂが発した音声データは、所定の通信経路を用いて第一モバイル端末１０ａに伝わり、スピーカー１５から出力する（図９等参照）。このことは第二ユーザー１ｂ（第二モバイル端末１０ｂ）側でも同様に行う。

このように、アバターとしてユーザーの音声や視線情報が相手方のモバイル端末１０の持ち主に伝わり、双方向の実時間・遠隔コミュニケーションが可能となる。第一ユーザー１ａと第二ユーザー１ｂは、それぞれが持つ第一モバイル端末１０ａと第二モバイル端末１０ｂの表示部に、相手のアバターが表示され、しかもその表示されるアバターの姿勢・態様は、空間内の第一ユーザー１ａと第二ユーザー１ｂの相対的な位置関係と同じように表示されるので、あたかも実際に相対している状態が醸し出される。つまり、例えば図９に示すように、第二アバター２１ｂが正面を向いている場合には、第二ユーザー１ｂは、第一ユーザー１ａの方を向いた状態にあり、例えば、第二アバター２１ｂか横向きの場合、第二ユーザー１ｂは、第一ユーザー１ａの前にいて横を向いた姿勢にいることになる。よって、第一ユーザー１ａと第二ユーザー１ｂは、あたかも実際に相対しているような感覚でコミュニケーションをとることができる。

さらに上述した実施形態では、第一ユーザー１ａが存在する遠隔地の現地は、観光名所等の屋外であるが、例えば室内などとしても良く、店舗その他の室内としても良い。例えば図１０に示すように、第一ユーザー１ａは、実店舗にいる店員であり、第一ユーザー１ａのアバターは、その実店舗内の存在位置と同じ位置に対応する仮想空間に存在し、遠隔地にいる第二ユーザー１ｂの第二アバター２１ｂがその実店舗内に対応する仮想空間に存在するように設定する。すると、それぞれの第一モバイル端末１０ａと第二モバイル端末１０ｂの表示部１２には、上述した実施形態と同様に現実空間或いは仮想空間の上に重ねて相手のアバターが所定位置に所定の方向を向いた姿勢で表示される。そして、第一ユーザー１ａは、現実空間の店舗内を適宜移動したり視点を変えたりし、第二ユーザー１ｂは、仮想空間の店舗内を適宜移動したり視点を変えたりする。例えば購入目的の商品のそばに移動し、商品を確認して、購入する。ここでは、音声データを送受し、購入意思を示しており、この後、実店舗にいる店員である第一ユーザー１ａが購入手続きを行ったり、第二ユーザー１ｂ自身でネット決済したりして商品の購入手続きをとる。

店舗内の陳列商品が変わった場合、サーバー２０に格納する店舗内の景色に基づく三次元モデルを更新することで、仮想空間内の店舗でありながら、実店舗にいき店舗内を移動しながら商品を見て、ショッピングをするのと同様の作用・効果を発揮できる。三次元モデルの更新のための映像データは、例えば実店舗が提供するようにするとよい。また、上記の例示したシステムでは、第一ユーザー１ａは、適宜第一モバイル端末１０ａのインカメラ１６やアウトカメラ１７を用いて商品等を撮影し、撮影した画像データをサーバー２０に送る。サーバー２０は、受け取った画像データを第二モバイル端末１０ｂの表示部１２に表示する。これにより、第二ユーザー１ｂは、商品をより正確に確認し、購入の可否を適切に判断できる。

上述したように、本システムは、一方のユーザーの動きが他方のユーザーの画面に表示されたアバターの動きとなって反映されるため、遠隔地にいる者同士があたかも同じ空間にいるような感覚が得られる。よって、例えば、身体は家にいながら、意識だけは世界中の好きな場所を飛びまわり、現地の人々ともコミュニケーションし、観光やショッピングを行うことができるインタラクティブなシステムとなる。また、遠隔会議や作業者の遠隔アシストなどに適用できる。さらに、ユーザー（とそのモバイル端末）を何人（何台）でも追加することができるため多人数によるコミュニケーションも可能である。

上述した実施形態並びに各種の変形例では、任意視点の仮想空間を表示したり、相手のアバターを表示したりする機器として、モバイル端末を用いたが、本発明はこれに限ることは無く、例えば、ウェアラブル端末を用いても良い。図１１に示す例では、室内にいる第二ユーザー１ｂが携帯する第二モバイル端末の代わりに、ＶＲヘッドマウントディスプレイ４０等を用いた例を示している。また、図示省略するが、現地の現実空間を表示する第一モバイル端末１０ａに替えてＡＲヘッドマウントディスプレイ等のウェアラブル端末を用いても良い。このＡＲヘッドマウントディスプレイは、例えばビデオシースルー型またはグラスシースルー型のヘッドマウントディスプレイ等を用いると良い。

第二モバイル端末１０ｂの第二アバター２１ｂの三次元位置は実際に第二ユーザー１ｂがＶＲヘッドマウントディスプレイ４０を通して見ている仮想空間の位置であり、第二アバター２１ｂの目から見た第一ユーザー１ａの第一アバター２１ａなどもリアルタイムにＶＲヘッドマウントディスプレイ４０の表示画面４２に映し出される。

上述した各種の実施形態では、第二ユーザー１ｂは、室内等の現地から離れた場所にいてその第二ユーザー１ｂが持つ端末には、仮想空間の自由視点映像を表示し、第一ユーザー１ａは、第二ユーザー１ｂが見ている自由視点映像の場所に対応する現実空間にいてその現実空間を撮影した映像を表示し、それぞれ相手の表示画像に自己のアバターを表示するようにしたが、それとは逆に、第一ユーザー１ａが、室内等の現地から離れた場所にいてその第一ユーザー１ａが持つ端末には、仮想空間の自由視点映像を表示し、第二ユーザー１ｂは、第一ユーザー１ａが見ている自由視点映像の場所に対応する現実空間にいてその現実空間を撮影した映像を表示するようにしてもよい。そして、各端末には、それぞれ両方の機能を実装し、適宜使い分けるようにすると良い。

以上、本発明の様々な側面を実施形態並びに変形例を用いて説明してきたが、これらの実施形態や説明は、本発明の範囲を制限する目的でなされたものではなく、本発明の理解に資するために提供されたものであることを付言しておく。本発明の範囲は、明細書に明示的に説明された構成や製法に限定されるものではなく、本明細書に開示される本発明の様々な側面の組み合わせをも、その範囲に含むものである。本発明のうち、特許を受けようとする構成を、添付の特許請求の範囲に特定したが、現在の処は特許請求の範囲に特定されていない構成であっても、本明細書に開示される構成を、将来的に特許請求する可能性があることを、念のために申し述べる。

１ ：ユーザー
１ａ ：第一ユーザー
１ｂ ：第二ユーザー
１ｂ ：第二ユーザー
８ ：通信インタフェース
９ ：記憶部
１０ ：モバイル端末
１０ａ ：第一モバイル端末
１０ｂ ：第二モバイル端末
１１ ：制御部
１２ ：表示部
１３ ：タッチパネル
１４ ：マイク
１５ ：スピーカー
１６ ：インカメラ
１７ ：アウトカメラ
１８ ：Ｇセンサー
１９ ：ＧＰＳユニット
２０ ：サーバー
２１ａ ：第一アバター
２１ｂ ：第二アバター
４０ ：ＡＲヘッドマウントディスプレイ
４２ ：表示画面

Claims (6)

1. 地理的に離れた場所にいる複数のユーザー同士がコミュニケーションをとるためのシステムであって、
   前記ユーザーが携帯する端末と、
   その端末と双方通信するサーバーとを備え、
   前記サーバーは、現実空間に対応する仮想空間を記憶保持し、
   前記複数のユーザーのうちの一部のユーザーが携帯する前記端末は、前記仮想空間内で指定した位置における当該仮想空間の自由視点映像を表示する機能を備え、
   前記一部のユーザーとは別のユーザーが携帯する前記端末は、自己が存在する現実空間を撮影した映像を表示する機能を備え、
   前記別のユーザーがいる場所に対応する前記仮想空間内の位置が、前記自由視点映像内に存在する場合、前記一部のユーザーのアバターを前記別のユーザーが携帯する前記端末に表示する前記現実空間の対応する位置に表示し、前記別のユーザーのアバターを前記一部のユーザーが携帯する前記端末に表示する前記仮想空間の対応する位置に表示し、
   前記アバターの向きは、前記端末からの情報に基づき設定される前記サーバー内の前記仮想空間内での向きに合わせるように構成したことを特徴とする遠隔コミュニケーションシステム。
2. 前記端末は、前記現実空間内における位置を検出する位置検出機能を備え、
   前記仮想空間の座標系と、前記現実空間の座標系は同期し、前記端末の前記現実空間内での移動及び又は回転に伴い、前記仮想空間内の前記アバターを移動及び又は回転するように構成することを特徴とする請求項１に記載の遠隔コミュニケーションシステム。
3. 前記仮想空間は、現実空間に基づいて作成したものであり、その現実空間を予め撮影した画像中の動きのない物体について三次元モデルを作成し、動きのある物体についてはライブ映像から必要な情報を推定し、リアルタイムに復元し、前記三次元モデルを用いた前記仮想空間内の適宜の位置に合成して構成することを特徴とする請求項１または２に記載の遠隔コミュニケーションシステム。
4. 前記動きのない物体の三次元モデルとして、異なる日照条件下のテクスチャを用意し、前記ライブ映像に基づき現地の状況に合ったテクスチャの三次元モデルを用いて前記仮想空間を形成することを特徴とする請求項３に記載の遠隔コミュニケーションシステム。
5. 請求項１から４のいずれか１項に記載の遠隔コミュニケーションシステムに用いられるサーバー。
6. 請求項１から４のいずれか１項に記載の遠隔コミュニケーションシステムに用いられる機能をコンピュータに実現させるためのプログラム。