JP2023134220A - 通信システム、通信管理サーバ、通信管理方法、及びプログラム - Google Patents

Abstract

【課題】物理空間のコミュニケ―ションは３人以上で行われたり、会議や講義等のコミュニケーションの目的によって利用者が座る位置が異なったりするため、従来の技術では、複数の拠点の利用者が、拠点数やコミュニケーションの目的に応じた同室感を得ることが困難である。【解決手段】通信管理サーバ６は、各通信装置が送信した、複数の拠点にて撮影されることで得られた各拠点の被写体の輝度画像データ及び深度画像データを受信し（Ｓ８５等）、これらの輝度画像データ及び深度画像データに基づき、仮想空間上の各拠点における被写体の３次元物体を生成する（Ｓ１０１）。そして、通信管理サーバ６は、生成した各拠点における被写体の３次元物体の画像データを、各通信装置１に送信する（Ｓ１０４等）。【選択図】図２９

Description

本開示内容は、通信システム、通信管理サーバ、通信管理方法、及びプログラムに関する。

近年、ICT（情報通信技術）を利用し、時間や場所を有効に活用できる柔軟な働き方を行うテレワークが浸透してきた。これにより、ワーク・ライフ・バランスの実現や営業効率の向上及び顧客満足度の向上等を図ることができる。また、テレワークの普及に合わせて、インターネットを介したビデオ（テレビ）会議等のシステムの性能が向上している（図４０参照）。

また、コミュニケーションにおいて、対人間の距離感は、話しやすさや緊張感に影響を与えるため非常に重要である（エドワードホール、かくれた次元、２０００、みすず書房）。ところが、ビデオ会議では、現実空間(又は物理空間)のコミュニケーションのように、対話相手と同じ空間に一緒に居る感じ（以下、「同室感」という。）が得にくいという問題がある。

そこで、特許文献１では、一の拠点の物理空間上の人物における視点（眼の位置）に応じて、他の拠点の対話相手の映像を変化させるという運動視差を実現し、仮想空間上の距離に応じた人物サイズで対話相手を一の拠点側のディスプレイ上に表示することで、各利用者に対話相手との同室感を与えることができる技術が開示されている。

特許第５８３３５２５号公報

しかしながら、従来、各拠点の通信装置毎に、各拠点の通信装置毎の視点に応じた仮想空間における被写体の３次元物体の画像を生成していたため、各拠点の通信装置の処理負荷が高くなるという課題が生じる。

請求項１に係る発明は、複数の拠点の通信装置と、該通信装置間と通信可能な通信管理サーバとを備える通信システムであって、前記通信管理サーバは、前記複数の通信装置それぞれが送信した、前記複数の拠点にて撮影されることで得られた各拠点の被写体の輝度画像データ及び深度画像データを受信する受信手段と、前記各拠点の被写体の輝度画像データ及び深度画像データに基づき、仮想空間上の各拠点における被写体の３次元物体のデータを生成する生成手段と、前記仮想空間上の各拠点の視点に応じた前記生成手段で生成された前記各拠点における被写体の３次元物体のデータを、前記通信装置毎それぞれに送信する送信手段と、を備え、前記各通信装置は、前記通信管理サーバから送信された前記被写体の３次元物体の画像データに係る画像を表示手段に表示する表示制御手段を備える
ことを特徴とする通信システムである。

以上説明したように本発明によれば、通信管理サーバで、各拠点の通信装置毎の視点に応じた仮想空間における被写体の３次元物体の画像を生成し、各拠点の通信装置に送信しているため、各拠点の通信装置の処理負荷が高くなるという課題を抑制することができる。

本発明の実施形態に係る通信システムの概略図である。 通信装置１ｂ，１ｃ，１ｄの電気的なハードウェア構成図である。 通信管理サーバの電気的なハードウェア構成図である。 全天球撮影装置の電気的なハードウェア構成図である。 通信装置１ｂ、スマートフォンの電気的なハードウェア構成図である。 通信システムの機能ブロック図である。 通信システムの機能ブロック図である。 通信システムの機能ブロック図である。 画像種類管理テーブルの概念図である。 配置管理テーブルの概念図である。 ワールド座標系上の配置位置を示した概念図であり、仮想の会議室の最適型空間を示した図である。 ワールド座標系上の配置位置を示した概念図であり、仮想の面接室の最適型空間を示した図である。 ワールド座標系上の配置位置を示した概念図であり、仮想の講義室の最適型空間を示した図である。 （ａ）は通信管理テーブルの概念図、（ｂ）はセッション管理テーブルの概念図、（ｃ）は画像種類管理テーブルの概念図である。 ディスプレイ管理テーブルの概念図である。 ディスプレイ管理テーブルで管理するデータをディスプレイ上の点で視覚的に示した概念図である。 仮想空間情報管理テーブルの概念図である。 撮影装置管理テーブルの概念図である。 特定の通信セッションへの参加処理を示したシーケンス図である。 （ａ）は通信装置におけるログイン画面の表示例、（ｂ）はスマートフォンにおけるログイン画面の表示例である。 通信装置における仮想空間の種類の選択画面を示した図である。 （ａ）は仮想空間の種類が会議タイプの場合の役割の選択画面、（ｂ）は仮想空間の種類が面接タイプの場合の役割の選択画面、（ｃ）は仮想空間の種類が講義タイプの場合の役割の選択画面である。 通信装置に対する画像種類情報の管理処理を示したシーケンス図である。 スマートフォンに対する画像種類情報の管理処理を示したシーケンス図である。 全天球撮影装置及び各通信装置から送信された輝度画像データ及び音データが通信管理サーバに届くまでの処理を示したシーケンス図である。 通信装置１ａから送信される輝度画像データと深度画像データの概念図である。 通信管理サーバから送信された合成画像データ及び合成音データが各通信装置に届くまでの処理を示したシーケンス図である。 画像変換処理を示したフローチャートである。 ワールド座標系にける物体の位置の算出処理を示すフローチャートである。 物理空間（カメラ座標系）から第１の仮想空間（モデリング座標系）への変換による３次元化、及第１の仮想空間（モデリング座標系）から第２の仮想空間（ワールド座標系）への変換を示した概念図である。 （ａ）モデリング座標系に利用者Ａ１の画像と仮想ディスプレイを配置した概念図、（ｂ）モデリング座標系に利用者Ｄ１の画像と仮想ディスプレイを配置した概念図である。 モデリング座標系からワールド座標系への変換を示したイメージ図である。 （ａ）は仮想会議の場合のワールド座標系における利用者Ｄ１の視線を示した図、（ｂ）は（ａ）の場合に通信装置１ｄが利用者Ｄ１に見せる画像の表示例である。 （ａ）は仮想会議の場合のワールド座標系における利用者Ｄ１の移動後の視線を示した図、（ｂ）は（ａ）の場合に通信装置１ｄが利用者Ｄ１に見せる画像の表示例である。 （ａ）は仮想会議の場合のワールド座業系における利用者Ａ１の視線を示した図、（ｂ）は（ａ）の場合に通信装置１ｄが利用者Ａ１に見せる画像の表示例である。 （ａ）は仮想会議の場合のワールド座標系における傍観者の視線を示した図、（ｂ）は（ａ）の場合にスマートフォンが表示する画像の表示例である。 （ａ）は仮想面接の場合のワールド座標系における利用者Ｄ１の視線を示した図、（ｂ）は（ａ）の場合に通信装置１ｄが利用者Ｄ１に見せる画像の表示例である。 （ａ）は仮想面接の場合のワールド座業系における利用者Ａ１の視線を示した図、（ｂ）は（ａ）の場合に通信装置１ａが利用者Ａ１に見せる画像の表示例である。 （ａ）は仮想講義の場合のワールド座業系における利用者Ａ１の視線を示した図、（ｂ）は（ａ）の場合に通信装置１ａが利用者Ａ１に見せる画像の表示例である。 従来のビデオ会議の場合のディスプレイにおける表示例である。

以下、図面を用いて、本発明の実施形態について説明する。

〔通信システムの概略〕
本実施形態の通信システムは、仮想空間（「仮想エリア」ともいう）で映像通話を行うたのシステムである。

まず、図１を用いて、本実施形態の通信システムの構成の概略について説明する。図１は、本発明の実施形態に係る通信システムの構成の概略図である。

図１に示されているように、本実施形態の通信システムは、複数の通信装置１ａ，１ｂ，１ｃ，１ｄ、通信管理サーバ６、全天球撮影装置８、及びスマートフォン９によって構築され、インターネット等の通信ネットワーク１００を介して通信することができる。通信ネットワーク１００の接続形態は、無線又は有線のいずれでも良い。

通信装置１ａ，１ｂ，１ｃ，１ｄは、ぞれぞれ、拠点Ａ，Ｂ，Ｃ，Ｄに配置されている。なお、以降、通信装置１ａ，１ｂ，１ｃ，１ｄのうちの任意の通信装置を「通信装置１」と示す。通信装置１は、自拠点の撮影及び集音を行い、他拠点で撮影されることで得られた画像及び他拠点で集音されることで得られた音を出力することができる。通信装置１については、後ほど詳細に説明する。

また、図１は、通信装置１ａ，１ｂ，１ｃ，１ｄが、それぞれ、利用者Ａ１，Ｂ１，Ｃ１，Ｄ１によって利用されている場合を示している。例えば、通信装置１ａは、自拠点Ａの様子を撮影及び録音し、通信ネットワーク１００及び通信管理サーバ６を介して、他拠点Ｂ，Ｃ，Ｄ、Ｇの通信装置１ｂ，１ｃ，１ｄ及びスマートフォン９に対して、画像データ及び音データを送信する。同様に、通信装置ｂ１，１ｃ，１ｄは、自拠点の様子を撮影及び録音し、通信ネットワーク１００及び通信管理サーバ６を介して、他拠点の通信装置に対して、画像データ及び音データを送信する。スマートフォン９については後述する。

通信管理サーバ６は、コンピュータによって構成され、通信装置１及びスマートフォン９の通信を管理及び制御したり、送受信される画像データの種類（一般画像と特殊画像の種別）を管理したりする。よって、通信管理サーバは、通信制御サーバでもある。なお、通信管理サーバ６は、単一又は複数のコンピュータによって構成されている。複数のコンピュータによって構成されている場合には、通信管理サーバは、通信管理システム（又は通信制御システム）でもある。

全天球撮影装置８及びスマートフォン９は、拠点Ｇにいる利用者Ｇによって利用されている。利用者Ｇ１は、拠点Ｇで全天球撮影装置８を持って拠点Ｇの様子を撮影及び録音し、スマートフォン９、通信ネットワーク１００及び通信管理サーバ６を介して、各通信装置１ａ，１ｂ，１ｃ，１ｄに、画像データ及び音データを送信する。

全天球撮影装置８は、被写体や風景等を撮影して全天球パノラマ画像の元になる２つの半球画像を得るための特殊なデジタルカメラである。この場合の全天球撮影装置８は、単独で通信ネットワーク１００に接続できないため、Wi-Fi(Wireless Fidelity)やBluetooth（登録商標）等の無線通信技術を利用して、一旦、スマートフォン９に画像データ及び音データを送信する。そして、スマートフォン９が通信ネットワーク１００を介して、通信管理サーバ６等の他の装置やサーバに画像データ及び音データを送信する。なお、全天球撮影装置８として、単独で通信ネットワーク１００に接続できる仕様の装置であってもよい。

スマートフォン９は、上述のように、全天球撮影装置８から画像データ及び音データを取得し、通信ネットワーク１００を介して、通信管理サーバ６及び通信装置１に画像データ及び音データを送信する。更に、スマートフォン９は、他拠点の通信装置１から取得した画像データ及び音データを再生する。

また、通信装置１及びスマートフォン９には、OpenGL ESがインストールされており、全天球画像の一部の領域を示す所定領域情報を作成したり、他の通信装置から送られて来た全天球画像から全天球画像の一部の領域である所定領域画像を作成したりすることができる。

なお、通信装置１には、デジタルテレビ、スマートフォン（スマートフォン９とは別装置）、スマートウオッチ、カーナビゲーション装置、医療機器等も含まれる。

〔ハードウェア構成〕
続いて、図２乃至図５を用いて、本実施形態の通信装置１ｂ，１ｃ，１ｄ、通信管理サーバ６、全天球撮影装置８、及び通信装置１ｄ（スマートフォン９）のハードウェア構成を詳細に説明する。

＜通信装置１ｂのハードウェア構成＞
まず、図２を用いて、通信装置１ｂの電気的なハードウェア構成を説明する。図２は、通信装置１ｂ，１ｃ，１ｄのハードウェア構成図である。なお、通信装置１ｃ，１ｄは、通信装置１ｂと同じハードウェア構成であるため、通信装置１ｂのハードウェア構成のみを説明する。

通信装置１ｂは、ＰＣ３、ディスプレイ４、輝度深度撮影デバイス５、スピーカ１１、キーボード１２、及びマウス１３によって構築されている。

（ＰＣのハードウェア構成）
ＰＣ３は、コンピュータとして、図２に示されているように、ＣＰＵ３０１、ＲＯＭ３０２、ＲＡＭ３０３、ＨＤ３０４、ＨＤＤ(Hard Disk Drive)コントローラ３０５、外部機器接続Ｉ／Ｆ(Interface)３０８、ネットワークＩ／Ｆ３０９、バスライン３１０、ポインティングデバイス３１２、メディアＩ／Ｆ３１４を備えている。

これらのうち、ＣＰＵ３０１は、ＰＣ３全体の動作を制御する。ＲＯＭ３０２は、ＩＰＬ等のＣＰＵ３０１の駆動に用いられるプログラムを記憶する。ＲＡＭ３０３は、ＣＰＵ３０１のワークエリアとして使用される。ＨＤ３０４は、プログラム等の各種データを記憶する。ＨＤＤコントローラ３０５は、ＣＰＵ３０１の制御にしたがってＨＤ３０４に対する各種データの読み出し又は書き込みを制御する。外部機器接続Ｉ／Ｆ３０８は、各種の外部機器を接続するためのインターフェースである。この場合の外部機器は、ディスプレイ４、輝度深度撮影デバイス５、スピーカ１１、キーボード１２、及びマウス１３である。更に、外部機器として、例えば、ＵＳＢ(Universal Serial Bus)メモリやプリンタ等である。

ネットワークＩ／Ｆ３０９は、通信ネットワーク１００を利用してデータ通信をするためのインターフェースである。バスライン３１０は、図２に示されているＣＰＵ３０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。

また、ポインティングデバイス３１２は、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行う入力手段の一種である。なお、利用者がキーボード１２を使う場合は、ポインティングデバイス３１２の機能をＯＦＦにしてもよい。メディアＩ／Ｆ３１４は、フラッシュメモリ等の記録メディア３１３に対するデータの読み出し又は書き込み（記憶）を制御する。記録メディア３１３には、ＤＶＤやＢｌｕ-ｒａｙ Ｄｉｓｃ（ブルーレイディスク）等も含まれる。

（輝度深度撮影デバイスのハードウェア構成）
輝度深度撮影デバイス５は、輝度カメラ５０１、深度カメラ５０２、マイク５０５、操作ボタン５０６、外部機器接続Ｉ／Ｆ５０８、及びバスライン５１０を備えている。これらのうち、輝度カメラ５０１は、撮像素子を用いて、受光した光を電気信号に変換して画像データを得るデバイスである。例えば、ＲＧＢカラーカメラが含まれる。

深度カメラ５０２は、人や物等の被写体を撮像して、ＴＯＦ（Time Of Flight）方式により、被写体から深度カメラ５０２までの距離を計測することで、深度画像のデータを取得する。深度カメラ５０２は、被写体の形状を立体として捉えると共に、人の骨格等のさまざまな動きを検出して、その後の処理にリアルタイムに反映させることができるカメラである。そのため、深度カメラ５０２は、赤外線プロジェクタ５０３及び赤外線センサ５０４によって構成されている。赤外線プロジェクタ５０３は、赤外光を発光可能なプロジェクタである。赤外線センサ５０４は、赤外線プロジェクタ５０３が発行した赤外光が被写体で反射し、このときの反射光である赤外光を受光して電気信号に変換し、必要な情報を取り出すデバイスである。なお、上記では、ＴＯＦ方式により深度を計測する方式を記載しているが、パターン照射方式のより深度を計測してもよい。また、通常のカメラであるＲＧＢカラーカメラによってステレオ計測による方法で深度を計測してもよく、深度を計測する方法については、上記の記載に限られるものではない。

マイク５０５は、周囲の音を集音して、音を音（電気信号）データに変換する。操作ボタン５０６は、輝度深度撮影デバイス５の操作や電源のＯＮ／ＯＦＦを行うためのボタンである。外部機器接続Ｉ／Ｆ５０８は、各種の外部機器を接続するためのインターフェースである。この場合の外部機器は、ＰＣ３である。バスライン５１０は、図３に示されている輝度カメラ５０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。

なお、ディスプレイ４、スピーカ１１、キーボード１２、及びマウス１３は、一般の汎用的なデバイスであるため、説明を省略する。

＜通信管理サーバのハードウェア構成＞
続いて、図３を用いて、通信管理サーバの電気的なハードウェア構成図について説明する。図３は、通信管理サーバの電気的なハードウェア構成図である。

図３に示されているように、通信管理サーバ６は、コンピュータとして、ＣＰＵ６０１、ＲＯＭ６０２、ＲＡＭ６０３、ＨＤ６０４、ＨＤＤ(Hard Disk Drive)コントローラ６０５、ディスプレイ６０６、外部機器接続Ｉ／Ｆ(Interface)６０８、ネットワークＩ／Ｆ６０９、バスライン６１０、ポインティングデバイス６１２、メディアＩ／Ｆ６１４を備えている。

これらのうち、ＣＰＵ６０１は、通信管理サーバ６全体の動作を制御する。ＲＯＭ６０２は、ＩＰＬ等のＣＰＵ６０１の駆動に用いられるプログラムを記憶する。ＲＡＭ６０３は、ＣＰＵ６０１のワークエリアとして使用される。ＨＤ６０４は、プログラム等の各種データを記憶する。ＨＤＤコントローラ６０５は、ＣＰＵ６０１の制御にしたがってＨＤ６０４に対する各種データの読み出し又は書き込みを制御する。ディスプレイ６０６は、カーソル、メニュー、ウィンドウ、文字、又は画像などの各種情報を表示する。外部機器接続Ｉ／Ｆ６０８は、各種の外部機器を接続するためのインターフェースである。この場合の外部機器は、例えば、ＵＳＢメモリやプリンタ等である。ネットワークＩ／Ｆ６０９は、通信ネットワーク１００を利用してデータ通信をするためのインターフェースである。バスライン６１０は、図３に示されているＣＰＵ６０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。

また、ポインティングデバイス６１２は、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行う入力手段の一種である。メディアＩ／Ｆ６１４は、フラッシュメモリ等の記録メディア６１３に対するデータの読み出し又は書き込み（記憶）を制御する。記録メディア６１３には、ＤＶＤやＢｌｕ-ｒａｙ Ｄｉｓｃ（ブルーレイディスク）等も含まれる。

＜全天球撮影装置のハードウェア構成＞
続いて、図４を用いて、全天球撮影装置の電気的なハードウェア構成図について説明する。図４は、全天球撮影装置の電気的なハードウェア構成図である。

全天球撮影装置８は、２つの撮像素子を使用した全天球（全方位）全天球撮影装置とするが、撮像素子は２つ以上いくつでもよい。また、必ずしも全方位撮影専用の装置である必要はなく、通常のデジタルカメラやスマートフォン等に後付けの全方位の撮像ユニットを取り付けることで、実質的に全天球撮影装置８と同じ機能を有するようにしてもよい。

図４に示されているように、全天球撮影装置８は、撮像ユニット８０１、画像処理ユニット８０４、撮像制御ユニット８０５、マイク８０８、音処理ユニット８０９、ＣＰＵ(Central Processing Unit)８１１、ＲＯＭ(Read Only Memory)８１２、ＳＲＡＭ(Static Random Access Memory)８１３、ＤＲＡＭ(Dynamic Random Access Memory)８１４、操作部８１５、外部機器接続Ｉ／Ｆ８１６、通信回路８１７、アンテナ８１７ａ、加速度・方位センサ８１８、及びMicro USB用の凹状の端子８１９によって構成されている。

このうち、撮像ユニット８０１は、各々半球画像を結像するための１８０°以上の画角を有する広角レンズ（いわゆる魚眼レンズ）８０２ａ，８０２ｂと、各広角レンズに対応させて設けられている２つの撮像素子８０３ａ，８０３ｂを備えている。撮像素子８０３ａ，８０３ｂは、広角レンズ８０２ａ，８０２ｂによる光学像を電気信号の画像データに変換して出力するＣＭＯＳ(Complementary Metal Oxide Semiconductor)センサやＣＣＤ(Charge Coupled Device)センサなどの画像センサ、この画像センサの水平又は垂直同期信号や画素クロックなどを生成するタイミング生成回路、この撮像素子の動作に必要な種々のコマンドやパラメータなどが設定されるレジスタ群などを有している。

撮像ユニット８０１の撮像素子８０３ａ，８０３ｂは、各々、画像処理ユニット８０４とパラレルＩ／Ｆバスで接続されている。一方、撮像ユニット８０１の撮像素子８０３ａ，８０３ｂは、撮像制御ユニット８０５とは、シリアルＩ／Ｆバス（Ｉ２Ｃバス等）で接続されている。画像処理ユニット８０４、撮像制御ユニット８０５及び音処理ユニット８０９は、バス８１０を介してＣＰＵ８１１と接続される。さらに、バス８１０には、ＲＯＭ８１２、ＳＲＡＭ８１３、ＤＲＡＭ８１４、操作部８１５、外部機器接続Ｉ／Ｆ(Interface)８１６、通信回路８１７、及び加速度・方位センサ８１８なども接続される。

画像処理ユニット８０４は、撮像素子８０３ａ，８０３ｂから出力される画像データをパラレルＩ／Ｆバスを通して取り込み、それぞれの画像データに対して所定の処理を施した後、これらの画像データを合成処理して、正距円筒射影画像のデータを作成する。正距円筒射影画像は、丸い球体を平面である画像に変換した画像を意味しており、英語では、
クイレクタングラー(Equirectangular)という図法を用いている画像を示している。

撮像制御ユニット８０５は、一般に撮像制御ユニット８０５をマスタデバイス、撮像素子８０３ａ，８０３ｂをスレーブデバイスとして、Ｉ２Ｃバスを利用して、撮像素子８０３ａ，８０３ｂのレジスタ群にコマンド等を設定する。必要なコマンド等は、ＣＰＵ８１１から受け取る。また、撮像制御ユニット８０５は、同じくＩ２Ｃバスを利用して、撮像素子８０３ａ，８０３ｂのレジスタ群のステータスデータ等を取り込み、ＣＰＵ８１１に送る。

また、撮像制御ユニット８０５は、操作部８１５のシャッターボタンが押下されたタイミングで、撮像素子８０３ａ，８０３ｂに画像データの出力を指示する。全天球撮影装置８によっては、ディスプレイ（例えば、スマートフォンのディスプレイ）によるプレビュー表示機能や動画表示に対応する機能を持つ場合もある。この場合は、撮像素子８０３ａ，８０３ｂからの画像データの出力は、所定のフレームレート（フレーム／分）によって連続して行われる。

また、撮像制御ユニット８０５は、後述するように、ＣＰＵ８１１と協働して撮像素子８０３ａ，８０３ｂの画像データの出力タイミングの同期をとる同期制御手段としても機能する。なお、本実施形態では、全天球撮影装置８にはディスプレイが設けられていないが、表示部を設けてもよい。

マイク８０８は、音を音（信号）データに変換する。音処理ユニット８０９は、マイク８０８から出力される音データをＩ／Ｆバスを通して取り込み、音データに対して所定の処理を施す。

ＣＰＵ８１１は、全天球撮影装置８の全体の動作を制御すると共に必要な処理を実行する。ＲＯＭ８１２は、ＣＰＵ８１１のための種々のプログラムを記憶している。ＳＲＡＭ８１３及びＤＲＡＭ８１４はワークメモリであり、ＣＰＵ８１１で実行するプログラムや処理途中のデータ等を記憶する。特にＤＲＡＭ８１４は、画像処理ユニット８０４での処理途中の画像データや処理済みの正距円筒射影画像のデータを記憶する。

操作部８１５は、シャッターボタン８１５ａなどの操作ボタンの総称である。ユーザは操作部８１５を操作することで、種々の撮影モードや撮影条件などを入力する。

外部機器接続Ｉ／Ｆ８１６は、各種の外部機器を接続するためのインターフェースである。この場合の外部機器は、例えば、ＵＳＢ(Universal Serial Bus)メモリやＰＣ(Personal Computer)等である。ＤＲＡＭ８１４に記憶された正距円筒射影画像のデータは、この外部機器接続Ｉ／Ｆ８１６を介して外付けの記録メディアに記録されたり、必要に応じて外部機器接続Ｉ／Ｆ８１６を介してスマートフォン等の外部端末（装置）に送信されたりする。

通信回路８１７は、全天球撮影装置８に設けられたアンテナ８１７ａを介して、Wi-Fi、ＮＦＣ(Near Field Communication)やＢｌｕｅｔｏｏｔｈ（登録商標）等の近距離無線通信技術によって、スマートフォン等の外部端末（装置）と通信を行う。この通信回路８１７によっても、正距円筒射影画像のデータをスマートフォン等の外部端末（装置）に送信することができる。

加速度・方位センサ８１８は、地球の磁気から全天球撮影装置８の方位を算出し、方位情報を出力する。この方位情報はExifに沿った関連情報（メタデータ）の一例であり、撮影画像の画像補正等の画像処理に利用される。なお、関連情報には、画像の撮影日時、及び画像データのデータ容量の各データも含まれている。また、加速度・方位センサ８１８は、全天球撮影装置８の移動に伴う角度の変化（Roll角、Pitch角、Yaw角）を検出するセンサである。角度の変化はExifに沿った関連情報（メタデータ）の一例であり、撮像画像の画像補正等の画像処理に利用される。更に、加速度・方位センサ８１８は、３軸方向の加速度を検出するセンサである。全天球撮影装置８は、加速度・方位センサ８１８が検出した加速度に基づいて、自装置（全天球撮影装置８）の姿勢（重力方向に対する角度）を算出する。全天球撮影装置８に、加速度・方位センサ８１８が設けられることによって、画像補正の精度が向上する。

Micro USB用の凹状の端子８１９は、図１に示されているスマートフォン９とWi-Fi等の無線ではなく有線で通信する場合にＵＳＢケーブル等を取り付けるための端子である。

＜通信装置１ａ、スマートフォンのハードウェア構成＞
続いて、図５を用いて、通信装置１ａ、スマートフォンの電気的なハードウェア構成図について説明する。図５は、スマートフォンの電気的なハードウェア構成図である。通信装置１ａは、スマートフォン９と同じハードウェア構成であるため、スマートフォン９のハードウェア構成のみを説明する。

図５に示されているように、スマートフォン９は、ＣＰＵ９０１、ＲＯＭ９０２、ＲＡＭ９０３、ＥＥＰＲＯＭ９０４、撮影ユニット９０５、撮像素子Ｉ／Ｆ９０６、加速度・方位センサ９０７、メディアＩ／Ｆ９０９、ＧＰＳ受信部９１１を備えている。

これらのうち、ＣＰＵ９０１は、スマートフォン９全体の動作を制御する。ＲＯＭ９０２は、ＣＰＵ９０１やＩＰＬ等のＣＰＵ９０１の駆動に用いられるプログラムを記憶する。ＲＡＭ９０３は、ＣＰＵ９０１のワークエリアとして使用される。ＥＥＰＲＯＭ９０４は、ＣＰＵ９０１の制御にしたがって、スマートフォン用プログラム等の各種データの読み出し又は書き込みを行う。撮影ユニット９０５は、ＣＰＵ９０１の制御に従って被写体（主に自画像）を撮像して画像データを得る内蔵型の撮像手段の一種である。撮像素子Ｉ／Ｆ９０６は、撮影ユニット９０５の駆動を制御する回路である。加速度・方位センサ９０７は、地磁気を検知する電子磁気コンパスやジャイロコンパス、加速度センサ等の各種センサである。メディアＩ／Ｆ９０９は、フラッシュメモリ等の記録メディア９０８に対するデータの読み出し又は書き込み（記憶）を制御する。ＧＰＳ受信部９１１は、ＧＰＳ衛星からＧＰＳ信号を受信する。

また、スマートフォン９は、遠距離通信回路９１２、撮影ユニット９１３、撮像素子Ｉ／Ｆ９１４、マイク９１５、スピーカ９１６、音入出力Ｉ／Ｆ９１７、ディスプレイ９１８、外部機器接続Ｉ／Ｆ(Interface)９１９、近距離通信回路４２０、近距離通信回路４２０のアンテナ４２０ａ、及びタッチパネル４２１を備えている。

これらのうち、遠距離通信回路９１２は、通信ネットワーク１００を介して、他の機器と通信する回路である。撮影ユニット９１３は、ＣＰＵ９０１の制御に従って被写体を撮像して画像データを得る内蔵型の撮像手段の一種である。撮像素子Ｉ／Ｆ９１４は、撮影ユニット９１３の駆動を制御する回路である。マイク９１５は、音を電気信号に変える内蔵型の回路である。スピーカ９１６は、電気信号を物理振動に変えて音楽や音声などの音を生み出す内蔵型の回路である。音入出力Ｉ／Ｆ９１７は、ＣＰＵ９０１の制御に従ってマイク９１５及びスピーカ９１６との間で音信号の入出力を処理する回路である。ディスプレイ９１８は、被写体の画像や各種アイコン等を表示する液晶や有機ＥＬ(Electro Luminescence)などの表示手段の一種である。外部機器接続Ｉ／Ｆ９１９は、各種の外部機器を接続するためのインターフェースである。近距離通信回路４２０は、ＮＦＣ(Near Field Communication)やＢｌｕｅｔｏｏｔｈ（登録商標）等の通信回路である。タッチパネル４２１は、利用者がディスプレイ９１８を押下することで、スマートフォン９を操作する入力手段の一種である。

また、スマートフォン９は、バスライン９１０を備えている。バスライン９１０は、図６に示されているＣＰＵ９０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。

なお、上記各プログラムが記憶されたＣＤ－ＲＯＭ等の記録媒体、並びに、これらプログラムが記憶されたＨＤは、いずれもプログラム製品(Program Product)として、国内又は国外へ提供されることができる。

〔実施形態の機能構成〕
次に、図６乃至図１８を用いて、本実施形態の機能構成について説明する。図６乃至図８は、通信システムの機能ブロック図である。

＜通信装置の機能構成＞
ここで、通信装置１のうち、通信装置１ａの機能構成について説明する。なお、通信装置１ｂ，１ｃ，１ｄは、通信装置１ａと同様の機能を有する。通信装置１ａは通信管理サーバ６に単数の組の画像データ（輝度画像データ及び深度画像データ）をするのに対して、通信装置１ｂ，１ｃ，１ｄは通信管理サーバ６に複数の組の画像データ（輝度画像データ及び深度画像データ）をする点で両者は相違するが、これ以外は基本的に同じである。よって、通信装置１ｂ，１ｃ，１ｄの説明は省略する。

まず、通信装置１ｂの機能は、実質的にＰＣ３ａ及び輝度深度撮影デバイス５によって実現されている。

図６に示されているように、通信装置１ａは、ＰＣ３ａによって実現される機能として、送受信部３１ａ、受付部３２ａ、画像・音処理部３３ａ、表示制御部３４ａ、判断部３５ａ、集音部３８ａ、及び記憶・読出処理部３９ａを有している。これら各部は、図２に示されている各構成要素のいずれかが、ＨＤ３０４からＲＡＭ３０３上に展開された通信装置用のプログラムに従ったＣＰＵ３０１からの命令によって動作することで実現される機能又は手段である。また、通信装置１ａは、図２に示されているＲＯＭ３０２、ＲＡＭ３０３、及びＨＤ３０４によって構築される記憶部３０００ａを有している。

更に、通信装置１ａは、輝度深度撮影デバイス５によって実現される機能として、輝度画像取得部３６ａ、深度画像取得部３７ａ、及び集音部３８ａを有している。

（画像種類管理テーブル）
図９は、画像種類管理テーブルを示す概念図である。記憶部３０００ａには、画像種類管理テーブルによって構成されている画像種類管理ＤＢ３００３ａが構築されている。この画像種類管理テーブルでは、画像データＩＤ(Identification)、送信元の接続ＩＤ、及び画像種類情報が関連付けて記憶されて管理されている。これらのうち、画像データＩＤは、映像通信を行なう際の画像データを識別するための画像データ識別情報の一例である。同じ送信元から送信される画像データには、同じ画像データＩＤが付加されている。これにより、送信先（受信側の通信装置）は、受信した画像データの送信元を特定することができる。送信元の接続ＩＤは、通信装置又は通信装置の利用者を識別するためのＩＤである。接続ＩＤは、通信管理サーバ６によって付与された権限内で利用できる識別子である。なお、接続ＩＤは、通信装置１ａを識別するための装置ＩＤであってもよい。接続ＩＤは接続識別情報の一例、利用者ＩＤは利用者識別情報の一例、及び、装置ＩＤは装置識別情報の一例である。

画像種類情報は、関連付けられている画像データＩＤで示される画像データに係る画像を特定するための名称であり、例えば、ソース名が挙げらる。画像種類情報は、所定の名称の命名規則に従い、ＰＣ３ａによって作成される。ここでは、画像種類情報として、「Video_Depth」、「Video_Omni」、及び「Video」が示されている。これらは順に画像種類が「深度画像を含む輝度画像」による映像、「全天球画像である輝度画像」による映像、「平面画像である輝度画像」による映像である旨を示している。なお、全天球画像は特殊画像の一例であり、平面画像は一般画像の一例である。

例えば、接続ＩＤが「０１ａａ」の通信装置１ａは、画像データＩＤ「ＲＳ００１」によって示される画像データを送信していることが示されている。更に、画像種類情報によって示される画像の種類は、「Video_Depth」である。

なお、画像データ以外のデータについても、画像データＩＤと関連付けて管理してもよい。画像データ以外のデータは、例えば、音データ、画面共有時の資料データである。

（配信管理テーブル）
図１０は、配置管理テーブルを示す概念図である。記憶部３０００ａには、配置管理テーブルによって構成されている配置管理ＤＢ３００６ａが構築されている。この配置管理テーブルでは、仮想空間種類ＩＤ、仮想空間種類、役割、モデリング座標系からワールド座標系への変換パラメータ、及び接続ＩＤが関連付けて記憶されて管理されている。

これらのうち、仮想空間種類ＩＤは、映像通話を行う仮想の空間の種類を識別するための仮想空間種類式別情報の一例である。仮想空間種類は、仮想空間の種類を示す情報である。換言すると、仮想空間（仮想エリア）は、仮想空間上の特定の領域、特定の区域、又は特定の範囲を示している。図１０では、仮想空間種類は、仮想の会議室、仮想の面接室、及び仮想の講義室が示されているが、これらだけに限定されるものではない。例えば、仮想部屋の一部分に設置された仮想ブースも含まれる。また、屋内又は屋外（野外）の仮想イベント会場等も含まれる。イベントは、例えば、所定の場所及び時刻で行う事や、特別に企画して開かれる事を示している。

役割は、仮想空間種類に応じて定められており、個人（若しくはグループ）に対して、割り当てられたり、必要とされたり、又は期待されたりする行動や活動である。また、役割は、図１０に示されているもの以外に、接客の案内者、接客の顧客、商談の営業マン、商談の顧客等であってもよい。また、役割には、社長や部長等の役職も含まれる。

モデリング座標系からワールド座標系への変換パラメータは、後述の図３３に示されているように、物体を第１の仮想空間上のモデリング座標系から第２の仮想空間上のワールド座標系へ変換する場合に用いられる変換パラメータを示す。接続ＩＤは、画像種類管理テーブルの接続ＩＤと同じ概念であるため、説明を省略する。

なお、コンピュータグラフィックス（ＣＧ）で描く仮想世界は、世界の基準となる１つの座標系を設ける。これをワールド座標系（World coordinate system）と呼ぶ。物体の形像を直接ワールド座標系で与えると、物体がワールド座標系内で移動するごとに、物体の形状を定義しなおさなければならない。そこで、コンピュータグラフィックスの３次元画像で物体の形状を決定する（モデリングという）座標系を定めている。この座標系をモデリング座標系（Modeling coordinate system）という。

ここで、別の表現によって、ワールド座標とモデリング座標とを説明する。ワールド座標系は、コンピュータグラフィックスで表示する物体は空間全体を表す座標系を示す。空間の中での物体の位置を示すための座標系で、物体の配置や移動を扱うために用いられる。各立体がどのような位置、向きで置かれているかを記述することができる。全てワールド座標系という一つの大きな空間で,最初から全ての物体をこの座標系上で定義したのでは表示処理の扱いが困難となる.そのため、空間中に配置される個々の立体の形状や変形を扱うためにモデリング座標が用いられる。立体のいずれかの頂点や近傍などに原点を取り、立体を構成する点や線、面などの位置や向きなどを記述する。個々のモデリング座標系で自由に定義された表示物体を全て統一されたワールド座標系上に配置し、グラフィックス空間、又は仮想的な３次元世界を作成することができる。

ここで、図１１乃至図１３を用いて、各仮想空間の最適型空間を説明する。

（（仮想の会議室））
図１１は、ワールド座標系上の配置位置を示した概念図であり、仮想の会議室の最適型空間を示した図である。図１１には、仮想会議における役割毎の配置位置が示されている。図１０における仮想の会議室の各利用者の役割である主催者、参加者(1)、参加者(2)、参加者(3)、及び傍観者は、図１１において、それぞれ、主催者位置ａ１１、参加者位置ａ１２、参加者位置ａ１３、参加者位置ａ１４、及び傍観者位置ａ１５に配置される。また、同様に、仮想のディスプレイの位置ｄ１１～ｄ１５は、それぞれ、主催者位置ａ１１、参加者位置ａ１２、参加者位置ａ１３、参加者位置ａ１４、及び傍観者位置ａ１５に合わせて配置されている。ディスプレイｄ１１～ｄ１４は、通信装置１ａ～１ｄのディスプレイの枚数及び形状に合わせて表されている。なお、ディスプレイの位置ｄ１１は、図１に示されているような通信装置１ａの単一のディスプレイの位置を示す。ディスプレイの位置ｄ１２～ｄ１４は、図１に示されているような通信装置１ｂ～１ｄの３つのディスプレイの位置を示す。更に、ディスプレイの位置ｄ１５は、スマートフォン９等の単一のディスプレイの位置を示している。

（（仮想の面接室））
図１２は、ワールド座標系上の配置位置を示した概念図であり、仮想の面接室の最適型空間を示した図である。図１２には、仮想面接における役割毎の配置位置が示されている。図１０における仮想の面接室の各利用者の役割である面接者(1)、面接者(2)、面接者(3)、被面接者、及び傍観者は、図１２において、それぞれ、面接者位置ａ２１、面接者位置ａ２２、面接者位置ａ２３、被面接者位置ａ２４、及び傍観者位置ａ２５に配置される。また、同様に、ディスプレイの位置ｄ２１～ｄ２５は、それぞれ、面接者位置ａ２１、面接者位置ａ２２、面接者位置ａ２３、被面接者位置ａ２４、及び傍観者位置ａ２５に合わせて配置されている。なお、ディスプレイの位置ｄ２１は、図１に示されているような通信装置１ａの単一のディスプレイの位置を示す。ディスプレイの位置ｄ２２～ｄ２４は、図１に示されているような通信装置１ｂ～１ｄの３つのディスプレイの位置を示す。更に、ディスプレイの位置ｄ２５は、スマートフォン９等の単一のディスプレイの位置を示している。

（（仮想の講義室））
図１３は、ワールド座標系上の配置位置を示した概念図であり、仮想の講義室の最適型空間を示した図である。図１３には、仮想講義における役割毎の配置位置が示されている。図１０における仮想の会議室の各利用者の役割である講師（教師）、受講者（生徒）(1)、受講者（生徒）(2)、受講者（生徒）(3)、及び傍観者は、図１３において、それぞれ、講義者位置ａ３２、受講者位置ａ３１、受講者位置ａ３４、受講者位置ａ３３、及び傍観者位置ａ３５に配置される。また、同様に、ディスプレイの位置ｄ３１～ｄ３５の位置は、それぞれ、講義者位置ａ３１、受講者位置ａ３２、受講者位置ａ３３、受講者位置ａ３４、及び傍観者位置ａ３５に合わせて配置されている。なお、ディスプレイの位置ｄ３１は、図１に示されているような通信装置１ａの単一のディスプレイの位置を示す。ディスプレイの位置ｄ３２～ｄ３４は、図１に示されているような通信装置１ｂ～１ｄの３つのディスプレイの位置を示す。更に、ディスプレイの位置ｄ２５は、スマートフォン９等の単一のディスプレイの位置を示している。

なお、図１０乃至１３において、利用者及び仮想空間上の位置は全部で５つであるが、これに限るものではなく、いくつであってもよい。また、傍観者の位置も複数であっても良いし、複数の傍観者が仮想の会議室に入って単一の傍観者の位置に配置されるようにしてもよい。また、会議、面接、講義は、イベントの一例である。

（通信装置の各機能構成）
次に、図２及び図６を用いて、通信装置１ａの各機能構成について更に詳細に説明する。

通信装置１ａの送受信部３１ａは、ネットワークＩ／Ｆ３０９に対するＣＰＵ３０１の処理によって実現され、通信ネットワーク１００を介して、他の装置（例えば、通信管理サーバ６）との間で各種データ（または情報）の送受信を行う。

受付部３２ａは、主に、キーボード１２、マウス１３、及びポインティングデバイス３１２に対するＣＰＵ３０１の処理によって実現され、利用者から各種の選択又は入力を受け付ける。

画像・音処理部３３ａは、主に、ＣＰＵ３０１の処理によって実現され、各種画像処理及び音処理を行う。

表示制御部３４ａは、主に、ＣＰＵ３０１の処理によって実現され、各ディスプレイ４に、各種画像を表示させる。

判断部３５ａは、主に、ＣＰＵ３０１の処理によって実現され、各種判断を行う。

輝度画像取得部３６ａは、主に、輝度カメラ５０１に対するＣＰＵ３０１の処理によって実現され、被写体を撮影することで、輝度画像のデータを取得する。ここでは、輝度画像と記載しているが、深度画像との対比のために用いている用語であり、輝度画像は、輝度情報のみを含む画像ではなく、色情報も有している。

深度画像取得部３７ａは、主に、深度カメラ５０２に対するＣＰＵ３０１の処理によって実現され、被写体を撮影することで、深度画像のデータを取得する。

集音部３８ａは、主に、マイク５０５に対するＣＰＵ３０１の処理によって実現され、集音して、音のデータを取得する。

記憶・読出処理部３９ａは、主に、ＣＰＵ３０１の処理によって実現され、記憶部３０００ａに、各種データ（または情報）を記憶したり、記憶部３０００ａから各種データ（または情報）を読み出したりする。

なお、通信装置１ｂ、１ｃ、１ｄは、通信装置１ａと同様の機能、記憶部、及びデータベースを有している。また、通信装置１ｂ，１ｃ，１ｄの機能は、それぞれ実質的にＰＣ３ｂ，３ｃ，３ｄによって実現されている。図７及び図８では、通信装置１ａにおける送受信部３１ａが、通信装置１ｂにおける送受信部３１ｂに対応するように、符号の末尾が、ａからそれぞれｂ，ｃ，ｄに変わるだけであるため、これらの説明を省略する。

＜通信管理サーバの機能構成＞
次に、図３及び図６を用いて、通信管理サーバ６の機能構成について説明する。図６は、通信管理サーバの機能構成図である。

図６に示されているように、通信管理サーバ６は、送受信部６１、画像・音処理部６３、判断部６５、作成部６６、及び記憶・読出処理部６９を有している。これら各部は、図３に示されている各構成要素のいずれかが、ＨＤ６０４からＲＡＭ６０３上に展開された通信管理（制御）用のプログラムに従ったＣＰＵ６０１からの命令によって動作することで実現される機能又は手段である。また、通信管理サーバ６は、図３に示されているＲＯＭ６０２、ＲＡＭ６０３、及びＨＤ６０４によって構築される記憶部６０００を有している。

（通信管理テーブル）
図１４（ａ）は、通信管理テーブルを示す概念図である。記憶部６０００には、図１４（ａ）に示されているような通信管理テーブルによって構成されている通信管理ＤＢ６００１が構築されている。この通信管理テーブルでは、通信管理サーバ６によって管理される全ての通信装置１の各接続ＩＤに対して、各パスワード及び各ＩＰアドレスが関連付けられて管理される。例えば、図１４に示されている通信管理テーブルにおいて、通信装置１ａの接続ＩＤは「０１ａａ」で、パスワードは「ａａａａ」で、ＩＰアドレスはＩＰｖ４として「１．２．１．３」あることが示されている。なお、ＩＰアドレスは、簡易的に示されている。また、ＩＰアドレスは、ＩＰｖ４ではなくＩＰｖ６であってもよい。また、ＩＰアドレスでなく、ドメイン名（電子メールやホームページのアドレスとして使われている名称を示すような文字列）であってもよい。

（セッション管理テーブル）
図１４（ｂ）は、セッション管理テーブルを示す概念図である。記憶部６０００には、図１４（ｂ）に示されているようなセッション管理テーブルによって構成されているセッション管理ＤＢ６００２が構築されている。このセッション管理テーブルでは、セッションＩＤ、仮想空間種類ＩＤ、及び同じ通信セッションの映像通話に参加した通信装置の接続ＩＤが関連付けて記憶されて管理されている。このうち、セッションＩＤは、映像通話を実現する通信セッションを識別するためのセッション識別情報の一例であり、仮想の会議室等の仮想の空間毎に生成される。セッションＩＤをミィーティングＩＤとして代替することができてもよい。ミィーティングＩＤは、ミィーティング（２人以上の話合う事）を通信管理サーバで管理するための識別子を示めしている。なお、仮想空間種類ＩＤ及び参加した通信装置の接続ＩＤは、図１０に示されている配置管理テーブルで管理されている仮想空間種類ＩＤ及び接続ＩＤと同じ概念であるため、これらの説明を省略する。

（画像種類管理テーブル）
記憶部６０００には、図１４（ｃ）に示されているような画像種類管理テーブルによって構成されている画像種類管理ＤＢ６００３が構築されている。この画像種類管理ＤＢ６００３は、上述した画像種類管理ＤＢ３００３ａに対して、セッションＩＤ（コミュニケーションＩＤ）の項目（属性）が追加されている。各項目（属性）は既に説明しているため、説明を省略する。

（ディスプレイ管理テーブル）
図１５は、ディスプレイ管理テーブルを示す概念図である。記憶部６０００には、図１５に示されているようなディスプレイ管理テーブルによって構成されているディスプレイ管理ＤＢ６００４が構築されている。このディスプレイ管理テーブルでは、ディスプレイのＧＵＩＤ(Globally Unique Identifier)のベンダＩＤとプロダクトＩＤ、物理空間上(リアル座標系)のディスプレイの縦と横のサイズ(各隅の位置)及び解像度、並びに仮想空間上（モデリング座標系）のディスプレイの各隅の位置が関連付けて記憶されて管理されている。なお、リアル座標系は、現実の世界である３次元の世界の任意の位置を基準とした座標系を示している。

ここで、図１６を用いて、ディスプレイ管理テーブルで管理するデータで示される位置をディスプレイ上の点で視覚的に説明する。図１６は、ディスプレイ管理テーブルで管理するデータで示される位置をディスプレイ上の点で視覚的に示した概念図である。

例えば、ディスプレイのＧＵＩＤが「vid_10ca&pid_0001」の場合、物理空間上（リアル座標系）のディスプレイ１１８のぞれぞれの四隅の位置を示す点が示されている。同じく通信装置のＧＵＩＤが「vid_10ca&pid_0001」の場合、仮想空間上（モデリング座標系）の３つのディスプレイのそれぞれの四隅の位置を示す点が示されている。

また、ディスプレイのＧＵＩＤが「vid_11ca&pid_0010」の場合、物理空間上（リアル座標系）のスマートフォン９の１つのディスプレイのぞれぞれの四隅の位置を示す点が示されている。同じくスマートフォンのＧＵＩＤが「vid_11ca&pid_0010」の場合、仮想空間上（モデリング座標系）のスマートフォンの１つのディスプレイの四隅の位置を示す点が示されている。

更に、ディスプレイのＧＵＩＤが「vid_12ca&pid_0100」の場合、物理空間上（リアル座標系）の一般のノートＰＣの１つのディスプレイのぞれぞれの四隅の位置を示す点が示されている。同じくディスプレイのＧＵＩＤが「vid_12ca&pid_0100」の場合、仮想空間上（モデリング座標系）のノートＰＣの１つのディスプレイの四隅の位置を示す点が示されている。

（仮想空間情報管理テーブル）
図１７は、仮想空間情報管理テーブルを示す概念図である。記憶部６０００には、図１７に示されているような仮想空間情報管理テーブルによって構成されている仮想空間情報管理ＤＢ６００５が構築されている。この仮想空間情報管理テーブルでは、セッションＩＤ（コミュニケーションＩＤ）、仮想空間種類、及び役割名が関連付けて記憶されて管理されている。セッションＩＤ（コミュニケーションＩＤ）、及び仮想空間種類は、それぞれ上述のセッション管理ＤＢ６００２の「セッションＩＤ（コミュニケーションＩＤ）」及び「仮想空間種類」の項目（属性）と同じ概念であるため、説明を省略する。また、役割名は、上述の配置管理ＤＢ３００６ａの「役割」項目（属性）を名称として管理されている。

（通信管理サーバの各機能構成）
次に、図３及び図６を用いて、通信管理サーバ６の各機能構成について更に詳細に説明する。

通信管理サーバ６の送受信部６１は、ネットワークＩ／Ｆ６０９に対するＣＰＵ６０１の処理によって実現され、通信ネットワーク１００を介して、他の装置（例えば、通信装置１、スマートフォン９）との間で各種データ（または情報）の送受信を行う。

画像・音処理部６３は、主に、ＣＰＵ６０１の処理によって実現され、各拠点の輝度画像データ及び深度画像データに基づき、仮想空間上の各拠点における被写体の３次元物体の生成等を行う。よって、画像・音処理部６３は、生成部としての機能を有する。画像・音処理部６３については、後ほど詳細に説明する。

判断部６５は、主に、ＣＰＵ６０１の処理によって実現され、各種判断を行う。

作成部６６は、主にＣＰＵ６０１の処理によって実現され、画像データＩＤを作成する。

記憶・読出処理部６９は、主に、図４に示されているＨＤＤコントローラ６０５に対するＣＰＵ６０１の処理によって実現され、記憶部５０００に各種データ（または情報）を記憶したり、記憶部５０００から各種データ（または情報）を読み出したりする。

＜全天球撮影装置の機能構成＞
次に、図４及び図８を用いて、全天球撮影装置８の機能構成について説明する。

図８に示されているように、全天球撮影装置８は、受付部８２、撮影部８３、集音部８４、判断部８５、通信部８８、及び記憶・読出処理部８９を有している。これら各部は、図４に示されている各構成要素のいずれかが、ＳＲＡＭ８１３からＤＲＡＭ８１４上に展開された撮影装置用のプログラムに従ったＣＰＵ８１１からの命令によって動作することで実現される機能又は手段である。

また、全天球撮影装置８は、図４に示されているＲＯＭ５１２、ＳＲＡＭ５１３、及びＤＲＡＭ５１４によって構築される記憶部８０００を有している。記憶部８０００には、自装置のＧＵＩＤが記憶されている。

（全天球撮影装置の各機能構成）
次に、図４及び図８を用いて、全天球撮影装置８の各機能構成について更に詳細に説明する。

全天球撮影装置８の受付部８２は、主に、図４に示されている操作部８１５に対するＣＰＵ８１１の処理によって実現され、利用者からの操作入力を受け付ける。

撮影部８３は、主に、図４に示されている撮像ユニット８０１、画像処理ユニット８０４、及び撮像制御ユニット８０５に対するＣＰＵ８１１の処理によって実現され、被写体や風景等を撮像し、全天球画像を構成する２つの半球画像のデータを得る。

集音部８４は、図４に示されているマイク８０８及び音処理ユニット８０９に対するＣＰＵ８１１の処理によって実現され、全天球撮影装置８の周囲の音を集音する。

判断部８５は、主に、ＣＰＵ８１１の処理によって実現され、各種判断を行う。

通信部８８は、主に、通信回路８１７に対するＣＰＵ８１１の処理によって実現され、スマートフォン９の後述の通信部９８と、NFC規格、Bluetooth、Wi-Fi等による近距離無線通信技術によって通信することができる。

記憶・読出処理部８９は、主に、図４に示されているＣＰＵ８１１の処理によって実現され、記憶部８０００に各種データ（または情報）を記憶したり、記憶部８０００から各種データ（または情報）を読み出したりする。

＜スマートフォンの機能構成＞
次に、図５及び図８を用いて、スマートフォン９の機能構成について詳細に説明する。図８に示されているように、スマートフォン９は、送受信部９１、受付部９２、画像・音処理部９３、表示制御部９４、判断部９５、作成部９６、算出部９７、通信部９８、及び記憶・読出処理部９９を有している。これら各部は、図６５に示されている各構成要素のいずれかが、ＥＥＰＲＯＭ９０４からＲＡＭ９０３上に展開されたスマートフォン９用のプログラムに従ったＣＰＵ９０１からの命令によって動作することで実現される機能又は手段である。

また、スマートフォン９は、図５に示されているＲＯＭ９０２、ＲＡＭ９０３、及びＥＥＰＲＯＭ９０４によって構築される記憶部９０００を有している。

（撮影装置管理テーブル）
図１８は、撮影装置管理テーブルを示す概念図である。記憶部８０００には、図１８に示されているような撮影装置管理テーブルによって構成されている撮影装置管理ＤＢ９００１が構築されている。この撮影装置管理テーブルでは、全天球画像の元になる２つの半球画像を得ることができる撮影装置のＧＵＩＤのベンダＩＤとプロダクトＩＤが記憶されて管理されている。ＧＵＩＤとしては、例えば、ＵＳＢデバイスで利用されるベンダＩＤ(ＶＩＤ)とプロダクトＩＤ(ＰＩＤ)が利用できる。スマートフォン９は、所定のサーバからベンダＩＤとプロダクトＩＤをダウンロードする等によって取得する。

（画像種類管理テーブル）
記憶部９０００には、画像種類管理ＤＢ３００３ａと同様のデータ構造である画像種類管理ＤＢ９００３が構築されている。画像種類管理ＤＢ６００３を構成する画像種類管理テーブルについては、既に図１０で説明したため、説明を省略する。

（配置管理テーブル）
記憶部９０００には、配置管理ＤＢ３００６ａと同様のデータ構造である配置管理ＤＢ９００６が構築されている。配置管理ＤＢ９００６を構成する配置管理テーブルについては、既に図１０乃至図１３で説明したため、説明を省略する。

〔実施形態の処理又は動作〕
続いて、図１９乃至図３９を用いて、本実施形態の処理又は動作について説明する。

＜映像通話への参加＞
まず、図１９乃至図２２を用いて、特定の仮想空間への参加処理について説明する。図１９は、特定の仮想空間への参加処理を示したシーケンス図である。図２０（ａ）は、通信装置におけるログイン画面の表示例であり、図２０（ｂ）は通信装置１ａ及びスマートフォンにおけるログイン画面の表示例である。図２１は、仮想空間の種類の選択画面を示した図である。図２２において、（ａ）は仮想空間の種類が会議タイプ（会議の種類）の場合の役割の選択画面、（ｂ）は仮想空間の種類が面接タイプの場合の役割の選択画面、（ｃ）は仮想空間の種類が講義タイプの場合の役割の選択画面である。

まず、拠点Ａの利用者（例えば、利用者Ａ１）は、表示制御部３４ａがディスプレイ４上に表示するログイン画面（図２０（ａ）参照）において、自己の接続ＩＤ及びパスワードを入力し、「ＯＫ」ボタンを押下すると、受付部３２ａが接続ＩＤ及びパスワードを受け付け、送受信部３１ａが通信管理サーバ６に対して、ログイン要求を送信する（Ｓ２１）。このログイン要求には、接続ＩＤ、パスワード、及び送信元（通信装置１ａ）のＩＰアドレスが含まれている。これにより、通信管理サーバ６の送受信部６１は、ログイン要求を受信する。

次に、通信管理サーバ６の記憶・読出処理部６９は、ログイン要求に含まれている接続ＩＤ及びパスワードを検索キーとして、通信管理ＤＢ６００１（図１４（ａ）参照）を検索し、同一の接続ＩＤ及び同一のパスワードの組が管理されているかを判断することによって認証を行う（ステップＳ２２）。ここでは、記憶・読出処理部６９によって、同一の接続ＩＤ及び同一のパスワードが管理されているものとして、続けて説明する。この場合、記憶・読出処理部６９は、ステップＳ２１で受信された送信元のＩＰアドレスを、認証に使った接続ＩＤ及びパスワードの組のレコードに追記する。

次に、記憶・読出処理部６９は、仮想空間情報管理ＤＢ６００５から、全てのレコードのデータである仮想空間情報を読み出す（Ｓ２３）。そして、送受信部６１は、通信装置１ａに対して、認証が成功した旨の応答を送信する（Ｓ２４）。この応答には、仮想空間情報が含まれている。これにより、通信装置１ａの送受信部１１ａは、応答を受信する。

次に、通信装置１ａでは、表示制御部３４ａが仮想空間情報に基づいて、通信装置１ａのディスプレイ９１８上に、仮想空間選択画面（図２１参照）を表示する（Ｓ２５）。この仮想空間選択画面には、選択対象である仮想空間の種類を示す各選択ボタンｂ１，ｂ２，ｂ３が表示されている。ここでは、仮想空間の種類として、仮想の会議室、仮想の面接室、及び仮想の講義室を示す選択ボタンｂ１，ｂ２，ｂ３が表示されている。また、各選択ボタンｂ１等には、各セッションＩＤが関連付けられている。

ここで、利用者Ａ１が所望の選択ボタン（ここでは「選択ボタンｂ１」）を選択すると、受付部３２ａは、仮想空間の種類（通信セッション）の選択を受け付ける（ステップＳ２６）。

更に、通信装置１ａでは、表示制御部３４ａが仮想空間情報に基づいて、通信装置１ａのディスプレイ９１８上に、仮想の会議室に入る場合の役割を示す役割選択画面（図２２（ａ）参照）を表示する（Ｓ２７）。この役割選択画面には、選択対象である役割を示す各選択ボタンｂ１１，ｂ１２，ｂ１３が表示されている。ここで、利用者Ａ１が所望の選択ボタン（ここでは「選択ボタンｂ１１」）を選択すると、受付部３２ａは、役割の選択を受け付ける（ステップＳ２８）。そして、送受信部３１ａは、通信管理サーバ６に対して、主催者として仮想の会議室への参加要求を送信する（ステップＳ２９）。この参加要求には、ステップＳ２６で選択を受け付けられた通信セッションを示すセッションＩＤ及び仮想空間種類ＩＤ、ステップＳ２８で選択を受け付けられた役割、並びに要求元である通信装置１ａの接続ＩＤが含まれている。これにより、通信管理サーバ６の送受信部５１は、参加要求を受信する。

次に、記憶・読出処理部６９は、セッション管理ＤＢ６００２（図１４（ｂ）参照）に対して、仮想空間への参加処理を行う（Ｓ３０）。具体的には、記憶・読出処理部６９は、セッション管理ＤＢ６００２において、ステップＳ２９で受信されたセッションＩＤと同じセッションＩＤのレコードに対して、ステップＳ２９で受信された仮想空間種類ＩＤ及び参加した通信装置１ａの接続ＩＤを関連付けて管理する。

次に、記憶・読出処理部６９は、配置管理ＤＢ６００６に対して、ステップ２８で選択された仮想空間種類における役割に接続ＩＤを登録する（Ｓ３１）。ここでは、記憶・読出処理部６９は、仮想の会議室における主催者を示す仮想空間種類ＩＤ及び接続ＩＤのレコードの接続ＩＤの項目（属性）に、通信装置１ａの利用者Ａ１の接続ＩＤである「０１ａａ」を登録する。

次に、通信管理サーバ６の送受信部６１は、通信装置１ａに対して、ステップＳ２９に対する参加要求応答を送信する（Ｓ３２）。この参加要求応答には、ステップＳ３１で登録されることで更新された配置管理ＤＢ６００６内の全てのデータである配置管理情報が含まれている。これにより、通信装置１ａの送受信部１１ａは、参加要求応答を受信する。なお、配置管理情報は、配置管理ＤＢ６００６内の全てのデータではなく、更新されたレコード部分のデータ（仮想空間種類ＩＤ、仮想空間種類、役割、モデリング座標系からワールド座標系への変換パラメータ、及び接続ＩＤの各データ）であってもよい。そして、通信装置１ａでは、記憶・読出処理部１９ａは、配置管理ＤＢ３００６ａに対して、ステップＳ３２で受信された配置管理情報を上書き登録する（Ｓ３３）。

また、通信管理サーバ６は、同じ仮想の会議室に参加している通信装置がある場合、この通信装置に対して、通信装置１ａが新たに特定の役割で参加した旨を伝えることで、配置管理情報を共有する必要がある。そこで、通信管理サーバ６の送受信部６１は、既に仮想の会議室に参加している利用者の通信装置（ここでは、通信装置１ｂ）に対して、通信装置１ａの利用者Ａ１が参加した旨を示す参加情報を送信する（Ｓ３４）。この参加情報には、ステップＳ３２で送信された配置管理情報と同じ内容の配置管理情報が含まれている。これにより、通信装置１ｂの送受信部１１ｂは、参加情報を受信する。なお、送受信部６１の送信先は、セッション管理ＤＢ６００２（図１４（ｂ）参照）で、通信装置１ａの接続ＩＤと同じセッションＩＤに関連付けられている他の接続ＩＤある。即ち、送信先は、通信装置１ａと同じ仮想の会議室に入っている他の通信装置である。

次に、通信装置１ｂでは、記憶・読出処理部１９ｂが、配置管理ＤＢ３００６ｂに対して、ステップＳ３４で受信された配置管理情報を上書き登録する（Ｓ３５）。

なお、ステップＳ２６において、利用者Ａ１が図２１の選択ボタンｂ２を選択した場合には、ステップＳ２７において、表示制御部３４ａは、図２２（ｂ）に示されているような役割選択画面を表示させる。また、ステップＳ２６において、利用者Ａ１が図２１の選択ボタンｂ３を選択した場合には、ステップＳ２７において、表示制御部３４ａは、図２２（ｃ）に示されているような役割選択画面を表示させる。

なお、上記では、図２１に示されている仮想空間の種類を示す各選択ボタンｂ１等の選択後、図２２に示されている役割を示す各選択ボタンｂ１１等の選択によって、合計２回の選択が行われるが、これに限るものではない。例えば、図２１において、コミュニケーションの目的（仮想空間の種類毎及び役割）を示す合計９つの選択ボタンが表示されるようにしてもよい。９つの選択ボタンは、例えば、会議室における主催者、会議室における参加者、会議室における傍観者、面接室における面接者、面接室における被面接者、面接室における傍観者、講義室における講師（教師）、講義室における受講者（生徒）、及び講義室における傍観者と表示される。なお、コミュニケーションは、意思、感情、又は思考などの情報伝達を示し、言語、文字又は身振りなどを媒介として行われる行為である。

＜画像種類情報の管理処理＞
続いて、図２３及び図２４を用いて、画像種類情報の管理処理について説明する。図２３は、通信装置に対する画像種類情報の管理処理を示したシーケンス図である。図２４は、スマートフォンに対する画像種類情報の管理処理を示したシーケンス図である。

（通信装置に対する画像種類情報の管理処理）
まずは、図２３を用いて、通信装置に対する画像種類情報の管理処理について説明する。

通信装置１ａの送受信部３１ａは、通信管理サーバ６に対して、情報追加要求を送信する（Ｓ４１）。この情報追加要求には、送信元である自装置（通信装置１ａ）の接続ＩＤ、画像種類情報、及びディスプレイ情報が含まれている。これにより、通信管理サーバ６の送受信部６１は、情報追加要求を受信する。

次に、通信管理サーバ６の記憶・読出処理部６９は、ステップＳ４１によって受信された接続ＩＤを検索キーとして、セッション管理ＤＢ６００２（図１４（ｂ）参照）を検索することにより、対応するセッションＩＤを読み出す（Ｓ４２）。

次に、作成部６６は、固有の画像データＩＤを作成する（Ｓ４３）。そして、記憶・読出処理部６９は、画像種類管理ＤＢ６００３（図１４（ｃ）参照）に、新たなレコードとして、ステップＳ４２で読み出されたセッションＩＤ、ステップＳ４３で生成された画像データＩＤ、並びに、ステップＳ４１で受信された送信元の接続ＩＤ及び画像種類情報を関連付けて記憶する（Ｓ４４）。更に、記憶・読出処理部６９は、ディスプレイ管理ＤＢ６００４（図１５参照）に、１レコードのデータであるディスプレイ情報を記憶する（Ｓ４５）。これにより、各通信装置１のディスプレイ情報を一元管理することができる。

次に、通信管理サーバ６の送受信部６１は、通信装置１ａに対して、ステップＳ４３で生成された画像データＩＤを送信する（Ｓ４６）。これにより、通信装置１ａの送受信部３１ａは、画像データＩＤを受信する。

次に、通信装置１ａの記憶・読出処理部３９ａは、画像種類管理ＤＢ３００３ａ（図９参照）に対し、自装置（通信装置１ａ）の接続ＩＤ及び画像種類情報に関連づけて、ステップＳ４６で受信された画像データＩＤを記憶する（Ｓ４７）。

また、通信管理サーバ６は、同じ仮想の会議室に参加している通信装置がある場合、この通信装置に対して、通信装置１ａの画像データＩＤ、接続ＩＤ、及び画像種類情報を伝えることで、情報共有する必要がある。そこで、通信管理サーバ６の送受信部６１は、通信装置１ａと同じ仮想の会議室に参加している他の通信装置（例えば、通信装置１ｂ）に対して、情報追加通知を送信する（Ｓ４８）。この情報追加通知には、ステップＳ４３で生成された画像データＩＤ、並びに、ステップＳ５１で受信された送信元である通信装置１ａの接続ＩＤ及び画像種類情報が含まれている。これにより、通信装置１ｂの送受信部１１ｂは、情報追加通知を受信する。なお、送受信部６１の送信先は、セッション管理ＤＢ６００２（図１４（ｂ）参照）で、通信装置１ａの接続ＩＤと同じセッションＩＤに関連付けられている他の接続ＩＤある。即ち、送信先は、通信装置１ａと同じ仮想の会議室に入っている他の通信装置である。また、通信管理サーバ６は、ステップＳ４８において、ステップ４１で受信したディスプレイ情報を送信しない。ディスプレイ情報は、他の通信装置では使用されないからである。

次に、通信装置１ｂの記憶・読出処理部３９ｂは、画像種類管理ＤＢ３００３ｂ（図９参照）に、新たなレコードとして、ステップＳ４８で受信された、画像データＩＤ、送信元である通信装置１ａの接続ＩＤ、及び画像種類情報を関連付けて記憶する（Ｓ４９）。

なお、情報追加通知の送信後に、通信装置１ａと同じ仮想の会議室に参加者した通信装置１に対しては、通信管理サーバ６が、上記ステップＳ４６等のタイミングで、既に同じ仮想の会議室に参加している他の通信装置の接続ＩＤ及び画像種類情報を送信する。

以上より、同じ仮想空間に参加した全ての通信装置は、他の通信装置の画像種類情報を共有することができる。

（スマートフォンに対する画像種類情報の管理処理）
続いて、図２４を用いて、スマートフォンに対する画像種類情報の管理処理について説明する。

まず、拠点Ｇの利用者Ｇ１は、表示制御部９４がディスプレイ９１８上に表示するログイン画面（図２０（ｂ）参照）において、自己の接続ＩＤ及びパスワードを入力し、「ＯＫ」ボタンを押下すると、受付部９２が接続ＩＤ及びパスワードを受け付け、送受信部９１が通信管理サーバ６に対して、ログイン要求を送信する（Ｓ６１）。このログイン要求には、接続ＩＤ、パスワード、及び送信元（スマートフォン９）のＩＰアドレスが含まれている。これにより、通信管理サーバ６の送受信部６１は、ログイン要求を受信する。

次に、通信管理サーバ６の記憶・読出処理部６９は、ログイン要求に含まれている接続ＩＤ及びパスワードを検索キーとして、通信管理ＤＢ６００１（図１４（ａ）参照）を検索し、同一の接続ＩＤ及び同一のパスワードの組が管理されているかを判断することによって認証を行う（Ｓ６２）。ここでは、記憶・読出処理部６９によって、同一の接続ＩＤ及び同一のパスワードが管理されているものとして、続けて説明する。この場合、記憶・読出処理部６９は、ステップＳ６１で受信された送信元のＩＰアドレスを、認証に使った接続ＩＤ及びパスワードの組のレコードに追記する。

次に、送受信部６１は、スマートフォン９に対して、認証が成功した旨の応答を送信する（Ｓ６３）。この応答には、仮想空間情報が含まれている。これにより、スマートフォン９の送受信部９１は、応答を受信する。

次に、拠点Ｇの利用者Ｇ１が、全天球撮影装置８の操作部８１５を操作することで、受付部８２が操作を受け付け、記憶・読出処理部８９が記憶部８０００に記憶されている自装置（全天球撮影装置８）のＧＵＩＤを読み出し、通信部８８がスマートフォン９の通信部９８に対して自装置のＧＵＩＤを送信する（Ｓ６４）。これにより、スマートフォン９の通信部９８は、全天球撮影装置８のＧＵＩＤを受信する。

次に、スマートフォン９の判断部９５は、撮影装置管理ＤＢ９００１（図１８参照）において、ステップＳ６４によって受信されたＧＵＩＤ中のベンダＩＤ及びプロダクトＩＤと、同じベンダＩＤ及びプロダクトＩＤが管理されているか否かを判断することで、画像種類を判断する（Ｓ６５）。具体的には、撮影装置管理ＤＢ９００１において、同じベンダＩＤ及びプロダクトＩＤが管理されている場合には、判断部９５は、送信者の撮影装置（ここでは、全天球撮影装置８）が全天球画像を取得する撮影装置であると判断する。これに対して、撮影装置管理ＤＢ９００１において、同じベンダＩＤ及びプロダクトＩＤが管理されていない場合には、判断部９５は、送信元の撮影装置が一般画像を撮影する撮影装置であると判断する。

次に、記憶・読出処理部９９は、画像種類管理ＤＢ９００３（図９参照）に対して、送信元である自装置（スマートフォン９）の接続ＩＤと、ステップＳ６５で判断された判断結果である画像種類情報とを関連付けて記憶する（Ｓ６６）。この状態では、画像データＩＤは関連付けられていない。

以降、ステップＳ６７～Ｓ７５の処理は、上述のステップＳ４１～Ｓ４９の処理において、基本的に通信装置１ａがスマートフォン９に替わっただけであり、その他の処理は同じである。

即ち、スマートフォン９の送受信部９１は、通信管理サーバ６に対して、情報追加要求を送信する（Ｓ６７）。この情報追加要求には、送信元である自装置（スマートフォン９）の接続ＩＤ、画像種類情報、及びディスプレイ情報が含まれている。これにより、通信管理サーバ６の送受信部６１は、情報追加要求を受信する。

次に、通信管理サーバ６の記憶・読出処理部６９は、ステップＳ６７によって受信された接続ＩＤを検索キーとして、セッション管理ＤＢ６００２（図１４（ｂ）参照）を検索することにより、対応するセッションＩＤを読み出す（Ｓ６８）。

次に、作成部６６は、固有の画像データＩＤを作成する（Ｓ６９）。そして、記憶・読出処理部６９は、画像種類管理ＤＢ６００３（図１４（ｃ）参照）に、新たなレコードとして、ステップＳ６８で読み出されたセッションＩＤ、ステップＳ６９で生成された画像データＩＤ、並びに、ステップＳ６７で受信された送信元の接続ＩＤ及び画像種類情報を関連付けて記憶する（Ｓ７０）。更に、記憶・読出処理部６９は、ディスプレイ管理ＤＢ６００４（図１５参照）に、１レコードのデータであるディスプレイ情報を記憶する（Ｓ７１）。

次に、通信管理サーバ６の送受信部６１は、スマートフォン９に対して、ステップＳ６９で生成された画像データＩＤを送信する（Ｓ７２）。これにより、スマートフォン９の送受信部９１は、画像データＩＤを受信する。

次に、スマートフォン９の記憶・読出処理部３９ａは、画像種類管理ＤＢ３００３ａ（図９参照）に対し、自装置（スマートフォン９）の接続ＩＤ及び画像種類情報に関連づけて、ステップＳ７２で受信された画像データＩＤを記憶する（Ｓ７３）。

また、通信管理サーバ６は、同じ仮想の会議室に参加している通信装置がある場合、この通信装置に対して、スマートフォン９の画像データＩＤ、接続ＩＤ、及び画像種類情報を伝えることで、情報共有する必要がある。そこで、通信管理サーバ６の送受信部６１は、スマートフォン９と同じ仮想の会議室に参加している他の通信装置（例えば、通信装置１ｂ）に対して、情報追加通知を送信する（Ｓ７４）。この情報追加通知には、ステップＳ６９で生成された画像データＩＤ、並びに、ステップＳ５１で受信された送信元であるスマートフォン９の接続ＩＤ及び画像種類情報が含まれている。これにより、通信装置１ｂの送受信部１１ｂは、情報追加通知を受信する。なお、送受信部６１の送信先は、セッション管理ＤＢ６００２（図１４（ｂ）参照）で、スマートフォン９の接続ＩＤと同じセッションＩＤに関連付けられている他の接続ＩＤある。即ち、送信先は、スマートフォン９と同じ仮想の会議室に入っている他の通信装置である。

次に、通信装置１ｂの記憶・読出処理部３９ｂは、画像種類管理ＤＢ３００３ｂ（図９参照）に、新たなレコードとして、ステップＳ７４で受信された、画像データＩＤ、送信元であるスマートフォン９の接続ＩＤ、及び画像種類情報を関連付けて記憶する（Ｓ７５）。

なお、情報追加通知の送信後に、スマートフォン９と同じ仮想の会議室に参加者した通信装置１に対しては、通信管理サーバ６が、上記ステップＳ７２等のタイミングで、既に同じ仮想の会議室に参加している他の通信装置の接続ＩＤ及び画像種類情報を送信する。

以上より、同じ仮想空間に参加した全ての通信装置及びスマートフォン９は、他の通信装置及びスマートフォン９の画像種類情報を共有することができる。

＜画像データ及び音データの送信＞
続いて、図２５乃至図２７を用いて、画像データ及び音データの送信処理について説明する。図２５は、全天球撮影装置及び各通信装置から送信された輝度画像データ及び音データが通信管理サーバに届くまでの処理を示したシーケンス図である。図２６は、送信される輝度画像データと深度画像データの概念図である。図２７は、通信管理サーバから送信された輝度画像データ、深度画像データ及び音データが他の通信装置に届くまでの処理を示したシーケンス図である。

（スマートフォン及び各通信装置から通信管理サーバへの送信）
まず、図２５乃至図２７を用いて、スマートフォン９及び各通信装置１から通信ネットワーク１００を介して、通信管理サーバ６に画像データ（ここでは、輝度画像データ）及び音データを送信する場合の処理について説明する。

まず、全天球撮影装置８が、拠点Ｇで撮影及び集音を開始することで、撮影部８３が画像データ（ここでは、半球画像の２つの輝度画像データ）を取得すると共に集音部８４が音データを取得する（Ｓ８１）。この場合、全天球撮影装置８は、動画撮影を行うが、静止画撮影であってもよい。そして、通信部８８がスマートフォン９の通信部９８に対して、２つの輝度画像データ、及び音データを送信する（Ｓ８２）。これにより、スマートフォン９の通信部９８が、２つの輝度画像データ、及び音データを受信する。

次に、スマートフォン９の送受信部９１は、通信管理サーバ６に対して、全天球撮影装置８から送られてきた２つの輝度画像データ、及び音データに加え、送信元としてのスマートフォンの接続ＩＤを送信する（Ｓ８３）。この場合、２つの輝度画像データには、上記ステップＳ７２で受信された画像データＩＤが含まれている。これにより、通信管理サーバ６の送受信部６１は、２つの輝度画像データ（及び画像データＩＤ）、音データ、並びにスマートフォンの接続ＩＤを受信する。

一方、通信装置１ａが、拠点Ａで撮影及び集音を開始することで、輝度画像取得部３６ａが輝度画像データを取得し、深度画像取得部３７ａが深度画像データを取得し、集音部３８ａが音データを取得する（Ｓ８４）。そして、通信装置１ａの送受信部３１ａは、通信管理サーバ６に対して、画像データ（輝度画像データ及び深度画像データ）、音データ、並びに送信元である通信装置１ａの接続ＩＤを送信する（Ｓ８５）。また、この画像データには、画像データを識別するための画像データＩＤが含まれている。これにより、通信管理サーバ６の送受信部６１は、画像データ（輝度画像データ及び深度画像データ）、音データ、接続ＩＤ、及び画像データＩＤを受信する。

同様して、通信装置１ｂ，１ｃ，１ｂは、それぞれ自拠点で撮影及び集音を行い（Ｓ８６，Ｓ８８，Ｓ９０）、通信管理サーバ６に、画像データ（輝度画像データ及び深度画像データ）、音データ、接続ＩＤ、及び画像データＩＤを送信する（Ｓ８７，Ｓ８９，Ｓ９１）。これにより、通信管理サーバ６の送受信部６１は、通信装置１ｂ，１ｃ，１ｂが送信した、各データ（画像データ（輝度画像データ及び深度画像データ）、音データ、接続ＩＤ、及び画像データＩＤ）を受信する。

ここで、図２６及び図２７を用いて、送信される輝度画像データと深度画像データについて説明する。

図５では、自画像撮り用の撮影ユニット９０５が設けられているため、画像データには、輝度画像Ｌｃ１のデータ及び深度画像Ｄｃ１のデータが含まれる。輝度画像Ｌｃ１及び深度画像Ｄｃ１のデータは、撮影ユニット９０５によって取得されたデータである。

例えば、輝度画像Ｌｃ１及び深度画像Ｄｃ１のデータの解像度は、それぞれ４Ｋであるが、図２６に示されているように、送信元の通信装置１は、合計２のデータを１つの画像データに圧縮して合成することで、この１つの画像データの解像度が４Ｋになる。なお、４Ｋは一例であり、ＨＤ、ＦＨＤ、８Ｋ等であってもよい。

（通信管理サーバからスマートフォン及び各通信装置への送信）
続いて、図２７及び図２８を用いて、通信管理サーバからスマートフォン及び各通信装置へ画像画像データ及び合成音データを送信（配信）する処理を説明する。図２７は、通信管理サーバから送信された合成画像データ及び合成音データが各通信装置に届くまでの処理を示したシーケンス図である。

まず、通信管理サーバ６は、上記ステップＳ８３，Ｓ８５，Ｓ８７，Ｓ８９，Ｓ９２で受信した各画像データを合成するための画像変換処理を行う（Ｓ１０１）。

ここで、図２８を用いて、ステップＳ１０１の処理について詳細に説明する。

＜画像表示の処理＞
図２８は、画像変換処理を示したフローチャートである。まず、合成画像データ及び合成音データの送信先を特定するため、記憶・読出処理部６９は、映像通話に参加中の通信装置の接続ＩＤを読み出す（Ｓ２００）。

次に、記憶・読出処理部６９は、上記ステップＳ８３，Ｓ８５，Ｓ８７，Ｓ８９，Ｓ９２によって受信された画像データＩＤを検索キーとして、画像種類管理ＤＢ６００３を検索することで、対応する画像種類情報を読み出す（Ｓ２０１）。そして、画像種類情報が「Video_Depth」の場合（Ｓ２０２；輝度・深度画像）、ステップＳ２０３の処理に進む。また、画像種類情報が「Video_Omni」の場合（Ｓ２０２；全天球画像）、ステップＳ２１１の処理に進む。画像種類情報が「Video_Omni」の場合（Ｓ２０２；平面画像）、ステップＳ２１２の処理に進む。

（画像種類が輝度・深度画像の場合の表示処理）
ここで、画像種類が輝度・深度画像の場合の表示処理について説明する。

（（ワールド座標系にける物体の位置の算出処理））
最初に、通信管理サーバ６は、ワールド座標系における物体の位置を算出する（Ｓ２０３）。ここで、図２９乃至図３２を用いて、画像種類が輝度・深度画像の場合の表示処理を詳細に説明する。図２９は、ワールド座標系にける物体の位置の算出処理を示すフローチャートである。

まず、任意の拠点の通信装置に送信する１つの合成画像データを生成するために、記憶・読出処理部６９は、映像通話に参加中の全ての拠点の通信装置の接続ＩＤを読み出す（Ｓ２２０）。

次に、画像・音処理部６３が、仮想空間上（モデリング座標系）における各拠点の輝度画像データ及び深度画像データに基づいて、物体の画像を３次元化する（Ｓ２２１）。

ここで、図３０を用いて、物体の画像の３次元化を説明する。図３０は、カメラ座標系からモデリング座標系への変換、及びモデリング座標系からワールド座標系への変換の概念図である。なお、カメラ座標系は、現実の世界である３次元の世界を物理的なカメラを原点として投影面における世界の見え方を定める座標系である。リアル座標で与えられる座標を、カメラの座標系で見た座標系に変換する必要ある。

物理空間の複数の拠点の利用者の画像を仮想の会議室等の１つの仮想空間に登場させるため、画像・音処理部６３は、各拠点の物理空間の物体を、一旦、個別に第１の仮想空間としてのモデリング座標系(Modeling Coordinate System)で定義することで３次元化し、その後に、各物体の画像を１つのワールド座標系(World Coordinate System)で定義する必要がある。

そのため、まず、画像・音処理部６３は、図２６に示されているようにカメラ座標系(Camera Coordinate System)にて定義された輝度画像Ｌｃ１及び深度画像Ｄｃ１の画像を、（式１）を利用して、１つの第１の仮想空間上（モデリング座標系）に変換することで、３次元化を行う。図３０では、物体として利用者Ｄ１が表されている。この場合、モデリング座標系における利用者Ａ１の画像は、図３０の拡大図ｅｖに示されているように、多数の点の集合によって示される。本実施形態では、５台の輝度深度撮影デバイス５ａ～５ｅによって５アングルにより撮影されているため、利用者Ｄ１の画像は、多数の点が重なった集合体として表される。このようにして、利用者Ｂ１，Ｃ１，Ｄ１がそれぞれ独立して別々のモデリング座標系で定義される（３次元化される）。また、利用者Ａ１については、１つの撮影ユニット９０５によって１アングルにより撮影されているため、３次元化されるものの、多数の点が重なった集合体としては表されない。これにより、各拠点の通信装置１では、利用者Ａ１の画像は、顔の正面の画像が表示されるが、顔の側面の画像は表示されないことになる。

なお、ベクトルＰは射影行列であり、ベクトルＰ-1は、カメラ座標系からリアル座標系へ変換するための行列である。ベクトルＭは、リアル座標系からモデリング座標系へ変換するための行列である。この出力値は、モデリング座標系の点（座標）及び色情報を示す。

次に、図２９に戻り、記憶・読出処理部３９ｄは、ステップＳ２２０で読み出された接続ＩＤで示される通信装置のディスプレイ情報を、ディスプレイ管理ＤＢ６００４から読み出す（Ｓ２２２）。そして、画像・音処理部３３ｄが、ディスプレイ情報における「仮想空間上（モデリング座標系）のディスプレイの各隅の位置の情報」に基づいて、モデリング座標系に上記仮想ディスプレイ（仮想スクリーンともいう）ｄｄを配置する（Ｓ２２３）。図３１（ａ）は、モデリング座標系に利用者Ａ１の画像と仮想ディスプレイｄｄ１を配置した概念図である。図３１は、モデリング座標系に利用者Ｄ１の画像と仮想ディスプレイｄｄ４を配置した概念図である。例えば、画像・音処理部６３は、図３１に示されているように、利用者Ｄ１の画像に対して更に仮想ディスプレイｄｄを配置（定義）する。この場合、仮想ディスプレイｄｄ１は、方位センサ（検知部３０ａ）によって出力された回転行列（０）のデータに基づき、パン、チルト及びロールの回転がされる。換言すると、利用者Ａ１が、現実の通信装置１ａを回転させた方向が、仮想ディスプレイｄｄ１に反映されることを示している。

また、図２９に戻り、記憶・読出処理部６９は、配置管理ＤＢ６００６（図１０参照）から、同じ仮想の会議室に参加中の利用者（通信装置）の接続ＩＤに関連付けられている「モデリング座標系からワールド座標系への変換パラメータ」を読み出す（Ｓ２２４）。そして、画像・音処理部６３は、ステップＳ２２０で読み出された接続ＩＤで示される通信装置が設置されている任意の拠点の物体の画像とステップＳ２２０で読み出された接続ＩＤで示される任意の通信装置の仮想ディスプレイを、仮想空間上においてモデリング座標系からワールド座標系にモデリング変換する（Ｓ２２５）。

ここで、再び図３０を用いて、モデリング座標系からワールド座標系への変換を説明する。

画像・音処理部６３は、図３０に示されているように、モデリング座標系の利用者Ａ１の画像を、（式２）を利用して、１つの共通の第２の仮想空間上（ワールド座標系）にモデリング変換(Modeling Transformation)する。なお、モデリング変換は、モデリング座標系上で定義された表示物体をワールド座標系上に配置するための変換処理であり、表示物体の拡大縮小、回転、せん断及び平行移動という四つの変換処理の組み合わせを示す。

なお、ベクトルＷは、モデリング座標系からワールド座標系へ変換するための行列である。この出力値は、ワールド座標系の点（座標）及び色情報を示す。また、ベクトルＯは、回転（パン、チルト、ロール）させるための行列である。つまり、方位センサから算出した回転（行列）を反映させた変換するための行列式である。方位センサを利用しない又は方位センサが無い場合は、単位行列（I)として計算する。

図３２は、モデリング座標系からワールド座標系への変換を示したイメージ図である。図３２に示されているように、画像・音処理部３３ｄは、各モデリング座標系の利用者Ａ１～Ｄ１の画像及び自拠点の仮想ディスプレイｄｄ４を、１つの共通のワールド座標系にモデリング変換する。これにより、各拠点の利用者Ａ１～Ｄ１の画像が、共通の仮想の会議室に参加することができる。

なお、図３２に示されているように、本実施形態のワールド座標系には、全天球画像を貼り付けるための仮想球状壁ｃｗ、及び３次元化した平面画像を貼り付けるための仮想平面壁ｐｗが存在する。これに関しては後述する。

（（利用者が見える画像の表示））
続いて、図２８に戻り、利用者Ｄ１が通信装置１で見ることができる画像を表示する処理を説明する。

図２８に示されているように、画像・音処理部３３ａが、輝度画像取得部３６ｄによって取得された輝度画像データ及び深度画像取得部３７ｄによって取得された輝度画像データに基づき、利用者Ｄ１の目、鼻、肩等の骨格情報を検出する（Ｓ２０４）。

次に、画像・音処理部３３ａが、骨格情報の両目の中心を視点位置として、この視点位置に基づき、図３２の中央部に示されているようなワールド座標系における利用者Ｄ１が仮想ディスプレイｄｄによって見ることができる他の利用者Ａ１等の画像を作成する（Ｓ２０５）。換言すると、画像・音処理部３３ａは、ワールド座標系の表示物体を視点位置に基づき仮想ディスプレイｄｄに表示される画像に変換する。この変換は、ワールド座標系から視点座標系への変換を意味し、視野変換と呼ばれる。視点座標系は、仮想空間上でのカメラの位置（視点）を原点とし、利用者が見たい方向（被写体が存在する方向）に広がっている座標系である。

ワールド座標系において、視点から仮想ディスプレイｄｄ上の画素に向かうレイトレーシング(Ray Tracing)法によるレイ(ray)とポリゴン(３Ｄモデルを構成する仮想的な三角形や多角形等)との交点を計算する。このレイは、画像方向から視点に向かう光線を、視点から逆にたどるものである。この方法は、光線追跡法とよばれ、視線を逆に辿ることから、視線逆探索法とも呼ばれる。そして、視点に最も近い交点、すなわちレイと最初に交差する物体（コンピュータグラフィックスの分野では、上記「ポリゴン」と呼ばれる）を求め、その物体の色で仮想ディスプレイ上の画素を塗る。レイと交差する物体（ポリゴン）が存在しない場合には、画素に対して背景色を塗る。この処理を仮想ディスプレイｄｄ全体の画素に対して行うことにより仮想ディスプレイｄｄに表示される画像が作成される。

なお、光線追跡法以外にも、Ｚバッファ法などが存在し、仮想ディスプレイｄｄで表示される画像を作成する方法は、上記方法に限定されるものではない。

次に、画像・音処理部３３ａは、上記作成した仮想空間上（ワールド座標系）の画像を物理空間上の通信装置１ｄのディスプレイ４上に表示するための画像に変換する（Ｓ２０６）。そして、表示制御部３４ｄは、物理空間上の通信装置１ｄのディスプレイ４上に、ステップＳ２０６で変換した後の画像を表示する（Ｓ２０７）。この場合、ディスプレイ４に画像が表示される空間は２次元平面画像であり、解像度は、コンピュータの性能、特にビデオボード（又はグラフィックスボード）に搭載されている表示メモリなどのデバイスに依存するため、デバイス座標系と呼ばれる。

（画像種類が全天球画像の場合の表示処理）
次に、画像種類が全天球画像の場合の表示処理について説明する。

画像・音処理部３３ｄは、送受信部１１ｄによって受信された２つの輝度画像のデータから全天球画像のデータを作成し、この全天球画像を仮想空間上（ワールド座標系）に貼り付ける（Ｓ２１１）。この場合、画像・音処理部３３ｄは、２つの輝度画像である半球画像を合成し、１つの正距円筒射影画像ＥＣを作成する。そして、画像・音処理部３３ａは、OpenGL ES（Open Graphics Library for Embedded Systems）を利用することで、仮想球面（ここでは、図３２の仮想球状壁ｃｗの内壁面）に正距円筒射影画像を貼り付け、全天球画像のデータを作成する。なお、OpenGL ESは、２Ｄ(2-Dimensions)および３Ｄ(3-Dimensions)のデータを視覚化するために使用するグラフィックスライブラリである。

そして、ステップＳ２１１の処理後、上記ステップＳ２０６の処理に進む。

（画像種類が平面画像の場合の表示処理）
次に、画像種類が平面画像の場合の表示処理について説明する。この場合、平面画像であっても仮想空間上に貼り付ける必要があるため、画像・音処理部３３ａは、平面画像を3次元化する（Ｓ２１３）。そして、ステップＳ２１３の処理後、上記ステップＳ２０６の処理に進む。

＜画像の表示例＞
続いて、図３３乃至図３９を用いて、図３０におけるステップＳ１１１（図３３，図３４、図３７），Ｓ１０５（図３５，図３８，図３９），Ｓ１０３（図３８）による様々な表示例を説明する。

（会議の参加者（利用者Ｄ１）に見せる表示例）
（（初期表示））
図３３において、（ａ）は仮想会議の場合のワールド座標系における利用者Ｄ１の視線を示した図、（ｂ）は（ａ）の場合に通信装置１ｄが利用者Ｄ１に見せる画像の表示例である。

ここでは、利用者Ｄ１は、通信装置１ｄを自分の真正面で使用してことにより、通信装置１ｄにおける自画像撮り用の撮像ユニットが、利用者Ｄ１の真正面の方向（第２の方向の一例）から撮影する場合を示している。

図３３（ａ）に示されているように、仮想空間上（ここでは、ワールド座標系）において、利用者Ｄ１の視線の向こうには、左斜め前の少し奥に利用者Ａ１、真正面に利用者Ｂ１、左横に利用者Ｃ１が位置している。なお、仮想空間上（ワールド座標系）の１つの位置に、原則として一人の利用者しか存在しない。

そして、この仮想空間上の状態を物理空間上の利用者Ｄ１がディスプレイ１１８で見ると、図３３（ｂ）に示されているように、表示制御部３４ｄは、ディスプレイ４上に、背景画像としての全天球画像ＣＥ、並びにサイズ及び表示方向が異なる各利用者Ａ１，Ｂ１，Ｃ１の画像の全てを合成した合成画像を表示させる。

なお、各利用者の画像は、図２８のステップＳ２０７で、表示制御部３４ｄによって表示された画像である。また、全天球画像ＣＥは、図２８のステップ２１２で、表示制御部３４ｄによって表示された画像である。各利用者の画像及び全天球画像ＣＥは、実際には上記のごとく、合成画像として表示される。各利用者の画像及び全天球画像ＣＥの表示に関しては、以下同様である。

具体的には、利用者Ｄ１が利用者Ａ１の画像を見た場合、利用者Ａ１の画像は、左斜め前の少し奥に位置した利用者Ｂ１よりもサイズが小さく、右肩側よりも左肩側の表示面積が大きい状態を見ることができるようなディスプレイ１１８上の所定領域に表示されている。また、利用者Ｄ１が利用者Ｂ１の画像を見た場合、利用者Ｂ１の画像は、真正面の利用者Ａ１よりも近くに位置した利用者Ａ１よりもサイズが大きく、顔の真正面が表された状態を見ることができるようなディスプレイ１１８上の所定領域に表示されている。更に、利用者Ｄ１が利用者Ｃ１の画像を見た場合、利用者Ｃ１の画像は、左横に位置した（利用者Ｄ１から見た場合の）顔の左側面が表された状態を見ることができるような１１８上の所定領域に表示されている。

（（回転後表示））
続いて、図３３（ｂ）の状態から、図３４（ｂ）に示されているように、利用者Ｄ１が物理空間で、自分の顔（視線）と共に若干左側（矢印方向）に回転（パン）した場合の表示例について説明する。図３４において、（ａ）は仮想会議の場合のワールド座標系における利用者Ｄ１の移動後の視線を示した図、（ｂ）は（ａ）の場合に通信装置１ｄが利用者Ｄ１に見せる画像の表示例である。

図３４（ａ）に示されているように、仮想空間（ワールド座標系）において、利用者Ｄ１の視線の向こうには、図３３（ａ）の場合よりも少し右側に移動したように見える利用者Ａ１、図３３（ａ）の場合よりも真正面から少し右側に移動したように見える利用者Ｂ１、及び図３３（ａ）の場合よりも左横から少し斜め左側に移動したように見える利用者Ｃ１が位置している。

そして、この仮想空間上の状態を物理空間上の利用者Ｄ１がディスプレイ１１８で見ると、図３４（ｂ）に示されているように、表示制御部３４ｄは、ディスプレイ１１８上に、図３３（ｂ）に比べて少し右に移動した背景画像としての全天球画像ＣＥ、並びに、図３３（ｂ）に比べて少しサイズ及び表示面が異なる各利用者Ａ１，Ｂ１，Ｃ１の画像を合成した合成画像を表示させる。

具体的には、利用者Ｄ１が全天球画像ＣＥを見た場合、全天球画像ＣＥは、図３３（ａ）の状態に対して、少し右側に移動した画像を見ることができるようにディスプレイ１１８上に表示されている。また、利用者Ｄ１が利用者Ａ１の画像を見た場合、利用者Ａ１の画像は、図３３（ａ）の状態に対して、少し右側に位置してサイズが少し大きくなった画像を見ることができるようなディスプレイ１１８上の所定領域に表示されている。利用者Ｄ１が利用者Ｂ１の画像を見た場合、利用者Ｂ１の画像は、図３３（ａ）の状態に対して、真正面から少し右側に移動して少しサイズが小さくなった画像を見ることができるようなディスプレイ１１８上の所定領域に表示されている。利用者Ｄ１が利用者Ｃ１の画像を見た場合、利用者Ｄ１の画像は、図３３（ａ）の状態に対して、左横から少し斜め左側に移動して少しサイズが大きくなった画像を見ることができるようなディスプレイ１１８上の所定領域に表示されている。

（会議の傍観者に見せる表示例）
図３６において、（ａ）は仮想会議の場合のワールド座標系における傍観者の視線を示した図、（ｂ）は（ａ）の場合にスマートフォンが表示する画像の表示例である。

図３６（ａ）に示されているように、仮想空間（ワールド座標系）において、傍観者（カメラ）Ｇ２の視線の向こうには、右斜め前の奥に利用者Ａ１、更に右寄りの右斜め前の手前側に利用者Ｂ１、左斜め前の奥に利用者Ｃ１、更に左寄りの左斜め前の手前側に利用者Ｄ１が位置している。なお、傍観者の場合、自分の姿の画像は各通信装置で表示されない。そのため、傍観者の場合、仮想空間上（ワールド座標系）の１つの位置に、複数の利用者が存在してもよい。

そして、この仮想空間上の状態は、図３６（ｂ）に示されているように、表示制御部９４によってディスプレイ９１８上に、背景画像としての全天球画像ＣＥ、並びにサイズ及び表示方向が異なる各利用者Ａ１，Ｂ１，Ｃ１，Ｄ１の画像を合成した合成画像で表示される。また、傍観者の場合、利用者Ａ１，Ｂ１，Ｃ１，Ｄ１のように、自分の姿は撮影されないため、図２８におけるステップＳ２０４～Ｓ２０７の処理は実行されない。即ち、傍観者Ｇ２は、スマートフォン９を上下左右に移動させても、又は自分の視点をスマートフォン９に対して上下左右に移動させても、表示制御部９４は、同じ状態の画像を表示させる。

具体的には、ディスプレイ９１８上には、利用者Ａ１の画像は、右斜め前の奥の所定領域に位置し、利用者Ｂ１よりもサイズが小さく、右肩側よりも左肩側の表示面積が大きい状態で表示されている。また、ディスプレイ９１８上には、利用者Ｂ１の画像は、利用者Ａ１よりも更に右寄りの右斜め前の手前側の所定領域に位置し、利用者Ａ１よりもサイズが大きく、右肩側よりも左肩側の表示面積が大きい状態で表示されている。更に、ディスプレイ９１８上には、利用者Ｃ１の画像は、左斜め前の奥の所定領域に位置し、利用者Ｄ１よりもサイズが小さく、左肩側よりも右肩側の表示面積が大きい状態で表示されている。また、ディスプレイ９１８上には、利用者Ｄ１の画像は、利用者Ｃ１よりも更に左寄りの左斜め前の手前側の所定領域に位置し、利用者Ｃ１よりもサイズが大きく、左肩側よりも右肩側の表示面積が大きい状態で表示されている。

なお、傍観者Ｇ２は、図１の利用者Ｇ１であってもよく、利用者Ｇ１ではない別の利用者であってもよい。また、傍観者の人数が複数の場合、同じ位置に複数の利用者が傍観者として仮想会議等の仮想イベントに参加した状態になる。

（面接の被面接者（利用者Ｄ１）に見せる表示例）
図３７において、（ａ）は仮想面接の場合のワールド座標系における利用者Ｄ１の視線を示した図、（ｂ）は（ａ）の場合に通信装置ｄ１が利用者Ｄ１に見せる画像の表示例である。

図３７（ａ）に示されているように、仮想空間（ワールド座標系）において、利用者Ｄ１の視線の向こうには、左斜め前に利用者Ａ１、真正面に利用者Ｂ１、右斜め前に利用者Ｃ１が位置している。なお、仮想空間上（ワールド座標系）の１つの位置に、原則として一人の利用者しか存在しない。

そして、この仮想空間上の状態を物理空間上の利用者Ｄ１がディスプレイ４で見ると、図３７（ｂ）に示されているように、表示制御部３４ｄは、ディスプレイ４上に、背景画像としての全天球画像ＣＥ、並びにサイズ及び表示方向が異なる各利用者Ａ１，Ｂ１，Ｃ１の画像を合成した合成画像を表示させる。

具体的には、利用者Ｄ１が利用者Ａ１の画像を見た場合、利用者Ａ１の画像は、左斜め前に位置し、利用者Ｂ１よりもサイズが少し小さい状態を見ることができるようなディスプレイ４上の所定領域に表示されている。また、利用者Ｄ１が利用者Ｂ１の画像を見た場合、利用者Ｂ１の画像は、真正面の利用者Ｂ１の状態を見ることができるようなディスプレイ４上の所定領域に表示されている。更に、利用者Ｄ１が利用者Ｃ１の画像を見た場合、利用者Ｃ１の画像は、右斜め前に位置し、利用者Ｂ１よりもサイズが少し小さい状態を見ることができるようなディスプレイ４上の所定領域に表示されている。

（面接の受講者（利用者Ａ１）に見せる表示例）
図３８において、（ａ）は仮想講義の場合のワールド座標系における利用者Ａ１の視線を示した図、（ｂ）は（ａ）の場合に通信装置１ａが利用者Ａ１に見せる画像の表示例である。

図３８（ｂ）に示されているように、左横近くに利用者Ｂ１、左横遠くに利用者Ｃ１、正面に利用者Ｄ１が表示されている。

（講義の受講者（利用者Ａ１）に見せる表示例）
図３９において、（ａ）は仮想講義の場合のワールド座業系における利用者Ａ１の視線を示した図、（ｂ）は（ａ）の場合に通信装置１ａが利用者Ａ１に見せる画像の表示例である。

図３９（ｂ）に示されているように、正面に利用者Ｂ１、右横近くに利用者Ｄ１、右横遠くに利用者Ｃ１が表示されている。

〔実施形態の主な効果〕
以上説明したように本実施形態によれば、通信管理サーバ６は、各通信装置１が送信した、複数の拠点にて撮影されることで得られた各拠点の被写体の輝度画像データ及び深度画像データを受信し（Ｓ８５等）、これらの輝度画像データ及び深度画像データに基づき、仮想空間上の各拠点における被写体の３次元物体を生成する（Ｓ１０１）。そして、通信管理サーバ６は、生成した各拠点における被写体の３次元物体の画像データを、各通信装置１に送信する（Ｓ１０４等）。これにより、複数の拠点の利用者が、拠点数やコミュニケーションの目的に応じた同室感を得ることが困難であるという課題をできるだけ解消することができるという効果を奏する。

また、例えば、通信装置１ｄは、仮想空間上の複数の通信装置間の位置関係（「配置関係」ともいう）が異なる複数の種類の情報（図２１参照）を表示し、仮想空間上の複数の通信装置間の位置関係が異なる複数の種類のうち、特定の種類（例えば、会議室）の選択を受け付ける。そして、通信装置１ｄは、他の通信装置が送信した画像データに基づく画像を、特定の種類に応じたディスプレイ４上の所定領域に表示する（例えば、図３３（ｂ）参照）。これにより、利用者は、コミュニケーションの目的に応じた仮想空間を選択し易くなるという効果を奏する。

〔補足〕
上記通信管理サーバ６は、単純に「サーバ」と呼んでも良い。通信管理サーバ６は、クラウドコンピューティング(Cloud Computing)の形態で提供されてもよい。クラウドコンピューティングとは、インターネットなどのコンピュータネットワークを経由して、コンピュータ資源をサービスの形で提供する利用形態を示し、提供されるコンピュータ資源がサーバである。提供するサービスの形態は、SaaS(Software as a Service)、PaaS(Platform as a Service)、HaaSまたはIaaS(Hardware / Infrastructure as a Service)等あるが、サービスの提供形態は、制限されない。

また、上記実施形態では、利用者が、図２１の選択ボタンｂ１～ｂ３の選択、及び図２２（ａ）～（ｃ）の各選択ボタンｂ１１～ｂ３３を選択することによって、仮想空間と役割が決定することになっているがこれに限るものではない。例えば、予め、通信管理サーバ６において、接続ＩＤ毎に仮想空間種類と役割を設定しておくことで、利用者Ａ１は、特段に、選択ボタンｂ１～ｂ３、及び選択ボタンｂ１１～ｂ３３を選択せずに、通信管理サーバ６が自動的に仮想空間種類及び役割を決定してもよい。

上記実施形態で説明した各ＣＰＵは、１つの装置に複数設けられていてもよい。

また、上記実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC(Application Specific Integrated Circuit)、DSP（digital signal processor）、FPGA（field programmable gate array）、SOC(System on a chip)、GPU（Graphics Processing Unit）や従来の回路モジュール等のデバイスを含むものとする。

更に、各通信装置１ａ～１ｄ、通信管理サーバ６、全天球撮影装置８、及びスマートフォン９の間の通信において、他のサーバやルータ等がデータを中継してもよい。

１ａ 通信装置
１ｂ 通信装置
１ｃ 通信装置
１ｄ 通信装置
４ ディスプレイ（表示手段の一例）
６ 通信管理サーバ
８ 全天球撮影装置
９ スマートフォン
６１ 送受信部（送信手段の一例、受信手段の一例）
６３ 画像・音処理部（生成手段の一例）
６５ 判断部（判断手段の一例）
６６ 作成部（作成手段の一例）
３４ｄ 表示制御部（表示制御手段の一例）
ｂ１ 選択ボタン（位置関係が異なる複数の種類の情報のうちの特定の種類の情報の一例）
ｂ２ 選択ボタン（位置関係が異なる複数の種類の情報のうちの特定の種類の情報の一例）
ｂ３ 選択ボタン（位置関係が異なる複数の種類の情報のうちの特定の種類の情報の一例）

Claims (7)

1. 複数の拠点の通信装置と、該通信装置間と通信可能な通信管理サーバとを備える通信システムであって、
   前記通信管理サーバは、
   前記複数の通信装置それぞれが送信した、前記複数の拠点にて撮影されることで得られた各拠点の被写体の輝度画像データ及び深度画像データを受信する受信手段と、
   前記各拠点の被写体の輝度画像データ及び深度画像データに基づき、仮想空間上の各拠点における被写体の３次元物体のデータを生成する生成手段と、
   前記仮想空間上の各拠点の視点に応じた前記生成手段で生成された前記各拠点における被写体の３次元物体のデータを、前記通信装置毎それぞれに送信する送信手段と、
   を備え、
   前記各通信装置は、
   前記通信管理サーバから送信された前記被写体の３次元物体の画像データに係る画像を表示手段に表示する表示制御手段を備える
   ことを特徴とする通信システム。
2. 前記生成手段は、前記仮想空間上の特定の拠点における３次元物体の位置と、当該特定の拠点以外の拠点における３次元物体の位置との位置関係に応じて、前記特定の拠点の通信装置に送信する特定の画像データを生成することを特徴とする請求項１に記載の通信システム。
3. 前記生成手段は、前記仮想空間上の特定の拠点における３次元物体の位置と、当該特定の拠点以外の拠点における３次元物体の位置との可変可能な位置関係に応じて、前記特定の拠点の通信装置に送信する特定の画像データを生成することを特徴とする請求項２に記載の通信システム。
4. 前記被写体の輝度画像データ及び深度画像データは、複数の撮影手段による撮影によって得られた複数の輝度画像データ及び深度画像データにより構成されていることを特徴とする請求項１乃至３のいずれか一項に記載の通信システム。
5. 複数の拠点の各通信装置間の通信を管理する通信管理サーバであって、
   前記各通信装置が送信した、前記複数の拠点にて撮影されることで得られた各拠点の被写体の輝度画像データ及び深度画像データを受信する受信手段と、
   前記各拠点の輝度画像データ及び深度画像データに基づき、仮想空間上の各拠点における被写体の３次元物体を生成する生成手段と、
   前記生成手段で生成された前記各拠点における被写体の３次元物体の画像データを、前記各通信装置が受信すべく送信する送信手段と、
   を有することを特徴とする通信管理サーバ。
6. 複数の拠点の各通信装置間の通信を管理する通信管理サーバが実行する通信管理方法であって、
   前記各通信装置が送信した、前記複数の拠点にて撮影されることで得られた各拠点の被写体の輝度画像データ及び深度画像データを受信する受信ステップと、
   前記各拠点の輝度画像データ及び深度画像データに基づき、仮想空間上の各拠点における被写体の３次元物体を生成する生成ステップと、
   前記生成ステップで生成された前記各拠点における被写体の３次元物体の画像データを、前記各通信装置が受信すべく送信する送信手段と、
   を有することを特徴とする通信管理方法。
7. コンピュータに、請求項６に記載の方法を実行させるプログラム。