JP2017098592A - コミュニケーション支援システム、サーバ装置及びプログラム - Google Patents

コミュニケーション支援システム、サーバ装置及びプログラム Download PDF

Info

Publication number
JP2017098592A
JP2017098592A JP2015225375A JP2015225375A JP2017098592A JP 2017098592 A JP2017098592 A JP 2017098592A JP 2015225375 A JP2015225375 A JP 2015225375A JP 2015225375 A JP2015225375 A JP 2015225375A JP 2017098592 A JP2017098592 A JP 2017098592A
Authority
JP
Japan
Prior art keywords
unit
avatar
site
headset
infrared
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2015225375A
Other languages
English (en)
Inventor
金岡 利知
Toshitomo Kaneoka
利知 金岡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2015225375A priority Critical patent/JP2017098592A/ja
Publication of JP2017098592A publication Critical patent/JP2017098592A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Telephonic Communication Services (AREA)

Abstract

【課題】遠隔地のユーザと、対面状態に近いコミュニケーションを図る支援システム、サーバ装置及びプログラムを提供する。
【解決手段】コミュニケーション支援システムは、ネットワークを介して互いに接続するための第1拠点のシステムと第2拠点のシステムとを含む。第1拠点のシステムは、第1拠点内における撮影を行う撮影装置と、第1拠点内の第1ユーザが装着する第1装着機と、撮影装置から第1装着機への第1方向を特定する第1特定部とを有する。第2拠点のシステムは、第1装着機に対応付けられている表示装置と、第2拠点内の第2ユーザが装着する第2装着機と、表示装置から第2装着機への第2方向を特定する第2特定部とを有する。撮影装置は、第1方向を撮影した画像を送信する。表示装置は、受信した画像を第2方向に表示する。
【選択図】図9

Description

本発明は、遠隔地とのコミュニケーションを支援する技術に関する。
テレビ会議システムでは、夫々の拠点システムが、参加者全員の姿を収めた動画と会場内の音声とを相手側の拠点システムに伝送し、モニターに映し出された動画とスピーカから出力される音声によって、互いのコミュニケーションを図る。
しかし、実際に顔をつき合わせて対話する場合に比べて、コミュニケーションのレベルが低いという問題がある。
特開2002−046088号公報 特表2001−524286号公報 特開2010−219989号公報
本発明の目的は、一側面では、遠隔地のユーザと、対面状態に近いコミュニケーションを図ることである。
一態様に係る本実施の形態に係るコミュニケーション支援システムは、ネットワークを介して互いに接続するための第1拠点のシステムと第2拠点のシステムとを含み、(A)第1拠点のシステムは、第1拠点内における撮影を行う撮影装置と、第1拠点内の第1ユーザが装着する第1装着機と、撮影装置から第1装着機への第1方向を特定する第1特定部とを有し、(B)第2拠点のシステムは、第1装着機に対応付けられている表示装置と、第2拠点内の第2ユーザが装着する第2装着機と、表示装置から第2装着機への第2方向を特定する第2特定部とを有し、(C)撮影装置は、第1方向を撮影した画像を送信し、(D)表示装置は、受信した画像を第2方向に表示する。
一側面としては、遠隔地のユーザと、対面状態に近いコミュニケーションを図ることができる。
図1は、ネットワーク構成例を示す図である。 図2は、ヘッドセット装置の概観を示す図である。 図3は、ヘッドセット装置のハードウエア構成例を示す図である。 図4は、アバター装置の概観を示す図である。 図5は、アバター装置の平面図である。 図6は、アバター装置のハードウエア構成例を示す図である。 図7は、撮影画像の構成を示す図である。 図8は、表示画像の構成を示す図である。 図9は、動作例を示す図である。 図10は、動作例を示す図である。 図11は、動作例を示す図である。 図12は、第1拠点における対面状態の例を示す図である。 図13は、第2拠点における対面状態の例を示す図である。 図14は、シーケンス例を示す図である。 図15は、シーケンス例を示す図である。 図16は、シーケンス例を示す図である。 図17は、シーケンス例を示す図である。 図18は、シーケンス例を示す図である。 図19は、シーケンス例を示す図である。 図20は、サーバのモジュール構成例を示す図である。 図21は、第1拠点のヘッドセットテーブルの例を示す図である。 図22は、第2拠点のヘッドセットテーブルの例を示す図である。 図23は、第1拠点のアバターテーブルの例を示す図である。 図24は、第2拠点のアバターテーブルの例を示す図である。 図25は、第1拠点の参加者テーブルの例を示す図である。 図26は、第2拠点の参加者テーブルの例を示す図である。 図27は、第1拠点の赤外線通信テーブルの例を示す図である。 図28は、第2拠点の赤外線通信テーブルの例を示す図である。 図29は、ヘッドセット装置のモジュール構成例を示す図である。 図30は、アバター装置のモジュール構成例を示す図である。 図31は、サーバによる監視処理(A)フローを示す図である。 図32は、ヘッドセット装置による赤外線信号出力処理(A)フローを示す図である。 図33Aは、アバター装置による赤外線信号入力処理(A)フローを示す図である。 図33Bは、アバター装置による赤外線信号入力処理(A)フローを示す図である。 図34は、対面データの例を示す図である。 図35は、サーバによる写影制御処理(A)フローを示す図である。 図36は、アバター装置による写影処理(A)フローを示す図である。 図37は、アバター装置による第1動画送信処理フローを示す図である。 図38は、サーバによる音声出力制御処理フローを示す図である。 図39は、アバター装置による音声出力処理フローを示す図である。 図40は、ヘッドセット装置による音声送信処理フローを示す図である。 図41は、実施の形態2における動作例を示す図である。 図42は、サーバによる写影制御処理(B)フロー例を示す図である。 図43は、第2拠点の赤外線通信テーブルの例を示す図である。 図44は、実施の形態3における動作例を示す図である。 図45は、アバター装置による写影処理(B)フローを示す図である。 図46は、実施の形態4における動作例を示す図である。 図47は、第1拠点における対面状態の例を示す図である。 図48は、第2拠点における対面状態の例を示す図である。 図49は、第1拠点の第1赤外線通信テーブルの例を示す図である。 図50は、第2拠点の第2赤外線通信テーブルの例を示す図である。 図51Aは、サーバによる監視処理(B)フローを示す図である。 図51Bは、サーバによる監視処理(B)フローを示す図である。 図52は、第2対面データの例を示す図である。 図53は、アバター装置による赤外線信号出力処理(B)フローを示す図である。 図54は、ヘッドセット装置による赤外線信号入力処理(B)フローを示す図である。 図55は、サーバによる所定表示制御処理フローを示す図である。 図56は、アバター装置による所定表示処理(A)フローを示す図である。 図57は、実施の形態5における動作例を示す図である。 図58は、アバター装置による所定表示処理(B)フローを示す図である。 図59は、コンピュータの機能ブロック図である。
[実施の形態1]
図1に、ネットワーク構成例を示す。遠く離れた2つの会議室をネットワークで結んで、会議を行うことを想定する。一方の会議室に相当する第1拠点には、第1LAN(Local Area Network)が設置されている。他方の会議室に相当する第2拠点には、第2LANが設置されている。そして、第1LANと第2LANとは、WAN(Wide Area Network)を介して接続されている。この例で、第1拠点の会議室には3人参加し、第2拠点の会議室には2人参加するものとする。
第1LANには、第1拠点における各参加者が装着するヘッドセット装置101a乃至ヘッドセット装置101cが無線媒体によって接続される。また、第1LANには、第2拠点における各参加者の代役として情報伝達を担うアバター装置103d及びアバター装置103eが無線媒体によって接続される。第1LANには、ヘッドセット装置101a乃至ヘッドセット装置101c、アバター装置103d及びアバター装置103eを制御するサーバ105aも接続されている。第1LAN及び第1LANに接続する装置を含むシステムを、第1拠点システムという。
第2LANには、第2拠点における各参加者が装着するヘッドセット装置101d及びヘッドセット装置101eが無線媒体によって接続される。また、第2LANには、第1拠点における各参加者の代役として情報伝達を担うアバター装置103a乃至アバター装置103cが無線媒体によって接続される。第2LANには、ヘッドセット装置101d、ヘッドセット装置101e及びアバター装置103a乃至アバター装置103cを制御するサーバ105bも接続されている。第2LAN及び第2LANに接続する装置を含むシステムを、第2拠点システムという。
図2に、ヘッドセット装置101の概観を示す。参加者がヘッドセット装置101を装着した状態で、マイク201、赤外線発光デバイス203及び赤外線受光デバイス205を有するユニットが口元に保持される。マイク201は、ユニットの内向きに設置されており、参加者の音声を入力する。赤外線発光デバイス203は、ユニットの外向きに設置され、正面方向へ赤外線光を放つ。赤外線受光デバイス205は、ユニットの外向きに設置され、正面方向から赤外線光を受ける。
図3に、ヘッドセット装置101のハードウエア構成例を示す。ヘッドセット装置101は、マイク201、赤外線発光デバイス203及び赤外線受光デバイス205の他に、CPU(Central Processing Unit)301、メモリ303、無線通信部305、マイク制御回路307、赤外線発光制御回路309及び赤外線受光制御回路311を有している。CPU301は、メモリ303に記憶されているプログラムを実行する。CPU301とメモリ303とに代えて、プロセッサとメモリとを有するマイクロコンピュータを用いるようにしてもよい。
CPU301には、無線通信部305、マイク制御回路307、赤外線発光制御回路309乃至赤外線受光制御回路311が接続されている。無線通信部305は、無線LAN通信を行う。マイク制御回路307は、マイク201を制御する。赤外線発光制御回路309は、赤外線発光デバイス203を制御する。赤外線受光制御回路311は、赤外線受光デバイス205を制御する。
尚、実施の形態1においては、赤外線受光デバイス205及び赤外線受光制御回路311を省いてもよい。
図4に、アバター装置103の概観を示す。アバター装置103は、カメラ401、LCD(Liquid Crystal Display)403、8個のスピーカ405、8個の赤外線受光デバイス407及び8個の赤外線発光デバイス409を有している。
図5に、アバター装置103の平面図を示す。アバター装置103は、水平の8方向に対して他の装置があることを想定している。具体的には、第1方向を基準として、時計周りに順次45度おきに、第2方向乃至第8方向が定められている。
カメラ401は、周囲360度のうち指定された範囲の撮影を行う。当該範囲については、図7を用いて後述する。
LCD403は、筒状に湾曲している。または、8面のLCDパネルを柱状に連結している。そして、周囲360度のうち指定された範囲に画像を表示する。
8個のスピーカ405は、8方向に向けて設置されている。スピーカ405aは、第1方向に向けて設置されている。スピーカ405bは、第2方向に向けて設置されている。スピーカ405cは、第3方向に向けて設置されている。スピーカ405dは、第4方向に向けて設置されている。スピーカ405eは、第5方向に向けて設置されている。スピーカ405fは、第6方向に向けて設置されている。スピーカ405gは、第7方向に向けて設置されている。スピーカ405hは、第8方向に向けて設置されている。
8個の赤外線受光デバイス407は、8方向に向けて設置されている。赤外線受光デバイス407aは、第1方向に向けて設置されている。赤外線受光デバイス407bは、第2方向に向けて設置されている。赤外線受光デバイス407cは、第3方向に向けて設置されている。赤外線受光デバイス407dは、第4方向に向けて設置されている。赤外線受光デバイス407eは、第5方向に向けて設置されている。赤外線受光デバイス407fは、第6方向に向けて設置されている。赤外線受光デバイス407gは、第7方向に向けて設置されている。赤外線受光デバイス407hは、第8方向に向けて設置されている。
8個の赤外線発光デバイス409は、8方向に向けて設置されている。赤外線発光デバイス409aは、第1方向に向けて設置されている。赤外線発光デバイス409bは、第2方向に向けて設置されている。赤外線発光デバイス409cは、第3方向に向けて設置されている。赤外線発光デバイス409dは、第4方向に向けて設置されている。赤外線発光デバイス409eは、第5方向に向けて設置されている。赤外線発光デバイス409fは、第6方向に向けて設置されている。赤外線発光デバイス409gは、第7方向に向けて設置されている。赤外線発光デバイス409hは、第8方向に向けて設置されている。
図6に、アバター装置103のハードウエア構成例を示す。アバター装置103は、カメラ401、LCD403、スピーカ405a乃至h、赤外線受光デバイス407a乃至h及び赤外線発光デバイス409a乃至hの他に、CPU601、メモリ603、無線通信部605、カメラ制御回路607、LCD制御回路609、スピーカ制御回路611a乃至h、赤外線受光制御回路613a乃至h及び赤外線発光制御回路615a乃至hを有している。
CPU601は、メモリ603に記憶されているプログラムを実行する。CPU601とメモリ603とに代えて、プロセッサとメモリとを有するマイクロコンピュータを用いるようにしてもよい。CPU601には、無線通信部605、カメラ制御回路607、LCD制御回路609、スピーカ制御回路611a乃至h、赤外線受光制御回路613a乃至h及び赤外線発光制御回路615a乃至hが接続されている。無線通信部605は、無線LAN通信を行う。カメラ制御回路607は、カメラ401を制御する。LCD制御回路609は、LCD403を制御する。スピーカ制御回路611a乃至hは、夫々スピーカ405a乃至hを制御する。赤外線受光制御回路613a乃至hは、夫々赤外線受光デバイス407a乃至hを制御する。赤外線発光制御回路615a乃至hは、夫々赤外線発光デバイス409a乃至hを制御する。
撮影画像について説明する。図7は、全方位において撮影したパノラマ画像を示している。このうち、一部を切り出して、一方向を撮影した画像として用いる。部分画像701aは、第1方向を撮影した画像に相当する。部分画像701bは、第2方向を撮影した画像に相当する。部分画像701cは、第3方向を撮影した画像に相当する。部分画像701dは、第4方向を撮影した画像に相当する。部分画像701eは、第5方向を撮影した画像に相当する。部分画像701fは、第6方向を撮影した画像に相当する。部分画像701gは、第7方向を撮影した画像に相当する。部分画像701hは、第8方向を撮影した画像に相当する。
表示画像について説明する。図8は、LCD全体の表示画面を示している。このうち、一部を用いて、一方向への画像を表示する。部分画面801aは、第1方向への画像を表示する領域に相当する。部分画面801bは、第2方向への画像を表示する領域に相当する。部分画面801cは、第3方向への画像を表示する領域に相当する。部分画面801dは、第4方向への画像を表示する領域に相当する。部分画面801eは、第5方向への画像を表示する領域に相当する。部分画面801fは、第6方向への画像を表示する領域に相当する。部分画面801gは、第7方向への画像を表示する領域に相当する。部分画面801hは、第8方向への画像を表示する領域に相当する。尚、曲率を考慮して、横方向へ拡大した画像を表示するようにしてもよい。
図9に、動作例を示す。第1拠点において、ヘッドセット装置101cを装着した参加者が、アバター装置103dの方を向いている。アバター装置103dは、ヘッドセット装置101cから出力された赤外線信号を入力したことを、サーバ105aに伝える。サーバ105aは、ヘッドセット装置101cがアバター装置103dの方を向いていることをサーバ105bに伝える。
一方、第2拠点において、ヘッドセット装置101dを装着した参加者が、アバター装置103cの方を向いている。アバター装置103cは、ヘッドセット装置101dから出力された赤外線信号を入力したことを、サーバ105bに伝える。サーバ105bは、ヘッドセット装置101dがアバター装置103cの方を向いていることをサーバ105aに伝える。
この例で、アバター装置103dは、第1拠点におけるヘッドセット装置101dの参加者の代役であり、アバター装置103cは、第2拠点におけるヘッドセット装置101cの参加者の代役である。従って、ヘッドセット装置101cの参加者とヘッドセット装置101dの参加者とが、擬似的に向き合っている状態に相当する。
この場合、サーバ105bは、アバター装置103cに対して、アバター装置103dからヘッドセット装置101cの参加者を撮影した動画データを取得してヘッドセット装置101dの参加者が居る方向に表示するように指示する。その指示に従って、アバター装置103cは、矢印901に示すようにアバター装置103dから送られる動画を表示する。
このとき、ヘッドセット装置101cの参加者の発言は、矢印903に示すようにヘッドセット装置101cからアバター装置103cへ音声データとして送られ、アバター装置103cは、ヘッドセット装置101dの参加者が居る方向に音声を出す。
サーバ105aは、アバター装置103dに対して、アバター装置103cからヘッドセット装置101dの参加者を撮影した動画データを取得してヘッドセット装置101cの参加者が居る方向に表示するように指示する。その指示に従って、アバター装置103dは、矢印905に示すようにアバター装置103cから送られる動画を表示する。
このとき、ヘッドセット装置101dの参加者の発言は、矢印907に示すようにヘッドセット装置101dからアバター装置103dへ音声データとして送られ、アバター装置103dは、ヘッドセット装置101cの参加者が居る方向に音声を出す。
このようにすれば、ヘッドセット装置101cの参加者とヘッドセット装置101dの参加者とが向き合って会話している状態を、擬似的に作り出すことができる。
図10に、別の動作例を示す。図9の場合と同様に、第1拠点において、ヘッドセット装置101cを装着した参加者が、アバター装置103dの方を向いている。アバター装置103dは、ヘッドセット装置101cから出力された赤外線信号を入力したことを、サーバ105aに伝える。サーバ105aは、ヘッドセット装置101cがアバター装置103dの方を向いていることをサーバ105bに伝える。
一方、第2拠点において、ヘッドセット装置101dを装着した参加者が、いずれの参加者又はアバター装置103の方も向いていない。また、アバター装置103cは、いずれの装置からも赤外線信号を入力していない。つまり、ヘッドセット装置101cの参加者は、擬似的にヘッドセット装置101dの参加者の方を向いているが、ヘッドセット装置101dの参加者は、ヘッドセット装置101cの参加者の方を向いていない状態に相当する。
第1の実施の形態では、このような場合に、アバター装置103dは、アバター装置103cへ動画データを送らない。また、アバター装置103cも、アバター装置103dへ動画データを送らない。
但し、ヘッドセット装置101cの参加者の発言は、矢印1001に示すようにヘッドセット装置101cからアバター装置103cへ音声データとして送られ、アバター装置103cは全方向に音声を出す。同様に、ヘッドセット装置101dの参加者の発言は、矢印1003に示すようにヘッドセット装置101dからアバター装置103dへ音声データとして送られ、アバター装置103dは全方向に音声を出す。
このようにすれば、ヘッドセット装置101cの参加者とヘッドセット装置101dの参加者との対話ではなく、両者の発言が全体への語りかけとして、相手側の拠点に伝達される。
図11に、別の動作例を示す。図10の場合と同様に、第2拠点において、ヘッドセット装置101dを装着した参加者が、いずれの参加者又はアバター装置103の方も向いていない。また、アバター装置103cは、いずれの装置からも赤外線信号を入力していない。
第1拠点においても、ヘッドセット装置101cを装着した参加者が、いずれの参加者又はアバター装置103の方も向いていない。また、アバター装置103dは、いずれの装置からも赤外線信号を入力していない。
この場合も、動画データは送られない。但し、図10の場合と同様に、ヘッドセット装置101cの参加者の発言は、矢印1101に示すようにヘッドセット装置101cからアバター装置103cへ音声データとして送られ、アバター装置103cは全方向に音声を出す。また、ヘッドセット装置101dの参加者の発言は、矢印1103に示すようにヘッドセット装置101dからアバター装置103dへ音声データとして送られ、アバター装置103dは全方向に音声を出す。
この場合も、ヘッドセット装置101cの参加者とヘッドセット装置101dの参加者との発言が、全体への語りかけとして、相手側の拠点に伝達される。
図9乃至図11では、2者間の対面関係に着目して説明したが、実際には参加者同士の組み合わせはもっと多い。図12に、第1拠点における対面状態の例を示す。この例で、ヘッドセット装置101aを装着した参加者は、ヘッドセット装置101bを装着した参加者の方を向いているので、アバター装置103d及びアバター装置103eは、ヘッドセット装置101aから出力される赤外線信号を入力しない。また、ヘッドセット装置101bを装着した参加者は、ヘッドセット装置101aを装着した参加者の方を向いているので、アバター装置103d及びアバター装置103eは、ヘッドセット装置101bから出力される赤外線信号を入力しない。
つまり、ヘッドセット装置101aの参加者及びヘッドセット装置101bの参加者は、相手拠点の参加者の方を向く振る舞いをしていないことを意味する。尚、図中でアバター装置103の近くに示した小さな矢印は、当該アバター装置103における第1方向を示している。破線は、赤外線信号の送受信関係を示している。
図13に、第2拠点における対面状態の例を示す。この例で、ヘッドセット装置101eを装着した参加者は、いずれの装置の方にも向いていない。従って、アバター装置103a乃至アバター装置103cは、ヘッドセット装置101eから出力される赤外線信号を入力しない。つまり、ヘッドセット装置101eの参加者は、いずれの参加者の方を向く振る舞いもしていないことを意味する。
図14乃至図19を用いて、本実施の形態におけるシーケンス例について説明する。図14は、赤外線信号の出力に関するシーケンス例を示す。本実施の形態では、複数の装置から同時に赤外線信号を出力しないように制御する。このようにすれば、時期的に赤外線信号を出力する側の装置を特定することができる。
第1拠点の例を示す。赤外線信号を出力するタイミングは、サーバ105aによって制御される。サーバ105aは、順次ヘッドセット装置101に赤外線信号を出力するように指示する。そしてこの動作を繰り返す。
具体的には、サーバ105aは、まずヘッドセット装置101aへ赤外線出力指示を送る(S1401)。ヘッドセット装置101aは、赤外線出力指示を受けると、一定時間赤外線信号を出力する(S1403)。
ヘッドセット装置101aによる赤外線信号の出力を終えた後に、サーバ105aは、ヘッドセット装置101bへ赤外線出力指示を送る(S1405)。ヘッドセット装置101bは、赤外線出力指示を受けると、一定時間赤外線信号を出力する(S1407)。
ヘッドセット装置101bによる赤外線信号の出力を終えた後に、サーバ105aは、ヘッドセット装置101cへ赤外線出力指示を送る(S1409)。ヘッドセット装置101cは、赤外線出力指示を受けると、一定時間赤外線信号を出力する(S1411)。そして、S1413乃至S1419に示すように、上述した手順を繰り返す。
図15に、アバター装置103において赤外線信号を入力した場合のシーケンス例を示す。この場合は、赤外線信号を出力するヘッドセット装置101と、当該赤外線信号を入力するアバター装置103とが対面していることを意味する。
この例は、図12に示した状態を前提とする。ヘッドセット装置101aの赤外線出力指示及びヘッドセット装置101bの赤外線出力指示に関しては、省略する。
上述したように、サーバ105aが、ヘッドセット装置101cへ赤外線出力指示を送ると(S1501)、ヘッドセット装置101cは、一定時間赤外線信号を出力する(S1503)。
この例で、アバター装置103dは、この赤外線信号を入力する(S1505)。赤外線信号を入力したアバター装置103dは、赤外線信号を入力した旨を意味する入力通知をサーバ105aへ送る(S1507)。
サーバ105aは、入力通知を受けると、S1501において赤外線出力指示を送った先のヘッドセット装置101cと、入力通知の送信元であるアバター装置103dとを、対面する組として特定する(S1509)。
そして、ヘッドセット装置101a乃至ヘッドセット装置101cに対する指示とそれに伴う通知の受け付けを一巡すると、対面する組を含む対面データをサーバ105bへ送信する(S1511)。このようにして、相手側拠点へ自拠点において対面する組を知らせる。
図16に、相手側拠点から対面する組を知らされた場合のシーケンス例を示す。この例は、図13に示した状態を前提とする。サーバ105bは、対面する組を含む対面データを受信すると、対面する組に基づいて、自拠点において動画を写影するアバター装置103cを特定する(S1601)。更に、サーバ105bは、動画を表示する方向(この例では、第6方向)も特定する(S1603)。
そして、サーバ105bは、特定したアバター装置103cに対して表示方向を含む写影指示を送る(S1605)。写影指示には、アバター装置103dのIPアドレス及びポート番号も含まれている。ポート番号は、アバター装置103dにおける撮影方向に対応する。
アバター装置103cは、写影指示に従って、動画の写影を開始する(S1607)。このとき、アバター装置103cは、アバター装置103dへ動画リクエストを送信して(S1609)、アバター装置103dからの動画データの伝送が開始される(S1611)。
アバター装置103cは、動画表示を行うと共に、音声出力を表示方向へ切り替える(S1613)。尚、動画データの伝送が継続している間も、写影指示は繰り返し送出される。
図17に、アバター装置103において赤外線信号を入力しなくなった場合のシーケンス例を示す。この例は、アバター装置103cを装着した参加者が余所見をした場合を想定する。
この場合、サーバ105aが、ヘッドセット装置101cへ赤外線出力指示を送り(S1701)、ヘッドセット装置101cが、一定時間赤外線信号を出力しても(S1703)、いずれのアバター装置103も赤外線信号を入力しない。
従って、サーバ105aは、対面する組を特定しない(S1705)。ヘッドセット装置101a乃至ヘッドセット装置101cに対する指示とそれに伴う通知の受け付けを一巡しても、対面する組が無かった場合には、対面する組を含まない対面データ、つまり対面する組が無いことを示す対面データが、サーバ105bに送信される(S1707)。
図18に、動画の写影を終了する場合のシーケンス例を示す。図16で説明したように、動画データが伝送されているものとする(S1611)。この状態で、図17で説明したように、サーバ105bが、対面する組を含まない対面データを受信すると(S1707)、サーバ105bは、写影指示を送らない。
写影指示が途絶えると、アバター装置103cは、動画の写影を終了する(S1801)。このとき、アバター装置103dへ停止リクエストを送信する(S1803)。その後、アバター装置103dは、動画データを送信しなくなる。
アバター装置103cは、動画表示を止めるとともに、音声出力を全方向へ切り替える(S1805)。以上で、動画に関するシーケンスについての説明を終える。
続いて、音声に関するシーケンスについて説明する。上述したように、動画データの伝送元と伝送先の関係は、各拠点における対面状況に応じて変化する。一方、音声データの伝送元と伝送先の関係は、一定である。従って、当初音声データを伝送し始めた以降、音声データの伝送は中断されない。
図19に、会議当初のシーケンス例を示す。サーバ105a及びサーバ105bは、まず複数のテーブルを共有する(S1901、S1903)。具体的には、第1拠点のヘッドセットテーブル、第1拠点のアバターテーブル、第1拠点の参加者テーブル、第2拠点のヘッドセットテーブル、第2拠点のアバターテーブル及び第2拠点の参加者テーブルを共有する。各テーブルの詳細については、後述する。尚、音声データの伝送元であるヘッドセット装置101と、音声データの伝送先であるアバター装置103との関係は、伝送元側に相当する拠点の参加者テーブルに設定されている。
サーバ105bは、第1拠点の参加者テーブルに基づいて、アバター装置103cへヘッドセット装置101cから音声データを得て出力する指示(音声出力指示)を送る(S1905)。
アバター装置103cは、音声出力指示に従って音声出力を開始する(S1907)。このとき、アバター装置103cは、ヘッドセット装置101cへ音声リクエストを送信して(S1909)、ヘッドセット装置101cからの音声データの伝送が開始される(S1911)。
ここでは、ヘッドセット装置101cからアバター装置103cへの音声データの伝送の例を示したが、ヘッドセット装置101aからアバター装置103aへの音声データの伝送及びヘッドセット装置101bからアバター装置103bへの音声データの伝送も、同様の手順で行われる。
一方、サーバ105aは、第2拠点の参加者テーブルに基づいて、アバター装置103dへヘッドセット装置101dから音声データを得て出力する指示(音声出力指示)を送る(S1913)。
アバター装置103dは、音声出力指示に従って音声出力を開始する(S1915)。このとき、アバター装置103dは、ヘッドセット装置101dへ音声リクエストを送信して(S1917)、ヘッドセット装置101dからの音声データの伝送が開始される(S1919)。
ここでは、ヘッドセット装置101dからアバター装置103dへの音声データの伝送の例を示したが、ヘッドセット装置101eからアバター装置103eへの音声データの伝送も、同様の手順で行われる。
図20に、サーバ105のモジュール構成例を示す。サーバ105は、設定部2001、交換部2003、第1指示部2005、第3受付部2007、特定部2009、生成部2011、データ送信部2013、データ受信部2015、判定部2017、第2指示部2019、第3指示部2021、ヘッドセットテーブル記憶部2031、アバターテーブル記憶部2033、参加者テーブル記憶部2035及び赤外線通信テーブル記憶部2307を有する。
設定部2001は、各種のテーブルにパラメータを設定する。交換部2003は、サーバ105同士で各種のテーブルを交換する。第1指示部2005は、赤外線信号の出力を指示する。第3受付部2007は、入力通知を受け付ける。特定部2009は、赤外線信号を入力した装置及び入力方向を特定する。生成部2011は、対面データを生成する。データ送信部2013は、対面データを送信する。データ受信部2015は、対面データを受信する。判定部2017は、装置同士が対面しているか否かを判定する。第2指示部2019は、動画の写影を指示する。第3指示部2021は、音声の出力を指示する。
ヘッドセットテーブル記憶部2031は、両拠点のヘッドセットテーブルを記憶する。アバターテーブル記憶部2033は、両拠点のアバターテーブルを記憶する。参加者テーブル記憶部2035は、両拠点の参加者テーブルを記憶する。赤外線通信テーブル記憶部2307は、自拠点の赤外線通信テーブルを記憶する。
上述した設定部2001、交換部2003、第1指示部2005、第3受付部2007、特定部2009、生成部2011、データ送信部2013、データ受信部2015、判定部2017、第2指示部2019及び第3指示部2021は、ハードウエア資源(例えば、図59)と、以下で述べる処理をプロセッサに実行させるプログラムとを用いて実現される。
上述したヘッドセットテーブル記憶部2031、アバターテーブル記憶部2033、参加者テーブル記憶部2035及び赤外線通信テーブル記憶部2307は、ハードウエア資源(例えば、図59)を用いて実現される。
図21に、第1拠点のヘッドセットテーブルの例を示す。ヘッドセットテーブルは、拠点毎に設けられる。この例におけるヘッドセットテーブルは、当該拠点のヘッドセット装置101に対応するレコード(以下、ヘッドセットレコードという。)を有している。ヘッドセットレコードは、ヘッドセット装置IDを設定するためのフィールドと、IPアドレスを設定するためのフィールドと、ポート番号を設定するためのフィールドとを有している。
ヘッドセット装置IDは、ヘッドセット装置101を識別する。IPアドレスは、当該ヘッドセット装置101のIPアドレスである。ポート番号は、当該ヘッドセット装置101において音声リクエストを受け付けるポートの番号である。
図示した1番目のヘッドセットレコードは、第1拠点における「H1」のヘッドセット装置101にはIPアドレス「IP1_1」が割り当てられており、ポート番号「PH」において音声リクエストを受け付けることを示している。同じく2番目のヘッドセットレコードは、第1拠点における「H2」のヘッドセット装置101にはIPアドレス「IP1_2」が割り当てられており、ポート番号「PH」において音声リクエストを受け付けることを示している。同じく3番目のヘッドセットレコードは、第1拠点における「H3」のヘッドセット装置101にはIPアドレス「IP1_3」が割り当てられており、ポート番号「PH」において音声リクエストを受け付けることを示している。
所定のポート番号が予め決まっている場合には、ポート番号を設定するためのフィールドを省略してもよい。また、ヘッドセット装置101毎に異なるポート番号を用いるようにしてもよい。
図22に、第2拠点のヘッドセットテーブルの例を示す。図示した1番目のヘッドセットレコードは、第2拠点における「H4」のヘッドセット装置101にはIPアドレス「IP2_4」が割り当てられており、ポート番号「PH」において音声リクエストを受け付けることを示している。同じく2番目のヘッドセットレコードは、第2拠点における「H5」のヘッドセット装置101にはIPアドレス「IP2_5」が割り当てられており、ポート番号「PH」において音声リクエストを受け付けることを示している。
図23に、第1拠点のアバターテーブルの例を示す。アバターテーブルは、拠点毎に設けられる。この例におけるアバターテーブルは、アバター装置103に対応するレコード(以下、アバターレコードという。)を有している。アバターレコードは、アバター装置IDを設定するためのフィールドと、IPアドレスを設定するためのフィールドと、第1ポート番号乃至第8ポート番号の各々を設定するためのフィールドとを有している。
アバター装置IDは、アバター装置103を識別する。IPアドレスは、当該アバター装置103のIPアドレスである。第1ポート番号乃至第8ポート番号は、夫々当該アバター装置103の第1方向乃至第8方向で撮影した動画に関する動画リクエストを受け付けるポートの番号である。
図示した1番目のアバターレコードは、第1拠点における「A4」のアバター装置103にはIPアドレス「IP1_4」が割り当てられており、ポート番号「PA1」乃至「PA8」において夫々第1方向乃至第8方向で撮影した動画に関する動画リクエストを受け付けることを示している。同じく2番目のアバターレコードは、第1拠点における「A5」のアバター装置103にはIPアドレス「IP1_5」が割り当てられており、ポート番号「PA1」乃至「PA8」において夫々第1方向乃至第8方向で撮影した動画に関する動画リクエストを受け付けることを示している。
方向毎に所定のポート番号が予め決まっている場合には、ポート番号を設定するためのフィールドを省略してもよい。また、アバター装置103毎に異なるポート番号を用いるようにしてもよい。
図24に、第2拠点のアバターテーブルの例を示す。図示した1番目のアバターレコードは、第2拠点における「A1」のアバター装置103にはIPアドレス「IP2_1」が割り当てられており、ポート番号「PA1」乃至「PA8」において夫々第1方向乃至第8方向で撮影した動画に関する動画リクエストを受け付けることを示している。同じく2番目のアバターレコードは、第2拠点における「A2」のアバター装置103にはIPアドレス「IP2_2」が割り当てられており、ポート番号「PA1」乃至「PA8」において夫々第1方向乃至第8方向で撮影した動画に関する動画リクエストを受け付けることを示している。同じく3番目のアバターレコードは、第2拠点における「A3」のアバター装置103にはIPアドレス「IP2_3」が割り当てられており、ポート番号「PA1」乃至「PA8」において夫々第1方向乃至第8方向で撮影した動画に関する動画リクエストを受け付けることを示している。
図25に、第1拠点の参加者テーブルの例を示す。参加者テーブルは、拠点毎に設けられる。この例における参加者テーブルは、当該拠点における参加者に対応するレコード(以下、参加者レコードという。)を有している。参加者レコードは、自拠点の参加者IDを設定するためのフィールドと、自拠点のヘッドセット装置IDを設定するためのフィールドと、相手拠点のアバター装置IDを設定するためのフィールドとを有している。
参加者IDは、当該拠点における参加者を識別する。ヘッドセット装置IDは、当該参加者が装着するヘッドセット装置101を特定する。アバター装置IDは、相手拠点において当該参加者の代役として情報伝達を担うアバター装置103を特定する。
図示した1番目の参加者レコードは、第1拠点における「U1」の参加者が「H1」のヘッドセット装置101を装着し、第2拠点において、「A1」のアバター装置103が「U1」の参加者の代役として情報伝達を担うことを示している。同じく2番目の参加者レコードは、第1拠点における「U2」の参加者が「H2」のヘッドセット装置101を装着し、第2拠点において、「A2」のアバター装置103が「U2」の参加者の代役として情報伝達を担うことを示している。同じく3番目の参加者レコードは、第1拠点における「U3」の参加者が「H3」のヘッドセット装置101を装着し、第2拠点において、「A3」のアバター装置103が「U3」の参加者の代役として情報伝達を担うことを示している。
図26に、第2拠点の参加者テーブルの例を示す。図示した1番目の参加者レコードは、第2拠点における「U4」の参加者が「H4」のヘッドセット装置101を装着し、第1拠点において、「A4」のアバター装置103が「U4」の参加者の代役として情報伝達を担うことを示している。同じく2番目の参加者レコードは、第2拠点における「U5」の参加者が「H5」のヘッドセット装置101を装着し、第1拠点において、「A5」のアバター装置103が「U5」の参加者の代役として情報伝達を担うことを示している。
図27に、第1拠点の赤外線通信テーブルの例を示す。赤外線通信テーブルは、各拠点において赤外線通信の状態を把握する度に、別個に生成される。この例における赤外線通信テーブルは、当該拠点のヘッドセット装置IDに対応するレコード(以下、赤外線通信レコードという。)を有している。赤外線通信レコードは、ヘッドセット装置IDを設定するためのフィールドと、アバター装置IDを設定するためのフィールドと、方向を設定するためのフィールドとを有している。
ヘッドセット装置IDは、赤外線信号を出力するヘッドセット装置101を特定する。アバター装置IDは、当該ヘッドセット装置101から出力された赤外線信号を入力したアバター装置103を特定する。方向は、アバター装置103が赤外線信号を入力した方向である。尚、ヘッドセット装置IDは、予め設定されているものとする。アバター装置ID及び方向は、後述する監視処理によって設定される。
図示した1番目の赤外線通信レコードは、「H1」のヘッドセット装置101から出力された赤外線信号を、いずれのアバター装置103も入力しなかったことを示している。同じく2番目の赤外線通信レコードは、「H2」のヘッドセット装置101から出力された赤外線信号を、いずれのアバター装置103も入力しなかったことを示している。3番目の赤外線通信レコードは、「H3」のヘッドセット装置101から出力された赤外線信号を、「A4」のアバター装置103が第1方向から入力したことを示している。
図28に、第2拠点の赤外線通信テーブルの例を示す。図示した1番目の赤外線通信レコードは、「H4」のヘッドセット装置101から出力された赤外線信号を、「A3」のアバター装置103が第6方向から入力したことを示している。2番目の赤外線通信レコードは、「H5」のヘッドセット装置101から出力された赤外線信号を、いずれのアバター装置103も入力しなかったことを示している。
図29に、ヘッドセット装置101のモジュール構成例を示す。ヘッドセット装置101は、第1受付部2901、第1赤外線出力部2903、第1リクエスト受信部2905、音声送信部2907、第1赤外線入力部2909及び第1通知部2911を有する。
第1受付部2901は、赤外線出力指示を受け付ける。第1赤外線出力部2903は、赤外線信号を出力する。第1リクエスト受信部2905は、各種のリクエストを受信する。音声送信部2907は、音声データを送信する。第1赤外線入力部2909は、赤外線信号を入力する。第1通知部2911は、入力通知をサーバ105へ送る。
上述した第1受付部2901、第1赤外線出力部2903、第1リクエスト受信部2905、音声送信部2907、第1赤外線入力部2909及び第1通知部2911は、ハードウエア資源(例えば、図3)と、以下で述べる処理をプロセッサに実行させるプログラムとを用いて実現される。
図30に、アバター装置103のモジュール構成例を示す。アバター装置103は、第2赤外線入力部3001、第2通知部3003、第2受付部3005、第2リクエスト送信部3007、動画受信部3009、再生部3011、表示処理部3013、音声出力部3015、判定部3017、第2リクエスト受信部3019、撮影部3021、圧縮部3023、動画送信部3025、音声受信部3027及び第2赤外線出力部3029を有する。
第2赤外線入力部3001は、赤外線信号を入力する。第2通知部3003は、入力通知をサーバ105へ送る。第2受付部3005は、各種の指示を受け付ける。第2リクエスト送信部3007は、各種のリクエストを送信する。動画受信部3009は、動画データを受信する。再生部3011は、動画を再生する。表示処理部3013は、動画や静止画などの画像を表示する。音声出力部3015は、音声を出力する。判定部3017は、各種の指示に関する判定を行う。第2リクエスト受信部3019は、各種のリクエストを受信する。撮影部3021は、動画撮影を行う。圧縮部3023は、動画を圧縮する。動画送信部3025は、動画データを送信する。音声受信部3027は、音声データを受信する。第2赤外線出力部3029は、赤外線信号を出力する。
上述した第2赤外線入力部3001、第2通知部3003、第2受付部3005、第2リクエスト送信部3007、動画受信部3009、再生部3011、表示処理部3013、音声出力部3015、判定部3017、第2リクエスト受信部3019、撮影部3021、圧縮部3023、動画送信部3025、音声受信部3027及び第2赤外線出力部3029は、ハードウエア資源(例えば、図6)と、以下で述べる処理をプロセッサに実行させるプログラムとを用いて実現される。
まず、動画を送り出す側の拠点における処理について説明する。図31に、サーバ105による監視処理(A)フローを示す。第1指示部2005は、赤外線通信を行わせるタイミングを待つ(S3101)。例えば、第1指示部2005は、所定の間隔でタイミングに至ったと判断する。
第1指示部2005は、新たな赤外線通信テーブルを設けて、赤外線通信レコードを1つ特定する(S3103)。例えば、第1指示部2005は、先頭から順次赤外線通信レコードを特定する。第1指示部2005は、特定した赤外線通信レコードに設定されているヘッドセット装置IDを読む(S3105)。第1指示部2005は、当該IDで特定されるヘッドセット装置101へ赤外線出力指示を送る(S3107)。
赤外線出力指示を受けたヘッドセット装置101における処理の説明に移る。図32に、ヘッドセット装置101による赤外線信号出力処理(A)フローを示す。第1受付部2901は、赤外線出力指示を受け付けたか否かを判定する(S3201)。赤外線出力指示を受け付けていないと判定した場合には、S3201に示した処理を繰り返す。
一方、赤外線出力指示を受け付けたと判定した場合には、第1赤外線出力部2903は、赤外線信号を一定時間出力する(S3203)。そして、S3201に示した処理に戻って、上述した処理を繰り返す。
図31の説明に戻る。第3受付部2007は、S3107に示した処理の後一定期間、入力通知の受け付けを待つ(S3109)。そして、特定部2009は、その期間に入力通知を受け付けたか否かを判定する(S3111)。
赤外線出力を入力したアバター装置103における処理について説明する。図33Aに、アバター装置103による赤外線信号入力処理(A)フローを示す。第2赤外線入力部3001は、赤外線受光デバイス407aで赤外線信号を入力したか否かを判定する(S3301)。赤外線受光デバイス407aで赤外線信号を入力したと判定した場合には、第2通知部3003は、第1方向が設定されている入力通知をサーバ105へ送る(S3303)。そして、S3305の処理に移る。
一方、赤外線受光デバイス407aで赤外線信号を入力していないと判定した場合には、第2赤外線入力部3001は、赤外線受光デバイス407bで赤外線信号を入力したか否かを判定する(S3305)。赤外線受光デバイス407bで赤外線信号を入力したと判定した場合には、第2通知部3003は、第2方向が設定されている入力通知をサーバ105へ送る(S3307)。そして、S3309の処理に移る。
一方、赤外線受光デバイス407bで赤外線信号を入力していないと判定した場合には、第2赤外線入力部3001は、赤外線受光デバイス407cで赤外線信号を入力したか否かを判定する(S3309)。赤外線受光デバイス407cで赤外線信号を入力したと判定した場合には、第2通知部3003は、第3方向が設定されている入力通知をサーバ105へ送る(S3311)。そして、S3313の処理に移る。
一方、赤外線受光デバイス407cで赤外線信号を入力していないと判定した場合には、第2赤外線入力部3001は、赤外線受光デバイス407dで赤外線信号を入力したか否かを判定する(S3313)。赤外線受光デバイス407dで赤外線信号を入力したと判定した場合には、第2通知部3003は、第4方向が設定されている入力通知をサーバ105へ送る(S3315)。そして、端子Aを介して図33Bに示したS3317の処理に移る。
一方、赤外線受光デバイス407dで赤外線信号を入力していないと判定した場合には、端子Aを介して、図33BのS3317に示した処理に移る。第2赤外線入力部3001は、赤外線受光デバイス407eで赤外線信号を入力したか否かを判定する(S3317)。赤外線受光デバイス407eで赤外線信号を入力したと判定した場合には、第2通知部3003は、第5方向が設定されている入力通知をサーバ105へ送る(S3319)。そして、S3321の処理に移る。
一方、赤外線受光デバイス407eで赤外線信号を入力していないと判定した場合には、第2赤外線入力部3001は、赤外線受光デバイス407fで赤外線信号を入力したか否かを判定する(S3321)。赤外線受光デバイス407fで赤外線信号を入力したと判定した場合には、第2通知部3003は、第6方向が設定されている入力通知をサーバ105へ送る(S3323)。そして、S3325の処理に移る。
一方、赤外線受光デバイス407fで赤外線信号を入力していないと判定した場合には、第2赤外線入力部3001は、赤外線受光デバイス407gで赤外線信号を入力したか否かを判定する(S3325)。赤外線受光デバイス407gで赤外線信号を入力したと判定した場合には、第2通知部3003は、第7方向が設定されている入力通知をサーバ105へ送る(S3327)。そして、S3329の処理に移る。
一方、赤外線受光デバイス407gで赤外線信号を入力していないと判定した場合には、第2赤外線入力部3001は、赤外線受光デバイス407hで赤外線信号を入力したか否かを判定する(S3329)。赤外線受光デバイス407hで赤外線信号を入力したと判定した場合には、第2通知部3003は、第8方向が設定されている入力通知をサーバ105へ送る(S3331)。そして、端子Bを介して、図33AのS3301に示した処理に戻って、上述した処理を繰り返す。
一方、赤外線受光デバイス407hで赤外線信号を入力していないと判定した場合には、そのまま端子Bを介して、図33AのS3301に示した処理に戻って、上述した処理を繰り返す。
図31の説明に戻る。S3111において入力通知を受け付けたと判定した場合には、特定部2009は、入力通知を送ったアバター装置ID及び入力通知に設定されている方向を特定する(S3113)。特定部2009は、当該赤外線通信レコードに当該アバター装置ID及び当該方向を書く(S3115)。
一方、S3111において入力通知を受け付けていないと判定した場合には、特定部2009は、当該赤外線通信レコードにおけるアバター装置IDのフィールド及び方向のフィールドに「なし」を書く(S3117)。
第1指示部2005は、未処理の赤外線通信レコードがあるか否かを判定する(S3119)。未処理の赤外線通信レコードがあると判定した場合には、S3103に示した処理に戻って、上述した処理を繰り返す。
一方、未処理の赤外線通信レコードがないと判定した場合には、生成部2011は、対面データを生成する(S3121)。具体的には、赤外線通信レコードのうち、アバター装置ID及び方向が設定されているレコードを抽出し、対面データに加える。
図34に、対面データの例を示す。この例における対面データは、対面するヘッドセット装置101とアバター装置103との組に対応するレコード(以下、対面レコードという。)を有している。対面レコードは、ヘッドセット装置IDを設定するためのフィールドと、アバター装置IDを設定するためのフィールドと、方向を設定するためのフィールドとを有している。
ヘッドセット装置IDは、アバター装置103と対面しているヘッドセット装置101を特定する。アバター装置IDは、ヘッドセット装置101と対面しているアバター装置103を特定する。方向は、アバター装置103からヘッドセット装置101への方向である。
図示した対面レコードは、「H3」のヘッドセット装置101が「A4」のアバター装置103に対面しており、当該アバター装置103の第1方向に当該ヘッドセット装置があることを示している。対面レコードは2つ以上であることもある。また、対面レコードがないこともある。対面レコードがない場合には、対面レコードがないことを示す対面データが生成される。
図31の説明に戻る。データ送信部2013は、生成した対面データを相手拠点のサーバ105へ送信する(S3123)。そして、S3101に示した処理に戻って、上述した処理を繰り返す。
続いて、動画を受け取る側の拠点における処理について説明する。図35に、サーバ105による写影制御処理(A)フローを示す。データ受信部2015は、待機して、対面データを受信する(S3501)。
判定部2017は、対面データに含まれる対面レコードを1つ特定する(S3503)。例えば、判定部2017は、先頭から順次対面レコードを特定する。尚、対面レコードがない場合には、そのままS3501に示した処理に戻って、上述した処理を繰り返す。
判定部2017は、特定した対面レコードのアバター装置IDに対応する自拠点のヘッドセット装置IDを特定する(S3505)。具体的には、判定部2017は、自拠点の参加者テーブルにおけるいずれかの参加者レコードにおいて、当該アバター装置IDに対応付けられているヘッドセット装置IDを特定する。図34に示した対面レコードの場合には、アバター装置ID「A4」に対応するヘッドセット装置ID「H4」が特定される。
判定部2017は、特定した対面レコードのヘッドセット装置IDに対応する自拠点のアバター装置IDを特定する(S3507)。具体的には、判定部2017は、相手拠点の参加者テーブルにおけるいずれかの参加者レコードにおいて、当該ヘッドセット装置IDに対応付けられているアバター装置IDを特定する。図34に示した対面レコードの場合には、ヘッドセット装置ID「H3」に対応するアバター装置ID「A3」が特定される。
判定部2017は、S3505及びS3507で特定した自拠点のヘッドセット装置101がアバター装置103と対面しているか否かを判定する(S3509)。具体的には、判定部2017は、自拠点の赤外線通信テーブル(最新のもの)におけるいずれかの赤外線通信レコードにおいて、当該ヘッドセット装置101のIDとアバター装置103のIDとが対応付けられている場合に、自拠点のヘッドセット装置101がアバター装置103と対面していると判定する。一方、自拠点の赤外線通信テーブル(最新のもの)におけるいずれかの赤外線通信レコードにおいても、当該ヘッドセット装置101のIDとアバター装置103のIDとが対応付けられていない場合に、自拠点のヘッドセット装置101がアバター装置103と対面していないと判定する。
自拠点のヘッドセット装置101がアバター装置103と対面していないと判定した場合には、そのままS3517に示した処理に移る。
一方、自拠点のヘッドセット装置101がアバター装置103と対面していると判定した場合には、第2指示部2019は、表示方向を特定する(S3511)。具体的には、第2指示部2019は、当該ヘッドセット装置101のIDとアバター装置103のIDとが対応付けられている赤外線通信レコードに設定されている方向を読む。図34に示した対面レコードの場合には、図28に示した第2拠点の赤外線通信テーブルの1番目の赤外線通信レコードから「第6方向」を読む。
第2指示部2019は、動画を提供するアバター装置103におけるIPアドレス及びポート番号を特定する(S3513)。具体的には、第2指示部2019は、相手拠点のアバターテーブルから、S3503で特定した対面レコードに設定されているアバター装置IDに対応するIPアドレスを読み、更に対面レコードに設定されている方向に対応するポート番号を読む。図34に示した対面レコードの場合には、図23に示した第1拠点のアバターテーブルにおける1番目のアバターレコードに設定されているIPアドレス「IP1_4」及び第1ポート番号「PA1」を読む。
第2指示部2019は、アバター装置103に写影指示を送る(S3515)。写影指示は、S3511で特定した表示方向と、S3513で特定したIPアドレス及びポート番号とを含んでいる。図34に示した対面レコードの場合には、写影指示には、表示方向「第6方向」、IPアドレス「IP1_4」及び第1ポート番号「PA1」が含まれる。
判定部2017は、未処理の対面レコードがあるか否かを判定する(S3517)。未処理の対面レコードがあると判定した場合には、S3503に示した処理に戻って、上述した処理を繰り返す。一方、未処理の対面レコードがないと判定した場合には、S3501に示した処理に戻って、上述した処理を繰り返す。
続いて、写影指示を受けたアバター装置103における写影処理について説明する。本実施の形態では、写影処理(A)を実行する。図36に、アバター装置103による写影処理(A)フローを示す。第2受付部3005は、写影指示を受け付けたか否かを判定する(S3601)。写影指示を受け付けていないと判定した場合には、S3601に示した処理を繰り返す。
写影指示を受け付けたと判定した場合には、第2リクエスト送信部3007は、写影指示に含まれるIPアドレス及びポート番号宛に動画リクエストを送信する(S3603)。
ここで、動画リクエストを受信したアバター装置103における処理の説明に移る。図37に、アバター装置103による第1動画送信処理フローを示す。第1動画送信処理は、第1ポート番号において動画リクエストを受信した場合に、撮影画像のうち第1方向の部分画像701aの動画データを送信する処理を行う。
第2リクエスト受信部3019は、第1ポート番号宛ての動画リクエストを受信したか否かを判定する(S3701)。第1ポート番号宛ての動画リクエストを受信していないと判定した場合には、S3701に示した処理を繰り返す。
撮影部3021は、第1方向の動画撮影を開始する(S3703)。撮影部3021は、第1方向の部分画像701aを撮影する。圧縮部3023は、撮影した部分画像701aを連ねた動画を圧縮して、動画データを生成し、動画送信部3025は、生成された動画データの送信を開始する(S3705)。具体的には、動画送信部3025は、動画リクエストの送信元へ動画データを送信する。
第2リクエスト受信部3019は、停止リクエストを受信したか否かを判定する(S3707)。停止リクエストを受信していないと判定した場合には、S3707に示した処理を繰り返す。
停止リクエストを受信したと判定した場合には、撮影部3021は、第1方向の動画撮影を終了する(S3709)。また、圧縮部3023は、動画の圧縮を終え、動画送信部3025は、動画データの送信を終了する(S3711)。そして、S3701に示した処理に戻って、上述した処理を繰り返す。
アバター装置103は、第2ポート番号において動画リクエストを受信した場合に、撮影画像のうち第2方向の部分画像701bの動画データを送信する第2動画送信処理も行う。アバター装置103は、第3ポート番号において動画リクエストを受信した場合に、撮影画像のうち第3方向の部分画像701cの動画データを送信する第3動画送信処理も行う。アバター装置103は、第4ポート番号において動画リクエストを受信した場合に、撮影画像のうち第4方向の部分画像701dの動画データを送信する第4動画送信処理も行う。アバター装置103は、第5ポート番号において動画リクエストを受信した場合に、撮影画像のうち第5方向の部分画像701eの動画データを送信する第5動画送信処理も行う。アバター装置103は、第6ポート番号において動画リクエストを受信した場合に、撮影画像のうち第6方向の部分画像701fの動画データを送信する第6動画送信処理も行う。アバター装置103は、第7ポート番号において動画リクエストを受信した場合に、撮影画像のうち第7方向の部分画像701gの動画データを送信する第7動画送信処理も行う。アバター装置103は、第8ポート番号において動画リクエストを受信した場合に、撮影画像のうち第8方向の部分画像701hの動画データを送信する第8動画送信処理も行う。
図36の説明に戻る。動画受信部3009は、動画データの受信を開始し、再生部3011は、動画の再生を開始する(S3605)。また、表示処理部3013は、写影指示に含まれる表示方向への動画表示を開始する(S3607)。具体的には、表示処理部3013は、再生した動画を表示方向に相当する部分画面801に表示する。また、音声出力部3015は、表示方向のスピーカ405からの音声出力に切り替える(S3609)。
第2受付部3005は、動画表示を行っている状態で、写影指示を受け付けたか否かを判定する(S3611)。写影指示を受け付けたと判定した場合には、判定部3017は、今回受け付けた写影指示が、S3601で受け付けた写影指示と同じ内容であるか否かを判定する(S3613)。
今回受け付けた写影指示が、S3601で受け付けた写影指示と同じ内容であると判定した場合には、S3611に示した処理に戻って、上述した処理を繰り返す。
一方、今回受け付けた写影指示が、S3601で受け付けた写影指示と同じ内容ではないと判定した場合には、第2リクエスト送信部3007は、S3603の処理の場合と同じIPアドレス及びポート番号宛に停止リクエストを送信する(S3615)。動画受信部3009は、動画データの受信を終了し、再生部3011は、動画の再生を終了する(S3617)。表示処理部3013は、表示方向への動画表示を終了する(S3619)。そして、S3603に示した処理に戻って、S3611で受け付けた写影指示に含まれるIPアドレス及びポート番号宛に動画リクエストを送信する。S3605以降の処理は、前述した通りである。
S3611に示した処理の説明に戻る。S3611において、写影指示を受け付けていないと判定した場合には、判定部3017は、前回の写影指示を受け付けた時点から所定時間を経過したか否かを判定する(S3621)。前回の写影指示を受け付けた時点から所定時間を経過していないと判定した場合には、S3611に示した処理に戻って、上述した処理を繰り返す。
一方、前回の写影指示を受け付けた時点から所定時間を経過したと判定した場合には、第2リクエスト送信部3007は、S3603の処理の場合と同じIPアドレス及びポート番号宛に停止リクエストを送信する(S3623)。動画受信部3009は、動画データの受信を終了し、再生部3011は、動画の再生を終了する(S3625)。表示処理部3013は、表示方向への動画表示を終了する(S3627)。音声出力部3015は、全方向のスピーカ405からの音声出力に切り替える(S3629)。そして、S3601に示した処理に戻って、上述した処理を繰り返す。この例では、一方向にのみ動画を表示する例を示したが、同時に複数方向に動画を表示するようにしてもよい。以上で、動画に関する処理についての説明を終える。
次に、音声に関する処理について説明する。会議を始める時点において、音声データの伝送を開始する。図38に、サーバ105による音声出力制御処理フローを示す。音声出力制御処理は、会議の冒頭で実行される。
第3指示部2021は、相手拠点の参加者テーブルにおける参加者レコードを1つ特定する(S3801)。例えば、第3指示部2021は、先頭から順次参加者レコードを特定する。
第3指示部2021は、当該参加者レコードに設定されている相手拠点のヘッドセットID及び自拠点のアバター装置IDを読む(S3803)。第3指示部2021は、相手拠点のヘッドセット装置101のIPアドレス及びポート番号を特定する(S3805)。具体的には、第3指示部2021は、相手拠点のヘッドセットテーブルにおいて、相手拠点のヘッドセットIDに対応付けられているIPアドレス及びポート番号を読む。
第3指示部2021は、自拠点のアバター装置103へ音声出力指示を送る(S3807)。音声出力指示には、S3805で特定したIPアドレス及びポート番号を含んでいる。
第3指示部2021は、未処理の参加者レコードがあるか否かを判定する(S3809)。未処理の参加者レコードがあると判定した場合には、S3801に示した処理に戻って、上述した処理を繰り返す。一方、未処理の参加者レコードがないと判定した場合には、音声出力制御処理を終える。
次に、音声出力指示を受けたアバター装置103における処理について説明する。図39に、アバター装置103による音声出力処理フローを示す。第2受付部3005は、待機して、サーバ105から音声出力指示を受け付ける(S3901)。音声出力指示を受け付けると、第2リクエスト送信部3007は、音声出力指示に含まれるIPアドレス及びポート番号宛てに音声リクエストを送信する(S3903)。
音声受信部3027は、音声データの受信を開始し(S3905)、音声出力部3015は、全方向のスピーカ405からの音声出力を開始する(S3907)。そして、音声出力処理を終える。
次に、音声リクエストを受信した場合のヘッドセット装置101の処理について説明する。図40に、ヘッドセット装置101による音声送信処理フローを示す。第1リクエスト受信部2905は、音声リクエストを受信したか否かを判定する(S4001)。音声リクエストを受信していない場合には、第1リクエスト受信部2905は、当該判定を繰り返す。
音声リクエストを受信したと判定した場合には、音声送信部2907は、マイク201から入力された音声のデータを音声リクエストの送信元へ送信する処理を開始する(S4003)。そして、音声出力処理を終える。
本実施の形態によれば、遠隔地のユーザと、対面状態に近いコミュニケーションを図ることができる。
一方のユーザのみが相手のアバター装置103の方に向いている場合には、動画データを送らないので、他方のユーザがアバター装置103を見る体勢を取っていないと想定される場合の処理を抑制できる。ユーザ間の混乱を回避できるという面もある。
また、聴覚的にも対面状態に近づけることができる。
[実施の形態2]
上述した実施の形態では、離れた拠点にいる参加者同士が擬似的に対面している場合に、双方の動画を表示する例について説明したが、本実施の形態では、一方の参加者のみが擬似的に相手に向いている場合にも、当該参加者の動画を表示する例について説明する。
図41に、実施の形態2における動作例を示す。ヘッドセット装置101cを装着している参加者の向きと、ヘッドセット装置101dを装着している参加者の向きは、図10の場合と同様である。図10の場合は動画データを伝送しないが、本実施の形態では、ヘッドセット装置101cの参加者の動画を、アバター装置103cにおいてヘッドセット装置101dに向けて表示する。但し、アバター装置103cは、現在ヘッドセット装置101dが居る方向を検出できないので、過去の位置関係に基づく推測によって、表示方向を決めるようにする。
矢印4101に示した動画データの伝送は、図9の矢印901の場合と同様である。矢印4103に示した音声データの伝送は、図10の矢印1001の場合と同様である。矢印4105に示した音声データの伝送は、図10の矢印1003の場合と同様である。
本実施の形態では、写影制御処理(A)に代えて、写影制御処理(B)を実行する。図42に、サーバ105による写影制御処理(B)フロー例を示す。S3501乃至S3509に示した処理は、図35の場合と同様である。
S3509において、S3505及びS3507で特定した自拠点のヘッドセット装置101がアバター装置103と対面していないと判定した場合には、判定部2017は、当該自拠点のヘッドセット装置101がアバター装置103と過去において対面していたか否かを判定する(S4201)。具体的には、判定部2017は、順次過去の時点における自拠点の赤外線通信テーブルに遡って、当該自拠点の赤外線通信テーブルにおけるいずれかの赤外線通信レコードにおいて、当該ヘッドセット装置101のIDとアバター装置103のIDとが対応付けられている場合に、自拠点のヘッドセット装置101がアバター装置103と対面していたと判定する。所定の時点まで遡っても自拠点のヘッドセット装置101がアバター装置103と対面していたと判定されない場合には、自拠点のヘッドセット装置101がアバター装置103と対面していなかったと判定する。
自拠点のヘッドセット装置101がアバター装置103と対面していたと判定した場合には、S3511に示した処理に移る。一方、自拠点のヘッドセット装置101がアバター装置103と対面していなかったと判定した場合には、S3517に示した処理に移る。S3511乃至S3517に示した処理は、図35の場合と同様である。
例えば、現在の第2拠点の赤外線通信テーブルが、図43に示した状態であれば、第2拠点における「H4」のヘッドセット装置101が「A3」のアバター装置103と対面していないと判定される。そして、遡った時点における第2拠点の赤外線通信テーブルが、図28に示した状態であれば、第2拠点における「H4」のヘッドセット装置101が「A3」のアバター装置103と対面していたと判定される。
本実施の形態によれば、相手側がアバター装置103の方を向いていなくても、推測に基づいて相手方向へ動画を表示することができる。
[実施の形態3]
本実施の形態では、双方が擬似的に対面して互いの動画が表示されているときに、一方の参加者が向きを変えた場合に、当該参加者の映像を所定画像に切り替える例について説明する。
図9に示した状態において、ヘッドセット装置101cの参加者が余所見をして図44に示した状態になる場合を想定する。上述した実施の形態では、アバター装置103cにおける動画表示が中断することになる。
しかし、突然動画表示が中断されると、ヘッドセット装置101dの参加者は、相手に対話を拒まれた印象を受ける場合がある。一方、ヘッドセット装置101cの参加者が悪意無く思案中に、他の方向に視線を向けることは起こり得る。
このような場合に、本実施の形態では、アバター装置103cの元の表示方向に所定画像を表示して、ヘッドセット装置101dの参加者に悪い印象を与えないようにする。例えば、思案中の体勢を表すCG(Computer Graphics)画像を用いる。または、微笑みを表す画像や会釈を表す画像などを用いるようにしてもよい。
矢印4401及び矢印4403に示すように音声データが伝送される点は、上述した実施の形態の場合と同様である。
本実施の形態では、写影処理(A)に代えて写影処理(B)を実行する。図45に、アバター装置103による写影処理(B)フローを示す。S3601乃至S3629に示した処理は、図36の場合と同様である。S3629に示した処理の後に、表示処理部3013は、元の表示方向に第1所定画像を表示する(S4501)。そして、第1所定画像の表示を一定時間継続する。
本実施の形態によれば、相手に対話を拒まれた印象を与えずに済む。
[実施の形態4]
一方の拠点における参加者同士が対面している場合に、その状況を他方の拠点に伝達する例について説明する。
図46に、実施の形態4における動作例を示す。第1拠点においてヘッドセット装置101aを装着した参加者とヘッドセット装置101bを装着した参加者とが対面している。本実施の形態では、ヘッドセット装置101において赤外線信号を入力することによって、ヘッドセット装置101同士の対面状態を把握する。
ヘッドセット装置101aがヘッドセット装置101bと対面していることが、サーバ105aからサーバ105bに伝えられ、サーバ105bは、ヘッドセット装置101aに対応するアバター装置103aに所定画像の表示を指示する。このとき、ヘッドセット装置101bに対応するアバター装置103bの方向に表示するように指示する。例えば、正面を向いた体勢を表すCG画像を用いる。
同様に、ヘッドセット装置101bがヘッドセット装置101aと対面していることが、サーバ105aからサーバ105bに伝えられ、サーバ105bは、ヘッドセット装置101bに対応するアバター装置103bに所定画像の表示を指示する。このとき、ヘッドセット装置101aに対応するアバター装置103aの方向に表示するように指示する。
矢印4601及び矢印4603に示すように音声データが伝送される点は、上述した実施の形態の場合と同様である。
本実施の形態では、ヘッドセット装置101において赤外線信号を入力すると共に、アバター装置103において赤外線信号を出力するようにする。そして、アバター装置103の互いの方向を特定する。
図47に、第1拠点における対面状態の例を示す。参加者の位置と向き、更にアバター装置103の位置も図12の場合と同様である。図12の場合における赤外線通信に加えて、ヘッドセット装置101aは、ヘッドセット装置101bから出力される赤外線信号を入力する。ヘッドセット装置101bは、ヘッドセット装置101aから出力される赤外線信号を入力する。ヘッドセット装置101cは、アバター装置103dから出力される赤外線信号を入力する。アバター装置103dは、アバター装置103eから出力される赤外線信号を入力する。アバター装置103eは、アバター装置103dから出力される赤外線信号を入力する。
図48に、第2拠点における対面状態の例を示す。参加者の位置と向き、更にアバター装置103の位置も図13の場合と同様である。図13の場合における赤外線通信に加えて、ヘッドセット装置101dは、アバター装置103cから出力される赤外線信号を入力する。アバター装置103aは、アバター装置103bから出力される赤外線信号及びアバター装置103cから出力される赤外線信号を入力する。アバター装置103bは、アバター装置103aから出力される赤外線信号及びアバター装置103cから出力される赤外線信号を入力する。アバター装置103cは、アバター装置103aから出力される赤外線信号及びアバター装置103bから出力される赤外線信号を入力する。
本実施の形態では、1つの拠点において2つの赤外線通信テーブルを用いる。第1赤外線通信テーブルは、上述した赤外線通信テーブルのレコードにヘッドセット装置IDを加えた構成である。第1赤外線通信テーブルのレコードを、第1赤外線通信レコードという。
図49に、第1拠点の第1赤外線通信テーブルの例を示す。この例は、図47の対面状態に相当する。尚、第2拠点の第1赤外線通信テーブルの例は、省略する。
他方の第2赤外線通信テーブルは、アバター装置103から出力される赤外線信号による通信状態を特定する。図50に、第2拠点の第2赤外線通信テーブルの例を示す。第2赤外線通信テーブルのレコードを、第2赤外線通信レコードという。第2赤外線通信レコードは、出力側アバター装置IDを設定するためのフィールドと、出力方向を設定するためのフィールドと、入力側アバター装置IDを設定するためのフィールドと、入力方向を設定するためのフィールドと、ヘッドセット装置IDを設定するためのフィールドとを有している。この例は、図48の対面状態に相当する。
本実施の形態では、監視処理(A)に代えて監視処理(B)を実行する。図51Aに、サーバ105による監視処理(B)フローを示す。S3101乃至S3111に示した処理は、言い換えた点を除き、実質的に図31の場合と同様である。
S3111において入力通知を受け付けたと判定した場合には、特定部2009は、アバター装置103からの入力通知であるか否かを判定する(S5101)。アバター装置103からの入力通知であると判定した場合には、S3113の処理に移る。
一方、アバター装置103からの入力通知ではないと判定した場合、つまりヘッドセット装置101からの入力通知である場合には、特定部2009は、入力通知を送った入力側ヘッドセット装置IDを特定する(S5103)。特定部2009は、S3103で特定した第1赤外線通信レコードに入力側ヘッドセット装置IDを書く(S5105)。
S3113乃至S3123に示した処理は、言い換え点を除き、実質的に図31の場合と同様である。尚、上述した実施の形態における対面データを、第1対面データという。S3123に示した処理を終えると、端子Cを介して図51Bに示した5107の処理に移る。
生成部2011は、第2対面データを生成する(S5107)。第2対面データは、ヘッドセット装置101同士の対面関係を特定する。具体的には、第1赤外線通信レコードのうち、入力側ヘッドセット装置IDが設定されているレコードを抽出し、そのレコードにおける(出力側)ヘッドセット装置IDと入力側ヘッドセット装置IDとを第2対面データのレコードに加える。
図52に、第2対面データの例を示す。この例は、図49の第1赤外線通信テーブルに基づいている。
図51Bの説明に戻る。データ送信部2013は、生成した第2対面データを相手拠点のサーバ105へ送信する(S5109)。
第1指示部2005は、第2赤外線通信レコードを1つ特定する(S5111)。例えば、第1指示部2005は、先頭から順次第2赤外線通信レコードを特定する。第1指示部2005は、特定した第2赤外線通信レコードから出力側アバター装置ID及び出力方向を読む(S5113)。第1指示部2005は、出力側アバター装置へ赤外線出力指示(出力方向を含む)を送る(S5115)。
ここで、赤外線出力指示を受けたアバター装置103における処理の説明に移る。図53に、アバター装置103による赤外線信号出力処理(B)フローを示す。第2受付部3005は、赤外線出力指示を受け付けたか否かを判定する(S5301)。赤外線出力指示を受け付けていないと判定した場合には、S5301に示した処理を繰り返す。
一方、赤外線出力指示を受け付けたと判定した場合には、第2赤外線出力部3029は、赤外線出力指示に含まれる出力方向に相当する赤外線受光デバイス407を特定する(S5303)。第1赤外線出力部2903は、特定した赤外線受光デバイス407から赤外線信号を一定期間出力する(S5305)。そして、S3201に示した処理に戻って、上述した処理を繰り返す。
図51Bの説明に戻る。第3受付部2007は、一定期間、入力通知の受け付けを待つ(S5117)。特定部2009は、入力通知を受け付けたか否かを判定する(S5119)。入力通知を受け付けたと判定した場合には、特定部2009は、アバター装置103からの入力通知であるか否かを判定する(S5121)。
アバター装置103からの入力通知であると判定した場合には、特定部2009は、入力通知を送った入力側アバター装置ID及び入力通知に設定されている方向(つまり、入力方向)を特定する(S5123)。特定部2009は、S5111で特定した第2赤外線通信レコードに入力側アバター装置ID及び入力方向を書く(S5125)。
一方、アバター装置103からの入力通知ではないと判定した場合、つまりヘッドセット装置101からの入力通知である場合には、特定部2009は、ヘッドセット装置IDを特定する(S5127)。
ここで、ヘッドセット装置101で赤外線信号を入力する処理について説明する。図54に、ヘッドセット装置101による赤外線信号入力処理(B)フローを示す。第1赤外線入力部2909は、赤外線信号を入力したか否かを判定する(S5401)。赤外線信号を入力していないと判定した場合には、S5401の処理を繰り返す。
一方、赤外線信号を入力したと判定した場合には、第1通知部2911は、入力通知をサーバ105へ送る(S5403)。そして、S5401に示した処理に戻って、上述した処理を繰り返す。
図51Bの説明に戻る。特定部2009は、第2赤外線通信レコードに入力通知を送ったヘッドセット装置101のIDを書く(S5129)。
S5119において入力通知を受け付けていないと判定した場合には、特定部2009は、第2赤外線通信レコードにおける入力側アバター装置ID、入力方向及びヘッドセット装置IDのフィールドに「なし」を書く(S5131)。第1指示部2005は、未処理の第2赤外線通信レコードがあるか否かを判定する(S5133)。未処理の第2赤外線通信レコードがあると判定した場合には、S5111に示した処理に戻って、上述した処理を繰り返す。
一方、未処理の第2赤外線通信レコードがないと判定した場合には、端子Dを介して図51AのS3101に示した処理に戻って、上述した処理を繰り返す。
本実施の形態のサーバ105では、上述した所定画像をアバター装置103に表示させるための制御処理を行う。図55に、サーバ105による所定表示制御処理フローを示す。データ受信部2015は、待機して、第2対面データを受信する(S5501)。第2指示部2019は、第2対面レコードを1つ特定する(S5503)。例えば、第2指示部2019は、先頭から順次第2対面レコードを特定する。
第2指示部2019は、当該第2対面レコードに設定されている出力側ヘッドセット装置IDに対応する自拠点の出力側アバター装置IDを特定する(S5505)。具体的には、第2指示部2019は、相手拠点のユーザテーブルに基づいて、出力側アバター装置IDを特定する。
第2指示部2019は、当該第2対面レコードに設定されている入力側ヘッドセット装置IDに対応する自拠点の入力側アバター装置IDを特定する(S5507)。具体的には、第2指示部2019は、相手拠点のユーザテーブルに基づいて、出力側アバター装置IDを特定する。
第2指示部2019は、出力側アバター装置における出力方向を特定する(S5509)。具体的には、第2指示部2019は、第2赤外線通信テーブルに基づいて出力方向を特定する。出力方向は、所定画像の表示方向に相当する。
第2指示部2019は、出力側アバター装置に所定表示指示(表示方向を含む)を送る(S5511)。第2指示部2019は、未処理の第2対面レコードがあるか否かを判定する(S5513)。未処理の第2対面レコードがあると判定した場合には、S5503に示した処理に戻って、上述した処理を繰り返す。一方、未処理の第2対面レコードがないと判定した場合には、S5501に示した処理に戻って、上述した処理を繰り返す。
続いて、アバター装置103による所定表示処理について説明する。図56に、アバター装置103による所定表示処理(A)フローを示す。第2受付部3005は、所定表示指示を受け付けたか否かを判定する(S5601)。所定表示指示を受け付けていない場合には、S5601の処理を繰り返す。
一方、所定表示指示を受け付けたと判定した場合には、表示処理部3013は、所定表示指示に含まれる表示方向へ第2所定画像を表示する(S5603)。また、音声出力部3015は、表示方向のスピーカ405からの音声出力に切り替える(S5605)。
第2所定画像を表示した状態で、第2受付部3005は、所定表示指示を受け付けたか否かを判定する(S5607)。所定表示指示を受け付けたと判定した場合には、判定部3017は、S5601において受け付けた所定表示指示と同じであるか否かを判定する(S5609)。S5601において受け付けた所定表示指示と同じであると判定した場合には、S5607に示した処理に戻って、上述した処理を繰り返す。
一方、S5601において受け付けた所定表示指示と同じでないと判定した場合には、表示処理部3013は、第2所定画像の表示を終了する(S5611)。そして、S5603に示した処理に戻って、上述した処理を繰り返す。
S5607において所定表示指示を受け付けていないと判定した場合には、判定部3017は、前回の所定表示指示を受け付けてから所定時間経過したか否かを判定する(S5613)。前回の所定表示指示を受け付けてから所定時間経過していないと判定した場合には、S5607に示した処理に戻って、上述した処理を繰り返す。
一方、前回の所定表示指示を受け付けてから所定時間経過したと判定した場合には、表示処理部3013は、第2所定画像の表示を終了する(S5615)。また、音声出力部3015は、全方向のスピーカ405からの音声出力に切り替える(S5617)。そして、S5601に示した処理に戻って、上述した処理を繰り返す。
本実施の形態によれば、参加者は、相手拠点における状況を把握しやすい。
[実施の形態5]
実施の形態4で説明したように第2所定画像を表示しているときに、一方の参加者が向きを変えた場合に、第2所定画像を第1所定画像に切り替える例について説明する。
図46に示した状態から図57の状態に移った場合について説明する。ヘッドセット装置101aとヘッドセット装置101bとが向き合わなくなると、サーバ105aからサーバ105bへの伝達が行われなくなる。
このようになると、アバター装置103aは、第2所定画像から第1所定画像へ表示を切り替える。また、アバター装置103bも、第2所定画像から第1所定画像へ表示を切り替える。
矢印5701及び矢印5703に示すように音声データが伝送される点は、上述した実施の形態の場合と同様である。
本実施の形態では、所定表示処理(A)に代えて所定表示処理(B)を実行する。図58に、アバター装置103による所定表示処理(B)フローを示す。S5601乃至S5617に示した処理は、図56の場合と同様である。S5617に示した処理の後に、表示処理部3013は、元の表示方向に第1所定画像を表示する(S5801)。そして、第1所定画像の表示を一定時間継続する。
本実施の形態によれば、参加者は、相手拠点おける状況を把握しやすい。
以上本発明の実施の形態を説明したが、本発明はこれに限定されるものではない。例えば、上述の機能ブロック構成はプログラムモジュール構成に一致しない場合もある。
また、上で説明した各記憶領域の構成は一例であって、上記のような構成でなければならないわけではない。さらに、処理フローにおいても、処理結果が変わらなければ、処理の順番を入れ替えることや複数の処理を並列に実行させるようにしても良い。
なお、上で述べたサーバ105は、コンピュータ装置であって、図59に示すように、メモリ2501とCPU(Central Processing Unit)2503とハードディスク・ドライブ(HDD:Hard Disk Drive)2505と表示装置2509に接続される表示制御部2507とリムーバブル・ディスク2511用のドライブ装置2513と入力装置2515とネットワークに接続するための通信制御部2517とがバス2519で接続されている。オペレーティング・システム(OS:Operating System)及び本実施例における処理を実施するためのアプリケーション・プログラムは、HDD2505に格納されており、CPU2503により実行される際にはHDD2505からメモリ2501に読み出される。CPU2503は、アプリケーション・プログラムの処理内容に応じて表示制御部2507、通信制御部2517、ドライブ装置2513を制御して、所定の動作を行わせる。また、処理途中のデータについては、主としてメモリ2501に格納されるが、HDD2505に格納されるようにしてもよい。本発明の実施例では、上で述べた処理を実施するためのアプリケーション・プログラムはコンピュータ読み取り可能なリムーバブル・ディスク2511に格納されて頒布され、ドライブ装置2513からHDD2505にインストールされる。インターネットなどのネットワーク及び通信制御部2517を経由して、HDD2505にインストールされる場合もある。このようなコンピュータ装置は、上で述べたCPU2503、メモリ2501などのハードウエアとOS及びアプリケーション・プログラムなどのプログラムとが有機的に協働することにより、上で述べたような各種機能を実現する。
以上述べた本発明の実施の形態をまとめると、以下のようになる。
本実施の形態に係るコミュニケーション支援システムは、ネットワークを介して互いに接続するための第1拠点のシステムと第2拠点のシステムとを含み、(A)第1拠点のシステムは、第1拠点内における撮影を行う撮影装置と、第1拠点内の第1ユーザが装着する第1装着機と、撮影装置から第1装着機への第1方向を特定する第1特定部とを有し、(B)第2拠点のシステムは、第1装着機に対応付けられている表示装置と、第2拠点内の第2ユーザが装着する第2装着機と、表示装置から第2装着機への第2方向を特定する第2特定部とを有し、(C)撮影装置は、第1方向を撮影した画像を送信し、(D)表示装置は、受信した画像を第2方向に表示する。
このようにすれば、遠隔地のユーザと、対面状態に近いコミュニケーションを図ることができる。
第1拠点のシステムは、更に、第1方向を第2拠点のシステムへ送信する第1送信部を有し、第2拠点のシステムは、更に、第1方向を受信する受信部と、撮影装置に第1方向の撮影要求を送信する第2送信部とを有してもよい。そして、撮影装置は、撮影要求に応じて画像を送信するようにしてもよい。
このようにすれば、第2拠点の対応次第で、無用な処理を防げる。
第2拠点のシステムは、第2装着機が表示装置と対面しているか否かを判定する判定部を有してもよい。そして、第2装着機が表示装置と対面していると判定した場合に、第2送信部は、撮影要求を送信するようにしてもよい。
このようにすれば、ユーザが表示装置を見る体勢を取っていないと想定される場合の処理を抑制できる。ユーザ間の混乱を回避できるという面もある。
判定部は、第2装着機が表示装置と対面していないと判定した場合に、第2装着機が表示装置と対面していたか否かを判定し、第2装着機が表示装置と対面していたと判定した場合に、第2送信部は、撮影要求を送信するようにしてもよい。
このようにすれば、ユーザの方向を推測して動画を表示することができる。
表示装置は、第1装着機から受信した音声を第2方向に出力するようにしてもよい。
このようにすれば、聴覚的にも対面状態に近づけることができる。
なお、上で述べた第1拠点のシステム、第2拠点のシステム、表示装置及び撮影装置における処理をコンピュータに行わせるためのプログラムを作成することができ、当該プログラムは、例えばフレキシブルディスク、CD−ROM、光磁気ディスク、半導体メモリ、ハードディスク等のコンピュータ読み取り可能な記憶媒体又は記憶装置に格納されるようにしてもよい。尚、中間的な処理結果は、一般的にメインメモリ等の記憶装置に一時保管される。
以上の実施例を含む実施形態に関し、さらに以下の付記を開示する。
(付記1)
ネットワークを介して互いに接続するための第1拠点のシステムと第2拠点のシステムとを含むコミュニケーション支援システムであって、
前記第1拠点のシステムは、前記第1拠点内における撮影を行う撮影装置と、前記第1拠点内の第1ユーザが装着する第1装着機と、前記撮影装置から前記第1装着機への第1方向を特定する第1特定部とを有し、
前記第2拠点のシステムは、前記第1装着機に対応付けられている表示装置と、前記第2拠点内の第2ユーザが装着する第2装着機と、前記表示装置から前記第2装着機への第2方向を特定する第2特定部とを有し、
前記撮影装置は、前記第1方向を撮影した画像を送信し、
前記表示装置は、受信した前記画像を前記第2方向に表示する
コミュニケーション支援システム。
(付記2)
前記第1拠点のシステムは、更に、前記第1方向を前記第2拠点のシステムへ送信する第1送信部を有し、
前記第2拠点のシステムは、更に、前記第1方向を受信する受信部と、前記撮影装置に前記第1方向の撮影要求を送信する第2送信部とを有し、
前記撮影装置は、前記撮影要求に応じて前記画像を送信する
付記1記載のコミュニケーション支援システム。
(付記3)
前記第2拠点のシステムは、前記第2装着機が前記表示装置と対面しているか否かを判定する判定部を有し、
前記第2装着機が前記表示装置と対面していると判定した場合に、前記第2送信部は、前記撮影要求を送信する
付記2記載のコミュニケーション支援システム。
(付記4)
前記判定部は、前記第2装着機が前記表示装置と対面していないと判定した場合に、前記第2装着機が前記表示装置と対面していたか否かを判定し、
前記第2装着機が前記表示装置と対面していたと判定した場合に、前記第2送信部は、前記撮影要求を送信する
付記3記載のコミュニケーション支援システム。
(付記5)
前記表示装置は、前記第1装着機から受信した音声を前記第2方向に出力する
付記1乃至4のうち1つ記載のコミュニケーション支援システム。
(付記6)
拠点内における撮影を行う撮影装置から、拠点内のユーザが装着する装着機への方向を特定する特定部と、
前記方向を遠隔地システムへ送信する送信部と
を有するサーバ装置。
(付記7)
拠点内の表示装置から、拠点内のユーザが装着する装着機への方向を特定する特定部と、
前記表示装置に、遠隔地システムから受信する画像を、前記方向に表示させる指示を行う指示部と
を有するサーバ装置。
(付記8)
拠点内における撮影を行う撮影装置から、拠点内のユーザが装着する装着機への方向を特定し、
前記方向を遠隔地システムへ送信する
処理をコンピュータに実行させるプログラム。
(付記9)
拠点内の表示装置から、拠点内のユーザが装着する装着機への方向を特定し、
前記表示装置に、遠隔地システムから受信する画像を、前記方向に表示させる指示を行う
処理をコンピュータに実行させるプログラム。
101 ヘッドセット装置 103 アバター装置
105 サーバ 201 マイク
203 赤外線発光デバイス 205 赤外線受光デバイス
301 CPU 303 メモリ
305 無線通信部 307 マイク制御回路
309 赤外線発光制御回路 311 赤外線受光制御回路
401 カメラ 403 LCD
405 スピーカ 407 赤外線受光デバイス
409 赤外線発光デバイス 601 CPU
603 メモリ 605 無線通信部
607 カメラ制御回路 609 LCD制御回路
611 スピーカ制御回路 613 赤外線受光制御回路
615 赤外線発光制御回路 701 部分画像
801 部分画面 2001 設定部
2003 交換部 2005 第1指示部
2007 第3受付部 2009 特定部
2011 生成部 2013 データ送信部
2015 データ受信部 2017 判定部
2019 第2指示部 2021 第3指示部
2031 ヘッドセットテーブル記憶部 2033 アバターテーブル記憶部
2035 参加者テーブル記憶部 2307 赤外線通信テーブル記憶部
2901 第1受付部 2903 第1赤外線出力部
2905 第1リクエスト受信部 2907 音声送信部
2909 第1赤外線入力部 2911 第1通知部
3001 第2赤外線入力部 3003 第2通知部
3005 第2受付部 3007 第2リクエスト送信部
3009 動画受信部 3011 再生部
3013 表示処理部 3015 音声出力部
3017 判定部 3019 第2リクエスト受信部
3021 撮影部 3023 圧縮部
3025 動画送信部 3027 音声受信部
3029 第2赤外線出力部

Claims (9)

  1. ネットワークを介して互いに接続するための第1拠点のシステムと第2拠点のシステムとを含むコミュニケーション支援システムであって、
    前記第1拠点のシステムは、前記第1拠点内における撮影を行う撮影装置と、前記第1拠点内の第1ユーザが装着する第1装着機と、前記撮影装置から前記第1装着機への第1方向を特定する第1特定部とを有し、
    前記第2拠点のシステムは、前記第1装着機に対応付けられている表示装置と、前記第2拠点内の第2ユーザが装着する第2装着機と、前記表示装置から前記第2装着機への第2方向を特定する第2特定部とを有し、
    前記撮影装置は、前記第1方向を撮影した画像を送信し、
    前記表示装置は、受信した前記画像を前記第2方向に表示する
    コミュニケーション支援システム。
  2. 前記第1拠点のシステムは、更に、前記第1方向を前記第2拠点のシステムへ送信する第1送信部を有し、
    前記第2拠点のシステムは、更に、前記第1方向を受信する受信部と、前記撮影装置に前記第1方向の撮影要求を送信する第2送信部とを有し、
    前記撮影装置は、前記撮影要求に応じて前記画像を送信する
    請求項1記載のコミュニケーション支援システム。
  3. 前記第2拠点のシステムは、前記第2装着機が前記表示装置と対面しているか否かを判定する判定部を有し、
    前記第2装着機が前記表示装置と対面していると判定した場合に、前記第2送信部は、前記撮影要求を送信する
    請求項2記載のコミュニケーション支援システム。
  4. 前記判定部は、前記第2装着機が前記表示装置と対面していないと判定した場合に、前記第2装着機が前記表示装置と対面していたか否かを判定し、
    前記第2装着機が前記表示装置と対面していたと判定した場合に、前記第2送信部は、前記撮影要求を送信する
    請求項3記載のコミュニケーション支援システム。
  5. 前記表示装置は、前記第1装着機から受信した音声を前記第2方向に出力する
    請求項1乃至4のうち1つ記載のコミュニケーション支援システム。
  6. 拠点内における撮影を行う撮影装置から、拠点内のユーザが装着する装着機への方向を特定する特定部と、
    前記方向を遠隔地システムへ送信する送信部と
    を有するサーバ装置。
  7. 拠点内の表示装置から、拠点内のユーザが装着する装着機への方向を特定する特定部と、
    前記表示装置に、遠隔地システムから受信する画像を、前記方向に表示させる指示を行う指示部と
    を有するサーバ装置。
  8. 拠点内における撮影を行う撮影装置から、拠点内のユーザが装着する装着機への方向を特定し、
    前記方向を遠隔地システムへ送信する
    処理をコンピュータに実行させるプログラム。
  9. 拠点内の表示装置から、拠点内のユーザが装着する装着機への方向を特定し、
    前記表示装置に、遠隔地システムから受信する画像を、前記方向に表示させる指示を行う
    処理をコンピュータに実行させるプログラム。
JP2015225375A 2015-11-18 2015-11-18 コミュニケーション支援システム、サーバ装置及びプログラム Pending JP2017098592A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015225375A JP2017098592A (ja) 2015-11-18 2015-11-18 コミュニケーション支援システム、サーバ装置及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015225375A JP2017098592A (ja) 2015-11-18 2015-11-18 コミュニケーション支援システム、サーバ装置及びプログラム

Publications (1)

Publication Number Publication Date
JP2017098592A true JP2017098592A (ja) 2017-06-01

Family

ID=58818148

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015225375A Pending JP2017098592A (ja) 2015-11-18 2015-11-18 コミュニケーション支援システム、サーバ装置及びプログラム

Country Status (1)

Country Link
JP (1) JP2017098592A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020061615A (ja) * 2018-10-05 2020-04-16 レノボ・シンガポール・プライベート・リミテッド 電子機器及び通信方法並びにプログラム

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000152206A (ja) * 1998-11-13 2000-05-30 Canon Inc 通信会議接続装置、通信会議システム、通信会議の制御方法、及び記憶媒体
JP2004153674A (ja) * 2002-10-31 2004-05-27 Sony Corp カメラ装置
JP2010166235A (ja) * 2009-01-14 2010-07-29 Canon Inc Tv会議システム
JP2011040962A (ja) * 2009-08-10 2011-02-24 Victor Co Of Japan Ltd 通信装置、通信システム及び通信方法
JP2011166693A (ja) * 2010-02-15 2011-08-25 Sharp Corp 情報処理装置、端末装置、情報処理システム、情報処理装置の制御方法、制御プログラム、及び該プログラムを記録したコンピュータ読み取り可能な記録媒体
JP2013009111A (ja) * 2011-06-23 2013-01-10 Oki Electric Ind Co Ltd コミュニケーションシステム及びコミュニケーション装置
JP2015507394A (ja) * 2011-12-06 2015-03-05 アルカテル−ルーセント 空間的ブックマーク
WO2015081029A1 (en) * 2013-11-27 2015-06-04 Ultradent Products, Inc. Video interaction between physical locations

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000152206A (ja) * 1998-11-13 2000-05-30 Canon Inc 通信会議接続装置、通信会議システム、通信会議の制御方法、及び記憶媒体
JP2004153674A (ja) * 2002-10-31 2004-05-27 Sony Corp カメラ装置
JP2010166235A (ja) * 2009-01-14 2010-07-29 Canon Inc Tv会議システム
JP2011040962A (ja) * 2009-08-10 2011-02-24 Victor Co Of Japan Ltd 通信装置、通信システム及び通信方法
JP2011166693A (ja) * 2010-02-15 2011-08-25 Sharp Corp 情報処理装置、端末装置、情報処理システム、情報処理装置の制御方法、制御プログラム、及び該プログラムを記録したコンピュータ読み取り可能な記録媒体
JP2013009111A (ja) * 2011-06-23 2013-01-10 Oki Electric Ind Co Ltd コミュニケーションシステム及びコミュニケーション装置
JP2015507394A (ja) * 2011-12-06 2015-03-05 アルカテル−ルーセント 空間的ブックマーク
WO2015081029A1 (en) * 2013-11-27 2015-06-04 Ultradent Products, Inc. Video interaction between physical locations

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020061615A (ja) * 2018-10-05 2020-04-16 レノボ・シンガポール・プライベート・リミテッド 電子機器及び通信方法並びにプログラム

Similar Documents

Publication Publication Date Title
US9860486B2 (en) Communication apparatus, communication method, and communication system
US9560317B2 (en) Videoconferencing system using QR codes for interaction
US20120081504A1 (en) Audio source locator and tracker, a method of directing a camera to view an audio source and a video conferencing terminal
US10079996B2 (en) Communication system, communication device, and communication method
US20040254982A1 (en) Receiving system for video conferencing system
JP2009089324A (ja) テレビ会議システムおよびプログラム、記録媒体
US10440103B2 (en) Method and apparatus for digital media control rooms
US20190124296A1 (en) On-Demand Real-Time Video Connection for Parties in First-In-First-Out Queues
WO2013178188A1 (zh) 视频会议显示方法及装置
JP2016195304A (ja) 管理プログラム、会議管理方法、及び会議管理サーバ装置
US20170214725A1 (en) Communication Method, Communication System, and Storage Medium Storing Communication Program
JP2017098592A (ja) コミュニケーション支援システム、サーバ装置及びプログラム
JP2013021399A (ja) 撮影依頼装置、撮影依頼装置の制御方法、およびプログラム
JP2010004480A (ja) 撮像装置、その制御方法及びプログラム
JP6500419B2 (ja) 端末装置、通信システム及びプログラム
JP2007221437A (ja) 遠隔会議システム
GB2598897A (en) Virtual meeting platform
JP2017163466A (ja) 情報処理装置および会議システム
TWI626849B (zh) 視訊會議控制方法及裝置
KR20200080041A (ko) 모바일 단말을 이용한 다채널 영상 생성 방법 및 장치
JP2005328461A (ja) テレビ会議装置及び多地点テレビ会議システム
JP2020077997A (ja) 画像処理装置、システム、情報処理方法及びプログラム
JP2015027054A (ja) 通信システム、方法、通信装置およびプログラム
JP7517356B2 (ja) 情報処理システム、通信システム、画像共有方法、プログラム
US11936701B2 (en) Media distribution system, communication system, distribution control apparatus, and distribution control method

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151118

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180706

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190128

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190219

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20190813