以下に本発明の実施の形態を説明するが、請求項に記載の構成要件と、発明の実施の形態における具体例との対応関係を例示すると、次のようになる。この記載は、請求項に記載されている発明をサポートする具体例が、発明の実施の形態に記載されていることを確認するためのものである。したがって、発明の実施の形態中には記載されているが、構成要件に対応するものとして、ここには記載されていない具体例があったとしても、そのことは、その具体例が、その構成要件に対応するものではないことを意味するものではない。逆に、具体例が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その具体例が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
さらに、この記載は、発明の実施の形態に記載されている具体例に対応する発明が、請求項に全て記載されていることを意味するものではない。換言すれば、この記載は、発明の実施の形態に記載されている具体例に対応する発明であって、この出願の請求項には記載されていない発明の存在、すなわち、将来、分割出願されたり、補正により追加される発明の存在を否定するものではない。
請求項1に記載の情報処理装置(例えば、図1の端末1−1)は、所定の空間を共有する複数の他の情報処理装置(例えば、図1の端末1−2)と通信を行う通信手段(例えば、図1の内部通信処理部23)と、他の情報処理装置の、所定の空間における位置情報および方向情報、通信相手に対しての接続要求の度合いを表す接続要求度情報、並びに各方位に対しての接続要求の度合いを表す指向性情報からなる特性情報を取得する特性情報取得手段(例えば、図2の特性情報通信部55)と、自己の特性情報と、特性情報取得手段により取得された他の情報処理装置の特性情報に基づいて、自己と他の情報処理装置との相対特性情報を求めることにより、通信手段による通信における他の情報処理装置に対する接続優先度を算出する優先度算出手段(例えば、図2の優先度算出部57)と、優先度算出手段により算出された他の情報処理装置に対する接続優先度、および相対特性情報の少なくとも1つに基づいて、他の情報処理装置との通信において送信または受信される映像データを調整する映像データ調整手段(例えば、図3の映像調整部85)とを備えることを特徴とする。
請求項2に記載の情報処理装置は、ユーザの動作に対応して、自己の位置情報または方向情報を入力する動作入力手段(例えば、図1の動作入力部26)と、動作入力手段により入力された自己の位置情報または方向情報の変化を検出する変化検出手段(例えば、図2の方向検出部51)とをさらに備え、変化検出手段により自己の位置情報または方向情報の変化が検出された場合、優先度算出手段により算出された他の情報処理装置に対する接続優先度、および相対特性情報は、自己の位置情報または方向情報の変化に応じて更新されることを特徴とする。
請求項6に記載の情報処理装置は、映像データ調整手段により調整された映像データに対応する映像を表示する表示手段(例えば、図3の映像出力部91)をさらに備えることを特徴とする。
請求項7に記載の情報処理装置は、表示手段(例えば、図22のヘッドマウントディスプレイ231)は、ユーザに保持、または装着される構成を有することを特徴とする。
請求項8に記載の情報処理装置は、表示手段は、所定の空間から得られる映像(例えば、図29の映像251a)と、映像データ調整手段により調整された映像データに対応する映像(例えば、図29の映像341)を重ねて表示することを特徴とする。
請求項9に記載の情報処理装置は、所定の空間から得られる映像データと、映像データ調整手段により調整された映像データを合成するデータ合成手段(例えば、図3の混合器86)をさらに備え、表示手段は、データ合成手段により合成された映像データに対応する映像を表示することで、所定の空間から得られる映像と、映像データ調整手段により調整された映像データに対応する映像を重ねて表示することを特徴とする。
請求項10に記載の情報処理装置は、映像データ調整手段により調整された映像データを、他の情報処理装置に送信する送信手段(例えば、図3のデータ送信部102)をさらに備えることを特徴とする。
請求項11に記載の情報処理方法は、所定の空間を共有する複数の他の情報処理装置と通信を行う通信ステップ(例えば、図31のステップS111)と、他の情報処理装置の、所定の空間における位置情報および方向情報、通信相手に対しての接続要求の度合いを表す接続要求度情報、並びに各方位に対しての接続要求の度合いを表す指向性情報からなる特性情報を取得する特性情報取得ステップ(例えば、図17のステップS25)と、自己の特性情報と、特性情報取得ステップの処理により取得された他の情報処理装置の特性情報に基づいて、自己と他の情報処理装置との相対特性情報を求めることにより、通信ステップの処理による通信における他の情報処理装置に対する接続優先度を算出する優先度算出ステップ(例えば、図17のステップS27)と、優先度算出ステップの処理により算出された他の情報処理装置に対する接続優先度、および相対特性情報の少なくとも1つに基づいて、他の情報処理装置との通信において送信または受信される映像データを調整する映像データ調整ステップ(例えば、図20のステップS87)とを含むことを特徴とする。
なお、請求項12に記載の記録媒体および請求項13に記載のプログラムも、上述した請求項11に記載の情報処理方法と基本的に同様の構成であるため、繰り返しになるのでその説明は省略する。
以下、図を参照して本発明の実施の形態について説明する。
図1は、本発明を適用した通信システムの構成例を示している。
この通信システムは、端末1−1が、ネットワーク2を介して、所定の空間(実空間や仮想空間)を共有する複数の端末1(図1の例の場合、端末1−2および1−3)と一度に通信を行う場合に、通信相手の端末1、GPS(Global Positioning System)衛星3、仮想空間管理サーバ4、または基地局5などから、自己および通信相手の情報を取得し、取得した情報に基づいて算出される複数の端末1の接続優先度に応じて、複数の端末1間の通信バランスを制御し、複数の端末1と最適に通信を行うようにするものである。なお、以下、端末1−1乃至1−3を個々に区別する必要がない場合、まとめて端末1とも称する。
図1の例において、インタネットに代表されるネットワーク2には、ユーザaが操作する端末1−1、ユーザbが操作する端末1−2、および端末1−3(ユーザには操作されていない)が接続されている。なお、以下、適宜、ユーザaと端末1−1を合わせてノードAとも称し、ユーザbと端末1−2を合わせてノードBとも称し、端末1−3をノードNとも称する。この例においては、端末1が3台のみ示されているが、ネットワーク2には、任意の台数の端末1が接続される。
ネットワーク2には、また、端末1の画面にCG(Computer Graphic)として表示させる仮想的な空間(仮想空間)や、仮想空間におけるユーザの象徴としてのマスコット(アバタ)の位置情報および方向情報などを管理し、提供する仮想空間管理サーバ4、および、端末1に図示せぬ無線ICタグ(RFID(Radio Frequency Identification))を埋め込むことにより、端末1の位置を検出し、ローカルポジショニングシステム(Local Positioning System)による位置情報などを提供する基地局5などが接続されている。この仮想空間管理サーバ4および基地局5も、任意の台数、ネットワーク2に接続される。
ネットワーク2は、端末1同士、仮想空間管理サーバ4、または基地局5の間で、各端末1の特性情報を通信する通信路である特性情報通信回線11−1、および、端末1間において、各種データを通信する通信路である外部通信回線11−2により構成される。なお、図1の例においては、説明の便宜上、ネットワーク2を2つの通信路に分けて説明するが、実際には、1つの通信路で特性情報も各種データも通信される。また、ネットワーク2は、有線に限らず、無線で構成されてもよい。
端末1−1は、パーソナルコンピュータなどで構成される。端末1−1の接続優先度解析部21、内部通信処理部23、および出力制御部24は、入出力インタフェース25を介して、入出力インタフェース25に適宜装着される動作入力部26、情報入力部27、および出力部28と接続されている。なお、図1においては、図示しないが、入出力インタフェース25には、例えば、出力部28として、マイクロフォンなどで構成される音声入力部、ヘッドフォンやスピーカなどで構成される音声出力部、カメラなどで構成される映像入力部、またはヘッドマウントディスプレイなどで構成される映像出力部なども適宜装着される。
すなわち、動作入力部26または情報入力部27からの情報は、入出力インタフェース25を介して、接続優先度解析部21、内部通信処理部23、または出力制御部24に入力され、内部通信処理部23または出力制御部24からの情報は、入出力インタフェース25を介して、出力部28に出力される。
接続優先度解析部21は、図示せぬGPS機能を搭載しており、GPS衛星3から地球に送出される信号(電波)を受信し、その信号を解析することにより、受信位置(緯度、経度など)を算出し、その位置情報を記憶する。また、接続優先度解析部21は、動作入力部26から入力されるノードAの方向情報も記憶する。
接続優先度解析部21は、端末1−2および1−3と、外部通信回線11−2を介して通信を行う場合、特性情報通信回線11−1を介して、各端末1(または仮想空間管理サーバ4)から、ノードBおよびノードNの特性情報を取得する。なお、ノードAの特性情報も、端末1−2および1−3の要求に応じて、特性情報通信回線11−1を介して送信される。
特性情報は、ノードのID(Identification)情報、所定の空間(実空間または仮想空間)におけるノードの位置や方向の情報、ノードが他のノードとの通信を要求する度合いを表す接続確立指数、および、ノードを中心とした各方向に対しての接続確立指数を表す指向性フィルタ指数情報(以下、指向性フィルタ情報とも称する)などにより構成される。
接続優先度解析部21は、自己の位置情報を基準とした、所定の空間(実空間または仮想空間)で構成される基準空間を設定し、設定した基準空間に、自己および通信相手の特性情報に基づいて、通信相手の位置を配置し、自己と通信相手の相対的な位置や関係を求めることにより、端末1−2および1−3との通信における各ノードの接続優先度を算出し、算出した接続優先度を記憶部22に登録する。
また、接続優先度解析部21は、端末1−2および1−3との通信の途中に、ユーザaの動作や操作に基づいて、動作入力部26から入力されるノードAの方向や位置の変化を検出した場合、情報入力部27からの指示に応じて、接続確立指数や指向性フィルタ情報を変更した場合、または、通信相手の端末1−2または1−3から変更された特性情報が受信された場合など、少なくとも1つの特性情報の変化に応じて、基準空間を更新し、自己と通信相手の相対的な位置や関係を求めて、各ノードの接続優先度を再算出し、算出した接続優先度で、記憶部22に登録される接続優先度を更新する。
なお、接続優先度解析部21は、端末1−2および1−3との通信の途中に、動作入力部26から入力されるノードAの方向や位置の変化を検出した場合、または、情報入力部27からの指示に応じて、接続確立指数や指向性フィルタ情報を変更した場合、通信相手の端末1−2および1−3に、特性情報通信回線11−1を介して、ノードAの特性情報を送信する。
記憶部22には、接続優先度解析部21により算出された通信相手(端末1−2および1−3)の接続優先度が、ID情報に対応付けて、接続優先度リスト(図4)として登録される。記憶部22に登録された接続優先度リストは、自己または通信相手の特性情報の変化が1つでも検出された場合に接続優先度解析部21により改めて算出された接続優先度で更新される。
内部通信処理部23は、外部通信回線11−2を介して、通信が確立された端末1−2および端末1−3からのデータを受信すると、記憶部22に登録される接続優先度リストの情報を参照し、参照した接続優先度リストの情報に応じて、端末1−2と1−3との通信バランスを制御する。
すなわち、内部通信処理部23は、通信中のデータが音声データであれば、例えば、複数端末1のうち、接続優先度の高い端末からの音声データの音量を大きく出力させたり、音質を明瞭にさせたり、音源位置を設定(変更)して出力させるなど、接続優先度リストの情報に応じて、音声データを調整することで、端末1−1内における音声データの通信バランスを制御する。また、内部通信処理部23は、通信中のデータが映像データであれば、接続優先度の低い端末1からの映像データのサイズを小さくしたり、透明度を大きくしたり、表示位置を設定(変更)して出力させるなど、接続優先度リストの情報に応じて、映像データを調整することで、端末1−1内における映像データの通信バランスを制御する。
出力制御部24は、情報入力部27から入力されるユーザの指示に対応して、あるいは、記憶部22の接続優先度リストを監視しており、接続優先度リストが登録されたり、または、接続優先度リストが自己または通信相手の方向や位置の変化に応じて更新されると、各ノードの接続優先度をユーザに通知するための画面データなどを生成し、入出力インタフェース25を介して、出力部28を構成するモニタなどに出力させる。
動作入力部26は、ジャイロセンサ、加速度センサ、電子コンパス、またはチルト(傾斜)センサなどで構成され、ユーザaに装着されたり、端末1−1に設置されている。動作入力部26は、動作入力部26が装着されたユーザaの動作に応じて、または、動作入力部26が設けられた端末1−1を移動させるユーザaの動作に応じて、すなわち、ユーザに連動して、ノードAの位置情報または方向情報を入力する。また、動作入力部26を、ユーザの操作に応じて、ノードAの位置情報または方向情報を入力する方向キーが設けられたコントローラなどで構成するようにしてもよい。
情報入力部27は、キーボードやマウスなどで構成され、ユーザの操作に対応した操作信号を、入出力インタフェース25を介して、接続優先度解析部21、内部通信処理部23、および出力制御部24に入力する。
出力部28は、出力制御部24や内部通信処理部23から入出力インタフェース25を介して入力されるデータに対応して、映像を表示するモニタや、点灯するLED(Light Emitting Diode)などで構成される。
なお、端末1−2および1−3の構成例については、端末1−1の構成例と同様であるので、その説明は省略する。この端末1は、パーソナルコンピュータで構成することができることはもちろん、例えば、携帯電話機、その他のPDA(Personal Digital Assistant)機器や、AV(Audio Visual)機器や家電(家庭用電化製品)などのCE(Consumer Electronics)機器などで構成することもできる。
また、図1の例においては、接続優先度解析部21は、GPS衛星3によるGPS機能を用いて、地球上における位置情報を取得する場合を説明したが、例えば、GPSの場合よりも狭い実空間で、端末1などに無線ICタグが埋め込まれている場合には、基地局5から、ローカルポジショニングシステムによる位置情報を取得するようにしてもよいし、仮想空間を共有する端末同士で通信を行う場合には、仮想空間管理サーバ4から仮想空間における位置情報などを取得するようにしてもよい。仮想空間の場合には、他のノードの特性情報も仮想空間管理サーバ4から取得される。
さらに、図示はしないが、地面に埋め込んだ無線ICタグによる位置検出、電波やレーダを用いた測距機能、端末1にカメラを複数台設け、ステレオ視による測距機能、あるいは、室内空間にカメラを設置し、そのカメラから取得される情報などを用いて位置情報を取得するようにしてもよい。すなわち、この通信システムは、地球上としての広範囲の空間、所定の地域の空間、または室内空間などの大小さまざまな実空間、および仮想空間において適用される。
図2は、端末1の接続優先度解析部の詳細な構成例を示している。
図2の例において、接続優先度解析部21は、方向検出部51、特性情報設定部52、空間情報設定部53、情報取得制御部54、特性情報通信部55、空間情報管理部56、および優先度算出部57により構成される。
方向検出部51は、情報取得制御部54からの制御に応じて、動作入力部26から入力されるユーザ(自己のノード)の方向情報を、自己のノードの現在の方向として設定するとともに、情報取得制御部54に供給する。また、方向検出部51は、動作入力部26から入力される自己のノードの方向や位置の変化を検出した場合、変化が検出された方向情報や位置情報を、情報取得制御部54に供給する。
すなわち、方向検出部51は、自己のノードの方向設定時の方向に対して変化を検出するため、予めキャリブレーション処理として、現在の方向を設定する。なお、位置についても同様に設定するようにしてもよい。具体的には、方向検出部51は、端末1の起動またはリセット時に、動作入力部26を規定の基準位置に適応させたり、動作入力部26を構成する電子コンパスまたはチルトセンサからの情報に基づいて、自己のノードの現在の方向や位置を設定し、設定した自己のノードの現在の方向または位置を基準に、動作入力部26を構成するジャイロセンサ、加速度センサ、またはコントローラからの情報から、自己のノードの方向や位置の変化を検出する。
特性情報設定部52は、情報入力部27から入力されるユーザの指示に対応して、各種設定情報を、情報取得制御部54に供給するとともに、ユーザの指示に応じて、通信の開始や終了などを通知する。すなわち、特性情報設定部52は、情報入力部27から入力されるユーザの指示に対応して、内蔵するメモリ(図示せぬ)に、特性情報のうち、自己のノードのID情報、自己のノードが他のノードとの通信を要求する度合いを表す接続確立指数、および、自己のノードを中心とした各方向に対しての接続確立指数を表す指向性フィルタ指数を設定し、情報取得制御部54に供給する。また、特性情報設定部52は、情報入力部27から入力されるユーザの指示に対応して、自己のノードの接続確立指数および指向性フィルタ指数を変更した場合、変更した自己のノードの接続確立指数および指向性フィルタ指数を、情報取得制御部54に供給する。
空間情報設定部53は、情報入力部27から入力されるユーザの指示に対応して、所定の地域の空間、室内空間、および仮想空間などの中から、基準空間とする空間(すなわち、どの空間を共有する端末と通信を行うか)を設定し、基準空間とする空間の情報を、空間情報管理部56に供給する。
情報取得制御部54は、特性情報設定部52から、自己のノードの接続確立指数および指向性フィルタ指数などが入力されると、方向検出部51、および特性情報通信部55を制御し、自己の方向情報および位置情報、並びに通信相手の特性情報をそれぞれ取得させ、方向検出部51、特性情報設定部52、または特性情報通信部55からの自己および通信相手の特性情報を、空間情報管理部56に供給する。また、情報取得制御部54は、特性情報通信部55を介して受信される通信相手からの要求に応じて、特性情報通信部55を制御し、自己の特性情報を、通信相手に送信させる。
情報取得制御部54は、他の端末1の外部通信回路11−2を介しての通信の途中に、方向検出部51、特性情報設定部52、または特性情報通信部55から自己または通信相手の変更された特性情報が入力された場合、自己または通信相手の変更された特性情報を、空間情報管理部56に供給する。なお、このとき、方向検出部51または特性情報設定部52から変更された自己の特性情報が入力された場合には、変更された自己の特性情報は、特性情報通信部55を介して通信相手の端末1に送信される。
特性情報通信部55は、特性情報送信部61および特性情報受信部62により構成されており、情報取得制御部54の制御のもと、予め端末1内に記憶されている通信相手のアドレス(例えば、IP(Internet Protocol)アドレス、MAC(Media Access Control Address)アドレス、または携帯電話機の番号など)を用いて、特性情報通信回線11−1を介して、各ノードの特性情報を送受信する。
特性情報送信部61は、情報取得制御部54から自己の特性情報の送信が指示された場合、または、通信相手の端末1から特性情報を要求された場合、情報取得制御部54から自己のノードの特性情報を取得し、特性情報通信回線11−1を介して通信相手の各端末1に送信したり、情報取得制御部54の制御のもと、情報通信回線11−1を介して、通信相手の各端末1にそれぞれの特性情報を要求する。
特性情報受信部62は、特性情報送信部61からの要求に応じて、情報通信回線11−1を介して、通信相手の各端末1から送信されてくる、それぞれの特性情報を取得する。また、特性情報受信部62は、図示せぬGPS機能を内蔵しており、情報取得制御部54の制御のもと、GPS衛星3から地球に送出される信号(電波)を受信し、その信号を解析することにより、受信位置(緯度、経度など)を算出し、その位置情報を、情報取得制御部54に供給する。
なお、この位置情報は、端末1に無線ICタグを埋め込めこみ、特性情報受信部62により、基地局5のローカルポジショニングシステムから取得されるようにしてもよい。また、仮想空間管理サーバ4により提供される仮想空間を共有するノード間における通信を行う場合には、特性情報送信部61および特性情報受信部62は、仮想空間管理サーバ4にアクセスし、相互の位置情報および方向情報などを受信し、それらの情報の変化も検出する。この場合、仮想空間管理サーバ4に各ノードの特性情報のうち、必要に応じたもの(すべても含む)を管理させるようにしてもよい。
空間情報管理部56は、空間情報設定部53からの基準とする空間情報に基づいて、情報取得制御部54から入力されるユーザの位置情報を基準位置とし、自己を基準とした自己のノードの基準空間を定義する。空間情報管理部56は、情報取得制御部54から自己および通信相手の特性情報が入力されると、自己および通信相手の特性情報に基づいて、自己のノードの基準空間に、通信相手のノードを配置したり、各情報を反映させることにより自己のノードの基準空間を設定し、設定された自己のノードの基準空間を管理し、優先度算出部57に供給する。
また、空間情報管理部56は、すでに自己のノードの基準空間が管理されている場合に、情報取得制御部54から自己または通信相手の特性情報が入力されると、入力された特性情報に基づいて、記憶されている自己のノードの基準空間を更新するとともに、優先度算出部57に供給する。
優先度算出部57は、空間情報管理部56により供給された自己のノードの基準空間を用いて、自己と通信相手の相対的な位置や関係を表す相対的な特性情報(相対特性情報)を求めることにより、自己のノードから通信相手の各ノードまでの接続優先度を算出し、各ノードに関する接続優先度をID情報に対応付けて記憶部22の接続優先度リストに記憶する。このとき、優先度算出部57は、優先度を算出する際に求めた自己と通信相手の相対特性情報(例えば、相対方位情報、相対位置情報や相対距離情報など)もID情報に対応付けて記憶部22の接続優先度リストに記憶する。
なお、図2の例においては、位置情報の変化の検出は、方向検出部51により検出される場合を説明したが、方向検出部51による位置情報の変化の検出は、例えば、室内空間においてなどあまり広くない空間の場合に用いられる。したがって、GPS機能により位置情報の変化が取得されるような大きな空間の場合には、位置情報の変化は、特性情報受信部62が内蔵する図示せぬGPS機能が用いられて検出されるように構成される。
図3は、端末1の内部通信処理部の詳細な構成例を示している。図3の例の場合、例えば、複数の端末1間で外部通信回線11−2を介して相互に映像データを通信する場合において、それぞれの映像データのサイズ、透明度、または表示位置などが、対応する接続優先度や相対特性情報などに応じて調整される、すなわち、端末1内において、映像データの通信バランスが制御される場合の例を説明する。
内部通信処理部23は、通信制御部81、優先度情報取得部82、外部通信インタフェース(I/F)83、コーデック部84、映像調整部85、混合器86、および分配器87により構成される。また、図3の例においては、入出力インタフェース25には、さらに、出力部82としての通信相手に対応する映像データに対応する映像を出力するLCDやヘッドマウントディスプレイなどからなる映像出力部91、および、被写体を撮像し、撮像した映像に対応する映像データを入力するカメラなどからなる映像入力部92も装着されている。
通信制御部81は、情報入力部27から入力されるユーザの指示、または優先度情報取得部82からの通知に対応して、外部通信インタフェース83を制御し、外部通信回線11−2を介して、通信相手の端末1と通信を行わせる。また、通信制御部81は、外部通信インタフェース83により受信されたノードのID情報を優先度情報取得部82に供給し、ID情報に対応するノードの接続優先度リストの情報(例えば、接続優先度、および相対方位情報などの相対特性情報)を取得させ、映像調整部85を制御し、優先度情報取得部82からのノードの接続優先度リストの情報に応じて映像データを調整させる。
優先度情報取得部82は、記憶部22の接続優先度リストを監視し、接続優先度リストが登録されると、通信制御部81に通知する。また、優先度情報取得部82は、通信制御部81から供給されるID情報に対応する接続優先度リストの情報を記憶部22から取得し、取得した接続優先度リストの情報を通信制御部81に供給する。なお、図3の例においては、接続優先度および相対方位情報が用いられる場合を説明するが、接続優先度リストに登録されている情報であれば、どの情報を用いるようにしてもよい。
その後、優先度情報取得部82は、通信制御部81から供給されたID情報に対応する接続優先度および相対方位情報を監視し、接続優先度および相対方位情報が変更されたと判定した場合、変更された接続優先度および相対方位情報を取得し、取得した接続優先度および相対方位情報を通信制御部81に供給する。
外部通信インタフェース83は、データ受信部101およびデータ送信部102により構成され、通信制御部81の制御のもと、外部通信回線11−2を介して、通信相手の端末と接続(回線を確立)し、映像データを送受信する。データ受信部101は、外部通信回線11−2を介して映像データを受信すると、受信した映像データをコーデック部84に供給するとともに、その映像データに付加されているノードのID情報を取り出し、取り出したID情報を通信制御部81に供給する。データ送信部102は、通信制御部81の制御のもと、コーデック部84により符号化された映像データを外部通信回線11−2を介して対応する端末1に送信する。
コーデック部84は、復号部103および符号化部104により構成される。復号部103は、データ受信部101により受信された映像データを復号し、復号された映像データを映像調整部85に供給する。符号化部104は、映像調整部85によりサイズ、透明度、表示位置などが調整された映像データを符号化し、符号化された映像データをデータ送信部102に供給する。例えば、コーデック部84においては、MPEG(Moving Picture Experts Group)2などの符号化方法が用いられる。
映像調整部85は、出力映像調整部105および入力映像調整部106により構成され、通信制御部81の制御のもと、接続優先度や相対方位情報に応じて(すなわち、接続優先度や相対方位情報に応じた重み付けをして)、入力される映像データのサイズ、透明度、および表示位置などの映像特性情報の調整を行う。
出力映像調整部105は、復号部103からの映像データを、通信制御部81の制御のもと、優先度情報取得部82からの各ノードの接続優先度や相対方位情報に応じた映像に調整することにより、端末1内における映像データの通信バランスを制御し、混合器86に出力する。入力映像調整部106は、分配器87からの映像データを、通信制御部81の制御のもと、優先度情報取得部82からのノードの接続優先度や相対方位情報に応じた映像に調整することにより、端末1内における映像データの通信バランスを制御し、符号化部104に出力する。
すなわち、出力映像調整部105および入力映像調整部106においては、映像データを、各ノードの接続優先度や相対方位情報に応じて調整することにより、複数端末間の通信路の通信バランスではなく、端末1内における映像データの通信バランスが制御される。
なお、図3の例の場合、データ受信部101は、ノードB(端末1−2)からの映像データAb1を受信するデータ受信部101−1、ノードN(端末1−3)からの映像データAn1を受信するデータ受信部101−2、…として、通信相手に応じて分けて構成されており、データ送信部102は、ノードBに対しての映像データAb2を送信するデータ送信部102−1、ノードNに対しての映像データAn2を送信するデータ送信部102−2、…として、通信相手に応じて分けて構成されている。
また、出力映像調整部105は、ノードBからの映像データAb1のサイズ、透明度、および表示位置などを調整する出力映像調整部105−1、ノードNからの映像データAn1のサイズ、透明度、および表示位置などを調整する出力映像調整部105−2、…として、通信相手に応じて分けて構成されており、入力映像調整部106は、ノードBに対しての映像データAb2のサイズ、透明度、および表示位置などを調整する入力映像調整部106−1、ノードNに対しての映像データAn2のサイズ、透明度、および表示位置などを調整する入力映像調整部106−2、…として、通信相手に応じて分けて構成されている。
すなわち、データ受信部101−1は、ノードBからの映像データAb1を受信し、復号部103を介して、出力映像調整部105−1に供給する。出力映像調整部105−1は、ノードBからの映像データAb1のサイズ、透明度、および表示位置などを、ノードBの接続優先度に応じて調整し、混合器86に供給する。データ受信部101−2は、ノードNからの映像データAn1を受信し、復号部103を介して、出力映像調整部105−2に供給する。出力映像調整部105−2は、ノードNからの映像データAn1のサイズ、透明度、および表示位置などを、ノードNの接続優先度に応じて調整し、混合器86に供給する。
また、入力映像調整部106−1は、分配器87からの映像データのサイズ、透明度、および表示位置などを、ノードBの接続優先度に応じて調整し、映像データAb2として、符号化部104を介して、データ送信部102−1に供給する。データ送信部102−1は、ノードBに対しての映像データAb2を、対応する端末1−2に送信する。入力映像調整部106−2は、分配器87からの映像データのサイズ、透明度、および表示位置などを、ノードNの接続優先度に応じて調整し、映像データAn2として、符号化部104を介して、データ送信部102−2に供給する。データ送信部102−2は、ノードNに対しての映像データAn2を、対応する端末1−3に送信する。
混合器86は、出力映像調整部105−1、105−2、…からのサイズ、透明度、および表示位置などが調整された映像データを混合し、混合した映像データを、入出力インタフェース25を介して、映像出力部91から出力させる。分配器87は、映像入力部92から入力された映像データを、入出力インタフェース25を介して入力し、入力映像調整部106−1、106−2、…に分配する。
映像出力部91は、混合器86から入力される映像データに対応する映像を出力する。映像入力部92は、被写体を撮像し、撮像した映像に対応する映像データを分配器87に供給する。なお、映像入力部92からの映像データは、記憶部22に記憶されるようにしてもよい。
なお、図3の例においては、出力映像調整部105が外部通信回線11−2を介して受信した映像データを調整し、入力映像調整部106が映像入力部92から入力された映像データを調整するようにしたが、記憶部22に記憶されている映像データを調整させてもよい。
例えば、記憶部22の接続優先リストに各ノードの映像データがID情報に関連付けて登録されている場合には、接続優先度を読み出す際に、映像データも取得して、それを復号させたのち、出力映像調整部105に調整させて、映像出力部91に表示させるようにしてもよい。
また、映像入力部92からの映像データの代わりに、記憶部22に記憶されている映像データを読み出し、復号させた後、分配器87で分配させ、出力映像調整部105に調整させて、他の情報処理装置に送信させるようにしてもよい。
図4は、記憶部22に登録される接続優先度リストの構成例を示している。接続優先度リストは、ID情報に対応付けてリスト形式で記憶部22に登録される。
図4の例の場合、接続優先度リストは、「ノード名」、優先度算出部57により算出された「接続優先度」、接続を優先する「順位」、およびノードの位置情報である「位置」により構成される。
例えば、図4の接続優先度リストには、「ノードB」は、接続優先度が「100」で、順位が「1」であることが登録されており、「ノードN」は、接続優先度が「65」で、順位が「2」であることが登録されている。
次に、図5を参照して、空間情報管理部56において設定されるノードAの基準空間について説明する。図5の例においては、ノードAの位置を中心(原点)としたノードAの基準空間座標がx,yの2次元で示されている。なお、基準空間は、実際には、x,y,zの3次元で構成される。
ノードAの基準空間座標において、ノードAの位置を中心に、y軸の図中上方向が0度として設定され、0度から時計回りに360度の方位(θ)が設定されている。すなわち、図5の例の場合、ノードAの正面方向paは、0度の方位を向いている。また、ノードAの基準空間座標には、各ノードの特性情報に基づいて、正面方向pbを向くノードB、正面方向pcを向くノードC、および正面方向pnを向くノードNが配置されている。また、ノードAの基準空間座標において、原点(ノードA)を中心とする6つの円の半径は、ノードAからの距離をそれぞれ示す。例えば、説明の便宜上、最内周の円の半径を10m、次の円の半径を20m、…、最外周の円の半径を60mとして説明する。
具体的には、ノードAの基準空間座標において、ノードBは、原点に対して、略315度の方位の、半径55m(略)離れた位置に、略225度の方位を正面方向pbとして配置されている。ノードCは、原点に対して、略70度の方位の、半径45m(略)離れた位置に、略70度の方位を正面方向pcとして配置されている。ノードNは、原点に対して、略225度の方位の、半径40m(略)離れた位置に、略135度の方位を正面方向pnとして配置されている。
さらに、図5の例において、ノードAを囲む指向性フィルタfaは、ノードAの正面方向paの背面方向が凹んだ形状をしている円で表されており、これは、ノードAが、正面指向性型の指向性フィルタ情報を有することを表している。ノードBを囲む無指向性フィルタNfb、ノードCを囲む無指向性フィルタNfc、ノードNを囲む無指向性フィルタNfnは、正円で示されており、これは、各ノードが、無指向性型の指向性フィルタ情報を有していることを表している。
ここで、指向性フィルタ情報について、図6を参照して説明する。指向性フィルタ情報とは、x,y,zの3次元の空間における方位(すなわち、xy平面上における角度θ(deg)およびyz平面における角度φ(deg))への通信に対する要望の大きさである指向性フィルタ指数f(θ,φ)を表すものである。この指向性フィルタ情報は、ユーザによる情報入力部27の操作に応じて変更が可能である。
図6の例においては、説明の便宜上、3次元のうち、z次元が省略された、すなわち、3次元のうち、x,yの2次元(xy平面)における、各方位に対する指向性フィルタ指数f(θ,φ)を表すグラフが示されている。
このグラフにおいて、原点は、指向性フィルタの中心であるノード位置を示し、xy平面の各円は、−50(原点)から、−10刻みの指向性フィルタ指数を表している。また、グラフにおいては、y軸上において上方向が0度を表し、360度の方位が0度から時計回りに設定されており、0度の方位を正面方向とした正面指向性型の指向性フィルタ131と、無指向性型の指向性フィルタ132の指向性フィルタ指数が示されている。
正面指向性型の指向性フィルタ131は、正面方向qの方位に対しては、指向性フィルタ指数が略3と大きく、正面方向qの方位から、原点を中心に背面方向に回動するにつれて、指向性フィルタ指数がだんだん小さくなり、背面方向(180度)の方位に対しては、略−40と小さくなっていく、凹んだ形状の指向性フィルタ指数を有している。
無指向性型の指向性フィルタ132は、どの方位に対しても一定で同じ大きさ(略0)である(すなわち、無指向である)正円の形状の指向性フィルタ指数を有している。
なお、縦軸を指向性フィルタ指数f(θ,φ)とし、横軸を方位θとした図7のグラフにおいても同様に、正面指向性型の指向性フィルタ131の場合、正面方向q(0度)の方位における指向性フィルタ指数が、略3であり、原点を中心に、背面方向に回動するにつれて、指向性フィルタ指数がだんだん小さくなり、背面方向(180度)の方位における指向性フィルタ指数が、略−40であることが示されており、無指向性型の指向性フィルタ132の場合、どの方位に対する指向性フィルタ指数も、略0であることが示されている。
したがって、図5に戻って、ノードAの基準空間座標において、ノードAが指向性フィルタfaを有することにより、ノードAの正面方向paから±60度以内に位置するノードBへの指向性フィルタ指数が一番大きく、ノードAの正面方向paから±120度以内に位置するノードCへの指向性フィルタ指数が、ノードBの指向性フィルタ指数よりも小さく、ノードAの背面方向から±60度以内に位置するノードNへの指向性フィルタ指数が一番小さいことがわかる。
以上のように、図5のノードAの基準空間座標においては、無指向性フィルタNfb、無指向性フィルタNfc、および無指向性フィルタNfnをそれぞれ有するノードB、ノードCおよびノードNの正面方向に応じて各ノードの指向性フィルタ情報は変化しないが、指向性フィルタfaを有するノードAの正面方向paに応じてノードAの指向性フィルタ情報は変化する。
そして、ノードA(端末1−1)においては、図5に示されるように、各ノードが配置され、指向性フィルタ情報などの各特性情報が反映(設定)されたノードAの基準空間を参照して、ノードAから各ノードXへの接続優先度YAXが算出される。すなわち、接続優先度YAXは、次の式(1)で表される。
YAX = PA×fA(θAX,φAX)÷LAX×fX(θXA,φXA)×PX
・・・(1)
ここで、PAは、ノードAの接続確立指数を表し、PXは、ノードXの接続確立指数を表し、LAXは、ノードAからノードXの距離に応じて大きくなる接続優先度減衰指数を表す。また、fA(θAX,φAX)は、ノードAの指向性フィルタのノードAからみたノードA方向における指向性フィルタ指数を表し、fX(θXA,φXA)は、ノードXの指向性フィルタのノードXからみたノードA方向における指向性フィルタ指数を表す。
なお、接続優先度の算出に必要な各ノードの特性情報(すなわち、位置情報、方向情報、ID情報、指向性フィルタ指数情報、接続確立指数情報)のうち取得できないものがある場合には適宜、規定値を入力するようにして接続優先度の算出を行うようにしてもよい。
次に、ノードAの基準空間を用いて算出される複数ノード間における接続優先度のシミュレーション結果について、図8乃至図14を参照して説明する。
図8は、各シミュレーションに用いられるノードAの基準空間の座標を説明する図である。図9、図11、および図13は、各シミュレーションの内容をそれぞれ説明する図であり、図10、図12、および図14は、図9、図11、および図13のシミュレーション結果である接続優先度の遷移をそれぞれ説明する図である。
まず、図8を参照して、各シミュレーションにおいて用いられるノードAの基準空間の座標を説明する。
図8の例においては、ノードAの基準空間座標と、ノードAとノードAの基準空間座標に配置される各ノードとの相対位置表が示されている。なお、図8に示されるノードAの基準空間座標は、図5の基準空間座標と同様に構成されており、y軸の上方向(図中上方向)が0度として設定され、0度から時計回りに360度の方位(θ)が設定されている。すなわち、図8の例においても、ノードAの正面方向paは、0度の方位を向いている。また、ノードAの基準空間において、原点(ノードA)を中心とする6つの円(点線)の半径は、ノードAからの距離をそれぞれ示し、最内周の円の半径を10m、次の円の半径を20m、…、最外周の円の半径を60mとして説明する。
図8の例の場合、ノードAの座標は、座標[0,0]([x座標,y座標]を示す)である。ノードAの基準空間座標には、各ノードの特性情報に基づいて、ノードB、ノードCおよびノードDが配置されている。
まず、ノードBは、ノードAとの相対距離Dabが40mで、ノードAとの相対方位θabが315度(−45度)で、座標[xb,yb]の位置に配置されている。ノードCは、ノードAとの相対距離Dacが30mで、ノードAとの相対方位θacが90度で、座標[xc,yc]の位置に配置されている。ノードDは、ノードAとの相対距離Dadが25mで、ノードAとの相対方位θadが157.5度で、座標[xd,yd]の位置に配置されている。
なお、このノードAの基準空間座標は、各ノードの特性情報が、GPS機能などによりそれぞれのノードで取得された後、各ノード間で送受信されて設定されたものである。
以上のように構成されるノードAの基準空間座標が用いられて、図9、図11、および図13に示されるシミュレーションが実行される。また、これらのシミュレーションにおいては、ノード間の距離に応じて大きくなる接続優先度減衰指数の算出方法の一例として、自由空間中における2.4GHz帯電磁波の電波損失の算出方法が用いられるとする。自由空間中における2.4GHz帯電磁波の電波損失L[dB]は、次の式(2)で表される。
L[dB]= 10 log(4πd/λ)2 = 10 log(4πfd/c)2
・・・(2)
ここで、λは、波長[m]を表し、dは、電波距離[m]を表し、fは、周波数[Hz]を表し、cは、光速(3.0*108)[m/s]を表す。
さらに、これらのシミュレーションにおいては、各ノードの接続確立指数は、0[dB]が用いられる。また、図5を参照して上述した指向性フィルタ指数f(θ,φ)の単位にも、[dB]を用いることとする。
次に、図9および図10を参照して、ノードAだけが正面指向性型の指向性フィルタを用いる場合のシミュレーション結果について説明する。
図9の例においては、ノードAだけが正面指向性型の指向性フィルタを用いる場合の図8のノードAの基準空間座標が示されている。この場合、ノードAは、図6を参照して上述した正面指向性型の指向性フィルタfaを有しており、ノードAの正面方向paは、y軸の上方向を向いている。また、ノードAの基準空間座標に配置されるノードB、ノードC、およびノードDは、それぞれ、無指向性フィルタNfb、無指向性フィルタNfc、および無指向性型の指向性フィルタNfdを有している。
すなわち、図9のノードAの基準空間座標においては、無指向性フィルタNfb、無指向性フィルタNfc、および無指向性フィルタNfdをそれぞれ有するノードB、ノードCおよびノードDの正面方向に応じて各指向性フィルタ情報は変化しないが、指向性フィルタfaを有するノードAの正面方向に応じて、ノードAの指向性フィルタ情報は変化する。
したがって、図9のノードAの基準空間座標において、ノードAの正面方向paが各方位を向いた場合、式(1)および式(2)を用いて算出される図9のノードAの基準空間座標におけるノードAと各ノード間の接続優先度も、ノードAの正面方向paが向いた方位(θ)に応じて、図10に示されるように遷移する。
図10は、図9のノードAの基準空間座標におけるノードAの正面方向paに対する、ノードAと各ノード間の接続優先度の遷移を示すグラフである。図10においては、縦軸が接続優先度[dB]を表し、横軸は、ノードAの基準空間座標におけるノードAの正面方向paの向き(θ)(すなわち、ノードAの基準空間座標において、ノードAの正面方向が向いた方向)を表している。なお、図10の例においては、図9における方位(θ)である180度乃至360度は、−180度乃至0度に換算されている。
ノードBは、ノードAの基準空間座標において、ノードAとの相対距離Dabが40mで、ノードAとの相対方位θabが−45(315)度の方位に位置している。したがって、図10に示されるノードAとノードB間の接続優先度Qabは、ノードAの正面方向paが−45度の方位を向いたときに略−71[dB]と一番高くなり、ノードAの正面方向paの向きが、−45度の方位からノードAを中心に回動していくにつれてだんだん下がっていき、ノードAの正面方向paが90度または180度を向いたときに、略−91[dB]になり、図示されないが、ノードAの正面方向paが135度を向いたときに一番低くなる。
同様に、ノードCは、ノードAの基準空間座標において、ノードAとの相対距離Dacが30mで、ノードAとの相対方位θacが90度の方位に位置している。したがって、図10に示されるノードAとノードC間の接続優先度Qacは、ノードAの正面方向paが90度の方位を向いたときに略−67[dB]と一番高くなり、ノードAの正面方向paの向きが、90度の方位からノードAを中心に回動していくにつれてだんだん下がっていき、ノードAの正面方向paが−45(315)度または225度を向いたときに、略−89[dB]になり、図示されないが、ノードAの正面方向paが270度を向いたときに一番低くなる。
ノードDは、ノードAの基準空間座標において、ノードAとの相対距離Dadが25mで、ノードAとの相対方位θadが157.5度の方位に位置している。したがって、図10に示されるノードAとノードD間の接続優先度Qadは、ノードAの正面方向paが157.5度の方位を向いたときに略−66[dB]と一番高くなり、ノードAの正面方向paの向きが、157.5度の方位からノードAを中心に回動していくにつれてだんだん下がっていき、ノードAの正面方向paが22.5度または−67.5(292.5)度を向いたときに、略−87[dB]になり、図示されないが、ノードAの正面方向paが−22.5(337.5)度を向いたときに一番低くなる。
以上により、ノードAが正面指向性型の指向性フィルタfaを有している図9の基準空間座標におけるノードAと各ノード間の接続優先度を比較した場合、ノードAの正面方向paが−45度の方位(すなわち、ノードB方向)を向いたとき、点線L1上の丸に示されるように、接続優先度Qab(略−71[dB])>>接続優先度Qac(略−89[dB])>接続優先度Qad(−90[dB]以下)となる。
また、ノードAの正面方向paが90度の方位(すなわち、ノードC方向)を向いたとき、点線L2上の丸に示されるように、接続優先度Qac(略−67[dB])>接続優先度Qad(略−72[dB])>>接続優先度Qab(略−91[dB])となる。
さらに、ノードAの正面方向paが157.5度の方位(すなわち、ノードD方向)を向いたとき、点線L3上の丸に示されるように、接続優先度Qad(略−66[dB])>>接続優先度Qac(略−73[dB])>>接続優先度Qab(−90[dB]以下)となる。
なお、ノードAが正面指向性型の指向性フィルタを持たない基準空間座標、すなわち、各ノードが無指向性フィルタを有する基準空間座標におけるノードAと各ノード間の接続優先度を比較した場合には、ノードAの正面方向の向きは各ノードとの接続優先度には影響せず、相対距離に応じて、接続優先度Qad(略−66[dB])>接続優先度Qac(略−67[dB])>接続優先度Qab(略−71[dB])となる。
以上のように、ノードAのみが正面指向性型の指向性フィルタを有している図9の場合、ノードAの正面方向の向きに応じて、各ノードの接続優先度が遷移し、ノードAの正面方向の向きにあるノードの接続優先度が他のノードの接続優先度よりも大きくなることがわかる。
次に、図11および図12を参照して、ノードDだけが正面指向性型の指向性フィルタを用いる場合のシミュレーション結果について説明する。
図11の例においては、ノードDだけが正面指向性型の指向性フィルタを用いる場合の図8のノードAの基準空間座標が示されている。この場合、ノードAは、無指向性フィルタNfaを有しており、ノードAの基準空間座標に配置されるノードB、ノードC、およびノードDは、それぞれ、無指向性フィルタNfb、無指向性フィルタNfc、および、図6を参照して上述した正面指向性型の指向性フィルタfdを有している。
図11の例の場合、ノードDの正面方向pdは、上方向(0度の方位)を向いており、図11のノードAの基準空間においては、無指向性フィルタNfa、無指向性フィルタNfb、および無指向性フィルタNfcをそれぞれ有するノードA、ノードB、およびノードDの正面方向に応じて各指向性フィルタ情報は変化しないが、指向性フィルタfdを有するノードDの正面方向に応じて、ノードDの指向性フィルタ情報は変化する。
したがって、図11のノードAの基準空間座標において、ノードDの正面方向pdが各方位を向いた場合、式(1)および式(2)を用いて算出される図11のノードAの基準空間座標におけるノードAとノードD間の接続優先度も、ノードDの正面方向pdが向いた方位(θ)に応じて、図12に示されるように遷移する。なお、ノードAと、ノードBおよびノードC間の接続優先度は変わらない。
図12は、図11のノードAの基準空間座標におけるノードDの正面方向pdに対する、ノードAと各ノード間の接続優先度の遷移を示すグラフである。図12においては、縦軸が接続優先度[dB]を表し、横軸は、ノードAの基準空間座標におけるノードDの正面方向pdの向き(θ)(すなわち、ノードAの基準空間座標において、ノードDの正面方向が向いた方向)を表している。なお、図12の例においては、図11における方位(θ)である180度乃至360度は、−180度乃至0度に換算されている。
図11の場合、ノードAは無指向性フィルタNfaを有しており、ノードAの正面方向の向きは各ノードとの接続優先度には影響しない。したがって、図12に示されるノードAとノードB間の接続優先度Qabは、ノードAとノードBとの相対距離Dab(40m)に応じて、ノードDの正面方向とは無関係に、−73[dB]と一定である。同様に、図12に示されるノードAとノードC間の接続優先度Qacは、ノードAとノードCとの相対距離Dac(30m)に応じて、ノードDの正面方向とは無関係に、略−69[dB]と一定である。
ここで、ノードDは、ノードAの基準空間座標において、ノードAとの相対方位φadが157.5度の方位に位置しており、正面指向性型の指向性フィルタfdを有している。したがって、図12に示されるノードAとノードD間の接続優先度Qadは、ノードDの正面方向pdが−22.5(337.5)度の方位(すなわち、ノードA方向)を向いたときに略−66[dB]と一番高くなり、ノードDの正面方向pdの向きが、−22.5度の方位からノードDを中心に回動していくにつれてだんだん下がっていき、ノードDの正面方向pdが112.5度または202.5(−157.5)度を向いたときに、略−87[dB]になり、図示されないが、ノードDの正面方向pdが157.5度の方位(すなわち、ノードAの逆方向)を向いたときに一番低くなる。
以上により、ノードDが正面指向性型の指向性フィルタfdを有している図11の基準空間座標におけるノードAと各ノード間の接続優先度を比較した場合、ノードDの正面方向pdが−22.5度の方位(すなわち、ノードA方向)を向いたとき、点線L11上の丸に示されるように、接続優先度Qad(略−66[dB])>接続優先度Qac(略−69[dB])>接続優先度Qab(略−73[dB])となる。
また、ノードDの正面方向pdが157.5度の方位(すなわち、ノードAの逆方向)を向いたとき、点線L12上の丸に示されるように、接続優先度Qac(略−69[dB])>接続優先度Qab(略−73[dB])>>接続優先度Qad(−90[dB]以下)となる。
以上のように、ノードDのみが正面指向性型の指向性フィルタを有している場合、ノードDの正面方向の向きに応じて、ノードAとノードD間の接続優先度が遷移し、ノードDの正面方向がノードAを向くことにより、ノードDの接続優先度が他のノードの接続優先度よりも大きくなることがわかる。
次に、図13および図14を参照して、ノードAおよびノードDが正面指向性型の指向性フィルタを用いる場合のシミュレーション結果について説明する。
図13の例においては、ノードAおよびノードDが正面指向性型の指向性フィルタを用いる場合の図8のノードAの基準空間座標が示されている。この場合、ノードAは、図6を参照して上述した正面指向性型の指向性フィルタfaを有しており、ノードAの基準空間座標に配置されるノードB、ノードC、およびノードDは、それぞれ、無指向性フィルタNfb、無指向性フィルタNfc、および、正面指向性型の指向性フィルタfdを有している。
図13の例の場合、ノードAの正面方向paは、図中上方向を向いており、ノードDの正面方向pdは、図中右方向(90度の方位)を向いている。図13のノードAの基準空間においては、無指向性フィルタNfb、および無指向性フィルタNfcをそれぞれ有するノードB、およびノードDの正面方向に応じて各指向性フィルタ情報は変化しないが、指向性フィルタfaを有するノードAの正面方向に応じて、ノードAの指向性フィルタ情報は変化し、指向性フィルタfdを有するノードDの正面方向に応じて、ノードDの指向性フィルタ情報は変化する。
したがって、図13のノードAの基準空間座標において、ノードAの正面方向paが各方位を向いた場合、式(1)および式(2)を用いて算出される図13のノードAの基準空間座標におけるノードAと各ノード間の接続優先度も、ノードAの正面方向paが向いた方位(θ)に応じて、図14に示されるように遷移し、さらに、ノードDの正面方向pdが各方位を向いた場合、ノードAとノードD間の接続優先度は、ノードDの正面方向pdが向いた方位(θ)に応じて遷移する。
図14は、図13のノードAの基準空間座標におけるノードAの正面方向に対する、ノードAと各ノード間の接続優先度の遷移を示すグラフである。なお、図14のグラフは、図10のグラフにおいて、ノードDの接続優先度の遷移が異なるだけである。
すなわち、ノードDは、ノードAの基準空間座標において、ノードAとの相対距離Dadが25mで、ノードAとの相対方位θadが157.5度の方位に位置しており、さらに、正面指向性型の指向性フィルタfdを有している。
したがって、ノードDの正面方向pdが−22.5度の方位(すなわち、ノードA方向)を向いている場合、図14に示されるノードAとノードD間の接続優先度Qad−1は、ノードAの正面方向paが157.5度の方位(ノードD方向)を向いたときに略−64[dB]と一番高くなり、ノードAの正面方向paの向きが、157.5度の方位からノードAを中心に回動していくにつれてだんだん下がっていき、ノードAの正面方向paが22.5度または−67.5(292.5)度を向いたときに、略−85[dB]になり、図示されないが、ノードAの正面方向paが−22.5(337.5)度の方位(ノードDとは逆方向)を向いたときに一番低くなる。
さらに、例えば、ノードDの正面方向pdが90度の方位を向いている場合、図14に示されるノードAとノードD間の接続優先度Qad−2(一点鎖線)は、ノードAの正面方向paが157.5度の方位(ノードD方向)を向いたときに略−78[dB]と一番高くなり、ノードAの正面方向paの向きが、157.5度の方位からノードAを中心に回動していくにつれてだんだん下がっていき、ノードAの正面方向paが60度または−100(260)度を向いたときに、略−90[dB]になり、図示されないが、ノードAの正面方向paが22.5(337.5)度を向いたときに一番低くなる。
すなわち、ノードAの正面方向paが157.5度の方位(ノードD方向)を向いている場合、ノードAとノードD間の接続優先度Qadは、ノードDの正面方向pdが−22.5度の方位(ノードA方向)(接続優先度Qad−1)を向いたときに略−64[dB]と一番高くなり、ノードDの正面方向pdの向きが、−22.5度の方位からノードAを中心に回動していくにつれてだんだん下がっていき、ノードDの正面方向pdが90度の方位(接続優先度Qad−2)を向いたときに、略−78[dB]になり、図示されないが、ノードDの正面方向pdが157.5度を向いたときに一番低くなる。
以上により、ノードAおよびノードDが正面指向性型の指向性フィルタを有している図13の基準空間座標におけるノードAと各ノード間の接続優先度を比較した場合、ノードAの正面方向paが−45度の方位(すなわち、ノードB方向)を向き、ノードDが−22.5度の方位(すなわち、ノードA方向)を向いたとき、点線L21上の丸に示されるように、接続優先度Qab(略−71[dB])>>接続優先度Qac(略−89[dB])>接続優先度Qad−1(−90[dB]以下)となる。ノードAの正面方向paが−45度の方位(すなわち、ノードB方向)を向き、ノードDが90度の方位を向いたとき、点線L21上の丸に示されるように、接続優先度Qab(略−71[dB])>>接続優先度Qac(略−89[dB])>接続優先度Qad−2(−90[dB]以下)となる。
また、ノードAの正面方向paが90度の方位(すなわち、ノードC方向)を向き、ノードDが−22.5度の方位(すなわち、ノードA方向)を向いたとき、点線L22上の丸に示されるように、接続優先度Qac(略−67[dB])>接続優先度Qad−1(略−69[dB])>>接続優先度Qab(略−91[dB])となる。ノードAの正面方向paが90度の方位(すなわち、ノードC方向)を向き、ノードDが90度の方位を向いたとき、接続優先度Qac(略−67[dB])>接続優先度Qad−2(略−83[dB])>>接続優先度Qab(略−91[dB])となる。
さらに、ノードAの正面方向paが157.5度の方位(すなわち、ノードD方向)を向き、ノードDが−22.5度の方位(すなわち、ノードA方向)を向いたとき、点線L23上の丸に示されるように、接続優先度Qad−1(略−64[dB])>>接続優先度Qac(略−73[dB])>>接続優先度Qab(−90[dB]以下)となる。ノードAの正面方向paが157.5度の方位(すなわち、ノードD方向)を向き、ノードDが90度の方位を向いたとき、接続優先度Qac(略−73[dB])>接続優先度Qad−2(略−78[dB])>接続優先度Qab(−90[dB]以下)となる。
以上のように、ノードAおよびノードDが正面指向性型の指向性フィルタを有している場合、ノードAの正面方向の向きに応じて、各ノードの接続優先度が遷移し、ノードDの正面方向の向きに応じて、さらに、ノードAとノードD間の接続優先度が遷移する。したがって、ノードAとノードDが互いの方向を向いたとき、ノードDの接続優先度が他のノードの接続優先度よりも大きくなることがわかる。
以上の3種類のシミュレーション結果のように、各ノードが有する特性情報(すなわち、位置情報、方向情報、ID情報、指向性フィルタ指数情報、接続確立指数情報)を用いて、自己と通信相手の相対的な位置や関係を表す相対特性情報を求めることにより、ある時点におけるノードAと各ノード間での接続優先度を算出し、算出された接続優先度を比較することにより、通信を行う複数のノードの中で優先順位を付与することができる。
また、各ノードの接続優先度は、動作入力部26からのノードの方向情報を変化させる(すなわち、ユーザが動作入力部26を動作させる)ことにより調整が可能であり、図6を参照して上述したような正面指向型の指向性フィルタを、各ノードの方向情報と連動させて使用することにより、例えば、ノードAが接続したいノードの方向を振り向くといったようなごく自然なユーザの動作に応じて、簡単に各ノードの接続優先度が調整される。もちろん、接続優先度を算出するときに求められる相対特性情報も同様に、簡単に調整可能である。
なお、上記説明においては、x,yの2次元で示されている基準空間座標を用いて接続優先度を説明したが、上述したように、実際には、基準空間は、3次元で構成される。したがって、例えば、3次元の基準空間座標において、ノードAが他のノードとあまり接続したくない場合には、yz平面の角度(φ)を下に向ける、すなわち、ノードがうつむくといったごく自然なユーザの動作に応じても、簡単に各ノードの接続優先度などが調整される。
図15は、記憶部22に記憶される接続優先度リストの構成例を示している。すなわち、図15の接続優先度リストは、図4の接続優先度リストの他の構成例である。
図15の例の場合、接続優先度リストは、ノードのID情報に基づいて、「ノード名」、優先度算出部57により算出された「接続優先度」、接続するノードの中での接続優先順位を示す「順位」、ノードの位置情報である「位置」、ノードの方向情報である「方向」、ノードに接続するための「アドレス」、ノードが有する「指向性フィルタ指数」、および、ノードの「接続確立指数」によりリスト化されて構成されている。
「ノードB」は、接続優先度が「100」で、順位が「2」であり、位置が[xb,yb,zb]([x座標,y座標,z座標])で、方向が(θB,φB)((xy平面の角度,yz平面の角度))で、アドレスが「xx-xx-xx-」であり、指向性フィルタ指数は、fB(θ,φ)であり、接続確立指数が「45」である。
「ノードC」は、接続優先度が「65」で、順位が「3」であり、位置が[xc,yc,zc]([x座標,y座標,z座標])で、方向が(θC,φC)((xy平面の角度,yz平面の角度))で、アドレスが「090-xxxx」であり、指向性フィルタ指数は、fC(θ,φ)であり、接続確立指数が「21」である。
「ノードN」は、接続優先度が「123」で、順位が「1」であり、位置が[xn,yn,zn]([x座標,y座標,z座標])で、方向が(θN,φN)((xy平面の角度,yz平面の角度))で、アドレスが「xx-xx-xx-」であり、指向性フィルタ指数は、fN(θ,φ)であり、接続確立指数が「70」である。
すなわち、この接続優先度リストは、各ノードの特性情報である「位置」、「方向」、「指向性フィルタ指数」、および「接続確立指数」が取得され、ノードAと各ノードの相対特性情報が求められ、式(1)および式(2)を用いて各ノードの「接続優先度」が算出され、算出された各ノードの「接続優先度」に基づいて、接続するノードの中での各ノードの接続優先順位を示す「順位」が設定され、これらの情報がノードIDに基づいて、記憶部22に登録されたものである。
なお、図15の例においては、図示されていないが、接続優先度リストには、ノードAと各ノードの相対特性情報の、例えば、相対方位情報、相対位置情報、相対距離情報も登録されている。
また、この接続優先度リストは、内部通信処理部23に供給されるとともに、出力制御部24に供給され、入出力インタフェース25を介して、出力部28を構成するモニタに表示される。このとき、出力制御部24は、接続優先度リストを構成する情報を、図15の接続優先度リストと同じ構成のリスト形式で、あるいは、接続優先度リストのうちの一部の情報だけをリスト形式でモニタに表示させる。さらに、出力制御部24は、接続優先度リストを構成する情報を、図16に示すように、ノードAの基準空間座標を、3D(dimension)空間としてCG(Computer Graphics)合成した映像を用いて表示させることもできる。
図16は、出力部28に出力される接続優先度リストの表示例を示している。
図16の例においては、x,y,zからなる3次元のノードAの基準空間座標に、各ノードの特性情報に基づいた位置に配置された各ノードを象徴するアバタとともに、図15の接続優先度リストのうちのノード名、ノードAとの相対位置(座標)、相対距離、ノードの正面方向、および指向性フィルタ指数の各情報が表示されている。なお、説明の便宜上、xy平面において、y軸の正方向を0度とし、0度から時計回りに360度の方位を示すものとして説明する。
出力部28には、ノードA、ノードB、およびノードCは、各端末1を操作するユーザa、ユーザb、およびユーザcがマスコット形状のアバタとしてそれぞれ表示され、ノードNは、端末1が接続されているのみである(ユーザには操作されていない)ため、端末1がデータベース形状のアバタとして表示されている。また、各ノードの方向は、各アバタの正面方向の向きで表され、各アバタの下部には、各ノードが有する指向性フィルタ指数情報を表す指向性フィルタが表示されている。
すなわち、ノードAの基準空間座標の原点には、ノードAのアバタAAが、その正面方向paがノードC向き(略135度方向)に表示され、アバタAAの下部には、ノードAが有する指向性フィルタ指数情報として、正面指向型の指向性フィルタfaが凹んだ形状をしている円で表示されている。また、アバタAAの上部には、ノード名「ノードA」と、位置情報「座標値[0,0,0]」が吹き出し表示されている。
ノードAの背面方向(略315度)の方位の、ノードAとの相対距離Dabの位置には、ノードBのアバタABが、その正面方向pbが略180度の方位向きに表示され、アバタABの下部には、ノードBが有する指向性フィルタ指数情報として、正円の無指向性フィルタNfbが表示されている。また、アバタABの上部には、ノード名「ノードB」と、位置情報「座標値[xb,yb,zb]」が吹き出し表示されている。
ノードAの正面方向(略135度)の方位の、ノードAとの相対距離Dacの位置には、ノードCのアバタACが、その正面方向pcが略270度の方位向きに表示され、アバタACの下部には、ノードCが有する指向性フィルタ指数情報として、正円の無指向性フィルタNfcが表示されている。また、アバタACの上部には、ノード名「ノードC」と、位置情報「座標値[xc,yc,zc]」が吹き出し表示されている。
ノードAの略45度の方位の、ノードAとの相対距離Danの位置には、ノードNのアバタANが、その正面方向pnがノードA向き(略225度方向)に表示され、アバタANの下部には、ノードNが有する指向性フィルタ指数情報として、正円の無指向性フィルタNfbが表示されている。また、アバタANの上部には、ノード名「ノードN」と、位置情報「座標値[xn,yn,zn]」が吹き出し表示されている。
なお、図16の例の場合、ノードAとの相対距離は、Dac>Dab>Danとなっている。
以上のように、記憶部22に登録された接続優先度リストの情報(すなわち、算出された接続優先度、各特性情報、および各相対特性情報など)がモニタに表示される。ノードAのユーザaは、表示された接続優先度リストをもとに、動作入力部26を動作させる。これにより、容易に各ノードの接続優先度が調整され、調整された情報がモニタに表示されるので、ユーザは、動作入力部26からのノードの方向情報の変化による効果をすぐに知ることができる。
さらに、ユーザが、各ノードの位置やノードに関する他の情報を予め知らなくても、表示された接続優先度リストの情報をもとに、各ノードの位置や情報を簡単に把握することができる。
次に、図17のフローチャートを参照して、端末1の接続優先度設定処理について説明する。
端末1−1を操作するユーザaは、ノードBの端末1−2およびノードNの端末1−3と外部通信回線11−2を介して、複数のノード間で、例えば、映像を用いてのチャットを行うアプリケーションなどを用いることにより、相互に映像データを通信するため、マウスなどからなる情報入力部27を操作して、端末1−1に通信の開始を指示する。このとき、ユーザaは、必要に応じて、例えば、通信を行う対象の空間情報や、ノードが他のノードとの通信を要求する度合いを表す接続確立指数、および、ノードを中心とした各方向に対しての接続確立指数を表す指向性フィルタ指数を入力する。
情報入力部27は、ユーザの操作に対応する操作信号を、特性情報設定部52および空間情報設定部53に入力する。特性情報設定部52は、情報入力部27から入力されるユーザaの指示に対応して、ノードAのID情報、接続確立指数情報、および指向性フィルタ指数情報などを情報取得制御部54に供給するとともに、情報取得制御部54に通信開始を通知する。空間情報設定部53は、情報入力部27から入力されるユーザaの指示に対応して、基準空間とする空間の情報を、空間情報管理部56に供給する。
情報取得制御部54は、特性情報設定部52から通信開始の通知が入力されるまで待機しており、ノードAの接続確立指数情報および指向性フィルタ指数情報が入力され、通信開始の通知が入力されると、通信開始が指示されたと判定し、図17の接続優先度設定処理を開始する。
情報取得制御部54は、ステップS21において、特性情報受信部62を制御し、GPS衛星3から地球に送出される信号(電波)を受信させて、自己の位置情報を取得させ、空間情報設定部53に供給し、ステップS22に進む。
空間情報管理部56は、ステップS22において、空間情報設定部53からの基準とする空間情報に基づいて、情報取得制御部54から入力されるユーザaの位置情報を基準位置とし、自己を基準としたノードAの基準空間を定義し、ステップS23に進む。
情報取得制御部54は、ステップS23において、方向検出部51を制御し、動作入力部26から入力されるユーザa(ノードA)の方向情報に基づいて、ノードAの現在の方向を設定させ、設定されたノードAの現在の方向を、空間情報管理部56に供給し、ノードAの基準空間に反映させ、ステップS24に進む。
空間情報管理部56は、ステップS24において、情報取得制御部54に供給されている端末1−1(ノードA)のID情報、接続確立指数情報、および指向性フィルタ指数情報を取得し、ステップS25に進む。
情報取得制御部54は、ステップS25において、特性情報送信部61を制御し、特性情報通信回線11−1を介して、通信相手の各ノードにそれぞれの特性情報(位置情報、方向情報、ID情報、接続確立指数情報、および指向性フィルタ指数情報など)を要求させることにより、情報通信回線11−1を介して、通信相手の各ノードから送信されてくるそれぞれの特性情報を、特性情報受信部62に取得させ、空間情報管理部56に供給し、ステップS26に進む。
すなわち、通信相手のノードの端末1−2および1−3においては、予め、例えば、ステップS21の処理と同様にして自己(通信相手)の位置情報が取得され、ステップS24の処理と同様にして自己の方向情報が取得され、ステップS24の処理と同様にして自己のID情報、接続確立指数情報、および指向性フィルタ指数情報が取得されており、特性情報送信部61からの要求に応じてこれらの特性情報が、情報通信回線11−1を介して端末1−1に送信されてくる。なお、通信相手のノードの端末1−2および1−3は、特性情報送信部61からの要求が受信されたときに特性情報を取得するようにしてもよい。
なお、端末1−2および1−3が実行するステップS25の処理により、端末1−1(ノードA)の特性情報が要求された場合には、情報取得制御部54は、特性情報送信部61を制御し、特性情報受信部62からの位置情報、特性情報設定部52からノードAのID情報、接続確立指数情報、および指向性フィルタ指数情報、並びに、方向検出部51からのノードAの方向情報を、情報通信回線11−1を介して、端末1−2および1−3に送信させる。
空間情報管理部56は、情報取得制御部54から通信相手の各ノードの特性情報が供給されると、ステップS26において、取得された各情報を、ノードAの基準空間に配置し、通信相手のノードが配置されたノードAの基準空間を、優先度算出部57に供給し、ステップS27に進む。
すなわち、空間情報管理部56は、ステップS24において取得された端末1(ノード)のID情報、接続確立指数情報、および指向性フィルタ指数情報と、ステップS25において情報取得制御部54から通信相手の各ノードの特性情報に基づいて、ステップS23において現在の方向が反映されたノードAの基準空間に、各ノードを配置し、接続確立指数情報、および指向性フィルタ指数情報を反映させる。そして、空間情報管理部56は、通信相手のノードが配置され、各情報が反映されたノードAの基準空間を記憶し、管理するとともに、優先度算出部57に供給する。
優先度算出部57は、空間情報管理部56から供給されたノードAの基準空間に基づいて(すなわち、式(1)および式(2)を用いて)、自己と通信相手の相対的な位置関係を表す相対特性情報を求めることで、自己のノード(ノードA)から、他のノード(ノードBおよびノードNなど)までの接続優先度をそれぞれ算出し、ステップS28に進み、各ノードに関する特性情報や、接続優先度解析結果を、ID情報に対応付けて、接続度優先度リストとして、記憶部22に登録させる。なお、このとき、優先度算出部57は、相対特性情報も接続優先度リストに登録する。
なお、内部通信処理部23の優先度情報取得部82は記憶部22を監視しており、接続度優先度リストが登録されると、優先度リストが登録されたことを通信制御部81に通知する。これにより、内部通信処理部23においては、記憶部22に登録された接続優先度リストに応じて、図20を参照して後述する内部通信制御処理が実行される。
一方、出力制御部24は、記憶部22の接続優先度リストを監視しており、ステップS28において、接続優先度リストが登録されると、ステップS29において、各ノードの接続優先度リストの情報をユーザに通知するための画面データなどを生成し、入出力インタフェース25を介して、画面データに対応する画面を、出力部28を構成するモニタなどに出力させ、接続優先度設定処理を終了する。
以上により、モニタには、図16を参照して上述したような接続優先度リストの情報(以下、接続優先度リストの通知画面とも称する)が表示される。
したがって、動作入力部26が装着(設置)されているユーザaは、モニタに表示される接続優先度リストの通知画面を参照して、例えば、ノードAが接続したいノードの方向を振り向くといったようなごく自然な動作を行ったり、または、情報入力部27を介して、ノードAの接続確立指数および指向性フィルタ指数などを変更するなど、所望の接続優先度を指示することが可能である。
次に、図18のフローチャートを参照して、図17の接続優先度設定処理により登録された接続優先度リストの接続優先度更新処理を説明する。なお、図18の接続優先度更新処理は、図20を参照して後述する内部通信制御部24による内部通信制御処理と並行で行われる処理であり、情報入力部27から入力されるユーザaの通信終了を指示する操作信号に基づいて、特性情報設定部53が情報取得制御部54に通信の終了を通知し、情報取得制御部54が通信を終了すると判定するまで、繰り返し続けられる処理である。
図17のステップS29において、各ノードの接続優先度リストの情報をユーザに通知するための接続優先度リストの通知画面がモニタに表示される。
ユーザaは、外部通信回線11−2を介しての、他のノードと相互に映像データの通信を行いながら、モニタに表示される接続優先度の通知画面を参照して、例えば、接続したいノードの方向を振り向くといったようなごく自然な動作を行う。なお、ジャイロセンサ、または加速度センサなどで構成される動作入力部26は、例えば、ユーザaに装着されており、ユーザaの動作に応じて、ノードAの位置情報または方向情報を入力する。
あるいは、例えば、ユーザaは、モニタに表示される接続優先度リストの通知画面を参照して、情報入力部27を介して、ノードAの接続確立指数、または指向性フィルタ指数などを変更する指示を行う。
または、例えば、通信相手のユーザbは、端末1−1の場合と同様にして、端末1−2のモニタに表示される接続優先度リストの通知画面を参照して、例えば、端末1−2の動作入力部26が装着されたユーザbが、接続したいノードの方向を振り向くといったようなごく自然な動作を行ったり、端末1−2の情報入力部27を介して、ノードBの接続確立指数、または指向性フィルタ指数などを変更する指示を行う。この場合、端末1−2は、後述される図19のステップS72、S74,またはS76の処理と同様に、変更されたノードBの特性情報を、特性情報通信回線11−1を介して、端末1−1に送信してくる。
これに対応して、優先度情報解析部21は、図17のステップS51において変化情報供給処理を実行する。この変化情報供給処理を、図19のフローチャートを参照して説明する。
方向検出部51は、ステップS71において、図17のステップS23において設定されたノードAの現在の方向や位置を基準として、動作入力部26から入力されたノードAの位置情報または方向情報から、ノードAの方向や位置の変化を検出したか否かを判定し、ノードAの方向や位置の変化を検出したと判定した場合、ステップS72に進み、動作入力部26から入力されたノードAの位置情報または方向情報を、情報取得制御部54を介して、空間情報管理部56に供給し、ステップS73に進む。
なお、このとき、情報取得制御部54は、変更が検出されたノードAの位置情報または方向情報を、特性情報送信部61を制御し、特性情報通信回線11−1を介して、ノードの端末1−2や端末1−3にも送信させる。
ステップS71において、入力されたノードAの位置情報または方向情報から、ノードAの方向や位置の変化を検出していないと判定された場合、ステップS72の処理はスキップされ、処理は、ステップS73に進む。
ステップS73において、特性情報設定部52は、情報入力部27を介して入力されるユーザaの操作信号に基づいて、ノードAの接続確立指数情報、または指向性フィルタ指数情報の変更指示が入力されたか否かを判定し、情報入力部27を介して、ノードAの接続確立指数情報、または指向性フィルタ指数情報を変更する指示が入力されたと判定した場合、ノードAの接続確立指数情報、または指向性フィルタ指数情報を変更し、ステップS74に進み、変更したノードAの接続確立指数情報、または指向性フィルタ指数情報を、情報取得制御部54を介して、空間情報管理部56に供給し、ステップS75に進む。
なお、このとき、情報取得制御部54は、変更されたノードAの接続確立指数情報、または指向性フィルタ指数情報を、特性情報送信部61を制御し、特性情報通信回線11−1を介して、ノードの端末1−2や端末1−3にも送信させる。
ステップS73において、ノードAの接続確立指数および指向性フィルタ情報の変更指示が入力されていないと判定された場合、ステップS74の処理はスキップされ、処理は、ステップS75に進む。
また、例えば、上述したように、ノードBの特性情報に変更があった場合、端末1−2は、変更されたノードBの特性情報を、特性情報通信回線11−1を介して、端末1−1に送信してくる。
これに対応して、特性情報受信部62は、ステップS75において、他のノードから特性情報が受信されたか否かを判定し、他のノードから特性情報を受信したと判定した場合、ステップS76に進み、受信した他のノードから特性情報を、空間情報管理部56に供給し、図18のステップS51に戻り、ステップS52に進む。
ステップS75において、他のノードから特性情報を受信していないと判定された場合、ステップS76の処理はスキップされ、処理は、図18のステップS51に戻り、ステップS52に進む。
図18のステップS52において、空間情報管理部56は、ノードAの位置情報、方向情報、接続確立指数情報、および指向性フィルタ指数情報、並びに、他のノードの特性情報のうち、少なくとも1つの情報が供給されたか否かを判定する。
空間情報管理部56は、ステップS52において、ノードAの位置情報、方向情報、接続確立指数情報、および指向性フィルタ指数情報、並びに、他のノードの特性情報のうち、少なくとも1つの情報が供給されていないと判定した場合、ステップS51に戻り、それ以降の処理を繰り返す。すなわち、ステップS52において、ノードAの位置情報、方向情報、接続確立指数情報、および指向性フィルタ指数情報、並びに、他のノードの特性情報のうち、少なくとも1つの情報が供給されたと判定されるまで、ステップS51の処理が繰り返される。
一方、ステップS52において、ノードAの位置情報、方向情報、接続確立指数情報、および指向性フィルタ指数情報、並びに、他のノードの特性情報のうち、少なくとも1つの情報が供給されたと判定された場合、空間情報管理部56は、ステップS53に進み、供給された情報に基づいて、ノードAの基準空間に配置されるノードの配置位置などを変更して、記憶されているノードAの基準空間を更新するとともに、優先度算出部57に供給し、ステップS54に進む。
優先度算出部57は、ステップS54において、空間情報管理部56から供給されたノードAの基準空間(すなわち、式(1)および式(2))を用いて、自己と通信相手の相対的な位置関係を表す相対特性情報を求めることで、自己のノード(ノードA)から、他のノード(ノードBおよびノードNなど)までの接続優先度をそれぞれ算出し、ステップS55に進み、記憶部22に登録されている、接続優先度解析結果である接続度優先度リストをID情報に対応付けて更新し、ステップS56に進む。なお、このとき、接続優先度リストに登録されている相対特性情報も更新される。
出力制御部24は、記憶部22を監視しており、ステップS55において、記憶部22に、接続優先度リストが更新されると、ステップS56において、各ノードの接続優先度リストの情報をユーザに通知するための画面データなどを新たに生成し、入出力インタフェース25を介して、画面データに対応する画面を更新して、出力部28を構成するモニタなどに出力させ、接続優先度更新処理を終了する。
以上のように、自己のノードの特性情報、および通信相手のノードの特性情報を取得し、それらを用いて、自己と通信相手の相対的な位置関係を表す相対特性情報を求めることで、接続優先度を算出するようにしたので、この接続優先度や相対特性情報を用いて、複数の通信相手との通信に、重み付けなどの制御を行うことができ、通信バランスが制御されるので、通信相手のノード数が増えた場合であっても、最適な通信品質を得ることができる。
また、これらの接続優先度や相対特性情報は、各ノードの位置情報や方向情報の変化、あるいは、接続確立指数および指向性フィルタ指数に応じて、逐次変更されるので、この接続優先度や相対特性情報を用いて、各ノードの状態が変わった場合にも、その状態に応じた制御を行うことができる。
さらに、ユーザは、振り向くなどの自然かつ簡単な動作、または、リモコンなどに設けられる方向指示ボタンなどで方向を指示することだけで、接続優先度や相対特性情報を変更させること、すなわち、接続優先度に応じて制御される処理を変更させることができる。
次に、図20のフローチャートを参照して、以上のようにして設定される接続優先度を用いての制御処理の例を説明する。
図20の制御処理は、図17の接続優先度設定処理により記憶され、更新される接続優先度リストに基づいて実行される端末1−1の内部通信制御処理の例である。
図17のステップS28において、優先度算出部57は、接続優先度リストを記憶部22に登録させる。優先度情報取得部82は、記憶部22の接続優先度リストを監視し、接続優先度リストが登録されると、通信制御部81に通知する。通信制御部81は、優先度情報取得部82からの通知が入力されるのを待機しており、優先度算出部57からの通知が入力されたと判定した場合、図20の内部通信制御処理を開始する。
通信制御部81は、ステップS81において、データ送信部102−1を制御し、通信相手のノード(例えば、ノードBの端末1−2)と、外部通信回線11−2を介して接続させる。
このとき、データ送信部102−1は、外部通信回線11−2を介して、端末1−2に対して、ノードBのノードIDを要求する。端末1−2は、端末1−1からの要求を受信すると、外部通信回線11−2を介して、端末1−1に対して、ノードBのノードID情報を送信してくる。
データ受信部101−1は、端末1−2からのノードBのノードID情報を受信し、通信制御部81に供給する。通信制御部81は、ステップS82において、データ受信部101−1からノードBのノードID情報を取得し、ステップS83に進み、優先度情報取得部82を制御し、記憶部22の接続優先度リストに、ノードBのノードID情報があるか否かを判定し、記憶部22の接続優先度リストに、ノードBのノードID情報がないと判定された場合、ステップS84に進む。
記憶部22の接続優先度リストに、ノードBのノードID情報がないということは、ノードBの接続優先度や相対方位情報などの情報が設定されていない。したがって、優先度情報取得部82は、ステップS84において、接続優先度および相対方位情報が設定されていないノードBに、規定の接続優先度リストの情報(すなわち、接続優先度および相対方位情報)を設定し、ステップS85に進む。なお、接続優先度リストにノードID情報がなく、接続優先度が設定されていない場合、ノードBとの接続を停止させるようにしてもよく、規定の接続優先度を設定するか、接続を停止させるかの設定は、ユーザaが情報入力部27を操作することなどで変更可能とされる。
ステップS83において、記憶部22の接続優先度リストに、ノードBのノードID情報があると判定された場合、優先度情報取得部82は、ノードBに対応する接続優先度および相対方位情報を取得し、ステップS84をスキップし、ステップS85に進む。
ステップS85において、通信制御部81は、通信候補となるすべての通信相手と接続されたか否かを判定し、通信候補となるすべての通信相手と接続されていないと判定した場合、ステップS81に戻り、次の通信相手(例えば、ノードN)と、それ以降の処理を繰り返す。
ステップS85において、通信候補となるすべての通信相手と接続されたと判定された場合、通信制御部81は、ステップS86に進み、各ノードから受信される映像データを処理する映像調整部85に対して、優先度情報取得部82により取得(設定)された接続優先度および相対方位情報を供給し、ステップS87に進み、外部通信インタフェース83および映像調整部85を制御し、映像特性調整処理を実行する。この映像特性調整処理の詳細は、後述する。
例えば、通信制御部81は、ステップS87において、受信部83を制御し、外部通信回線11−2を介して各ノードからの映像データを受信させ、出力映像調整部105を制御し、各ノードの接続優先度および相対方位情報に応じて、各ノードからの映像データのサイズ、透明度、および表示位置を調整させ、接続優先度および相対方位情報に応じて調整された映像データに対応する映像を、映像出力部91に出力させる処理を行う。
これにより、映像出力部91からは、接続優先度および相対方位情報に応じて調整された映像データに対応する映像が出力され、処理は、ステップS88に進む。
また、例えば、通信制御部81は、ステップS87において、映像入力部92により入力され、分配された映像データを、入力映像調整部106を制御し、各ノードの接続優先度および相対方位情報に応じて、各ノードに送信する映像データのサイズ、透明度、および表示位置を調整させ、接続優先度および相対方位情報に応じて調整された映像データを、送信部102を制御し、外部通信回線11−2を介して、各ノードに送信させる処理を行う。
これにより、各ノードの端末1の映像出力部91からは、接続優先度および相対方位情報に応じて調整された映像データに対応する映像が出力され、処理は、ステップS88に進む。
優先度情報取得部82は、記憶部22に登録されている接続優先度リストを監視している。優先度情報取得部82は、ステップS88において、通信が確立されている端末のID情報の接続優先度および相対方位情報が変更(更新)されたか否かを判定し、接続優先度が変更されたと判定した場合、変更された接続優先度および相対方位情報を通信制御部81に供給し、ステップS86に戻り、それ以降の処理を繰り返す。すなわち、このステップS86において、通信制御部81は、映像調整部85に対して、変更された接続優先度および相対方位情報を供給し、以降の処理を繰り返す。
ステップS88において、接続優先度および相対方位情報が変更されていないと判定された場合、通信制御部81は、ステップS89に進み、情報入力部27から入力されるユーザaの通信終了を指示する操作信号に基づいて、通信を終了するか否かを判定し、通信を終了しないと判定した場合、ステップS87に戻り、それ以降の処理を繰り返す。
すなわち、この場合、変更されていない接続優先度および相対方位情報に応じた映像特性調整処理が実行される。
ステップS89において、通信制御部81は、情報入力部27から入力されるユーザaの通信終了を指示する操作信号に基づいて、通信を終了すると判定した場合、各端末と接続を停止し、内部通信制御処理を終了する。
以上のように、複数のノードとの通信を行う際に、求められた各ノードの接続優先度および相対方位情報などに応じて、映像データが調整され、調整された映像データに対応する映像が表示される。すなわち、端末1内において、通信バランスが制御された映像が表示されるので、複数のノードとであっても、最適な通信を行うことができる。
また、通信途中においても、ユーザが振り向いたり、方向ボタンを操作するなどの簡単な操作に応じて、接続優先度および相対方位情報が変わった場合に、映像データに対して、それに対応した調整を行うことができる。
すなわち、ユーザが振り向いたり、方向ボタンを操作するなどの簡単な操作などで、コミュニケーションの状況は、時々刻々と変化するが、ユーザには、この変化に応じた調整された(すなわち通信バランスが制御された)映像が提供される。したがって、ユーザは、通信バランスが制御された映像を見ながら、振り向いたり、移動したりするだけで、簡単に通信バランスの変更を指示することができる。これにより、ユーザは、所望の通信を行うことができる。
なお、上記処理の説明においては、ユーザからの通信開始の指示に応じて、図17の接続優先度設定処理が開始され、図17の接続優先度設定処理により接続優先度リストが記憶されたことに応じて、図20の内部通信制御処理が開始されるように説明したが、それらの処理は、ユーザからの開始指示に応じて、別途開始するようにしてもよい。
すなわち、ユーザからの接続優先度設定開始の指示に応じて、図17の接続優先度設定処理が開始され、その後、例えば、モニタに表示される接続優先度リストを確認したユーザからの通信開始の指示に応じて、図20の内部通信制御処理が開始されるようにしてもよい。
なお、上記説明においては、自己のノードの特性情報、および通信相手のノードの特性情報を用いて、自己と通信相手の相対的な位置関係を表す相対特性情報を求めることで、算出した接続優先度を用いて説明したが、例えば、ネットワーク2が無線で構成される場合には、特性情報通信部55として構成されるアンテナから取得される受信電界強度(RSSI:Received Signal Strength Indicator)値を接続優先度として用いることも可能である。もちろん、この場合の指向性フィルタ情報は、指向性アンテナの特性で構成される。
次に、図3の映像調整部85が実行する映像データの調整処理をさらに具体的に説明する。
図21は、図3の出力映像調整部105の詳細な構成例を示している。なお、図21においては、説明の便宜上、出力映像調整部105−1および105−2のみを説明する。また、図21の例において、入出力インタフェース25は省略されている。
図21の例の場合、出力映像調整部105−1は、サイズ調整部211−1、透明度調整部212−1、および位置調整部213−1により構成されている。出力映像調整部105−2は、サイズ調整部211−2、透明度調整部212−2、および透明度音質調整部213−2により構成されている。
なお、以下、サイズ調整部211−1および211−2、透明度調整部212−1および212−2、並びに、位置調整部213−1および213−2を個々に説明する必要がない場合、それぞれ、まとめてサイズ調整部211、透明度調整部212、並びに位置調整部213とも称する。
サイズ調整部211は、通信制御部81の制御のもと、各ノードの接続優先度または相対位置情報に応じて、対応する映像データのサイズを調整する。透明度調整部212は、通信制御部81の制御のもと、各ノードの接続優先度または相対位置情報に応じて、対応する映像データの透明度の度合いを調整する。
位置調整部213は、通信制御部81の制御のもと、各ノードの接続優先度または相対位置情報に応じて、対応する映像データの表示位置を調整する。
換言すると、サイズ調整部211、透明度調整部212、または位置調整部213は、混合器86に対して各映像データを混合するときのサイズ、透明度や表示位置などの映像データの映像特性情報を調整(設定)しているともいえる。
具体的には、図21の例の場合、通信制御部81は、ノードBからの映像データAb1をノードBの接続優先度に応じたサイズおよび透明度、並びに相対方位情報に応じた表示位置に調整させるようにサイズ調整部211−1、透明度調整部212−1、および位置調整部213−1を制御する。
同様に、通信制御部81は、ノードNからの映像データAn1をノードNの接続優先度に応じたサイズおよび透明度、並びに相対方位情報に応じた表示位置に調整させるようにサイズ調整部211−2、透明度調整部212−2、および位置調整部213−2を制御する。
サイズ調整部211−1は、復号部103より供給される、ノードBからの映像データAb1のサイズを、ノードBの接続優先度に応じて調整し、透明度調整部212−1に供給する。透明度調整部212−1は、サイズ調整部211−1からの映像データAb1の透明度の度合いを、ノードBの接続優先度に応じて調整し、位置調整部213−1に供給する。
位置調整部213−1は、透明度調整部212−1からの映像データAb1の表示位置を、ノードBの相対方位情報に応じて調整し、混合器86に供給する。
サイズ調整部211−2は、復号部103より供給される、ノードNからの映像データAn1のサイズを、ノードNの接続優先度に応じて調整し、透明度調整部212−2に供給する。透明度調整部212−2は、サイズ調整部211−2からの映像データAn1の透明度の度合いを、ノードNの接続優先度に応じて調整し、位置調整部213−2に供給する。
位置調整部213−2は、透明度調整部212−2からの映像データAn1の表示位置を、ノードNの相対方位情報に応じて調整し、混合器86に供給する
混合器86は、出力映像調整部105−1および105−2からのサイズ、透明度、および表示位置が調整された映像データを混合する。
すなわち、混合器86は、出力映像調整部105−1および105−2からの映像データを、出力映像調整部105−1および105−2により調整されたサイズ、透明度、および表示位置で混合(重畳)し、混合した映像データを入出力インタフェース25を介して、映像出力部91から出力させる。
これにより、映像出力部91には、出力映像調整部105により各ノードの接続優先度に応じてサイズおよび透明度が調整され、かつ相対方位情報に応じて表示位置が調整され、調整されたサイズ、透明度、および表示位置に基づいて混合された映像データに対応する映像が表示される。
なお、図21の例においては、サイズ調整、透明度調整、および表示位置調整の順に処理を行うようにしたが、映像調整処理の順番はそれに限定されない。また、出力映像調整部105の構成は、図21の例に限定されない。すなわち、サイズ調整部211、透明度調整部212、および位置調整部213のうちのどれかだけで構成されていてもよいし、さらに、ぼかしやノイズフィルタなどの他の映像情報の調整を行うものが追加されていてもよい。
また、図3の入力映像調整部106の構成も、図21の出力映像調整部105と基本的に同様に構成されるので、以下、図21の出力映像調整部105の構成は、図3の入力映像調整部106の構成としても適宜用いられる。
次に、図22を参照して、図21の映像出力部91の具体的な構成例を説明する。
図21の映像出力部91は、例えば、図22に示されるようなヘッドマウントディスプレイ231で構成される。
図22の例においては、正面から見た場合のユーザaおよびユーザbと、頭上から見た場合のユーザaが示されている。なお、図22においては、図示されないが、ユーザaおよびユーザbには、携帯端末機などで構成される端末1−1および1−2がそれぞれ所持(携帯)されている。すなわち、端末1−1および1−2は、ユーザaおよびユーザbとそれぞれ連動し、ノードAおよびノードBをそれぞれ構成している。
ユーザaの顔には、両目を覆うように、シースルー(see - through)(透過)型のヘッドマウントディスプレイ231が装着されている。また、ユーザbの顔には、右目を覆うように、シースルー型のヘッドマウントディスプレイ231aが装着されている。
ヘッドマウントディスプレイ231は、ユーザaの顔に装着されることから、ユーザa(ノードA)の正面方向paが動くと、ヘッドマウントディスプレイ231もそれに対応して動く、すなわち、ユーザaの正面方向paに連動する構成を有している。
また、ヘッドマウントディスプレイ231は、それを装着するユーザaに対してのみ、端末1−1により接続優先度や相対方位情報に応じて調整され、表示される映像データの映像を提供し、また、シースルー型であるので、それを装着するユーザaに対してのみ、ヘッドマウントディスプレイ231を通して、ユーザaが存在する実空間の映像も提供する。
ユーザbに装着される片目用のヘッドマウントディスプレイ231aも、ヘッドマウントディスプレイ231と同様な構成を有している。すなわち、ヘッドマウントディスプレイ231は、両目用でなくてもよく、例えば、ユーザbに装着される片目用のヘッドマウントディスプレイ231aを映像出力部91として用いるようにしてもよい。
以上のように、映像出力部91を、ユーザa(ノードA)の正面方向paに対応して動くヘッドマウントディスプレイ231で構成することにより、ユーザaが移動するしないにかかわらず、ユーザaのみに、端末1−1により接続優先度や相対方位情報に応じて調整される映像データに対応する映像を提供することができる。これにより、ユーザaは、移動しながらであっても、自分だけに特化された映像を見ることができる。
図23を参照して、ユーザaがノードAとして、他のノードと通信を行う実空間について説明する。
図23の例においては、ヘッドマウントディスプレイ231を通してユーザaに提供されうる、ユーザaが存在する実空間の全方位(ユーザaの正面方向paを0度とした相対方向が−180度乃至+180度)の映像251が示されている。
すなわち、映像251は、ある実空間に存在するユーザaが、ユーザaの正面方向pa(相対方位0度)から、自己を軸として、全方位に回転した場合に、ヘッドマウントディスプレイ231を通して得られる映像であり、図中左側から、−180度の相対方位(ユーザaの背面方向)、−90度の相対方位(ユーザaの左方向)、0度の相対方位(ユーザaの正面方向pa)、+90度の相対方位(ユーザaの右方向)、+180度の相対方位(ユーザaの背面方向)でそれぞれ得られる全方位の映像がつながって構成されている。
なお、実際には、映像251がすべてヘッドマウントディスプレイ231を通して得られるわけではなく、ユーザaの正面方向paが相対方位0度の場合においては、ヘッドマウントディスプレイ231の画枠261内に表示される映像251aのみがヘッドマウントディスプレイ231を通してユーザaに提供されている。すなわち、画枠261は、図24を参照して後述するユーザaの視界領域Eでもある。
したがって、図23の例においては、ユーザaの正面方向paに応じて、ヘッドマウントディスプレイ231の画枠261(ユーザaの視界領域E)が、映像251上を移動するので、ユーザaに提供される画枠261内の映像251aもユーザaの正面方向paに連動して変化する。
次に、このような実空間において、ユーザaは、ヘッドマウントディスプレイ231を装着し、ヘッドマウントディスプレイ231が映像出力部91として構成された端末1−1を所持して、ノードAとして、同じ実空間を共有するノードB、ノードC、およびノードDと相互に映像データを通信する場合を説明する。
例えば、通信相手としてのノードB、ノードC、およびノードDは、図24に示されるような相対配置で存在し、図25のような接続優先度の特性を有している。
図24は、各ノードが共有している実空間を、ノードAの位置を基準(原点)として2次元で表した、ノードAの基準空間座標を示している。
なお、この基準空間座標は、ノードAの端末1−1において、接続優先解析部21により、ノードB、ノードC、およびノードDと、特性情報通信回線11−1を介して予め相互に通信が行われて、相互の特性情報が取得されることで設定されたものでもある。
ノードAは、実空間においては、北西方向を向いている。これに対して、図24の例の基準空間座標は、実空間の北西方向を向いているノードAの正面方向paを0度とした相対方位で表されている。したがって、ノードAの基準空間座標においては、ノードAの位置を中心として、図中上方向がノードAの正面方向pa(相対方向が0度)であり、0度から+方向(時計)回りに+180度の相対方位、反時計(−方向)回りに−180度の相対方位が設定されており、そのうち、略−45度乃至+45度の相対方位からなる領域が、相対方向0度におけるノードA(ユーザa)の視界領域Eとして示されている。
また、ノードAの基準空間座標において、ノードA(原点)を中心とする3つの円の半径は、ノードAからの距離がそれぞれ、10m、20m、および30mであることを表している。
したがって、ノードAの基準空間座標において、ノードBは、ノードAに対して、0度の相対方位の略25m離れた位置に配置され、ノードCは、ノードAに対して、略+135度の方位の略23m離れた位置に配置され、ノードNが、ノードAに対して、略−90度の方位の略20m離れた位置に配置されている。
すなわち、ノードBは、実空間においても、ノードAに対する相対方位θabが0度で、相対距離Dabが略25mの位置に存在し、ノードCは、ノードAに対する相対方位θacが略+135度で、相対距離Dacが略23mの位置に存在し、ノードAに対する相対方位θadが略−90度で、相対距離Dadが略20mの位置に存在している。
なお、図24の例においては、ノードB、ノードC、およびノードNの正面方向は省略されている。
図25は、ノードB、ノードC、およびノードNのノードAに対する接続優先度の特性を示している。なお、図25は、図24のノードAの基準空間座標におけるノードAの正面方向paに対する、ノードAと各ノード間の接続優先度の遷移を示すグラフである。図25の例においては、ノードAのみが指向性フィルタを有している場合が示されている。
このグラフにおいては、縦軸が接続優先度[dB]を表し、横軸が、ノードAの基準空間座標におけるノードAの正面方向paを0度とした−180度乃至+180度の相対方位を表している。
ノードBは、ノードAとの相対方位θabが0度で、相対距離Dabが略25mの位置に存在している。したがって、ノードAとノードB間の接続優先度Qabは、ノードAの正面方向paが0度の方位を向いたときに一番高くなり、ノードAの正面方向paが0度の方位から+または−方向に回転するにつれて低くなる特性を有している。
ノードCは、ノードAとの相対方位θacが略+135度で、相対距離Dacが略23mの位置に存在している。したがって、ノードAとノードC間の接続優先度Qacは、ノードAの正面方向paが+135度の方位(ノードAの正面方向paが0度のときのノードAの右方向と背面方向の間)を向いたときに一番高くなり、ノードAの正面方向paが+135度の方位から+または−方向に回転するにつれて低くなる特性を有している。
ノードDは、ノードAとの相対方位θadが略−90度で、相対距離Dadが略20mの位置に存在している。したがって、ノードAとノードD間の接続優先度Qadは、ノードAの正面方向paが−90度の方位(ノードAの正面方向paが0度のときのノードAの左方向)を向いたときに一番高くなり、ノードAの正面方向paが−90度の方位から+または−方向に回転するにつれて低くなる特性を有している。
したがって、正面指向性型の指向性フィルタを有するノードAの正面方向paの向きに応じて、各ノードの接続優先度は遷移し、図24に示されるノードAの基準空間座標(すなわち、実空間)における、各接続優先度の順位は、ノードAの正面方向paが−90度の方位(すなわち、ノードD方向)を向いたとき、点線L31上の丸に示されるように、接続優先度Qad>接続優先度Qab>接続優先度Qacとなる。
ノードAの正面方向paが0度の方位(すなわち、ノードB方向)を向いたとき、各接続優先度の順位は、点線L32(縦軸)上の丸に示されるように、接続優先度Qab>接続優先度Qad>接続優先度Qacとなる。
ノードAの正面方向paが+135度の方位(すなわち、ノードC方向)を向いたとき、各接続優先度の順位は、点線L33上の丸に示されるように、接続優先度Qac>>接続優先度Qab>接続優先度Qadとなる。
以上のような特性を有する各ノードの接続優先度は、ノードAの端末1−1において、各ノードとの通信により、各ノードとの特性情報が取得され、接続優先解析部21により図24の基準空間座標が用いられて、自己と通信相手の相対的な位置や関係である相対特性情報(すなわち、ノードAとの相対方位や相対距離)が求められて算出され、相対特性情報ともに記憶部22に接続優先度リストとして記憶されたものであり、これ以降に説明する映像特性調整処理で用いられる。
次に、図26を参照して、ノードAと各ノードの相対方位情報に基づいて実行される映像特性調整処理を具体的に説明する。
図26の例においては、ヘッドマウントディスプレイ231を通して提供可能な、実空間における全方位の図23の映像251上に、各ノードから受信された映像データに対応する映像が、各ノードの相対方位情報に応じた位置に表示されている。
すなわち、ノードAは、同じ実空間を共有し、実空間に、図24に示される相対配置で存在し、図25に示される特性の接続優先度を有するノードB、ノードC、およびノードDと相互に映像データを通信しており、ノードAの端末1−1においては、ノードB、ノードC、およびノードDから映像データAb1、映像データAc1、映像データAd1がそれぞれ受信されている。
出力映像調整部105は、ノードBから受信された映像データAb1を、ノードBの相対方位θab(=0度)に応じて、映像251上の相対方位0度(ユーザの正面方向pa)の位置に表示させるように調整する。これにより、図26の映像251上には、ノードBから受信された映像データAb1に対応する映像301が、相対方位0度の位置に表示される。
出力映像調整部105は、ノードCから受信された映像データAc1を、ノードCの相対方位θac(=+135度)に応じて、映像251上の相対方位+135度の位置に表示させるように調整する。これにより、図26の映像251上には、ノードCから受信された映像データAc1に対応する映像302が、相対方位+135度の位置に表示される。
出力映像調整部105は、ノードDから受信された映像データAd1を、ノードDの相対方位θad(=−90度)に応じて、映像251上の相対方位−90度の位置に表示させるように調整する。これにより、図26の映像251上には、ノードDから受信された映像データAd1に対応する映像303が、相対方位−90度の位置に表示される。
ここで、図26の例の場合も、図23の場合と同様に、実際には、映像251がすべてヘッドマウントディスプレイ231を通して得られるわけではない。
したがって、図26の例においては、ユーザaの正面方向paが相対方位0度のときには、映像251のうち画枠261(すなわち、ユーザaの視界領域E)内の映像251aがヘッドマウントディスプレイ231を通してユーザaに提供されるとともに、ノードBの相対方位(θab)情報に応じて相対方位0度の位置に表示される映像301も提供される。
なお、図示はしないが、ユーザaの正面方向paが相対方位+135度である場合には、映像251のうち、相対方位+135度を中心とした画枠261内の映像251aがヘッドマウントディスプレイ231を通してユーザaに提供されるとともに、ノードCの相対方位(θac)情報に応じて相対方位+135度の位置に表示される映像302も提供される。
同様に、ユーザaの正面方向paが相対方位−90度である場合には、映像251のうち、相対方位−90度を中心とした画枠261内の映像251aがヘッドマウントディスプレイ231を通してユーザaに提供されるとともに、ノードDの相対方位(θad)情報に応じて相対方位−90度の位置に表示される映像303も提供される。
また、図26の例においては、ユーザaの正面方向paが、各ノードが配置される相対方位を向いた場合のみを説明したが、ユーザaの正面方向paが、各ノードが配置される相対方位を向いた場合だけでなく、ユーザaの正面方向paが向いた相対方位におけるユーザaの視界領域E内に、ノードが存在する場合には、画枠261内のその相対方位に応じた位置に、存在するノードから映像データの映像が表示される。
以上のように、各ノードの相対方位情報に応じて、各ノードから受信された映像データの表示位置を調整することにより、ヘッドマウントディスプレイ231には、ユーザaの正面方向paに応じたノード(すなわち、ユーザaの正面方向paにおけるユーザaの視界領域E内に存在するノード)からの映像データの映像のみが表示される。
これにより、ユーザは、ヘッドマウントディスプレイ231の画枠261内に表示される映像を見るだけで、その相対方位近辺に他のノードが存在することを把握することができる。そして、ユーザは、所望のノードが存在する方位に、振り向いただけで、所望のノードと通信を行うことができる。
すなわち、ユーザが振り向くことで、相対方位情報が更新され、更新された相対方位情報に応じて映像データが調整されて、振り向いた位置に存在するノードのからの映像データの映像が提供される。したがって、複数端末間の通信において、ユーザは振り向くなどの簡単な方法で、所望のノードと最適な通信を行うことができる。
次に、図27を参照して、ノードAと各ノードの接続優先度に基づいて実行される映像特性調整処理を具体的に説明する。
図27の例においては、ユーザaの正面方向paが相対方位0度の場合、ヘッドマウントディスプレイ231の画枠261内の映像251aに、ノードBの接続優先度Qabに応じてサイズや透明度が調整された映像データAb1に対応する映像311が表示されている。
すなわち、出力映像調整部105は、ノードBから受信された映像データAb1を、ノードBの接続優先度Qab(相対方位0度において最も高い)に応じたサイズと透明度に調整して、ヘッドマウントディスプレイ231の画枠261内の映像251a上に表示させる。これにより、ノードBから受信された映像データAb1に対応する映像311が、ノードBの接続優先度Qabに応じて調整されたサイズや透明度(例えば、他のノードの映像よりも大きいサイズや、低い透明度)で、映像251a上に表示される。
なお、図27の例においては、映像311は、ノードBの相対方位θab(=0度)に応じて調整された映像251上の相対方位0度(ユーザの正面方向pa)の位置に表示されているが、もちろん、映像データに対して、相対方位情報による表示位置の調整を行わずに、接続優先度によるサイズや透明度の調整だけを行うことも可能である。
この場合には、通信相手のすべての映像データを、画枠内261に表示させることも可能である。そして、表示位置は、バラバラであってもよいし、接続優先度の順に表示させるようにしてもよい。
以上のように、各ノードの接続優先度に応じて、各ノードから受信された映像データのサイズや透明度、または表示位置を調整することにより、ヘッドマウントディスプレイ231には、各ノードからの映像データに対応する映像を、ユーザaの正面方向paに基づいて求められる各ノードの接続優先度に応じたサイズや透明度、または表示位置で表示させることができる。
これにより、ユーザは、ヘッドマウントディスプレイ231の画枠261内に表示される映像を見るだけで、各ノードの接続優先度の大きさを把握することができる。また、この場合には、全方位を向くことで、最も接続優先度の大きい方位(すなわち、各ノードのユーザaの正面方向paに対する相対方位)も把握することができる。
さらに、通信相手のすべての映像データを表示させる場合には、多くのユーザともコミュニケーションを行いつつも、ユーザは、最も所望するノードが存在する方位に、振り向いただけで、所望のノードと通信をメインに行うことができる。
次に、図28を参照して、ノードAと各ノードの接続優先度および相対方位情報に基づいて実行される映像特性調整処理を具体的に説明する。
図28の例においては、ヘッドマウントディスプレイ231を通して提供可能な、実空間における全方位の図23の映像251上に、各ノードから受信された映像データに対応する映像が、各ノードの接続優先度に応じたサイズや透明度で、各ノードの相対方位情報に応じた位置に表示されている。
出力映像調整部105は、ノードBから受信された映像データAb1を、ノードBの接続優先度Qab(相対方位0度において最も高い)に応じたサイズと透明度に調整し、ノードBの相対方位θab(=0度)に応じて、映像251上の相対方位0度(ユーザの正面方向pa)の位置に表示させるように調整する。これにより、ノードBから受信された映像データAb1に対応する映像311が、映像251上の相対方位0度の位置に表示される。
出力映像調整部105は、ノードCから受信された映像データAc1を、ノードCの接続優先度Qac(相対方位0度において最も低い)に応じたサイズと透明度に調整し、ノードCの相対方位θac(=+135度)に応じて、映像251上の相対方位+135度の位置に表示させるように調整する。これにより、ノードCから受信された映像データAc1に対応する映像312が、映像251上の相対方位+135度の位置に表示される。
また、出力映像調整部105は、ノードDから受信された映像データAd1を、ノードDの接続優先度Qad(相対方位0度において中間の接続優先度)に応じたサイズと透明度に調整し、ノードDの相対方位θad(=−90度)に応じて、映像251上の相対方位−90度の位置に表示させるように調整する。これにより、ノードDから受信された映像データAd1に対応する映像313が、映像251上の相対方位−90度の位置に表示される。
以上により、全方位の映像251上には、ユーザaの正面方向paが相対方位0度の場合の各ノードの接続優先度に応じて、ノードBから受信された映像データAb1に対応する映像311が1番大きいサイズで、1番明瞭に(透明度を低く)表示され、ノードDから受信された映像データAd1に対応する映像313が、2番目に大きいサイズで、2番目に明瞭に(透明度を低く)表示され、ノードCから受信された映像データAc1に対応する映像312が1番小さいサイズで、1番不明瞭に(透明度を高く)表示される。
ただし、上述したように、実際には、ヘッドマウントディスプレイ231の画枠261外の映像251は表示されない。したがって、ユーザaの正面方向paが相対方位0度の場合には、ノードCから受信された映像データAc1に対応する映像312と、ノードDから受信された映像データAd1に対応する映像313は、ヘッドマウントディスプレイ231の画枠261内には表示されない。
同様に、図示はしないが、ユーザaの正面方向paが相対方位+135度の場合には、ノードbから受信された映像データAb1に対応する映像311と、ノードDから受信された映像データAd1に対応する映像313は、ヘッドマウントディスプレイ231の画枠261内には表示されない。
また、ユーザaの正面方向paが相対方位−90度の場合には、ノードbから受信された映像データAb1に対応する映像311と、ノードCから受信された映像データAc1に対応する映像312は、ヘッドマウントディスプレイ231の画枠261内には表示されない。
そこで、出力映像調整部105においては、画枠261外に表示される映像(すなわち、ユーザaの視界領域E外の方位に存在するノードからの映像データに対応する映像)を、画枠261内の所定の位置に表示させるように調整する。
すなわち、ユーザaの正面方向paが相対方位0度の場合には、ノードCから受信された映像データAc1を、ノードCの接続優先度Qac(相対方位0度において最も低い)に応じたサイズと透明度に調整し、画枠261内のノードCの相対方位θac(=+135度)に応じた位置に表示させるように調整する。これにより、ノードCから受信された映像データAc1に対応する映像322が、矢印P2に示されるように、映像251上の相対方位+135度の位置ではなく、画枠261内の映像251a上における相対方位+135度に応じた位置に表示される。
同様に、ユーザaの正面方向paが相対方位0度の場合には、ノードDから受信された映像データAd1を、ノードDの接続優先度Qad(相対方位0度において中間の接続優先度)に応じたサイズと透明度に調整し、画枠261内のノードDの相対方位θad(=−90度)に応じた位置に表示させるように調整する。これにより、ノードDから受信された映像データAd1に対応する映像323が、矢印P3に示されるように、映像251上の相対方位−90度の位置ではなく、画枠261内の映像251a上における相対方位−90度に応じた位置に表示される。
以上により、ヘッドマウントディスプレイ231からは、同じ実空間においてノードAと通信を行っており、そのときのユーザa(ノードA)の視界領域E内に存在するノードだけでなく、全方位に存在するノードからの映像データに対応する映像が、最適な通信バランスで提供される。
図29は、ヘッドマウントディスプレイ231に表示される映像の表示例を示している。 なお、以下、ノードから受信された映像データに対応する映像を、単に、ノードの映像とも称する。
図29の例においては、ユーザaの正面方向paが相対方位0度の場合に、各ノードから受信された映像データが、各ノードの接続優先度に応じたサイズと透明度に調整され、画枠261(すなわち、ノードAの視界領域E)内における、各ノードの相対方位情報に応じた位置に表示されるように調整された結果に対応する映像が表示されている。
図29の例においては、画角の整合性をキープしながら、図28の映像251上に表示されていた各ノードの映像(画枠261内外の映像)を、例えば、±45度の相対方位からなる画枠261内における、各ノードの相対方位情報に応じた位置に表示させている。
図29のヘッドマウントディスプレイ231においては、画枠261の中心を0度として、画枠261の左側に対して−画角が設定されており、画枠261の0度から右側に対して+画角が設定されている。
したがって、図28の画枠261内の−の相対方位の映像(すなわち、ノードAの視界領域E内の−の相対方位に存在するノードの映像)は、その相対方位に応じて、0度から左側に表示され、図28の画枠261内の+の相対方位の映像(すなわち、ノードAの視界領域E内の+の相対方位に存在するノードの映像)は、その相対方位に応じて、0度から右側に表示されている。すなわち、ノードAの視界領域E内に存在するノードの映像の場合、相対方位が離れるほど、対応する映像が画枠261の左端または右端側に表示される。
一方、図28の画枠261外の−の相対方位の映像(すなわち、ノードAの視界領域E外の−の相対方位に存在するノードの映像)は、左端部に表示され、さらに、左端部においては、その相対方位に応じた高さの位置に表示されている。すなわち、ノードAの視界領域E外の−の相対方位に存在するノードの映像の場合、相対方位が離れるほど、画枠261の左端部の上の位置に対応する映像が表示される。
同様に、図28の画枠261外の+の相対方位の映像(すなわち、ノードAの視界領域E外の+の相対方位に存在するノードの映像)は、右端部に表示され、さらに、右端部においては、その相対方位に応じた高さの位置に表示されている。すなわち、ノードAの視界領域E外の+の相対方位に存在するノードの映像の場合、相対方位が離れるほど、画枠261の右端部の上の位置に対応する映像が表示される。
すなわち、ユーザaの正面方向paが相対方位0度である図29の例においては、ノードBから受信された映像データAb1は、ノードBの接続優先度Qab(相対方位0度において最も高い)に応じたサイズと透明度に調整され、ノードBの相対方位θab(=0度)に応じて画枠261内の0度の位置に表示されるように調整される。これにより、ノードBから受信された映像データAb1に対応する映像341は、他の映像よりも大きいサイズで、低い透明度で、映像251aが表示されている画枠261内の0度の位置に表示される。
ノードCから受信された映像データAc1は、ノードCの接続優先度Qac(相対方位0度において最も低い)に応じたサイズと透明度に調整され、ノードCの相対方位θac(=+135度)に応じて、画枠261外の映像であるとして、画枠261内の右端部の、相対方位に応じた高さの位置に表示されるように調整される。これにより、ノードCから受信された映像データAc1に対応する映像342は、他の映像よりも小さいサイズで、高い透明度で、映像251aが表示されている画枠261内の右端部の135度の相対方位に対応する位置(右端上部)に表示される。
ノードDから受信された映像データAd1は、ノードDの接続優先度Qad(相対方位0度において中間の接続優先度)に応じたサイズと透明度に調整され、ノードDの相対方位θad(=−90度)に応じて、画枠261外の映像であるとして、画枠261内の左端部の、相対方位に応じた高さの位置に表示されるように調整される。これにより、ノードDから受信された映像データAd1に対応する映像343は、映像341よりも小さく、映像342よりも大きいサイズで、映像341よりも透明度を高く、映像342よりも透明度を低くして、映像251aが表示されている画枠261内の左端部の−90度の相対方位に対応する位置(左端中央部)に表示される。
このとき、映像342のサイズが小さく表示され、不明瞭になってしまうため、映像342には、映像342の映像データAc1の発信元であるノードCの名前342aなども表示されるようにしてもよい。同様に、映像343にも、映像343の映像データAd1の発信元であるノードDの名前343aなども表示されるようにしてもよい。
図30は、ヘッドマウントディスプレイ231に表示される映像の表示例を示している。すなわち、図30の表示例は、図29の表示例の他の例である。
図30の例においては、ユーザaの正面方向paが相対方位0度の場合に、各ノードから受信された映像データが、各ノードの接続優先度に応じたサイズと透明度に調整され、画枠261(すなわち、ノードAの視界領域E)内における、各ノードの相対方位情報に応じた位置に表示されるように調整された結果に対応する映像が表示されている。
図30の例においては、図29の例においてキープされていた画角の整合性を弱めて、図28の映像251上に表示されていた各ノードの映像(画枠261内外の映像)を、例えば、±45度の相対方位からなる画枠261内における、各ノードの相対方位情報に応じた位置に表示させている。
図30のヘッドマウントディスプレイ231においては、画枠261の中心を0度として、画枠261の左側に対して−180度が設定されており、画枠261の0度から右側に対して+180度が設定されている。すなわち、図30の例は、画枠261(ノードAの視界領域E)内に、−180度乃至+180度の全方位を割り当てるようにしたものであり、ノードAの正面方向paに対して、−の相対方位に存在するノードの映像は、その相対方位に応じて、画枠261内の中心(0度)から左側に表示され、+の相対方位に存在するノードの映像は、その相対方位に応じて、画枠261内の中心から右側に表示される。
したがって、ユーザaの正面方向paが相対方位0度である図30の例においては、ノードBから受信された映像データAb1は、ノードBの接続優先度Qab(相対方位0度において最も高い)に応じたサイズと透明度に調整され、ノードBの相対方位θab(=0度)に応じて、画枠261内の0度の位置に表示されるように調整される。これにより、ノードBから受信された映像データAb1に対応する映像351は、他の映像よりも大きいサイズで、低い透明度で、映像251aが表示されている画枠261内の0度の位置に表示される。
ノードCから受信された映像データAc1は、ノードCの接続優先度Qac(相対方位0度において最も低い)に応じたサイズと透明度に調整され、ノードCの相対方位θac(=+135度)に応じて、画枠261内における+135度の位置に表示されるように調整される。これにより、ノードCから受信された映像データAc1に対応する映像352は、他の映像よりも小さいサイズで、高い透明度で、映像251aが表示されている画枠261内の右端(+180度)よりの+135度の相対方位に対応する位置に表示される。
ノードDから受信された映像データAd1は、ノードDの接続優先度Qad(相対方位0度において中間の接続優先度)に応じたサイズと透明度に調整され、ノードDの相対方位θad(=−90度)に応じて、画枠261内における−90度の位置に表示されるように調整される。これにより、ノードDから受信された映像データAd1に対応する映像353は、映像351よりも小さく、映像352よりも大きいサイズで、映像351よりも透明度を高く、映像352よりも透明度を低くして、映像251aが表示されている画枠261内の左端(−180度)よりの−90度の相対方位に対応する位置に表示される。
このとき、例えば、0度に表示される映像351と映像352の間に、映像351と映像352の大きさの縮小過程を表す、例えば、Macintosh(商標)で用いられる、ウインドウが縮小しながらある位置に格納されるかような表示効果があるスケールエフェクトや、ジニー(ランプの精)がランプに吸い込まれるかのようなジニーエフェクトなどのアニメーション352bを表示させるようにしてもよい。同様に、0度に表示される映像351と映像353の間に、映像351と映像353の大きさの縮小過程を表すアニメーション353bを表示させるようにしてもよい。
以上のように、ユーザaの視界領域Eであるヘッドマウントディスプレイの画枠261内において、ユーザaの正面方向paに対する各ノードの相対方位に応じた位置に、各ノードの接続優先度に応じたサイズや透明度で、各ノードに対応する映像を表示するようにしたので、ユーザaは、実空間の映像251を背景に見ながら、各ノードが存在するおおよその相対方位を簡単に把握することができる。
なお、図27を参照して上述したように、接続優先度のみで表示位置を設定することも可能であるが、その場合には、相対方位情報に基づいていないため、各ノードが存在するおおよその相対方位までは、簡単に把握させることは難しい。
次に、図31のフローチャートを参照して、図20のステップS87において実行される映像特性調整処理の例を説明する。なお、図31の例においては、映像調整部85においては、例えば、画枠261(すなわち、ノードAの視界領域E)内に、−180度乃至+180度の全方位を割り当てるようにした図30の例の表示方法が予め設定されている。
すなわち、図20のステップS86において、通信制御部81より、映像調整部85に、記憶部22から優先度情報取得部82により取得(設定)された接続優先度および相対方位情報が供給されている。
外部通信インタフェース83のデータ受信部101−1は、図31のステップS111において、通信制御部81の制御のもと、ノードBからの映像データを受信し、受信した映像データを復号部103に供給し、ステップS112に進む。
復号部103は、ステップS112において、データ受信部101−1により受信された映像データを復号し、復号された映像データを出力映像調整部105−1に供給し、ステップS113に進む。
出力映像調整部105−1のサイズ調整部211−1は、ステップS113において、復号部103により復号された、ノードBからの映像データAb1のサイズを、ステップS86において通信制御部81により供給されたノードBの接続優先度に応じて調整し、透明度調整部212−1に供給し、ステップS114に進む。
透明度調整部212−1は、ステップS114において、サイズ調整部211−1によりサイズが調整されたノードBからの映像データAb1の透明度(すなわち、明瞭度)の度合いを、ステップS86において通信制御部81により供給されたノードBの接続優先度に応じて調整し、表示位置調整部213−1に供給し、ステップS115に進む。
表示位置調整部213−1は、ステップS115において、透明度調整部212−1により透明度の度合いが調整されたノードBからの映像データAb1の画枠261における表示位置を、ステップS86において通信制御部81により供給されたノードBの相対方位情報に応じて調整し、混合器86に供給し、ステップS116に進む。
なお、ステップS111乃至S116においては、データ受信部101−1がノードBからの映像データAb1を受信し、サイズ調整部211−1、透明度調整部212−1、および表示位置調整部213−1が処理する例を説明したが、この処理は、ノードNからの映像データAn1を受信し、処理するデータ受信部101−2、サイズ調整部211−2、透明度調整部212−2、および表示位置調整部213−2などにおいても同様に実行される。
混合器86は、ステップS114において、表示位置調整部213−1、表示位置調整部213−2、…からの音量が調整された映像データを混合し、混合した映像データを、入出力インタフェース25を介して、映像出力部91であるヘッドマウントディスプレイ231から出力させ、映像特性調整処理を終了する。そして、処理は、図20のステップS87に戻り、ステップS88に進む。
これにより、ヘッドマウントディスプレイ312の画枠261には、図30を参照して上述したように、通信バランスに応じて制御された映像が表示される。なお、図30の例においては、ノードB、ノードC、ノードDからの映像データが調整され、表示されている場合が示されている。
すなわち、画枠261には、ヘッドマウントディスプレイ312を通して得られる実空間の映像251aが表示され、映像251a上には、ノードBから受信され、ノードBの接続優先度および相対方位情報に応じて調整されたノードBに対応する映像351、ノードCから受信され、ノードCの接続優先度および相対方位情報に応じて調整されたノードCに対応する映像352、ノードDから受信され、ノードDの接続優先度および相対方位情報に応じて調整されたノードDに対応する映像353が表示される。
なお、図31の例においては、各ノードから送信され、データ受信部101により受信された映像データを調整する例を説明したが、例えば、ノードAの端末1−1の接続優先度リストの一部として、ID情報に関連させて各ノードに対応する映像データを記憶させておき、優先度情報取得部82が優先度情報を取得するときに、記憶部22から、各ノードに対応する映像データを読み出してきて、それに対して、図31の映像特性調整処理を行い、ヘッドマウントディスプレイ312の画枠261に表示させるようにしてもよい。
すなわち、映像特性調整処理の対象データとしては、あるノードから受信された映像データに限らず、あるノードに対応したり、関連する映像データであればよい。
次に、図32のフローチャートを参照して、図20のステップS87において実行される映像特性調整処理の例を説明する。すなわち、図32の処理は、図31の映像特性調整処理の他の例である。
分配器87は、ステップS131において、映像入力部92から入出力インタフェース25を介して入力される、被写体の映像に対応する映像データを、入力映像調整部106−1、106−2、…に分配し、ステップS132に進む。
例えば、分配器87は、分配した映像データを、ノードBに対しての映像データAb2として入力映像調整部106−1に出力し、ノードCに対しての映像データAc2として入力映像調整部106−2に出力する。
入力映像調整部106−1のサイズ調整部211−1は、ステップS132において、分配器87からのノードBに対しての映像データAb2のサイズを、ステップS86において通信制御部81により供給されたノードBの接続優先度に応じて調整し、透明度調整部212−1に供給し、ステップS133に進む。
透明度調整部212−1は、ステップS133において、サイズ調整部211−1によりサイズが調整されたノードBに対しての映像データAb2の透明度(すなわち、明瞭度)の度合いを、ステップS86において通信制御部81により供給されたノードBの接続優先度に応じて調整し、表示位置調整部213−1に供給し、ステップS134に進む。
表示位置調整部213−1は、ステップS134において、透明度調整部212−1により透明度の度合いが調整されたノードBに対しての映像データAb2の画枠261における表示位置を、ステップS86において通信制御部81により供給されたノードBの相対方位情報に応じて調整し、符号化部104に供給し、ステップS135に進む。
ステップS135において、符号化部104は、映像調整部85により映像特性情報(すなわち、サイズ、透明度、表示位置)が調整された映像データを符号化し、符号化された映像データをデータ送信部102−1に供給し、ステップS134に進む。
ステップS136において、データ送信部102−1は、通信制御部81の制御のもと、符号化部104により符号化された映像データを、外部通信回線11−2を介して対応するノードBの端末1−2に送信する。
なお、ステップS132乃至S136においては、入力映像調整部106−1がノードBに対しての映像データAb2を処理し、データ送信部102−1がノードBの端末1−2に送信する例を説明したが、この処理は、ノードNに対しての映像データAn2を処理し、送信する入力映像調整部106−2およびデータ送信部102−2などにおいても同様に実行され、映像特性調整処理を終了する。そして、処理は、図20のステップS87に戻り、ステップS88に進む。
例えば、同じようにして、ノードBには、例えば、ノードCにより入力され、ノードCにおけるノードBの接続優先度およびノードCの正面方向とノードBの相対方位情報に応じて調整された映像データCb2や、ノードDにより入力され、ノードDにおけるノードBの接続優先度およびノードDの正面方向とノードBの相対方位情報に応じて調整された映像データDb2が送信されてくる。
これらが、ノードBの端末1−2の混合器86において混合され、映像出力部91としてのヘッドマウントディスプレイ312に表示される。
これにより、端末1−2のヘッドマウントディスプレイ312の画枠261には、図30を参照して上述したような映像と同様に、ヘッドマウントディスプレイ312を通して得られるノードBが存在する実空間の映像が表示され、実空間の映像上には、ノードAから受信され、ノードAにおけるノードBの接続優先度および相対方位情報に応じて調整されたノードAに対応する映像、ノードCから受信され、ノードCにおけるノードBの接続優先度および相対方位情報に応じて調整されたノードCに対応する映像、ノードDから受信され、ノードDにおけるノードCの接続優先度および相対方位情報に応じて調整されたノードDに対応する映像が表示される。
なお、上記説明においては、映像入力部92をカメラなどで構成するように説明したが、被写体の映像データを入力するカメラに限らず、テキストデータなどを入力するものであってもよい。
以上のように、複数のノードとの通信を行う際に、求められた各ノードの接続優先度や相対方位情報に応じて、通信する映像データの調整を行うことにより、複数のノードとであっても、端末1内で通信バランスが制御され、最適な通信を行うことができる。すなわち、複数のノードとの通信バランスに応じた映像を表示させることができる。
また、通信途中において、ユーザが振り向いたり、方向ボタンを操作するなどの操作に対応して相対方位情報や接続優先度が変わった場合にも対応して、映像データが調整されて、表示される。
すなわち、ユーザの正面方向に連動して、表示される映像も変わるというように、時々刻々と変化するコミュニケーションの状況に応じて、映像情報が容易に調整されるので、時々刻々と変化するコミュニケーションの状況に応じて調整された映像がユーザに提供される。
これにより、ユーザは、複数端末間での通信においても、通信バランスに応じた映像を見ながら、最適な通信を行うことができる。
なお、上記説明においては、映像出力部91として、ヘッドマウントディスプレイ231により構成する例を説明したが、出力映像調整部105により調整された映像データの映像も提供し、ユーザaの正面方向paに連動する映像出力部91であれば、ヘッドマウントディスプレイ231に限らない。
例えば、図33に示されるように、映像出力部91を、小型携帯端末機351で構成される端末1−1に備えられるLCD352で構成する場合には、ユーザaは、手に保持した端末1−1のLCD352を見ながら、正面方向paを向くことで、ユーザaの正面方向paに対応して、ユーザaの手に保持された端末1−1のLCD352の正面方向も連動する。
したがって、小型携帯端末機からなる端末1−1に備えられるLCD352も、映像出力部91として用いるようにしてもよい。
ただし、映像出力部91をシースルー型のヘッドマウントディスプレイ231で構成する場合には、ヘッドマウントディスプレイ231上においては、ヘッドマウントディスプレイ231を通して得られる現実の実空間の映像と、ヘッドマウントディスプレイ231に表示される通信相手のノードに対応する映像が見かけ上重畳されて表示されるので、現実世界と仮想世界の融合が実現されるなどの、さらなる効果が得られる。
なお、上述した小型携帯端末機351のLCD352の場合にも、ユーザaが顔をあげることにより、現実の実空間の映像は得られる。したがって、間接的に、現実世界と仮想世界の融合を実現することが可能である。
これにより、ユーザは、実空間の映像を見ながら、他のノードとの最適な通信を行うことができる。
また、映像出力部91は、シースルー型だけでなく、遮光型のヘッドマウントディスプレイや没入型のイマーシブディスプレイを用いても、端末1に備えられ、例えば、通常画角カメラや360度全方位カメラなどからなる映像入力部92から入力される実空間の映像情報を、通信相手のノードに対応する映像と重畳させて表示させることにより、同様の効果が得られる。
さらに、映像出力部91から出力される実空間の映像は、仮想空間の映像であってもよいし、さらには、ユーザが端末1において視聴中のコンテンツなどの映像であってもよい。この場合には、これらの映像情報を通信相手のノードに対応する映像と重畳させて表示させることにより、ユーザは、仮想空間やコンテンツの映像を楽しみながら、通信相手とのコミュニケーションも楽しむことが可能である。
なお、上記説明においては、映像入力部91から入力された各ユーザの映像データを、複数の通信相手と送受信する場合を説明したが、例えば、お互いに視聴中の、例えば、端末1の記憶部22などの記録媒体に予め記憶されている、各ユーザ固有の動画や静止画コンテンツや各ユーザが所有する動画や静止画コンテンツを通信相手と送受信することも可能である。すなわち、他のユーザである通信相手の視聴中の映像データを聞くことができるので、一緒に楽しむことができ、さらに、これにより、ユーザの購買意欲を増大させ、映像データ(コンテンツ)の販売促進を促すことにもつながる。
この場合、ユーザが、仮に、通信相手からの映像データをコピーしようとしても、接続優先度によりサイズや透明度、表示位置が調整された映像データがコピーされてしまうので、正確な映像データはコピーされることが抑制されるが、万一の場合を考慮し、映像データには、コピー防止が施されるようにしてもよい。
さらに、上述した映像調整部85においては、映像データのサイズ、透明度、および表示位置を調整するように説明したが、そのうちのどれか1つであってもよいし、2つだけであってもよい。例えば、接続優先度に応じて、サイズだけ調整するようにすることも可能であるし、表示位置だけ調整するようにすることも可能であり、表示位置調整の場合であれば、図26を参照して上述したように、振り向いたところにいるノードに対応する映像だけを表示させることができる。
また、映像データの調整の種類は、サイズ、透明度、および表示位置などの調整に限定されず、他の映像データ処理(ぼかしやノイズフィルタなど)などを調整するようにしてもよい。
従来、MR(Mixed Reality:複合現実感)や、AR(Augumented Reality:拡張現実感)を創出する映像提示技術として、実空間あるいは仮想空間において、例えば、建造物などのオブジェクトに固有情報を予め設定しておくことで、その空間内のオブジェクト映像情報と設定されている固有情報を融合してユーザに提示する技術(例えば、カーナビゲーション装置における建造物名称情報表示技術)があるが、これらの情報は、空間情報提供者が随時固有情報を更新しなければ、ユーザが最新かつ正確な情報を得ることができなかった。
これに対して、本発明によれば、接続優先度解析部21によりリアルタイムに取得される通信相手ノードの接続優先度および相対方位情報を利用するため、常に実空間あるいは仮想空間内の最新の状態に応じ、かつ、最適に制御された映像情報の提示が可能となる。
また、換言すれば、本発明によれば、時々刻々と変化するコミュニケーションの状況に応じて、映像情報を容易に調整することができ、時々刻々と変化するコミュニケーションの状況に応じて調整された映像がユーザに提供される。
これにより、ユーザは、空間情報提供者が随時固有情報を更新したりしなくても、最新かつ正確な情報を得ることができる。
なお、上記説明においては、端末1が個人的に用いられる例を説明したが、本発明の端末1は、もちろん、例えば、図1におけるノードNの端末1−3が街頭の店舗内あるいは店舗前に設置される(すなわち、店舗が端末1−3を有する)場合のような商業的な用途にも用いるようにしてもよい。
具体的には、店舗内あるいは店舗前に設置される端末1−3において、記憶部22などに蓄積されている、その店舗固有の映像データ(すなわち、その店舗を宣伝する内容の映像データ)が再生され、ノードAやBなどに対して通信されている場合に、端末1−1を操作するユーザaが店舗の方向(ノードN方向)を向いたり、あるいは近づくことにより、端末1−1においては、方向情報や位置情報などが変更され、端末1−1において、ノードNの接続優先度が最も高くなり、その結果、端末1−1のヘッドマウントディスプレイ321には、ノードNの店舗からの映像データの映像が大きく表示されたり、明瞭に表示され、映像が最も明確になる。
これにより、ユーザは、興味のある店舗と通信し、興味のある店舗の方向を向いたり、近づくだけで、ヘッドマウントディスプレイ321では、興味のある店舗からの宣伝(映像データの映像)を大きく、明確に見ることができる。すなわち、ユーザは、興味のない店舗の方向を向いたり、近づかなければ、宣伝の映像は、明確には表示されないので、見たくない宣伝が表示されることによるわずらわしさを感じることが抑制される。
さらに、ユーザは、店舗の場所を知らなくても、いま自分が向いた方向、あるいは、移動した辺りに、ヘッドマウントディスプレイ321に表示される映像に応じて、どの方向に店舗があるかを把握することができる。すなわち、振り向いたり、移動することで変化する映像を見るだけで、所望の店舗の場所を探すことができる。
一方、店舗の方は、店舗(ノードN)に近づいたユーザ(店舗に興味のあるユーザ)に、明確な宣伝を提供することができるので、店舗の存在をアピールしたり、その店舗の商品などの販売促進を図ることができる。
以上のように、本発明によれば、上述したようなユーザの個人的な効果だけでなく、商品の販売促進など商業的な面でも効果を図ることができる。
なお、上記説明においては、説明の便宜上、ネットワーク2を特性情報通信回線11−1と外部通信回線11−2に分けて説明したため、端末1においては、機能別に、特性情報通信部55と外部通信インタフェース83と分けて構成するようにしたが、特性情報通信回線11−1と外部通信回線11−2を分ける必要がない場合には、1つの通信部として構成するようにしてもよい。
上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。この場合、例えば、図1の端末1−1乃至1−3は、図34に示されるようなパーソナルコンピュータ401により構成される。
図34において、CPU(Central Processing Unit)411は、ROM(Read Only Memory) 412に記憶されているプログラム、または、記憶部418からRAM(Random Access Memory)413にロードされたプログラムに従って各種の処理を実行する。RAM413にはまた、CPU411が各種の処理を実行する上において必要なデータなどが適宜記憶される。
CPU411、ROM412、およびRAM413は、バス414を介して相互に接続されている。このバス414にはまた、入出力インタフェース415も接続されている。
入出力インタフェース415には、キーボード、マウスなどよりなる入力部416、CRT(Cathode Ray Tube),LCD(Liquid Crystal Display)などよりなるディスプレイ、並びにスピーカなどよりなる出力部417、ハードディスクなどより構成される記憶部418、モデム、ターミナルアダプタなどより構成される通信部419が接続されている。通信部419は、無線などのネットワークを介しての通信処理を行う。
入出力インタフェース415にはまた、必要に応じてドライブ420が接続され、磁気ディスク421、光ディスク422、光磁気ディスク423、或いは半導体メモリ424などが適宜装着され、それから読み出されたコンピュータプログラムが、必要に応じて記憶部418にインストールされる。
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば、汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。
なお、このプログラムは、全体として上述した一連の処理を実行できれば、その形態は特に限定されない。例えば、上述した各ブロックのそれぞれに対応するモジュールのそれぞれからなるモジュール構成とされてもよいし、幾つかのブロックの機能の一部または全部が組み合わされたモジュール、若しくは、ブロックの機能が分割されたモジュールからなるモジュール構成とされてもよい。或いは、単に1つのアルゴリズムを有するプログラムでもよい。
このプログラムが記録される記録媒体は、図34に示されるように、装置本体とは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク421(フレキシブルディスクを含む)、光ディスク422(CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む)、光磁気ディスク423(MD(Mini-Disk)(商標)を含む)、もしくは半導体メモリ424などよりなるパッケージメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM412や、記憶部418に含まれるハードディスクなどで構成される。
ここで、本明細書において、コンピュータに各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理(例えば、並列処理あるいはオブジェクトによる処理)も含むものである。
また、プログラムは、1のコンピュータにより処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであってもよい。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであってもよい。
なお、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
1−1乃至1−3 端末,2 ネットワーク,3 GPS衛星,4 仮想空間管理サーバ,5 基地局,11−1 特性情報通信回線,11−2 外部通信回線,21 接続優先度解析部,22 記憶部,23 内部通信処理部,24 出力制御部,25 入出力インタフェース,26 動作入力部,27 情報入力部,28 出力部,51 方向検出部,52 特性情報設定部,53 空間情報設定部,54 情報取得制御部,55 特性情報通信部,56 空間情報管理部,57 優先度算出部,61 特性情報送信部,62 特性情報受信部,81 通信制御部,82 優先度情報取得部,83 外部通信インタフェース,84 コーディング部,85 映像調整部,86 混合器,87 分配器,91 映像出力部,92 映像入力部, 105 出力映像調整部,106 入力映像調整部,211−1,211−2 サイズ調整部,212−1,212−2 透明度調整部,213−1,213−2 位置調整部,231 ヘッドマウントディスプレイ,351,携帯端末機,352 LCD