JP2008217536A - インタフェース装置およびインタフェースシステム - Google Patents

Abstract

【課題】遠隔地間で、カクテルパーティ等のような複数の対話空間が存在する多地点コミュニケーション環境を実現する。
【解決手段】地点Ｐ１のインタフェース装置１００の画像入力部１０１で得られた入力画像はネットワーク２００を介して他の地点のインタフェース装置１００に送信されるとともに、反転画像生成部１０４に送られ、左右反転した反転画像が生成され、指示位置検出部１０６でユーザＵ１が指示している位置が検出される。他のインタフェース装置のユーザの入力画像は受信部１０３で受信され、画像重畳部１０５で反転画像と重畳される。コマンド選択部１０７は重畳画像上で、該位置に基き、ユーザＵ１の指定するコマンドを選択、実行する。情報表示部１０８は該コマンドに基き重畳画像上に情報を表示する。
【選択図】図１

Description

本発明は、ユーザ（操作者）を含む画像（自己画像）を入力画像とし、ユーザが自己画像を見ながら、メニューの選択・実行ができるインタフェース装置およびシステムに関し、特に遠隔地にある物体（機器等）を操作・表示するインタフェース装置およびシステムに関する。

遠隔地間のコミュニケーションが可能な手法として、特許文献１に記載の手法がある。これは、ディスプレイ上に複数の地点にいるユーザ映像を、自己像を含めて重ね合わせ、その映像を各ユーザに表示することにより、各地にいるユーザが同室にいるかのような効果を持つインタフェースである。
特開２００６−２２１５５０号公報

しかしながら、従来のミラーインタフェース（自己重畳表示による手法）は、システム上で同時に存在することができる対話空間は１つに限られているため、カクテルパーティ等のような複数の対話空間を同時並行的に生成することができない、という問題があった。

本発明の目的は、遠隔地間で、カクテルパーティ等のような複数の対話空間が存在する多地点コミュニケーション環境を実現できるインタフェース装置およびシステムを提供することにある。

本発明のインタフェース装置は、複数Ｎ個の地点間で映像およびコマンドを通信するシステムにおいて、各地点に設けられるインタフェース装置であって、
自己側の画像を入力した入力画像を他の地点のインタフェース装置に送信する画像送信手段と、
他の地点のインタフェース装置から送られてきた画像を受信する画像受信手段と、
画像を左右反転した反転画像を生成する反転画像生成手段と、
自己側の画像を反転した反転画像上で操作者の指示している位置を検出する指示位置検出手段と、
自己側の画像を反転した反転画像と、１個もしくは複数の他の地点のインタフェース装置から送られてきた画像とを重畳した画像を生成する画像重畳手段と、
該重畳画像上で、検出された指示位置に基づき操作者の指定するコマンドを選択して実行するコマンド選択手段と、
該指定されたコマンドに基づき該重畳画像上に情報を表示する情報表示手段と、
該指定されたコマンドを所定の地点のインタフェース装置へ送信するコマンド送信手段と、
他の地点のインタフェース装置から送られてきたコマンドを受信するコマンド受信手段と
を有する。

多地点間の接続において、複数の対話空間を同時並行的に生成させ、地点毎に表示する映像（対話空間の映像）を異なるものにできることにより、遠隔地間でこれまでできなかった、カクテルパーティ等のような複数の対話空間が存在する多地点コミュニケーション環境を実現できる。

本発明の実施態様によれば、前記画像重畳手段は、自己側の反転画像および他の地点のインタフェース装置から送信されてきた画像から、１つまたは複数の画像の組合せを選択する画像選択手段と、選択された１つまたは複数の画像の組合せを重畳し、表示する選択画像重畳処理手段を有する。各地点毎に、重畳する画像を選択する手段を持つことにより、地点毎に異なる重畳画像を表示可能となる。また、対話空間が同時に複数存在する場合についても対応することが可能になる。

本発明の実施態様によれば、前記画像重畳手段は、自己側の反転画像および他の地点のインタフェース装置から送られてきた１つまたは複数の画像を半透明化する半透明化手段と、半透明化された自己側の反転画像および他の地点のインタフェース装置から送られてきた１つまたは複数の画像を重畳する重畳手段を有する。これにより、ユーザの自己像を含む反転画像を半透明化して他の地点のインタフェース装置の画像に重畳するため、ユーザは他の地点のインタフェース装置の入力画像中の物体像と、ユーザの自己像を同時に見られるので、手指等と目的の物体を重ねる操作を行う際に、遠隔地でありながら、仮想的に同じ部屋にあるかのような操作性の高いインタフェースを実現できる。

本発明の実施態様によれば、前記画像選択手段による、重畳する画像の組合せを、指示により任意の組合せに動的に切り替える手段を有する。これにより、重畳する画像の組合せを、任意の組合せに動的に切り替えることができる。

本発明の実施態様によれば、前記選択画像重畳処理手段は、異なる地点の、同じ重畳画像を見ているユーザ同士の音声レベルと、異なる地点の、異なる画像を見ているユーザ同士の音声レベルを異なる値にする手段を有する。これにより、複数の地点において、複数の対話空間が生成されているときに、対話空間に含まれている人同士の音声は互いに大きく聴こえるが、異なる対話空間に含まれる者同士では、音声が互いに小さく聴こえるように設定できる。

本発明のインタフェースシステムは、複数Ｎ個の地点にそれぞれ設けられたインタフェース装置と、ネットワークを介して前記複数のインタフェース装置と接続された少なくとも１つの多地点情報管理装置を有し、
前記多地点情報管理装置は、
前記各インタフェース装置が送信したコマンドを、前記ネットワークを介して受信するコマンド受信手段と、
前記の受信したコマンドを、各インタフェース装置へ前記ネットワークを介して送信するコマンド送信手段と、
前記コマンド受信手段で受信されたコマンドを、該コマンドが転送されるべきインタフェース装置へ前記コマンド送信手段を介して送信するコマンド制御手段と
を含み、
前記各インタフェース装置は、
自己側の画像を入力した入力画像を他の地点のインタフェース装置に送信する画像送信手段と、
他の地点のインタフェース装置から送られてくる画像を受信する画像受信手段と、
画像を左右反転した反転画像を生成する反転画像生成手段と、
自己側の画像を反転した反転画像上で操作者の指示している位置を検出する指示位置検出手段と、
自己側の画像を反転した反転画像と、１個もしくは複数の他の地点のインタフェース装置から送信されてきた画像とを重畳した画像を生成する画像重畳手段と、
該重畳画像上で、検出された指示位置に基づき操作者の指定するコマンドを選択して実行するコマンド選択手段と、
該指定されたコマンドに基づき該重畳画像上に情報を表示する情報表示手段と、
該指定されたコマンドを前記多地点情報管理装置へ送信するコマンド送信手段と、
前記多地点情報管理装置から送られてくるコマンドを受信するコマンド受信手段と
を含む。

コマンド情報を多地点情報管理装置で一括管理するので、ネットワークの通信負荷を小さくでき、インタフェース装置の処理負荷を小さくできる。

本発明の他のインタフェースシステムは、複数Ｎ個の地点にそれぞれ設けられたインタフェース装置と、ネットワークを介して前記複数のインタフェース装置と接続された少なくとも１つの多地点情報管理装置を有し、
前記多地点情報管理装置は、
前記各インタフェース装置が送信したコマンドを、前記ネットワークを介して受信するコマンド受信手段と、
前記の受信したコマンドを、各インタフェース装置へ前記ネットワークを介して送信するコマンド送信手段と、
前記コマンド受信手段で受信されたコマンドを、該コマンドが転送されるべきインタフェース装置へ前記コマンド送信手段を介して送信するコマンド制御手段と
前記各インタフェース装置が送信した画像を、前記ネットワークを介して受信する画像受信手段と、
前記の受信した画像を、各インタフェース装置へ前記ネットワークを介して送信する画像送信手段と、
前記画像受信手段で受信された画像の中から、画像送信先のインタフェース装置が必要とする画像を選択し、該画像送信先のインタフェース装置へ前記画像送信手段を介して送信する画像制御手段と
を含み、
前記各インタフェース装置は、
自己側の画像を入力した入力画像を前記多地点情報管理装置に送信する画像送信手段と、
前記多地点情報管理装置から送られてきた画像を受信する画像受信手段と、
画像を左右反転した反転画像を生成する反転画像生成手段と、
自己側の画像を反転した反転画像上で操作者の指示している位置を検出する指示位置検出手段と、
自己側の画像を反転した反転画像と、１個もしくは複数の他の地点のインタフェース装置から送信されてきた画像とを重畳した画像を生成する画像重畳手段と、
該重畳画像上で、検出された指示位置に基づき操作者の指定するコマンドを選択して実行するコマンド選択手段と、
該指定されたコマンドに基づき該重畳画像上に情報を表示する情報表示手段と、
該指定されたコマンドを前記多地点情報管理装置へ送信するコマンド送信手段と、
前記多地点情報管理装置から送られてきたコマンドを受信するコマンド受信手段と
を含む。

コマンドに加えて画像の通信も多地点情報管理装置を介して行なうことにより、各地点のインタフェース装置における送信処理負荷をさらに低減でき、またネットワークの負荷をさらに減らせる。

本発明は下記の効果がある。

多地点間の接続において、複数の対話空間を同時並行的に生成させ、地点毎に表示する映像（対話空間の映像）を異なるものにできることにより、遠隔地間でこれまでできなかった、カクテルパーティ等のような複数の対話空間が存在する多地点コミュニケーション環境を実現できる。

多地点間の接続により、各ユーザが任意の相手の部屋の物体に対して、機器操作したり、情報表示したり、同じ物を指し示したりできる。また、任意の複数地点の映像を重畳できることにより、地点数が多くても必要な地点の映像だけ重畳できるので、機器操作したり、情報表示したり、指し示したりする際に、利便性を高められる。

コマンドの通信、さらには画像の通信も多地点情報管理装置を介して行なうことにより、各地点のインタフェース装置における送信処理負荷を低減でき、またネットワークの負荷を減らせる。

次に、本発明の実施の形態を、図面を参照して説明する。

[第１の実施形態]
図１は本発明の第１の実施形態のインタフェースシステムの構成を示す図、図２、図３はそれぞれ本インタフェースシステムを構成するインタフェース装置１００の送信部１０２、受信部１０３の構成を示す図である。

本実施形態のインタフェースシステムは、複数Ｎ個の地点Ｐｉ間（ｉ＝１〜Ｎ）で映像およびコマンドを通信するシステムで、インターネット、公衆電話網等のネットワーク２００を介して接続される、各地点Ｐｉに設けられた同じ構成のＮ個のインタフェース装置１００からなる。各インタフェース装置１００は当該地点Ｐｉでの操作者Ｕｉ（ｉ＝１〜Ｎ）を含む画像（自己画像）を入力画像とし、ユーザＵｉが自己の画像を自分で見ながら、自己の動作に基づき、遠隔地画像または自己画像中の物体に対しコマンドを実行する。遠隔地画像は、当該地点Ｐｉと異なる１つまたは２つ以上の地点で得られる画像で、図６に示すように、ネットワーク２００を介して通信され、当該地点Ｐｉのインタフェース装置１００に送られる。

インタフェース装置１００は画像入力部１０１と送信部１０２と受信部１０３と反転画像生成部１０４と画像重畳部１０５と指示位置検出部１０６とコマンド選択部１０７と情報表示部１０８とディスプレイ１０９とを有している。送信部１０２は画像送信部１０２ａとコマンド送信部１０２ｂで構成されている。受信部１０３は画像受信部１０３ａとコマンド受信部１０３ｂで構成されている。反転画像生成部１０４と画像重畳部１０５と指示位置検出部１０６とコマンド選択部１０７は画像生成部１１０を構成している。また、送信部１０２と受信部１０３と反転画像生成部１０４と画像重畳部１０５と指示位置検出部１０６とコマンド選択部１０７と情報表示部１０８は処理部１２０を構成している。

以下、地点Ｐ１にある、ユーザＵ１のインタフェース装置１００の各部について説明するが、他の地点のインタフェース装置１００についても同様である。

画像入力部１０１は、ユーザＵ１を含む画像を入力するためのもので、本例では、図１のように１台のカメラを用いる。カメラは一般に用いられるビデオカメラでよく、白黒でもカラーでもよい。ただし、下記で述べる色情報を使用した方法を用いる場合はカラーカメラが必要である。

送信部１０２は、画像入力部１０１で入力された入力画像を、ネットワーク２００を介して他のすべて地点のインタフェース装置１００へ送信する。これはマルチキャスト送信を行えば可能である。また、送信部１０２は、入力画像を、同時に、ユーザＵ１側の反転画像生成部１０４へ送る。さらに、送信部１０２は、コマンド選択部１０７から送られたコマンド情報を受け取り、該コマンド情報を、ネットワーク２００を介して該当するユーザのインタフェース装置１００へ送信する。ユーザＵ１のインタフェース装置１００から送られたユーザＵ１の入力画像は、他のすべての地点のインタフェース装置１００の受信部１０３で受信される。画像を、ネットワークを介して送る方法は、既存の一般的なインターネットを用いた映像データ送信技術を使うことも可能であり、また一般的な映像放送等による無線を用いた送信も、有線ネットワーク上での送信も容易に可能である。さらにまた、ネットワークを介さず映像用ケーブル等で、ユーザＵ１のインタフェース装置１００の送信部１０２と他のすべての地点のインタフェース装置１００の受信部１０３を直接接続することも可能である。ユーザＵ１の地点Ｐ１と他のユーザの地点が比較的近い場所にある場合には、このように直接（映像ケーブル等で）接続して映像信号を送る方法も有効である。その場合は図１中のネットワーク２００は省略できる。

受信部１０３は、地点Ｐ１以外の１つないしは複数の地点のインタフェース装置１００から送られた入力画像を受信する。また、受信部１０３は、同様に地点Ｐ１以外の１つないしは複数の地点のインタフェース装置１００から送られてくるコマンド情報を受信し、ユーザＵ１のインタフェース装置１００のコマンド選択部１０７へ送る。受信した画像は、画像重畳部１０５へ送られるとともに、反転画像生成部１０４へ送られる。前述の反転画像生成部１０４において、地点Ｐ１以外の他の地点の画像を反転／非反転できることを述べたが、本受信部１０３において反転／非反転を切り換える方法も考えられる。具体的には、受信した地点Ｐ１以外の地点の画像を、画像重畳部１０５と反転画像生成部１０４のどちらに送るかを、この受信部１０３で切り換えることで可能である。この場合、送り先の設定を、予め初期設定、または動作中に設定変更も可能とすることにより、反転画像生成部１０４へ送って反転してから画像重畳部１０５へ送ることもできるし、非反転のまま画像重畳部１０５へ直接送ることも可能である。

反転画像生成部１０４は、送信部１０２から出力された、ユーザＵ１側の入力画像または受信部１０３から出力された、他のユーザ側の入力画像を入力し、左右反転し、あるいは反転せずにそのまま、画像重畳部１０５と指示位置検出部１０６に出力する。ここで、反転画像生成部１０４では、送信部１０２から送られてくるユーザＵ１の入力画像と、受信部１０３から送られてくる他の地点のユーザＵ２〜ＵＮの画像に対し、画像毎に、反転画像生成処理のオン／オフは切り換えられるものとする。反転／非反転の設定は、予め初期設定、または動作中に設定変更も可能とすることにより、いずれの画像も各々反転画像を生成して出力してもよいし、非反転で（反転せずそのまま）出力してもよい。なお、画像の反転／非反転の設定は受信部１０３で行い、「反転」に設定されていれば反転画像生成部１０４に、「非反転」が設定されていれば画像重畳部１０５にユーザの画像が出力されるようにしてもよい。この設定も予め初期設定として行ってもよいし、動作中に行ってもよい。

画像重畳部１０５は、反転画像生成部１０４から出力された画像と、受信部１０３で受信された、他のユーザの入力画像を１つの画像に重ね合わせる。このとき、ユーザＵ１の自己像が写った反転画像からユーザＵ１の体の輪郭（または動作入力に必要な手指等の部分画像だけでもよい）を切り出し、他ユーザ側の入力画像の上に切り出した部分画像を重ね合わせる。ユーザＵ１の体の切り出しは、例えば画像処理により実現できる。切り出しの画像処理方法としては、背景差分によるユーザＵ１の切り出しがある。これは、例えば反転画像（またはユーザＵ１側の入力画像）についてユーザＵ１のいない場合の背景画像を予め撮影、取得しておき、ユーザＵ１がいる場合に、背景画像と、ユーザＵ１がいる場合の画像との差分画像を生成することにより行える。差分画像は、例えば、全画素値について、画素毎に、背景画像の画素値と、同じ画素位置の現画像の画素値の差の絶対値を求めることにより作成できる。または、肌色認識処理を用いることにより、手の部分だけを切り出すことも容易に可能である。これらにより、各地点Ｐ１〜ＰＮのインタフェース装置１００のディスプレイ１０９には、図７に示したように、同じネットワーク２００に接続されているすべての地点Ｐ１〜ＰＮの反転画像を重畳させて表示することもできる。この場合、インタフェース装置１００を利用する全てのユーザＵ１〜ＵＮは同じ画面を共有でき、あたかも多人数が同じ部屋で作業しているかの臨場感を提供することができる。

指示位置検出部１０６は、反転画像生成部１０４から出力された画像上において、ユーザＵ１が手指等の体の部位で指し示す位置（ユーザ指示位置）を検出し、コマンド選択部１０７と情報表示部１０８に出力する。

指示位置検出部１０６の１つ目の実現例として、ユーザＵ１がマーカを持ち、入力画像中のマーカを画像処理により検出する方法がある。例えば、まず、赤色（他の色でもよいが、背景画像中に少ない色が好ましい）の物体を手に持ちもしくは装着し、それをカメラの前で手振りして動かす。得られたカラー画像のＲＧＢ等色情報の値から赤色成分を抽出し、ラベリング処理（固まり毎にグループに分ける一般的な画像処理方法）を用い、その中で最も面積の大きい赤色部分を１つ選び、その位置の重心位置（ｘ，ｙ）を求める。得られた重心位置（ｘ，ｙ）座標をユーザ指示位置とする。ここで、赤色の物体の代わりに、赤色（前記物体同様、他の色でもよい）の発光ダイオード（ＬＥＤ）を発光させた状態で、手に持ちもしくは装着し、当該色を抽出して同様に行う方法も可能である。（ｘ、ｙ）は重心位置（抽出した部分の全画素値のｘ座標の合計値の平均値、およびｙ座標の合計値の平均値）でなく、中心位置（抽出した部分のｘ座標の最大値と最小値の中心値、およびｙ座標の最大値と最小値の中心値）でもよい。

指示位置検出部１０６の２つ目の実現例として、ユーザＵ１がマーカをもたずに、入力画像中の手の位置を画像処理により直接検出する方法がある。例えば、まず、得られたカラー画像のＲＧＢ等の色情報の値から肌色成分を抽出し、ラベリング処理を行う。得られた複数の肌色成分の中から、手の大きさや位置等の制約情報を利用して、目的とする手を選択する。その選択する具体的な方法例としては、ユーザが通常衣服を着ているとすると、肌色部分の候補となる可能性が高いのは両手と顔と考えられ、また最も面積が大きいのは顔と考えられるので、２つ目と３つ目に面積が大きい肌色部分を手の候補として選択する。ユーザ指定位置を両手とした場合、その２つの肌色部分の候補に対する重心位置を、２つの候補から１つ選ぶ必要があるが、予め例えば右手を指定する手としたら、体よりも右手側にある候補を（右手の可能性が高いことから）右手の肌色部分として選び、その重心位置を右手のユーザ指定位置とすればよい。左手の場合も同様である。

指示位置検出部１０６のこれらの実現例では、前述した検出処理をする前に、差分画像を用いた処理を加えることにより、精度を上げることもできる。差分画像は、例えば、反転画像上で、予め撮影した背景画像（ユーザのいない状態で撮影した画像）と、現在撮影している現画像（ユーザがいる状態の画像）との間で作成する。差分画像は、例えば、全画素について、画素毎に、背景画像の画素値と、（同じ画素位置の）現画像の画素値の差の絶対値を求めることにより作成できる。この差分画像を用いることにより、体等の動く物体だけを予め抽出しておき、その後前述したような画像処理（体に付けたマーカを抽出する方法や、肌色を抽出する方法等）によりユーザ指定位置を検出し、その座標を取得すれば、背景画像に含まれるマーカの色や肌色に似た色の誤検出を減らせることが容易に推測できる。

このような指示位置検出部１０６により、コマンド選択のために、体全体を対象とせず、マーカや手のみを接触部位判定に用いることができるので、コマンド選択のためのアイコン等を任意の位置におけるのでその位置およびユーザ動作に関して高い自由度が得られる。

コマンド選択部１０７は、指示位置検出部１０６で得られたユーザ指示位置と、ユーザＵ１が選択しようとするコマンド情報（Ｕ１のコマンド情報）のディスプレイ１０９上での表示位置（予めコマンド選択部１０７に設定しておけばよい）を照らし合わせ、両者の位置関係からユーザＵ１が指示しようとするコマンド情報を探索し、選択、実行する。また、コマンド選択部１０７は、受信部１０３から送られる地点Ｐ１以外の他の地点のコマンド情報を受け取り、ユーザＵ１の場合と同様に、ユーザＵ１側のインタフェース装置１００において該コマンドを選択し実行する。さらに、コマンド選択部１０７は、ユーザＵ１側のコマンド情報を送信部１０２に送り、ネットワーク２００を介して地点Ｐ１以外の他の地点のインタフェース装置１００へ送る。ユーザが選択しようとするコマンド情報のディスプレイ１０９上での該表示位置は、各々予め、該遠隔地側入力画像上での表示位置を定めて記憶しておけばよい。例えば、ユーザ指示位置からある一定の距離範囲に表示位置を持つコマンドがあればそれを選択すればよい。コマンド情報の表示位置は、コマンド毎に予め任意の位置に決めておけばよい。また、地点Ｐ１以外の他の地点のユーザ（遠隔地側）のインタフェース装置１００から送られるコマンド情報に関しては、設定により、実行する／実行しないを選択して切り換えるようにすることもできる。

情報表示部１０８は、画像重畳部１０５で得られた重畳画像と、コマンド選択部１０７で作成されたコマンド情報とをディスプレイ１０９に表示する。

ディスプレイ１０９は、コンピュータ用に使われる汎用のディスプレイでよく、コンピュータの画面とカメラ画像を表示できるものであればよい。コマンド情報とは、コマンド表示位置やコマンド内容等のコマンドに関わる情報と、ユーザＵ１がその中から選択したコマンドの情報であり、その表示方法は、コンピュータで作製したＣＧで選択可能なコマンド（群）、および選択されたコマンドを表示すればよい。また、指示位置検出部１０６で得られたユーザ指示位置についても、例えばマウスのカーソル表示のようにリアルタイムに明示して表示してもよい。コマンドの内容としては、遠隔地側の物体を操作したり、情報を表示するコマンドでもよいし、ユーザ側の部屋に関わる操作や情報表示を行うコマンドでもよい。遠隔地側の物体を操作したり、情報を表示するコマンドであれば、重畳画像中に遠隔地側の画像が表示されているので、ユーザＵ１にとって、操作の判断や、操作結果の確認が可能であり、ユーザ利便性の高いインタフェースを実現できる。

本実施形態では、ユーザは、自己画像が映った画面を見ながら、同じ画面上に表示されているＣＧアイコンによるコマンド情報（情報表示部の説明参照）に手指等を重ね合わせるだけで、画面に直接触らずに、自己画像中の物体に対するコマンドの選択・実行や、遠隔地画像中の物体に対するコマンドの選択・実行が可能である。このような操作方法により、分かり易く間違いの少ない指示が可能になる。

また、ユーザＵ１とユーザＵ２の２地点間を接続するだけでなく、図７に示すように、３地点以上（最大Ｎ地点）の画像を重畳することにより、３地点以上のユーザが、各々互いの部屋もしくは自分の部屋の物体等に対して、同時に、機器を操作したり、情報を表示したり、同じ物を指し示したりすることができる。例えば、地点Ｐ１にいるユーザＵ１が地点Ｐ２にある照明のスイッチをオン／オフしているのと同時に、地点Ｐ２にいるユーザＵ２が地点Ｐ３にあるＴＶのチャンネル操作を行ったり、地点Ｐ１の本の情報表示を行ったりできる。また、３地点以上の映像が重畳できるので、ユーザＵ１とユーザＵ２とユーザＵ３が一緒に同じ位置を指しあうことができるため、例えば、地点Ｐ２にある棚に置いてある本に対し、ユーザＵ１とユーザＵ３が同時に同じ位置を指しあうことにより、直感的な動作による意思伝達を行うことができる。

また、地点Ｐ１において、ユーザＵ１の入力画像と、地点Ｐ１以外の地点から送られてきた画像は、反転画像生成部１０４により、各々個別に、反転したり非反転のまま（正像のまま）にしたりすることができる。よって、ユーザＵ１が見るディスプレイ１０９に表示される画像は、例えば、Ｐ１とＰ２とＰ３の３地点のユーザＵ１，Ｕ２，Ｕ３を重畳した場合、Ｕ１の反転／非反転＋Ｕ２の反転／非反転＋Ｕ３の反転／非反転、の各々の反転／非反転の組み合わせにより８通りの重畳画像が可能である。

具体的な利用シーンを考えると、Ｕ１の反転＋Ｕ２の反転＋Ｕ３の反転の場合は、同じ方向を向いている隣り合った３人の前に鏡があり、鏡を介して（鏡越しに）、鏡に映っている隣の人を見ながら会話等のコミュニケーションを行う状況（すなわち例えば銭湯で鏡越しで隣に座っている人と会話する状況）と同様のシーンを実現できる（図４）。このときは、自分が反転画像、相手側の画像も反転画像であることにより、互いに相手の同じ位置を指し示すことが可能になる。

また、Ｕ１の反転＋Ｕ２の非反転＋Ｕ３の非反転の場合は、ディスプレイ１０９の中を通して（透かして）向こう側に、相手（Ｕ２とＵ３）がいる状況を再現できる。つまり、ユーザＵ１と、ユーザＵ２、Ｕ３の間に半透明の板（ハーフミラーまたはディスプレイ）があり、半透明板上に映った自分の像と、半透明板を透かして見える相手側の像が重なって同じ板上に表示される状況（例えば窓越しに向こうの部屋の中が見えつつ、自分も窓に薄く映っている状況）と同様のシーンを実現できる（図５）。このときは、自分が反転画像、相手側の画像が正像（非反転画像）であることにより、ユーザＵ１が遠隔地のユーザＵ２側の部屋の中の物体を半透明板上で重ね合わせて指し示すことが可能である。

[第２の実施形態]
図８は、本発明の第２の実施形態を説明する図である。

本発実施形態では、第１の実施形態で示した画像重畳部１０５が、地点毎に異なる重畳画像を生成し、表示する機能を備える。すなわち画像重畳部１０５の中にある重畳処理部が画像選択部１０５ａと選択画像重畳処理部１０５ｂで構成されている。他の構成要素は、第１の実施形態と同じである。

画像選択部１０５ａは、入力された複数の遠隔地画像（または半透明化処理部（後述）で半透明化された画像）から所定の１つまたは複数画像の組合せだけを選択し、その画像だけを次の選択画像重畳処理部１０５ｂへ送る。画像選択部１０５ａにおいて、複数の入力画像から出力する画像を選択する方法としては、画像選択部１０５ａの中に、選択すべき画像の地点情報を記録しておき、その情報に基づき出力する画像を選べばよい。選択する画像の地点情報は、予め各地点において与えておいてもよいし、他の地点からコマンドの情報として送られてもよい。

図９に自地点をＰ１とした場合の処理の流れの例を示す。地点Ｐ１内では、自己画像と、他地点（Ｐ２〜ＰＮ）の画像が画像選択部１０５ａへ入力される（ステップ１００１）。その中から、対話空間情報に基づき、選択すべき画像を選ぶ（ステップ１００２）。対話空間情報とは、Ｐ１〜ＰＮのＮ地点において、どの地点間で対話空間が生成されているかの対話状態の情報やその地点での表示状態を表す情報などである。例えば、ユーザＵ１とＵ２が対話している状態であり、かつユーザＵ１の表示状態がそのユーザＵ１とＵ２の対話空間を表示する状態であれば、入力された画像の中から、ユーザＵ１とＵ２の画像が選択画像重畳処理部１０５ｂへ出力される（ステップ１００３，１００４）。

表１から表３に対話空間情報の例を示す。

表１の対話空間情報の例は、地点Ｐｉにおける表示状態ＳＤｉと対話状態ＳＣｉを持つ例である。表示状態には、どこかの対話空間を表示する状態や、どこかを視聴だけする状態や、自分自身を視聴する状態などがある。視聴の場合は、視聴しようとする地点のユーザが、どこか他の地点のユーザと対話中の場合、例えば、ユーザＵ１とＵ２が対話中の場合、ユーザＵ３がユーザＵ１を視聴しようとしたときは、ユーザＵ３の画面はユーザＵ１、Ｕ２の対話を表示すればよい（もちろんユーザＵ１だけを表示してもよい）。

対話状態とは、ユーザＵｉが誰と対話空間を構成しているか、もしくは構成していないか、の情報がある。また、表２は、対話状態の情報を、別リストとして記録する場合の方法である。また、表３は、総当たりの表を用いて、自分がどの相手とどういう対話状態であるか、およびどこを表示している状態か、の情報を持つ。いずれも、地点Ｐｉでは、自地点の表示状態と、対話状態が記録されている。このような対話空間情報を、各地点で持つ。

また、対話空間は、２者間に限らず、３者以上の（例えば、ユーザＵ１、Ｕ２、Ｕ５の）対話空間も可能である。また、自分の含まれない対話空間を視聴することも可能である。また、自地点（ここではＰ１）を含まない対話空間（例えば、ユーザＵ２、Ｕ３、Ｕ５の３者間の対話）も可能である。また、２者以上の対話空間が存在しない場合は、自地点のみの画像を選択したり、他の任意の１地点を選択することも可能である。さらに、そのような対話空間が同時に複数存在する場合（後述）は、対話空間情報において指定される対話空間に含まれる地点の画像を選択する。

これらの対話空間情報は、初期設定などにより、設定を変更することで、対話空間の設定や表示状態を予め任意に変更することができる。

選択画像重畳処理部１０５ｂでは、送られてきた１つまたは複数画像の組合せを重畳し、表示する重畳画像を生成する。重畳処理の具体的な方法については、第１の実施形態と同様である。

このように、各地点毎に、重畳する画像を選択する手段を持つことにより、地点毎に異なる重畳画像を表示することが可能となる。また、この方法により、対話空間が同時に複数存在する場合についても対応することが可能になる。対話空間が同時に複数存在する場合について、具体的な方法を以下に示す。

図１０に、複数の対話空間を同時に生成した場合の利用例を示す。従来方式（図１０（１）、例：既存ＴＶ会議システム等）では、地点の数が増えても同時に可能な対話空間は１つだけであるのに対し、本発明の方式（図１０（２））では、複数の対話空間を同時に生成することができる。これにより、例えば立食パーティのような複数の対話空間が同時並行に存在するような環境を、ネットワークを通した遠隔地間においても再現することが可能となる。

図１０（２）では、ユーザＵ１とＵ２の間で対話しているとき、ユーザＵ３とＵ４の間では別の対話空間が同時に生成されており、地点Ｐ１とＰ２における表示画面はＵ１とＵ２が重畳された画像であるのに対し、地点Ｐ３とＰ４における表示画面はユーザＵ３とＵ４が重畳された画像となる。これは、画像選択部１０５ａと選択画像重畳処理部１０５ｂを、地点毎に別々に設けていることにより可能となっている。

図１１では、ユーザＵ１とＵ２が対話し、同時にユーザＵ３とＵ４が対話している状態において、各地点Ｐ１〜Ｐ５での画面表示例を表している（図１１（１））。対話している人は、自分と対話相手の映像が（半透明で）重畳された映像が表示される。必要に応じて、画面上には他の地点（または全地点）の画像も小さく表示することもできる。つまり、ユーザＵ１とＵ２が見ている画面には、ユーザＵ１とＵ２の重畳映像が表示されており（図１１（２））、同様にユーザＵ３とＵ４の画面には、ユーザＵ３とＵ４の重畳映像が表示されている（図１１（３））。ここでは、２地点の重畳を例としているが、３地点以上の対話空間の重畳も同様に可能である。

また、対話空間に参加していない地点（の人）は、自己像のみを表示したり、どこかの地点を視聴するだけしたりすることができる。図１１（１）の例では、地点Ｐ５では、ユーザＵ１とＵ２の対話を視聴した状態となっている。このときは、地点Ｐ５の画面には、ユーザＵ１とＵ２の重畳映像が表示される。

図１０、図１１では、分かり易くするため、各地点Ｐ１〜Ｐ５は１人の絵となっているが、複数の人数でも同じである。また、図１１の例では、地点数は５地点としているが、５地点以外のＮ地点でも同様である。

[第３の実施形態]
図１２は本発明の第３の実施形態を説明する図である。

本実施形態では、第１の実施形態で示した画像重畳部１０５が、画像を半透明化処理する仕組みを備えている。すなわち、画像重畳部１０５が半透明化処理部１０５ｃと重畳処理部１０５ｄで構成されている。他の構成要素は、第１および第２の実施形態と同様に構成され、同様に動作する。

以下では主に地点Ｐ１のユーザＵ１側のインタフェース装置１００に関する動作について説明するが、地点Ｐ２以外の他の地点のインタフェース装置１００についてもユーザＵ１側のインタフェース装置１００と同様な動作を行う。

半透明化処理部１０５ｃは、入力された画像を半透明化する。ユーザＵ１側の自己像と、地点Ｐ１以外の地点（遠隔地側）の画像について、いずれも各々個別に半透明化処理を行う。半透明化の度合いを自由に設定することも容易に可能である。半透明化の方法は、画像データに対し、画素ごとに透明度（アルファ値とも言われ一般的な方法である）情報を持たせることで実現できる。透明度の変更により、自己像も遠隔地側画像もいずれも各々個別に、半透明ではなく、完全な透明（すなわち非表示）にしたり、不透明にしたりすることも可能である。

重畳処理部１０５ｄは、半透明化処理した自己像と、１つないしは２つ以上の遠隔地側画像とを重ね合わせて（重畳して）１枚の画像（重畳画像）を生成する。重畳する際は、両者の透明度の割合に応じて、複数ある画像中の画素を重ね合わせればよい。例えば、ユーザＵ１，Ｕ２，Ｕ３のいる３地点Ｐ１、Ｐ２、Ｐ３の場合、ユーザＵ１の不透明度が０．６、Ｕ２の不透明度が０．３、Ｕ３の不透明度が０．１とすると、Ｕ１の画像のある画素は６０％、Ｕ２の対応する画素は３０％、Ｕ３の対応する画素は１０％、の割合にした値を、３つ加算して求めればよい。

これにより、ユーザの自己像を含む反転画像を半透明化して遠隔地側画像に重畳するため、ユーザは遠隔地側入力画像中の物体像と、ユーザの自己像を同時に見られるので、手指等と目的の物体を重ねる操作を行う際に、遠隔地でありながら、仮想的に同じ部屋にあるかのような操作性の高いインタフェースを実現できる。また、各々の透明度（または不透明度）は自由に設定（予め初期設定も可能、または動作中に設定変更も可能とする）できるので、それぞれの入力画像の状態（撮影された照明条件、背景画像、物体・ユーザの色状態など）により、ユーザに最も操作しやすく自由に各々の透明度を変更することもできる。

また、これにより、地点Ｐ１の自己画像および地点Ｐ１以外の地点の画像をいずれも任意の透明度で半透明化して重畳することにより、ユーザＵ１は自己画像中の物体または地点Ｐ１以外の地点の画像中の物体の像と、ユーザＵ１の自己画像を同時に見られるので、手指等と目的の物体を重ねる操作を行うことで、自分の部屋の物体も、また地点Ｐ１以外の地点にある物体も、仮想的に同じ部屋にあるかのように、画面上で指差したり、触ることができ、操作性の高いインタフェースを実現できる。透明度は自由に設定できるので、重畳したときに、ユーザに最も操作しやすく自由に透明度を変更することができる。

また、ユーザ側の映像全体を半透明にして重畳することにより、ユーザは、ブルーバックによるクロマキー合成時等の特殊な環境は必要なく、任意の背景で自部屋や遠隔地の物体操作が可能である。また、遠隔地の人と自部屋のユーザが重なった場合でも透過して映るので、その場合でも互いに隠れることなく、相手の画像や物体を見ることができる。

[第４の実施形態]
本実施形態は、第１〜３の実施形態の内容に加え、地点毎に異なる重畳画像を生成・表示する手段に関し、その重畳する画像の組合せを、動的に任意の組合せに切り替える手段を備える。これは、第２の実施形態における画像選択部１０５ａにおいて、動作中に（動的に）重畳するために選択する画像を切り替える機能を付加することにより可能である。

具体的な方法としては、第２の実施形態における対話空間情報を、動作中に変更することで可能である。処理の流れの例を図１３に示す。各地点で重畳表示したい地点の画像を変更したい場合は、その地点の対話空間情報を外部（自地点からでもよいし、他の地点からでもよい）から動的に変更すればよい（ステップ１００５，１００６）。

図１４はその具体的な組合せの切替え例を示している。ここでは、Ｐ１〜Ｐ５の５地点の場合の例であるが、５地点以外のＮ地点でも同様である。

はじめに、状態例１では、全員がＵ３の人を見ている（表示している）。

次に、状態例２では、ユーザＵ１〜Ｕ５のうちいずれか、もしくは外部からの入力により、ユーザＵ１とＵ２の表示画面は、ユーザＵ１とＵ２の重畳表示映像に切り替え、ユーザＵ４とＵ５の表示画面は、ユーザＵ４とＵ５の重畳表示映像に切り替えることができる。このとき、ユーザＵ３は、ユーザＵ１とＵ２の重畳表示を見ている例（視聴だけしている例）としているが、自分だけを見ていてもよい。このときのユーザＵ１、Ｕ２における対話空間情報としては、少なくともユーザＵ１とＵ２が対話している情報と、ユーザＵ４とＵ５が対話している情報と、自地点ではユーザＵ１とＵ２の対話空間を表示しようとしているという情報を持てばよい。全地点において、同じすべての対話空間情報を持っていてもよいし、表示すべき最小限（例えば地点Ｐ１、Ｐ２では、ユーザＵ４とＵ５の対話情報は持っていなくてもよい）の情報だけ持っていてもよい。

次に、状態例３では、ユーザＵ３が、ユーザＵ１とＵ２の対話空間に割り込み、ユーザＵ１とＵ３が対話する状態に切り替えている。ユーザＵ２は図ではユーザＵ１、Ｕ２の対話空間を視聴している例としているが、ユーザＵ２だけの映像になってもよいし、ユーザＵ１、Ｕ２、Ｕ３がすべて重畳された状態になってもよい。割り込みにより対話空間が変更されると、その変更された対話空間情報は、他の各地点にコマンドとして送信され、各地点の対話空間情報も変更される。これにより、割り込みされた側の地点（Ｐ１、Ｐ２）においても、その重畳表示画面は変更される。

次に、状態例４では、ユーザＵ２が、ユーザＵ４、Ｕ５の対話空間を視聴する表示に切り替えた例である。

この例は、ユーザＵ３が先生、ユーザＵ１、Ｕ２、Ｕ４、Ｕ５が生徒とすると、はじめに状態例１で、全体への講義を行い、続いて、状態例２で、ユーザＵ１とＵ２のグループ実習、ユーザＵ４とＵ５のグループ実習を始めさせ、その後、先生であるユーザＵ３は、自由に各グループを視聴したり、必要に応じて対話空間に混じったり（重畳表示）、１人になったり（自己像のみの表示）、を切り替えることができるような環境を構築した例である。

対話空間の動的な変更については、第２の実施形態で示した、各地点で持つ対話空間情報（例で示した表）を、変更のあった地点から他の地点へ情報を送受信することにより、更新を行えばよい（図１５）。例えば地点Ｐ１が、ユーザＵ３を視聴していた表示状態から、ユーザＵ１、Ｕ２の対話になり、ユーザＵ１とＵ２の対話を表示する状態に変更された場合は、その切替わりのタイミングで、地点Ｐ１が他の地点へ必要な部分の対話空間情報を送り、送られた地点では、各々自地点の対話空間情報を更新する。これにより、各地点の対話空間情報を互いに更新しあうことで、内容の同期をとることができる。

これらにより、例えばユーザＵ１とＵ２が対話している状態で、ユーザＵ３が割り込んできた場合、ユーザＵ１とＵ２とＵ３の混在した対話状態として、各々の画面でユーザＵ１、Ｕ２、Ｕ２の対話を表示する状態としてもよい。もしくは、ユーザＵ３がユーザＵ１と対話しようとして割り込んだ場合には、ユーザＵ１、Ｕ３の２人の対話状態となり、地点Ｐ１、Ｐ３の各々の画面はユーザＵ１、Ｕ３の対話の表示状態となり、かつ、地点Ｐ２は、ユーザＵ１、Ｕ３を視聴するだけの状態となってもよい（またはユーザＵ２は自分だけを視聴する状態になってもよい）。

また、これらの対話空間の切り替えは、画面上に各地点に対応するアイコン（ＣＧによるボタンアイコン等）を表示しておき、そのアイコンをクリックすることにより、クリックした地点との対話空間を生成したり、または視聴したりすることが可能である。このクリック（選択）時、例えば、シングルクリックではその地点の視聴、ダブルクリックではその地点との対話空間への参加、とすれば、各地点のアイコンは１つ用意しておくだけでもよい。

また、各地点の映像を小画面で表示し、それを前記アイコンの代わりにクリックして選択できるようにすることにより、その小画面の地点との対話に切り替えたり、その小画面の視聴に切り替えたりすることができる。自分の地点の映像も表示しておけば、自分の地点の映像（自己像）をクリックすることにより、対話をやめたり、視聴をやめたりすることもできる。前記同様に、シングルクリックやダブルクリックで、視聴と対話を区別することもできる。各地点の映像を見ながら切り替えられるので、ユーザは対話したい空間へ自由に移り変わることが可能である。

さらに、前記クリック動作については、汎用機器であるマウスでもよいが、実施例１のように、ユーザが自己画像が映った画面を見ながら、同じ画面上に表示されているアイコン（または各地点映像の小画面）に手指等を重ね合わせることで、画面に直接触らずに、画像処理技術により選択、切り替えを行うことも可能である。

[第５の実施形態]
本発明では、第１，２，３，４の実施形態の内容に加え、地点毎に異なる重畳画像を生成・表示する手段に関し、同じ重畳画像を見ている地点同士の音声レベルと、異なる画像を見ている地点同士の音声レベルを異なる値にする手段を備える。

これにより、第２，４の実施形態のように、複数の地点において、複数の対話空間が生成されているときに、対話空間に含まれている人同士の音声は互いに大きく聴こえるが、異なる対話空間に含まれる者同士では、音声が互いに小さく聴こえるように設定できるようになる。

隣の対話空間で話している人の会話を小さく聴こえることにより、ユーザは、より多くの情報を得ることができ、ユーザの必要（興味）に応じて、対話空間を移動していくことができる。実環境においては、立食パーティ（カクテルパーティ）のような状況を、遠隔地間で再現する。

対話空間内と対話空間同士における、各々の音声のレベルは、任意の値に設定できるようにすることで、利用する環境に応じて、ユーザが聴きやすい設定に変更することが可能である。必要であれば、対話空間同士のレベルを０にすることも可能である。

[第６の実施形態]
図１６は本発明の第６の実施形態のインタフェースシステムのブロック図である。

本実施形態のインタフェースシステムは、Ｎ地点毎にあるインタフェース装置１００に加えて多地点情報管理装置３００を備える。

本実施形態は、映像と音声情報は、第１から第６の実施形態と同様に行うが、コマンドの通信に関してのみ、多地点情報管理装置３００を介する。

多地点情報管理装置３００では、各地点からコマンドが入力され、そのコマンドを送信すべき相手の地点（１地点もしくは複数地点）のインタフェース装置１００へ送信する。コマンド情報としては、画面上のアイコンクリック等による遠隔地への指示情報、例えば遠隔地の機器を操作するコマンドや、重畳表示する共有ドキュメント等のＣＧ情報の変更を行うコマンドなどである。また、第４の実施形態における対話空間を切り替える際の対話空間情報もコマンドの例である。

図１７に、多地点情報管理装置３００において、対話空間情報を扱う場合の具体的な構成を示す。多地点情報管理装置３００は、受信部３０１と、送信部３０５と、対話空間情報３０３と、対話空間情報管理部３０４と、受信部３０１で受信された、インタフェース装置１００からのコマンドを、該コマンドが転送されるべきインタフェース装置１００へ送信部３０５を介して送信するコマンド制御部３０２を有している。各地点Ｐ１〜ＰＮのインタフェース装置１００内の処理部１２０では、各々個別に対話空間情報を持つが、多地点情報管理装置３００でも同じ対話空間情報３０３を持つ。多地点情報管理装置３００の対話空間情報３０３をマスターとすることで、対話空間情報を一括管理できる。

第４の実施形態で示したような当該情報を地点間で互いに送受信しあう方法では、特に地点数が増大した場合、ネットワーク２００の通信負荷が大きくなることと、各地点のインタフェース装置１００が同時に多数の地点へ送信する必要があり、また多数の地点からばらばらに情報を受信することから、インタフェース装置１００の送信負荷および受信負荷が大きくなることの問題があった。これに対し、本実施形態では、対話空間情報（およびコマンド情報）を一括管理するので、ネットワーク２００の通信負荷を小さくできること、インタフェース装置１００の処理負荷を小さくできること、などの効果がある。具体的には、各地点Ｐ１〜ＰＮのインタフェース装置１００は、自分の地点の対話空間情報を、多地点情報管理装置３００の１箇所のみへ送信するだけでよくなる。送信タイミングは、当該地点で何かイベント（対話状態等の切替り等）が発生した時に送信すればよい（定期的に送信し続けてもよい）。また、各地点での受信についても、同様に、多地点情報管理装置３００の１箇所からの受信を受けるだけでよい。これにより、各地点における送信受信の頻度が減り負荷を大幅に削減できる。多地点情報管理装置３００では、各地点からの情報を個別に受けて、マスター（正本）として持つ対話空間情報を更新していればよい。

また、第４の実施形態のように地点毎に随時、情報変更の送信受信が行われた場合、対話空間情報の同期がとりにくくなる問題が生じる可能性があるが、本実施形態では、多地点情報管理装置３００が、マスターとなる対話空間情報を１つ持ち、各地点が常にその情報と同期をとりながら、動作させることで、全地点の当該情報が同期をとって間違いなく動作をすることが可能になる。

対話空間情報だけでなく、その他のコマンド（例えば遠隔の機器やＣＧ操作等）の送受信についても同様に、多地点情報管理装置３００で情報を一括管理できるので、同様に同期のとれた効率的な動作が実現できる。以下にコマンドの送受信に関する方法について説明する。

第１〜第５の実施形態では、コマンドは各地点で発生させ、必要な他の地点へ送信していたが、本実施形態では、各地点は、コマンドを多地点情報管理装置３００へ送るだけでよい。どの地点へ送るかは多地点情報管理装置３００で判断し、送信される。

第１から第５の実施形態のように、各地点が個別にコマンドを送信する方法では、コマンドを送信すべき相手の地点数が非常に多い場合や、頻繁にコマンドが送受信されるような場合には、各地点での処理量が大きくなるが、本実施形態では、各地点では１回多地点情報管理装置３００へ送信するだけでよくなり、処理負荷の削減を実現できる。

また、１箇所（多地点情報管理装置３００）で全体のコマンド送受信の管理を行えるので、コマンドの送受信における制約等を変更する場合も１箇所の変更ですむ。具体的には、例えば、「地点Ｐ５へのコマンドは、地点Ｐ１、Ｐ２からは送信できるようにするが、地点Ｐ３、Ｐ４からは送信できないようにする」といった、送受信に関する制約を設けるような機能を１箇所で実施できるので、そのような制約情報の変更や管理がしやすい利点を持つ。

[第７の実施形態]
図１８は本発明の第７の実施形態のインタフェースシステムのブロック図である。本実施形態は、第６の実施形態において、コマンドに加えて映像と音声情報の通信も多地点情報管理装置４００を介して行なう。このために、多地点情報管理装置４００は受信部４０１と送信部４０３と多地点情報管理部４０２を有している。

ただし、多地点情報管理装置４００は、各地点からの映像・音声情報を受け取っても、合成などの処理は行わず、各地点に対し必要とされる映像・音声情報の配送だけを行う。映像の重畳処理は、その情報を受け取る各地点内で行う。

地点数が多くなった場合には、第１〜第６の実施形態では、各地点のインタフェース装置１００で同時に多数の地点への送信を行う必要があり、送信処理負荷が大きくなっていたことと、ネットワーク２００上で各地点のインタフェース装置１００から同時に多くの情報が送信されるので、ネットワーク２００の利用負荷が大きくなっていたことなどの問題が生じる可能性があった。しかし、本実施形態では、各地点の映像等の情報は、多地点情報管理装置４００へのみ送るだけでよく、必要な相手先への送信は、多地点情報管理装置４００で一斉に行うので、各地点のインタフェース装置１００における送信処理負荷を低減できること、またネットワーク２００の負荷を減らせることの利点がある。

また、重畳合成する処理は、各地点で受信してから行うので、第３〜第６の実施形態で示したような地点毎に異なる重畳表示を行うことは同様に可能である。

また、１箇所（多地点情報管理装置４００）で全体の映像等情報の送受信の管理を行うので、送受信における制約等を変更する場合も１箇所の変更ですむ。具体的には、例えば「地点Ｐ５への映像・音声情報は、地点Ｐ１、Ｐ２からは送信できるようにするが、地点Ｐ３、Ｐ４からは送信できない（接続しない）ようにする」といった、送受信に関する制約を設けるような機能を１箇所で実施できるので、そのような制約情報の変更や管理がしやすい利点も持つ。

なお、以上説明した、本発明のインタフェース装置の機能は、専用のハードウェアにより実現されるもの以外に、その機能を実現するためのプログラムを、コンピュータ読取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行するものであってもよい。ここで、コンピュータ読取り可能な記録媒体とは、フレキシブルディスク、光磁気ディスク、ＣＤ−ＲＯＭ等の記録媒体、コンピュータシステムに内蔵されるハードディスク装置等の記憶装置を指す。さらに、コンピュータ読取り可能な記録媒体は、インターネットを介してプログラムを送信する場合のように、短時間の間、動的にプログラムを保持するもの（伝送媒体もしくは伝送波）、その場合のサーバとなるコンピュータ内部の揮発性メモリのように、一定時間プログラムを保持しているものを含む。

本発明の第１の実施形態のインタフェースシステムの構成図である。 インタフェース装置の送信部の構成図である。 インタフェース装置の受信部の構成図である。 第１の実施形態のインタフェースシステムの具体的な利用シーンの説明図である。 第１の実施形態のインタフェースシステムの具体的な利用シーンの説明図である。 第１の実施形態のインタフェースシステムにおける画像の流れを示す図である。 第１の実施形態のインタフェースシステムにおける各地点のインタフェース装置のディスプレイの表示画像の例を示す図である。 本発明の第２の実施形態のインタフェースシステムにおけるインタフェース装置の画像重畳部の構成図である。 図８中の画像選択部の処理の流れを示すフローチャートである。 第２の実施形態において複数の対話空間を同時に生成した場合の利用例を示す図である。 第２の実施形態においてユーザＵ１とＵ２が対話し、同時にユーザＵ３とＵ４が対話している状態において、各地点Ｐ１〜Ｐ５での画面表示例を表わす図である 本発明の第３の実施形態のインタフェースシステムにおけるインタフェース装置の画像重畳部の構成図である。 本発明の第４の実施形態のインタフェースシステムのインタフェース装置における画像重畳部の処理の流れを示すフローチャートである。 第４の実施形態において、重畳する画像の組合せを、動的に任意の組合せに切り替える例を示す図である。 第４の実施形態における対話空間情報の更新の説明図である。 本発明の第６の実施形態のインタフェースシステムの構成図である。 第６の実施形態のインタフェースシステムにおける多地点管理装置の詳細な構成を示す図である。 本発明の第７の実施形態のインタフェースシステムの構成図である。

符号の説明

１００ インタフェース装置
１０１ 画像入力部
１０２ 送信部
１０２ａ 画像送信部
１０２ｂ コマンド送信部
１０３ 受信部
１０３ａ 画像受信部
１０３ｂ コマンド受信部
１０４ 画像受信部
１０５ 画像重畳部
１０５ａ 画像選択部
１０５ｂ 選択画像重畳処理部
１０５ｃ 半透明化処理部
１０５ｄ 重畳処理部
１０６ 指示位置検出部
１０７ コマンド選択部
１０８ 情報表示部
１０９ ディスプレイ
１１０ 画像生成部
１２０ 処理部
２００ ネットワーク
３００ 多地点情報管理装置
３０１ 受信部
３０２ コマンド制御部
３０３ 対話空間情報
３０４ 対話空間情報管理部
３０５ 送信部
４００ 多地点情報管理装置
４０１ 受信部
４０２ 多地点情報制御部
４０３ 送信部
１００１〜１００６ ステップ

Claims (7)

1. 複数Ｎ個の地点間で映像およびコマンドを通信するシステムにおいて、各地点に設けられるインタフェース装置であって、
   自己側の画像を入力した入力画像を他の地点のインタフェース装置に送信する画像送信手段と、
   他の地点のインタフェース装置から送られてきた画像を受信する画像受信手段と、
   画像を左右反転した反転画像を生成する反転画像生成手段と、
   自己側の画像を反転した反転画像上で操作者の指示している位置を検出する指示位置検出手段と、
   自己側の画像を反転した反転画像と、１個もしくは複数の他の地点のインタフェース装置から送信されてきた画像とを重畳した画像を生成する画像重畳手段と、
   該重畳画像上で、検出された指示位置に基づき操作者の指定するコマンドを選択して実行するコマンド選択手段と、
   該指定されたコマンドに基づき該重畳画像上に情報を表示する情報表示手段と、
   該指定されたコマンドを所定の地点のインタフェース装置へ送信するコマンド送信手段と、
   他の地点のインタフェース装置から送られてきたコマンドを受信するコマンド受信手段と
   を有するインタフェース装置。
2. 前記画像重畳手段は、自己側の反転画像および他の地点のインタフェース装置から送信されてきた画像から、１つまたは複数の画像の組合せを選択する画像選択手段と、選択された１つまたは複数の画像の組合せを重畳し、表示する選択画像重畳処理手段を有する、請求項１に記載のインタフェース装置。
3. 前記画像重畳手段は、自己側の反転画像および他の地点のインタフェース装置から送信されてきた１つまたは複数の画像を半透明化する半透明化手段と、半透明化された自己側の反転画像および他の地点のインタフェース装置から送信されてきた１つまたは複数の画像を重畳する重畳手段を有する、請求項２に記載のインタフェース装置。
4. 前記画像選択手段による、重畳する画像の組合せを、指示により任意の組合せに動的に切り替える手段を有する、請求項２または３に記載のインタフェース装置。
5. 前記選択画像重畳処理手段は、異なる地点の、同じ重畳画像を見ているユーザ同士の音声レベルと、異なる地点の、異なる画像を見ているユーザ同士の音声レベルを異なる値にする手段を有する、請求項２から４のいずれかに記載のインタフェース装置。
6. 複数Ｎ個の地点にそれぞれ設けられたインタフェース装置と、ネットワークを介して前記複数のインタフェース装置と接続された少なくとも１つの多地点情報管理装置を有し、
   前記多地点情報管理装置は、
   前記各インタフェース装置が送信したコマンドを、前記ネットワークを介して受信するコマンド受信手段と、
   前記の受信したコマンドを、各インタフェース装置へ前記ネットワークを介して送信するコマンド送信手段と、
   前記コマンド受信手段で受信されたコマンドを、該コマンドが転送されるべきインタフェース装置へ前記コマンド送信手段を介して送信するコマンド制御手段と
   を含み、
   前記各インタフェース装置は、
   自己側の画像を入力した入力画像を他の地点のインタフェース装置に送信する画像送信手段と、
   他の地点のインタフェース装置から送られてきた画像を受信する画像受信手段と、
   画像を左右反転した反転画像を生成する反転画像生成手段と、
   自己側の画像を反転した反転画像上で操作者の指示している位置を検出する指示位置検出手段と、
   自己側の画像を反転した反転画像と、１個もしくは複数の他の地点のインタフェース装置から送信されてきた画像とを重畳した画像を生成する画像重畳手段と、
   該重畳画像上で、検出された指示位置に基づき操作者の指定するコマンドを選択して実行するコマンド選択手段と、
   該指定されたコマンドに基づき該重畳画像上に情報を表示する情報表示手段と、
   該指定されたコマンドを前記多地点情報管理装置へ送信するコマンド送信手段と、
   前記多地点情報管理装置から送られてきたコマンドを受信するコマンド受信手段と
   を含む、
   インタフェースシステム。
7. 複数Ｎ個の地点にそれぞれ設けられたインタフェース装置と、ネットワークを介して前記複数のインタフェース装置と接続された少なくとも１つの多地点情報管理装置を有し、
   前記多地点情報管理装置は、
   前記各インタフェース装置が送信したコマンドを、前記ネットワークを介して受信するコマンド受信手段と、
   前記の受信したコマンドを、各インタフェース装置へ前記ネットワークを介して送信するコマンド送信手段と、
   前記コマンド受信手段で受信されたコマンドを、該コマンドが転送されるべきインタフェース装置へ前記コマンド送信手段を介して送信するコマンド制御手段と
   前記各インタフェース装置が送信した画像を、前記ネットワークを介して受信する画像受信手段と、
   前記の受信した画像を、各インタフェース装置へ前記ネットワークを介して送信する画像送信手段と、
   前記画像受信手段で受信された画像の中から、画像送信先のインタフェース装置が必要とする画像を選択し、該画像送信先のインタフェース装置へ前記画像送信手段を介して送信する画像制御手段と
   を含み、
   前記各インタフェース装置は、
   自己側の画像を入力した入力画像を前記多地点情報管理装置に送信する画像送信手段と、
   前記多地点情報管理装置から送られてきた画像を受信する画像受信手段と、
   画像を左右反転した反転画像を生成する反転画像生成手段と、
   自己側の画像を反転した反転画像上で操作者の指示している位置を検出する指示位置検出手段と、
   自己側の画像を反転した反転画像と、１個もしくは複数の他の地点のインタフェース装置から送信されてきた画像とを重畳した画像を生成する画像重畳手段と、
   該重畳画像上で、検出された指示位置に基づき操作者の指定するコマンドを選択して実行するコマンド選択手段と、
   該指定されたコマンドに基づき該重畳画像上に情報を表示する情報表示手段と、
   該指定されたコマンドを前記多地点情報管理装置へ送信するコマンド送信手段と、
   前記多地点情報管理装置から送られてきたコマンドを受信するコマンド受信手段と
   を含む、
   インタフェースシステム。

Images