JP4555701B2 - 情報処理方法、インタフェース装置、プログラム、および記録媒体 - Google Patents

Description

本発明は、ユーザ（操作者）を含む画像（自己画像）を入力画像とし、ユーザが自己画像を見ながら、メニューの選択・実行ができる情報処理方法およびインタフェース装置に関し、特に遠隔地にある物体（機器等）を操作・表示する情報処理方法およびインタフェース装置に関する。

遠隔地間のコミュニケーションが可能な手法として、非特許文献１に記載の手法がある。これは、ディスプレイ上に複数の地点にいるユーザ映像を自己像を含めて重ね合わせ、その映像を各ユーザに表示することにより、各地にいるユーザが同室にいるかのような効果を持つインタフェースである。

また、非特許文献２と３は、自己画像が表示された実空間の鏡像画像（自己像表示画像）を用いることにより、ＣＧ画像だけでなく画面上に表示される物体像を介して実物体にアクセス可能な実世界インタフェース「ミラーインタフェース」を提案している。

また、複数の地点を接続して各地点の映像を見ることができるシステムとしてテレビ会議システムがある。
森川ら、"相手の空間の指差しが可能なビデオ対話：超鏡"、計測自 動制御学会第５０回パターン計測部会研究会、ｐｐ．３８２−３８７、２０００ 細谷ら、"実世界インタラクションのためのミラーインタフェース" インタラクション２００３論文集、情報処理学会シンポジウムシリーズＶｏｌ．２００ ３，Ｎｏ．７，ｐｐ．９５−９６ 細谷ら、"ミラーインタフェースを用いた遠隔地間の実世界インタラ クション"ＦＩＴ（情報科学技術フォーラム）２００３、ｐｐ．５９１−５９２

しかしながら、上記の従来の手法は、以下に示す問題があった。

非特許文献１に記載の手法は、遠隔地にいる人や物体の映像と、ユーザの自己画像を重ね合わせることにより、仮想的に同室にいるような効果は得られるが、遠隔地同士の互いのユーザの同じ映像を観察できるためだけであるため、ユーザは自室の物体や遠隔地の物体に対して、機器の操作や情報の表示のような遠隔地物体とのインタラクション操作を行うことができない。また、一方のユーザ側の映像はクロマキー手法を用いてユーザの画像部分を切り出した上で遠隔地の映像上に重ね合わせしている（重畳している）ため、背景を固定背景（ブルーバック等）とするような制限された撮影場所・条件でしか実現できなかった。さらに、遠隔地の人の映像と、自部屋のユーザが重なると、一方が隠れる問題があった。

非特許文献２と３に記載の手法は、遠隔地の人や物体に対し、操作したり、情報を表示したりすることはできたが、単一方向のインタフェースであったため、遠隔地側からユーザ操作側に対する逆方向の操作や情報表示等のアクセス（インタラクション）を実行できないという問題があった。

従来のテレビ会議システムは、複数の地点を接続して各地点の映像をみることはできるが、相手側の人や物体に対する機器操作や情報表示を、ユーザの身体動作のみで実行することはできなかった。また、複数地点の映像は各々異なる映像として表示することはできるが、重ね合わせた映像を表示することはできなかった。

本発明の目的は、互いに遠隔地にいるユーザが双方向に、自分の部屋あるいは相手の部屋にある物体に対して機器操作したり、情報を表示したり、同じ物を指し示したりすることができる情報処理方法およびインタフェース装置を提供することにある。

本発明の情報処理方法は、自己側および相手側となる遠隔地側のそれぞれのインタフェース装置による情報処理方法であって、
自己側のインタフェース装置が、入力される自己側の画像を遠隔地側に送信する段階と、
前記遠隔地側から送られてきた遠隔地側の画像を、前記自己側のインタフェース装置が受信する段階と、
前記自己側のインタフェース装置が、前記自己側の画像および前記遠隔地側の画像の両方を反転画像とする、または、一方を反転画像とし、他方を非反転画像とする反転画像生成処理を行い重畳画像を生成する段階と、
前記自己側のインタフェース装置が、前記反転画像生成処理をされた画像上に映っている操作者の指示する位置を画像処理を用いて検出する段階と、
前記自己側のインタフェース装置が、前記検出された操作者の指示する位置に基づき、前記重畳画像上で前記操作者の指示する位置に対応するコマンドを選択して実行する段階と、
前記自己側のインタフェース装置が、前記選択したコマンドに基づき、前記重畳画像上に情報を表示する段階と、
前記自己側のインタフェース装置が、前記選択したコマンドを示すコマンド情報を前記遠隔地側へ送信する段階と、
前記自己側のインタフェース装置が、前記遠隔地側から送られてくるコマンド情報を受信する段階と
を有する。

ユーザは、自己画像が映った画面を見ながら、同じ画面上に表示されているＣＧアイコンによるコマンド情報に手指等を重ねあわせるだけで、画面に直接触らずに、自己画像中の物体に対するコマンドの選択、実行や、遠隔地画像中の物体に対するコマンドの選択、実行が可能である。また、ユーザＡとユーザＢの２地点間を接続して画像を重畳することにより、２地点のユーザが互いの部屋もしくは自分の部屋の物体等に対して、同時に機器を操作したり、情報を表示したり、同じ物を指し示したりできる。

本発明の実施態様によれば、前記自己側の画像の反転画像または非反転画像と、前記遠隔地側画像の反転画像または非反転画像とを半透明化して重畳する。これにより、ユーザは、任意の背景にて遠隔地の物体の操作が可能であり、また遠隔地の人と自部屋のユーザが重なった場合でも透過して写るので、その場合でも互いに隠れることなく、相手の画像や物体を見ることができる。

本発明の実施態様によれば、コマンドを選択して実行する段階は、入力画像上において実物体位置を予め登録する段階と、操作者の指定した実物体を、前記の予め登録された実物体位置の中から検出する段階を含む。これにより、ユーザは画像上に表示されているＣＧアイコンを指定してコマンドを選択できるだけでなく、ユーザＡ側（自分の部屋）またはユーザＢ側（遠隔地側）にある実物体を、画像中に映っているその物体の像を介して直接選択することも可能になる。

本発明の実施態様によれば、検出した操作者の指示位置に対応する物体を、遠隔地側入力画像の中から検出する段階をさらに有し、該段階が、遠隔地側の実物体の位置を検出する段階と、検出された実物体位置と、操作者側で操作者の指示する位置から、操作者の指示する実物体を検出する段階を含む。これにより、常時、実物体位置を認識して位置データを更新していくことにより、物体を移動させても、その位置情報も変更させられるので、ユーザ側に表示される画像上では、物体が移動した先の物体（現時点の物体）の表示されている画面上の位置で、ユーザは画面上で触ってインタラクションすることができる。

本発明の実施態様によれば、重畳した画像を生成する段階は、入力される２地点間の画像について、各々所定の透明度に変更する段階と、所定の透明度を付与された２つの画像を重畳する段階を含む。両方の画像が重なって見にくい場合や、片方の画像だけ見たい場合に、このような透明度変更機能によりユーザの利便性が図られる。

本発明の実施態様によれば、コマンドを選択する段階が、実行可能なコマンドのみを選択する段階を含み、実物体を検出する段階が、前記選択されたコマンドを実行する段階を含む。したがって、装置の起動時にコマンドを実行可能なアイコン情報を予め設定しておくことにより、各々のユーザは好みのコマンドだけを実行可能とすることができる。また、動作中も、ＣＧアイコン等により設定変更用のコマンドアイコンを作成しておけば、ユーザがそこに触る（画面上でタッチする）ことにより、触れるコマンドアイコンの設定をいつでも変更すことができる。

本発明の実施態様によれば、相互に読み書き可能な共有データを保持し、該共有データに対する操作をおこなう段階と、該操作の結果をネットワークに送信する段階と、ユーザのいる地点から前記ネットワークを介して送られてくるコマンド情報を受信し、共有データ操作手段へ送る段階とを含む。これにより、ユーザＡ側とユーザＢ側で同じデータを共有して（両者に表示して）見ることができ、またそのデータの操作をユーザＡ、Ｂが互いに共通に行うことがきる。

本発明の実施態様によれば、双方向の２地点のうち１点において共有データを保持し、受信部から送られるコマンド情報に基き、該共有データに対する操作を行なう。これにより、ユーザＡ側とユーザＢ側で同じデータを共有して（両者に表示して）見ることができ、またそのデータの操作をユーザＡ、Ｂが互いに共通に行うことがきる。

本発明の実施態様によれば、双方向の２地点の１地点のみについて、さらに共有データを保持し、受信部から送られるコマンド情報およびコマンド情報選択部から送られるコマンド情報に基き、該共有データに対する操作を行なう。これにより、ユーザＡ側とユーザＢ側で同じデータを共有して（両者に表示して）見ることができ、またそのデータの操作をユーザＡ、Ｂが互いに共通に行うことがきる。

本発明によれば、互いに遠隔地にいるユーザが双方向に、自分の部屋あるいは相手の部屋にある物体に対して機器操作したり、情報を表示したり、同じ物を指し示したりすることができる。

次に、本発明の実施の形態を、図面を参照して説明する。

[第１の実施形態]
図１は本発明の第１の実施形態のインタフェース装置の構成を示す図、図２、図３はそれぞれインタフェース装置の送信部、受信部の構成を示す図、図４はインタフェース装置の全体の処理の流れを示すフローチャートである。

ユーザＡ側のインタフェース装置１００ＡとユーザＢ側のインタフェース装置１００Ｂはインターネット、公衆電話網等のネットワーク２００を介して互いに接続されている。

インタフェース装置１００Ａは、ユーザＡ（操作者）を含む画像（自己画像）を入力画像とし、ユーザＡがディスプレイ１０９上の自己画像を自分で見ながら、ユーザＡの動作に基づき、ユーザＢのいる遠隔地のインタフェース装置１００Ｂで同様に得られ、ネットワーク２００を介してインタフェース装置１００Ａに送られてきた、重畳された（重ね合わされた）遠隔地画像または自己画像中の物体に対しコマンドを実行するものである。同様に、インタフェース装置１００Ｂは、ユーザＢ（操作者）を含む画像（自己画像）を入力画像とし、ユーザＢがディスプレイ１０９上の自己画像を自分で見ながら、ユーザＢの動作に基づき、ユーザＡのいる遠隔地のインタフェース装置１００Ａで同様に得られ、ネットワーク２００を介してインタフェース装置１００Ｂに送られてきた、重畳された（重ね合わされた）遠隔地画像または自己画像中の物体に対しコマンドを実行するものである。

インタフェース装置１００Ａとインタフェース装置１００Ｂは同じ構成で、画像入力部１０１と送信部１０２と受信部１０３と反転画像生成部１０４と画像重畳部１０５と指示位置検出部１０６とコマンド選択部１０７と情報表示部１０８とディスプレイ１０９とを有している。送信部１０２は画像送信部１０２ａとコマンド送信部１０２ｂで構成されている。受信部１０３は画像受信部１０３ａとコマンド受信部１０３ｂで構成されている。

以下、ユーザＡ側のインタフェース装置１００Ａの各部について説明するが、ユーザＢ側のインタフェース装置１００Ｂについても同様である。他の実施形態でも同様である。

画像入力部１０１は、ユーザＡを含む画像を入力するためのもので、本例では、図１のように１台のカメラを用いる。カメラは一般に用いられるビデオカメラでよく、白黒でもカラーでもよい。ただし、下記で述べる色情報を使用した方法を用いる場合はカラーカメラが必要である。

送信部１０２は、画像入力部１０１で入力された入力画像を、ネットワーク２００を介して、ユーザＢ側のインタフェース装置１００Ｂへ送信すると同時に反転画像生成部１０４へ送り、さらにコマンド選択部１０７から送られてきたコマンド情報を受取り、ネットワーク２００を介して、ユーザＢ側のインタフェース装置１００Ｂへ送信する（ステップ１００１）。送信部１０２からインタフェース装置１００Ｂへ送信された入力画像とコマンド情報は、インタフェース装置１００Ｂの受信部１０３で受信される。画像を、ネットワークを介して送る方法として、インターネットを用いた既存の一般的な映像送信技術を使うことが可能であり、また一般的な映像放送等による無線を用いた送信、有線ネットワーク上での送信技術も容易に使用可能である。なお、インタフェース装置１００Ａとインタフェース装置１００Ｂが比較的近い場所にある場合、ネットワーク２００を介さずに画像用のケーブルで、ユーザＡ側のインタフェース装置１００Ａとユーザ側のインタフェース装置１００Ｂを直接接続することも可能である。

受信部１０３は、ユーザＢ側のインタフェース装置１００Ｂからネットワーク２００を介して送信されてきた、ユーザＢ側の入力画像とコマンド情報を受信し、受信した入力画像は反転画像生成部１０４と画像重畳部１０５に送り、コマンド情報はコマンド選択部１０７に送る（ステップ１００２）。

反転画像生成部１０４は、送信部１０２から出力された、ユーザＡ側の入力画像または受信部１０３から出力された、ユーザＢ側の入力画像を入力し、左右反転し、あるいは反転せずにそのまま、画像重畳部１０５と指示位置検出部１０６に出力する（ステップ１００３）。この反転画像の生成は、コンピュータ内に取り込んだ画像に対し反転画像を生成する汎用の画像処理ソフトウェア（例：ＨＡＬＣＯＮ）や、入力画像の反転画像をリアルタイムに生成する機器（例：（株）朋栄の画像左右反転装置ＵＰＩ―１００ＬＲＦ、またはカメラ一体型で、ＳＯＮＹ（登録商標）のＥＶＩ―Ｄ１００）を用いて行うことができる。ここで、入力画像の選択および画像の反転／非反転の設定は予め初期設定として行ってもいし、動作中に行ってもよい。なお、ユーザＢ側の画像の反転／非反転の設定は受信部１０３で行い、「反転」に設定されていれば反転画像生成部１０４に、「非反転」が設定されていれば画像重畳部１０５にユーザＢの画像が出力されるようにしてもよい。この設定も予め初期設定として行ってもいし、動作中に行ってもよい。

画像重畳部１０５は、反転画像生成部１０４から出力された画像と、受信部１０３で受信された、ユーザＢ側の入力画像を１つの画像に重ね合わせる（ステップ１００４）。このとき、ユーザＡの自己像が写った反転画像からユーザＡの体の輪郭（または動作入力に必要な手指等の部分画像だけでもよい）を切り出し、ユーザＢ側の入力画像の上に切り出した部分画像を重ね合わせる。ユーザＡの体の切り出しは、例えば画像処理により実現できる。切り出しの画像処理方法としては、背景差分によるユーザＡの切り出しがある。これは、例えば反転画像（またはユーザＡ側の入力画像）についてユーザＡのいない場合の背景画像を予め撮影、取得しておき、ユーザＡがいる場合に、背景画像と、ユーザＡがいる場合の画像との差分画像を生成することにより行える。差分画像は、例えば、全画素値について、画素毎に、背景画像の画素値と、同じ画素位置の現画像の画素値の差の絶対値を求めることにより作成できる。または、肌色認識処理を用いることにより、手の部分だけを切り出すことも容易に可能である。これらにより、ユーザＢの入力画像中にユーザＡが入り込んだような重畳画像を生成できる。

指示位置検出部１０６は、反転画像生成部１０４から出力された画像上において、ユーザＡが手指等の体の部位で指し示す位置（ユーザ指示位置）を検出し、コマンド選択部１０７と情報表示部１０８に出力する（ステップ１００５）。

指示位置検出部１０６の１つ目の実現例として、ユーザＡがマーカを持ち、入力画像中のマーカを画像処理により検出する方法がある。例えば、まず、赤色（他の色でもよいが、背景画像中に少ない色が好ましい）の物体を手に持ちもしくは装着し、それをカメラの前で手振りして動かす。得られたカラー画像のＲＧＢ等色情報の値から赤色成分を抽出し、ラベリング処理（固まり毎にグループに分ける一般的な画像処理方法）を用い、その中で最も面積の大きい赤色部分を１つ選び、その位置の重心位置（ｘ，ｙ）を求める。得られた重心位置（ｘ，ｙ）座標をユーザ指示位置とする。ここで、赤色の物体の代わりに、赤色（前記物体同様、他の色でもよい）の発光ダイオード（ＬＥＤ）を発光させた状態で、手に持ちもしくは装着し、当該色を抽出して同様に行う方法も可能である。（ｘ、ｙ）は重心位置（抽出した部分の全画素値のｘ座標の合計値の平均値、およびｙ座標の合計値の平均値）でなく、中心位置（抽出した部分のｘ座標の最大値と最小値の中心値、およびｙ座標の最大値と最小値の中心値）でもい。

指示位置検出部１０６の２つ目の実現例として、ユーザＡがマーカをもたずに、入力画像中の手の位置を画像処理により直接検出する方法がある。例えば、まず、得られたカラー画像のＲＧＢ等の色情報の値から肌色成分を抽出し、ラベリング処理を行う。得られた複数の肌色成分の中から、手の大きさや位置等の制約情報を利用して、目的とする手を選択する。その選択する具体的な方法例としては、ユーザが通常衣服を着ているとすると、肌色部分の候補となる可能性が高いのは両手と顔と考えられ、また最も面積が大きいのは顔と考えられるので、２つ目と３つ目に面積が大きい肌色部分を手の候補として選択する。ユーザ指定位置を両手とした場合、その２つの肌色部分の候補に対する重心位置を、２つの候補から１つ選ぶ必要があるが、予め例えば右手を指定する手としたら、体よりも右手側にある候補を（右手の可能性が高いことから）右手の肌色部分として選び、その重心位置を右手のユーザ指定位置とすればよい。左手の場合も同様である。

指示位置検出部１０６のこれらの実現例では、前述した検出処理をする前に、差分画像を用いた処理を加えることにより、精度を上げることもできる。差分画像は、例えば、反転画像上で、予め撮影した背景画像（ユーザのいない状態で撮影した画像）と、現在撮影している現画像（ユーザがいる状態の画像）との間で作成する。差分画像は、例えば、全画素について、画素毎に、背景画像の画素値と、（同じ画素位置の）現画像の画素値の差の絶対値を求めることにより作成できる。この差分画像を用いることにより、体等の動く物体だけを予め抽出しておき、その後前述したような画像処理（体に付けたマーカを抽出する方法や、肌色を抽出する方法等）によりユーザ指定位置を検出し、その座標を取得すれば、背景画像に含まれるマーカの色や肌色に似た色の誤検出を減らせることが容易に推測できる。

このような指示位置検出部１０６により、コマンド選択のために、体全体を対象とせず、マーカや手のみを接触部位判定に用いることができるので、コマンド選択のためのアイコン等を任意の位置におけるのでその位置およびユーザ動作に関して高い自由度が得られる。

コマンド選択部１０７は、指示位置検出部１０６で得られたユーザ指定位置と、ユーザＡが選択しようとする、ユーザＡ側のコマンド情報のディスプレイ１０９上での表示位置（コマンド選択部１０７に予め設定しておけばよい）を照らし合わせ、両者の位置関係からユーザＡが指示しようとするコマンド情報を探索し、選択、実行する（ステップ１００６）。また、コマンド選択部１０７は、受信部１０３から出力された、ユーザＢ側のコマンド情報を受け取り、ユーザＡ側の場合と同様に、ユーザＡ側において該コマンドを選択し、実行する。さらに、コマンド選択部１０７は、ユーザＡ側のコマンド情報を送信部１０３に送り、ネットワーク２００を介してユーザＢ側のインタフェース装置１００Ｂに送る。ユーザが選択しようとするコマンド情報のディスプレイ１０９上での表示位置は、各々予め、ユーザＢ側入力画像上での表示位置を定めて記憶しておけばよい。例えば、ユーザ指示位置からある一定距離範囲に表示位置を持つコマンドがあればそれを選択すればよい。コマンド情報の表示位置は、コマンド毎に予め任意の位置に決めておけばよい。また、ユーザＢ側のインタフェース装置１００Ｂから送られてくるコマンド情報に関しては、設定により、実行する／実行しない、を切り換えることもできる。

情報表示部１０８は、画像重畳部１０５で得られた重畳画像と、コマンド選択部１０７で作成されたコマンド情報とをディスプレイ１０９に表示する（ステップ１００７）。

ディスプレイ１０９は、コンピュータ用に使われる汎用のディスプレイでよく、コンピュータの画面とカメラ画像を表示できるものであれば良い。コマンド情報とは、コマンド表示位置やコマンド内容等のコマンドに関わる情報と、ユーザAがその中から選択したコマンドの情報であり、その表示方法は、コンピュータで作製したＣＧで、選択可能なコマンド（群）、および選択されたコマンドを表示すればよい。また、指示位置検出部３で得られたユーザ指示位置についても、例えばマウスのカーソル表示のようにリアルタイムに明示して表示してもよい。コマンドの内容としては、遠隔地側の物体を操作したり情報を表示するコマンドでもよいし、ユーザ側の部屋に関わる操作や情報表示を行うコマンドでもよい。遠隔地側の物体を操作したり情報を表示するコマンドであれば、重畳画像中に遠隔地側の画像が表示されているので、ユーザＡにとって、操作の判断や、操作結果の確認が可能であり、ユーザ利便性の高いインタフェースを実現できる。

本実施形態によれば、ユーザは、自己画像が映った画面を見ながら、同じ画面上に表示されているＣＧアイコンによるコマンド情報に手指等を重ねあわせるだけで、画面に直接触らずに、自己画像中の物体に対するコマンドの選択、実行や、遠隔地画像中の物体に対するコマンドの選択、実行が可能である。このような操作方法により、分かり易く間違いの少ない指示が可能になる。

また、ユーザＡとユーザＢの２地点間を接続して画像を重畳することにより、２地点のユーザが互いの部屋もしくは自分の部屋の物体等に対して、同時に機器を操作したり、情報を表示したり、同じ物を指し示したりできる。例えば、ユーザＡが、ユーザＢがいる地点にある照明のスイッチをオン／オフしているのと同時に、ユーザＢがユーザＡがいる地点にあるテレビのチャネル操作を行ったり、ユーザＡがいる地点にある本の情報の表示を行ったりできる。また、２地点の画像が重畳されているので、ユーザＡとユーザＢが互いに同じ位置を指し合うことができるため、例えば、ユーザＢの地点にある棚に置いてある本に対し、ユーザＡとユーザＢが同じ位置を指し合うことにより、直感的な動作による意思伝達を行うことができる。

また、ユーザＡ側において（ユーザＢ側も同様）、ユーザＡ側の入力画像と、ユーザＢ側から送られてきた画像は、反転画像生成部１０４により、いずれも任意に、反転したり、非反転のままにしたりすることができる。よって、ユーザＡが見るディスプレイ１０９に表示される画像は、１）Ａの反転画像＋Ｂの反転画像、２）Ａの反転画像＋Ｂの非反転画像、３）Ａの非反転画像＋Ｂの反転画像、４）Ａの非反転画像＋Ｂの非反転画像、の４つの組み合わせが可能である。

具体的な利用シーンを、図５を参照して考える。１）は、同じ方向を向いて隣り合った２人の前に鏡があり、鏡を介して（鏡越しに）、鏡に映っている隣の人を見ながら会話等のコミュニケーションを行う状況（すなわち、例えば銭湯で鏡越しで隣に座っている人と会話する状況）と同様のシーンを実現できる（図５(１)）。このときは、自分が反転画像、相手側の画像も反転画像であることにより、互いに相手の同じ位置を指し示すことが可能になる。また、２）は、ディスプレイの中を通して（透かして）向こう側に相手がいる状況を再現できる。つまり、ユーザＡとユーザＢの間に半透明の板（ハーフミラーまたはディスプレイ）があり、半透明の板を透かして見る相手側の像が重なって同じ板上に表示される状況（例えば、窓越しに向こうの部屋の中が見えつつ、自分も窓に薄く映っている状況）と同様のシーンを実現できる（図５（２））。このときは、自分が反転画像、相手側の画像が正像（非反転画像）であることにより、ユーザＡが遠隔地のユーザＢ側の部屋の中の物体を半透明板状で重ね合わせて指し示すことが可能である。

[第２の実施形態]
図６は本発明の第２の実施形態のインタフェース装置の画像重畳部のブロック図、図７はその処理の流れを示すフローチャートである。

本実施形態のインタフェース装置では、画像重畳部１０５が半透明化処理部１０５ａと重畳処理部１０５ｂで構成されている。その他の構成は第１の実施形態のインタフェース装置と同じである。

半透明化処理部１０５ａはユーザＡ側の自己像と、ユーザＢ側（遠隔地側）の画像について、いずれも各々個別に半透明化処理を行う（ステップ１００４ａ）。半透明化の度合いを自由に設定することも容易に可能である。半透明化の方法は、画像データに対し、画素毎に透明度（アルファ値とも言われ、一般的な方法である）情報を持たせることで実現できる。透明度の変更により、自己像も遠隔地画像もいずれも各々個別に、半透明ではなく、完全な透明（すなわち非表示）にしたり、不透明にしたりすることも可能である。

重畳処理部１０５ｂは、半透明化処理された自己像と、遠隔地画像とを重ね合わせて（重畳して）１枚の画像（重畳画像）を生成する（ステップ１００４ｂ）。重畳する際、両者の透明度の割合に応じて２つの画像中の画素を重ね合わせればよい。例えば、一方の透明度が０．７ならば、その画像の画素は３０％、同じ位置のもう一方の画像の画素の情報を７０％、値を加算等して求めればよい。

これにより、ユーザの自己像を含む反転画像を半透明化して遠隔地画像に重畳するため、ユーザは遠隔地画像中の物体像と、ユーザの自己像を同時に見られるので、手指等と目的の物体を重ねる操作を行う際に、遠隔地でありながら、仮想的に同じ部屋にあるかのような操作性の高いインタフェースを実現できる。また、透明度は自由に設定（予め初期設定も可能、または動作設定中に設定変更も可能とする）できるので、それぞれの入力画像の状態（撮影された照明条件、背景画像、物体・ユーザの色状態など）により、ユーザに最も操作しやすく自由に各々の透明度を変更することもできる。

また、これにより、ユーザＡの地点の自己画像およびユーザＢの地点の画像をいずれも任意の透明度で半透明化して重畳することにより、ユーザＡは自己画像中の物体または遠隔地側（ユーザＢ側）の画像中の物体の像と、ユーザＡの自己画像を同時に見られるので、手指等と目的の物体を重ねる操作を行うことで、自分の部屋にある物体も、また遠隔地（ユーザＢ）の地点にある物体も、仮想的に同じ部屋にあるかのように、画面上で指差ししたり触ることができ、操作性の高いインタフェースを実現できる。透明度は自由に設定できるので、重畳したときに、ユーザに最も操作しやすく自由に透明度を変更することができる。

また、ユーザ側の画像全体を半透明にして重畳することにより、ユーザはブルーバックによるクロマキー合成時等の特殊な環境は必要なく、任意の背景で自部屋や遠隔地の物体の操作が可能である。また、遠隔地の人と自部屋のユーザが重なった場合でも透過して映るので、その場合でも互いに隠れることなく、相手の画像や物体を見ることができる。

[第３の実施形態]
図８は本発明の第３の実施形態のインタフェース装置のブロック図、図９はその全体の処理の流れを示すフローチャートである。

本実施形態は、第１、第２の実施形態のインタフェース装置におけるコマンド選択部１０７の代わりに実物体登録部１１０と実物体検出部１１１を備えたものである。その他の構成は第１、第２の実施形態のインタフェース装置と同じである。

実物体登録処理部１１０は実物体位置データ１１０ａと実物体登録処理部１１０ｂで構成される。実物体位置データ１１０ａには、ユーザＡ側およびユーザＢ側の画像上に含まれている任意の実物体（例えば家の中とすると、テレビ、エアコン、コンピュータ、時計、窓、棚、椅子、机、引き出し、書類、オーディオ機器、照明機器等）について、各々求められた、画面上での表示位置が登録・保存されている。実物体登録処理部１１０ｂは、実物体検出部１１１で生成されたコマンド情報を受取り、送信部１０２へ送り、また受信部１０３より送られたユーザＢ側のコマンド情報を実物体検出部１１１へ送る（ステップ１００８）。

実物体検出部１１１は、実物体位置データ１１０ａに保存されている複数の位置データと、指示位置検出部１０６で得られたユーザＡ側のユーザ指示位置を照らし合わせ、第１の実施形態のユーザインタフェース装置１００Ａのコマンド選択部１０７と同様に、両者の位置関係に基き、ユーザＡが指示しようとする実物体を検出、選択し、コマンド情報を生成する（ステップ１００９）。例えば、ユーザ指示位置からある一定の距離範囲内に実物体の位置データがあればそれを選択すればよい。または、実物体位置データとして範囲をもたせておいた場合は、ユーザ指示位置の座標がその範囲に含まれる実物体を検出、選択、実行する。また、ユーザＢ側から送られるコマンド情報についても同様に、位置データと照らし合わせ、位置関係に基き、コマンドを選択、実行する。

実物体位置データは物体の中心座標（ｘ，ｙ）１個でもよいが、範囲を示す情報（例えば、矩形枠の始点座標（ｘ１，ｙ１）と終点座標（ｘ２，ｙ２）や、中心座標（ｘ，ｙ）と半径値ｒや、または物体の存在する全ドットの座標リスト等）を持たせておいてもよい。第１の実施形態のインタフェース装置の指示位置検出部１０６での処理と同様に中心座標は重心座標に置き換えてもよい。

本実施形態によれば、ユーザは画像上に表示されているＣＧアイコンを指定してコマンドを選択できるだけでなく、ユーザＡ側（自分の部屋）またはユーザＢ側（遠隔地側）にある実物体を、画像中に映っているその物体の像を介して直接選択することも可能になる。これにより、ユーザＢ側にある照明の物体像を指し示すと、照明のスイッチのオン／オフを実行したり、遠隔地にあるテレビを指し示して選択すると、テレビのスイッチやチャネル等を制御できるようなコマンド選択用ＣＧメニューが該物体像（テレビ）の周辺に表示され、ユーザは続けてコマンド選択を行い、遠隔地の実物体（テレビ）に対して各種操作を行なうことなどが可能である。また、重畳画像上で実物体像の近くに、該物体に関する情報等を表示することもできる。

[第４の実施形態]
図１０は本発明の第４の実施形態のインタフェース装置の構成図、図１１は
その全体の処理の流れを示すフローチャートである。

本実施形態のインタフェース装置は第３の実施形態のインタフェース装置に実物体位置検出部１１２をさらに備えたものである。その他の構成は第３の実施形態のインタフェース装置と同じである。

実物体位置検出部１１２は画像入力部１０１から出力された画像を入力し、対象とする物体の画像上の位置を求め、送信部１０２へ送る（ステップ１０１０）。

物体の位置を求める方法としては、対象とする実物体４０１ごとに位置認識可能なセンサ４０２（位置認識技術は研究開発され、磁気センサ、超音波センサ、赤外線センサ等が商品化され、広く市販されている）を取り付けておくことにより、各々の実物体４０１の位置をリアルタイムに検出する方法などがある。また、物体の位置を求める他の方法としては、入力画像を用いて画像処理により求める方法がある。具体的には、対象とする物体の色や形状情報を予め登録しておき、該画像の上で、登録している物体をパターンマッチング処理等の画像処理により検出すればよい。パターンマッチング処理の方法については、汎用の画像処理ソフトに一機能として装備されていたり、また広く研究開発および製品化されており、容易に利用可能である。画像処理を用いた方法の場合、図に示したような、物体４０１に取り付けるセンサ４０２は不要である。

本実施形態によれば、常時、実物体位置を認識して位置データを更新していくことにより、物体を移動させても、その位置情報も移動（変更）させられるので、ディスプレイ１０９によってユーザ側に表示される画像上では、物体が移動した先の物体（現時点の物体）の表示されている画面上の位置で、ユーザは画面上で触ってインタラクションすることができる。

[第５の実施形態]
図１２は本発明の第５の実施形態のインタフェース装置の画像重畳部のブロック図である。

本実施形態のインタフェース装置では、画像重畳部１０５が透明度変更処理部１０５ｃと重畳処理部１０５ｂで構成されている。その他の構成は第１、第３、第4の実施形態のインタフェース装置と同じである。

透明度変更処理部１０５ｃは、入力されるユーザＡ側の入力画像（またはその反転画像）と、ユーザＢ側の入力画像（またはその反転画像）の各々を任意の透明度に変更する。

本実施形態によれば、装置の起動時に、表示する画像の透明度情報を予め初期設定しておくことにより、各々のユーザは好みの透明度の重ね合わせ表示を使用することができる。また、動作中も、ＣＧアイコン等により透明度情報の設定変更用のコマンドアイコンを作成しておけば、ユーザがそこに触る（画面上でタッチする）ことにより、いつでも重畳表示の各画像の透明度設定を変更することが可能になる。両方の画像が重なって見にくい場合や、片方の画像だけ見たい場合に、このような透明度変更機能によりユーザの利便性が図られる。

[第６の実施形態]
図１３は本発明の第６の実施形態のインタフェース装置のコマンド選択部のブロック図である。

本実施形態のインタフェース装置は、コマンド選択部１０７が対象選択処理部１０７ａと対象コマンド実行処理部１０７ｂで構成されている。その他の構成は第１、第２、第５の実施形態のインタフェース装置と同じである。

対象選択処理部１０７ａは、ユーザが実行を希望したコマンドを選択する。対象コマンド実行選択部１０７ｂは、選択されたコマンドを実行する。

入力される指示位置情報からアイコンに触ったとされる場合に、そのアイコンがユーザＡ側のアイコンか、ユーザＢ側のアイコンかによって、コマンド情報の出力を変更することができる。

本実施形態によれば、装置の起動時にコマンドを実行可能なアイコン情報を予め設定しておくことにより、各々のユーザは好みのコマンドだけを実行可能とすることができる。また、動作中も、ＣＧアイコン等により設定変更用のコマンドアイコンを作成しておけば、ユーザがそこに触る（画面上でタッチする）ことにより、触れるコマンドアイコンの設定をいつでも変更すことができる。

アイコンが多い場合や、どちらか一地点側だけのアイコンを触りたい場合等に、触れるアイコンを絞り込めるようになり、異なるアイコンを誤って接触することを低減できる。これにより、ユーザの利便性向上が図れる。

なお、第３と第４の実施形態では、図１４に示すように、実物体検出部１１１を同様に、対象選択処理部１１１ａと対象コマンド実行処理部１１１ｂで構成することができる。

また、第５の実施形態の重畳表示の切替機能と組合わせることも可能である。図１５に具体的な動作例を示す。例えば、通常はユーザＡ側とユーザＢ側が通常の透明度で重畳されているが、ユーザＡ（またはユーザＢ）が、ユーザＢのコマンドのみを実行しようとするコマンド（もしくはユーザＢの表示を強調しようとするコマンド）を実行すると、ユーザＢ側の画像の透明度が低く（画像が濃く）なり、ユーザＡ側の画像の透明度が高く（画像が薄く）なるようにし、かつユーザＢのコマンドのみ触って実行できるようにすればよい。これにより、ユーザの視覚効果が高まり、インタフェースの利便性向上が期待できる。

[第７の実施形態]
図１６は本発明の第７の実施形態のインタフェース装置のブロック図である。

本実施形態のインタフェース装置は第１の実施形態のインタフェース装置に共有データ処理部３００が付加されている。

共有データ処理部３００は共有データ３０１と共有データ操作部３０２と受信部３０３と送信部３０４で構成され、ネットワーク２００に接続されている。これにより、ユーザＡ側とユーザＢ側で同じデータを共有して（両者に表示して）見ることができ、またそのデータの操作をユーザＡ、Ｂが互いに共通に行うことがきる。

受信部３０３は、ネットワーク２００を介して送られてきたコマンドを受信する。共有データ操作部３０２は、送られてきたコマンドを解釈し、共有データの提示方法を変更する。具体的には、例えば共有データ処理部３００内において、ＰＣのアプリケーション（例えばＭｉｃｒｏｓｏｆｔのｐｏｗｅｒｐｏｉｎｔ（登録商標）など）が実行されていた場合、データ操作部３０２は、ｐｏｗｅｒｐｏｉｎｔで表示するページを変更したり、ｐｏｗｅｒｐｏｉｎｔを起動、終了したり、またアプリケーションのペン入力機能によるフリーハンドの絵や、直線等の図形を書き込んだり編集したり、ファイルを保存したり、等の操作を実行することが可能である。

送信部３０４は、コマンドを実行した結果のデータ（画像等）を、ネットワーク２００を介してユーザＡ側とユーザＢ側のインタフェース装置の一方または両方へ同時に送信する。

ユーザＡ側のコマンド選択部１０７は、実行しようとするコマンドが共有データ３０１を操作するものであった場合、ユーザＡ側の送信部１０２へコマンド情報を送ると、コマンド情報は送信部１０２からネットワーク２００を介して共有データ処理部３００へ送られる。ユーザＡ側の画像重畳部１０５は、ユーザＡ側の入力画像（またはその反転画像）と、ユーザＢ側の入力画像（またはその反転画像）だけでなく、共有データ処理部３００から送られてくる画像も重畳して表示する。このときも、ユーザＡ側の画像、ユーザＢ側の画像と同様に任意の透明度で重畳させる。

共有データとしては、前述したようなアプリケーションソフト等におけるユーザデータ等である。例えば、ｐｏｗｅｒｐｏｉｎｔのファイルや、Ｍｉｃｒｏｓｏｆｔ Ｗｏｒｄのファイルや、もしくはホームページ画面の情報であるＨＴＭＬ（Ｈｙｐｅｒ Ｔｅｘｔ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）ファイル等、何でもよい。ＨＴＭＬファイルであれば、Ｗｅｂページを共有データとして表示させておけば、ユーザＡまたはＢはその表示を見ながらリンク先を触ると表示がリンク先の画面へ推移させることも可能である。

本実施形態によれば、ユーザＡ、Ｂが画面上に同じファイルを半透明に表示させて見ることができ、その画面にはユーザＡ、ユーザＢの自己像も半透明で写っているので、表示ファイル上の同じ位置を互いに直接指で指しあうことが可能である。よって、互いに遠隔地にいながら互いに同じファイルを指し示しながら、打ち合わせ等のコミュニケーションが可能である。

ユーザＡ、ユーザＢ、および共有データの透明度は、それぞれ予め任意に設定、または動作中に変更できるようにすることも可能である。

なお、共有データ処理部３００は第２から第６の実施形態のインタフェース装置にも設けることができる。

[第８の実施形態]
図１７は本発明の第８の実施形態のインタフェース装置のブロック図である。

本実施形態のインタフェース装置は第１の実施形態のインタフェース装置にそれぞれＡ側共有データ処理部３１０Ａ、Ｂ側共有データ処理部３１０Ｂが付加されている。これにより、ユーザＡ側とユーザＢ側とで同じデータを共有して（両者に表示して）見ることができ、またそのデータの操作をユーザＡ、Ｂが共通に行うことができる。

共有データ処理部３１０Ａ、３１０Ｂはいずれも共有データ３１１と共有データ操作部３１２で構成されている。

ユーザＡ側のコマンド選択部１０７は、実行しようとするコマンドが共有データ３１１を操作するものであった場合、ユーザＡ側の送信部１０２へコマンド情報を送る。すると、コマンド情報は送信部１０２からネットワーク２００を介してユーザＢ側の受信部１０３で受信され、ユーザＢ側の共有データ処理部３１０Ｂに送られる。また、同時に、ユーザＡ側の共有データ処理部３１０内の共有データ操作部３１２へも送られる。ユーザＡ側の受信部１０３はユーザＢ側から送られてくる画像だけでなく、ユーザＢ側のコマンド選択部１０７から送られてきたコマンド情報を受信し、ユーザＢ側の該コマンド情報をユーザＡ側の共有データ処理部３１０Ａ内の共有データ操作部３１２へ送る。ユーザＢ側においてもコマンド選択部１０７および受信部１０３の動作は同様である。

Ａ側共有データ処理部３１０Ａ内の共有データ操作部３１２は、ユーザＡ側から送られてくるコマンド情報や、ユーザＢ側から送られてくるコマンド情報に基き、送られてきたコマンドを解釈し、共有データの提示方法を変更する。具体的には、第７の実施形態と同様に、例えばＡ側共有データ処理部３１０Ａ内において、ＰＣのアプリケーション（例えばＭｉｃｒｏｓｏｆｔのｐｏｗｅｒｐｏｉｎｔなど）が実行されていた場合、共有データ操作部３１２は、ｐｏｗｅｒｐｏｉｎｔで表示するページを変更したり、ｐｏｗｅｒｐｏｉｎｔを起動、終了したり、またアプリケーションのペン入力機能によるフリーハンドの絵や、直線等の図形を書き込んだり編集したり、ファイルを保存したり、等の操作を実行することが可能である。

Ｂ側共有データ処理部３１０Ｂについても同様であるが、ユーザＡ側とユーザＢ側で同じファイルやデータを共有データとして表示させておくことにより、第７の実施形態と同様に、あたかも互いに同じファイルを見ながら、互いが任意のファイル操作等を行っているようにすることができる。

本実施形態は第７の実施形態と異なり、共有データをユーザＡ、Ｂ各々で持つ必要があるが、実際のテレビ会議等での利用を考えた場合、初めにファイルを送っておくだけでよく、また共有データを置く場所を別途作成する必要がないので、場合によるが、利便性の向上が期待できる。

なお、共有データ処理部３１０Ａ，３１０Ｂは第２から第６の実施形態のインタフェース装置にも設けることができる。

[第９の実施形態]
図１８は本発明の第９の実施形態のインタフェース装置のブロック図である。

本実施形態は第１から第６の実施形態において、一方、ここではユーザＡ側のインタフェース装置１００ＡにＡ側共有データ処理部３１０が付加されている。これにより、ユーザＡ側とユーザＢ側とで同じデータを共有して（両者に表示して）見ることができ、またそのデータの操作をユーザＡ、Ｂが共通に行うことができる。

共有データ処理部３１０は、第８の実施形態のインタフェース装置の共有データ処理部３１０Ａ、３１０Ｂと同様に、共有データ３１１と共有データ操作部３１２で構成されている。

ユーザＡ側のコマンド選択部１０７は、実行しようとするコマンドが共有データ３１１を操作するものであった場合、コマンド情報を共有データ処理部３１０内の共有データ操作部３１２へ送る。ユーザＡ側の受信部１０３は、ユーザＢ側のコマンド選択部１０７から送られてきたコマンド情報を受信し、該コマンド情報を共有データ処理部３１０内の共有データ操作部３１２へ送る。ユーザＡ側の送信部１０２は、ユーザＡ側の画像を送るだけでなく、共有データ処理部３１０内の共有データ操作部３１２から出力された画像等のデータをネットワーク２００を介してユーザＢ側に送信するとともに、ユーザＡ側の画像重畳部１０５へも送る。ユーザＢ側に送られた画像等のデータは、ユーザＢ側の受信部１０３で受信され、画像重畳部１０５に送られる。共有データ処理部３１０内の共有データ操作部３１２では、ユーザＡ側から送られてきたコマンド情報や、ユーザＢ側から送られてきたコマンド情報に基き、送られてきたコマンドを解釈し、共有データの提示方法を変更する。具体的には、第７の実施形態と同様に、例えば共有データ処理部３１０内において、ＰＣのアプリケーション（例えばＭｉｃｒｏｓｏｆｔのｐｏｗｅｒｐｏｉｎｔなど）が実行されていた場合、データ操作部３１２は、ｐｏｗｅｒｐｏｉｎｔで表示するページを変更したり、ｐｏｗｅｒｐｏｉｎｔを起動、終了したり、またアプリケーションのペン入力機能によるフリーハンドの絵や、直線等の図形を書き込んだり編集したり、ファイルを保存したり、等の操作を実行することが可能である。

本実施形態によれば、ユーザＡ側とユーザＢ側で同じファイルを共有データとして表示させておくことができ、第７、第８の実施形態と同様に、あたかも互いに同じファイルを見ながら、互いが任意のファイル操作等を行なっているようにすることができる。

第８の実施形態と異なり、共有データ処理部は片方だけでよいので、さらなる利便性向上が期待できる。第２から第６の実施形態においても共有データ処理部を設けることができる。

なお、以上説明した、本発明のインタフェース方法は、専用のハードウェアにより実現されるもの以外に、その機能を実現するためのプログラムを、コンピュータ読取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行するものであってもよい。ここで、コンピュータ読取り可能な記録媒体とは、フレキシブルディスク、光磁気ディスク、ＣＤ−ＲＯＭ等の記録媒体、コンピュータシステムに内蔵されるハードディスク装置等の記憶装置を指す。さらに、コンピュータ読取り可能な記録媒体は、インターネットを介してプログラムを送信する場合のように、短時間の間、動的にプログラムを保持するもの（伝送媒体もしくは伝送波）、その場合のサーバとなるコンピュータ内部の揮発性メモリのように、一定時間プログラムを保持しているものを含む。

本発明の第１の実施形態のインタフェース装置の構成図である。 送信部の構成図である。 受信部の構成図である。 第１の実施形態のインタフェース装置の全体の処理の流れを示すフローチャー トである。 第１の実施形態のインタフェース装置の具体的な利用シーンの説明図である。 本発明の第２の実施形態のインタフェース装置の画像重畳部のブロック図であ る。 図６の画像重畳部の処理の流れを示すフローチャートである。 本発明の第３の実施形態のインタフェース装置の構成図である。 第３の実施形態のインタフェース装置の全体の処理の流れを示すフローチャー トである。 本発明の第４の実施形態のインタフェース装置の構成図である。 第４の実施形態のインタフェース装置の全体の処理の流れを示すフローチ ャートである。 本発明の第５の実施形態のインタフェース装置の画像重畳部のブロック図 である。 本発明の第６の実施形態のインタフェース装置のコマンド選択部のブロッ ク図である。 図１３のコマンド選択部と同様の構成の実物体検出部のブロック図である 。 第６の実施形態の動作例の説明図である。 本発明の第７の実施形態のインタフェース装置の構成図である。 本発明の第８の実施形態のインタフェース装置の構成図である。 本発明の第９の実施形態のインタフェース装置の構成図である。

符号の説明

１００Ａ、１００Ｂ インタフェース装置
１０１ 画像入力部
１０２ 送信部
１０２ａ 画像送信部
１０２ｂ コマンド送信部
１０３ 受信部
１０３ａ 画像受信部
１０３ｂ コマンド受信部
１０４ 画像受信部
１０５ 画像重畳部
１０５ａ 半透明化処理部
１０５ｂ 重畳処理部
１０５ｃ 透明度変更処理部
１０６ 指示位置検出部
１０７ コマンド選択部
１０７ａ 対象選択処理部
１０７ｂ 対象コマンド実行処理部
１０８ 情報表示部
１０９ ディスプレイ
１１０ 実物体登録部
１１０ａ 実物体位置データ
１１０ｂ 実物体登録処理部
１１１ 実物体検出部
１１１ａ 対象選択処理部
１１１ｂ 対象コマンド実行処理部
１１２ 実物体位置検出部
２００ ネットワーク
３００ 共有データ処理部
３０１ 共有データ
３０２ 共有データ操作部
３０３ 受信部
３０４ 送信部
３１０Ａ Ａ側共有データ処理部
３１０Ｂ Ｂ側共有データ処理部
３１１ 共有データ
３１２ 共有データ操作部
４０１ 移動する実物体
４０２ センサ
１００１〜１０１０ ステップ

Claims (12)

1. 自己側および相手側となる遠隔地側のそれぞれのインタフェース装置による情報処理方法であって、
   自己側のインタフェース装置が、入力される自己側の画像を遠隔地側に送信する段階と、
   前記遠隔地側から送られてきた遠隔地側の画像を、前記自己側のインタフェース装置が受信する段階と、
   前記自己側のインタフェース装置が、前記自己側の画像および前記遠隔地側の画像の両方を反転画像とする、または、一方を反転画像とし、他方を非反転画像とする反転画像生成処理を行い重畳画像を生成する段階と、
   前記自己側のインタフェース装置が、前記反転画像生成処理をされた画像上に映っている操作者の指示する位置を画像処理を用いて検出する段階と、
   前記自己側のインタフェース装置が、前記検出された操作者の指示する位置に基づき、前記重畳画像上で前記操作者の指示する位置に対応するコマンドを選択して実行する段階と、
   前記自己側のインタフェース装置が、前記選択したコマンドに基づき、前記重畳画像上に情報を表示する段階と、
   前記自己側のインタフェース装置が、前記選択したコマンドを示すコマンド情報を前記遠隔地側へ送信する段階と、
   前記自己側のインタフェース装置が、前記遠隔地側から送られてくるコマンド情報を受信する段階と
   を有する情報処理方法。
2. 前記重畳画像を生成する段階は、前記自己側の画像の反転画像または非反転画像と、前記遠隔地側画像の反転画像または非反転画像とを半透明化して重畳するものである、請求項１に記載の情報処理方法。
3. 前記のコマンドを選択して実行する段階は、入力画像上において実物体位置を予め登録する段階と、操作者の指定した実物体を、前記の予め登録された実物体位置の中から検出する段階を含む、請求項１または２に記載の情報処理方法。
4. 検出した操作者の指示位置に対応する物体を、前記遠隔地側の画像の中から検出する段階をさらに有し、該段階が、遠隔地側の実物体の位置を検出する段階と、検出された実物体位置と、操作者側で操作者の指示する位置から、操作者の指示する実物体を検出する段階を含む、請求項１または２に記載の情報処理方法。
5. 前記重畳画像を生成する段階は、入力される２地点間の画像について、各々所定の透明度に変更する段階と、所定の透明度を付与された２つの画像を重畳する段階を含む、請求項１から３のいずれかに記載の情報処理方法。
6. 前記のコマンドを選択して実行する段階が、実行可能なコマンドのみを選択する段階を含み、前記実物体を検出する段階が、前記選択したコマンドを実行する段階を含む、請求項３に記載の情報処理方法。
7. 自己側および遠隔地側のインタフェース装置のそれぞれが相互に読み書き可能な共有データを保持する共有データ処理部がこれらのインタフェース装置とネットワークを介して接続され、
   前記自己側のインタフェース装置が、前記選択したコマンドが前記共有データに対して操作を行うものであると、該コマンドの情報を前記ネットワークを介して前記共有データ処理部に送信する段階をさらに有する、請求項１から５のいずれかに記載の情報処理方法。
8. 自己側および遠隔地側のインタフェース装置の２つのインタフェース装置のそれぞれが共有データを保持し、
   前記２つのインタフェース装置のうち一方のインタフェース装置は、他方のインタフェース装置から受信部を介して受信するコマンド情報に基づいて、前記共有データに対する操作を行う、請求項１から５のいずれかに記載の情報処理方法。
9. 自己側および遠隔地側のインタフェース装置のうちいずれか一方のみが共有データを保持し、
   前記いずれか一方のインタフェース装置は、他方のインタフェース装置から受信部を介して受信するコマンド情報およびコマンド選択部に入力されるコマンド情報のそれぞれに基づいて、前記共有データに対する操作を行う、請求項１から５のいずれかに記載の情報処理方法。
10. 自己側および相手側となる遠隔地側のそれぞれのインタフェース装置であって、
    入力される自己側の画像を遠隔地側に送信する手段と、
    前記遠隔地側から送られてきた遠隔地側の画像を、自己側が受信する手段と、
    前記自己側の画像および前記遠隔地側の画像の両方を反転画像とする、または、一方を反転画像とし、他方を非反転画像とする反転画像生成処理を行い重畳画像を生成する手段と、
    前記反転画像生成処理をされた画像上に映っている操作者の指示する位置を画像処理を用いて検出する手段と、
    前記検出された操作者の指示する位置に基づき、前記重畳画像上で前記操作者の前記指示する位置に対応するコマンドを選択して実行する手段と、
    前記選択したコマンドに基づき、前記重畳画像上に情報を表示する手段と、
    前記選択したコマンドを示すコマンド情報を前記遠隔地側へ送信する手段と、
    前記遠隔地側から送られてくるコマンド情報を受信する手段と
    を有するインタフェース装置。
11. 請求項１から９のいずれかに記載の情報処理方法をコンピュータに実行させるためのインタフェースプログラム。
12. 請求項１１に記載のインタフェースプログラムを記録した記録媒体。

Images