JP2008235989A - 画像処理装置および画像処理方法 - Google Patents

Abstract

【課題】複数の地点の画像を半透明化して重畳した画像の視認性を向上することが可能な画像処理装置および画像処理方法を提供する。
【解決手段】画像重畳部２３２は、ユーザＡ１側の自己画像と、Ａ１以外の地点（遠隔地側）の画像について、画素ごとに透明度情報を持たせる。この際、画像重畳部は、各画素の透明度を自由に変更可能な透明度マスクデータが示す各画素の透明度を、その入力画像の対応する各画素の透明度情報として設定することにより、画素毎に透明度の異なる半透明化処理を行う。画像重畳部２３２は、画像を重畳する際、両者の同じ位置にある画素の透明度情報に応じて、複数ある画像中の画素を重ね合わる。この重畳された画像が、ディスプレイ３に表示される。
【選択図】図１

Description

本発明は、ユーザ（操作者）を含む画像（自己画像）を入力画像とし、ユーザが自己画像を見ながら、メニューの選択・実行ができるインタフェース装置および方法に関する。

遠隔地間のコミュニケーションを可能にするインタフェース装置が、特許文献１に記載されている。

このインタフェース装置は、複数の地点にいるユーザの画像を自己画像を含めて重ね合わせ、その画像をディスプレイ上に表示することにより、各地にいるユーザが同室にいるかのような効果を奏する。

また、このインタフェース装置は、複数の画像を半透明化して重畳することも可能である。なお、このインタフェース装置では、画像ごとに、透明度が設定される。
特開２００６−２２１５５０号公報

特許文献１に記載のインタフェース装置は、複数の地点にいるユーザの画像を半透明で重畳することができるが、画像ごとに、透明度が設定されるため、個々の画像では、画像全体が均一の透明度になる。このため、見たい領域が薄くなり視認性が低くなる問題があった。

本発明の目的は、複数の地点の画像を半透明化して重畳した画像の視認性を向上することが可能な画像処理装置および画像処理方法を提供することである。

上記目的を達成するため、本発明の画像処理装置は、操作者の画像を有する自己側の画像を受け付ける手段と、自己の地点と異なる他の地点から送られてきた他地点側の画像を受け付ける手段と、前記自己側の画像を左右反転した反転画像を生成するか、または、当該自己側の画像をそのまま出力する手段と、前記反転画像が生成された場合には、当該反転画像と前記他地点側の画像とを、画素ごとに任意の透明度で半透明化し重畳して重畳画像を生成し、前記自己側の画像がそのまま出力された場合には、当該自己側の画像と前記他地点側の画像とを、画素ごとに任意の透明度で半透明化し重畳して重畳画像を生成する手段と、前記反転画像が生成された場合には、当該反転画像上で前記操作者の指示している位置を検出し、前記自己側の画像がそのまま出力された場合には、当該自己側の画像上で前記操作者の指示している位置を検出する手段と、前記検出された位置に基づき、前記重畳画像上で前記操作者の指定するコマンドを選択し実行する手段と、を含む。

本発明の画像処理方法は、画像処理装置が行う画像処理方法であって、操作者の画像を有する自己側の画像を受け付ける段階と、自己の地点と異なる地点から送られてきた他地点側の画像を受け付ける段階と、前記自己側の画像を左右反転した反転画像を生成するか、または、当該自己側の画像をそのまま出力する段階と、前記反転画像が生成された場合には、当該反転画像と前記他地点側の画像とを、画素ごとに任意の透明度で半透明化し重畳して重畳画像を生成し、前記自己側の画像がそのまま出力された場合には、当該自己側の画像と前記他地点側の画像とを、画素ごとに任意の透明度で半透明化し重畳して重畳画像を生成する段階と、前記反転画像が生成された場合には、当該反転画像上で前記操作者の指示している位置を検出し、前記自己側の画像がそのまま出力された場合には、当該自己側の画像上で前記操作者の指示している位置を検出する段階と、前記検出された位置に基づき、前記重畳画像上で前記操作者の指定するコマンドを選択し実行する段階と、を含む。

上記発明によれば、重畳される各画像は、画素ごとに、任意の透明度で半透明される。このため、例えば、同一画像内で、見たい領域の透明度を、他の領域の透明度よりも低く調整することが可能になり、視認性の向上を図ることが可能になる。

また、従来のインタフェース装置と同様に、ユーザは、重畳画像中の自己像を見ながら他地点側の画像中の遠隔地物体を、非接触に指定できる。また、重畳される画像は半透明で重畳可能なので、ユーザは任意の背景にて遠隔地の物体操作が可能である。また、画像は半透明にされてから重畳されるため、遠隔地の人と自部屋のユーザが重なった場合でも互いが透過して映るので、その場合でも互いに隠れることなく、相手の画像や物体を見ることができる。

また、前記重畳画像を生成する手段は、各画像において前記透明度が段階的に変化（グラデーション）するように、各画像の画素の透明度を設定することが望ましい。

上記発明によれば、透明度の変化を滑らかにすることが可能になり、任意形状の領域の輪郭の透明度について、グラデーションをつけて設定できるため、互いの映像を、境目無く自然に重畳することが可能になる。

本発明によれば、複数の地点の画像を半透明化して重畳した画像の視認性を向上することが可能になる。

次に、本発明の実施例を、図面を参照して説明する。

［第１の実施例］
図１は本発明の第１の実施例のインタフェース装置を示す図、図２、図３はそれぞれインタフェース装置の送信部、受信部の構成を示す図、図４はインタフェース装置の画像重畳部の構成を示す図である。

インタフェース装置１００は、画像処理装置の一例であり、インターネット、公衆電話網等のネットワーク２００を介して、インタフェース装置１００と同一構成である他のインタフェース装置（不図示）と接続されている。他のインタフェース装置（遠隔地側のインタフェース装置）は、インタフェース装置１００が存在する地点と異なる地点にあり、１台でもよいし、複数台でもよい。

以下では、インタフェース装置１００は、ユーザＡ１にて操作され、不図示の遠隔地側のインタフェース装置は、ユーザＡ１以外のユーザ（他のユーザ）によって操作されるものとする。

インタフェース装置１００は、ユーザＡ１（操作者）を含む画像（自己画像）と、遠隔地側のインタフェース装置からネットワーク２００を介して送られてきた１つないしは複数の画像（遠隔地画像）と、を半透明化して重畳することによって、重畳画像を生成し、その重畳画像をディスプレイ３上に表示する。

さらに、インタフェース装置１００は、ユーザＡ１がディスプレイ３上の重畳画像を見ながら行うユーザＡ１の動作に基づいて、重畳画像内の物体に対しコマンドを実行する。

インタフェース装置１００は、画像入力部１と、処理部２と、ディスプレイ３と、を含む。処理部２は、送信部２１と、受信部２２と、画像生成部２３と、情報表示部２４と、を含む。送信部２１は、画像送信部２１ａと、コマンド送信部２１ｂと、を含む。受信部２２は、画像受信部２２ａと、コマンド受信部２２ｂと、を含む。画像生成部２３は、反転画像生成部２３１と、画像重畳部２３２と、指示位置検出部２３３と、コマンド選択部２３４と、を含む。画像重畳部２３２は、半透明化処理部２３２ａと、重畳処理部２３２ｂと、透明度マスクデータ記憶部２３２ｃと、を含む。

以下、ユーザＡ１側のインタフェース装置１００の各部について説明するが、遠隔地側のインタフェース装置についても同様である。他の実施例でも同様である。

画像入力部１は、ユーザＡ１を含む画像（自己側の画像）を入力するためのもので、本例では、図１のように１台のカメラを用いる。カメラは一般に用いられるビデオカメラでよく、白黒でもカラーでもよい。ただし、下記で述べる色情報を使用した方法を用いる場合は、カラーカメラが必要である。

処理部２は、画像入力部１で入力された画像、および、１つないしは複数の他のインタフェース装置からネットワーク２００を介して送られてきた画像（遠隔地画像）を処理する。

送信部２１（画像送信部２１ａ）は、画像入力部１で入力された入力画像を受け付け、その入力画像を、ネットワーク２００を介して、他の所定の遠隔地側のインタフェース装置へ送信する。この送信は、マルチキャスト送信を行えば可能である。また、送信部２１（画像送信部２１ａ）は、同時に、画像入力部１で入力された入力画像を、反転画像生成部２３１へ送る。

さらに、送信部２１（コマンド送信部２１ｂ）は、コマンド選択部２３４から送られてきたコマンド情報を受け取り、ネットワーク２００を介して、遠隔地側のインタフェース装置へ送信する。送信部２１から遠隔地側の所定のインタフェース装置へ送信された入力画像とコマンド情報は、遠隔地側のインタフェース装置の受信部で受信される。

画像を、ネットワークを介して送る方法として、インターネットを用いた既存の一般的な映像送信技術を使うことが可能であり、また一般的な映像放送等による無線を用いた送信、有線ネットワーク上での送信技術も容易に使用可能である。

なお、インタフェース装置１００と遠隔地側のすべてのインタフェース装置が比較的近い場所にある場合、ネットワーク２００を介さずに画像用のケーブルで、インタフェース装置１００と遠隔地側のすべてのインタフェース装置を直接接続することも可能である。

受信部２２（画像受信部２２ａ）は、１つないしは複数の地点の遠隔地側のインタフェース装置からネットワーク２００を介して送信されてきた入力画像（遠隔地画像）を受信し、受信した入力画像（遠隔地画像）を、反転画像生成部２３１と画像重畳部２３２に送る。

さらに、受信部２２（コマンド受信部２２ｂ）は、１つないしは複数の地点の遠隔地側のインタフェース装置からネットワーク２００を介して送信されてきたコマンド情報を受信し、受信したコマンド情報をコマンド選択部２３４に送る。

画像生成部２３は、送信部２１および受信部２２から送られてきた画像に基づいて処理を実行する。

反転画像生成部２３１は、送信部２１から出力されたユーザＡ１側の入力画像と、受信部２２から出力された１つないしは複数の遠隔地側の入力画像と、の両方またはいずれかを左右反転して反転画像を生成したり、ユーザＡ１側の入力画像と１つないしは複数の遠隔地側の入力画像との両方を反転せずにそのまま出力したりする。

例えば、反転画像生成部２３１は、ユーザＡ１側の入力画像を左右反転して反転画像を生成し、その反転画像を画像重畳部２３２と指示位置検出部２３３に出力し、すべての遠隔地側の入力画像を反転せずにそのまま画像重畳部２３２に出力する。

ここで、各入力画像の反転／非反転の設定は、予め初期設定として行ってもいし、動作中に行ってもよい。

なお、遠隔地側の画像の反転／非反転の設定は受信部２２で行い、「反転」に設定されていれば反転画像生成部２３１に、「非反転」が設定されていれば画像重畳部２３２に、遠隔地側の画像が出力されるようにしてもよい。この設定も予め初期設定として行ってもよいし、動作中に行ってもよい。

画像重畳部２３２は、反転画像生成部２３１から出力されたユーザＡ１側の画像と、受信部２２から出力された（または、反転画像生成部２３１から出力された）遠隔地側の画像と、を半透明化して重ね合わせて重畳画像を生成する。

半透明化処理部２３２ａは、入力した画像を半透明化する。具体的には、半透明化処理部２３２ａは、ユーザＡ１側の自己画像と、ユーザＡ１の地点以外の地点（遠隔地側）の画像について、各々個別に半透明化処理を行う。

半透明化の度合いを自由に設定することも容易に可能である。半透明化の方法は、画像データに対し、画素ごとに透明度（アルファ値とも言われ、一般的な方法である）情報を持たせることで実現できる。透明度の変更により、自己画像も遠隔地画像もいずれも各々個別に、半透明ではなく、完全な透明（すなわち非表示）にしたり、不透明にしたりすることも可能である。

重畳処理部２３２ｂは、半透明化処理された自己画像と、１つないしは複数の遠隔地画像とを重ね合わせて（重畳して）１枚の画像（重畳画像）を生成する。

重畳処理部２３２ｂは、画像を重畳する際、両者の透明度の割合に応じて、複数ある画像中の画素を重ね合わせればよい。例えば、ユーザＡ１，Ａ２，Ａ３のいる３地点からの画像を重畳する場合、Ａ１の不透明度が０．６、Ａ２の不透明度が０．３、Ａ３の不透明度が０．１とすると、重畳処理部２３２ｂは、Ａ１の画像のある画素を６０％、Ａ２の対応する画素を３０％、Ａ３の対応する画素を１０％、の割合にした各画素の値を、３つ加算して求めればよい。

また、透明度マスクデータ記憶部２３２ｃに、各画素の透明度を自由（任意）に変更可能な透明度マスクデータが記憶され、半透明化処理部２３２ａは、入力画像ごとに、この透明度マスクデータを読み込み、その透明度マスクデータが示す各画素の透明度を、その入力画像の対応する各画素の透明度情報として設定することにより、重畳される各画像において、画素ごとに透明度の異なる半透明化処理を行うことができる（図４参照）。

これにより、画像重畳部２３２は、前述のように画像全体で共通の透明度での重畳を行えるだけでなく、図５に示すように、画素ごと、または、領域ごとに、透明度を変えて、複数の画像を重畳することができる。

例えば、操作者が、透明度マスクデータを画素単位で任意に調節して、画素ごとに透明度を任意に設定し、画像重畳部２３２が、その調節された透明度マスクデータを用いて画像の半透明化を実行することにより、操作者が画像を見やすくなるように、画像の透明度を調節することが可能になる。

指示位置検出部２３３は、反転画像生成部２３１から出力された画像上においてユーザＡ１が手指等の体の部位で指し示す位置（ユーザ指示位置）を検出し、その検出結果をコマンド選択部２３４と情報表示部２４に出力する。

指示位置検出部２３３の１つ目の実現例として、ユーザＡ１がマーカを持ち、指示位置検出部２３３が、入力画像中のマーカを画像処理により検出する方法がある。

例えば、まず、ユーザＡ１が、赤色（他の色でもよいが、背景画像中に少ない色が好ましい）の物体を手に持ちもしくは装着し、それをカメラの前で手振りして動かす。

指示位置検出部２３３は、得られたカラー画像のＲＧＢ等色情報の値から赤色成分を抽出し、ラベリング処理（固まり毎にグループに分ける一般的な画像処理方法）を用い、その中で最も面積の大きい赤色部分を１つ選び、その位置の重心位置（ｘ、ｙ）を求め、得られた重心位置（ｘ、ｙ）座標をユーザ指示位置とする。

ここで、ユーザＡ１は、赤色の物体の代わりに、赤色（前記物体同様、他の色でもよい）の発光ダイオード（ＬＥＤ）を発光させた状態で手に持ちもしくは装着し、指示位置検出部２３３が当該色を抽出して同様に処理を行う方法も可能である。

なお、（ｘ、ｙ）は、重心位置（抽出した部分の全画素値のｘ座標の合計値の平均値、およびｙ座標の合計値の平均値）でなく、中心位置（抽出した部分のｘ座標の最大値と最小値の中心値、およびｙ座標の最大値と最小値の中心値）でもよい。

指示位置検出部２３３の２つ目の実現例として、ユーザＡ１がマーカをもたずに、指示位置検出部２３３が、入力画像中の手の位置を画像処理により直接検出する方法がある。

例えば、まず、指示位置検出部２３３が、得られたカラー画像のＲＧＢ等の色情報の値から肌色成分を抽出し、ラベリング処理を行う。続いて、指示位置検出部２３３は、得られた複数の肌色成分の中から、手の大きさや位置等の制約情報を利用して、目的とする手を選択する。

その選択する具体的な方法例としては、ユーザが通常衣服を着ているとすると、肌色部分の候補となる可能性が高いのは両手と顔と考えられ、また最も面積が大きいのは顔と考えられるので、指示位置検出部２３３は、２つ目と３つ目に面積が大きい肌色部分を手の候補として選択する。

ユーザ指定位置を両手とした場合、指示位置検出部２３３は、その２つの肌色部分の候補に対する重心位置を、２つの候補から１つ選ぶ必要があるが、予め例えば右手を指定する手としたら、指示位置検出部２３３は、体よりも右手側にある候補を（右手の可能性が高いことから）右手の肌色部分として選び、その重心位置を右手のユーザ指定位置とすればよい。左手の場合も同様である。

指示位置検出部２３３のこれらの実現例では、前述した検出処理をする前に、差分画像を用いた処理を加えることにより、精度を上げることもできる。

差分画像は、例えば、反転画像上で、予め撮影した背景画像（ユーザのいない状態で撮影した画像）と、現在撮影している現画像（ユーザがいる状態の画像）との差分を取ることによって作成される。

差分画像は、例えば、全画素について、画素毎に、背景画像の画素値と、（同じ画素位置の）現画像の画素値の差の絶対値を求めることにより作成できる。この差分画像を用いることにより、体等の動く物体だけを予め抽出しておき、その後前述したような画像処理（体に付けたマーカを抽出する方法や、肌色を抽出する方法等）によりユーザ指定位置を検出し、その座標を取得すれば、背景画像に含まれるマーカの色や肌色に似た色の誤検出を減らせることが容易に推測できる。

このような指示位置検出部２３３により、コマンド選択のために、体全体を対象とせず、マーカや手のみを接触部位判定に用いることができるので、コマンド選択のためのアイコン等を任意の位置におくことが可能になり、その位置およびユーザ動作に関して高い自由度が得られる。

コマンド選択部２３４は、指示位置検出部２３３で得られたユーザ指定位置と、ユーザＡ１が選択しようとする、ユーザＡ１側のコマンド情報のディスプレイ３上での表示位置（コマンド選択部２３４に予め設定しておけばよい）を照らし合わせ、両者の位置関係から、重畳画像上でユーザＡ１が指示しようとするコマンド情報を探索し、選択、実行する。

また、コマンド選択部２３４は、受信部２２から出力された、遠隔地側のコマンド情報を受け取り、ユーザＡ１側の場合と同様に、ユーザＡ１側において該コマンドを選択し、実行する。

さらに、コマンド選択部２３４は、ユーザＡ１側のコマンド情報を送信部２１に送り、ネットワーク２００を介して遠隔地側のインタフェース装置に送る。

ユーザが選択しようとするコマンド情報のディスプレイ３上での表示位置は、各々予め、遠隔地側入力画像上での表示位置を定めて記憶しておけばよい。

例えば、ユーザ指示位置からある一定距離範囲に表示位置を持つコマンドがあれば、コマンド選択部２３４は、それを選択すればよい。コマンド情報の表示位置は、コマンド毎に予め任意の位置に決めておけばよい。

また、コマンド選択部２３４は、遠隔地側のインタフェース装置から送られてくるコマンド情報に関しては、設定により、実行する／実行しない、を切り換えることもできる。

情報表示部２４は、画像重畳部２３２で得られた重畳画像と、コマンド選択部２３４で作成されたコマンド情報とをディスプレイ３に表示する。

ディスプレイ３は、コンピュータ用に使われる汎用のディスプレイでよく、画面上に、カメラ画像とコマンド情報を表示できるものであればよい。

コマンド情報とは、コマンド表示位置やコマンド内容等のコマンドに関わる情報と、ユーザＡ１がその中から選択したコマンドの情報であり、その表示方法は、コンピュータで作製したＣＧで、選択可能なコマンド（群）、および選択されたコマンドを表示すればよい。

また、指示位置検出部２３３で得られたユーザ指示位置についても、例えばマウスのカーソル表示のようにリアルタイムに明示して表示してもよい。

コマンドの内容としては、遠隔地側の物体を操作したり情報を表示するコマンドでもよいし、ユーザ側の部屋に関わる操作や情報表示を行うコマンドでもよい。遠隔地側の物体を操作したり情報を表示するコマンドであれば、重畳画像中に遠隔地側の画像が表示されているので、ユーザＡ１にとって、操作の判断や、操作結果の確認が可能であり、ユーザ利便性の高いインタフェースを実現できる。

ユーザは、自己画像が映った重畳画面を見ながら、同じ画面上に表示されているＣＧアイコンによるコマンド情報（情報表示部の説明参照）に手指等を重ね合わせるだけで、画面に直接触らずに、自己画像中の物体に対するコマンド選択・実行や、遠隔地画像中の物体に対するコマンド選択・実行が可能である。このような操作方法により、分かり易く間違いの少ない指示が可能になる。

なお、ユーザＡ１と他の１人のユーザの２地点間を接続してもよいし、３地点以上（最大Ｎ地点）の画像を重畳してもよい。

また、ユーザＡ１の入力画像と、Ａ１以外の地点から送られてきた画像は、反転画像生成部２３１により、各々個別に、反転したり非反転のまま（正像のまま）にしたりすることができる。よって、ユーザＡ１側のディスプレイ３に表示される画像は、例えば、Ａ１とＡ２とＡ３の３地点のユーザに関する画像を重畳した場合、Ａ１の反転／非反転＋Ａ２の反転／非反転＋Ａ３の反転／非反転、の各々の反転／非反転の組み合わせにより８通りの重畳画像が可能である。

本実施例によれば、画像重畳部２３２は、重畳される各画像を、画素ごとに、任意の透明度で半透明化し重畳する。このため、複数地点の映像を重畳する際には、見たい領域の透明度を他の領域の透明度より低くすることで、全体を均一の透明度設定にした場合より、見たい領域を濃く鮮明に表示させることができ、従来のインタフェース装置の半透明重畳による効果を活かしつつ、視認性を向上させられる。

また、Ａ１地点の自己画像およびＡ１以外の地点の画像をいずれも任意の透明度で半透明化して重畳することにより、ユーザＡ１は、自己画像中の物体またはＡ１以外の地点の画像中の物体の像と、ユーザＡ１の自己画像を同時に見られる。

このため、ユーザＡ１は手指等と目的の物体を重ねる操作を行うことで、自分の部屋の物体も、またＡ１以外の地点にある物体も、仮想的に同じ部屋にあるかのように、画面上で指差したり触ることができ、操作性の高いインタフェースを実現できる。また、透明度は自由に設定できるので、重畳したときに、ユーザが最も操作しやすいように自由に透明度を変更することができる。

また、ユーザＡ１側の映像全体を半透明にして重畳することにより、ブルーバックによるクロマキー合成時等の特殊な環境は必要なく、任意の背景で自部屋や遠隔地の物体操作が可能である。また、遠隔地の人と自部屋のユーザが重なった場合でも透過して映るので、その場合でも互いに隠れることなく、相手の画像や物体を見ることができる。

［第２の実施例］
図６および図７は、本発明の第２の実施例のインタフェース装置を説明するための図である。

本実施例では、透明度マスクデータは、透明度の異なる複数の領域に分割され、各分割領域の境界の透明度がグラデーション化（段階的に透明度が変化）されている。このため、画像重畳部２３２は、この透明度マスクデータを用いて、重畳される画像について画素ごとに透明度を設定することにより、１つの画像における透明度の変化を滑らかに設定することが可能になる。

従来のＴＶ会議等の方式を使った場合では、同じ画面上に、自分の映像と相手の映像を表示させたとしても、それらの境界線がはっきり出てしまい、自分と相手が異なる環境にいることがより明確化されてしまっていたが、本実施例では、その境界線がなくなり、互いの映像が半透明で重畳され、滑らかにその透明度が変化した自然な境目にすることができるため、あたかも同じ部屋にいる様子が映っているように見え、自分と相手が同じ空間にいる感覚を増長させることが可能である。

また、従来の半透明で重畳する方式では、互いの境目はなくなっているが、全画素を均一の透明度で半透明化しているため、全体が薄くなる問題があったが、本実施例では、画素単位で任意の透明度を設定できるので、例えば画面上で自分がいる領域とその近辺は自分側の映像を濃くし、相手側の領域は相手側の映像を濃くし、その境目の透明度をグラデーションをつけて滑らかに重畳することにより、互いの映像の境目がない重畳画像でありながら、より鮮明に互いの映像を表示させることが可能となる。

第１の実施例では、画素単位で透明度を変えられたが、第２の実施例では、領域間の透明度にグラデーションをかけることにより、遠隔地間の映像を自然に重ね合わせることができるようになっている。

具体的な重ね合わせの例を以下に示す。

図６は、遠隔地間の２人が、左右に表示された状態で、映像コミュニケーションを行っている例である。従来の全画素均一透明度で半透明重畳する手法では各ユーザの映像は画像全体に渡って薄くなっていたが、本実施例では、従来同様に境目のない重畳でありながら、各々の映像は濃く鮮明に表示することができる。

このような例は、１対１の遠隔映像コミュニケーションを行うシーンにおいて多用される位置関係である。

例えば、遠隔地間で資料等を共有した打合せであれば、２人の間（画面中央付近）に共有ドキュメントを半透明で表示させれば、各々の映像は濃く鮮明に表示できることと、互いの映像が半透明に映る中央付近ではドキュメントを互いに（半透明で）指差して、同じ位置を指差しながら打合せや説明を行うことができる。

また、相手の体のところまで、手を伸ばせば、相手の映像が濃く表示された上に、自分の手を薄く表示することができるので、相手の体のどこを指し示しているかが視覚的にすぐ分かるような表現も可能である。

例えば、医療分野を例に挙げれば、遠隔で問診をする場面で、一方の医者が遠隔地にいるもう一方の患者の体を指差して「ここは痛いですか？」「いえ、こっちの場所が痛いです」といった、直感的でかつ曖昧な情報の意思伝達をスムーズに行うことが可能になる。これらは従来のＴＶ会議方式ではできない。

また更に、遠隔地間でカウンセリングを行う場面では、画面上の境目がなくなることによって、カウンセラー側と患者側の間でのコミュニケーションにおいて、より効果的でスムーズなカウンセリングを実施できる。

この場合も打合せと同様に、従来の全画素半透明で重畳する方式では、境目がない利点はあるが、鮮明度が低いことが、心を開いて話し合うべきコミュニケーションにおいてマイナスの影響を与える可能性があったが、本実施例では、互いの表示領域を鮮明化させつつ、同時にその境目をグラデーションにより自然に重ねることができるため、同じ空間にいる状況及び感覚を増強することができ、より効果的な遠隔コミュニケーションを行うことが可能になる。

また、図７は、一方に１人、他方に２人が、同じ位置に配置された机の周りの異なる位置に座っている状態で、会議や講義のような映像コミュニケーションを行っている例である。この場合も図６と同様に、従来同様に境目のない重畳でありながら、各々の映像は濃く鮮明に表示することができる。

従来の複数人数によるＴＶ会議では、相手側の映像のみ表示したり、自分側の映像を表示したとしても境目無く同じ画面上に表示するような方法は無かった。また、従来の半透明で重畳する方式では、境目無く同じ画面上に表示はできても、互いの映像が薄くなってしまった。

これらに対し、本実施例では、互いの映像を鮮明に表示させつつ、境目をグラデーションで自然な重なりとなる重畳画像を作ることにより、遠隔地にいるお互いがあたかも同じ１つの机を囲んで話合っているかのような状況と感覚を醸成することができる。

特にこの例では、共通の物体である机を同じ表示位置になるように机やカメラを配置し、その辺りの透明度は互いが例えば同程度の透明度で半透明にして重畳させることもできるので、それにより、互いの映像は鮮明でありながら、机の上は、互いが手を伸ばせば半透明で両者とも表示できるので、机の上に置いたものや、机の上の同じ位置を互いに同時に指差しすることもできる。これにより、よりいっそう同じ部屋にいる状況及び感覚が得られるとともに、また互いに同じ資料等を指せることで利便性を高めることができる。

このような重畳表示による共有空間の生成は、図６のように単純な透明度画像だけでなく、図７のように状況に適した任意形状の透明度マスクデータを作成することにより、常に必要な部分だけの鮮明化を行える重畳処理を実現できる。

図７の例では、２地点の重畳を例にしているが、３地点以上の多地点を重畳する場合にも、同様に行うことができる。これにより、例えば５地点にいる各参加者が、あたかも１つの机を囲んで座っているかのような状況も容易に生成できるようになる。

これらの例は、本実施例が、第１の実施例の効果に加え、画像重畳部２３２が、各画像において透明度が段階的に変化するように、各画像の画素の透明度を設定するため、重畳処理において互いの画像の境目を目立たなくすることにより可能になる。これにより、任意形状の領域の輪郭の透明度についてグラデーションをつけて設定できるため、互いの映像を、境目無く自然に重畳することができる。

なお、以上説明した、本発明の画像処理方法は、専用のハードウェアにより実現されるもの以外に、その機能をコンピュータに実現させるためのプログラムを、コンピュータ読取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行するものであってもよい。

ここで、コンピュータ読取り可能な記録媒体とは、フレキシブルディスク、光磁気ディスク、ＣＤ−ＲＯＭ等の記録媒体、コンピュータシステムに内蔵されるハードディスク装置等の記憶装置を指す。

さらに、コンピュータ読取り可能な記録媒体は、インターネットを介してプログラムを送信する場合のように、短時間の間、動的にプログラムを保持するもの（伝送媒体もしくは伝送波）、その場合のサーバとなるコンピュータ内部の揮発性メモリのように、一定時間プログラムを保持しているものを含む。

以上説明した各実施例において、図示した構成は単なる一例であって、本発明はその構成に限定されるものではない。

本発明の第１の実施例のインタフェース装置の構成図である。 送信部の構成図である。 受信部の構成図である。 画像重畳部の構成図である。 第１の実施例のインタフェース装置の重畳処理を説明するための説明図である。 第２の実施例のインタフェース装置の重畳処理を説明するための説明図である。 第２の実施例のインタフェース装置の重畳処理を説明するための説明図である。

符号の説明

１００ インタフェース装置
１ 画像入力部
２ 処理部
２１ 送信部
２１ａ 画像送信部
２１ｂ コマンド送信部
２２ 受信部
２２ａ 画像受信部
２２ｂ コマンド受信部
２３ 画像生成部
２３１ 反転画像生成部
２３２ 画像重畳部
２３２ａ 半透明化処理部
２３２ｂ 重畳処理部
２３２ｃ 透明度マスクデータ記憶部
２３３ 指示位置検出部
２３４ コマンド選択部
２４ 情報表示部
３ ディスプレイ

Claims (4)

1. 操作者の画像を有する自己側の画像を受け付ける手段と、
   自己の地点と異なる他の地点から送られてきた他地点側の画像を受け付ける手段と、
   前記自己側の画像を左右反転した反転画像を生成するか、または、当該自己側の画像をそのまま出力する手段と、
   前記反転画像が生成された場合には、当該反転画像と前記他地点側の画像とを、画素ごとに任意の透明度で半透明化し重畳して重畳画像を生成し、前記自己側の画像がそのまま出力された場合には、当該自己側の画像と前記他地点側の画像とを、画素ごとに任意の透明度で半透明化し重畳して重畳画像を生成する手段と、
   前記反転画像が生成された場合には、当該反転画像上で前記操作者の指示している位置を検出し、前記自己側の画像がそのまま出力された場合には、当該自己側の画像上で前記操作者の指示している位置を検出する手段と、
   前記検出された位置に基づき、前記重畳画像上で前記操作者の指定するコマンドを選択し実行する手段と、
   を含む画像処理装置。
2. 前記重畳画像を生成する手段は、各画像において前記透明度が段階的に変化するように、各画像の画素の透明度を設定する、請求項１に記載の画像処理装置。
3. 画像処理装置が行う画像処理方法であって、
   操作者の画像を有する自己側の画像を受け付ける段階と、
   自己の地点と異なる地点から送られてきた他地点側の画像を受け付ける段階と、
   前記自己側の画像を左右反転した反転画像を生成するか、または、当該自己側の画像をそのまま出力する段階と、
   前記反転画像が生成された場合には、当該反転画像と前記他地点側の画像とを、画素ごとに任意の透明度で半透明化し重畳して重畳画像を生成し、前記自己側の画像がそのまま出力された場合には、当該自己側の画像と前記他地点側の画像とを、画素ごとに任意の透明度で半透明化し重畳して重畳画像を生成する段階と、
   前記反転画像が生成された場合には、当該反転画像上で前記操作者の指示している位置を検出し、前記自己側の画像がそのまま出力された場合には、当該自己側の画像上で前記操作者の指示している位置を検出する段階と、
   前記検出された位置に基づき、前記重畳画像上で前記操作者の指定するコマンドを選択し実行する段階と、
   を含む画像処理方法。
4. 前記重畳画像を生成する段階では、各画像において前記透明度が段階的に変化するように、各画像の画素の透明度を設定する、請求項３に記載の画像処理方法。