以下、本発明の実施形態を図面を用いて説明する。
図1は本発明による遠隔コミュニケーションにおける映像表示方法を実行するネットワークシステムを示すシステム構成図であって、1a,1bはクライアント端末、2a,2bはCPU(中央処理ユニット)、3a,3bはビデオカメラ、4a,4bはディスプレイ、5a,5bはポインティングデバイス、6a,6bは記憶装置、7a,7bはネットワークI/F(インターフェイス)、8はサーバ、9はCPU、10は記憶装置、11はネットワークI/F、12はネットワークである。
同図において、クライアント端末1aは、そのネットワークI/F7aとサーバ8でのネットワークI/F11により、ネットワーク12を介してサーバ8と通信可能に接続されている。クライアント端末1bも同様であり、これにより、クライアント端末1a,1bがサーバ8を介して相互にコミュニケーションのための通信を行なうことができる。
クライアント端末1a,1bは同様の構成をなしている。ここでは、クライアント端末1aをユーザA側のクライアント端末とし、クライアント端末1bをユーザB側のクライアント端末として、その構成をユーザA側のクライアント端末1aを例に説明する。但し、クライアント端末1bも、クライアント端末1aと同じ構成をなしている。
クライアント端末1aには、映像を表示するディスプレイ4aと、このディスプレイ4aの表示画面で、クライアント端末1bの相手側とコミュニケーションを行なうために、映像表示を制御するためのマウスなどのポインティングデバイス5aと、プログラムや各種のデータが記憶された記憶装置6aと、ディスプレイ4aやポインティングデバイス5aを用いて相手側(即ち、この場合には、クライアント端末1b)とコミュニケーションを行なう際に自分であるユーザAを撮像するビデオカメラ3aと、記憶装置6aに記憶されているプログラムを実行し、ポインティングデバイス5aのユーザAによる操作などに伴って、ビデオカメラ3aやディスプレイ4a,記憶装置6aなどの各部を制御するCPU2aとを備えている。
CPU2aは、記憶装置6aに記憶されている各種のデータをディスプレイ4aでの映像表示のために処理し、また、ビデオカメラ3aがユーザAを自分として撮像して得られる動画像信号(以下、ユーザAの映像信号という)を処理し、ディスプレイ4aに供給して表示させる制御を行なうとともに、ネットワークI/F7aを制御することにより、ネットワーク12a及びサーバ8を介して、相手(即ち、ユーザB)側のクライアント端末1bに送信する。また、相手側のクライアント端末1bのビデオカメラ3bでユーザBを撮像して得られた動画像信号(以下、ユーザBの映像信号という)をネットワークI/F7aで受信し、これを処理してディスプレイ4aで表示させる制御をする。
また、サーバ8は、プログラムなどのデータを格納した記憶装置10とネットワークI/F11とこれらを制御するCPU9などを備えており、このCPU9の制御のもとに、ネットワークI/F11を用いてクライアント端末1a,1bとの通信ができるようにしている。
かかる構成により、クライアント端末1a,1b間でサーバ8を介した遠隔コミュニケーションを行なうことができる。かかるコミュニケーションを行なう場合には、ユーザA側のクライアント端末1aでは、ビデオカメラ3aから得られるユーザAの映像信号は、CPU2aで映像処理された後、ディスプレイ4aでに供給されてユーザAの映像が、自分の映像として、表示されるとともに、ネットワークI/F7aにより、サーバ8を介して相手側、即ち、ユーザB側のクライアント端末1bに送信される。このクライアント端末1bでは、ネットワークI/F7bによってユーザAの映像信号が受信され、CPU2bで映像処理された後、ディスプレイ4bに供給されてユーザAの動画像が、相手側の映像として、表示される。
また、同様にして、ユーザB側のクライアント端末1bでは、ビデオカメラ3bから得られるユーザBの映像信号が、CPU2bで映像処理された後、ディスプレイ4bに供給されてユーザBの映像が、自分の映像として、表示されるとともに、ネットワークI/F7bにより、サーバ8を介して相手側、即ち、ユーザA側のクライアント端末1aに供給される。このクライアント端末1aでは、ネットワークI/F7aによってユーザBの映像信号が受信され、CPU2aで映像処理された後、ディスプレイ4aに供給されてユーザBの動画像が、相手側の映像として、表示される。
次に、かかるネットワークシステムを用いた本発明による遠隔コミュニケーションにおける映像表示方法の一実施形態について説明する。
図2は図1におけるユーザAの自分側のクライアント端末1aのディスプレイ4aに表示されるコミュニケーション用画面の一具体例を示す図であって、20はコミュニケーション用画面、21は相手映像、22は自分映像、23は自分の手形カーソル、24は相手の手形カーソル、25はテーブルの映像(以下、テーブル映像という)である。なお、ユーザB側のクライアント端末1bについても、その表示映像は同様である。
同図において、ユーザA側のクライアント端末1a(図1)とユーザB側のクライアント端末1b(図1)との間でコミュニケーションを行なうとき、ユーザA側のクライアント端末1aのディスプレイ4a(図1)の表示画面に、ユーザBの映像である相手映像21とユーザAの映像である自分映像22とがテーブル映像25を挟んで、三次元的な位置関係となるように、表示されるコミュニケーション用画面20が表示される。即ち、このコミュニケーション用画面20では、相手映像21がテーブル映像25の向う側に手前側(この表示画面20を見ている自分側)を向いて表示され、自分映像22がテーブル映像の手前側に相手映像21側に向いて表示される。また、コミュニケーション用画面20には、ユーザAの片方の手を表わす自分映像22の手形状のカーソル、即ち、自分の手形カーソル23が向う側(相手映像21側)を向いて、また、ユーザBの片方の手を表わす相手映像21の手形状のカーソル、即ち、相手の手形カーソル24が手前側(自分映像側22)を向いて夫々表示されている。
なお、ユーザA側のクライアント端末1aとユーザB側のクライアント端末1b(図1)との記憶装置6a,6bには夫々、自分と相手との手形カーソルの画像データが格納されている。そして、例えば、ユーザA側のクライアント端末1aで、CPU2aにより、表示のために、記憶装置6aから手形カーソルの画像データが自分、即ち、ユーザAの手形カーソルとして読み出されると、これが自分の手形カーソル23としてコミュニケーション用画面20に表示されるとともに、この読み出された手形カーソルの識別データが相手であるユーザBのクライアント端末1bに送信され、このクライアント端末1bでは、この識別データに該当する手形カーソルの画像データが記憶装置6bから読み出され、相手(この場合、ユーザA)の手形カーソルとして、コミュニケーション用画面に表示されることになる。また、ユーザB側のクライアント端末1bで、CPU2bにより、表示のために、記憶装置6bから手形カーソルの画像データが自分、即ち、ユーザBの手形カーソルとして読み出されると、これが自分の手形カーソルとしてコミュニケーション用画面に表示されるとともに、その識別データが相手であるユーザAのクライアント端末1aに送信され、このクライアント端末1aでは、この識別データに該当する手形カーソルの画像データが記憶装置6aから読み出され、相手(この場合、ユーザB)の手形カーソル24として、コミュニケーション用画面20に表示されることになる。
これにより、クライアント端末1a,1bの一方で表示される自分の手形カーソルと他方のクライアント端末で表示される相手の手形カーソルとは、同じユーザに対する手形カーソルであるが、これらは、互いに左右反転で、かつ逆向きの関係で表示されることになる。
ここで、相手映像21は、ユーザB(ユーザAに対して相手)側のクライアント端末1bのビデオカメラ3bでユーザBが正面から撮像されたものであって、ユーザBの映像の上半身部分を第1の表示倍率で表示されるものである。これに対し、自分映像22は、ユーザA(ユーザAに対して自分)側のクライアント端末1aのビデオカメラ3aでユーザAが正面から撮像されたものであるが、その撮像された映像の上半身の部分を抽出して左右反転し(即ち、自分とは反対側を向いた状態にし)、さらに、その輪郭部だけを抽出して、その輪郭部の内部を透明、もしくは所定の色で薄く塗りつぶし(例えば、黒色で薄く均一に塗りつぶし)、半透明状態として透けて見えるようにしたシルエット状の映像であり、相手映像21よりも大きな第2の表示倍率で表示されるものである。従って、クライアント端末1b側でユーザBが動くと、これに応じて相手映像21も動き、ユーザAが動くと、これに応じて自分映像22も動くことになる。
このように、相手映像21の表示の表示倍率(=第1の表示倍率)に対して、自分映像22の表示の表示倍率(=第2の表示倍率)を大きくし、相手映像21に対して自分映像22を大きく表示することにより、そして、さらに、相手映像21,自分映像22間のテーブル映像25を、奥行き方向に幅が次第に狭くなるようにして、奥行きを持たせて表示することにより、相手(ユーザB)が奥の方に、自分(ユーザA)が手前の方に、これが互いに向かい合っているようにして表示されることになる。
なお、このような相手映像21や自分映像22の表示の表示倍率の設定処理や自分映像22の作成処理はCPU2aによって行なわれ、また、テーブル映像25のデータは記憶部6aに保存されており、CPU2aの処理によって合成処理される。
また、自分の手形カーソル23は、自分の、即ち、この場合、ユーザA側のクライアント端末1aでのポインティングデバイス5a(図1)の操作に応じて移動し、その移動可能範囲は、相手映像21を含むその近傍範囲内とテーブル映像25のエリア内である。
このユーザA側のクライアント端末1aでの自分の手形カーソル23は、相手側、即ち、ユーザB側のクライアント端末1bでのディスプレイ4bで表示されるコミュニケーション用画面での相手の手形カーソル24に対応し、また、ユーザB側のクライアント端末1bでの自分の手形カーソル23は、ユーザA側のクライアント端末1aでの相手の手形カーソル24に対応する。これ故、ユーザA側のクライアント端末1aでの自分の手形カーソル23の相手映像21に対する動きは、ユーザB側のクライアント端末1bでの相手の手形カーソル24の自分映像22に対する同じ動きとなり、また、ユーザB側のクライアント端末1bでの自分の手形カーソル23の相手映像21に対する動きは、ユーザA側のクライアント端末1aでの相手の手形カーソル24の自分映像22に対する同じ動きとなる。従って、ユーザA側のクライアント端末1a,ユーザB側のクライアント端末1bでの自分映像22やテーブル映像25に対する相手の手形カーソル24の動き可能範囲は、ユーザB側のクライアント端末1b,ユーザA側のクライアント端末1aでの相手映像21やテーブル映像に対する自分の手形カーソル23の動き可能範囲と等しいことになる。
ここで、自分の手形カーソル23は、自分(ユーザA)側のクライアント端末1aでのマウスなどのポインティングデバイス5aの操作により、その操作に応じた位置をCPU2aで設定し、コミュニケーション画面20でのこの設定位置に対応する位置に表示する。また、CPU2aは、相手(ユーザB)側のクライアント端末1b(図1)にビデオカメラ3aで撮像した自分映像を送信するが、これとともに、CPU2aによる自分の手形カーソル23の設定位置の情報も同時に相手(ユーザB)側のクライアント端末1bに送信する。そこで、自分(ユーザA)側のクライアント端末1aでは、相手(ユーザB)側のクライアント端末1bからそのビデオカメラ3bで撮像された相手映像が受信されるが、これとともに、この相手映像(なお、相手(ユーザB)側のクライアント端末1bからみれば、自分映像となる)に対する手形カーソル(なお、相手(ユーザB)側のクライアント端末1bからみれば、自分の手形カーソル)のCPU2bによる設定位置の情報も受信することになり、CPU2aは、受信したこの設定位置の情報に該当するコミュニケーション用画面20での位置に相手の手形カーソル24を表示する。この相手の手形カーソル24は、相手(ユーザB)側のクライアント端末1bのポインティングデバイス5bの操作に応じて設定位置の情報が変化すると、これを取得したCPU2aがその変化を認識して位置制御することにより、その位置が変化することになる。クライアント端末1a,1bのコミュニケーション用画面に表示される該当する2つの手形カーソルの移動方向は、当然画面から見て互いに逆方向である。
ここで、自分の手形カーソル23と相手の手形カーソル24も、これらに該当する画像データが記憶装置6aに格納されており、CPU2aがこれを読み出してコミュニケーション用画面20での夫々の設定位置に対応した位置に表示させるものである。
なお、クライアント端末1a,1bにおいて、自分の手形カーソル23に対する相手の手形カーソル24の大きさは、相手映像21の表示倍率(=第1の表示倍率)に対する自分映像22の表示倍率(=第2の表示倍率)の比率倍に設定されており、自分の手形カーソル23に対して、相手の手形カーソル24を大きく表示される。これは、相手の手形カーソル24が、三次元空間において、自分映像22の近く(即ち、手前側)にあることを示しているものである。
図3は自分の手形カーソル23と相手の手形カーソル24との移動可能範囲を示す図であって、26は相手映像撮像エリア、27は自分映像撮像エリアであり、図2に対応する部分には同一符号をつけて重複する説明を省略する。
図3(a)は相手側のクライアント端末1bのビデオカメラ3bの撮像エリア(即ち、相手映像撮像エリア26)とテーブル映像25のエリアと自分側のクライアント端末1aのビデオカメラ3aの撮像エリア(即ち、自分映像撮像エリア27)とを三次元空間内で示すものであって、テーブル映像25のエリアが水平なエリアであるのに対し、相手映像撮像エリア26と自分映像撮像エリア27とがテーブル映像25のエリアの両側に位置する垂直な平面エリアとなっている。相手映像撮像エリア26に相手映像21(図2)が表示され、自分映像撮像エリア27に自分映像22(図2)が表示される。
自分の手形カーソル23(図2)は、斜線ハッチングして示す相手映像撮像エリア26とテーブル映像25のエリアとの合成エリア内で移動可能であって、これらエリアの外側に出ることができない。また、相手の手形カーソル24(図2)は、白抜きで示す自分映像撮像エリア27とテーブル映像25のエリアとの合成エリア内で移動可能であって、これらエリアの外側に出ることができない。
図3(b)はユーザA側のクライアント端末でのコミュニケーション用画面20内での相手の手形カーソル24の移動範囲を示すものであって、斜線ハッチングして示す自分映像撮像エリア27とテーブル映像25のエリアとの合成エリア内で移動可能である。また、図3(c)はこのコミュニケーション用画面20内での自分の手形カーソル23の移動範囲を示すものであって、斜線ハッチングして示す相手映像撮像エリア26とテーブル映像25のエリアとの合成エリア内で移動可能である。
ここで、クライアント端末1a,1bにおいて、ディスプレイ4a,4bで表示されるコミュニケーション用画面20では、相手映像21の眼で見る方向、即ち、視線が自分映像22の方向となるように、相手映像21と自分映像22との表示位置関係が設定される。これを、図4により、説明する。なお、図4は図2における表示画面での相手映像と自分映像との配置関係の説明図であって、28はユーザ,29はビデオカメラ3の視線、30はユーザ28の視線、31はユーザ28の映像、31aは眼、32は相手の視線、33は相手の映像であり、前出図面に対応する部分には同一符号をつけて重複する説明を省略する。
図4(a)に示すように、ユーザ28(即ち、自分)は、コミュニケーションをする場合には、ディスプレイ4(即ち、ディスプレイ4a,4b)で表示されるコミュニケーション用画面20を見ており、このとき、ビデオカメラ3(即ち、ビデオカメラ3a,3b)はこのディスプレイ4の表示画面の上方から下向きにユーザ28を撮像する。即ち、ビデオカメラ3の視線29は、ユーザ28の方向に、下向きとなっている。ユーザ28の表示画面の方向の視線28とビデオカメラ3の視線30との間に角度αが生ずることになり、このビデオカメラ3が撮像した映像を相手側のクライアント端末のディスプレイ4のコミュニケーション用画面20に表示すると、図4(b)に示すように、ユーザ28の映像31では、その眼31aの視線が上記の角度α分下方を向いて、その眼31aが下方を見ているように見える。このため、従来のテレビ電話システムでの相手側のクライアント端末のディスプレイに表示されるコミュニケーション用画面では、このコミュニケーション用画面を見る相手側には、ユーザ28が自分を見ていないように見える。
この実施形態での相手側画面内の仮想空間を横から見た位置関係を図4(c)で説明すると、相手の視線32が下向きであって、相手がユーザ28を見下ろすように見ているのと同じ状態であり、このときのユーザ28の視線28は、相手の視線32に対して、下向きに角度αの方向である。そこで、このユーザ28の視線30の方向に相手33を位置付けるようにすることにより、相手はユーザ28が見る方向に存在することになる。
この実施形態は、このことに基づいて、図2に示すように、ディスプレイ4に表示されるコミュニケーション用画面20において、自分映像22を相手映像21に対向するように表示し、このように対向した状態で両者のコミュニケーションが行なわれているようにするものである。
図5は図2に示すコミュニケーション用画面20を構成する要素を示す図であって、34は背景画面であり、図2に対応する部分には同一符号をつけて重複する説明を省略する。なお、ここでは、図2でのユーザA側のクライアント端末1aを自分側とし、ユーザB側のクライアント端末1bを相手側として、自分側のクライアント端末1aについて説明する。但し、以下の説明は、自分側,相手側を逆にした場合も、同様である。
図2に示すコミュニケーション用画面20は、図5(a)に示す相手側のクライアント端末1bのビデオカメラ3b(図1)の撮像エリアに対する相手映像撮像エリア26の映像と、図5(b)に示す自分の手形カーソル23と、図5(c)に示すテーブル映像25と、図5(d)に示す相手の手形カーソル24と、図5(e)に示す自分側のクライアント端末1aのビデオカメラ3aの撮像エリアに対する自分映像撮像エリア27の映像とが合成されたものである。
ここで、相手映像撮像エリア26の映像は、相手側のクライアント端末1bから送信されたものであって、CPU2a(図1)により、上記の第1の表示倍率で映像の大きさの設定処理がなされるとともに、相手映像21を含む所定の大きさのエリアに加工処理されたものであり、また、自分映像撮像エリア27の映像は、CPU2aにより、上記の第2の表示倍率で映像の大きさの設定処理されるとともに、自分側のクライアント端末1aのビデオカメラ3aの撮像エリアの映像を所定の大きさのエリアに加工処理されたものである。これら加工に際して、相手映像撮像エリア26は第1の表示倍率に応じた大きさとし、自分映像撮像エリア27は第2の表示倍率に応じた大きさとしており、従って、自分映像撮像エリア27は、相手映像撮像エリア26によりも、ほぼ(第2の表示倍率/第1の表示倍率)倍大きいものとなっている。また、自分側のクライアント端末1aのビデオカメラ3aで撮像された映像は、上記のように、左右反転され、さらに、自分の映像の輪郭のみが抽出され、さらには、場合によって、輪郭内を半透明状に黒色を含む色付けする処理がなされる。
また、自分の手形カーソル23とテーブル映像25と相手の手形カーソル24とは、それらの映像データがクライアント端末1aの記憶装置6aに格納されており、CPU2aがこれらの映像データを記憶装置6a(図1)から読み取り、コミュニケーション用画面20の作成に使用する。
このコミュニケーション用画面20を作成するに際しては、図5(a)に示すように、所定の背景画面34の上辺中央部の固定した場所で、相手側のビデオカメラ3の相手映像撮像エリア26に等しい大きさ,形状のエリアを切り抜いて、この切り抜かれたエリアにこの相手映像撮像エリア26を嵌め込む合成処理を行ない、次いで、同様の手法により、図5(c)に示すテーブル映像25を、背景画面34に嵌め込まれた相手映像撮像エリア26から背景画面34の下辺にわたるエリアに嵌め込む合成処理を行ない、次いで、相手映像撮像エリア26とテーブル映像25とが嵌め込まれた画面に、図5(b)に示す自分の手形カーソル23と図5(d)に示す相手の手形カーソル24とを重ねる合成処理を行なう。そして、輪郭からなる自分映像22をさらに重ねる合成処理を行なう。
このようにして、図2に示すコミュニケーション用画面20が形成されるが、図3で説明したように、自分の手形カーソル23は相手映像21を含む相手映像撮像エリア26とテーブル映像25とのエリア内で移動可能であって、かかるエリア外に出ることができず、また、相手の手形カーソル24は自分映像22を含む自分映像撮像エリア27とテーブル映像25とのエリア内で移動可能であって、かかるエリア外に出ることができない。このような自分の手形カーソル23や相手の手形カーソル24の移動可能なエリアは、CPU2aにより、撮像エリア33,34やテーブル映像25のエリアをもとに規制されるものである。
なお、自分の手形カーソル23の移動は、自分側のクライアント端末1aでのポインティングデバイス5aをユーザAが操作することによって行なわれ、後述するように、相手映像21に触れるように動作させるものであって、自分、即ち、ユーザAの手の機能を持たせたものである。このため、自分の手形カーソル23は、通常、相手映像21の近くにあるように表示される。これに対し、相手の手形カーソル24の移動は、相手側のクライアント端末1bでのポインティングデバイス5bをユーザBが操作することによって行なわれ、後述するように、自分映像22に触れるように動作させるものであって、相手、即ち、ユーザBの手の機能を持たせたものである。このため、相手の手形カーソル24は、通常、自分映像22の近くにあるように表示される。このことからして、自分の手形カーソル23は三次元空間的に表わされるコミュニケーション用画面20での奥の方に存在することになり、このため、小さく表示され、また、相手の手形カーソル24はこのコミュニケーション用画面20での手前側に存在することになり、このため、大きく表示される。
図6はコミュニケーションを行なうユーザA側のクライアント1aとユーザB側のクライアント端末1bでのコミュニケーション用画面の関係を示す図であって、20a,20bはコミュニケーション用画面、21a,22bはユーザBの映像、22a,21bはユーザAの映像、23a,24bはユーザAの手形カーソル、24a,23bはユーザBの手形カーソル、25a,25bはテーブル映像、35a,35bは「触る」マークである。
図6(a)はユーザA側のクライアント端末1aでのコミュニケーション用画面20aを、図6(b)は同じ時点でのこのコミュニケーション用画面20aに対するユーザB側のクライアント端末1bでのコミュニケーション用画面20bを夫々示すものである。
図6(a)に示すユーザA側のクライアント端末1aでのコミュニケーション用画面20aにおいて、ユーザAの映像が自分映像22a、ユーザAの手形カーソルを自分の手形カーソル23aとすると、図6(b)に示すユーザB側のクライアント端末1bでのコミュニケーション用画面20bでは、ユーザAの映像が相手映像21b、ユーザAの手形カーソルが相手の手形カーソル24bとなる。同様に、コミュニケーション用画面20aにおいて、ユーザBの映像が相手映像21a、ユーザBの手形カーソルを相手の手形カーソル24aとすると、図6(b)に示すコミュニケーション用画面20bでは、ユーザBの映像が自分映像22b、ユーザBの手形カーソルが自分の手形カーソル23bとなる。
そこで、いま、ユーザA側のクライアント端末1aでのコミュニケーション用画面20aにおいて、ポインティングデバイス5aを操作することにより、ユーザAが自分の手形カーソル23aをユーザBである相手映像21aに触れさせるようにすると、ユーザB側のクライアント端末1bでのコミュニケーション用画面20bでは、ユーザAの手形カーソルである相手の手形カーソル24bがユーザBの映像である自分映像22bに触れる状態となる。
同様にして、ユーザB側のクライアント端末1bでのコミュニケーション用画面20bにおいて、ポインティングデバイス5bを操作することにより、ユーザBが自分の手形カーソル23bを移動させると、ユーザA側のクライアント端末1aでのコミュニケーション用画面20aでは、ユーザBの手形カーソルである相手の手形カーソル24aが、コミュニケーション用画面20bでの自分の手形カーソル23bの移動方向とは逆方向に、コミュニケーション用画面20a,20bでの表示の倍率に応じた移動量だけ移動することになる。
このように、夫々のクライアント端末で表示されるコミュニケーション用画面20では、自分の手形カーソル23が自分側のクライアント端末でのポインティングデバイス5のユーザ操作により、移動などの制御をすることができるし、相手の手形カーソル24は、相手側のクライアント端末でのポインティングデバイス5のユーザ操作により、移動などの制御が行なわれる。
ここで、図6(a)は、ユーザA側のクライアント端末1aにおいて、コミュニケーション用画面20aで自分の手形カーソル23の指先が相手映像21aの顔の部分に触るように、このユーザAがポインティングデバイス5aを所定操作した場合を示すものであり、この指先で触った部分には、丸印のマーク、即ち、「触る」マーク35aが表示される。これに対し、ユーザB側のクライアント端末1bのディスプレイ4aに表示されるコミュニケーション用画面20bでは、図6(b)に示すように、相手の手形カーソル24bの指先は、自分映像22bでの、コミュニケーション用画面20aで相手映像21aにおける自分の手形カーソル23bが触れる位置に対応した位置に表示され、これとともに、相手の手形カーソル24bの指先が自分映像22bに触れているものとして、その触れている位置に上記と同様の丸印のマーク、即ち、「触る」マーク35bが表示されることになる。この場合、自分映像22bの表示倍率は同じユーザの相手映像21aの表示倍率よりも大きいので、これら表示倍率に応じて、「触る」マーク35bは「触る」マーク35aよりも大きく表示される。手形カーソル24a,23bが触った場合も、同様である。
後述するように、ユーザはその手形カーソル23を種々に操作することができるが、ユーザAは、コミュニケーション用画面20aにおいて、自分の手形カーソル23aを操作することにより、相手映像21aに対して所望とする操作をすることができるし、また、相手(この場合、ユーザB)がそのクライアント端末1bで表示されるコミュニケーション用画面20bでの自分の手形カーソル23bを操作した結果も知ることができる。ユーザBも、そのクライアント端末1bで表示されるコミュニケーション用画面20bにおいて、同様の操作を行なうことができるし、また、ユーザAによる手形カーソル23aの操作の結果も知ることができる。
図7はクライアント端末1a,1bにおけるコミュニケーション用画面で表示される手形カーソル、特に、自分の手形カーソル23の状態の具体例を示す図であって、26Uは相手映像撮像エリア26の上半部、26Dは同じく下半部、36a,36bは作用点、37は自分の手形カーソル23の人差指部、38は同じく手の平部であり、前出図面に対応する部分には同一符号をつけて重複する説明を省略する。
図7(a)において、自分の手形カーソル23には、その人差指部37の指先部に作用点37が設定され、また、その手の平部38に作用点36bが設定されている。
自分の手形カーソル23、厳密には、その作用点36a,36bの相手映像撮像エリア26での状態としては、図7(b)に示すように、自分の手形カーソル23の作用点36a,36bがともに相手映像撮像エリア26内の相手映像21のエリア外に存在する状態(イ)と、自分の手形カーソル23の手の平部での作用点36bが相手映像撮像エリア26の上半部26U内での相手映像21のエリア内に存在し、指先の作用点36aが相手映像21のエリア外に存在する状態(ロ)と、この作用点36bがその下半部26D内での相手映像21のエリア内に存在し、作用点36aが相手映像21のエリア外に存在状態(ハ)と、自分の手形カーソル23の作用点36a,36bがともに相手映像21のエリア内に存在する状態(イ)とがあり、自分の手形カーソル23にその状態(イ)〜(ニ)に応じた機能を持たせることができる。
なお、作用点36a,36bがともに相手映像21のエリア内に存在する状態(イ)では、自分の手形カーソル23は、図7(c)に示すように、物を指差すように、人差指部37だけを伸ばした状態になる。自分の手形カーソル23は、少なくとも作用点36aが相手映像21のエリア内に存在しない状態(イ)〜(ハ)では、手が開いた状態にあるが、作用点36a,36bがともに相手映像21のエリア内に存在する状態(ニ)になると、図7(c)に示す状態となる。このような状態の変化は、予め記憶部6a,6b(図1)に自分の手形カーソル23の状態に応じた形状のデータが格納されており、CPU2a,2b(図1)が自分の手形カーソル23のコミュニケーション用画面20での位置を監視しており、その位置に応じた自分の手形カーソル23の形状のデータを記憶装置6a,6bから読み出し、その位置に表示するようにする。
図8は自分の手形カーソル23の図7に示す状態に応じた機能の具体例を示す図であって、35cは「触れる」マーク、35dは「掴む」マーク、35eは「叩く」マークであり、前出図面に対応する部分には同一符号をつけて重複する説明を省略する。なお、この具体例は、図1でのユーザAのクライアント端末1aについて説明するが、ユーザBのクライアント端末1bについても、同様である。
図8(a)は図7(b)に示す状態(ニ)のときの自分の手形カーソル23の機能を示すものであり、ユーザAの指先が相手(ユーザB)に触ったような機能を持たせるものである。
いま、ポインティングデバイス5a(図1)を操作して、例えば、図7(b)での状態(イ)から自分の手形カーソル23を移動させ、同じく状態(ニ)にすると、図8(a),(1)に示すように、自分の手形カーソル23は図7(c)に示すものを指差した状態となる。即ち、自分の手形カーソル23の人差指が相手映像23を指差した状態となる。
かかる状態でポインティングデバイス5aでクリック操作されると、図8(a),(2)に示すように、自分の手形カーソル23の人差指が相手映像21に触った状態となり、図6(a)で説明したように、相手映像21のこの指先が触った所に「触れる」マーク35aが表示される。そして、ポインティングデバイス5aでドラッグ操作されると、図8(a),(3)に示すように、自分の手形カーソル23の指先が移動し、この指先とともに、この「触れる」マーク35aも移動する。
このように自分の手形カーソル23を操作することにより、ユーザAがその指先でユーザBに触り、この指先でユーザBを撫でるような動作を行なわせることができる。
図8(b)は図7(b)に示す状態(ロ)のときの自分の手形カーソル23の機能を示すものであり、ユーザAが相手(ユーザB)の頭を手の平部で撫でるような機能を持たせるものである。
いま、ポインティングデバイス5a(図1)を操作して、例えば、図7(b)での状態(イ)から相手映像撮像エリア26の上半部26U(図7(b))内を自分の手形カーソル23を移動させ、図8(b),(1)に示すように、相手映像21の頭の位置に位置付け、かかる状態でポインティングデバイス5aでクリック操作されると、図8(b),(2)に示すように、自分の手形カーソル23が相手映像21の頭部に触った状態となり、相手映像21の頭の自分の手形カーソル23が触った所に「触れる」マーク35cが表示される。これにより、ユーザAは相手映像21の頭の自分の手形カーソル23が触ったことを認識できる。そして、ポインティングデバイス5aでドラッグ操作されると、図8(b),(3)に示すように、自分の手形カーソル23がこの頭に沿って移動し、この自分の手形カーソル23とともに、この「触れる」マーク35cも移動する。
このように自分の手形カーソル23を操作することにより、ユーザAがその手でユーザBの頭に触り、この手でユーザBの頭を撫でるような動作を行なわせることができる。
図8(c)は図7(b)に示す状態(ハ)のときの自分の手形カーソル23の機能を示すものであり、ユーザAが相手(ユーザB)の肩を掴むような機能を持たせるものである。
いま、ポインティングデバイス5a(図1)を操作して、例えば、図7(b)での状態(イ)から相手映像撮像エリア26の下半部26D(図7(b))内を自分の手形カーソル23を移動させ、図8(c),(1)に示すように、相手映像21の肩の位置に位置付け、かかる状態でポインティングデバイス5aでクリック操作されると、図8(c),(2)に示すように、自分の手形カーソル23が相手映像21の肩部に掴んだ状態となり、相手映像21の肩部の自分の手形カーソル23が掴んだ所に「掴む」マーク35dが表示される。これにより、ユーザAは相手映像21の肩部を自分の手形カーソル23で掴んだことを認識できる。そして、ポインティングデバイス5aでドラッグ操作されると、図8(c),(3)に示すように、自分の手形カーソル23がこの肩部に沿って移動し、この自分の手形カーソル23とともに、この「掴む」マーク35dも移動する。
このように自分の手形カーソル23を操作することにより、ユーザAがその手でユーザBの肩に掴み、この手でユーザBの肩を撫でるような動作を行なわせることができる。
図8(d)はユーザAが相手(ユーザB)を平手で叩くような機能を持たせるものである。
いま、ポインティングデバイス5a(図1)を操作して、例えば、図7(b)での状態(イ)と同様の図8(d),(1)に示す状態で、ポインティングデバイス5aでクリック操作されると、図8(d),(2)に示すように、自分の手形カーソル23の手の平部が相手映像21側に向いた状態に表示される。この状態の自分の手形カーソル23のデータも記憶装置6aに格納さており、CPU2aがポインティングデバイス5aでのクリック操作に伴ってこのデータを読み取り、切り替え表示させる。そして、かかる状態でポインティングデバイス5aで相手映像21へのドラッグ操作(例えば、水平方向へのドラッグ操作)がなされると、これによって自分の手形カーソル23がその方向に移動し、図8(d),(3)に示すように、相手映像21に突き当たる状態となる。これとともに、相手映像21の自分の手形カーソル23が突き当たったところに「叩く」マーク35eが表示される。
このように自分の手形カーソル23を操作することにより、ユーザAがその手でユーザBを叩くような動作を行なわせることができる。
このように、この実施形態では、ポインティングデバイス5aの操作により、相手映像21を自分の手形カーソル23で触ったり、撫でたり、掴んだり、叩いたりすることができ、相手のクライアント端末、即ち、ユーザBのクライアント端末1bでは、自分映像22に対し、相手の手形カーソル24が触ったり、撫でたり、掴んだり、叩いたりする動作を行なうことになる。
なお、図8(a)〜(d)に示す手形カーソル夫々の画像データが自分(ユーザA)のクライアント端末1aの記憶装置6aに格納されているが、また、これらの同じ画像データが相手(ユーザB)のクライアント端末の記憶装置6bにも、クライアント端末1aの記憶装置6aに格納されている手形カーソルと、例えば、識別データなどにより、互いに関連付けて格納されている。そして、クライアント端末1aで記憶装置6aから所定の形状の手形カーソルが記憶装置6aから読み出されて、自分の手形カーソルとして、表示されるときには、この読み出された手形カーソルが読み出されたことを、例えば、この識別データによってクライアント端末1bに通知され、この通知を取得したクライアント端末1bでも、記憶装置6bからこの通知に該当する同じ形状の手形カーソルが読み出され、相手の手形カーソルとして、表示される。クライアント端末1bで自分の手形カーソルを選択して表示する場合も、クライアント端末1aでは、これと同じ手形カーソルを、相手の手形カーソルとして、読み出して表示する。
また、「触れる」マーク35cや「掴む」マーク35d,「叩く」マーク35eも、そのデータが記憶装置6a,6b(図1)に格納されており、ポインティングデバイス5a,5bの操作により、CPU2a,2bが所定のマークを読み出し、表示させる。
図9は手形カーソル23,24のテーブル映像25のエリア内の動作や状態の一具体例を示す図であって、前出部面に対応する部分には同一符号をつけて重複する説明を省略する。
自分の手形カーソル23と相手の手形カーソル24は夫々、図1での自分(ユーザA)側のクライアント端末1aのポインティングデバイス5a,相手(ユーザB)側のクライアント端末1bのポインティングデバイス5bの操作により、テーブル映像25のエリア内を移動することができ、両者が離れている場合には、図9(a)に示すように、手が開いた状態で移動する。
以下、クライアント端末1a側について説明すると、この移動によって、自分の手形カーソル23と相手の手形カーソル24とのテーブル映像25のエリア内での位置が同じとなり、互いに接する状態となると、図9(b)に示すように、速度が速かった方の手形カーソルが速度が遅かった方の手形カーソル上に被さるようになってこの手が手カーソルを握り締めた状態となる。ここでは、自分の手形カーソル23が相手の手形カーソル24に覆い被さった状態で重なったとなっているものとしている。
このように、2つの手形カーソルが重なった状態の画像データもクライアント端末1a,1bの記憶装置6a,6bに格納されており、2つの手形カーソルが接近して接する状態になると、CPU2a,2bがこれを認識し、記憶部6aからこの画像データを読み出して、これまでの2つの手形カーソル23,24に変わって、かかる画像データによる手形カーソルをテーブル映像25上に表示させる。
このとき、ポインティングデバイス5bの操作を停止すると、あるいは、これら手形カーソル23,24が互いに同じ速度で(ポインティングデバイス5a,5bを同じ速度で)互いを押す方向に移動操作すると、これら手形カーソル23,24が重なった状態で停止しており、また、これら手形カーソル23,24が離れる方向にポインティングデバイス5bで操作がなされると、これらは離れて図9(a)に示す状態に戻るし、これらの手形カーソルの移動方向が互いに反対方向以外の方向であるときには、これに方向のベクトル和となる方向にベクトル和の速度で、重なった状態のまま移動する。
また、図9(b)に示す状態でクライアント端末1a,1bのいずれかのポインティングデバイス5aまたは5bでクリック操作がなされると、図9(c)に示すように、自分の手形カーソル23と相手の手形カーソル24とが握り合った状態となり、図9(b)に示す重なり合った状態と同様に、停止、または、移動する。
このように、2つの手形カーソルが握り合った状態の画像データもクライアント端末1a,1bの記憶装置6a,6bに格納されており、図9(b)に示す状態でクリック操作がなされると、CPU2a,2bがこれを認識し、記憶部6aからこの画像データを読み出して、これまでの図9(b)に示す手形カーソルの映像に代えて、かかる画像データによる握り合った手形カーソルの映像をテーブル映像25上に表示させる。
このようにして、テーブル映像25のエリアにおいても、自分の手形カーソル23と相手の手形カーソル24とを移動操作することができ、自分の手を相手の手に重ねたり、相手の手を握ったりするようなことを行なうことができる。
図10はポインティングデバイス5aの操作に伴うCPU2aによる自分の手形カーソル23の以上の動作の流れを示すフローチャートである。ここでは、自分(ユーザA)側のクライアント端末1aのポインティングデバイス5aの操作による自分の手形カーソル23の動作について説明するが、相手(ユーザB)側のクライアント端末1bのポインティングデバイス5bの操作による相手の手形カーソル24の動作も同様である。
同図において、自分の手形カーソル23の一部でも、相手映像21の撮像エリア26内にあるか否かを判定する(ステップ100)。この撮像エリア26内にあって(ステップ100の“Yes”)、この自分の手形カーソル23の手の平部38の作用点36b(図7(a))が相手映像21の輪郭内にあり(ステップ101の“Yes”)、かつこの自分の手形カーソル23の人差指部37の先端の作用点36aも相手映像21の輪郭内にあるときには(ステップ102の“Yes”)、自分の手形カーソル23は、図8(a)に示すように、相手映像21に触る形状に変形表示される(ステップ103)。
また、自分の手形カーソル23の一部が相手映像21の撮像エリア26内にあるが(ステップ100の“Yes”)、この自分の手形カーソル23の手の平部38の作用点36b(図7(a))が相手映像21の輪郭外にある場合には(ステップ101の“No”)、自分の手形カーソル23は、図8(d)の(1)に示すように、手が開いた状態に表示される(ステップ104)。なお、自分の手形カーソル23がこのステップ104の状態にあるときに、自分のクライアント端末1a(図1)のポインティングデバイス5aでクリック,ドラッグ操作があると、図8(d),(1),(2)に示すように、自分の手形カーソル23が相手映像21に対して叩く動作が行なわれる。
さらに、自分の手形カーソル23の一部が相手映像21の撮像エリア26内にあり(ステップ100の“Yes”)、この自分の手形カーソル23の手の平部38の作用点36b(図7(a))が相手映像21の輪郭内にあるが(ステップ101の“Yes”)、この自分の手形カーソル23の人差指部37の先端の作用点36aが相手映像21の輪郭外にあるときには(ステップ102の“No”)、この自分の手形カーソル23の手の平部38の作用点36b(図7(a))が相手映像21の撮像エリア26の上半部26Uにあるとき(ステップ105の“No”)、図8(b)に示すように、自分のクライアント端末1aのポインティングデバイス5aでのクリック,ドラッグ操作により、撫でる形状に変形されて撫でる動作を行なわせることができるが(ステップ106)、この自分の手形カーソル23の手の平部38の作用点36b(図7(a))が相手映像21の撮像エリア26の下半部26Dにあるとき(ステップ102の“Yes”)、図8(c)に示すように、自分のクライアント端末1aのポインティングデバイス5aでのクリック,ドラッグ操作により、掴む形状に変形されて掴む動作を行なわせることができる(ステップ107)。
一方、自分の手形カーソル23全体が相手映像21の撮像エリア26内にないときには(ステップ100の“No”)、自分の手形カーソル23がテーブル映像25のエリア内にあるものとして、相手の手形カーソル24と重なっていないときには(ステップ108の“No”)、図9(a)に示すように、自分の手形カーソル23がテーブル上に置かれて開いた状態にある(ステップ109)。また、相手の手形カーソル24と重なっているときには(ステップ108の“Yes”)、自分のクライアント端末1aのポインティングデバイス5aと相手のクライアント端末1bのポインティングデバイス5bとのいずれかで、クリック操作がなされたとき(ステップ110の“No”)、図9(c)に示すように、これら手形カーソル23,24が握り合った状態となる(ステップ111)。さらに、相手の手形カーソル24と重なっており(ステップ108の“Yes”)、自分のクライアント端末1aのポインティングデバイス5aと相手のクライアント端末1bのポインティングデバイス5bとのいずれかでも、クリック操作がなされないときには(ステップ110の“Yes”)、これら手形カーソル23,24が重なるときに相手の手形カーソル24が自分の手形カーソル23よりも速い速度で移動していたとき(ステップ112の“No”)、図9(b)に示すように、相手の手形カーソル24の上に自分の手形カーソル23が重なった状態となり(ステップ113)、逆に相手の手形カーソル24方が速かった場合には(ステップ112の“Yes”)、相手の手形カーソル24が自分の手形カーソル23の上に重なった状態となる(ステップ114)。
図11は図8(a)に示す状態でポインティングデバイス5aの移動操作による自分の手形カーソル23の移動量の一具体例を示す図であって、前出図面に対応する部分には同一符号をつけて重複する説明を省略する。
図8(a),(1)に示す自分の手形カーソル23が相手映像21に触れていないときと、図8(a),(2)に示す自分の手形カーソル23が相手映像21に触れているときとでは、ポインティングデバイス5aによる移動操作に対し、それらの移動量を異ならせるようにする。
図11(a)は、図8(a),(1)に示すように、自分の手形カーソル23が相手映像21に触れていない状態を、図11(b)は、図8(a),(2)に示すように、自分の手形カーソル23が相手映像21に触れていない状態を示すものである。
図11(a)に示す状態では、ポインティングデバイス5a(例えば、マウス)を移動操作し、移動量dだけ移動させたとき、自分の手形カーソル23の移動距離をd1とすると、図11(b)に示す状態で、ポインティングデバイス5aを移動操作し、上記と同じ移動量dだけ移動させたときには、自分の手形カーソル23の移動距離はd2であり、d2<d1となるようにする。
このように、この具体例では、ポインティングデバイス5aの同じ移動量の移動操作に対し、自分の手形カーソル23が相手映像21に触れているときには、触れていないときよりも、移動量を少なくするものであり、従って、自分の手形カーソル23が相手映像21に触れているときには、触れていないときよりも、移動速度を小さくするものである。これは、自分の手形カーソル23が相手映像21に触れているときには、この手形カーソル23の相手映像23に触っている指先と相手映像23の触られている部分との間に摩擦力が生じ、これにより、相手映像21に触れているときの自分の手形カーソル23の移動速度が遅くなることを示すものである。
図12は自分映像22と相手映像21との状態の関係を変化できるようにした方法の一具体例を示す図であって、22’は自分映像であり、前出図面に対応する部分には同一符号をつけて重複する説明を省略する。
図12(a)は相手映像21と自分映像22とがテーブル映像25を対向した1つの状態を示すものであり、ポインティングデバイス5aとしてのマウスのマウスホイールを回転操作することにより、図12(b)に示すように、ヒューアングルを変更させることができる。
ここで、図12(b)に示す状態は、ディスプレイ4a(図1)の表示画面を見るユーザAの視点を下方に移動させた場合のコミュニケーション用画面20を示すものであって、相手映像21では、その視線が、図12(a)に示す状態に比べ、持ち上がり、正面を見ているような自然に見ている状態となり、また、自分映像22’は上の方に移動して、相手映像21との重なりの度合いが変化する。また、テーブル映像25の縦幅も変化する。
ここで、図12(b)での自分映像22’については、上記のように、自分側のクライアント端末1a(図1)において、そのCPU2aがビデオカメラ3aの撮像エリアの一部を抽出し、自分映像撮像エリア27(例えば、図5(e))として、ディスプレイ5aで表示されるコミュニケーション用画像20に嵌め込んで表示させるものであるが、ポインティングデバイス5aとしてのマウスのマウスホイールを回転操作することにより、CPU2aがこの抽出した自分映像撮像エリア27のコミュニケーション用画像20での嵌め込み位置を上昇させたものである。従って、図12(b)に示す状態でマウスのマウスホイールを逆方向に回転操作すると、図12(a)に示す状態に変化することになる。
ところで、例えば、使用するディスプレイやその設置環境に応じて、図12(a)に示すように、相手映像21の視線が大きく下向きになったり、図12(b)に示すように、下向きが小さくなったりする。ディスプレイが大きかったり、ユーザが低い位置から画面を見ている場合には、図12(a)のようになるし、その逆の場合には、図12(b)のようになる。
この具体例では、図12(a)に示すように、相手映像21の視線が大きく下向きの場合には、相手映像21を下方に移動させることにより、相手映像21の視線を自分映像22の方に合わせることができ、また、図12(b)に示すように、相手映像21の視線が小さく下向きの場合には、相手映像21を上方に移動させることにより、やはり相手映像21の視線を自分映像22の方に合わせることができるものである。
図13は図1におけるクライアント端末1a,1bのディスプレイ4a,4bに表示されるコミュニケーション用画面での自分映像22の表示状態の変更の一具体例を示す図であって、21b’は相手映像、22a’は自分映像であり、前出図面に対応する部分には同一符号をつけて重複する説明を省略する。
いま、図13(a),(イ)に示すように、自分(ユーザA)側のクライアント端末1a(図1)のディスプレイ4aでコミュニケーション用画像20が表示されている状態にあるものとする。かかる表示状態で、ポインティングデバイス5a(図1)としてのマウスで右ボタンを押下する操作がなされると、図13(a),(ロ)に示すように、自分映像22aが半回転し、相手映像21aとは反対側(即ち、このコミュニケーション用画面20を見ているユーザA側)を向いた状態の自分映像22a’となる。そして、この自分映像22a’は、その輪郭で表わされるのではなく、ビデオカメラ3a(図1)が撮像したそのものの映像として表示されることになる。従って、ユーザAは、この自分映像22a’から、自分が相手(ユーザB)によってどのように見られているかを確認することができる。なお、この図13(a),(ロ)に示す表示状態では、自分映像22a’が相手映像21aとは反対側を向いていることから、自分の手形カーソル23aは表示されない。
一方、相手(ユーザB)側のクライアント端末1b(図1)のディスプレイ4bに表示されるコミュニケーション用画面では、図13(a),(イ)に示す自分側のコミュニケーション用画面に対し、図13(b),(イ)に示すように、ユーザAである相手映像21bはユーザBである自分映像22bの方、従って、このコミュニケーション用画面を見ているユーザB側を向いているが、ユーザA側のクライアント端末1a側でコミュニケーション用画面が、上記のように、図13(a),(イ)に示す状態から図13(a),(ロ)に示す状態に変更すると、ユーザB側のクライアント端末1bのディスプレイ4bで表示されるコミュニケーション用画面では、図13(b),(ロ)に示す表示状態となり、ユーザAを表わす相手映像21bがこれまでとは反対向きの状態の相手映像21b’となる。但し、この相手映像21b’はその輪郭だけで表わされるものであり、これとともに、図13(a),(ロ)に示すコミュニケーション用画面20と同様のことから、相手の手形カーソル24bは表示されなくなる。
以上のことは、ユーザB側のクライアント端末1bで同様の操作がなされた場合も、同様である。
このようにして、コミュニケーション用画面を見るユーザは、通常は自分を輪郭の映像で認識するが、ポインティングデバイスの簡単な操作により、自分自身の映像をそのままの状態で見ることができ、例えば、コミュニケーションを始めるときや相手から自分の様子を指摘されたときなど、自分の様子を確認することができるし、自分が相手にどのように見られているかを確認することができる。