JP4501171B2

JP4501171B2 - Image processing device

Info

Publication number: JP4501171B2
Application number: JP07437899A
Authority: JP
Inventors: 哲二郎近藤; 淳一石橋
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1999-03-18
Filing date: 1999-03-18
Publication date: 2010-07-14
Anticipated expiration: 2019-03-18
Also published as: JP2000270306A

Description

【０００１】
【発明の属する技術分野】
本発明は、画像処理装置に関し、特に、テレビ会議システムにおいて、テレビ会議出席者の視線とビデオカメラの目線とを一致させることができるようにした画像処理装置に関する。
【０００２】
【従来の技術】
遠隔地に位置する複数の人の間で、画像、音声、データなどを通信し、意志の疎通を図るシステムとして、テレビ電話システムやテレビ会議システムがある。これらのシステムは、既に実用段階にあり、ビジネス用途を中心に普及しつつある。
【０００３】
これらのシステムにおいては、人の顔を撮像し、また、その音声を取り込むために、ビデオカメラとマイクロホンが用意されている。さらに、相手側から伝送されてきた画像と音声を出力するために、モニタとスピーカが用意されている。通常、ビデオカメラは、モニタの周辺（例えば、上部、下部、または側面）に設置される。
【０００４】
また、テレビ会議システムにおいて、多くの人数で会議を行うような場合、コスト的な問題やオフィス環境の狭さなどの理由に基づき、参加者全員の顔の画像をモニタ上にタイル状に並べて表示することが多い。そして、出席者の数が多くなった場合、画像のサイズを小さくして（１つのタイルの大きさを小さくして）、多くの参加者の画像を表示するようにしている。
【０００５】
【発明が解決しようとする課題】
しかしながら、ビデオカメラをモニタの周辺に配置すると、モニタの中心とビデオカメラの目線とは一致しない。その結果、通常、使用者は、ビデオカメラではなく、モニタを見ながら、そのモニタに写されている相手に話をするため、例えば、ビデオカメラがモニタの上部に設置されている場合、モニタに写し出される相手の顔は、若干うつ向き加減の画像となる。ビデオカメラがモニタの下部に設置されている場合、逆に、モニタに写し出された相手の顔は、上向き加減の画像となる。いずれの場合にも、不自然な画像となり、使用者は違和感を覚えることがあった。
【０００６】
また、参加者の画像をタイル状に表示すると、全ての人が自分に向かって話をしているかのように感じられ、やはり実際の会議におけるような臨場感を得ることができない課題があった。
【０００７】
さらに、参加者の数の増加にともなって、画像のサイズを小さくすると、参加者の顔が見にくくなり、自然なコミュニケーションを図ることができなくなる課題があった。
本発明はこのような状況に鑑みてなされたものであり、参加者の視線とカメラ目線とを一致させることができるようにするものである。
【０００８】
また、本発明は、参加者が多くても、自然な臨場感で会議に参加することができるようにするものである。
【００１２】
【課題を解決するための手段】
請求項１に記載の画像処理装置は、所定の数の端末によりユニットを構成し、複数のユニットを仮想空間内の所定の位置に配置する配置手段と、配置手段による配置に対応して、各端末の撮像手段により撮像された画像に基づいて生成された、端末の仮想空間内の配置位置から見た仮想空間内の各端末の画像が端末において表示されるように、ユニットの各端末の画像の表示を制御する制御手段と、端末の使用者の移動入力を検出し、検出された移動入力により示される移動先のユニットを構成する端末が予め定められた特定の数より少ない場合、端末が移動先のユニットを構成するように、仮想空間内で端末を移動先のユニットの配置位置に移動させる移動手段とを含むことを特徴とする。
【００１６】
請求項１に記載の画像処理装置においては、所定の数の端末によりユニットが構成され、複数のユニットが仮想空間内の所定の位置に配置される。
【００１７】
【発明の実施の形態】
図１は、本発明を適用した画像処理システムの構成例を示す図である。この構成例においては、複数の端末１−１乃至１−６が、ネットワーク３を介して、マスターサーバ２と接続されている。ネットワーク３は、インターネットなどのほか、イントラネットあるいはLAN（Local Area Network）などで構成することができる。
【００１８】
図２は、端末１（以下、端末１−１乃至１−６を個々に区別する必要がない場合、単に端末１と称する。その他の装置についても同様とする）の構成を表している。検出装置１１は、後述する図３に示す使用者５１の顔の向きまたは視線の方向を検出する。検出装置１１の検出結果は、A/D変換器１５によりA/D変換された後、演算装置１９に入力される。意志入力装置１２は、例えばキーボード、マウス、ジョイスティックなどにより構成され、必要に応じて使用者により操作される。意志入力装置１２より入力された信号は、A/D変換器１６によりA/D変換された後、演算装置１９に入力される。
【００１９】
音響入力装置１３は、例えばマイクロホンにより構成され、使用者の音声を取り込む。音響入力装置１３より入力された音響信号は、A/D変換器１７によりA/D変換された後、演算装置１９に入力される。画像入力装置１４は、例えばビデオカメラにより構成され、画像入力装置１４より入力された画像信号は、A/D変換器１８によりA/D変換された後、演算装置１９に入力される。
【００２０】
音声再生装置２２は、例えばスピーカにより構成され、演算装置１９より入力されたデジタル音声信号がD/A変換器２０によりD/A変換された後、入力される。音声再生装置２２は、入力された音声信号を出力する。映像表示装置２３は、例えばLCD（Liquid Crystal Display）よりなるスクリーンと、そのスクリーンに画像を投映するプロジェクタにより構成され、演算装置１９より出力されたデジタル画像データがD/A変換器２１によりD/A変換された後、入力される。映像表示装置２３は、入力された映像信号を表示する。また、図３を参照して後述するように、画像入力装置１４は、映像表示装置２３を介して、使用者を撮像する。そこで、演算装置１９は、映像表示装置２３を制御し、その画像を表示するタイミングと、画像入力装置１４により画像を撮像するタイミングとを制御する。
【００２１】
演算装置１９は、例えばパーソナルコンピュータなどにより構成することができる。送受信装置２４は、例えばモデムなどにより構成され、ネットワーク３を介して、マスターサーバ２と通信する。
【００２２】
図３は、端末１を構成する各装置の配置を表している。端末１の使用者５１は、映像表示装置２３を構成するプロジェクタ４４により、スクリーン４５に表示された他の端末の使用者の画像を観察する。スクリーン４５の後方には、音響入力装置１３を構成するマイクロホン４１、画像入力装置１４を構成するビデオカメラ４２、および音声再生装置２２を構成するスピーカ４３が配置されている。マイクロホン４１は、使用者５１の発生する音声信号を取り込み、スピーカ４３は、使用者５１に伝達する他の使用者からの音声信号を出力する。
【００２３】
ビデオカメラ４２は、スクリーン４５を介して、使用者５１を撮像する。スクリーン４５は、LCDにより構成され、演算装置１９により、時分割動作するように制御される。すなわち、スクリーン４５は、プロジェクタ４４の画像を表示するとき、光を透過しないように制御され、ビデオカメラ４２から使用者５１を撮像するとき、光を透過するように制御される。演算装置１９は、プロジェクタ４４による画像をスクリーン４５に表示させるとき、ビデオカメラ４２による撮像を中止させ、プロジェクタ４４より照射された画像をスクリーン４５に表示させ、使用者５１に観察させる。また、演算装置１９は、ビデオカメラ４２により使用者５１の画像を取り込むタイミングにおいて、プロジェクタ４４の動作を停止させ、スクリーン４５を光を透過する状態に制御する。従って、ビデオカメラ４２は、スクリーン４５を介して、使用者５１の画像を撮像することができる。
【００２４】
図４は、マスターサーバ２の構成例を表している。入力装置３１は、キーボード、マウスなどにより構成され、管理者が各種の指令を入力するとき操作する。演算装置３２は、入力装置３１からの指令に対応して、各種の処理を実行する。記憶装置３４は、ハードディスク、磁気ディスク、光磁気ディスクなどにより構成され、演算装置３２が実行する各種のデータやプログラムなどを記憶する。送受信装置３３は、例えばモデムなどにより構成され、演算装置３２により制御され、ネットワーク３を介して、端末１と通信する。
【００２５】
端末１は、この例の場合、図５に示すように、合計４台のビデオカメラ４２Ｆ，４２Ｒ，４２Ｌ，４２Ｂを有している。ビデオカメラ４２Ｆ，４２Ｒ，４２Ｌは、使用者５１から見て、スクリーン４５の裏側に配置されている。ビデオカメラ４２Ｆは、使用者５１の顔を正面から撮像する位置に配置され、ビデオカメラ４２Ｒは、使用者５１の顔を右側から撮像する位置に配置され、ビデオカメラ４２Ｌは、使用者５１の顔を左側から撮像する位置に配置されている。ビデオカメラ４２Ｂは、使用者５１の後方に配置され、使用者５１を後方から撮像する。
【００２６】
いずれの端末１においても、各ビデオカメラは、同様に配置されている。
【００２７】
マスターサーバ２の演算装置３２は、自己が管理する仮想空間内において、４つの端末１を図６に示すように正方形状に配列することで、１つのユニットを構成させる。図６の例においては、端末１−１のビデオカメラが下中央に配置され、端末１−２のビデオカメラが、その右上に配置され、端末１−３のビデオカメラが、その上側に配置され、端末１−４のビデオカメラが、左上側に配置される。勿論、実際には、各端末１−１乃至１−４は、仮想空間において、それぞれ独立した位置に配置されているものであり、図６に示す配置は、あくまでマスターサーバ２が管理する仮想空間上での配置である。
【００２８】
換言すれば、演算装置３２は、端末１−１乃至１−４をこのように配置することで、図７に示すように、仮想空間上に、テーブルＴと、その周囲に座席Ｓ１乃至Ｓ４が配置された状態を１つのユニットとして管理する。すなわち、演算装置３２は、端末１−１乃至１−４の使用者が、それぞれ仮想空間上の座席Ｓ１乃至Ｓ４に座り、会議をしている状態を想定して、各スクリーン４５−１乃至４５−４の画像の表示を制御する。
【００２９】
さらに、演算装置３２は、図８に示すように、仮想空間６０に、３つのテーブルＴ１乃至Ｔ３を配置する。この例では、テーブルＴ１が仮想空間６０の下方中央に配置され、テーブルＴ２は、その右側に配置され、テーブルＴ３は、その左側に配置されている。なお、図８において、各ビデオカメラとスクリーンの数字の最後に、テーブルＴ１のものには、−１を付加し、テーブルＴ２のものには、−２を付加し、テーブルＴ３のものには、−３を付加して表している。
【００３０】
演算装置３２が管理している図８の仮想空間６０を簡略化して図示すると、図９に示すようになる。テーブルＴ１には、Ａ乃至Ｄの４つの座席が用意され、テーブルＴ２には、Ｅ乃至Ｈの４つの座席が用意され、テーブルＴ３には、Ｉ乃至Ｌの４つの座席が用意される。各端末１の使用者は、マスターサーバ２にアクセスしたとき、仮想空間６０の図９に示すようなテーブルの配置図の提供を受け、所望のテーブルの座席を指定することで、この仮想空間６０における会議に出席する。
【００３１】
例えば、端末１の使用者がテーブルＴ１の座席Ａを自らの座席として取得した場合、マスターサーバ２の演算装置３２は、その端末１のスクリーン４５に対して、図１０に示すような画像を表示させる。すなわち、スクリーン４５には、自分自身が座っている座席ＡのテーブルＴ１の他の座席Ｂ乃至Ｄに座っている他の端末１の使用者ｂ乃至ｄの画像がテーブルＴ１の周囲に表示される。同様に、テーブルＴ２の周囲には、座席Ｅ乃至Ｈに座っている各端末１の使用者の画像ｅ乃至ｈが表示され、テーブルＴ３の周囲には、座席Ｉ乃至Ｌに座っている使用者の画像ｉ乃至ｌが表示される。
【００３２】
次に、図１１と図１２のフローチャートを参照して、このテレビ会議システムの動作について説明する。端末１の演算装置１９は、使用者が意志入力装置１２を操作することでテレビ会議システムへの出席を指令すると、ステップＳ１において、送受信装置２４を制御し、ネットワーク３を介して、マスターサーバ２に対してアクセスさせ、テレビ会議システムの現在の接続状況を紹介する。演算装置１９は、ステップＳ２において、マスターサーバ２から接続状況照会に対する応答があったか否かを判定し、応答がない場合には、ステップＳ３に進み、接続要求の回数が予め設定されている所定の閾値Ｎより小さいか否かを判定する。接続要求回数が閾値Ｎより小さい場合には、ステップＳ１に戻り、再び接続状況照会処理を実行する。
【００３３】
以上のようにして、マスターサーバ２に対して、Ｎ回接続状況照会を行っても応答がない場合には、端末１の演算装置１９は、処理を終了させる。
【００３４】
マスターサーバ２の演算装置３２は、送受信装置３３を介して、端末１から接続状況照会の要求を受けたとき、記憶装置３４に記憶されている仮想空間６０の現在の接続状況を調べ、空いている座席があるか否かを判定する。空いている座席がない場合には、演算装置３２は、端末１に対して応答しない。従って、このような場合には、端末１は、テレビ会議に出席することができないことになる。
【００３５】
マスターサーバ２の演算装置３２は、仮想空間６０の座席に空きがある場合には、ステップＳ４において、現在の接続状況を示す画像を生成し、送受信装置３３から、端末１にネットワーク３を介して送信する。端末１の演算装置１９は、送受信装置２４を介してマスターサーバ２からの応答を受信したとき、ステップＳ４において、受信したデータに対応する画像を、D/A変換器２１を介して、映像処理装置２３を構成するプロジェクタ４４に供給し、スクリーン４５に表示させる。これにより、スクリーン４５には、例えば図１３に示すような、各テーブルと座席の位置が表示される。各座席は、空いている席と他の使用者が既に座っている席とが識別できるように表示される。図１３の例においては、ハッチングを施して示す席が、他の使用者が座っている席であり、ハッチングを施していない席が空いている席である。従って、図１３の例では、席Ａ，Ｄ，Ｇが空いており、その他の席は、他の使用者が既に使用している。
【００３６】
使用者は、図１３に示す表示を見て、ステップＳ５において、意志入力装置１２を操作して、空いている座席の中から取得を希望する座席を入力するとともに、ログインを要求する。例えば使用者が座席Ａを指定する場合、キーボードで文字Ａのキーを操作する。演算装置１９は、意志入力装置１２からの入力に対応するデータを、送受信装置２４を介して、マスターサーバ２に送信する。
【００３７】
ステップＳ６において、演算装置１９は、マスターサーバ２からログインＯＫの信号を受信したか否かを判定し、ログインＯＫの信号を受信できなかった場合には、ステップＳ７に進み、接続要求回数が予め設定してある所定の閾値Ｎより小さいか否かを判定する。接続要求回数が閾値Ｎより小さい場合には、ステップＳ５に戻り、それ以降の処理が繰り返し実行される。接続要求回数が閾値Ｎと等しいか、それより大きくなった場合には、演算装置１９は処理を終了させる。
【００３８】
マスターサーバ２の演算装置３２は、ログインがＯＫであると判定した場合、ステップＳ８に進み、ステップＳ５で端末１から指定された座席に、その端末１を割り当て、仮想空間６０内における接続を変更する。これにより、例えば図１３に示す座席Ａに新たな端末１が割り当てられた状態が、現在の仮想空間６０の接続状況ということになる。マスターサーバ２の演算装置３２は、この接続状況に対応する画像を記憶装置３４から読み出し、送受信装置３３を介して、端末１に送信する。
【００３９】
端末１の演算装置１９は、送受信装置２４を介して、このデータを受信したとき、対応する画像をスクリーン４５に表示させる。これにより、スクリーン４５には、いまの場合、例えば図１４に示すような画像が表示される。すなわち、テーブルＴ３には、４つの各座席Ｉ乃至Ｌに座っている各端末の使用者の画像ｉ乃至ｌが表示される。テーブルＴ２の周囲には、座席Ｇを除く座席Ｅ，ＦおよびＨに座っている使用者の画像ｅ，ｆ，ｈが表示される。テーブルＴ１には、座席ＢとＣにそれぞれ座っている使用者の画像ｂ，ｃが表示される。座席ＤとＨは空席であるため、画像が表示されていない。自分が位置するテーブルＴ１の座席の画像ｂ，ｃは、他のテーブルＴ２，Ｔ３の画像ｅ，ｆ，ｈ乃至ｌより大きく表示される。
【００４０】
検出装置１１は、使用者がテレビ会議に出席すると、使用者の顔の向きもしくは視線の方向を検出する。検出結果は、演算装置１９から、送受信装置２０を介して、マスターサーバ２に送信される。
【００４１】
マスターサーバ２の演算装置３２は、端末１からの方向の検出データを受信し、ステップＳ９において、端末１の使用者が予め設定してある一定時間以上同一の方向を注視しているか否かを判定する。同一の方向を一定時間以上注視していなければ、ステップＳ９の処理が繰り返し実行される。
【００４２】
使用者がいずれの方向を向いているかは、図１４に示すように、使用者が向いている方向として検出された角度θ１を、図１５に示すように、仮想空間６０上の角度θ２に換算することで判定される。
【００４３】
演算装置３２は、端末１の使用者５１が一定時間以上所定の方向を注視していると判定した場合、ステップＳ１０に進み、その注視者（所定の方向を注視している使用者）が位置するテーブルからの音量を制限する。例えば、テーブルＴ１の座席Ａに座っている使用者が、テーブルＴ２の座席Ｇを一定時間以上注視している場合、その使用者は、いまテーブルＴ１の会話には興味をもっていないものと判断し、テーブルＴ１の座席Ｂまたは座席Ｃに座っている使用者からの音声のボリュームを減少させる。あるいはまた、図１４に示す座席Ｂに座っている使用者の画像ｂと座席Ｃに座っている使用者の画像ｃを小さくさせる。同様に、座席Ｂと座席Ｃに座っている使用者の端末１に提供する座席Ａの使用者の音声のボリュームを減少させるとともに、その画像ａを小さくさせる。これにより、例えばテーブルＴ１の座席Ｂ，Ｃに座っている使用者は、座席Ａに座っている使用者がいま会話に興味を示していないことを知ることができる。
【００４４】
次に、ステップＳ１１に進み、演算装置３２は、注視されているテーブルの使用者に対する表示画像上の注視者の画像を大きく表示させる。いまの場合、座席Ａの使用者がテーブルＴ２の座席Ｇを注視しているので、テーブルＴ２の座席Ｅ，Ｆ，Ｈを使用している使用者から見た使用者Ａの画像ａを他の画像に較べて大きく表示させる。
【００４５】
すなわち、テーブルＴ２の座席Ｆに座っている使用者の端末のスクリーン４５には、図１６に示すような画像が表示されている。自分自身が座っているテーブルＴ２に座っている使用者の画像ｅ，ｈは、遠いテーブルＴ１，Ｔ３の座席に座っている使用者の画像ａ乃至ｄ，ｉ乃至ｌに較べて大きく表示されている。座席Ａに座っている使用者の画像ａも、遠いテーブルＴ１の画像であるから、座席Ａの使用者がテーブルＴ２を注視しなければ、他の画像ｂ乃至ｄと同じ大きさで表示されるのであるが、座席Ａの使用者が、一定時間以上テーブルＴ２を注視すると、テーブルＴ２の使用者がこれに気付くことができるように、座席Ａの使用者の画像ａが、図１６に２点鎖線で示すように大きく表示される。このときまた、座席Ａからの音声もテーブルＴ２の使用者に対して大きく出力させるようにしてもよい。これにより、テーブルＴ２の使用者は、座席Ａの使用者がテーブルＴ２に移動していくるかもしれないということを予め推察することができる。
【００４６】
なお、画像ａを大きく表示する以外に、他に較べて明るく表示させたり、点滅させたりしてもよい。
【００４７】
ステップＳ１２において、演算装置３２は、さらに一定時間以上使用者が同一方向を注視しているか否かを判定し、使用者が途中で注視を中止した場合には、ステップＳ９に戻り、それ以降の処理を繰り返し実行する。使用者がさらに一定時間注視したままである場合には、ステップＳ１３に進み、演算装置３２は、使用者が注視している方向に空いている座席があるか否かを判定する。空いている座席がない場合には、ステップＳ９に戻り、それ以降の処理が繰り返し実行される。空いている座席がある場合には、ステップＳ１４に進み、端末１の演算装置１９は、マスターサーバ２に対して、意志入力装置１２から所定の座席への移動が要求された場合と同様の処理を実行する。すなわち、演算装置１９は、マスターサーバ２に対して、座席Ｇへの移動を要求する。
【００４８】
マスターサーバ２の演算装置３２は、端末１の演算装置１９から移転の要求を受けたとき、ステップＳ１５において、これをＯＫするか否かを判定する。他の使用者が既にその座席の取得を申し込んできたような場合には、この要求は拒否され、ステップＳ９に戻り、それ以降の処理が実行される。その座席が空いている場合には、マスターサーバ２の演算装置３２は、この要求に対応して、その座席を端末１に割り当てる。このため、ステップＳ８に戻り、演算装置３２は、座席Ｇを端末１のユーザに割り当てる処理を実行する。
【００４９】
その結果、座席Ｇに移動した端末１のスクリーン４５には、それまでの図１４に示すような画像から、図１７に示すような画像に切り替えられる。
【００５０】
なお、一定時間以上の注視は、各端末側で検出するようにしてもよい。また、移動の意思表示は、その方向を使用者が指で示すジェスチャで行ったり、キーボード、マウス、ジョイスティックなどの機械的な操作で行うようにしてもよい。
【００５１】
以上においては、スクリーン４５を１つとし、そこに仮想空間６０上の全てのテレビ会議出席者の画像を表示するようにしたが、例えば図１８に示すように、自分自身が座っている座席のテーブルＴ１の座席に座っている使用者の画像を表示するスクリーン４５ＢＬ，４５ＢＣ，ＢＲを、その他のテーブルＴ２乃至Ｔ４の座席に座っている使用者の画像を表示するスクリーン４５Ａと独立した構成にすることもできる。このようにすることで、より臨場感に富んだシステムを実現することができる。
【００５２】
また、図１８に示す例においては、自分が座っているテーブルＴ１の画像は、自分を中心として、その正面のスクリーン４５ＢＣに、自分と反対側の座席に座っている使用者の画像ｃを表示し、その右側のスクリーン４５ＢＲに、自分の右側の座席に座っている使用者の画像ｂを表示し、その左側のスクリーン４５ＢＬに、左側の座席に座っている使用の画像ｄを表示しているが、スクリーン４５Ａにおいては、例えばテーブルＴ２に示すように、２つの座席ＧとＨに座っている使用者の画像ｇとｈを正面の画像として表示し、手前の２つの座席ＥとＦに座っている使用者の画像ｅとｆを、それぞれ右側から見た画像と左側から見た画像としている。
【００５３】
このように、画像を表示する場合、マスターサーバ２の演算装置３２は、仮想空間６０を例えば図１９に示すように管理する。テーブルＴ１のスクリーン４５ＢＣに表示する画像ｃは、ビデオカメラ４２Ｆ−３−１で撮像した画像とし、スクリーン４５ＢＲに表示する画像ｂは、ビデオカメラ４２Ｌ−２−１で撮像した画像とし、スクリーン４５ＢＬに表示する画像ｄは、ビデオカメラ４２Ｒ−４−１で撮像した画像とする。これに対して、例えばテーブルＴ２の画像ｇは、ビデオカメラ４２Ｆ−３−２で撮像した画像とし、画像ｈは、ビデオカメラ４２Ｆ−４−２で撮像した画像とし、画像ｅは、ビデオカメラ４２Ｒ−１−２で撮像した画像とし、画像ｆは、ビデオカメラ４２Ｌ−２−２で撮像した画像とすることができる。
【００５４】
このようにすれば、後ろ向きの画像がなくなり、出席者をより容易に確認することが可能となる。従って、この場合には、使用者を後方から撮像するビデオカメラ４２Ｂが不要となる。
【００５５】
なお、例えば図１０に示すように、自分のテーブルの画像も、他のテーブルの画像と同様に、１つのスクリーン４５に表示させる例においても、自分のテーブルと他のテーブルとで、座席の配置が若干異なるようにしてもよいのであれば、各端末１の後方のビデオカメラ４２Ｂを省略することができる。
【００５６】
図２０は、各端末１におけるプロジェクタ、ビデオカメラ、およびスクリーンの他の配置例を示している。この例においては、使用者５１の前方に、ビデオカメラ４２Ｆが、後方にビデオカメラ４２Ｂが、正面左側にビデオカメラ４２Ｌが、正面右側にビデオカメラ４２Ｒが、それぞれ配置されている。このことは、図５における場合と同様であるが、この例では、スクリーン４５がサラウンドスクリーンとされ、使用者５１の周囲を囲むように配置されている。そして、このサラウンドスクリーンに対して画像を表示できるように、使用者５１の正面にプロジェクタ４４Ａが配置され、左後方にプロジェクタ４４Ｂが配置され、右後方にプロジェクタ４４Ｃが配置されている。これにより、サラウンドスクリーン上の少なくとも使用者５１が視認可能な範囲に画像が表示される。このようにすることで、より臨場感に富んだシステムを実現することができる。
【００５７】
以上においては、本発明をテレビ会議システムに応用した場合を例として説明したが、テレビ会議以外の例えば仮想空間のパーティーなどにも適用することが可能である。
【００５８】
このように、少なくとも自分が位置しているテーブルの使用者の画像を他のテーブルに位置する使用者の画像に較べて大きく表示するようにしたので、テーブルの数が増えたとしても、少なくとも自分自身が位置するテーブルの使用者の画像は、確実に確認することが可能である。また、仮想空間内において、他のテーブルに移動することができるので、他のテーブルの画像が小さく表示されていたとしても、そのテーブルに移動することで、そのテーブルの出席者の顔を大きく表示させ、確認することが可能となる。従って、実際の会議あるいはパーティーなどにおける場合と同様に、大人数でのコミュニケーションを図ることが、容易に実現可能となる。
【００５９】
半透明のスクリーンを実現するために、以上においては、スクリーン４５を時分割動作させるようにしたが、例えば図２１に示すように、スクリーン４５を、一方の面を乱反射面８１とし、他方の面を半透明面８２とし、実質的にハーフミラーのような半透明のスクリーンとすることができる。この場合、図２１に示すように、乱反射面８１がプロジェクタ４４側に配置され、半透明面８２がビデオカメラ４２側に配置される。
【００６０】
乱反射面８１には、図２２に示すように、それぞれ正方形状の乱反射部９１と透明部９２とが市松模様状に配置されている。乱反射部９１は、入射された光を乱反射するように、その表面が加工されている。また、透明部９２は、入射された光をそのまま透過するように構成されている。
【００６１】
乱反射部９１の反対側（ビデオカメラ４２側）は、図２３に示すように、黒色部９３とされている。黒色部９３は、黒色に色付けされている。この乱反射部９１と透明部９２、従って、黒色部９３と透明部９２は、十分小さい領域とされている。
【００６２】
プロジェクタ４４から出射された光が、乱反射面８１に照射されると、その乱反射部９１で光が乱反射され、使用者５１は、この乱反射された光により構成される画像を視認することができる。乱反射面８１の透明部９２に入射された光は、そのままビデオカメラ４２側に透過される。
【００６３】
一方、ビデオカメラ４２は、透明部９２を介して、使用者５１を撮像する。ビデオカメラ４２の焦点は、スクリーン４５ではなく、使用者５１に合わされるため、ビデオカメラ４２は、使用者５１の画像を若干暗い画像とはなるが、撮像することができる。透明部９２を透過してくるプロジェクタ４４からの光は、ビデオカメラ４２に指向性を持たせたり、あるいは、レンズフードを設けるなどして、実質的に制限することが可能である。
【００６４】
図２２と図２３に示した例においては、乱反射部９１、黒色部９３、および透明部９２は、それぞれ四角形状とされ、市松状に配置されたが、例えば図２４に示すように、乱反射部９１（黒色部９３）を六角形状に構成し、透明部９２を乱反射部９１（黒色部９３）の周囲に形成するようにしても良い。
【００６５】
また、図２５に示すように、乱反射部９１（黒色部９３）を四角形状とし、その周囲に透明部９２を配置するようにしても良い。
なお、本明細書において、システムとは、複数の装置により構成される装置全体を表すものとする。
なお、上記したような処理を行うコンピュータプログラムをユーザに提供する提供媒体としては、磁気ディスク、CD-ROM、固体メモリなどの記録媒体の他、ネットワーク、衛星などの通信媒体を利用することができる。
【００６７】
【発明の効果】
請求項１に記載の画像処理装置によれば、所定の数の端末により構成されたユニットを仮想空間内の所定の位置に配置するようにし、そのユニットの各端末の画像の表示を制御するようにしたので、大人数で相互にコミュニケーションを図ることが、現実の空間における場合と同様にできるようになる。
【図面の簡単な説明】
【図１】本発明を適用したシステムの構成例を示す図である。
【図２】図１の端末の構成例を示すブロック図である。
【図３】図２の端末を構成する各装置の配置を説明する図である。
【図４】図１のマスターサーバの構成例を示すブロック図である。
【図５】図２の端末を構成する各装置の平面的配置を説明する図である。
【図６】ユニットの構成を説明する図である。
【図７】ユニットの仮想空間内における構成を説明する図である。
【図８】仮想空間内におけるユニットの配置を説明する図である。
【図９】仮想空間内におけるユニットの配置を説明する図である。
【図１０】スクリーンの表示例を示す図である。
【図１１】図１のシステムの動作を説明するフローチャートである。
【図１２】図１のシステムの動作を説明するフローチャートである。
【図１３】スクリーンの表示例を示す図である。
【図１４】スクリーンの注視を説明する図である。
【図１５】仮想空間における注視を説明する図である。
【図１６】注視された端末側のスクリーンの表示例を示す図である。
【図１７】仮想空間内を移動した後のスクリーンの表示例を示す図である。
【図１８】スクリーンの他の表示例を示す図である。
【図１９】図１８の表示例を実現する仮想空間内におけるユニットの配置を説明する図である。
【図２０】端末を構成する各装置の平面的な配置の他の例を示す図である。
【図２１】スクリーンの他の例を示す図である。
【図２２】図２１のスクリーンの乱反射面の構成を示す図である。
【図２３】図２１のスクリーンの半透明面の構成を示す図である。
【図２４】図２１のスクリーンの他の構成例を示す図である。
【図２５】図２１のスクリーンの他の構成例を示す図である。
【符号の説明】
１−１乃至１−６端末，２マスターサーバ，３ネットワーク，１１検出装置，１４画像入力装置，２２音声再生装置，２３映像表示装置，１９演算装置，３２演算装置，３４記憶装置，４１マイクロホン，４２ビデオカメラ，４３スピーカ，４４プロジェクタ，４５スクリーン[0001]
BACKGROUND OF THE INVENTION
The present invention Image processing device In particular, in the video conference system, the line of sight of the video conference attendee and the line of sight of the video camera can be matched. Image processing device About.
[0002]
[Prior art]
There are a video phone system and a video conference system as a system for communicating images, voices, data, and the like among a plurality of people located at remote locations to facilitate communication. These systems are already in the practical stage and are spreading mainly for business use.
[0003]
In these systems, a video camera and a microphone are prepared for capturing an image of a person's face and capturing the sound. Further, a monitor and a speaker are prepared for outputting the image and sound transmitted from the other party. Usually, the video camera is installed around the monitor (for example, at the top, the bottom, or the side).
[0004]
Also, in a video conference system, when a large number of people hold a meeting, images of all participants' faces are displayed in tiles on the monitor based on reasons such as cost problems and the narrowness of the office environment. Often to do. When the number of attendees increases, the image size is reduced (the size of one tile is reduced) to display images of many participants.
[0005]
[Problems to be solved by the invention]
However, when the video camera is arranged around the monitor, the center of the monitor does not coincide with the line of sight of the video camera. As a result, the user usually talks to the person shown on the monitor while looking at the monitor instead of the video camera. For example, if the video camera is installed at the top of the monitor, The face of the opponent to be projected is a slightly depressing image. When the video camera is installed at the bottom of the monitor, on the other hand, the face of the other party projected on the monitor is an upward and downward image. In either case, the image becomes unnatural and the user may feel uncomfortable.
[0006]
In addition, when participants' images are displayed in tiles, it feels as if everyone is talking to them, and there is still a problem that it is impossible to get a sense of realism in an actual meeting. .
[0007]
Furthermore, as the number of participants increases, there is a problem that if the image size is reduced, the faces of the participants become difficult to see and natural communication cannot be achieved.
The present invention has been made in view of such a situation, and makes it possible to match a participant's line of sight with a camera line of sight.
[0008]
Further, the present invention makes it possible to participate in a conference with a natural sense of presence even if there are many participants.
[0012]
[Means for Solving the Problems]
The image processing apparatus according to claim 1 comprises a unit by a predetermined number of terminals, plural Corresponding to the arrangement by the arrangement means for arranging the unit at a predetermined position in the virtual space, In order that the image of each terminal in the virtual space generated from the image captured by the imaging means of each terminal and viewed from the arrangement position in the virtual space of the terminal is displayed on the terminal Control means for controlling display of images of each terminal of unit If the number of terminals constituting the destination unit indicated by the detected movement input is less than a predetermined number, the terminal constitutes the destination unit. And moving means for moving the terminal to the arrangement position of the destination unit in the virtual space, It is characterized by including.
[0016]
Claim 1 Image processing device The unit is composed of a predetermined number of terminals, plural The unit is arranged at a predetermined position in the virtual space.
[0017]
DETAILED DESCRIPTION OF THE INVENTION
FIG. 1 is a diagram showing a configuration example of an image processing system to which the present invention is applied. In this configuration example, a plurality of terminals 1-1 to 1-6 are connected to the master server 2 via the network 3. The network 3 can be configured by an intranet or a LAN (Local Area Network) in addition to the Internet.
[0018]
FIG. 2 shows a configuration of the terminal 1 (hereinafter, when the terminals 1-1 to 1-6 do not need to be individually distinguished, they are simply referred to as the terminal 1. The same applies to other devices). The detection device 11 detects the orientation of the face or line of sight of the user 51 shown in FIG. The detection result of the detection device 11 is A / D converted by the A / D converter 15 and then input to the arithmetic device 19. The will input device 12 is composed of, for example, a keyboard, a mouse, a joystick, and the like, and is operated by a user as necessary. The signal input from the will input device 12 is A / D converted by the A / D converter 16 and then input to the arithmetic device 19.
[0019]
The acoustic input device 13 is configured by a microphone, for example, and takes in a user's voice. The sound signal input from the sound input device 13 is A / D converted by the A / D converter 17 and then input to the arithmetic device 19. The image input device 14 is configured by, for example, a video camera, and the image signal input from the image input device 14 is A / D converted by the A / D converter 18 and then input to the arithmetic device 19.
[0020]
The audio reproduction device 22 is constituted by a speaker, for example, and is input after the digital audio signal input from the arithmetic device 19 is D / A converted by the D / A converter 20. The audio playback device 22 outputs the input audio signal. The video display device 23 includes a screen made of, for example, an LCD (Liquid Crystal Display) and a projector that projects an image on the screen. The digital image data output from the arithmetic device 19 is converted into D / A by the D / A converter 21. It is input after A conversion. The video display device 23 displays the input video signal. As will be described later with reference to FIG. 3, the image input device 14 images the user via the video display device 23. Therefore, the arithmetic device 19 controls the video display device 23 to control the timing for displaying the image and the timing for capturing an image with the image input device 14.
[0021]
The arithmetic unit 19 can be configured by, for example, a personal computer. The transmission / reception device 24 is configured by a modem or the like, for example, and communicates with the master server 2 via the network 3.
[0022]
FIG. 3 shows the arrangement of each device constituting the terminal 1. The user 51 of the terminal 1 observes the image of the user of the other terminal displayed on the screen 45 by the projector 44 constituting the video display device 23. Behind the screen 45, a microphone 41 constituting the acoustic input device 13, a video camera 42 constituting the image input device 14, and a speaker 43 constituting the audio reproduction device 22 are arranged. The microphone 41 captures an audio signal generated by the user 51, and the speaker 43 outputs an audio signal from another user that is transmitted to the user 51.
[0023]
The video camera 42 images the user 51 via the screen 45. The screen 45 is composed of an LCD, and is controlled by the arithmetic unit 19 so as to perform time-division operation. That is, the screen 45 is controlled so as not to transmit light when displaying the image of the projector 44, and is controlled so as to transmit light when the user 51 is imaged from the video camera 42. When displaying the image by the projector 44 on the screen 45, the arithmetic unit 19 stops the imaging by the video camera 42, displays the image irradiated from the projector 44 on the screen 45, and causes the user 51 to observe it. In addition, the arithmetic unit 19 stops the operation of the projector 44 and controls the screen 45 to transmit light at the timing when the video camera 42 captures the image of the user 51. Therefore, the video camera 42 can capture an image of the user 51 via the screen 45.
[0024]
FIG. 4 shows a configuration example of the master server 2. The input device 31 includes a keyboard, a mouse, and the like, and is operated when an administrator inputs various commands. The arithmetic device 32 executes various processes in response to commands from the input device 31. The storage device 34 includes a hard disk, a magnetic disk, a magneto-optical disk, and the like, and stores various data and programs executed by the arithmetic device 32. The transmission / reception device 33 is configured by a modem or the like, for example, is controlled by the arithmetic device 32, and communicates with the terminal 1 via the network 3.
[0025]
In this example, the terminal 1 has a total of four video cameras 42F, 42R, 42L, and 42B as shown in FIG. The video cameras 42F, 42R, and 42L are disposed on the back side of the screen 45 as viewed from the user 51. The video camera 42F is disposed at a position for capturing the face of the user 51 from the front, the video camera 42R is disposed at a position for capturing the face of the user 51 from the right side, and the video camera 42L is disposed at the position of the user 51. Is arranged at a position for imaging from the left side. The video camera 42B is disposed behind the user 51 and images the user 51 from behind.
[0026]
In any terminal 1, the video cameras are arranged similarly.
[0027]
The computing device 32 of the master server 2 configures one unit by arranging four terminals 1 in a square shape as shown in FIG. 6 in a virtual space managed by the master server 2. In the example of FIG. 6, the video camera of the terminal 1-1 is arranged at the lower center, the video camera of the terminal 1-2 is arranged at the upper right, and the video camera of the terminal 1-3 is arranged at the upper side. The video camera of the terminal 1-4 is arranged on the upper left side. Of course, each of the terminals 1-1 to 1-4 is actually arranged at an independent position in the virtual space, and the arrangement shown in FIG. 6 is only a virtual space managed by the master server 2. Arrangement above.
[0028]
In other words, the arithmetic unit 32 arranges the terminals 1-1 to 1-4 in this way, so that the table T and the seats S1 to S4 around the table T are provided in the virtual space as shown in FIG. The arranged state is managed as one unit. That is, the computing device 32 assumes that the users of the terminals 1-1 to 1-4 are sitting in the seats S1 to S4 in the virtual space and are having a meeting, respectively. -4 controls the display of the image.
[0029]
Furthermore, the arithmetic unit 32 arranges three tables T1 to T3 in the virtual space 60 as shown in FIG. In this example, the table T1 is arranged at the lower center of the virtual space 60, the table T2 is arranged on the right side thereof, and the table T3 is arranged on the left side thereof. In FIG. 8, at the end of the numbers of each video camera and the screen, -1 is added to the table T1, the -2 is added to the table T2, and the table T3 has -3 is added.
[0030]
A simplified illustration of the virtual space 60 of FIG. 8 managed by the arithmetic device 32 is as shown in FIG. Four seats A to D are prepared on the table T1, four seats E to H are prepared on the table T2, and four seats I to L are prepared on the table T3. When the user of each terminal 1 accesses the master server 2, he / she is provided with a table layout diagram as shown in FIG. 9 of the virtual space 60, and designates a desired seat of the virtual space 60. Attend a meeting at
[0031]
For example, when the user of the terminal 1 acquires the seat A of the table T1 as his / her seat, the arithmetic device 32 of the master server 2 displays an image as shown in FIG. 10 on the screen 45 of the terminal 1 Let That is, on the screen 45, images of the users b to d of the other terminals 1 sitting on the other seats B to D of the table T1 of the seat A on which they are sitting are displayed around the table T1. . Similarly, the images e to h of the users of the terminals 1 sitting on the seats E to H are displayed around the table T2, and the users sitting on the seats I to L around the table T3. Images i to l are displayed.
[0032]
Next, the operation of this video conference system will be described with reference to the flowcharts of FIG. 11 and FIG. When the user commands attendance to the video conference system by operating the will input device 12, the computing device 19 of the terminal 1 controls the transmission / reception device 24 in step S 1, and the master server 2 via the network 3. And introduce the current connection status of the video conference system. In step S2, the arithmetic unit 19 determines whether or not there is a response to the connection status inquiry from the master server 2. If there is no response, the operation unit 19 proceeds to step S3, and a predetermined number of times of connection requests is set in advance. It is determined whether or not the threshold value is smaller than N. If the connection request count is smaller than the threshold value N, the process returns to step S1, and the connection status inquiry process is executed again.
[0033]
As described above, when there is no response even if the connection status inquiry is performed N times with respect to the master server 2, the arithmetic unit 19 of the terminal 1 ends the processing.
[0034]
When the arithmetic device 32 of the master server 2 receives a connection status inquiry request from the terminal 1 via the transmission / reception device 33, it checks the current connection status of the virtual space 60 stored in the storage device 34, and is free. Determine if there are seats available. When there is no vacant seat, the computing device 32 does not respond to the terminal 1. Therefore, in such a case, the terminal 1 cannot attend the video conference.
[0035]
When there is a vacant seat in the virtual space 60, the arithmetic device 32 of the master server 2 generates an image indicating the current connection status in step S4, and the transmission / reception device 33 transmits the image to the terminal 1 via the network 3. Send. When the arithmetic device 19 of the terminal 1 receives the response from the master server 2 via the transmission / reception device 24, the image corresponding to the received data is processed via the D / A converter 21 in step S4. The image is supplied to the projector 44 constituting the device 23 and displayed on the screen 45. Thereby, the position of each table and seat is displayed on the screen 45, for example, as shown in FIG. Each seat is displayed so that a vacant seat and a seat where another user is already sitting can be identified. In the example of FIG. 13, the hatched seats are seats where other users are sitting, and the seats that are not hatched are empty seats. Therefore, in the example of FIG. 13, seats A, D, and G are vacant, and other users have already used other seats.
[0036]
The user looks at the display shown in FIG. 13 and operates the will input device 12 in step S5 to input a seat desired to be acquired from vacant seats and request login. For example, when the user designates seat A, the letter A key is operated on the keyboard. The arithmetic device 19 transmits data corresponding to the input from the will input device 12 to the master server 2 via the transmission / reception device 24.
[0037]
In step S6, the arithmetic unit 19 determines whether or not the login OK signal has been received from the master server 2, and if the login OK signal has not been received, the processing unit 19 proceeds to step S7, and the connection request count is set in advance. It is determined whether or not it is smaller than a predetermined threshold value N set. If the connection request count is smaller than the threshold value N, the process returns to step S5, and the subsequent processing is repeatedly executed. If the connection request count is equal to or greater than the threshold value N, the arithmetic unit 19 ends the process.
[0038]
If it is determined that the login is OK, the arithmetic device 32 of the master server 2 proceeds to step S8, assigns the terminal 1 to the seat designated from the terminal 1 in step S5, and changes the connection in the virtual space 60. To do. Thereby, for example, the state where the new terminal 1 is assigned to the seat A shown in FIG. 13 is the current connection state of the virtual space 60. The arithmetic device 32 of the master server 2 reads an image corresponding to this connection status from the storage device 34 and transmits it to the terminal 1 via the transmission / reception device 33.
[0039]
When the arithmetic device 19 of the terminal 1 receives this data via the transmission / reception device 24, it displays a corresponding image on the screen 45. Thereby, for example, an image as shown in FIG. 14 is displayed on the screen 45 in this case. That is, images i to l of users of the terminals sitting in the four seats I to L are displayed on the table T3. Around the table T2, images e, f, and h of users sitting in the seats E, F, and H excluding the seat G are displayed. On the table T1, images b and c of the users sitting in the seats B and C, respectively, are displayed. Since seats D and H are vacant, no image is displayed. The images b and c of the seat of the table T1 where the user is located are displayed larger than the images e, f, h to l of the other tables T2 and T3.
[0040]
When the user attends the video conference, the detection device 11 detects the face direction or the line-of-sight direction of the user. The detection result is transmitted from the arithmetic device 19 to the master server 2 via the transmission / reception device 20.
[0041]
The arithmetic device 32 of the master server 2 receives the direction detection data from the terminal 1 and, in step S9, determines whether or not the user of the terminal 1 has been gazing at the same direction for a predetermined time set in advance. judge. If the same direction is not watched for a certain period of time, the process of step S9 is repeatedly executed.
[0042]
As shown in FIG. 14, the angle θ1 detected as the direction in which the user is facing is converted into an angle θ2 in the virtual space 60 as shown in FIG. It is determined by doing.
[0043]
When it is determined that the user 51 of the terminal 1 is gazing at the predetermined direction for a certain time or longer, the arithmetic device 32 proceeds to step S10, and the gazing person (the user gazing at the predetermined direction) is positioned. Limit the volume from the table to be played. For example, if the user sitting on the seat A of the table T1 has been watching the seat G of the table T2 for a certain period of time, the user determines that he is not interested in the conversation at the table T1. The volume of the voice from the user sitting on the seat B or the seat C of the table T1 is reduced. Alternatively, the image b of the user sitting on the seat B and the image c of the user sitting on the seat C shown in FIG. Similarly, the volume of the voice of the user of the seat A provided to the terminal 1 of the user sitting in the seat B and the seat C is reduced, and the image a is reduced. Thereby, for example, the user sitting on the seats B and C of the table T1 can know that the user sitting on the seat A is not interested in the conversation now.
[0044]
Next, it progresses to step S11 and the calculating apparatus 32 displays the image of the gaze person on the display image with respect to the user of the table currently being watched large. In this case, since the user of the seat A is gazing at the seat G of the table T2, the image a of the user A viewed from the user using the seats E, F, and H of the table T2 Display larger than the image.
[0045]
That is, an image as shown in FIG. 16 is displayed on the screen 45 of the user terminal sitting on the seat F of the table T2. The images e and h of the user sitting on the table T2 on which the user is sitting are displayed larger than the images a to d and i to l of the user sitting on the seats of the distant tables T1 and T3. Yes. Since the image a of the user sitting on the seat A is also an image of the distant table T1, if the user of the seat A does not watch the table T2, the image a is displayed in the same size as the other images b to d. However, when the user of the seat A watches the table T2 for a certain period of time, two images a of the user of the seat A are shown in FIG. 16 so that the user of the table T2 can notice this. It is displayed large as shown by the chain line. At this time, the sound from the seat A may also be greatly output to the user of the table T2. Thereby, the user of the table T2 can guess beforehand that the user of the seat A may move to the table T2.
[0046]
In addition to displaying the image a larger, the image a may be displayed brighter than others or blinked.
[0047]
In step S12, the computing device 32 further determines whether or not the user has been gazing in the same direction for a certain period of time. If the user has stopped gazing on the way, the process returns to step S9, and thereafter Repeat the process. When the user keeps gazing for a certain period of time, the process proceeds to step S13, and the calculation device 32 determines whether there is a vacant seat in the direction in which the user is gazing. If there is no vacant seat, the process returns to step S9, and the subsequent processing is repeatedly executed. If there is a vacant seat, the process proceeds to step S14, and the computing device 19 of the terminal 1 performs the same processing as when the master server 2 is requested to move from the will input device 12 to a predetermined seat. Execute. That is, the arithmetic unit 19 requests the master server 2 to move to the seat G.
[0048]
When the arithmetic device 32 of the master server 2 receives a transfer request from the arithmetic device 19 of the terminal 1, it determines whether or not to accept it in step S15. If another user has already applied for the seat, the request is rejected, the process returns to step S9, and the subsequent processing is executed. When the seat is vacant, the arithmetic device 32 of the master server 2 allocates the seat to the terminal 1 in response to this request. For this reason, it returns to step S8 and the arithmetic unit 32 performs the process which allocates the seat G to the user of the terminal 1. FIG.
[0049]
As a result, the screen 45 of the terminal 1 that has moved to the seat G is switched from the image shown in FIG. 14 to the image shown in FIG.
[0050]
Note that gaze for a certain time or more may be detected on each terminal side. In addition, the intention to move may be displayed by a gesture in which the user indicates the direction with a finger, or by a mechanical operation such as a keyboard, a mouse, or a joystick.
[0051]
In the above, one screen 45 is displayed and images of all video conference attendees on the virtual space 60 are displayed on the screen 45. For example, as shown in FIG. The screens 45BL, 45BC, BR for displaying the image of the user sitting on the seat of the table T1 are configured independently of the screen 45A for displaying the images of the user sitting on the seats of the other tables T2 to T4. You can also. In this way, a more realistic system can be realized.
[0052]
In the example shown in FIG. 18, the image of the table T1 on which the user is sitting displays the image c of the user sitting on the seat on the opposite side of the user on the screen 45BC in front of the table T1. The image b of the user sitting in his / her right seat is displayed on the right screen 45BR, and the image d of use sitting in the left seat is displayed on the left screen 45BL. However, on the screen 45A, for example, as shown in the table T2, the images g and h of the users sitting in the two seats G and H are displayed as front images, and they are seated in the two seats E and F in front A user's images e and f are an image viewed from the right side and an image viewed from the left side, respectively.
[0053]
Thus, when displaying an image, the arithmetic unit 32 of the master server 2 manages the virtual space 60 as shown in FIG. 19, for example. The image c displayed on the screen 45BC of the table T1 is an image captured by the video camera 42F-3-1, the image b displayed on the screen 45BR is an image captured by the video camera 42L-2-1, and is displayed on the screen 45BL. The image d to be displayed is an image captured by the video camera 42R-4-1. On the other hand, for example, the image g of the table T2 is an image captured by the video camera 42F-3-2, the image h is an image captured by the video camera 42F-4-2, and the image e is the video camera 42R. It is assumed that the image is captured with -1-2, and the image f is an image captured with the video camera 42L-2-2.
[0054]
In this way, there is no backward-facing image, and attendees can be confirmed more easily. Therefore, in this case, the video camera 42B that images the user from behind is not necessary.
[0055]
For example, as shown in FIG. 10, in the example in which the image of the own table is displayed on one screen 45 as well as the image of the other table, the arrangement of the seats between the own table and the other table. Can be slightly different, the video camera 42B behind each terminal 1 can be omitted.
[0056]
FIG. 20 shows another arrangement example of the projector, the video camera, and the screen in each terminal 1. In this example, a video camera 42F is disposed in front of the user 51, a video camera 42B is disposed in the rear, a video camera 42L is disposed on the front left side, and a video camera 42R is disposed on the front right side. This is the same as in the case of FIG. 5, but in this example, the screen 45 is a surround screen and is arranged so as to surround the user 51. A projector 44A is disposed in front of the user 51, a projector 44B is disposed on the left rear, and a projector 44C is disposed on the right rear so that an image can be displayed on the surround screen. Thereby, an image is displayed on at least a range on the surround screen that is visible to the user 51. In this way, a more realistic system can be realized.
[0057]
In the above, the case where the present invention is applied to a video conference system has been described as an example. However, the present invention can also be applied to parties other than a video conference such as a virtual space party.
[0058]
In this way, at least the image of the user of the table where he / she is located is displayed larger than the image of the user located at the other table, so even if the number of tables increases, The image of the user of the table where the user is located can be confirmed with certainty. In addition, since it is possible to move to another table in the virtual space, even if the image of the other table is displayed in a small size, the face of the attendees at that table can be displayed larger by moving to that table. Can be confirmed. Therefore, it is possible to easily realize communication with a large number of people as in an actual meeting or party.
[0059]
In order to realize a translucent screen, the screen 45 is operated in a time-sharing manner in the above. However, as shown in FIG. 21, for example, the screen 45 has one surface as an irregular reflection surface 81 and the other surface. Can be a translucent surface 82 and can be a translucent screen substantially like a half mirror. In this case, as shown in FIG. 21, the irregular reflection surface 81 is disposed on the projector 44 side, and the translucent surface 82 is disposed on the video camera 42 side.
[0060]
On the irregular reflection surface 81, square irregular reflection portions 91 and transparent portions 92 are arranged in a checkered pattern, as shown in FIG. The surface of the irregular reflection portion 91 is processed so as to diffusely reflect the incident light. The transparent portion 92 is configured to transmit the incident light as it is.
[0061]
The opposite side (video camera 42 side) of the irregular reflection portion 91 is a black portion 93 as shown in FIG. The black portion 93 is colored black. The irregular reflection portion 91 and the transparent portion 92, and thus the black portion 93 and the transparent portion 92 are sufficiently small regions.
[0062]
When the light emitted from the projector 44 is irradiated onto the irregular reflection surface 81, the irregular reflection portion 91 reflects the light irregularly, and the user 51 can visually recognize an image composed of the irregularly reflected light. The light incident on the transparent portion 92 of the irregular reflection surface 81 is directly transmitted to the video camera 42 side.
[0063]
On the other hand, the video camera 42 images the user 51 via the transparent portion 92. Since the focus of the video camera 42 is not on the screen 45 but on the user 51, the video camera 42 can capture an image of the user 51, although it is a slightly dark image. The light from the projector 44 transmitted through the transparent portion 92 can be substantially limited by providing the video camera 42 with directivity or providing a lens hood.
[0064]
In the example shown in FIGS. 22 and 23, the irregular reflection portion 91, the black portion 93, and the transparent portion 92 are each rectangular and arranged in a checkered pattern, but for example, as shown in FIG. 91 (black part 93) may be formed in a hexagonal shape, and the transparent part 92 may be formed around the irregular reflection part 91 (black part 93).
[0065]
Further, as shown in FIG. 25, the irregular reflection portion 91 (black portion 93) may be formed in a quadrangular shape, and a transparent portion 92 may be disposed around the quadrangular shape.
In the present specification, the term “system” represents the entire apparatus including a plurality of apparatuses.
In addition, as a providing medium for providing a computer program for performing the processing as described above to a user, a communication medium such as a network or a satellite can be used in addition to a recording medium such as a magnetic disk, a CD-ROM, or a solid memory. .
[0067]
【The invention's effect】
Claim 1 Image processing device According to the above, a unit composed of a predetermined number of terminals is arranged at a predetermined position in the virtual space, and the display of the image of each terminal of the unit is controlled. Communication will be possible in the same way as in real space.
[Brief description of the drawings]
FIG. 1 is a diagram illustrating a configuration example of a system to which the present invention is applied.
FIG. 2 is a block diagram illustrating a configuration example of the terminal in FIG. 1;
FIG. 3 is a diagram for explaining an arrangement of devices constituting the terminal of FIG. 2;
4 is a block diagram illustrating a configuration example of a master server in FIG. 1. FIG.
FIG. 5 is a diagram for explaining a planar arrangement of devices included in the terminal of FIG. 2;
FIG. 6 is a diagram illustrating the configuration of a unit.
FIG. 7 is a diagram illustrating a configuration of a unit in a virtual space.
FIG. 8 is a diagram illustrating the arrangement of units in a virtual space.
FIG. 9 is a diagram illustrating the arrangement of units in a virtual space.
FIG. 10 is a diagram illustrating a display example of a screen.
FIG. 11 is a flowchart for explaining the operation of the system of FIG. 1;
FIG. 12 is a flowchart for explaining the operation of the system of FIG. 1;
FIG. 13 is a diagram illustrating a display example of a screen.
FIG. 14 is a diagram illustrating gaze on a screen.
FIG. 15 is a diagram illustrating gaze in a virtual space.
FIG. 16 is a diagram illustrating a display example of a screen on the terminal side that is watched.
FIG. 17 is a diagram illustrating a display example of a screen after moving in a virtual space.
FIG. 18 is a diagram showing another display example of the screen.
19 is a diagram for explaining the arrangement of units in a virtual space for realizing the display example of FIG.
FIG. 20 is a diagram illustrating another example of a planar arrangement of devices included in a terminal.
FIG. 21 is a diagram showing another example of the screen.
22 is a diagram showing a configuration of an irregular reflection surface of the screen of FIG. 21. FIG.
FIG. 23 is a diagram showing a configuration of a translucent surface of the screen of FIG.
24 is a diagram showing another configuration example of the screen in FIG. 21. FIG.
25 is a diagram showing another configuration example of the screen in FIG. 21. FIG.
[Explanation of symbols]
1-1 to 1-6 terminal, 2 master server, 3 network, 11 detection device, 14 image input device, 22 audio reproduction device, 23 video display device, 19 arithmetic device, 32 arithmetic device, 34 storage device, 41 microphone, 42 video cameras, 43 speakers, 44 projectors, 45 screens

Claims

Display means for displaying images of other users;
In an image processing apparatus that is connected to a network and provides a virtual space, together with a plurality of terminals including an imaging unit that images a user via the display unit,
A disposing unit that configures a unit by a predetermined number of the terminals, and disposes the plurality of units at predetermined positions in a virtual space;
Corresponding to the arrangement by the arrangement unit, the image of each terminal in the virtual space, which is generated based on the image captured by the imaging unit of each terminal and viewed from the arrangement position of the terminal in the virtual space. Control means for controlling display of an image of each terminal of the unit, so that is displayed on the terminal ;
When the movement input of the user of the terminal is detected and the number of terminals constituting the unit of the movement destination indicated by the detected movement input is less than a predetermined number, the terminal An image processing apparatus comprising: moving means for moving the terminal to an arrangement position of the destination unit in the virtual space so as to constitute a unit.

The image processing according to claim 1 , wherein the moving unit detects the movement input from a line of sight of a predetermined position of the user of the terminal, a face direction, a gesture, or a mechanical operation input. apparatus.

When the control unit moves the terminal to the destination unit, the control unit displays an image of each terminal of the unit or outputs a sound according to the arrangement of the terminals constituting the unit after the movement. The image processing apparatus according to claim 1 , wherein the image processing apparatus is updated .