JP2011077710A

JP2011077710A - 映像コミュニケーションシステム、及び映像コミュニケーション方法

Info

Publication number: JP2011077710A
Application number: JP2009225373A
Authority: JP
Inventors: Akira Ishii; 亮石井; Hajime Noto; 肇能登
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2009-09-29
Filing date: 2009-09-29
Publication date: 2011-04-14
Anticipated expiration: 2029-09-29
Also published as: JP5237234B2

Abstract

【課題】ユーザに映像中の対話相手との距離感、現実感を与える。
【解決手段】画像取得部１０は、ユーザＢの２次元映像を撮影する。距離情報取得部１１は、ディスプレイ面とユーザＢ間の距離を取得する。３次元画像生成部１２は、ユーザＢの２次元画像とディスプレイ面とユーザＢの距離とに基づいて、ユーザＢの２次元画像を、奥行き情報を持つ、ユーザＢの３次元画像情報に変換する。視点位置検出部１３では、ユーザの視点がどこにあるかを示すユーザの視点位置を取得する。映像生成部１４では、ユーザＡの視点位置と、奥行き情報を持つ、ユーザＢの３次元画像情報とから、ユーザＡのディスプレイ面に表示する映像を生成する。映像表示部１５は、映像生成部１４により生成された、ユーザＡの視点位置に応じた、ユーザＢの２次元画像を表示する。
【選択図】図２

Description

本発明は、少なくとも撮像側の映像伝送装置と表示側の映像伝送装置との間で、撮像側の映像伝送装置で撮影した映像を表示側の映像伝送装置に伝送する映像コミュニケーションシステム、及び映像コミュニケーション方法に関する。

映像コミュニケーションにおいて、対話相手とあたかも対面しているかのように、対話相手をユーザにどのような映像として提示するかが重要である。従来、映像コミュニケーションにおいては、あたかも実物大の対話相手が目の前にいるように感じさせるために、対話相手の人物を２次元ディスプレイ上に実物大に映す方式が考えられている（例えば、特許文献１参照）。

特許第３５８６１２６号公報

対面会話において、対人間の距離感は、話しやすさや、緊張感に影響を与え重要である（参考文献１：エドワードホール、かくれた次元、２０００、みすず書房）。しかしながら、従来の２次元ディスプレイに映された対話相手では、どの位置から映像を観察しても２次元ディスプレイに表示された映像は変化しない。視点位置による画像変化が無いため、奥行き情報が欠落し、対話相手との距離の表現ができなかった。

すなわち、実際に、対話相手が目の前にいるように感じさせるためには、実物大表示だけでは不十分である。例えば、ディスプレイ上に等身大に表示されている人物を見ても、個人によって人物がディスプレイよりも前や、後ろにいるように感じたり、そもそもどの奥行き位置にいるのかが把握できないために、実物より大きい、もしくは小さい人物がいるように感じられ、対話相手を等身大に感じることができない。このように、従来技術では、距離感が表現できないために、対面会話のように距離による会話への効果を期待することができない。

また、従来技術では、ユーザが映像中の対話相手とどれくらいの距離にいるのかを、把握することができなかったため、対面会話と同様に、対人距離を適度に調節することや、距離の遠近によってもたらせる緊張感が感じられなかった。さらに、対話相手の視線や、姿勢がどこを向いているのかが分からなかったことに加えて、遠隔地に存在する対話相手とあたかも同じ空間を共有している感覚（臨場感）が欠落していた。

本発明は、このような事情を考慮してなされたものであり、その目的は、ユーザに映像中の対話相手との距離感、現実感を与えることができる映像コミュニケーションシステム、及び映像コミュニケーション方法を提供することにある。

上述した課題を解決するために、本発明は、少なくとも撮像側の映像伝送装置と表示側の映像伝送装置との間で、前記撮像側の映像伝送装置で撮影した映像を前記表示側の映像伝送装置に伝送する映像コミュニケーションシステムであって、前記撮像側の映像伝送装置は、前記撮像側の人物と、その背景とを含む２次元画像を取得する画像取得手段と、前記撮像側の人物と前記撮像側に設けられた表示手段との間の距離情報を取得する距離情報取得手段と、前記画像取得手段により取得された前記２次元画像と、前記距離情報取得手段により取得された前記距離情報とに基づいて、前記撮像側の人物画像とその背景画像とからなる多層画像に分割した３次元画像を生成する３次元画像生成手段とを備え、前記表示側の映像伝送装置は、前記表示側の人物の視点位置を検出する視点位置検出手段と、前記視点位置検出手段により検出された前記表示側の人物の視点位置と、前記３次元画像生成手段により生成された前記３次元画像とに基づいて、前記表示側の人物の視点位置に応じた、前記撮像側の２次元画像を生成する映像生成手段と、前記映像生成手段により生成された前記撮像側の２次元画像を表示する映像表示手段とを備えることを特徴とする映像コミュニケーションシステムである。

本発明は、上記の発明において、前記３次元画像生成手段は、前記距離情報取得手段により取得された前記距離情報に基づいて、前記画像取得手段により取得された前記２次元画像を、前記撮像側の人物画像とその背景画像とからなる多層画像に分割する分割手段と、前記分割手段により分割された前記撮像側の背景画像を補完する補完手段と、前記分割手段により分割された前記撮像側の人物画像と、前記補完手段により補完された前記撮像側の背景画像とに対し、実寸の大きさを算出して、実寸情報として取得する実寸取得手段と、前記距離情報取得手段により取得された前記距離情報と前記実寸取得手段により取得された前記実寸情報とを、奥行き情報として、前記分割手段により分割された前記撮像側の人物画像と、前記補完手段により補完された前記撮像側の背景画像とのそれぞれに付与し、前記撮像側の３次元画像として生成する付与手段とを備えることを特徴とする。

本発明は、上記の発明において、前記映像生成手段は、前記視点位置検出手段により検出された前記表示側の人物の視点位置を基点に、前記奥行き情報が付与された前記撮像側の人物画像と前記撮像側の背景画像とを、前記映像表示手段の表示面上に射影変換することで、前記表示側の人物の視点位置に応じた、前記撮像側の２次元画像を生成することを特徴とする。

本発明は、上記の発明において、前記映像生成手段は、前記視点位置検出手段により検出された前記表示側の人物の視点位置を基点に、前記奥行き情報が付与された前記撮像側の人物画像と前記撮像側の背景画像とを、前記映像表示手段の表示面上に射影変換する際に、前記映像表示手段の表示面に対して、最前面となる画像のみを投影することを特徴とする。

本発明は、上記の発明において、前記映像生成手段は、前記視点位置検出手段により検出された前記表示側の人物の視点位置を基点に、前記奥行き情報が付与された前記撮像側の人物画像と前記撮像側の背景画像とを、前記映像表示手段の表示面上に射影変換する際に、前記映像表示手段の表示面に対して全画像を投影し、少なくともある画像に対して前面となる画像に透過性を持たせることを特徴とする。

また、上述した課題を解決するために、本発明は、少なくとも撮像側の映像伝送装置と表示側の映像伝送装置との間で、前記撮像側の映像伝送装置で撮影した映像を前記表示側の映像伝送装置に伝送する映像コミュニケーション方法であって、前記撮像側の映像伝送装置は、画像取得手段により、前記撮像側の人物と、その背景とを含む２次元画像を取得するステップと、距離情報取得手段により、前記撮像側の人物と前記撮像側に設けられた表示手段との間の距離情報を取得するステップと、３次元画像生成手段により、前記取得された２次元画像と、前記取得された距離情報とに基づいて、前記撮像側の人物画像とその背景画像とからなる多層画像に分割した３次元画像を生成するステップとを含み、前記表示側の映像伝送装置は、視点位置検出手段により、前記表示側の人物の視点位置を検出するステップと、映像生成手段により、前記表示側の人物の視点位置と、前記３次元画像とに基づいて、前記表示側の人物の視点位置に応じた、前記撮像側の２次元画像を生成するステップと、映像表示手段により、前記撮像側の２次元画像を表示するステップとを含むことを特徴とする映像コミュニケーション方法である。

この発明によれば、ユーザの視点（目の位置）に応じて、対話相手の映像を変化させるという運動視差を実現し、距離に応じた人物サイズで対話相手を表示することで、ユーザに映像中の対話相手との距離感、現実感を与えることができる。

本発明による映像表示のイメージを示す概念図である。本実施形態による、映像コミュニケーション装置の構成を示すブロック図である。本実施形態による３次元画像生成部１２の動作を説明するためのフローチャートである。本実施形態において、各レイヤの画像の大きさ情報の算出方法を説明するための概念図である。本実施形態において、実際に生成される「奥行き情報を持つユーザＢの３次元画像情報」の例を示す概念図である。本実施形態による映像生成部１４の動作を説明するためのフローチャートである。本実施形態による映像生成部１４の動作を説明するための概念図である。

以下、本発明の一実施形態を、図面を参照して説明する。

Ａ．発明の原理
本件発明は、映像コミュニケーションにおいて、映像の奥行き表現技術に関するものである。より具体的には、本発明の映像コミュニケーション装置は、撮像側と表示側とを有し、撮像側から人物と背景とに分けた多層映像を表示側へ送り、表示側では表示側にいる人物の眼の位置に応じて多層映像の重なり具合を変化させた（あたかも窓（＝ディスプレイ）を通して該人物と該背景とが表示側の人物の目の位置から見た位置関係となるように人物の層と背景の層とを移動させた）合成画像を生成し、該変化によって生じた運動視差によって高臨場感を得るものである。

すなわち、本発明は、２地点での映像コミュニケーションにおいて、ディスプレイを１枚の窓に見立てて、ユーザと対話相手とが互いにあたかも相手の空間を窓越しに覗いているかのように、ユーザの視点位置に応じて、その位置から見える対話相手の空間の映像をディスプレイに表示すること（運動視差）を実現し、映像中の対話相手の奥行き位置を表現することを特徴としている。

図１は、本発明による映像表示のイメージを示す概念図である。図１において、ユーザ１が視点を変えると（３軸移動に対応）、映像中の対話相手２の奥行き位置（対話相手２とその背景の壁３）を、その視点の変化に応じて２次元ディスプレイ４上に表示することで、対話相手２、背景の壁３の見え方があたかも現実のように再現される。

すなわち、ユーザ１が位置Ｐ１にて２次元ディスプレイ４に対峙する場合には、対話相手２を正面から見ているように表示し、ユーザ１が左側の位置Ｐ２から見ている場合には、対話相手２、及びその背景にある壁３との位置関係（奥行き）を反映し、対話相手２を左側から見ているように表示し、ユーザ１が右側の位置Ｐ３から見ている場合には、対話相手２、及びその背景にある壁３との位置関係（奥行き）を反映し、対話相手２を右側から見ているように表示する。

本発明を実現するためには、ディスプレイ４に対するユーザ１の視点位置・姿勢の検出、ユーザ１の視点位置に応じた対話相手２の映像の生成・表示の２つの技術が重要である。本発明では、特に、視点位置に応じた映像の生成・表示について複数の方法を提案する。

Ｂ．実施形態
本実施形態では、カメラから撮影された２次元映像から、人物と背景を分離し、多層化して奥行きを持つ３次元映像を生成し、ユーザの視点位置に応じて、ディスプレイ面に投影して表示する方法について説明する。

図２は、本実施形態による、映像コミュニケーション装置の構成を示すブロック図である。図示の映像コミュニケーション装置は、ユーザ（以下、ユーザＡ）、及び対話相手（以下、ユーザＢ）のそれぞれに用意され、双方向通信を介して使用される。以下では、ユーザＡのディスプレイにユーザＢの奥行き映像を表示するときについて説明する。

画像取得部（ユーザＢ）１０は、撮影装置（カメラ）からなり、ユーザＢの２次元映像（画像）を撮影する。該画像取得部（ユーザＢ）１０は、ユーザＡの視線とユーザＢの視線とを合わせるために、ユーザＢのディスプレイ（映像表示部：図示略）上に表示されるユーザＡの目位置（目位置とは、両目の目頭を結ぶ線分の中点の位置）に、光学的、または、仮想的に、カメラのレンズ中心がくるように配置される。

例えば、ディスプレイとユーザＢとの間にハーフミラーを、ディスプレイの平面の法線とハーフミラーの法線のなす角度が４５度となるように設置し、カメラを該ハーフミラーの上方または下方に、ハーフミラーからディスプレイまでの距離だけ離して設置することにより、ハーフミラーを介して撮像する手法を用いることが考えられる。

また、ディスプレイを隠さないように、ユーザＢのディスプレイの周囲に複数のカメラを配置し、ＦＴＶ（Ｆｒｅｅ−ＶｉｅｗｐｏｉｎｔＴｅｌｅｖｉｓｉｏｎ）技術によって、該周囲の複数のカメラ画像から、ユーザＢのディスプレイ上に表示されるユーザＡの視点位置にある仮想視点の映像を生成する手法を用いることも考えられる。その他、視線を一致させるために、カメラ位置をできるだけ、ユーザＢのディスプレイに表示されたユーザＡの目位置にレンズ中心が来るように配置するようにしてもよい。以後、ユーザＢのディスプレイの中心にカメラレンズの中心があるようにカメラが設置されており、カメラの撮像面がディスプレイ面にあると仮定して説明する。

距離情報取得部（ユーザＢ）１１は、
ａ）複数カメラを用いた顔認識、及びステレオマッチングを用いた画像処理技術
ｂ）光学式、または磁気式のモーショントラッキング技術、
また、映像コミュニケーションにおいて人物がカメラ映像の中央にいることを前提条件とし、
ｃ）カメラのオートフォーカス機能によるフォーカス距離情報取得
などの手法を用いて、ディスプレイ面とユーザＢ間の距離を取得する。このとき、「ディスプレイ面とユーザＢ間の距離」は、ディスプレイ面からユーザＢへの法線の長さである。距離を取得する手法は、上記手法だけに限らず、他の手法であってもよい。

次に、３次元画像生成部（ユーザＢ）１２は、画像取得部１０によって撮影された、「ユーザＢの２次元画像」、及び距離情報取得部１１によって取得された、ディスプレイ面とユーザＢ間の距離に基づいて、「ユーザＢの２次元画像」を、奥行き情報を持つ「ユーザＢの３次元画像情報」に変換して出力する。

本実施形態の特徴として、１対１の映像コミュニケーションにおいては、ディスプレイの正面から大きくユーザが動かないという前提条件の下、完全な３次元形状を持つ奥行き映像を生成するのではなく、入力された「ユーザＢの２次元画像」を、人物領域と背景領域とに分割し、書割のように平面レイヤのまま奥行き情報を付与して多層化する。

人物領域と背景領域の分割には、ディスプレイが据え置きの映像コミュニケーションにおいては、背景が多くの場合に固定であるため、背景差分を利用し、予め背景のみを撮影しておき、それをリファレンスとして差分を取得することで人物を抽出する。

また、距離画像センサを用いた距離情報や、温度画像センサによる人物の体温情報、顔認識を併用して領域分割の精度を向上することも考えられる。

具体的な手法として、所定の範囲内に人物が存在し得る（例えば、ディスプレイが設置された部屋の場合には、ディスプレイから部屋の壁までの範囲内）場合には、ディスプレイの所定の位置を基準点とした人物の存在範囲（該基準点から該部屋の壁までの範囲）を規定し、距離画像センサを用いて距離画像を取得し、人物が存在すると規定される範囲の距離を示す画素領域を該距離画像中の人物領域と判定する。例えば、ディスプレイ面から、０〜３ｍまでの領域は、人物領域と判定し、３ｍ以上の領域は背景領域と判定する。

また、温度画像センサの場合、同様に人物を示す温度範囲を規定して、同様な判定を行う。これらの複数センサから取得された複数の人物領域を候補として、各画素でボーティングして人物領域を最終的に判定する。

具体的には、例えば、画像中のある画素で、各センサを用いた人物領域判定の論理積を取ることで、最終的な判定を行う。顔認識の利用用途は、上記処理などを行った後に、人物領域と判定される領域の候補が複数存在し、その中に人物以外のものが混在していたときに、２次元画像中の領域毎に顔認識を行い、顔抽出された領域のみを人物領域と判定する。これにより、誤って人物領域と判定された領域を排除することが可能であり、より頑健な人物領域抽出が可能となる。

その他、画像中の領域分割には様々な手法が提案されており、それらも利用可能である。また、本実施形態では、２層化についての方式を説明したが、さらに多層化する場合、距離や温度の閾値を細かく設定し、距離画像や、温度画像の分割数を増やすことが考えられる。これにより、多層の書割レイヤを生成することが可能である。

次に、視点位置検出部（ユーザＡ）１３は、顔認識、及びステレオマッチングを用いた画像処理技術や、光学式または磁気式のモーショントラッキング技術等を用いて、ユーザＡの視点（目）位置がどこにあるかを示すユーザＡの視点位置Ｖ（ｖ_ｘ，ｖ_ｙ，ｖ_ｚ）を検出して出力する。

映像生成部（ユーザＡ）１４は、視点位置検出部１３によって検出された、ディスプレイ位置に対するユーザＡの視点位置と、３次元画像生成部１２によって生成された、奥行き情報を持つユーザＢの３次元画像情報とに基づいて、ユーザＡのディスプレイ面に表示する画像（「ユーザＡの視点位置に応じた、ユーザＢの２次元画像」）を生成する。

映像表示部（ユーザＡ）１５は、映像生成部１４により生成された、ユーザＡの視点位置に応じた、ユーザＢの２次元画像を表示する。

なお、上述した構成において、画像取得部１０、距離情報取得部１１、及び３次元画像生成部１２は、ユーザＢ側の映像コミュニケーション装置に設けられており、通信回線等を介して、３次元画像生成部１２により生成された、ユーザＢの３次元画像情報を、所定の通信手段、通信回線を介して、ユーザＡ側の映像コミュニケーション装置に伝送する。これ以外にも、ユーザＢ側の映像コミュニケーション装置に画像取得部１０、距離情報取得部１１を設け、画像取得部１０により取得された、ユーザＢ側の画像と、距離情報取得部１１に取得されたユーザＢとそのディスプレイ間の距離情報とを、所定の通信手段、通信回線を介して、ユーザＡ側の映像コミュニケーション装置に伝送するようにしてもよい。

言い換えると、図２には示していないが、実際には、ユーザＡ側の映像コミュニケーション装置には、ユーザＡの２次元映像（画像）を撮影する画像取得部（ユーザＡ）、ディスプレイ（映像表示部１５）面とユーザＡ間の距離を取得する距離情報取得部（ユーザＡ）、及び／または「ユーザＡの２次元画像」を、奥行き情報を持つ「ユーザＡの３次元画像情報」を生成する３次元画像生成部（ユーザＡ）が備えられている。すなわち、ユーザＡ側の映像コミュニケーション装置から、ユーザＡの２次元映像（画像）、ディスプレイ（映像表示部１５）面とユーザＡ間の距離、及び／またはユーザＡの３次元画像情報を、所定の通信手段、通信回線を介して、ユーザＢ側の映像コミュニケーション装置に伝送するようになっている。

次に、本実施形態の動作を説明する。
画像取得部１０は、ユーザＢの２次元映像（画像）を撮影し、３次元画像生成部１２に供給する。距離情報取得部１１は、ディスプレイ面とユーザＢ間の距離を取得し、３次元画像生成部１２に供給する。３次元画像生成部１２は、画像取得部１０によって撮影された、ユーザＢの２次元画像と、距離情報取得部１１によって取得された、ディスプレイ面とユーザＢの距離とに基づいて、「ユーザＢの２次元画像」を、奥行き情報を持つ「ユーザＢの３次元画像情報」に変換して映像生成部１４に供給する。

ここで、図３は、本実施形態による３次元画像生成部１２の動作を説明するためのフローチャートである。簡単のため、最も単純な構成である２層化の手法について具体的に述べる。まず、画像取得部１０によって撮影された「ユーザＢの２次元画像」と、距離情報取得部１１から供給される、「ディスプレイ面とユーザＢの距離」を入力する（ステップＳ１０）。

次に、「ディスプレイ面とユーザＢの距離」に基づいて、「ユーザＢの２次元画像」を、人物領域とその背景領域とに分割する（ステップＳ１１）。２層化する際、前のレイヤが人物領域、後ろのレイヤが背景領域となる。

次に、２層化されたうち、背景領域の画像を入力として、新たな背景画像を生成する（ステップＳ１２）。単純に１枚の元画像から人物領域を抜いた（減算した）ままだと、背景画像中の人物領域にあたる部分の画像が欠けてしまう。このため、欠落している背景画像の領域（以後、欠落領域）を過去の背景画像から補完する。該補完した背景画像が新たな背景領域の画像となる。

その他、背景が大きく変化しないと仮定し、事前に撮影した背景画像を背景レイヤとして使用してもよい。または、プライバシ保護の観点から、背景部分を実際とは違う画像と差し替えてもよい。その他、背景画像に用いる画像に特に制約は無く、一般的に考えられるあらゆる画像が利用可能である。

次に、上記生成された、人物領域の画像、背景画像に実寸の大きさ情報を付与する（ステップＳ１３）。まず、各レイヤの画像の大きさ情報の算出方法について以下に述べる。ここで、図４は、本実施形態において、各レイヤの画像の大きさ情報の算出方法を説明するための概念図である。このとき、人物レイヤαの画像の高さα_ｈ、幅α_ｗは、画像取得部１０（カメラ）の画角（縦θ_ｈ、横θ_ｗ）、画像取得部１０から人物レイヤまでの距離Ｄ（画像取得部１０（カメラ）とディスプレイ（ユーザＢ側の映像表示部）との位置関係を既知とし、「ディスプレイ面とユーザＢの距離」から算出）、カメラズーム率Ｚを用いて、次式（１）、（２）で算出される。

次に、ディスプレイからの距離情報と実寸情報とを併せて奥行き情報とし、人物領域の画像と背景画像とに該奥行き情報を付与し、それぞれレイヤ化する（ステップＳ１４）。以後、これらのレイヤを「人物レイヤ」、「背景レイヤ」と呼ぶ。この３次元画像情報が、「奥行き情報を持つユーザＢの３次元画像情報」として生成される。このとき、人物レイヤの奥行き位置は、「ディスプレイ面とユーザＢとの距離」を用いる。背景レイヤの奥行きは、任意の値（但し、人物レイヤより奥行き位置が遠いこと）を用いる。なお、ステップＳ１２において、背景レイヤの距離情報を取得できていた場合、その距離を用いて値を決めることもできる。

図５は、本実施形態において、実際に生成される「奥行き情報を持つユーザＢの３次元画像情報」の例を示す概念図である。図５では、距離１．０ｍの位置に人物レイヤ、距離３．０ｍの位置に背景レイヤが配置されている。この奥行きに応じて配置された多層レイヤの情報は、各レイヤの２Ｄ画像データ、各レイヤ面とディスプレイ間の距離、各レイヤの縦・横サイズ（α_ｈ，α_ｗ）であり、これらの「奥行き情報を持つユーザＢの３次元画像情報」が出力される。「奥行き情を持つユーザＢの３次元画像情報」は、各レイヤの２Ｄ画像データ＋Ｄ＋α_ｈ＋α_ｗである。

次に、視点位置検出部１３では、ユーザの視点（目）位置がどこにあるかを示すユーザの視点位置Ｖ（ｖ_ｘ，ｖ_ｙ，ｖ_ｚ）を取得し、映像生成部１４に供給する。映像生成部１４では、「ディスプレイ位置に対するユーザＡの視点位置」と、「奥行き情報を持つユーザＢの３次元画像情報」とから、ユーザＡのディスプレイ面に表示する映像（「ユーザの視点位置に応じた２次元画像」）を生成する。

ここで、図６は、本実施形態による映像生成部１４の動作を説明するためのフローチャートである。また、図７は、本実施形態による映像生成部１４の動作を説明するための概念図である。「ユーザの視点位置に応じた２次元画像」は、図７に示すように「奥行き情報を持つユーザＢの３次元画像情報」を、「ディスプレイ位置に対するユーザＡの視点位置」を基点に、ユーザＡのディスプレイ面に透視投影などの射影変換を行うことで生成される（ステップＳ２０）。

まず、「ディスプレイ位置に対するユーザＡの視点位置」、「奥行き情報を持つユーザＢの３次元画像情報」、ユーザＡのディスプレイの座標系を統一する。このとき、座標系は実寸のサイズ情報を有する。ここで、ユーザＡのディスプレイサイズが必要となる。

次に、実際の透視変換の一例を示す。ディスプレイの中心を座標系の原点Ｏ（０，０，０）とし、座標ディスプレイ面の横方向にｘ軸、縦方向にｙ軸、ディスプレイ面の法線をｚ軸とし、ユーザ位置とは逆向きを正の方向とする。ユーザの視点位置をＶ（ｖ_ｘ，ｖ_ｙ，ｖ_ｚ）（但し、ｖ_ｚ＜０）としたとき、ディスプレイ面上の点Ｄ（ｘ，ｙ，ｚ）に投影されるべき、あるレイヤｉの点Ｈ_ｉ（ｈ_ｘ，ｈ_ｙ，ｈ_ｚ）は、次式（３）により算出される。

なお、数式（３）の変換行列式中の座標は、実寸の情報を有する座標系ということを前提にしている。

この処理を、ディスプレイ面上の各画素において、「奥行き情報を持つユーザＢの３次元画像情報」の各画像レイヤに対して行う。また、その他、平行投影といった一般的な射影変換の手法も利用可能である。

人物レイヤ中でディスプレイ面上に投影するのは人物領域のみとする。このとき、複数のレイヤの点がディスプレイ面に投影される場合、最も前面のレイヤのみを投影して表示する。また、計算量を軽くするために、各画像レイヤの前面（ディスプレイに対して）から、ディスプレイに射影されるべき点を計算し、あるレイヤ中に射影される点がある場合、このレイヤより後ろのレイヤに対しては計算を行わない。

また、上述したように、最も前面のレイヤのみ投影することせずに、全レイヤを投影することとし、該当する点の透明度（α値）を任意に設定し、複数のレイヤを透かせて見えることで、背景情報など、実際には見えない背景情報も可視化することで、背景情報を伝達するようにすることも考えられる。

最後に、映像表示部１５は、映像生成部１４により生成された映像、すなわち、ユーザＡの視点位置に応じた、ユーザＢの２次元画像を表示する。

上述した実施形態によれば、ユーザの視点（目の位置）に応じて、映像が変化する、すなわち運動視差を実現すること、及び、距離に応じた人物サイズで対話相手を表示することから、視覚的に窓１枚を挟んで対面している際と同等の情報が得られるため、映像中の対話相手に奥行きに係る手がかりが与えられ、ユーザが映像中の対話相手との距離感を把握することができる。それにより、対面会話と同様に距離を適度に調節したり、対面会話において距離がもたらす、話しやすさ、緊張感の有無の効果をもたらすことができる。また、上述した通り、映像が変化するため、あたかも実物大の対話相手が目の前にいるかのように感じさせることができ、従来技術のように２次元映像で人物を提示したものに比べて、視線・姿勢などの非言語情報と、遠隔地に存在する対話相手とあたかも同じ空間を共有している感覚（臨場感）とを与えることができる。

また、上述した距離情報取得部１１、３次元画像生成部１２、映像生成部１４などによる各ステップを実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、各種処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものであってもよい。また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。

さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Dynamic Random Access Memory））のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。

１０画像取得部
１１距離情報取得部
１２３次元画像生成部
１３視点位置検出部
１４映像生成部
１５映像表示部

Claims

少なくとも撮像側の映像伝送装置と表示側の映像伝送装置との間で、前記撮像側の映像伝送装置で撮影した映像を前記表示側の映像伝送装置に伝送する映像コミュニケーションシステムであって、
前記撮像側の映像伝送装置は、
前記撮像側の人物と、その背景とを含む２次元画像を取得する画像取得手段と、
前記撮像側の人物と前記撮像側に設けられた表示手段との間の距離情報を取得する距離情報取得手段と、
前記画像取得手段により取得された前記２次元画像と、前記距離情報取得手段により取得された前記距離情報とに基づいて、前記撮像側の人物画像とその背景画像とからなる多層画像に分割した３次元画像を生成する３次元画像生成手段と
を備え、
前記表示側の映像伝送装置は、
前記表示側の人物の視点位置を検出する視点位置検出手段と、
前記視点位置検出手段により検出された前記表示側の人物の視点位置と、前記３次元画像生成手段により生成された前記３次元画像とに基づいて、前記表示側の人物の視点位置に応じた、前記撮像側の２次元画像を生成する映像生成手段と、
前記映像生成手段により生成された前記撮像側の２次元画像を表示する映像表示手段と
を備えることを特徴とする映像コミュニケーションシステム。
前記３次元画像生成手段は、
前記距離情報取得手段により取得された前記距離情報に基づいて、前記画像取得手段により取得された前記２次元画像を、前記撮像側の人物画像とその背景画像とからなる多層画像に分割する分割手段と、
前記分割手段により分割された前記撮像側の背景画像を補完する補完手段と、
前記分割手段により分割された前記撮像側の人物画像と、前記補完手段により補完された前記撮像側の背景画像とに対し、実寸の大きさを算出して、実寸情報として取得する実寸取得手段と、
前記距離情報取得手段により取得された前記距離情報と前記実寸取得手段により取得された前記実寸情報とを、奥行き情報として、前記分割手段により分割された前記撮像側の人物画像と、前記補完手段により補完された前記撮像側の背景画像とのそれぞれに付与し、前記撮像側の３次元画像として生成する付与手段と
を備えることを特徴とする請求項１記載の映像コミュニケーションシステム。
前記映像生成手段は、
前記視点位置検出手段により検出された前記表示側の人物の視点位置を基点に、前記奥行き情報が付与された前記撮像側の人物画像と前記撮像側の背景画像とを、前記映像表示手段の表示面上に射影変換することで、前記表示側の人物の視点位置に応じた、前記撮像側の２次元画像を生成することを特徴とする請求項２記載の映像コミュニケーションシステム。
前記映像生成手段は、
前記視点位置検出手段により検出された前記表示側の人物の視点位置を基点に、前記奥行き情報が付与された前記撮像側の人物画像と前記撮像側の背景画像とを、前記映像表示手段の表示面上に射影変換する際に、前記映像表示手段の表示面に対して、最前面となる画像のみを投影することを特徴とする請求項３記載の映像コミュニケーションシステム。
前記映像生成手段は、
前記視点位置検出手段により検出された前記表示側の人物の視点位置を基点に、前記奥行き情報が付与された前記撮像側の人物画像と前記撮像側の背景画像とを、前記映像表示手段の表示面上に射影変換する際に、前記映像表示手段の表示面に対して全画像を投影し、少なくともある画像に対して前面となる画像に透過性を持たせることを特徴とする請求項３記載の映像コミュニケーションシステム。
少なくとも撮像側の映像伝送装置と表示側の映像伝送装置との間で、前記撮像側の映像伝送装置で撮影した映像を前記表示側の映像伝送装置に伝送する映像コミュニケーション方法であって、
前記撮像側の映像伝送装置は、
画像取得手段により、前記撮像側の人物と、その背景とを含む２次元画像を取得するステップと、
距離情報取得手段により、前記撮像側の人物と前記撮像側に設けられた表示手段との間の距離情報を取得するステップと、
３次元画像生成手段により、前記取得された２次元画像と、前記取得された距離情報とに基づいて、前記撮像側の人物画像とその背景画像とからなる多層画像に分割した３次元画像を生成するステップと
を含み、
前記表示側の映像伝送装置は、
視点位置検出手段により、前記表示側の人物の視点位置を検出するステップと、
映像生成手段により、前記表示側の人物の視点位置と、前記３次元画像とに基づいて、前記表示側の人物の視点位置に応じた、前記撮像側の２次元画像を生成するステップと、
映像表示手段により、前記撮像側の２次元画像を表示するステップと
を含むことを特徴とする映像コミュニケーション方法。