JP2007189489A - 立体映像処理装置並びにそのプログラム - Google Patents

Abstract

【課題】見る人の負担が少ない立体画像を生成する立体映像撮影装置を提供する。
【解決手段】立体映像処理装置１００には、それぞれ左目用と右目用の映像を撮影する左カメラ１０および右カメラ１１と、立体映像を表示する三次元ディスプレイ１２と、ユーザの左右の目の注視点を遂次測定する視線位置計測装置１３とが接続される。左映像データ入力部２１と右映像データ入力部２２は、左目用と右目用の映像を受け付ける。視線位置データ入力部３１は、左目と右目の注視点の座標を遂次受け付ける。切出し幅算出処理３２は、左目と右目の注視点の座標および前回算出した切出し幅に基づき、切出し幅を逐次算出する。画像切出し処理２３は、切出し幅算出処理３２から切出し幅を受け、左目用と右目用の映像から切出し幅分の映像を切出す。立体映像合成処理２４は、切出された左目用と右目用の映像から立体映像を生成して三次元ディスプレイ１２に出力する。
【選択図】図２

Description

本発明は、２台のカメラにより撮影された実写立体映像を処理する立体映像処理装置並びにそのプログラムに関する。

従来様々な立体表示装置が発明されており、立体データを立体表示装置で再現する方法が試されている。バリア方式三次元ディスプレイや偏光グラス・シャッター式グラスなどの眼鏡を使用した三次元ディスプレイに立体データを表示する際にはあらかじめ左右の目に対応する２視点の画像を用意しておき、三次元立体ディスプレイ上で合成することで人間が立体的に知覚することができる。これらのディスプレイに表示する画像を作成するには、図７に示すように、２台のカメラを平行に並べて撮影を行い、対象との位置に応じて左カメラの映像と右カメラの映像で、撮影の対象物の位置が同じになるように、左右の画角の交わる切出し位置からの切出し領域の画像を切り出す処理を行う必要がある。
従来技術では、予めカメラから撮影対象までの距離を計測しておき、２台のカメラで撮影した映像をコンピュータやメモリに取り込み、計測した距離に基づき左右カメラの画角が重複する切出し領域の大きさを算出して、これを取込んだ映像から切出して、三次元ディスプレイに表示するための三次元実写映像を作成している。このため、撮影対象が動的に変化するようなシーンであっても、一定の距離を対象にした三次元実写映像となっている。また、特許文献１では、左右の映像の相関から差がもっとも小さくなるように切出し領域を求めている
なお、その他の従来技術として、特許文献２から特許文献５が知られている。
特開２００２−２２３４５８号公報 特開２００２−３３０４５２号公報 特開平０９−０８１７８６号公報 特開平０６−２８４４４５号公報 特開平０６−０３４３４３号公報

しかしながら、予めカメラから撮影対象までの距離を計測しておく従来方式の立体映像作成装置にあっては、一定の距離を対象にした三次元実写映像となっているため、撮影対象が動的に変化するようなシーンでは、左目用と右目用の画像で、撮影の対象物の位置が離れてしまうことがある。また、特許文献１に示す立体映像作成装置にあっては、背景などが多くを占めるシーンでは背景の相関が高いため、左目用と右目用の画像で、背景の位置は一致するが、撮影の対象物の位置が離れてしまうことがある。そのため、これらの立体映像作成装置が生成した立体映像で、この対象物を見ようとすると、左目の視点と右目の視点とが別々になることがあり、見る人の負担となり疲れやすいという問題がある。

本発明は、このような事情に鑑みてなされたもので、その目的は、見る人の負担が少ない立体画像を生成する立体映像処理装置並びにそのプログラムを提供することにある。

この発明は上述した課題を解決するためになされたもので、請求項１に記載の発明は、被写体を撮影し、左目用の映像を出力する左映像撮影手段と、前記被写体を撮影し、右目用の映像を出力する右映像撮影手段と、立体映像を表示する立体映像出力手段と、前記立体映像出力手段を見ているユーザの左右の目の注視点の座標を遂次測定する視線位置計測手段とが接続される立体映像処理装置において、前記左映像撮影手段が出力した左目用の映像の入力を受け付けて、１フレームずつの左画像に分離して出力する左映像データ入力手段と、前記右映像撮影手段が出力した右目用の映像の入力を受け付けて、１フレームずつの右画像に分離して出力する右映像データ入力手段と、前記視線位置計測手段が測定した、左目の注視点の座標と右目の注視点の座標とを遂次受け付ける視線位置データ入力手段と、前記視線位置データ入力手段が受け付けた左目の注視点の座標と右目の注視点の座標および、前回算出した画像の切出し幅に基づき、画像の切出し幅を逐次算出する切出し幅算出手段と、前記切出し幅算出手段が算出した切出し幅を受け、前記左映像データ入力手段が出力した左画像の右端から切出し幅分の画像を切出した左切出し画像と、前記右映像データ入力手段が出力した右画像の左端から切出し幅分の画像を切出した右切出し画像とを出力する画像切出し手段と、前記画像切出し手段が切出した左切出し画像と右切出し画像とから立体映像を生成して出力する立体映像合成手段とを備えることを特徴とする立体映像処理装置である。

また、請求項２に記載の発明は、請求項１に記載の立体映像処理装置であって、前記切出し幅算出手段は、前回算出した切出し幅をＷｃ、前記視線位置データ入力手段が受け付けた左目の注視点のｘ座標から右目の注視点のｘ座標を引いた値をＷｕとして、今回の切出し幅Ｗｃｎｅｗ＝Ｗｃ−Ｗｕにより、今回の切出し幅Ｗｃｎｅｗを算出することを特徴とする。

また、請求項３に記載の発明は、請求項１または請求項２に記載の立体映像処理装置であって、前記左映像撮影手段と前記右映像撮影手段は、入力された距離に焦点を合わせて、被写体を撮影し、前記視線位置データ入力手段が受け付けた左目の注視点の座標と右目の注視点の座標および、左前記左映像撮影手段と前記右映像撮影手段との配置関係に基づき、注視点にある被写体までの距離を算出して、前記左映像撮影手段と前記右映像撮影手段とに出力する注視対象物距離算出手段を備えることを特徴とする。

また、請求項４に記載の発明は、請求項３に記載の立体映像処理装置であって、前記左映像撮影手段と前記右映像撮影手段は、設置間隔Ｂｃで平行に設置され、撮影画像の横方向の画素数がＷｄ、焦点距離がｆであり、前記注視対象物距離算出手段は、前回算出した切出し幅をＷｃ、前記視線位置データ入力手段が受け付けた左目の注視点のｘ座標から右目の注視点のｘ座標を引いた値をＷｕとして、注視点にある被写体までの距離Ｄｃ＝Ｂｃ・ｆ／｛Q・（Ｗｄ−Ｗｃ＋Ｗｕ）｝（Ｑは単位あわせの係数）により、注視点にある被写体までの距離Ｄｃを算出することを特徴とする。

また、請求項５に記載の発明は、被写体を撮影し、左目用の映像を出力する左映像撮影手段と、前記被写体を撮影し、右目用の映像を出力する右映像撮影手段と、立体映像を表示する立体映像出力手段と、前記立体映像出力手段を視聴するユーザの左右の目の注視点の座標を遂次測定する視線位置計測手段と接続されるコンピュータを、前記左映像撮影手段が出力した左目用の映像の入力を受け付けて、１フレームずつの左画像に分離して出力する左映像データ入力手段、前記右映像撮影手段が出力した右目用の映像の入力を受け付けて、１フレームずつの右画像に分離して出力する右映像データ入力手段、前記視線位置計測手段が測定した、左目の注視点の座標と右目の注視点の座標とを遂次受け付ける視線位置データ入力手段、前記視線位置データ入力手段が受け付けた左目の注視点の座標と右目の注視点の座標および、前記左映像撮影手段と前記右映像撮影手段との配置関係に基づき、画像の切出し幅を逐次算出する切出し幅算出手段、前記切出し幅算出手段が算出した切出し幅を受け、前記左映像データ入力手段が出力した左画像の右端から切出し幅分の画像を切出した左切出し画像と、前記右映像データ入力手段が出力した右画像の左端から切出し幅分の画像を切出した右切出し画像とを出力する画像切出し手段、前記画像切出し手段が切出した左切出し画像と右切出し画像とから立体映像を生成して出力する立体映像合成手段として機能させるためのプログラムである。

この発明によれば、切出し幅算出手段が、左目の注視点の座標と右目の注視点の座標および、前回算出した画像の切出し幅に基づき、画像の切出し幅を逐次算出するので、ユーザが注視している被写体が左目用の映像と右目用の映像で同じ場所となり、見る人の負担が少ない立体画像を生成することができる。

また、本発明によれば、切出し幅算出手段が、左目の注視点の座標と右目の注視点の座標および、左映像撮影手段と右映像撮影手段との配置関係に基づき、注視点にある被写体までの距離を算出するので、ユーザが注視している被写体に焦点の合った立体映像を得ることができる。

最初に、図１に示す本発明の実施形態の概要を説明する。本実施形態の立体映像処理装置は、２台のカメラで撮影した映像を３Ｄ合成処理により３Ｄ合成して、立体映像を表示する三次元ディスプレイに出力する。この際に、視線計測装置により測定したユーザの左右の目の注視点座標に基づき、視線位置変換処理が、ユーザが注視している対象物までの距離と、三次元ディスプレイ上の左目用の映像と右目用の映像において該対象物が同じ場所に表示されるように、該対象物を基準にした３Ｄ合成の切出し幅とを求める。視線位置変換処理は、カメラに対しては求めた距離を、３Ｄ合成処理に対しては切り出し幅をフィードバックする。カメラは、この距離に基づき、ユーザが注視している対象物に自動でカメラのピントを合わせ、３Ｄ合成処理は、閲覧したい対象物を基準に３Ｄ合成を行い、三次元ディスプレイに表示する実写立体映像を生成する装置である。

以下、図面を参照して、本発明の実施の形態について説明する。図２は、この発明の一実施形態による立体映像処理装置１００の構成を示す概略ブロック図である。立体映像処理装置１００は、３Ｄ合成処理２０と視線位置変換処理３０とからなり、左カメラ１０（左映像撮影手段）と右カメラ１１（右映像撮影手段）と三次元ディスプレイ１２（立体映像出力手段）と視線位置計測装置１３とが接続される。

左カメラ１０は、焦点距離がｆ（図５）であり、立体映像処理装置１００から入力された距離に焦点を合わせて被写体を撮影し、横方向の画素数がＷｄ（図４）の左目用の映像である左映像データを出力するテレビカメラやビデオカメラなどである。右カメラ１１も同様に、焦点距離がｆであり、立体映像処理装置１００から入力された距離に焦点を合わせて被写体を撮影し、横方向の画素数がＷｄの右目用の映像である右映像データを出力するテレビカメラやビデオカメラなどであり、左カメラ１０と設置間隔Ｂｃ（図５）で平行に設置されている。三次元ディスプレイ１２は、立体映像処理装置１００から立体映像データを受けて立体映像を表示するバリア方式三次元ディスプレイや偏光グラス・シャッター式グラスなどの眼鏡を使用した三次元ディスプレイなどである。視線位置計測装置１３は、瞳孔／角膜反射方式などの方式によるアイマークレコーダなどであり、三次元ディスプレイ１２を見ているユーザの左右の目の注視点の座標を遂次測定する。なお、立体映像表示処理装置１２の画面における座標系は、画面の左上を原点とし、右方向をｘ座標、下方向をｙ座標とする。

３Ｄ合成処理２０は、左映像データ入力部２１と右映像データ入力部２２と画像切出し処理２３と立体映像合成処理２４とからなる。左映像データ入力部２１は、左カメラ１０が出力した左映像データの入力を受け付けて、１フレームずつの左画像データに分離する。右映像データ入力部２２は、右カメラ１１が出力した右映像データの入力を受け付けて、１フレームずつの右画像データに分離して出力する。画像切出し処理２３は、視線位置変換処理３０から切出し幅を受け、左映像データ入力部２１が出力した左画像データの右端から切出し幅分の画像を切出した左切出し画像データと、右映像データ入力部２２が出力した右画像データの左端から切出し幅分の画像を切出した右切出し画像データとを出力する。立体映像合成処理２４は、画像切出し処理２３が出力した左切出し画像データと右切出し画像データとから立体映像データを生成して出力する。

視線位置変換処理３０は、視線位置データ入力部３１と切出し幅算出処理３２と注視対象物距離算出処理３３とからなる。視線位置データ入力部３１は、視線位置計測装置１３が測定した、左目の注視点の座標と右目の注視点の座標とを遂次受け付ける。切出し幅算出処理３２は、前回算出した切出し幅（ピクセル数）をＷｃ、視線位置データ入力部３１が受け付けた左目の注視点のｘ座標から右目の注視点のｘ座標を引いた値である視線幅（ピクセル数）をＷｕとして、式（１）により、今回の切出し幅（ピクセル数）Ｗｃｎｅｗを算出する。これにより、左目の注視点と右目の注視点のｘ座標が同一になるように切出し幅を変更している。式（１）については、後に詳述する。
Ｗｃｎｅｗ＝Ｗｃ−Ｗｕ・・・（１）

注視対象物距離算出処理３３は、前回算出した切出し幅をＷｃ、視線位置データ入力部３１が受け付けた左目の注視点のｘ座標から右目の注視点のｘ座標を引いた値である視線幅をＷｕとして、式（２）により、注視点にある対象物までの距離Ｄｃを算出して、左カメラ１０と右カメラ１１とに出力する。式（２）については、後に詳述する。
Ｄｃ＝Ｂｃ・ｆ／｛Q・（Ｗｄ−Ｗｃ＋Ｗｕ）｝（Ｑは左カメラ１０および右カメラ１１の撮像面における画素あたりの長さ［ｍ／ｐｉｘｅｌ］）・・・（２）

以下、切出し幅算出処理３２において切出し幅を算出する際に用いる式（１）について、説明する。図３のように、静止している被写体O１、O２を左カメラ１０および右カメラ１１が撮影している場合を例にする。まず、三次元ディスプレイ１２には、図４に示す左目用画面Ｐ１と右目用画面（前回）Ｐ２が切出し幅Ｗｃで表示されており、ユーザが、三次元ディスプレイ１２に表示されている被写体O１を注視しているとする。この状態では、被写体Ｏ１は、三次元ディスプレイ１２は左目用画面Ｐ１と右目用画面（前回）Ｐ２とで同じ場所に表示されているが、被写体Ｏ１より手前側にある被写体Ｏ２は、左目用画面Ｐ１と右目用画面（前回）Ｐ２とで異なる場所に表示されている。このとき、ユーザが被写体Ｏ２に視線を移すと、左目用画面Ｐ１を見ている左目の視線と右目用画面（前回）Ｐ２を見ている右目の視線は、画面の手前で交差して、右目の注視点の方がピクセル数Ｗｕだけ左側となる。ここで、右目と左目の視線が交差しないようにして注視点を三次元ディスプレイ１２の画面上で一致させるには、右目用画面（前回）Ｐ２の表示位置をピクセル数Ｗｕ分だけ右に移動させた、右目用画面（今回）Ｐ３の位置にすればよい。このときの切出し幅Ｗｃｎｅｗは、前回の切出し幅Ｗｃから、右目用画面（前回）Ｐ２を移動させたピクセル数Ｗｕが減少するので、Ｗｃｎｅｗ＝Ｗｃ−Ｗｕ、即ち式（１）となる。

以下、注視対象物距離算出処理において、注視対象物までの距離を算出する際に用いる式（２）について、図５を参照して説明する。左カメラ１０および右カメラ１１の撮像面Ｌ２における１ピクセルあたりの長さをＱ、切出し幅算出処理３２が算出する今回の切出し幅をＷｃｎｅｗとする。図５に示すように、レンズ面Ｌ１と撮像面Ｌ２の間の距離は焦点距離ｆである。また、被写体Ｏ２の位置において、画像切出し処理２３にて切り落とされる領域の幅はＢｃであり、該領域に該当する撮像面Ｌ２における領域の幅は、ＱＷｄ−ＱＷｃｎｅｗである。これらより、式（３）が成り立つ。
Ｄｃ：Ｂｃ＝ｆ：ＱＷｄ−ＱＷｃｎｅｗ・・・（３）
ここで、式（３）の内積と外積は等しいことから、式（４）が成り立つ。
Ｄｃ・（ＱＷｄ−ＱＷｃｎｅｗ）＝Ｂｃ・ｆ・・・（４）
この式（４）のＷｃｎｅｗに式（１）を代入して整理すると式（５）すなわち式（２）が得られる。
Ｄｃ＝Ｂｃ・ｆ／｛Ｑ・（Ｗｄ−Ｗｃ＋Ｗｕ）｝・・・（５）

次に、この立体映像処理装置１００の動作を、図６を参照して説明する。最初に、画像切出し処理２３、切出し幅算出処理３２、注視対象物距離算出処理３３は、切出し幅の初期値として、共通の値Ｗｃ０を得る（Ｓ１）。この値は、各処理に予めそれぞれ独自に保持していてもよいし、３つの処理の中のいずれか一つのみ或いは他の処理が保持しており、保持していない処理に通知するようにしてもよい。次に、左カメラ１０が出力した左映像データを左映像データ入力部２１が、右カメラ１１が出力した右映像データを右映像データ入力部２２が取込み（Ｓ２）、１フレームずつの画像データに分離して、それぞれ左画像データと右画像データを出力する。画像切出し処理２３は、左映像データ入力部２１から左画像データを受け、右映像データ入力部２２から右画像データを受けると、ステップＳ１で得た切出し幅の初期値Ｗｃ０にて、これらの画像データから切出しを行い、左切出し画像データと右切出し画像データを得て、立体映像合成処理２４に出力する（Ｓ３）。立体映像合成処理２４は、左切出し画像データと右切出し画像データを受けると、これらから三次元ディスプレイ１２表示用の立体映像データを生成して出力する（Ｓ４）。

ここで、処理終了でなければ、処理を継続して（Ｓ５）、視線位置データ入力部３１は、視線位置計測装置１３から、三次元ディスプレイ１２の画面上でのユーザの左目および右目の注視点の座標を取得し、これらを注視対象物距離算出処理３３と切出し幅算出処理３２とに出力する（Ｓ６）。注視対象物距離算出処理３３は、視線位置データ入力部３１から左目および右目の注視点の座標を受けると、左目の注視点のｘ座標から右目の注視点のｘ座標を引いて視線幅Ｗｕを算出する。次に、注視対象物距離算出処理３３は、前回の切出し幅Ｗｃとして切出し幅の初期値Ｗｃ０を用いて、式（２）により、注視点にある対象物までの距離Ｄｃを算出し、これを左カメラ１０および右カメラ１１に出力する（Ｓ７）。左カメラ１０および右カメラ１１は、距離Ｄｃを受けると、焦点を距離Ｄｃに合わせる。これにより、ユーザが注視している対象物に左カメラ１０および右カメラ１１の焦点が合う。

次に、切出し幅算出処理３２は、視線位置データ入力部３１から左目および右目の注視点の座標を受けると、左目の注視点のｘ座標から右目の注視点のｘ座標を引いて視線幅Ｗｕを算出する。次に、切出し幅算出処理３２は、前回の切出し幅Ｗｃとして切出し幅の初期値Ｗｃ０を用いて、式（２）により、今回の切出し幅Ｗｃｎｅｗを算出し、これを画像切出し処理２３に出力する（Ｓ８）。

次に、処理はステップＳ２に戻って、初回と同様に、左カメラ１０が出力した左映像データを左映像データ入力部２１が、右カメラ１１が出力した右映像データを右映像データ入力部２２が取込み（Ｓ２）、１フレームずつの画像データに分離して、それぞれ左画像データと右画像データを出力する。画像切出し処理２３は、左映像データ入力部２１から左画像データを受け、右映像データ入力部２２から右画像データを受けると、ここでは、切出し幅算出処理３２から受けた切出し幅Ｗｃｎｅｗを用いて、これらの画像データから切出しを行い、左切出し画像データと右切出し画像データを得て、立体映像合成処理２４に出力する（Ｓ３）。立体映像合成処理２４は、左切出し画像データと右切出し画像データを受けると、これらから三次元ディスプレイ１２表示用の立体映像データを生成して出力する（Ｓ４）。

ここで、処理終了でなければ、処理を継続して（Ｓ５）、視線位置データ入力部３１は、視線位置計測装置１３から、三次元ディスプレイ１２の画面上でのユーザの左目および右目の注視点の座標を取得し、これらを注視対象物距離算出処理３３と切出し幅算出処理３２とに出力する（Ｓ６）。注視対象物距離算出処理３３は、視線位置データ入力部３１から左目および右目の注視点の座標を受けると、左目の注視点のｘ座標から右目の注視点のｘ座標を引いて視線幅Ｗｕを算出する。次に、注視対象物距離算出処理３３は、切出し幅算出処理３２が前回算出した切出し幅を前回の切出し幅Ｗｃとして用いて、式（２）により、注視点にある対象物までの距離Ｄｃを算出し、これを左カメラ１０および右カメラ１１に出力する（Ｓ７）。左カメラ１０および右カメラ１１は、距離Ｄｃを受けると、焦点を距離Ｄｃに合わせる。これにより、ユーザが注視している対象物に左カメラ１０および右カメラ１１の焦点が合う。

次に、切出し幅算出処理３２は、視線位置データ入力部３１から左目および右目の注視点の座標を受けると、左目の注視点のｘ座標から右目の注視点のｘ座標を引いて視線幅Ｗｕを算出する。次に、切出し幅算出処理３２は、前回算出した切出し幅を前回の切出し幅Ｗｃとして用いて、式（２）により、今回の切出し幅Ｗｃｎｅｗを算出し、これを画像切出し処理２３に出力する（Ｓ８）。
以降、ステップＳ５にて処理終了になるまで、同様にして処理を継続する。

これにより、対象物の位置を自由に変化させたり、ユーザが映像中の任意の物体を対象物体に変更したりしながら映像撮影を行えるようになり、立体実写映像コンテンツの価値を広げることができる。特に従来技術にあるバリア方式三次元ディスプレイなどの平面型立体ディスプレイは装置の制限で奥行き感を感じることのできるレンジ幅が対象物の位置を基準にして有限で限られているが、本手法でターゲットの位置を奥行き方向に動的に変えることで、そのレンジ幅の制限を大幅に拡張することができる。また、本手法は特にWEBカメラのように観光スポットや街角などを撮影するような見る人によって注目したいもの（対象物）が異なるような映像を撮影するシーンで特に高い効果を発揮する。

また、図２における左映像データ入力部２１、右映像データ入力部２２、画像切出し処理２３、立体映像合成処理２４、視線位置データ入力部３１、切出し幅算出処理３２および注視対象物距離算出処理３３の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより左映像データ入力部２１、右映像データ入力部２２、画像切出し処理２３、立体映像合成処理２４、視線位置データ入力部３１、切出し幅算出処理３２および注視対象物距離算出処理３３の処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。

また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。

以上、この発明の実施形態を、図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

この発明の一実施形態による立体映像処理装置の概要を説明する図である。 同実施形態による立体映像撮影装置１００の構成を示すブロック図である。 同実施形態における左カメラ１０および右カメラ１１の撮影領域と被写体Ｏ１、被写体Ｏ２の関係を説明する図である。 同実施形態における式（１）を説明する図である。 同実施形態における式（２）を説明する図である。 同実施形態における立体映像撮影装置の動作を説明するフローチャートである。 従来の技術を説明する図である。

符号の説明

１０…左カメラ
１１…右カメラ
１２…三次元ディスプレイ
１３…視線位置計測装置
２０…３Ｄ合成処理
２１…左映像データ入力部
２２…右映像データ入力部
２３…画像切出し処理
２４…立体映像合成処理
３０…視線位置変換処理
３１…視線位置データ入力部
３２…切出し幅算出処理
３３…注視対象物距離算出処理
１００…立体映像処理装置

Claims (5)

1. 被写体を撮影し、左目用の映像を出力する左映像撮影手段と、前記被写体を撮影し、右目用の映像を出力する右映像撮影手段と、立体映像を表示する立体映像出力手段と、前記立体映像出力手段を見ているユーザの左右の目の注視点の座標を遂次測定する視線位置計測手段とが接続される立体映像処理装置において、
   前記左映像撮影手段が出力した左目用の映像の入力を受け付けて、１フレームずつの左画像に分離して出力する左映像データ入力手段と、
   前記右映像撮影手段が出力した右目用の映像の入力を受け付けて、１フレームずつの右画像に分離して出力する右映像データ入力手段と、
   前記視線位置計測手段が測定した、左目の注視点の座標と右目の注視点の座標とを遂次受け付ける視線位置データ入力手段と、
   前記視線位置データ入力手段が受け付けた左目の注視点の座標と右目の注視点の座標および、前回算出した画像の切出し幅に基づき、画像の切出し幅を逐次算出する切出し幅算出手段と、
   前記切出し幅算出手段が算出した切出し幅を受け、前記左映像データ入力手段が出力した左画像の右端から切出し幅分の画像を切出した左切出し画像と、前記右映像データ入力手段が出力した右画像の左端から切出し幅分の画像を切出した右切出し画像とを出力する画像切出し手段と、
   前記画像切出し手段が切出した左切出し画像と右切出し画像とから立体映像を生成して出力する立体映像合成手段と
   を備えることを特徴とする立体映像処理装置。
2. 前記切出し幅算出手段は、前回算出した切出し幅をＷｃ、前記視線位置データ入力手段が受け付けた左目の注視点のｘ座標から右目の注視点のｘ座標を引いた値をＷｕとして、今回の切出し幅Ｗｃｎｅｗ＝Ｗｃ−Ｗｕにより、今回の切出し幅Ｗｃｎｅｗを算出することを特徴とする請求項１に記載の立体映像処理装置。
3. 前記左映像撮影手段と前記右映像撮影手段は、入力された距離に焦点を合わせて、被写体を撮影し、
   前記視線位置データ入力手段が受け付けた左目の注視点の座標と右目の注視点の座標および、前記左映像撮影手段と前記右映像撮影手段との配置関係に基づき、注視点にある被写体までの距離を算出して、前記左映像撮影手段と前記右映像撮影手段とに出力する注視対象物距離算出手段を備えること
   を特徴とする請求項１または請求項２に記載の立体映像処理装置。
4. 前記左映像撮影手段と前記右映像撮影手段は、設置間隔Ｂｃで平行に設置され、撮影画像の横方向の画素数がＷｄ、焦点距離がｆであり、
   前記注視対象物距離算出手段は、前回算出した切出し幅をＷｃ、前記視線位置データ入力手段が受け付けた左目の注視点のｘ座標から右目の注視点のｘ座標を引いた値をＷｕとして、注視点にある被写体までの距離Ｄｃ＝Ｂｃ・ｆ／｛Q・（Ｗｄ−Ｗｃ＋Ｗｕ）｝（Ｑは単位あわせの係数）により、注視点にある被写体までの距離Ｄｃを算出すること
   を特徴とする請求項３に記載の立体映像処理装置。
5. 被写体を撮影し、左目用の映像を出力する左映像撮影手段と、前記被写体を撮影し、右目用の映像を出力する右映像撮影手段と、立体映像を表示する立体映像出力手段と、前記立体映像出力手段を視聴するユーザの左右の目の注視点の座標を遂次測定する視線位置計測手段と接続されるコンピュータを、
   前記左映像撮影手段が出力した左目用の映像の入力を受け付けて、１フレームずつの左画像に分離して出力する左映像データ入力手段、
   前記右映像撮影手段が出力した右目用の映像の入力を受け付けて、１フレームずつの右画像に分離して出力する右映像データ入力手段、
   前記視線位置計測手段が測定した、左目の注視点の座標と右目の注視点の座標とを遂次受け付ける視線位置データ入力手段、
   前記視線位置データ入力手段が受け付けた左目の注視点の座標と右目の注視点の座標および、前記左映像撮影手段と前記右映像撮影手段との配置関係に基づき、画像の切出し幅を逐次算出する切出し幅算出手段、
   前記切出し幅算出手段が算出した切出し幅を受け、前記左映像データ入力手段が出力した左画像の右端から切出し幅分の画像を切出した左切出し画像と、前記右映像データ入力手段が出力した右画像の左端から切出し幅分の画像を切出した右切出し画像とを出力する画像切出し手段、
   前記画像切出し手段が切出した左切出し画像と右切出し画像とから立体映像を生成して出力する立体映像合成手段
   として機能させるためのプログラム。
   
   

Images