JP2010081440A - 立体映像表示装置、立体映像表示方法、及び立体映像表示プログラム - Google Patents

Abstract

【課題】投射装置に与える立体映像再現用の投射画像の算出に要する計算コストを低減し、投射装置の台数や位置、スクリーンの大きさや投射画像の解像度等が変更された場合でも、当該変更後の構成に対応する投射画像を簡単に算出可能とする。
【解決手段】被写体を観察者側から見た複数の異なる水平方向位置となる視点位置でサンプリングして得た投射画像生成用画像が記憶装置２に記憶されており、投射用画素抽出部３３が、各プロジェクタ４に投射させる投射画像を構成する各画素に採用する画素として、水平方向読出位置算出部３１によって特定された視点位置における投射画像生成用画像から、水平方向読出位置算出部３１及び鉛直方向読出位置算出部３２によって算出された画素読出位置で示される位置にある画素を抽出し、各プロジェクタ４は、当該抽出された各画素で構成される投射画像を投射する。
【選択図】図４

Description

本発明は、立体映像表示装置、立体映像表示方法、及び立体映像表示プログラムに関し、特に、投射装置から画像を光線制御子に対して投射し、当該光線制御子の前後の空間に裸眼で観察可能な立体映像を表示させる技術に関する。

従来から、裸眼立体視の技術が採用された立体映像表示装置として、多数のプロジェクタから、水平方向に光線が通過して鉛直方向には光線が拡散する光学性能を有するスクリーン（光線制御子）に画像を投射し、当該スクリーンの前後で光線空間を再構成して空間像を再生する表示方式の立体映像表示装置が提案されている。当該立体映像表示装置は、プロジェクタと、スクリーンの光学特性とにより、指向性をもって飛行する複数の光線群を生成し、当該複数の光線が交差する点となる空間に仮想的な点光源を生成することで、観察者が、当該それぞれの点光源を、上記複数の光線が交差する位置に知覚できるようにしている。この立体映像表示装置は、上記光線群を十分に密とし、多数の仮想的な点光源群を構成させることで、観察者が立体的な像を裸眼で観察可能な状態を作り出している。
東京農工大 高木研究室［online］［平成20年9月26日検索］http://www.tuat.ac.jp/~e-takaki/study/display/display.html HOLOGRAFIKA Holographic display technology［online］［平成20年9月26日検索］http://www.holografika.com/

上記従来の立体映像表示装置の場合、立体映像を再現するためには、プロジェクタ群に対して、上記多数の仮想的な点光源群を構成できる立体映像再現に適した立体映像再現用画像（以下、投射画像という）を与える必要がある。当該投射画像を生成するためには、再現しようとする立体像の表面から発せられるべき光線群を追跡して、プロジェクタに向かう方向に逆に辿っていくことで、プロジェクタから発すべき光線を算出するレイトレーシング法（光線追跡法）が用いられる。しかし、当該レイトレーシング法は計算量が多いため、高解像度で高品質な立体像を得るためには膨大な計算時間が必要である。すなわち、プロジェクタに投射させる画像の大きさと、表現する映像の品質とに応じて計算コストが跳ね上がるという問題がある。このため、スクリーンの大きさや投射画像の解像度が変更された場合にも、同様の計算が必要になるため、これらスクリーンの大きさや投射画像の解像度の構成の変更を容易に行うことができなかった。また、上記レイトレーシング法により各プロジェクタに与えるべき投射画像を得る場合、プロジェクタの台数や位置等の構成が変更されると、再現しようとする立体像の表面から発せられて各プロジェクタに向かう光線群も変化することになり、各プロジェクタ毎に投射画像を改めて算出する必要が生じるため、プロジェクタの台数や位置等の構成が変更される度に、同様な計算コストを掛けて再度投射画像を生成し直さなくてはならない。

本発明は、上記の問題を解決するためになされたもので、プロジェクタ等の投射装置に与えるべき立体映像再現用の投射画像の算出に要する計算コストを低減し、プロジェクタの台数や位置、スクリーンの大きさや投射画像の解像度等の構成が変更された場合であっても、当該変更後の構成に対応する投射画像を簡単に算出可能とすることを目的とする。

本発明の請求項１に記載の発明は、被写体を観察者側から見た複数の異なる水平方向位置となる視点位置でサンプリングして得た投射画像生成用画像を記憶する記憶装置と、
水平方向に光線を通過させ、鉛直方向には光線を拡散させる光線制御子と、
水平方向に並べて配置され、前記光線制御子に対して画像を投射する複数の投射装置と、
前記複数の投射装置に投射させるそれぞれの投射画像を構成する各画素について、水平方向において、前記投射装置のイメージャ面上に提示される当該画素の位置から当該投射装置の光学中心位置を経て当該画素が前記光線制御子に投射される投射位置までを結ぶ直線の延長上にある視点位置を前記複数の視点位置の中から算出する視点位置算出部と、
前記複数の投射装置に投射させるそれぞれの投射画像を構成する各画素について、水平方向に、前記視点位置算出部によって算出された視点位置での投射画像生成用画像において、当該算出された視点位置と当該画素が前記光線制御子に投射される投射位置とを結ぶ直線上となる画素位置を、当該投射画像生成用画像からの水平方向における画素読出位置として算出する水平方向読出位置算出部と、
前記複数の投射装置に投射させるそれぞれの投射画像を構成する各画素について、鉛直方向に、前記視点位置算出部によって算出された視点位置での投射画像生成用画像において、前記投射装置のイメージャ面上に提示される当該画素位置から当該投射装置の光学中心位置を経て当該画素が前記光線制御子に投射される投射位置と、前記視点位置算出部によって算出された視点位置とを結ぶ直線上となる画素位置を、当該投射画像生成用画像からの鉛直方向における画素読出位置として算出する鉛直方向読出位置算出部と、
前記水平方向読出位置算出部によって算出された前記水平方向における画素読出位置と、前記鉛直方向読出位置算出部によって算出された前記鉛直方向における画素読出位置とで示される位置にある画素を、前記複数の投射装置に投射させるそれぞれの投射画像を構成する各画素に採用する画素として、当該投射画像を構成する各画素毎に前記視点位置算出部によって算出された視点位置での投射画像生成用画像から、当該投射画像を構成する各画素毎に抽出する投射用画素抽出部とを備え、
前記各投射装置は、前記投射用画素抽出部によって抽出された各画素で構成される投射画像を前記光線制御子に対して投射することで、当該光線制御子の前後の空間に立体像を表示させる立体映像表示装置である。

また、請求項２に記載の発明は、被写体を観察者側から見た複数の異なる水平方向位置及び鉛直方向位置となる視点位置でサンプリングして得た投射画像生成用画像を記憶する記憶装置と、
水平方向及び鉛直方向に光線を通過させる光線制御子と、
水平方向及び鉛直方向に並べて配置され、前記光線制御子に対して画像を投射する複数の投射装置と、
前記複数の投射装置に投射させるそれぞれの投射画像を構成する各画素について、水平面方向及び鉛直方向において、前記投射装置のイメージャ面上に提示される当該画素の位置から当該投射装置の光学中心位置を経て当該画素が前記光線制御子に投射される投射位置までを結ぶ直線の延長上にある視点位置を前記複数の視点位置の中から算出する視点位置算出部と、
前記複数の投射装置に投射させるそれぞれの投射画像を構成する各画素について、水平方向に、前記視点位置算出部によって算出された視点位置での投射画像生成用画像において、当該算出された視点位置と当該画素が前記光線制御子に投射される投射位置とを結ぶ直線上となる画素位置を、当該投射画像生成用画像からの水平方向における画素読出位置として算出する水平方向読出位置算出部と、
前記複数の投射装置に投射させるそれぞれの投射画像を構成する各画素について、鉛直面方向に、前記視点位置算出部によって算出された視点位置での投射画像生成用画像において、当該算出された視点位置と当該画素が前記光線制御子に投射される投射位置とを結ぶ直線上となる画素位置を、当該投射画像生成用画像からの鉛直方向における画素読出位置として算出する鉛直方向読出位置算出部と、
前記水平方向読出位置算出部によって算出された前記水平方向における画素読出位置と、前記鉛直方向読出位置算出部によって算出された前記鉛直方向における画素読出位置とで示される位置にある画素を、前記複数の投射装置に投射させるそれぞれの投射画像を構成する各画素に採用する画素として、当該投射画像を構成する各画素毎に前記視点位置算出部によって算出された視点位置での投射画像生成用画像から、当該投射画像を構成する各画素毎に抽出する投射用画素抽出部とを備え、
前記各投射装置は、前記投射用画素抽出部によって抽出された各画素で構成される投射画像を前記光線制御子に対して投射することで、当該光線制御子の前後の空間に立体像を表示させる立体映像表示装置である。

これらの発明によれば、被写体を観察者側から見た複数の異なる水平方向位置となる視点位置でサンプリングして得た投射画像生成用画像が記憶装置に記憶されており、投射用画素抽出部が、投射装置に投射させる投射画像を構成する各画素に採用する画素として、視点位置算出部によって算出された視点位置における投射画像生成用画像から、水平方向読出位置算出部及び鉛直方向読出位置算出部によって算出された画素読出位置で示される位置にある画素を抽出し、各投射装置は、当該抽出された各画素で構成される投射画像を投射するので、投射画像の生成処理を、レイトレーシング法よりも短時間で行うことができる。

すなわち、レイトレーシング法の場合、再現しようとする立体像の表面から発せられるべき光線群を追跡して、各プロジェクタに向かう方向に逆に辿り、各プロジェクタから発すべき光線を算出する必要があるため、立体像を再現可能な投射画像を得るには膨大な計算時間が必要であるが、本発明によれば、予め記憶装置に記憶されている複数の視点位置における投射画像生成用画像を用いて、当該投射画像生成用画像から、各投射装置の投射画像を構成するそれぞれの画素に対応する画素を抽出することによって、立体像を再現可能な投射画像を得るので、レイトレーシング法での投射画像生成のような多くの算出処理を要することなく投射画像を生成できる。

例えば、投射装置に投射させる画像を大きくしたり、表現する映像の品質（解像度）を高くする場合には、記憶装置に記憶させる投射画像生成用画像を、画像の大きさや映像の品質に合わせて更新すれば、投射画像の生成は、当該更新された投射画像生成用画像からの上記画素抽出処理で足りるので、このような場合にも、レイトレーシング法よりも低い計算コストで投射画像の再構成が可能である。

さらに、上記レイトレーシング法による投射画像生成の場合、各投射装置の台数や位置等の構成が変更されると、各プロジェクタ毎に投射画像を改めて算出する必要が生じるため、プロジェクタの台数や位置等の構成が変更される度に、最初から投射画像を生成し直さなくてはならないが、本発明によれば、各投射装置の台数や位置変更後に適した投射画像を、上記投射画像生成用画像からの画素抽出により生成可能なので、レイトレーシング法よりも短時間の処理で投射画像を生成できる。

また、請求項３に記載の発明は、請求項１又は請求項２に記載の立体映像表示装置であって、前記水平方向読出位置算出部は、前記算出された視点位置での投射画像生成用画像が存在しない場合には、当該算出された視点位置に最も近い視点位置での投射画像生成用画像を用いて、前記水平方向における画素読出位置を算出するものである。

また、請求項４に記載の発明は、請求項２又は請求項３に記載の立体映像表示装置であって、前記鉛直方向読出位置算出部は、前記算出された視点位置での投射画像生成用画像が存在しない場合には、鉛直方向において、当該算出された視点位置に最も近い視点位置での投射画像生成用画像を用いて、前記鉛直方向における画素読出位置を算出するものである。

この発明によれば、記憶装置に記憶されている投射画像生成用画像の数が少なく、投射画像を構成する各画素に対応する視点位置を有する投射画像生成用画像が存在しない場合であっても、投射装置によって投射されて再現される立体映像の画質を比較的劣化させることなく、投射画像を生成することができる。

また、請求項５に記載の発明は、水平方向に並べて配置された投射装置から、水平方向に光線を通過させて鉛直方向には光線を拡散させる光線制御子に対して投射画像を投射することで、当該光線制御子の前後の空間に立体像を表示させる立体映像表示方法であって、
被写体を観察者側から見た複数の異なる水平方向位置となる視点位置でサンプリングして得た投射画像生成用画像を記憶装置に蓄積する第１ステップと、
前記複数の投射装置に投射させるそれぞれの投射画像を構成する各画素について、水平面方向において、前記投射装置のイメージャ面上に提示される当該画素の位置から当該投射装置の光学中心位置を経て当該画素が前記光線制御子に投射される投射位置までを結ぶ直線の延長上にある視点位置を前記複数の視点位置の中から算出する第２ステップと、
前記複数の投射装置に投射させるそれぞれの投射画像を構成する各画素について、水平方向に、前記第２ステップで算出された視点位置での投射画像生成用画像において、当該算出された視点位置と当該画素が前記光線制御子に投射される投射位置とを結ぶ直線上となる画素位置を、当該投射画像生成用画像からの水平方向における画素読出位置として算出する第３ステップと、
前記複数の投射装置に投射させるそれぞれの投射画像を構成する各画素について、鉛直面方向に、前記第２ステップで算出された視点位置での投射画像生成用画像において、前記投射装置のイメージャ面上に提示される当該画素位置から当該投射装置の光学中心位置を経て当該画素が前記光線制御子に投射される投射位置と、前記第２ステップで特定された視点位置とを結ぶ直線上となる画素位置を、当該投射画像生成用画像からの鉛直方向における画素読出位置として算出する第４ステップと、
前記第３ステップで算出された前記水平方向における画素読出位置と、前記第４ステップで算出された前記鉛直方向における画素読出位置とで示される位置にある画素を、前記複数の投射装置に投射させるそれぞれの投射画像を構成する各画素に採用する画素として、当該投射画像を構成する各画素毎に前記第２ステップで算出された視点位置での投射画像生成用画像から、当該投射画像を構成する各画素毎に抽出する第５ステップと、
前記各投射装置に、前記第５ステップにおいて抽出された各画素で構成される投射画像を前記光線制御子に対して投射させることで、当該光線制御子の前後の空間に立体像を表示させる第６ステップと
を備えるものである。

また、請求項６に記載の発明は、被写体を観察者側から見た複数の異なる水平方向位置となる視点位置でサンプリングして得た投射画像生成用画像を記憶する記憶装置と、水平方向に光線を通過させて鉛直方向には光線を拡散させる光線制御子と、水平方向に並べて配置され、前記光線制御子に対して画像を投射する複数の投射装置と、当該複数の投射装置のそれぞれに投射させる投射画像を生成する情報処理装置とを備えた立体映像表示装置に適用される立体映像表示プログラムであって、
当該立体映像表示プログラムは、前記情報処理装置を、
前記複数の投射装置に投射させるそれぞれの投射画像を構成する各画素について、水平方向において、前記投射装置のイメージャ面上に提示される当該画素の位置から当該投射装置の光学中心位置を経て当該画素が前記光線制御子に投射される投射位置までを結ぶ直線の延長上にある視点位置を前記複数の視点位置の中から算出する視点位置算出部と、
前記複数の投射装置に投射させるそれぞれの投射画像を構成する各画素について、水平方向に、前記視点位置算出部によって算出された視点位置での投射画像生成用画像において、当該算出された視点位置と当該画素が前記光線制御子に投射される投射位置とを結ぶ直線上となる画素位置を、当該投射画像生成用画像からの水平方向における画素読出位置として算出する水平方向読出位置算出部と、
前記複数の投射装置に投射させるそれぞれの投射画像を構成する各画素について、鉛直方向に、前記視点位置算出部によって算出された視点位置での投射画像生成用画像において、前記投射装置のイメージャ面上に提示される当該画素位置から当該投射装置の光学中心位置を経て当該画素が前記光線制御子に投射される投射位置と、前記視点位置算出部によって算出された視点位置とを結ぶ直線上となる画素位置を、当該投射画像生成用画像からの鉛直方向における画素読出位置として算出する鉛直方向読出位置算出部と、
前記水平方向読出位置算出部によって算出された前記水平方向における画素読出位置と、前記鉛直方向読出位置算出部によって算出された前記鉛直方向における画素読出位置とで示される位置にある画素を、前記複数の投射装置に投射させるそれぞれの投射画像を構成する各画素に採用する画素として、当該投射画像を構成する各画素毎に前記視点位置算出部によって算出された視点位置での投射画像生成用画像から、当該投射画像を構成する各画素毎に抽出する投射用画素抽出部として、機能させるものである。

本発明によれば、プロジェクタ等の投射装置に与えるべき立体映像再現用の投射画像を算出するために要する計算コストを低減でき、プロジェクタの台数や位置、スクリーンの大きさや投射画像の解像度等の構成が変更された場合であっても、当該変更後の構成に対応する投射画像を簡単に算出することが可能になる。

本発明の第１実施形態に係る立体映像表示装置、立体映像表示方法、及び立体映像表示プログラムについて図面を参照して説明する。図１は、本発明の第１実施形態に係る立体映像表示装置の構成を示す概略図である。図２（ａ）（ｂ）は、スクリーンの光学性能を示す図である。

本発明の第１実施形態に係る立体映像表示装置１は、記憶装置２と、投射画像生成ＰＣ（パーソナルコンピュータ）３と、複数のプロジェクタ４と、スクリーン５とを備える。

記憶装置２は、ＨＤＤ等からなり、立体映像表示装置１による立体表示の対象とされる被写体を任意の視点でレンダリングされた複数の投射画像生成用画像を記憶する。記憶装置２は、レンダリングＰＣ６と接続されており、レンダリングＰＣ６によって生成された上記複数の投射画像生成用画像を記憶する。或いは、記憶装置２には、実世界を被写体としてカメラアレイシステム６１により撮影して得た異なる位置における複数視点での撮影画像が、上記複数の投射画像生成用画像として記憶される。

レンダリングＰＣ６は、立体映像表示装置１の記憶装置２に対して、上記複数の投射画像生成用画像を提供するためのパーソナルコンピュータである。レンダリングＰＣ６は、立体表示の対象とされる被写体を、観察者と同じ側となる複数の任意視点（被写体を観察者側の方向から視る場合における複数の任意視点）であって、異なる水平方向位置となる各視点位置においてレンダリングした画像を投射画像生成用画像として生成する。なお、レンダリングＰＣ６は、1台で当該レンダリングによる投射画像生成用画像の生成を行ってもよいし、複数台で当該投射画像生成用画像の生成を行ってもよい。

カメラアレイシステム６１は、複数のカメラ６１０（台数は任意）が異なる水平方向位置に並設されてなり、異なる水平方向位置となる各視点位置で実世界を被写体として撮影する機構である。カメラアレイシステム６１は、観察者と同じ側となる位置から複数のカメラ６１０により被写体が撮影される位置に配置される。

なお、本第１実施形態では、立体映像表示装置１を、レンダリングＰＣ６及びカメラアレイシステム６１を含まない構成としているが、立体映像表示装置１を、レンダリングＰＣ６又はカメラアレイシステム６１、或いはこれらの両方が含まれた構成とすることも可能である。

上記のように、記憶装置２には、レンダリングＰＣ６によるレンダリングで生成された投射画像生成用画像と、実世界撮影により得られた投射画像生成用画像のいずれもが記憶される場合があるが、以下には、これらレンダリング及び実世界撮影により得られたいずれの投射画像生成用画像にも視点画像の語を用いる。

投射画像生成ＰＣ（情報処理装置の一例）３は、上記記憶装置２に記憶されている複数の視点画像を用いて、プロジェクタ４に投射させる投射画像を、各プロジェクタ４毎に生成する処理を行う。また、投射画像生成ＰＣ３は、プロジェクタ４で投射する投射画像の配信、画像投射の同期制御等の処理を行う。すなわち、投射画像生成ＰＣ３は、予め任意の視点から取得されて記憶装置２に記憶されている上記複数の視点画像を基に、プロジェクタ４に投射させる投射画像を再構成する。

つまり、レンダリングにより視点画像を生成する場合でいえば、比較的処理時間を要するレンダリング処理は、プロジェクタ４に提供する投射画像の生成時よりも前の時点でレンダリングＰＣ６により完了されている。そして、当該レンダリング完了により生成された複数の視点画像が、視点画像毎にそれぞれの視点位置情報と関連付けられて、記憶装置２内にデータベース化されて記憶されている。プロジェクタ４に提供する投射画像の生成時には、比較的処理の軽い上記投射画像の再構成処理（視点画像を用いての投射画像生成処理。詳細は後述）を投射画像生成ＰＣ３が行うようになっている。

なお、図１には、立体映像表示装置１が、投射画像生成ＰＣ３を１台のみ備え、当該１台の投射画像生成ＰＣ３が、立体映像表示装置１に備えられる複数のプロジェクタ４に提供するそれぞれの投射画像再構成処理を全て行う構成を示している。但し、立体映像表示装置１が投射画像生成ＰＣ３をプロジェクタ４の台数分備えるものとし、1台の投射画像生成ＰＣ３が、それぞれ個別に対応付けられた1台のプロジェクタ４に提供する投射画像の再構成処理を行うようにしても構わない。

プロジェクタ（投射装置の一例）４は、立体映像表示装置１に複数備えられている。各プロジェクタ４は、投射画像記憶部４１と投射部４３とを備えている。投射画像記憶部４１は、ＨＤＤ等からなり、投射画像生成ＰＣ３によって各プロジェクタ４毎に生成された投射画像のうち、当該投射画像記憶部４１の備えられているプロジェクタ４が投射を担当する投射画像を投射画像生成ＰＣ３から受信して記憶する。投射部４３は、投射画像記憶部４１に接続されており、投射画像記憶部４１に記憶されている投射画像を投射する。複数のプロジェクタ４の各投射部４３は、水平方向に並べて配置されている。当該各投射部４３からスクリーン５に対して投射される像は、スクリーン５上で同一の大きさかつ同一の位置に重なって投射される。すなわち、各投射部４３の位置は、各投射部４３からスクリーン５に対して画像を投射した場合に、各投射部４３から投射されるそれぞれの画像が、スクリーン５のスクリーン面上において同じ大きさで同じ位置に投射される配置に設定される。

スクリーン（光線制御子の一例）５は、上記複数のプロジェクタ４の各投射部４３からの画像の投射を受ける。スクリーン５は、スクリーン５に対して水平方向に投射される光線と、スクリーン５に対して鉛直方向に投射される光線のそれぞれについて異なる光学性能を有する。図２（ａ）は複数のプロジェクタ４とスクリーン５との位置関係を上面図で示すものであるが、当該図２（ａ）に示すように、スクリーン５は、当該スクリーン５の背後から各投射部４３によって投射されてくる光線を、当該スクリーン５の正面側に向けて水平方向には通過させる光学性能を有する。また、図２（ｂ）は複数のプロジェクタ４とスクリーン５との関係を側面図で示すものであるが、当該図２（ｂ）に示すように、スクリーン５は、当該スクリーン５の背後から各投射部４３によって投射されてくる光線を、当該スクリーン５の正面側に向けて鉛直方向には拡散させる光学性能を有する。

立体映像表示装置１により表示される立体像を観察する観察者は、スクリーン５の正面側から、プロジェクタ４によりスクリーン５に向けて投射される映像を視認する。すなわち、観察者から見て、スクリーン５の背後からプロジェクタ４により投射画像を構成する各画素に応じた光線が投射され、観察者は、観察者とプロジェクタ４との間に位置するスクリーン５の前後の空間に表示される立体映像（例えば、立体像８１，８２）を裸眼で観察する。

なお、レンダリングＰＣ６による視点画像を生成するレンダリング処理と、投射画像生成ＰＣ３による投射画像の生成処理の詳細については後述する。

次に、立体映像表示装置１による立体映像表示時の光線空間生成（スクリーン５前後の空間における立体映像の生成）の概略を説明する。図３は、立体映像表示装置１におけるプロジェクタ４及びスクリーン５の位置関係を示す上面図であり、プロジェクタ４からスクリーン５に対して投射された光線により形成される点光源を示す図である。

立体映像表示装置１では、上記のようにスクリーン５は水平方向に光線を通過させる光学性能を有するため、立体映像表示装置１を上から平面視した場合、図３に示すように、各プロジェクタ４からスクリーン５に投射された指向性を有する光線は、水平方向にスクリーン５を通過する。このとき、スクリーン５を通過したそれぞれのプロジェクタ４からの光線は、スクリーン５の前後において交差する。例えば、プロジェクタ４Ａから投射される光線Ａ１はプロジェクタ４Ａから水平方向に拡がってスクリーン５方向に向かうため、当該光線Ａ１は、同様に水平方向に拡がってスクリーン５方向に向かうプロジェクタ４Ｂから投射される光線Ｂ１と、例えばスクリーン５の前方に位置する観察者から見て手前側のポイントＰ１，Ｐ２等で交差する。立体映像表示装置１は、このように複数の光線同士が交差することを用いて、当該交差点となる空間（本例ではポイントＰ１，Ｐ２等）に仮想的な点光源を生成する。これにより、立体映像表示装置１は、観察者が当該それぞれの点光源を、上記複数の光線が交差する位置に知覚できるようにしている。このような立体映像表示装置１による表示方式では、上記プロジェクタ４から投射される光線群（投射画像を構成する各画素に対応するそれぞれの光線でなる光線群）を十分に密とすることで多数の仮想的な点光源群を発生させ、当該多数の点光源群によって、図３に示すように再現させる立体像（立体像の面）を構成することによって、観察者が、立体的な像を裸眼で観察可能な状態を作り出す。

次に、投射画像生成ＰＣ３の構成を説明する。図４は投射画像生成ＰＣ３の概略構成を示す図である。

投射画像生成ＰＣ３は、上述した投射画像の生成処理を行うために、視点位置算出部３０と、水平方向読出位置算出部３１と、鉛直方向読出位置算出部３２と、投射用画素抽出部３３と、記憶部３４とを備えている。

また、投射画像生成ＰＣ３は、記憶装置２及び各プロジェクタ４と接続されている。なお、視点位置算出部３０、水平方向読出位置算出部３１、鉛直方向読出位置算出部３２、及び投射用画素抽出部３３は、制御回路等によりハード的に構成されていてもよいし、投射画像生成ＰＣ３に設けられているＨＤＤ等からなる記憶部３４等の記憶部に記憶されている本発明の一実施形態に係る立体映像表示プログラムに従って、投射画像生成ＰＣ３のＣＰＵが動作することで、当該ＣＰＵが視点位置算出部３０、水平方向読出位置算出部３１、鉛直方向読出位置算出部３２、及び投射用画素抽出部３３として機能するものであってもよい。

視点位置算出部３０は、各プロジェクタ４で用いるそれぞれの投射画像について、投射画像を構成する各画素毎に、水平方向における、各プロジェクタ４の配設位置を示すそれぞれの位置情報や、プロジェクタ４に投射させる投射画像の解像度（投射画像を構成する各画素の当該投射画像内での位置）等に応じて、記憶装置２に記憶されている異なる水平方向視点位置で取得された複数の視点画像のうち、いずれの視点位置で生成された視点画像を投射画像の生成に用いるかを算出（特定）する。

視点位置算出部３０によって、各プロジェクタ４で用いる投射画像を構成する各画素毎に、投射画像の生成に用いる視点画像が特定されるが、水平方向読出位置算出部３１は、更に、各プロジェクタ４で用いる投射画像を構成する各画素毎に、当該特定された視点画像を構成する画素の中でいずれの画素が、各プロジェクタ４で用いる投射画像を構成するそれぞれの画素に対応する画素であるかを特定するために、当該対応する画素（視点画像中の画素）についての水平方向における位置を算出する。

すなわち、立体映像表示装置１では、上記複数の視点画像の中のいずれかの視点画像から、各プロジェクタ４で用いる投射画像を構成するそれぞれの画素に対応する視点位置の視点画像を選定し、当該選定した視点画像を構成する複数画素の中から、各プロジェクタ４で用いる投射画像を構成するそれぞれの画素として用いる画素を抽出するが、水平方向読出位置算出部３１は、上記選定された視点画像を構成する複数画素のうち、各プロジェクタ４で用いる投射画像を構成するそれぞれの画素として採用する画素が存在する水平方向位置、すなわち、各プロジェクタ４で用いる投射画像を構成するそれぞれの画素として、上記選定された視点画像から読み出すべき水平方向における画素読出位置を算出する。

鉛直方向読出位置算出部３２は、各プロジェクタ４に投射させる投射画像を構成するそれぞれの画素について、当該各画素に対応する視点画像中の画素の鉛直方向における画素位置を算出する処理部である。鉛直方向読出位置算出部３２は、各プロジェクタ４の投射画像を構成するそれぞれの画素について、視点位置算出部３０により投射画像の生成に用いる視点画像が特定されると、この視点画像特定の算出対象とされている画素（投射画像を構成する画素）に対応する画素（視点画像中の画素）として、視点画像から読み出すべき画素の鉛直方向における画素読出位置を算出する。

まず、鉛直方向読出位置算出部３２は、各プロジェクタ４に投射させる投射画像を構成するそれぞれの画素について、鉛直方向における、その画素の投射画像中での画素位置と、プロジェクタ４の光学中心位置とに基づいて、当該画素がスクリーン５に投射された場合におけるスクリーン面上での投射位置を算出する。

そして、鉛直方向読出位置算出部３２は、算出したスクリーン面上での鉛直方向における上記画素の投射位置と、当該画素について視点位置算出部３０により特定されている視点画像の視点位置とに基づいて、当該画素（投射画像を構成する画素）に対応する画素（視点画像中の画素）として、当該視点画像から読み出すべき鉛直方向における画素読出位置を算出する。すなわち、鉛直方向読出位置算出部３２は、各プロジェクタ４に投射させる投射画像を構成するそれぞれの画素について、それぞれの画素毎に特定されている視点画像から読み出すべき鉛直方向における画素読出位置を算出する。

投射用画素抽出部３３は、上記水平方向読出位置算出部３１及び鉛直方向読出位置算出部３２による算出で得られた水平方向及び鉛直方向における画素読出位置に従って、各プロジェクタ４で用いられるそれぞれの投射画像をなす全ての画素に対応する画素を、各プロジェクタ４で用いられるそれぞれの投射画像をなす各画素毎に上記視点位置算出部３０により特定された視点画像から読み出す。

次に、各プロジェクタ４に投射させる投射画像を立体映像表示装置１により生成する処理を説明する。図５は各プロジェクタ４に投射させる投射画像を立体映像表示装置１により生成する処理を示すフローチャートである。図６はプロジェクタ４、スクリーン５、及び視点画像平面の関係を示す上面図、図７はプロジェクタ４、スクリーン５、及び視点画像平面の関係を示す側面図である。なお、図６におけるY方向は紙面に直交する方向であり、かつ紙面から手前側に向かってくる方向が＋Y方向である。図７におけるX方向は紙面に直交する方向であり、かつ紙面から手前側に向かってくる方向が＋X方向である。

〔視点画像の生成〕
まず、各プロジェクタ４に投射させる投射画像の生成に用いるために、記憶装置２にデータベース化して記憶させておく任意の視点位置（ここでは、説明の簡単化のために例として、水平一次元方向に視点が多数並べられている場合で考える）でレンダリングされた複数の視点画像の生成について説明する。

レンダリングＰＣ６は、立体映像表示装置１によって立体表示の対象とする被写体（立体表示対象物）を、観察者側からの視点であって、当該被写体に対して複数の異なる水平方向位置となる各視点位置でレンダリングした視点画像を生成する。以下、当該レンダリング時の視点位置を、当該被写体を仮想的にカメラで撮影したと仮定した場合における当該カメラの視点位置座標Eと表現して説明する。

当該カメラの視点位置座標Eは任意である。ここで、視点位置座標Eを、カメラの水平方向位置Ex、カメラ配置面高さEh、スクリーン面からカメラまでの距離（スクリーン面から観察者までの距離）Edとして、E＝（Ex,Eh,Ed）とする。

例えば、カメラ配置面高さEhとしては、標準的な人の眼の高さと想定される1700mm、スクリーン面からカメラまでの距離Edとしては2000mmが採用される。但し、カメラ配置面高さEh及びスクリーン面からカメラまでの距離Edをこれらの数値に限定するものではない。

カメラの水平方向位置Exは、複数の座標に配置してレンダリングをする必要がある。すなわち、カメラ配置面高さEh及びスクリーン面からカメラまでの距離Edは予め定められた値であるが、カメラの水平方向位置Exとしては複数の値が採用される。従って、カメラの視点位置座標Eは複数となる。隣り合う水平方向位置Ex同士の間隔、すなわち、カメラの配置間隔（撮影間隔）は任意であるが、当該間隔が細かいほど最終的に投射する立体映像の画質が向上する。各プロジェクタ４で用いる投射画像を構成するそれぞれの画素として採用可能な視点画像をなす画素の候補が増加するためである。

例えば、上記カメラの配置間隔1mmでカメラを水平方向に延びる直線上で移動させ、3000点から撮影する（水平方向位置EXとして3000個の値を採用）。この場合、想定するカメラ視点の移動距離は3000mmになる。カメラの各パラメータ（レンダリング画素数、画角、視点画像平面までの距離）は、一定でも良いしカメラ毎に任意でもよい。以下の説明では、説明を簡単にするために、カメラの各パラメータは一定とする。例えば、両画角は60度でカメラの向きはスクリーン面と平行とする。これらのパラメータは、後述する投射画像の生成時に影響し、例えば、画角が小さすぎると、各プロジェクタ４で用いる投射画像のそれぞれ画素に対応する画素を、記憶装置２にデータベース化されて記憶されている複数の視点画像上から見付けられない場合が生じ得る。このような事態を回避するためには、カメラにスクリーン５が必ず収まるような画角やカメラの姿勢を定義すればよい。

レンダリングＰＣ６によるレンダリングには、一般的なレイトレーシング法等のコンピュータグラフィックスの手法を用いる。

一般的なレイトレーシング法によるレンダリングとしては、例えば、図１２に示すように、視点７１と注目画素７２とから算出できる視線７３が最も視点寄りの位置となる被写体（立体表示対象物）７４との交点７５を算出し、当該交点７５における輝度値を求める。さらに、視線７３が交差した被写体の性質によって交点７５から視線の反射光・屈折光に相当する光線７６を想定し、各交点からの反射光・屈折光に相当する光線７６について新たに別の図形との交点が算出される場合は、当該新たな交点における輝度値を求める。当該交点から反射光・屈折光に相当する光線７６を更に飛ばして新たに別の図形との交点が算出される場合は、当該新たな交点における輝度値を求める、という分岐処理を繰り返す。そして、これら各々の交点における輝度値を所定の割合で加算してゆき、本実施形態では投射画像生成用画像をなすスクリーン上の各画素における輝度値を求める。さらに、上記各交点における輝度値を求めるとき、光源７７からの光線ベクトルを遮る図形があるかを判定して、被写体となる図形に影付を行うといったレンダリングも可能である。

このようにして得られた複数の視点位置座標E＝（Ex,Eh,Ed）での視点画像は、記憶装置２にデータベース化されて記憶される。例えば、視点画像の保存方法としては、各視点画像のデータをファイル形式で保存する方式を採用する。このとき、カメラ座標（視点位置E）と対応するようなファイル名を付けると、後の処理が容易になる（記憶装置２に記憶されている複数の視点画像の選択が容易になる等）。例えば、ファイル名を、img_m123.bmp, img_p324.bmp等としておき、スクリーン５の中心からX軸に−123mmと＋324mm移動した座標を意味させるようにする。

或いは、上記の条件を満たすように実物のカメラ（カメラアレイシステム６１等）をセッティングして、実世界を被写体として撮影して得た画像を、上記複数の視点画像として記憶装置２に記憶させて用いることが可能である。

〔投射画像生成処理の概略〕
投射画像生成処理の概略から説明する。立体映像表示装置１による投射画像生成処理時には、図５に示す一連の投射画像生成処理は、各プロジェクタ４で用いられるそれぞれの投射画像毎に行われる（立体映像表示装置１に設けられているプロジェクタ４の台数分だけ行われる）。

まず、図５に示すＳ１乃至Ｓ６のループに入る前に、視点位置算出部３０が、立体映像表示装置１に設けられている複数のプロジェクタ４のうち、投射画像を計算する対象となる1台のプロジェクタ４を定める。

続いて、視点位置算出部３０は、当該プロジェクタ４に用いる投射画像を構成する画素のうち、処理の対象とする注目画素を決定する（Ｓ１）。

そして、視点位置算出部３０は、当該注目画素について、記憶装置２に記憶されている異なる水平方向視点位置での複数の視点画像のうち、いずれの視点位置の視点画像が、当該注目画素に対応する視点画像であるかを決定（算出）する（Ｓ２）。すなわち、視点位置算出部３０は、当該注目画素に対応する視点位置を算出し、当該視点位置での視点画像を決定する。視点位置算出部３０により算出された当該視点位置及び当該視点位置における視点画像は、以下の水平方向読出位置算出部３１及び鉛直方向読出位置算出部３２での算出に共通して用いられる。

水平方向読出位置算出部３１は、Ｓ２で算出された視点位置の視点画像における、当該注目画素に対応する画素の水平方向における読出位置を算出する（Ｓ３）。

鉛直方向読出位置算出部３２は、Ｓ２で算出された視点位置の視点画像における、当該注目画素に対応する画素の鉛直方向における読出位置を算出する（Ｓ４）。

投射用画素抽出部３３は、上記水平方向読出位置算出部３１及び鉛直方向読出位置算出部３２による算出で得られた水平方向及び鉛直方向における画素読出位置で示される画素を、上記Ｓ２で算出された視点位置の視点画像から、上記注目画素に対応する画素として読み出す（Ｓ５）。すなわち、投射用画素抽出部３３は、投射画像中の上記注目画素として示されている画素に、当該視点画像から読み出した画素を採用する。

視点位置算出部３０は、Ｓ１乃至Ｓ５の処理の対象とする注目画素を当該投射画像の水平方向又は垂直方向に隣り合う画素に変更する（Ｓ６）。そして、当該新たな注目画素に対して水平方向読出位置算出部３１、鉛直方向読出位置算出部３２及び投射用画素抽出部３３により、Ｓ１乃至Ｓ５の処理が行われる。当該投射画像を構成する全ての画素についてＳ１乃至Ｓ５の処理を完了すると、当該プロジェクタ４についての投射画像生成処理が終了する（Ｓ６でＮＯ）。

なお、立体映像表示装置１の全てのプロジェクタ４での投射に用いられる投射画像について上記Ｓ１乃至Ｓ６の処理が完了し、全てのプロジェクタ４についての投射画像が生成されて、各プロジェクタ４が、対応するそれぞれの投射画像を投射画像生成ＰＣ３から得ると、各プロジェクタ４は、スクリーン５に対して当該投射画像の投射を行う。当該各プロジェクタ４による投射画像の投射により、立体映像表示装置１は、スクリーン５の前後の空間に立体像を表示させる。

〔座標定義及び既知のパラメータ〕
立体映像表示装置１における投射画像生成処理の説明のために必要な座標を定義すると共に、既知のパラメータを説明する。

原点(0,0,0)は、スクリーン５の中心から鉛直下、床面上と定義する。

座標系を右手系で定義し、図１に示すように、立体映像表示装置１においては、水平方向にX軸、鉛直方向にY軸、プロジェクタ４からスクリーン５を経て観察者に向かう方向にＺ軸をとる。スクリーン５のスクリーン面はX−Y平面となる。本実施形態では、各方向における距離の単位としてmmを用いる。

各プロジェクタ４で用いる投射画像のピクセル数を(Iw,Ih)とする。例えば、HD画質では、ピクセル数(Iw,Ih)＝(1920,1080)を採用する。

各プロジェクタ４からスクリーン５に実際に投射される像のスクリーン面上での大きさを(Sw,Sh)とする。例えば、70インチのスクリーン５では、(Sw,Sh) ＝(1500,872)mmを採用する。

スクリーン５のスクリーン面上に投射される像を構成する画素について、1画素の間隔を(Gw,Gh)とする。上記定義より、(Gw,Gh) ＝(Sw/Iw,Sh/Ih)となる。

スクリーン中心Sを(Sx,Sy,Sz)とする。原点(0,0,0)をスクリーン５の中心から鉛直下、床面上と定義しているため、S(Sx,Sy,Sz)＝(0,Oh,0)となる。なお、Ohは床面からスクリーン中心Sまでの高さ（例えば1400mm）である。

立体映像表示装置１に備えられる複数のプロジェクタ４のうち、投射画像生成処理の計算対象とするプロジェクタ４の座標をJ＝(Jx,Jy,Jz)とする。立体映像表示装置１に備えられる各プロジェクタ４は、高さJhの位置に水平に分布するように一定間隔で並べられる。当該床面から仮想プロジェクタ配置平面までの高さJhは、例えば、Ohと等しくする。また、スクリーン面からプロジェクタ群までの距離をJdとする。すなわち、あるプロジェクタ４の座標Jは(Jx,Jy,Jz)= (Jx,Jh,-Jd)となる。本投射画像生成処理での算出対象とされる投射画像とは、当該Jの位置を光学中心として投射され、スクリーン５のスクリーン面上に像を写すための画像である。Jは厳密には投射系であるプロジェクタ４の光学中心をさす。

上述したように、記憶装置２にデータベース化して記憶させる視点画像を得るためのレンダリングは、任意の視点にカメラを設置して被写体を撮影することに相当する。ある任意の視点におけるカメラ（＝仮想視点）の座標E＝(Ex,Ey,Ez)とする。

視点画像のピクセル数は(Cw,Ch)とする。

カメラ座標Eから仮想的な視点画像平面までの距離をCdとする。

カメラの水平、垂直画角をCθ＝(θx，θy)とする。

〔視点画像の決定〕
次に、視点画像の決定処理（図５のＳ２）について説明する。

前提として、視点位置算出部３０は、立体映像表示装置１に設けられている複数のプロジェクタ４のうち、1台のプロジェクタ４を定め、当該プロジェクタ４に用いる投射画像を構成する画素の中から、処理の対象とする注目画素を決定する。

視点位置算出部３０は、当該注目画素について、水平方向において、プロジェクタ４の配設位置情報と、プロジェクタ４のイメージャ面上に提示される投射画像における当該注目画素の画素位置情報L’と、プロジェクタ４の光学中心位置Jと、当該画素位置情報L’と光学中心位置Jとを結ぶ直線の延長上となる当該投射対象画素のスクリーン５のスクリーン面上での投射位置情報Lとを取得する。なお、これら各情報は、予め定まっている情報であるため、投射画像生成ＰＣ３のメモリ（図略）に記予め記憶されていてもよいし、必要に応じて操作者が投射画像生成ＰＣ３を操作してこれら各情報を投射画像生成ＰＣ３に入力してもよい（なお、以下既知の値について同じ）。続いて、視点位置算出部３０は、これら各情報に基づいて、光学中心位置Jと画素位置情報L’と投射位置Ｌとを結ぶ直線の延長上となる視点位置Eを算出し、記憶装置２に記憶されている複数の視点画像の中から、当該算出した視点位置Eを有する視点画像を決定する。

視点画像の決定処理を更に詳細に説明する。

プロジェクタ４で用いる投射画像は、プロジェクタ４のイメージャ面に提示され、プロジェクタ４の光学中心Jを経てスクリーン５に投射される。すなわち、当該投射画像中のある画素L’はスクリーン５のスクリーン面上の座標Lを通過する光に対応する。

図６に示すように、当該光の進行方向を水平面で考えると、プロジェクタ４はスクリーン５方向に向かって直進する光線群を生成し、スクリーン５は光を水平方向に通過（非拡散）させるため、画素L’で発光した色は、L’，J，Lを結ぶ直線上を飛行することになる。

ここで、プロジェクタ４のイメージャ面と、スクリーン５のスクリーン面は相似の関係になるため、イメージャ面の投射画像を構成する各画素が等間隔であれば、スクリーン５に投射された後の画像もスクリーン面上で等間隔に並ぶ。すなわち、スクリーン面上にて計算した結果は、仮想的な上記イメージャ面での計算結果として用いることができるため、以下では説明の簡単化のために、プロジェクタ４で用いる投射画像を構成する画素の点は、スクリーン面上の点として考える。

投射画像の画素位置Lに相応しい像は、順に1画素分GwずつIwだけ走査しながら求められればよい。L=(Lx,Ly,Lz)には以下の関係式が成り立つ。Lx=Sx+nGw (n:-Iw/2≦n≦Iw/2)、Lz=Szも成り立ち、Lyについては後述する。

プロジェクタ座標Jの注目画素L’に対応するスクリーン面上におけるLの像は、線分(L−J)上を飛行する光線を再現すればよい。その光線は、カメラが配置されている直線を含む鉛直面においてはEの位置を通過する。すなわち、E，L，Jは、立体映像表示装置１を水平面で考えたときに、同一線上に並ぶ。

この状態は、E=J+t(L−J)として表され、カメラによる撮影位置は、上述したように、予め定められた座標E＝(Ex,Ey,Ez)の位置で行われており、当該EzよりZ軸上の位置が既知であることからtを求めると、当該tに基づいて、その光線が撮影されているカメラの水平座標Exが求まる。すなわち、Ez＝Ed，Jz=−Jd，Lz＝Sz＝0は既知であるため、Ez＝Jz＋t(Lz−Jz)に基づいて、未知数がtのみであることから、当該tを算出する。当該tの算出により、Jx，Lxが既知であることから、Ex＝Jx＋t(Lx−Jx)に基づいてExを算出する。

〔水平方向読出位置の算出〕
次に、水平方向読出位置の算出（図５のＳ３）について説明する。

水平方向読出位置算出部３１は、視点位置算出部３０によって算出された視点位置Eから、上記特定した視点画像がなす平面までの距離Cdと、画角θxと当該視点画像のピクセル数とに基づいて算出された視点位置Eからの水平方向距離Dxにある位置を、前記特定された視点画像からの水平方向における画素読出位置として算出する。

当該水平方向読出位置の算出を更に詳細に説明する。

上述のようにカメラの水平座標Exが求まれば、予め記憶装置２に記憶されている複数の視点画像の中から、当該水平座標Exを視点位置とする視点画像を選択して参照することが可能となる。当該複数の視点画像取得時における上述したカメラの配置間隔（撮影間隔）が粗い場合は、正確にEの位置に対応する視点画像がない場合が生じる。この場合は、水平方向読出位置算出部３１は、(1)上記水平座標Exに最も近い視点位置を求めて、当該視点位置での視点画像を選択したり、(2)付近の画像から距離に応じた加重平均で計算した視点位置を算出して、当該視点位置での視点画像を用いてもよい。(2)の場合、例えば、存在しない視点位置Eの両側の視点位置E1，E2を候補として選択し、視点位置Eから視点位置E1までの距離，視点位置Eから視点位置E2までの距離に応じて、視点位置E1についての重みW1、視点位置E2についてのW2を算出する。例えば、視点位置Eから視点位置E1までの距離と、視点位置Eから視点位置E2までの距離の比が1:9の場合、W1＝0.9、W2＝0.1のように、距離が近い方の重みを高くする。後に、水平方向読出位置Rを求めるときに、視点位置E1と視点位置E2とから、それぞれR1とR2を求める。最後に、R＝W1*R1＋W2*R2などとして加重和を取る。

カメラの配置位置座標Eの側からみた場合、線分(L-E)上の物体Vは、視点画像平面上の点Rに投射されている。

水平方向のRの座標Rxは、Rx＝Ex+s(Lx-Ex)より、上記のようにZ軸上の関係が既知であることからsを求めることで決定される。すなわち、Rz=Ed−Cd，Lz=Sz，Ez＝Edは既知であるため、Rz＝Ez＋s(Lz−Ez)に基づいて、未知数がsのみであることから、当該sを算出する。Rx＝Ex＋s(Lx−Ex)では、Rxだけが未知数のため、当該式よりRxを算出する。

視点画像平面上での1画素の間隔Qwは、視点画像平面までの距離Cdと画角θx、視点画像のピクセル数(Cw,Ch)のCwを用い、
Qw=(Cd tan(θx/2)/(Cw/2) である。
Dxを視点画像中心からの距離(Rx-Ex)とし、n=Dx/Qwとしたとき、視点画像中の中央からn画素目が座標Rxに対応することがわかる。すなわち、Lの画像としてnの位置にある像（画素）を選択すればよい。nが整数でない場合、水平方向読出位置算出部３１は、(3)nに最も近い水平方向位置にある像（画素）を選択したり、(4)付近の像（画素）から、nからの距離に応じた加重平均で計算した像（画素）を算出して、当該視点位置での視点画像を用いてもよい。

〔鉛直方向読出位置の算出〕
次に、鉛直方向読出位置の算出について説明する。

鉛直方向読出位置算出部３２は、鉛直方向において、プロジェクタ４に投射させる画像を構成する各画素について、上記プロジェクタ４のイメージャ面上に提示される投射対象画素の画素位置L’と、プロジェクタ４の光学中心位置Jと、当該画素位置情報L’と光学中心位置Jとを結ぶ直線の延長上となる当該投射対象画素のスクリーン５上での投射位置Lを得る。

そして、鉛直方向読出位置算出部３２は、上記投射位置Lと、上記水平方向読出位置算出部３１によって算出された視点位置Eとを結ぶ直線上に存在する、当該視点位置Eを有する視点画像平面上の鉛直方向位置を、当該視点位置Eを有する視点画像からの鉛直方向における画素読出位置として算出する。

当該鉛直方向読出位置の算出を更に詳細に説明する。

プロジェクタ４で用いる投射画像は、プロジェクタ４のイメージャ面に提示され、プロジェクタ４の光学中心Jを経てスクリーン５に投射される。このとき、図７に示すように、当該光の進行方向を垂直面で考えると、プロジェクタ４の光学中心Jを通過してスクリーン面上のLに届く光線は、スクリーン５により垂直方向に拡散される。ここで、視点画像の仮想的な視点位置として高さEhを想定しているため、Lの位置に表現すべき像は、EとLを結ぶ直線上にある像となる。例えば、Vの座標が該当する。

上述した水平方向読出位置の算出により、既に参照すべき視点位置E（カメラの配置座標E）と、当該視点位置Eでの視点画像は特定済みである。

視点画像面における垂直方向のRの座標Ryは、R=E＋s(L−E)より、Z軸上の関係が既知であることからsを求めることで決定される。このsは上記水平方向におけるsと同じ値であるため、Ry＝Ey＋s(Ly−Ey)では、Ryだが未知数のため、当該式よりRyを算出する。

視点画像平面上での1画素の間隔Qhは、視点画像平面までの距離Cdと画角θy、視点画像のピクセル数(Cw,Ch)のChを用い、
Qh=(Cd tan(θy/2)/(Ch/2) である。

Dyを視点画像中心からの距離(Ry−Ey)として、n=Dy/Qhとしたとき、視点画像内の中央からm画素目が座標Ryに対応することがわかる。すなわち、Lの画像としてmの位置にある像を選択すればよい。mが整数でない場合、鉛直方向読出位置算出部３２は、丸めて最近傍の数値を選択したり、両側の像から加重平均で像を生成してもよい。

〔最終的に生成される投射画像〕
当該鉛直方向読出位置算出部３２による鉛直方向における画素読出位置の算出が終了すると、当該水平方向読出位置算出部３１及び鉛直方向読出位置算出部３２による算出の対象とされている画素について、水平方向及び鉛直方向における視点画像平面上での画素読み出し位置が決定する。すなわち、立体映像表示装置１に設けられている複数のプロジェクタ４のうちのいずれかのプロジェクタ４で用いる投射画像を構成する画素であって、当該算出の対象とされている画素として用いる視点画像中の画素が決定する。当該水平方向読出位置算出部３１及び鉛直方向読出位置算出部３２による算出を、あるプロジェクタ４の投射画像を構成する全画素について行い、当該全画素についてそれぞれ視点画像と水平方向及び鉛直方向における画素読出位置とが決定すると、投射用画素抽出部３３が、当該決定した各画素についての画素読出位置(Dx,Dy)に基づいて、投射画像を構成する各画素それぞれについて、それぞれの視点画像から画素読出位置(Dx,Dy)が示す位置の画素を読み出し、読み出した各画素を用いて、当該プロジェクタ４の投射画像を生成する。

本方式においては、カメラの配置箇所は任意であるが、高さは想定する視点の高さと等しくした方が立体画像の再現度が高くなる。スクリーン５からの距離は、再現したい立体映像を完全に含む程度の距離を選択すればよい。

カメラの配置方法としては線上としたが、曲線上でも面上に複数配置してもよい。視点画像を増やすことにより、Eの候補が増えるため、より正確な立体の再現が可能となる。

投射画像の生成部分のアルゴリズムは簡易な式であるため、プロジェクタの座標や台数が変更されたとしても、長い時間を要する視点画像自体には変更が不要であるため、高速に再計算が可能である。

また、上記説明では、本発明の第１実施形態を、立体映像表示装置及び立体映像表示プログラムとして説明したが、上述した投射画像の生成処理及び当該生成した投射画像を立体映像表示装置１により表示する手法は、本発明に係る立体映像表示方法の第１実施形態を示すものでもある。

次に、本発明の第２実施形態に係る立体映像表示装置、立体映像表示方法、及び立体映像表示プログラムについて図面を参照して説明する。図８は、本発明の第２実施形態に係る立体映像表示装置の構成を示す概略図である。図９（ａ）（ｂ）は、第２実施形態に係る立体映像表示装置が備えるスクリーンの光学性能を示す図である。なお、第２実施形態の説明においては、第１実施形態と同様の構成及び処理は説明を省略する（第２実施形態において特に明示しない構成及び処理は第１実施形態と同様である）。

本発明の第２実施形態に係る立体映像表示装置１０は、記憶装置２０と、投射画像生成ＰＣ３００と、複数のプロジェクタ４０と、スクリーン５０とを備える。

レンダリングＰＣ６０は、立体表示の対象とされる被写体に対して、複数の異なる水平方向位置及び鉛直方向位置となる各視点位置（観察者と同じ側から被写体を視た場合における複数の任意視点位置）で得た投射画像生成用画像を生成する。

カメラアレイシステム６００は、複数のカメラ６１０（台数は任意）が、仮想的な鉛直平面上において水平方向位置及び鉛直方向に異なる各位置に並設されてなり、これら位置（各視点位置）において実世界を被写体として撮影する機構である。カメラアレイシステム６００は、観察者と同じ側となる位置から複数のカメラ６１０により被写体が撮影される位置に配置される。

なお、本第２実施形態では、立体映像表示装置１０を、レンダリングＰＣ６０及びカメラアレイシステム６００を含まない構成としているが、立体映像表示装置１０を、レンダリングＰＣ６０又はカメラアレイシステム６００、或いはこれらの両方が含まれた構成とすることも可能である。

記憶装置２０は、レンダリングＰＣ６０によって生成された上記複数の投射画像生成用画像、或いは、実世界を被写体としてカメラアレイシステム６００により撮影して得た複数視点での撮影画像が、上記複数の投射画像生成用画像として記憶される。なお、第２実施形態においても、レンダリング及び実世界撮影により得られたいずれの投射画像生成用画像にも視点画像の語を用いる。

投射画像生成ＰＣ３００は、上記記憶装置２０に記憶されている複数の視点画像を用いて、プロジェクタ４０に投射させる投射画像を各プロジェクタ４０毎に生成する処理を行う。すなわち、投射画像生成ＰＣ３００は、予め任意の視点（観察者側から被写体を見た場合における複数の異なる水平方向位置及び鉛直方向位置となる視点位置）から取得されて記憶装置２０に記憶されている上記複数の視点画像を基に、プロジェクタ４０に投射させる投射画像を再構成する。

プロジェクタ（投射装置の一例）４０は、立体映像表示装置１０に複数備えられている。各プロジェクタ４０は、投射画像記憶部４１と投射部４３とを備えている。複数のプロジェクタ４０の各投射部４３は、水平方向及び鉛直方向の両方向に並べて配置されている。各投射部４３の位置は、各投射部４３からスクリーン５０に対して画像を投射した場合に、各投射部４３から投射されるそれぞれの画像が、スクリーン５０のスクリーン面上において同じ大きさで同じ位置に投射される配置に設定される。

スクリーン（光線制御子の一例）５０は、上記複数のプロジェクタ４０の各投射部４３からの画像の投射を受ける。図９（ａ）は複数のプロジェクタ４０とスクリーン５０との位置関係を上面図で示すものであるが、当該図９（ａ）に示すように、スクリーン５０は、当該スクリーン５０の背後から各投射部４３によって投射されてくる光線を、当該スクリーン５０の正面側に向けて水平方向に通過させる光学性能を有する。また、図９（ｂ）は複数のプロジェクタ４０とスクリーン５０との関係を側面図で示すものであるが、当該図９（ｂ）に示すように、第２実施形態に係る立体映像表示装置１０のスクリーン５０は、当該スクリーン５０の背後から各投射部４３によって投射されてくる光線を、当該スクリーン５０の正面側に向けて鉛直方向にも通過させる光学性能を有する。

立体映像表示装置１０では、スクリーン５０の背後からプロジェクタ４０により投射画像を構成する各画素に応じた光線が投射され、観察者は、観察者とプロジェクタ４０との間に位置するスクリーン５０の前後の空間に表示される立体映像を裸眼で観察する。

なお、レンダリングＰＣ６０による視点画像を生成するレンダリング処理と、投射画像生成ＰＣ３００による投射画像の生成処理の詳細については後述する。

次に、立体映像表示装置１０による立体映像表示時の光線空間生成（スクリーン５０前後の空間における立体映像の生成）の概略を説明する。図１０は、立体映像表示装置１におけるプロジェクタ４０及びスクリーン５０の位置関係を示す側面図であり、プロジェクタ４０からスクリーン５０に対して投射された光線により形成される点光源を示す図である。なお、水平方向における立体映像表示装置１０による立体映像表示時の光線空間生成は、第１実施形態に係る立体映像表示装置１と同様であり、説明を省略する。

立体映像表示装置１０では、上記のようにスクリーン５０は鉛直方向にも光線を通過させる光学性能を有するため、立体映像表示装置１０を上から側面視した場合、図１０に示すように、各プロジェクタ４０からスクリーン５０に投射された指向性を有する光線は、鉛直方向にスクリーン５０を通過する。このとき、スクリーン５０を通過したそれぞれのプロジェクタ４０からの光線は、スクリーン５０の前後において交差する。例えば、プロジェクタ４０Ａから投射される光線Ａ１０はプロジェクタ４０Ａから鉛直方向に拡がってスクリーン５０方向に向かうため、当該光線Ａ１０は、同様に鉛直方向に拡がってスクリーン５０方向に向かうプロジェクタ４０Ｂから投射される光線Ｂ１０と、例えばスクリーン５０の前方に位置する観察者から見て手前側のポイントＰ１０，Ｐ２０等で交差し、仮想的な点光源を生成する。これにより、立体映像表示装置１０は、鉛直方向においても、観察者が当該それぞれの点光源を、上記複数の光線が交差する位置に知覚できるようにしている。

次に、上述した図４を用いて、投射画像生成ＰＣ３００の構成を説明する。

投射画像生成ＰＣ３００も、上述した投射画像の生成処理を行うために、概略構成としては第１実施形態の投射画像生成ＰＣ３と同様に、視点位置算出部３０と、水平方向読出位置算出部３１と、鉛直方向読出位置算出部３２と、投射用画素抽出部３３と、記憶部３４とを備えている。

第２実施形態に係る投射画像生成ＰＣ３００の水平方向読出位置算出部３１は、第１実施形態の投射画像生成ＰＣ３の場合と同様であるため、説明を省略する。

第２実施形態に係る投射画像生成ＰＣ３００の視点位置算出部３０は、各プロジェクタ４０で用いるそれぞれの投射画像について、投射画像を構成する各画素毎に、水平方向及び鉛直方向における、各プロジェクタ４の配設位置を示すそれぞれの位置情報や、プロジェクタ４に投射させる投射画像の解像度（投射画像を構成する各画素の当該投射画像内での位置）等に応じて、記憶装置２０に記憶されている上記複数の視点画像のうち、いずれの視点位置で生成された視点画像を投射画像の生成に用いるかを算出（特定）する。

視点位置算出部３０によって算出された視点位置での視点画像は、水平方向読出位置算出部３１及び鉛直方向読出位置算出部３２に共通して用いられる。すなわち、水平方向読出位置算出部３１は、視点位置算出部３０によって算出された視点位置での視点画像における水平方向画素読出位置を算出し、当該視点位置算出部３０によって算出された視点位置での視点画像における鉛直方向画素読出位置を鉛直方向読出位置算出部３２が算出する。

鉛直方向読出位置算出部３２は、各プロジェクタ４０に投射させるそれぞれの投射画像について、当該投射画像を構成する各画素に対応する視点画像中の鉛直方向における画素位置を算出する処理部である。

投射用画素抽出部３３は、上記水平方向読出位置算出部３１及び鉛直方向読出位置算出部３２による算出で得られた水平方向及び鉛直方向における画素読出位置に従って、各プロジェクタ４０で用いられるそれぞれの投射画像をなす全ての画素に対応する画素を、各プロジェクタ４０で用いられるそれぞれの投射画像をなす各画素毎に、各画素毎に視点位置算出部３０によって算出された視点位置での視点画像から読み出す。

次に、各プロジェクタ４０に投射させる投射画像を立体映像表示装置１０により生成する処理を、上述した図５及び図６と新たな図１１を参照して説明する。なお、図１１におけるX方向は紙面に直交する方向であり、かつ紙面の奥側に向かっていく方向が＋X方向である。

〔視点画像の生成〕
レンダリングＰＣ６０は、立体映像表示装置１によって立体表示の対象とする被写体を、観察者側からの視点であって、当該被写体に対して複数の異なる水平方向位置及び鉛直方向位置で示される各視点位置でレンダリングした視点画像を生成する（ここでは、説明の簡単化のために例として、水平及び鉛直の２次元方向に視点が多数並べられている場合で考える）。つまり、第２実施形態における視点画像の生成は、第１実施形態と同様の複数の異なる水平方向位置の各視点位置での視点画像生成を、当該被写体と同じ被写体に対して複数の異なる鉛直方向位置の各視点位置において行うことによる。

なお、異なる水平方向位置の各視点位置での視点画像生成と同様となる説明は記載を省略する。

第２実施形態では、カメラの鉛直方向位置（カメラ配置面高さ）Ehに複数の座標位置を採ってレンダリングをする。但し、本実施形態では、プロジェクタ４０とスクリーン５０とを結ぶZ方向におけるカメラ位置座標Ezは一定である。

例えば、上記カメラの配置間隔1mmでカメラを鉛直方向に延びる直線上で移動させ、3000点から撮影する（鉛直方向位置Ehとして3000個の値を採用）。この場合、想定するカメラ視点の移動距離は鉛直方向に3000mmになる。

このように、異なるそれぞれの鉛直方向位置において、異なる水平方向位置で得られた複数（本実施形態では、鉛直方向3000個×水平方向3000個＝9,000,000個）の視点位置座標E＝（Ex,Ey,Ed）＝（Ex,Ey,Ez）での視点画像は、記憶装置２０にデータベース化されて記憶される。

或いは、上記の条件を満たすように実物のカメラ（カメラアレイシステム６００等）をセッティングして、実世界を被写体として撮影して得た画像を、上記複数の視点画像として記憶装置２０に記憶させて用いることが可能である。

〔投射画像生成処理の概略〕
投射画像生成処理の概略を上述の図５を用いて説明する。

まず、図５に示すＳ１乃至Ｓ６のループに入る前に、視点位置算出部３０が、立体映像表示装置１に設けられている複数のプロジェクタ４０のうち、投射画像を計算する対象となる1台のプロジェクタ４０を定める。

続いて、視点位置算出部３０は、当該プロジェクタ４０に用いる投射画像を構成する画素のうち、処理の対象とする注目画素を決定する（Ｓ１）。

そして、視点位置算出部３０は、当該注目画素に対応する水平方向における視点位置を算出し、さらに、当該注目画素に対応する鉛直方向における視点位置を算出し、記憶装置２０に記憶されている複数の視点画像のうち、これら水平方向における視点位置及び鉛直方向における視点位置を有する視点画像を、当該注目画素に対応する視点画像として決定（算出）する（Ｓ２）。視点位置算出部３０により算出された当該視点位置及び当該視点位置における視点画像は、以下の水平方向読出位置算出部３１及び鉛直方向読出位置算出部３２での算出に共通して用いられる。

水平方向読出位置算出部３１は、Ｓ２で算出された視点位置の視点画像における、当該注目画素に対応する画素の水平方向における読出位置を算出する（Ｓ３）。

鉛直方向読出位置算出部３２は、Ｓ２で算出された視点位置の視点画像における、当該注目画素に対応する画素の鉛直方向における読出位置を算出する（Ｓ４）。

投射用画素抽出部３３は、上記水平方向読出位置算出部３１及び鉛直方向読出位置算出部３２による算出で得られた水平方向及び鉛直方向における画素読出位置で示される画素を、上記Ｓ２で算出された視点位置の視点画像から、上記注目画素に対応する画素として読み出す（Ｓ５）。すなわち、投射用画素抽出部３３は、投射画像中の上記注目画素として示されている画素に、当該視点画像から読み出した画素を採用する。

視点位置算出部３０は、Ｓ１乃至Ｓ５の処理の対象とする注目画素を当該投射画像の水平方向又は垂直方向に隣り合う画素に変更する（Ｓ６）。そして、当該新たな注目画素に対して水平方向読出位置算出部３１、鉛直方向読出位置算出部３２及び投射用画素抽出部３３により、Ｓ１乃至Ｓ５の処理が行われる。当該投射画像を構成する全ての画素についてＳ１乃至Ｓ５の処理を完了すると、当該プロジェクタ４０についての投射画像生成処理が終了する（Ｓ６でＮＯ）。

なお、立体映像表示装置１０の全てのプロジェクタ４０での投射に用いられる投射画像について上記Ｓ１乃至Ｓ６の処理が完了し、全てのプロジェクタ４０についての投射画像が生成されて、各プロジェクタ４０が、対応するそれぞれの投射画像を投射画像生成ＰＣ３００から得ると、各プロジェクタ４０は、スクリーン５０に対して当該投射画像の投射を行う。当該各プロジェクタ４０による投射画像の投射により、立体映像表示装置１０は、スクリーン５０の前後の空間に立体像を表示させる。

〔視点画像の決定〕
上記視点画像の決定処理を補足する。

水平方向における視点位置Exは、第１実施形態と同様にして、Lxに対するExを求めることができる。一方、鉛直方向における視点位置Eyについても、第１実施形態における水平方向における視点位置Exの考え方と同様にして、図１１に示す立体映像表示装置１０を側面視した状態で、鉛直方向における、注目画素位置L’、プロジェクタ４０の光学中心J、スクリーン５０に投射される当該注目画素の投射位置Lに基づいて、当該注目画素のスクリーン面での鉛直方向投射位置Lyに対する鉛直方向視点位置Eyを求めることができる。ここで、上述したようにカメラ位置座標Ezは一定である。これにより、視点位置算出部３０は、これらEx,Ey,Ezで示される視点位置座標E＝（Ex,Ey,Ez）を視点位置に有する視点画像を、上記注目画素に対応する視点画像として決定する。

〔水平方向読出位置の算出〕
水平方向読出位置の算出は、第１実施形態と同様である。

〔鉛直方向読出位置の算出〕
鉛直方向読出位置の算出について図１１を参照して説明する。

鉛直方向読出位置算出部３２は、視点位置算出部３０によって算出された視点位置Eから、上記特定した視点画像がなす平面までの距離Cdと、画角θyと当該視点画像のピクセル数とに基づいて算出された視点位置Eからの鉛直方向距離Dyにある位置を、前記特定された視点画像からの鉛直方向における画素読出位置として算出する。

視点位置算出部３０によって、上記のように、鉛直方向における視点位置（カメラの鉛直座標）Eyが求まっているので、予め記憶装置２に記憶されている複数の視点画像の中から、当該鉛直座標Eyを視点位置とする視点画像を選択して参照することが可能となる。但し、本第２実施形態では、視点位置算出部３０によって算出された視点位置座標E＝（Ex,Ey,Ez）を有する視点画像が選択されて参照される。

カメラの配置位置座標Eの側からみた場合、線分(L−E)上の物体Vは、視点画像平面上の点Rに投射されている。

鉛直方向のRの座標Ryは、Ry＝Ey＋t(Ly−Ey)より、上記のようにZ軸上の関係が既知であることから、第１実施形態における水平方向における読出画素位置算出と同様の考え方により、sを求めることで決定される。

〔最終的に生成される投射画像〕
このようにして、あるプロジェクタ４０の投射画像を構成する全画素についてそれぞれ視点画像と水平方向及び鉛直方向における画素読出位置とが決定すると、投射用画素抽出部３３は、当該決定した各画素についての画素読出位置(Dx,Dy)に基づいて、投射画像を構成する各画素それぞれについて、それぞれの視点画像から画素読出位置(Dx,Dy)が示す位置の画素を読み出し、読み出した各画素を用いて、当該プロジェクタ４０の投射画像を生成する。

本発明の第２実施形態についての上記説明は、第１実施形態と同様に、立体映像表示装置、立体映像表示プログラム及び立体映像表示方法を示すものである。

なお、本発明は上記実施の形態の構成に限られず種々の変形が可能である。例えば、上記第２実施形態では、記憶装置２０には、水平及び鉛直の２次元方向において異なる複数の視点位置での視点画像が記憶され、レンダリングに用いる仮想的なカメラの位置座標Ezは一定としている例を示したが、さらに、当該仮想的なカメラの位置座標Ezも異ならせて三次元における任意の視点位置で視点座標を生成して記憶装置２０に記憶させ、当該視点座標を用いて投射画像生成ＰＣ６０により投射画像を再構成するようにすることも可能である。

この場合、あるプロジェクタ４０の投射画像を構成する画素の１つである注目画素L’について考えると、水平方向及び鉛直方向共に、三次元ベクトルで考えて視点位置Eを求める。視点位置Eは、記憶装置２０のデータベース内の視点画像の視点位置として記憶されている視点位置の中で、J＋t(L−J)と定義される直線に最も近い視点位置と考えることができる。ここで、LとJは、三次元の座標が既知である。

最も近い上記データベース内の視点位置としては、ある視点位置Eiと直線(J＋t(L−J))との距離をKiとすれば、すべての視点位置を対象として、Kiが最小となる視点位置Eiを探すことになる。上記データベース内の視点位置Eiは三次元の座標として定義されているので、Kiは既知の点と既知の直線との距離として幾何学的に求まり、直線に最も近いEが一意に探し出される。視点位置Eが求まれば、水平方向は第１実施形態と同様の方法でDxが求まり、鉛直方向も上述第２実施形態の鉛直方向と同様の考え方でDyを求めることができる。

また、上記各実施形態として示した本発明に係る立体映像表示装置、立体映像表示プログラム及び立体映像表示方法の構成及び処理は、単なる一例に過ぎず、本発明に係る立体映像表示装置、立体映像表示プログラム及び立体映像表示方法の構成及び処理を、上述した構成及び処理に限定する趣旨ではない。

本発明の第１実施形態に係る立体映像表示装置の構成を示す概略図である。 （ａ）（ｂ）は、スクリーンの光学性能を示す図である。 立体映像表示装置におけるプロジェクタ及びスクリーンの位置関係を示す上面図であり、プロジェクタからスクリーンに対して投射された光線により形成される点光源を示す図である。 投射画像生成ＰＣの概略構成を示す図である。 各プロジェクタに投射させる投射画像を立体映像表示装置により生成する処理を示すフローチャートである。 プロジェクタ、スクリーン及び視点画像平面の関係を示す上面図である。 プロジェクタ、スクリーン及び視点画像平面の関係を示す側面図である。 本発明の第２実施形態に係る立体映像表示装置の構成を示す概略図である。 （ａ）（ｂ）は、第２実施形態に係る立体映像表示装置が備えるスクリーンの光学性能を示す図である。 立体映像表示装置におけるプロジェクタ及びスクリーンの位置関係を示す側面図であり、プロジェクタからスクリーンに対して投射された光線により形成される点光源を示す図である。 立体映像表示装置におけるプロジェクタ及びスクリーンの位置関係を示す側面図であり、プロジェクタからスクリーンに対して投射された光線により形成される点光源を示す図である。 レイトレーシング法によるレンダリングを説明するための図である。

符号の説明

１，１０ 立体映像表示装置
２，２０ 記憶装置
３，３００ 投射画像生成ＰＣ
３０ 視点位置算出部
３１ 水平方向読出位置算出部
３２ 鉛直方向読出位置算出部
３３ 投射用画素抽出部
４，４Ａ，４Ｂ プロジェクタ
４０，４０Ａ，４０Ｂ プロジェクタ
４１ 投射画像記憶部
４３ 投射部
５，５０ スクリーン
６，６０ レンダリングＰＣ

Claims (6)

1. 被写体を観察者側から見た複数の異なる水平方向位置となる視点位置でサンプリングして得た投射画像生成用画像を記憶する記憶装置と、
   水平方向に光線を通過させ、鉛直方向には光線を拡散させる光線制御子と、
   水平方向に並べて配置され、前記光線制御子に対して画像を投射する複数の投射装置と、
   前記複数の投射装置に投射させるそれぞれの投射画像を構成する各画素について、水平方向において、前記投射装置のイメージャ面上に提示される当該画素の位置から当該投射装置の光学中心位置を経て当該画素が前記光線制御子に投射される投射位置までを結ぶ直線の延長上にある視点位置を前記複数の視点位置の中から算出する視点位置算出部と、
   前記複数の投射装置に投射させるそれぞれの投射画像を構成する各画素について、水平方向に、前記視点位置算出部によって算出された視点位置での投射画像生成用画像において、当該算出された視点位置と当該画素が前記光線制御子に投射される投射位置とを結ぶ直線上となる画素位置を、当該投射画像生成用画像からの水平方向における画素読出位置として算出する水平方向読出位置算出部と、
   前記複数の投射装置に投射させるそれぞれの投射画像を構成する各画素について、鉛直方向に、前記視点位置算出部によって算出された視点位置での投射画像生成用画像において、前記投射装置のイメージャ面上に提示される当該画素位置から当該投射装置の光学中心位置を経て当該画素が前記光線制御子に投射される投射位置と、前記視点位置算出部によって算出された視点位置とを結ぶ直線上となる画素位置を、当該投射画像生成用画像からの鉛直方向における画素読出位置として算出する鉛直方向読出位置算出部と、
   前記水平方向読出位置算出部によって算出された前記水平方向における画素読出位置と、前記鉛直方向読出位置算出部によって算出された前記鉛直方向における画素読出位置とで示される位置にある画素を、前記複数の投射装置に投射させるそれぞれの投射画像を構成する各画素に採用する画素として、当該投射画像を構成する各画素毎に前記視点位置算出部によって算出された視点位置での投射画像生成用画像から、当該投射画像を構成する各画素毎に抽出する投射用画素抽出部とを備え、
   前記各投射装置は、前記投射用画素抽出部によって抽出された各画素で構成される投射画像を前記光線制御子に対して投射することで、当該光線制御子の前後の空間に立体像を表示させる立体映像表示装置。
2. 被写体を観察者側から見た複数の異なる水平方向位置及び鉛直方向位置となる視点位置でサンプリングして得た投射画像生成用画像を記憶する記憶装置と、
   水平方向及び鉛直方向に光線を通過させる光線制御子と、
   水平方向及び鉛直方向に並べて配置され、前記光線制御子に対して画像を投射する複数の投射装置と、
   前記複数の投射装置に投射させるそれぞれの投射画像を構成する各画素について、水平面方向及び鉛直方向において、前記投射装置のイメージャ面上に提示される当該画素の位置から当該投射装置の光学中心位置を経て当該画素が前記光線制御子に投射される投射位置までを結ぶ直線の延長上にある視点位置を前記複数の視点位置の中から算出する視点位置算出部と、
   前記複数の投射装置に投射させるそれぞれの投射画像を構成する各画素について、水平方向に、前記視点位置算出部によって算出された視点位置での投射画像生成用画像において、当該算出された視点位置と当該画素が前記光線制御子に投射される投射位置とを結ぶ直線上となる画素位置を、当該投射画像生成用画像からの水平方向における画素読出位置として算出する水平方向読出位置算出部と、
   前記複数の投射装置に投射させるそれぞれの投射画像を構成する各画素について、鉛直面方向に、前記視点位置算出部によって算出された視点位置での投射画像生成用画像において、当該算出された視点位置と当該画素が前記光線制御子に投射される投射位置とを結ぶ直線上となる画素位置を、当該投射画像生成用画像からの鉛直方向における画素読出位置として算出する鉛直方向読出位置算出部と、
   前記水平方向読出位置算出部によって算出された前記水平方向における画素読出位置と、前記鉛直方向読出位置算出部によって算出された前記鉛直方向における画素読出位置とで示される位置にある画素を、前記複数の投射装置に投射させるそれぞれの投射画像を構成する各画素に採用する画素として、当該投射画像を構成する各画素毎に前記視点位置算出部によって算出された視点位置での投射画像生成用画像から、当該投射画像を構成する各画素毎に抽出する投射用画素抽出部とを備え、
   前記各投射装置は、前記投射用画素抽出部によって抽出された各画素で構成される投射画像を前記光線制御子に対して投射することで、当該光線制御子の前後の空間に立体像を表示させる立体映像表示装置。
3. 前記水平方向読出位置算出部は、前記算出された視点位置での投射画像生成用画像が存在しない場合には、当該算出された視点位置に最も近い視点位置での投射画像生成用画像を用いて、前記水平方向における画素読出位置を算出する請求項１又は請求項２に記載の立体映像表示装置。
4. 前記鉛直方向読出位置算出部は、前記算出された視点位置での投射画像生成用画像が存在しない場合には、鉛直方向において、当該算出された視点位置に最も近い視点位置での投射画像生成用画像を用いて、前記鉛直方向における画素読出位置を算出する請求項２又は請求項３に記載の立体映像表示装置。
5. 水平方向に並べて配置された投射装置から、水平方向に光線を通過させて鉛直方向には光線を拡散させる光線制御子に対して投射画像を投射することで、当該光線制御子の前後の空間に立体像を表示させる立体映像表示方法であって、
   被写体を観察者側から見た複数の異なる水平方向位置となる視点位置でサンプリングして得た投射画像生成用画像を記憶装置に蓄積する第１ステップと、
   前記複数の投射装置に投射させるそれぞれの投射画像を構成する各画素について、水平面方向において、前記投射装置のイメージャ面上に提示される当該画素の位置から当該投射装置の光学中心位置を経て当該画素が前記光線制御子に投射される投射位置までを結ぶ直線の延長上にある視点位置を前記複数の視点位置の中から算出する第２ステップと、
   前記複数の投射装置に投射させるそれぞれの投射画像を構成する各画素について、水平方向に、前記第２ステップで算出された視点位置での投射画像生成用画像において、当該算出された視点位置と当該画素が前記光線制御子に投射される投射位置とを結ぶ直線上となる画素位置を、当該投射画像生成用画像からの水平方向における画素読出位置として算出する第３ステップと、
   前記複数の投射装置に投射させるそれぞれの投射画像を構成する各画素について、鉛直面方向に、前記第２ステップで算出された視点位置での投射画像生成用画像において、前記投射装置のイメージャ面上に提示される当該画素位置から当該投射装置の光学中心位置を経て当該画素が前記光線制御子に投射される投射位置と、前記第２ステップで特定された視点位置とを結ぶ直線上となる画素位置を、当該投射画像生成用画像からの鉛直方向における画素読出位置として算出する第４ステップと、
   前記第３ステップで算出された前記水平方向における画素読出位置と、前記第４ステップで算出された前記鉛直方向における画素読出位置とで示される位置にある画素を、前記複数の投射装置に投射させるそれぞれの投射画像を構成する各画素に採用する画素として、当該投射画像を構成する各画素毎に前記第２ステップで算出された視点位置での投射画像生成用画像から、当該投射画像を構成する各画素毎に抽出する第５ステップと、
   前記各投射装置に、前記第５ステップにおいて抽出された各画素で構成される投射画像を前記光線制御子に対して投射させることで、当該光線制御子の前後の空間に立体像を表示させる第６ステップと
   を備える立体映像表示方法。
6. 被写体を観察者側から見た複数の異なる水平方向位置となる視点位置でサンプリングして得た投射画像生成用画像を記憶する記憶装置と、水平方向に光線を通過させて鉛直方向には光線を拡散させる光線制御子と、水平方向に並べて配置され、前記光線制御子に対して画像を投射する複数の投射装置と、当該複数の投射装置のそれぞれに投射させる投射画像を生成する情報処理装置とを備えた立体映像表示装置に適用される立体映像表示プログラムであって、
   当該立体映像表示プログラムは、前記情報処理装置を、
   前記複数の投射装置に投射させるそれぞれの投射画像を構成する各画素について、水平方向において、前記投射装置のイメージャ面上に提示される当該画素の位置から当該投射装置の光学中心位置を経て当該画素が前記光線制御子に投射される投射位置までを結ぶ直線の延長上にある視点位置を前記複数の視点位置の中から算出する視点位置算出部と、
   前記複数の投射装置に投射させるそれぞれの投射画像を構成する各画素について、水平方向に、前記視点位置算出部によって算出された視点位置での投射画像生成用画像において、当該算出された視点位置と当該画素が前記光線制御子に投射される投射位置とを結ぶ直線上となる画素位置を、当該投射画像生成用画像からの水平方向における画素読出位置として算出する水平方向読出位置算出部と、
   前記複数の投射装置に投射させるそれぞれの投射画像を構成する各画素について、鉛直方向に、前記視点位置算出部によって算出された視点位置での投射画像生成用画像において、前記投射装置のイメージャ面上に提示される当該画素位置から当該投射装置の光学中心位置を経て当該画素が前記光線制御子に投射される投射位置と、前記視点位置算出部によって算出された視点位置とを結ぶ直線上となる画素位置を、当該投射画像生成用画像からの鉛直方向における画素読出位置として算出する鉛直方向読出位置算出部と、
   前記水平方向読出位置算出部によって算出された前記水平方向における画素読出位置と、前記鉛直方向読出位置算出部によって算出された前記鉛直方向における画素読出位置とで示される位置にある画素を、前記複数の投射装置に投射させるそれぞれの投射画像を構成する各画素に採用する画素として、当該投射画像を構成する各画素毎に前記視点位置算出部によって算出された視点位置での投射画像生成用画像から、当該投射画像を構成する各画素毎に抽出する投射用画素抽出部として、機能させる立体映像表示プログラム。

Images