JP2015104107A - Ｉｐ立体映像推定装置及びそのプログラム - Google Patents

Abstract

【課題】本願発明は、ＩＰ方式で撮影を行わずにＩＰ立体映像の解像度を推定できるＩＰ立体映像推定装置を提供する。【解決手段】解像度変換装置４０は、ＩＰ立体映像表示装置の解像度特性を決定する解像度特性決定手段４１と、２眼立体カメラ２０で撮影されたステレオ画像の画素毎に奥行値を算出する奥行値算出手段４２と、光線追跡法によって、視点から要素レンズの中心を通過して表示素子に到達する仮想線上に位置する視点要素画像群の第１基準画素の位置を算出する画素位置算出手段４３と、解像度特性決定手段４１で決定した解像度特性に合わせて、奥行値算出手段４２で求めたステレオ画像の解像度を変換することで、視点要素画像群を生成する視点要素画像群生成手段４４とを備える。【選択図】図２

Description

本願発明は、ＩＰ立体映像（要素画像群）の解像度を推定するＩＰ立体映像推定装置及びそのプログラムに関する。

従来のインテグラルフォトグラフィ（ＩＰ）方式では、１台のカメラで複数の微小レンズが配列されたレンズアレイを通して被写体を撮像する。この時、カメラがレンズアレイの焦平面を撮影するため、レンズアレイを構成する各微小レンズは、微小なカメラと同じ働きをする。その結果、レンズアレイ越しに被写体を撮影した画像は、微小レンズの位置に応じた微小画像（要素画像）が並んだ要素画像群となる。この要素画像群は、被写体からの光線情報を記録した画像であり、記録できる光線数がカメラの解像度に依存する。このため、ＩＰ方式での撮影には、高解像度のカメラが必要である。

また、従来から、コンピュータグラフィックス（ＣＧ）を用いて、ＩＰ方式の要素画像群を生成する技術が研究されている。この従来技術では、計算機内で仮想３次元空間を生成し、３次元の被写体及び背景（セット）を実世界と同様に再現し、その仮想３次元空間において被写体からの光線を追跡することで、要素画像群を生成する。ＣＧによる要素画像を生成する手法として、下記の特許文献１，２及び非特許文献１，２に記載の手法が知られている。これらの要素画像生成手法は、被写体からの光線を制御する奥行き制御レンズを通して、被写体からの光線を追跡するものである。

前記した要素画像生成手法では、要素画像群の画素数の回数だけ観視者側からカメラで撮影する必要がある。すなわち、非特許文献１の要素画像生成手法は、１画素毎に光線追跡法を用いるので、１画素毎に撮影を行うカメラと同等であり、撮影回数が要素画像群の画素数と同じになる。

そこで、さらなる高速化のため、従来技術として、ＣＧオブジェクトを正射影によるカメラで撮影し、この画像を要素画像群に変換する手法も知られている（特許文献３、非特許文献３）。従来の要素画像変換手法では、カメラで撮影する回数が要素画像を形成する画素数で済む。

特許第４５６７４２２号公報 再表００/０５９２３５号公報（特願２０００−６０８６２１号） 特開２０１１−２３４１４２号公報

Spyros S. Athineos et al.,"Physical modeling of a microlens array setup for use in computer generated ＩＰ,"Proc.of SPIE-IS&T Electronic Imaging,Vol.5664 pp.472-479,2005 中島勧 et al.,"Integral Photographyの原理を用いた３Ｄディスプレイの画像高速作成法",映像情報メディア学会 Vol. 54, No. 3, pp.420-425 (2000) M.Katayama et al.,"A method for converting three-dimensional models into auto-stereoscopic images based on integral photography" ,Proc of SPIE-IS&T Vol.6805 68050Z-1 68050Z-8

ＩＰ方式では、表示画面から離れる程に解像度が低下するので、表示画面の手前又は奥に位置する立体像がぼけることになる。このとき、立体像のぼけ具合は、実際に撮影を行わないとわからない。しかし、ＩＰ方式では、レンズアレイや奥行制御レンズを適切な位置に配置しなければ、撮影を行うことができない。その結果、ＩＰ方式では、立体像で所望のぼけ具合を得るため、撮影を繰り返し行うことになり、非常に手間がかかってしまう。

ここで、２眼立体方式は、一般的なＩＰ方式のみならず、従来の要素画像変換手法と比較しても、立体画像を短い時間で生成できる。従って、ＩＰ方式での撮影時間を短縮するために、２眼立体方式の利用を検討する。

そもそも、ＩＰ方式は、２眼立体方式と比べて、運動視差の再現、及び、立体映像の解像度特性に大きな違いがある。観視者が特定の位置で動かずに観視するという条件あれば、運動視差の影響がなくなる。つまり、前記した条件の元であれば、ＩＰ方式は、２眼立体方式と比べて、立体映像の解像度特性のみに大きな違いが残る。このことから、２眼立体方式の画像の解像度を変換すればＩＰ立体映像の解像度を推定可能とし、映像制作者は、ＩＰ方式で実際に撮影を行う前に立体像のぼけ具合を確認することができる。

そこで、本願発明は、ＩＰ方式で撮影を行わずにＩＰ立体映像の解像度を推定できるＩＰ立体映像推定装置及びそのプログラムを提供することを課題とする。

前記した課題に鑑みて、本願発明に係るＩＰ立体映像推定装置は、表示素子及びレンズアレイを備えるＩＰ立体映像表示装置で表示される要素画像群の解像度に合わせて、２眼立体撮影装置で撮影されたステレオ画像の解像度を変換し、解像度が変換されたステレオ画像を、観視者の右目及び左目を表す視点毎に要素画像群の解像度を推定した視点要素画像群として出力するＩＰ立体映像推定装置であって、解像度特性決定手段と、奥行値算出手段と、第１画素位置算出手段と、対応画素解像度決定手段と、画素取得領域算出手段と、画素値割当手段と、を備えることを特徴とする。

かかる構成によれば、ＩＰ立体映像推定装置は、解像度特性決定手段によって、予め設定された奥行範囲において、前記要素画像群の最大解像度又は観視解像度の小さな方を解像度特性として決定する。また、ＩＰ立体映像推定装置は、奥行値算出手段によって、ステレオ画像が入力され、入力されたステレオ画像の画素毎に奥行値を算出する。

また、ＩＰ立体映像推定装置は、第１画素位置算出手段によって、視点毎に、光線追跡法によって、視点から要素レンズの中心を通過して表示素子に到達する仮想線上に位置する視点要素画像群の第１基準画素を算出する。そして、ＩＰ立体映像推定装置は、対応画素解像度決定手段によって、第１基準画素に対応した位置にあるステレオ画像の対応画素を求め、解像度特性から、対応画素の奥行値に応じた解像度を決定する。

また、ＩＰ立体映像推定装置は、画素取得領域算出手段によって、対応画素を中心として、最大解像度と対応画素の解像度との比で要素レンズの直径を拡大した画素取得領域を算出する。そして、ＩＰ立体映像推定装置は、画素値割当手段によって、視点毎に、ステレオ画像から画素取得領域に含まれる画素を取得し、取得した画素の画素値に基づいて、視点要素画像群のうち、第１基準画素が属する視点要素画像の各画素の画素値を割り当てる。
このようにして、ＩＰ立体映像推定装置は、ステレオ画像から、ＩＰ立体映像と等価な視点要素画像群を生成することができる。

視点要素画像群とは、観視者の視点（両目）に対応した、ＩＰ立体映像表示装置で表示される要素画像群と同一構造を有する画像のことである。つまり、視点要素画像群は、ＩＰ方式の要素画像群と同一形状及び同一配列であって、観視者の左右の目に対応した右視点要素画像群及び左視点要素画像群で構成される。

本願発明に係るＩＰ立体映像推定装置は、コンピュータが備えるＣＰＵ、メモリ、ハードディスク等のハードウェア資源を、前記した各手段として協調動作させるＩＰ立体映像推定プログラムで実現することもできる。このプログラムは、通信回線を介して配布してもよく、ＣＤ−ＲＯＭやフラッシュメモリ等の記録媒体に書き込んで配布してもよい。

本願発明によれば、ステレオ画像からＩＰ立体映像と等価な視点要素画像群を短時間で生成できるので、この視点要素画像群を表示すれば、観視者がＩＰ立体映像の解像度を確認することができる。これによって、本願発明によれば、ＩＰ方式で撮影を行わずにＩＰ立体映像の解像度を推定可能とし、ＩＰ立体映像の制作を容易、かつ、その制作時間を短縮することができる。

第１実施形態において、ＩＰ立体映像推定システムの概略を示す概略図である。 図１の解像度変換装置の構成を示すブロック図である。 第１実施形態において、最大解像度の算出を説明する説明図である。 第１実施形態において、観視解像度の算出を説明する説明図である。 第１実施形態において、解像度特性の決定を説明する説明図である。 第１実施形態において、基準画素の位置算出を説明する説明図である。 第１実施形態において、画素取得領域の算出及び画素値の割当の第１例を説明する説明図である。 第１実施形態において、画素取得領域の算出及び画素値の割当の第２例を説明する説明図である。 第１実施形態において、（ａ）は左視点要素画像群の説明図であり、（ｂ）は右視点要素画像群の説明図である。 第１実施形態において、視点要素画像群の表示方法を説明する説明図である。 図２の解像度変換装置の動作を示すフローチャートである。 第２実施形態において、ＩＰ立体映像推定システムの概略を示す概略図である。 図１２の画像変換装置の構成を示すブロック図である。 第２実施形態において、要素画像の生成を説明する説明図である。 図１３の画像変換装置の動作を示すフローチャートである。 第３実施形態において、ＩＰ立体映像推定システムの概略を示す概略図である。 図１６の画像変換装置及び観視位置追従装置の構成を示すブロック図である。 第３実施形態において、視点境界線の変更を説明する説明図である。 第３実施形態において、要素画像の表示位置の変更を説明する説明図である。 図１７の観視位置追従装置の動作を示すフローチャートである。

以下、本願発明の各実施形態について、適宜図面を参照しながら詳細に説明する。なお、各実施形態において、同一の機能を有する手段には同一の符号を付し、説明を省略した。

（第１実施形態）
［ＩＰ立体映像推定システムの概略］
図１を参照し、本願発明の第１実施形態に係るＩＰ立体映像推定システム１の概略について、説明する。
ＩＰ立体映像推定システム１は、２眼立体カメラ２０で撮影したステレオ画像からＩＰ立体映像の解像度を推定するものであり、ＩＰ立体映像推定装置２と、２眼立体カメラ（２眼立体撮影装置）２０と、収録再生装置３０と、２眼立体テレビ５０とを備える。

ＩＰ立体映像推定装置２は、２眼立体カメラ２０で撮影されたステレオ画像の解像度を変換し、ＩＰ立体映像の解像度を推定するものである。第１実施形態では、ＩＰ立体映像推定装置２は、解像度変換装置４０で構成されることとする。

２眼立体カメラ２０は、被写体１０を２眼立体方式で撮影するステレオカメラである。例えば、２眼立体カメラ２０として、同一の撮影カメラ２１Ｒ，２１Ｌを２台、所定のベースラインで左右に配置したものがあげられる。そして、２眼立体カメラ２０は、撮影したステレオ画像を収録再生装置３０に出力する。

なお、右側の撮影カメラ２１Ｒで撮影されたステレオ画像を右撮影画像と呼び、左側の撮影カメラ２１Ｌで撮影されたステレオ画像を左撮影画像と呼ぶ。また、右側の撮影カメラ２１Ｒを観視者の右目に対応させ、左側の撮影カメラ２１Ｌを観視者の左目に対応させている。
また、観視者とは、ＩＰ立体映像推定装置で生成した画像を用いて、ＩＰ立体映像の解像度を確認する者（例えば、映像制作者）である。

収録再生装置３０は、２眼立体カメラ２０から入力されたステレオ画像を収録すると共に、収録したステレオ画像を解像度変換装置４０に出力するものである。例えば、収録再生装置３０としては、一般的な録画装置があげられる。

解像度変換装置４０は、収録再生装置３０から入力されたステレオ画像の解像度を、ＩＰ立体映像の解像度に合わせて変換するものである。そして、解像度変換装置４０は、解像度が変換されたステレオ画像（視点要素画像群）を２眼立体テレビ５０に出力する。
この解像度変換装置４０は、詳細を後記する。

視点要素画像群とは、観視者の視点に対応した、ＩＰ立体映像表示装置で表示される要素画像群と同一構造の右視点要素画像群及び左視点要素画像群で構成される。本実施形態では、視点要素画像群に含まれる各視点要素画像は、その各画素が同一の画素値を有している。
なお、視点とは、観視者の右目及び左目に対応した位置を表している。

２眼立体テレビ５０は、解像度変換装置４０から入力された視点要素画像群を表示する立体表示装置である。例えば、２眼立体テレビ５０としては、レンチキュラ方式の立体テレビがあげられる。また、２眼立体テレビ５０は、右視点要素画像群及び左視点要素画像群を時分割で交互に表示する立体テレビでもよい。

ＩＰ立体映像推定システム１の利用方法について、簡単に説明する。
前記したように、ＩＰ方式では、立体像のぼけ具合が、実際に撮影を行わないとわからない。従って、ＩＰ方式では、観視者にとって適切な立体像のぼけ具合を得るため、繰り返し撮影を行うことが多くなる。その一方、ＩＰ方式では、レンズアレイや奥行制御レンズを適切な位置に配置してから撮影を行うため、撮影の手間が非常にかかる。

そこで、ＩＰ立体映像推定システム１は、ＩＰ方式に比べて撮影の手間が少ない２眼立体方式の撮影手法を用いて、ＩＰ立体映像表示装置１００（図４）で表示されたＩＰ立体映像の解像度を推定する。具体的には、ＩＰ立体映像推定システム１は、被写体１０を２眼立体カメラ２０で撮影し、撮影したステレオ画像の解像度を、ＩＰ立体映像の解像度に合わせて変換する。いわば、ＩＰ立体映像推定システム１は、ＩＰ方式での立体像のぼけ具合を推定するシミュレータと言える。

なお、ＩＰ立体映像表示装置１００は、ＩＰ立体映像の表示を想定した立体映像表示装置のことである。このＩＰ立体映像表示装置１００は、レンズアレイ１１０及び表示素子２００を備える。

［解像度変換装置の構成］
図２を参照し、解像度変換装置４０の構成について、説明する。
図２のように、解像度変換装置４０は、解像度特性決定手段４１と、奥行値算出手段４２と、画素位置算出手段（第１画素位置算出手段）４３と、視点要素画像群生成手段４４とを備える。

解像度特性決定手段４１は、ＩＰ立体映像表示装置１００で表示される要素画像群の解像度特性を決定するものであり、最大解像度算出手段４１ａと、観視解像度算出手段４１ｂと、解像度特性算出手段４１ｃとを備える。
ここで、解像度特性決定手段４１は、要素画像群の解像度特性の決定に必要なパラメータ（例えば、要素レンズの間隔、視距離、表示素子とレンズアレイとの距離、及び、要素画像群の画素間隔）が入力される。

＜解像度特性の決定＞
図３〜図５を参照し、解像度特性の決定について、詳細に説明する（適宜図２参照）。
図３では、横軸Ｚがレンズアレイ１１０を基準とした奥行値を表し、‘０’がレンズアレイ１１０の位置となる。

最大解像度算出手段４１ａは、レンズアレイ１１０を構成する要素レンズ１２０の間隔Ｐ、及び、レンズアレイ１１０と視点３００との視距離Ｌに基づいて、要素画像群の最大解像度（最大空間周波数）を算出するものである。

最大解像度とは、要素レンズ１２０の間隔Ｐに依存して決まる解像度であり、レンズアレイ１１０の位置（奥行値ｚ）における解像度である。

図３のように、角度φは、下記の式（１）のように、要素レンズ１２０の間隔Ｐに対する角度を表す。言い換えるなら、角度φは、要素レンズ１２０の端と、視点３００とを結んだ線のなす角の近似値である。

従って、最大解像度β_ｎは、下記の式（２）で示すことができる。すなわち、最大解像度算出手段４１ａは、視距離Ｌを、要素レンズ１２０の間隔Ｐを２倍にした値で除算して、最大解像度β_ｎを算出する。そして、最大解像度算出手段４１ａは、算出した最大解像度β_ｎを解像度特性算出手段４１ｃに出力する。

図４のように、観視解像度算出手段４１ｂは、表示素子２００とレンズアレイ１１０との距離ｇ、及び、要素画像４２０の画素間隔ｐに基づいて、要素画像群４１０の観視解像度（観視空間周波数）を算出するものである。
なお、図４では、レンズアレイ１１０の奥側にあるため、距離ｇがマイナスになっている。

観視解像度とは、投影された立体像４００を、視点３００から観視したときの解像度のことである。
図４では、図面を見易くするため、立体像４００における画素、及び、要素画像４２０の画素を交互に白黒で図示した。

画素間隔ｔは、下記の式（３）のように、立体像４００における画素の間隔を表す。ここで、立体像４００は、奥行値ｚが示す位置に形成されることとする。

角度θは、下記の式（４）のように画素間隔ｔに対する角度を表す。言い換えるなら、角度θは、画素間隔ｔを、視距離Ｌから奥行値ｚを引いた値で除算した近似値である。

従って、観視解像度βは、下記の式（５）で示すことができる。すなわち、観視解像度算出手段４１ｂは、距離ｇを画素間隔ｐの２倍で除算した値と、視距離Ｌから奥行値ｚを引いて奥行値ｚの絶対値で除算した値との積で、観視解像度βを算出する。そして、観視解像度算出手段４１ｂは、算出した観視解像度βを解像度特性算出手段４１ｃに出力する。
なお、観視解像度算出手段４１ｂは、奥行範囲内で立体像４００の奥行値ｚを変化させながら、観視解像度βを算出する。奥行範囲とは、立体像４００の奥行値ｚが取り得る範囲を予め設定したものである。

図５のように、解像度特性算出手段４１ｃは、奥行範囲において、最大解像度算出手段４１ａから入力された最大解像度β_ｎ、又は、観視解像度算出手段４１ｂから入力された観視解像度βの小さな方を表す解像度特性γを算出するものである。そして、解像度特性算出手段４１ｃは、算出した解像度特性γを視点要素画像群生成手段４４に出力する。

ここで、解像度特性γは、下記の式（６）のように、最大解像度算出手段４１ａが算出した最大解像度β_ｎ、又は、観視解像度算出手段４１ｂが算出した観視解像度βの小さな方となる。式（６）において、‘ｍｉｎ’は、複数の引数のうち、最小の引数を選択する関数である。

図５の例では、解像度特性γは、レンズアレイ１１０の付近で最大解像度β_ｎを表し、レンズアレイ１１０からある程度離れると観視解像度βを表す。そして、解像度特性γは、レンズアレイ１１０から離れる程、解像度が低下することを表す。

なお、解像度特性の決定手法は、下記の参考文献１，２に記載されているため、これ以上の説明を省略する。
参考文献１：H.Hoshino et al.,“Analysis of Resolution Limitation of Integral Photography”,J.Opt.Soc.Am.A,Vol.15,No.8,pp.2059-2065, 1998
参考文献２：岩舘祐一、“ＮＨＫにおける多視点立体映像の研究”、http://www.3dc.gr.jp/jp/act_rep/121211/NHK_20121211.pdf

図２に戻り、解像度変換装置４０の構成について、説明を続ける。
奥行値算出手段４２は、２眼立体カメラ２０からステレオ画像（右撮影画像及び左撮影画像）が入力され、入力されたステレオ画像の画素毎に奥行値を算出するものである。そして、奥行値算出手段４２は、画素毎に奥行値が対応付けられた右撮影画像及び左撮影画像を、視点要素画像群生成手段４４に出力する。

例えば、奥行値算出手段４２は、右撮影画像及び左撮影画像の間で対応点を探索し、探索した対応点の距離（視差）を奥行値として算出する。
また、奥行値算出手段４２は、２眼立体カメラ２０と同じ位置に配置された奥行カメラ（不図示）から、画素毎に奥行値を示す奥行画像が入力されてもよい。この場合、奥行値算出手段４２は、奥行画像が示す奥行値を右撮影画像及び左撮影画像の各画素に対応付ける。

画素位置算出手段４３は、視点毎に、光線追跡法によって、基準画素の位置を算出するものである。
基準画素とは、図６において、視点３０１から要素レンズ１２０の中心を通過して表示素子２００に到達する仮想線上に位置する右視点要素画像群及び左視点要素画像群の画素のことである（図６の符号３１２）。

＜基準画素の位置算出＞
図６を参照し、基準画素の位置算出について、詳細に説明する（適宜図２参照）。
図６では、符号３１０は、レンズアレイ１１０で中心の要素レンズ１２０Ｃの主点位置を表す。
また、符号３１１は、レンズアレイ１１０で一番上の要素レンズ１２０Ｕの主点位置を表す。
また、符号３１２は、要素レンズ１２０Ｕに対応する要素画像４２０の基準画素の画素位置を表す。
また、符号３１３は、要素レンズ１２０Ｕの主点位置３１１と同じ位置にある要素画像４２０の中心画素の画素位置を表す。図６では、符号３１２，３１３は、同一の要素画像４２０の中での画素位置を表している。

図６では、距離ｙは、主点位置３１０から主点位置３１１までの距離を表す。また、距離ｄは、中心画素の画素位置３１３から基準画素の画素位置３１２までの距離を表す。
また、図６では、観視者の右目（算出原点３０１）は、レンズアレイ１１０の中心位置の法線上に位置する。また、要素レンズ１２０及び要素画像４２０は、１：１で対応することとする。

直角三角形ｔｒ１は、主点位置３１１と、基準画素の画素位置３１２と、中心画素の画素位置３１３とを頂点とする三角形である。
直角三角形ｔｒ２は、算出原点３０１と、主点位置３１０と、主点位置３１１とを頂点とする三角形である。

図６のように、直角三角形ｔｒ１，ｔｒ２が相似の関係になるため、Ｌ：ｙ＝ｇ：ｄとなり、Ｌｄ＝ｙｇが成立する。また、距離ｇ，ｙは、ＩＰ立体映像表示装置１００から決まる定数となる。従って、距離ｄは、視距離Ｌが分かれば、下記の式（７）を用いて算出できる。

前記したように、視点要素画像は、一般的なＩＰ立体映像（要素画像群４１０）と同一構造を有する。従って、画素位置算出手段４３は、算出原点３０１を観視者の右目（視点）として、前記した手法を用いて、観視者の右目に対応した右視点要素画像群で基準画素の画素位置を算出できる。そして、画素位置算出手段４３は、中心画素の画素位置３１３に距離ｄを加えて、基準画素の画素位置３１２を求める。

その後、画素位置算出手段４３は、算出した基準画素の位置を視点要素画像群生成手段４４に出力する。
なお、画素位置算出手段４３は、一番上の要素レンズ１２０Ｕ以外の要素レンズ１２０からも、基準画素の位置を算出する。また、画素位置算出手段４３は、右視点要素画像群と同様、左視点要素画像群の基準画素も算出する。

図２に戻り、解像度変換装置４０の構成について、説明を続ける。
視点要素画像群生成手段４４は、解像度特性決定手段４１から入力された解像度特性に合わせて、奥行値算出手段４２から入力されたステレオ画像の解像度を変換することで、視点要素画像群を生成するものである。このため、視点要素画像群生成手段４４は、対応画素解像度決定手段４４ａと、画素取得領域算出手段４４ｂと、画素値割当手段４４ｃとを備える。

対応画素解像度決定手段４４ａは、画素位置算出手段４３から入力された基準画素に対応した位置にあるステレオ画像の対応画素を求め、解像度特性から、対応画素の奥行値に応じた解像度を決定するものである。

具体的には、対応画素解像度決定手段４４ａは、右視点要素画像群及び右撮影画像の画素が１対１で対応するので、右視点要素画像群の基準画素に対応する右撮影画像の画素を対応画素として求める。そして、対応画素解像度決定手段４４ａは、右撮影画像の対応画素には奥行値が付加されているので、この奥行値を取得する。さらに、対応画素解像度決定手段４４ａは、各奥行値の解像度を示した解像度特性を参照し、取得した奥行値に対応する解像度を対応画素毎に決定する。その後、対応画素解像度決定手段４４ａは、決定した対応画素毎の解像度を画素取得領域算出手段４４ｂに出力する。
なお、対応画素解像度決定手段４４ａは、右撮影画像と同様、左撮影画像の対応画素毎に解像度を決定する。

画素取得領域算出手段４４ｂは、ステレオ画像の対応画素を中心として、対応画素解像度決定手段４４ａから入力された対応画素の解像度と最大解像度との比で要素レンズの直径を拡大した画素取得領域を算出するものである。そして、画素取得領域算出手段４４ｂは、算出した画素取得領域を画素値割当手段４４ｃに出力する。

画素値割当手段４４ｃは、視点毎に、画素取得領域算出手段４４ｂから入力された画素取得領域に含まれる画素をステレオ画像から取得し、取得した画素の画素値に基づいて、視点要素画像群のうち、基準画素が属する視点要素画像の各画素の画素値を割り当てるものである。

＜画素取得領域の算出及び画素値の割当：第１例＞
図７，図８を参照し、画素取得領域の算出及び画素値の割当について、２つの具体例を説明する（適宜図２参照）。
図７では、対応画素の奥行値が示す位置を矢印で図示し、画素取得領域の算出に無関係な構成を破線で図示した（図８も同様）。

図７のように、この第１例では、対応画素の奥行値がレンズアレイ１１０の位置を示していることとする。この場合、ＩＰ立体映像の解像度は、レンズアレイ１１０の密度と同じなので、最大解像度となる。

そこで、画素取得領域算出手段４４ｂは、最大解像度と対応画素の解像度との比‘１’を求める。従って、画素取得領域算出手段４４ｂは、右撮影画像５１０の対応画素５２０（図７に黒塗で図示）を中心として、要素レンズ１２０と同一形状で同一直径（要素レンズ１２０の間隔Ｐ）に含まれる範囲を、画素取得領域として算出する。ここで、要素レンズ１２０が右撮影画像５１０の５画素分の大きさであるから、画素取得領域は、５画素分の大きさとなる。

次に、画素値割当手段４４ｃは、算出した画素取得領域に含まれる右撮影画像５１０の画素５２０を全て取得し、取得した画素５２０の画素値に基づいて、右視点要素画像６２０の画素６３０に割り当てる画素値を算出する。

ここで、画素値割当手段４４ｃは、取得した画素５２０の画素値の中央値（メディアン値）を算出してもよい。中央値を用いた場合、取得した画素５２０の画素値をヒストグラム化するため、正確な画素値を取得したことにはならない。従って、右視点要素画像６２０は、隣接する右視点要素画像６２０との間で画素値の連続性が低下し、折り返し（モアレ）画像になる可能性がある。
そこで、画素値割当手段４４ｃは、取得した画素５２０の画素値の平均値を求めると、より正確な画素値を取得できるので好ましい。

次に、画素値割当手段４４ｃは、算出した画素値を、右視点要素画像群６１０のうち、基準画素が属する右視点要素画像６２０の全ての画素６３０に割り当てる。図７の例では、右視点要素画像６２０は、５つの画素６３０の画素値が同一になる。このようにして、画素値割当手段４４ｃは、レンズアレイ１１０の位置において、画素値が割り当てられた右視点要素画像６２０を生成することができる。

＜画素取得領域の算出及び画素値の割当：第２例＞
図８のように、この第２例では、対応画素の奥行値がレンズアレイ１１０の手前側を表しており、この奥行位置でＩＰ立体映像の解像度が最大解像度の１／２になることとする。

この場合、画素取得領域算出手段４４ｂは、最大解像度と対応画素の解像度との比‘２’を求める。従って、画素取得領域算出手段４４ｂは、右撮影画像５１０の対応画素５２０（図８に黒塗で図示）を中心として、要素レンズ１２０と同一形状で直径の２倍に含まれる範囲を、画素取得領域として算出する。ここで、要素レンズ１２０が右撮影画像５１０の５画素分の大きさであるから、画素取得領域は、５画素を２倍した１０画素分の大きさとなる。

次に、画素値割当手段４４ｃは、算出した画素取得領域に含まれる右撮影画像５１０の画素５２０を全て取得し、取得した画素５２０の画素値に基づいて、右視点要素画像６２０の画素６３０に割り当てる画素値を算出する。ここで、画素値割当手段４４ｃは、第１例と同様、画素取得領域に含まれる画素５２０の画素値の平均値又は中央値を算出する。

そして、画素値割当手段４４ｃは、算出した画素値を、右視点要素画像群６１０のうち、基準画素が属する右視点要素画像６２０の全ての画素６３０に割り当てる。つまり、画素値割当手段４４ｃは、レンズアレイ１１０の位置における最大解像度を基準として、対象画素の奥行位置で解像度がどの程度低下しているか算出することで、ぼけ具合を反映した右視点要素画像群６１０を生成する。

なお、対応画素の奥行位置がレンズアレイ１１０の奥側であっても、第２例と同様の手順となる。また、右視点要素画像群６１０と同様、左視点要素画像群６１１（図９）も生成する。

その後、画素値割当手段４４ｃは、第１例又は第２例の手法で生成した右視点要素画像群６１０及び左視点要素画像群６１１を２眼立体テレビ５０に出力する。この右視点要素画像群６１０及び左視点要素画像群６１１は、２眼立体テレビ５０で立体表示される。

＜視点要素画像群の表示＞
図９，図１０を参照し、視点要素画像群の表示について、説明する。
図９（ａ）に左視点要素画像群６１１を図示し、図９（ｂ）に右視点要素画像群６１０を図示した。この図９では、左視点要素画像群６１１及び右視点要素画像群６１０は、三角形状の被写体１０が撮影されている。
なお、図９では、黒塗りした要素画像群６２０，６２１が被写体１０を表している。

一般的なＩＰ立体映像（要素画像群）は、要素画像が複数の画素で構成され、被写体１０の小さな画像を表している。そして、要素画像は、運動視差を再現するために、要素画像を構成する画素の画素値が異なっている。

図９のように、左視点要素画像群６１１及び右視点要素画像群６１０は、一般的なＩＰ立体映像と同一構造（同一形状・同一配列）である。また、左視点要素画像群６１１及び右視点要素画像群６１０は、異なる視点で同一の被写体１０が撮影されているため、被写体１０の位置がずれている。つまり、図９（ａ）の位置αにある左視点要素画像は、図９（ｂ）のように、同一位置αにある右視点要素画像と比較して、別の画素値を有することになる。

図１０のように、２眼立体テレビ５０は、１つのレンチキュラレンズ５３に対し、左視点に対応した表示素子５１Ｌと、右視点に対応した表示素子５１Ｒとの組を備える。そして、２眼立体テレビ５０は、左視点要素画像群６１１を表示素子５１Ｌで表示し、右視点要素画像群６１０を表示素子５１Ｒで表示する。すると、観視者は、その両目で異なる像を観視することになり、立体視を得ることができる。
なお、左視点要素画像群６１１及び右視点要素画像群６１０は、一般的なＩＰ立体映像と異なり、視点要素画像を構成する画素の画素値が同一のため、運動視差による画像の切り替わりがなくなる。

［解像度変換装置の動作］
図１１を参照し、解像度変換装置４０の動作について、説明する（適宜図２参照）。
解像度変換装置４０は、ＩＰ立体映像表示装置１００の解像度特性の決定に必要なパラメータが入力される（ステップＳ１）。

解像度変換装置４０は、解像度特性決定手段４１によって、解像度特性を決定する。具体的には、解像度特性決定手段４１は、最大解像度算出手段４１ａによって、最大解像度を算出し、観視解像度算出手段４１ｂによって、観視解像度を算出する。また、解像度特性決定手段４１は、解像度特性算出手段４１ｃによって、最大解像度又は観視解像度の小さな方を解像度特性として算出する（ステップＳ２）。

解像度変換装置４０は、奥行値算出手段４２によって、２眼立体カメラ２０で撮影されたステレオ画像の画素毎に奥行値を算出する（ステップＳ３）。
解像度変換装置４０は、画素位置算出手段４３によって、光線追跡法を用いて、基準画素の画素位置を算出する（ステップＳ４）。

解像度変換装置４０は、視点要素画像群生成手段４４によって、視点要素画像群を生成する。具体的には、視点要素画像群生成手段４４は、対応画素解像度決定手段４４ａによって、対応画素の奥行値に応じた解像度を決定する。また、視点要素画像群生成手段４４は、画素取得領域算出手段４４ｂによって、画素取得領域を算出する。さらに、視点要素画像群生成手段４４は、画素値割当手段４４ｃによって、ステレオ画像から画素取得領域に含まれる画素を取得し、取得した画素の画素値に基づいて、視点要素画像の各画素の画素値を割り当てる（ステップＳ５）。

本願発明の第１実施形態に係るＩＰ立体映像推定システム１は、ステレオ画像からＩＰ立体映像と等価な視点要素画像群を短時間で生成し、この視点要素画像群を２眼立体テレビ５０で表示するので、観視者がＩＰ立体映像の解像度を確認することができる。このように、ＩＰ立体映像推定システム１は、ＩＰ方式で撮影を行わずにＩＰ立体映像の解像度を推定可能とし、ＩＰ立体映像の制作を容易、かつ、その制作時間を短縮することができる。

さらに、ＩＰ立体映像推定システム１は、撮像側と表示側の性能を分離して、ＩＰ立体映像の解像度を推定することもできる。例えば、ＩＰ立体映像推定システム１は、適切なパラメータを設定することで、２眼立体カメラ２０よりも解像度が低いＩＰ立体カメラ（不図示）で撮影を行った場合について、ＩＰ立体映像の解像度をシミュレートすることができる。また、ＩＰ立体映像推定システム１は、撮像側にＩＰ立体カメラを使用し、表示側に２眼立体テレビ５０を使用した場合についても、ＩＰ立体映像の解像度をシミュレートすることもできる。

（第２実施形態）
［ＩＰ立体映像推定システムの概略］
図１２を参照し、本願発明の第２実施形態に係るＩＰ立体映像推定システム１Ａについて、第１実施形態と異なる点を説明する。

ＩＰ立体映像推定システム１Ａは、視点要素画像群をＩＰ立体映像（要素画像群）に変換してＩＰ立体テレビ７０で表示するため、ＩＰ立体映像推定装置２Ａと、ＩＰ立体テレビ７０とを備える点が、第１実施形態と異なる。
第２実施形態では、ＩＰ立体映像推定装置２Ａは、解像度変換装置４０と、画像変換装置６０とで構成されることとする。

[画像変換装置の構成]
図１３を参照し、画像変換装置６０の構成について、説明する（適宜図１２参照）。
画像変換装置６０は、解像度変換装置４０から入力された視点要素画像群（右視点要素画像群及び左視点要素画像群）を、一般的なＩＰ立体映像（要素画像群）に変換するものである。このため、画像変換装置６０は、図１３のように、画素位置算出手段（第２画素位置算出手段）６１と、画像合成手段６２とを備える。

画素位置算出手段６１は、光線追跡法によって、第２基準画素の位置を算出するものである。
第２基準画素とは、視点中間位置から要素レンズ１２０の中心を通過して表示素子２００に到達する仮想線上に位置する要素画像群の画素のことである（図６）。この視点中間位置は、観視者の右目及び左目の中間位置を表す。

第１実施形態では、観視者の左右の目に対応した２つの視点要素画像群６１０，６１１を生成するため、視点毎に基準画素の画素位置を算出した。一方、第２実施形態では、要素画像群４１０が１つのため、観視者の両目の中間位置で、第２基準画素の画素位置を算出すればよい。このように、画素位置算出手段６１は、図６の算出原点３０１を視点中間位置として、第２基準画素の画素位置を算出することができる。

画像合成手段６２は、第２基準画素が属する要素画像を視点境界線で分割した分割領域を設定し、視点毎に、視点要素画像群から分割領域に対応する画像領域を抽出し、異なる視点で抽出した画像領域の合成により要素画像を生成するものである。

＜要素画像の生成＞
図１４を参照し、要素画像の生成について、説明する（適宜図１３参照）。
ＩＰ立体テレビ７０を正面で観視する場合、観視者が立体視を得られる範囲は、水平方向に観視者の両目の距離の半分となる。従って、画像合成手段６２は、観視者の両目の中心位置から見て要素レンズ１２０の後方にある要素画像４２０を、左右半分に分けるように視点境界線４３０を設定する。さらに、画像合成手段６２は、要素画像４２０を視点境界線４３０で分割した分割領域４４０Ｒ，４４０Ｌを設定する。

次に、画像合成手段６２は、左側の分割領域４４０Ｒに、右視点要素画像６２０（図９）で対応する画像領域を割り当てる。また、画像合成手段６２は、右側の分割領域４４０Ｌに、左視点要素画像６２１で対応する画像領域を割り当てる。このようにして、画像合成手段６２は、右視点要素画像６２０及び左視点要素画像６２１から、１つの要素画像４２０を合成する。そして、画像合成手段６２は、合成した要素画像４２０で構成される要素画像群４１０を、ＩＰ立体テレビ７０に出力する。

[画像変換装置の動作]
図１５を参照し、画像変換装置６０の動作について、説明する（適宜図１３参照）。
画像変換装置６０は、解像度変換装置４０から視点要素画像群が入力される（ステップＳ１１）。

画像変換装置６０は、画素位置算出手段６１によって、光線追跡法によって、第２基準画素の画素位置を算出する（ステップＳ１２）。
画像変換装置６０は、画像合成手段６２によって、要素画像群を生成する（ステップＳ１３）。

本願発明の第２実施形態に係るＩＰ立体映像推定システム１Ａは、第１実施形態と同様、ＩＰ方式で撮影を行わずにＩＰ立体映像の解像度を推定可能とし、ＩＰ立体映像の制作を容易、かつ、その制作時間を短縮することができる。
さらに、ＩＰ立体映像推定システム１Ａは、ＩＰ立体映像の解像度に加え、ＩＰ立体テレビ７０が備えるレンズアレイ７１による外光の反射の影響もシミュレートできるので、ＩＰ立体映像をより容易に制作することができる。

（第３実施形態）
［ＩＰ立体映像推定システムの概略］
図１６を参照し、本願発明の第３実施形態に係るＩＰ立体映像推定システム１Ｂについて、第２実施形態と異なる点を説明する。

ＩＰ立体映像推定システム１Ｂは、観視者の観視位置に追従するため、ＩＰ立体映像推定装置２Ｂと、２眼立体カメラ２０Ｂと、観視位置検出カメラ８０とをさらに備える点が、第２実施形態と異なる。
第３実施形態では、ＩＰ立体映像推定装置２Ｂは、解像度変換装置４０と、画像変換装置６０Ｂと、観視位置追従装置９０とで構成されることとする。

２眼立体カメラ２０Ｂは、図１３の２眼立体カメラ２０と同様の機能に加え、後記する観視位置追従装置９０からの指令に従って、観視者の観視位置に追従した撮影が可能なロボットカメラである。例えば、２眼立体カメラ２０Ｂは、撮影フロアを前後左右に移動するための駆動機構と、撮影カメラ２１Ｒ，２１Ｌを搭載してパン・チルト可能な雲台とを備えたロボットカメラである。

画像変換装置６０Ｂは、図１３の画像変換装置６０と同様の処理に加え、観視位置追従装置９０からの指令に従って、視点境界線の位置と、要素画像の表示位置とを変更するものである。

観視位置検出カメラ８０は、観視者を撮影する一般的な撮影カメラである。この観視位置検出カメラ８０は、観視者を撮影した観視者画像を、観視位置追従装置９０に出力する。図１６のように、観視位置検出カメラ８０は、ＩＰ立体テレビ７０の上端部中心に設置されている。なお、観視位置検出カメラ８０の設置位置は、特に制限されないが、既知である。

観視位置追従装置９０は、観視位置検出カメラ８０から入力された観視者画像を用いて、観視者の観視位置を検出し、検出した観視位置に追従するように、ＩＰ立体テレビ７０で表示されるＩＰ立体映像の視域を制御するものである。具体的には、観視位置追従装置９０は、検出した観視位置に追従するように、視点境界線の位置と、要素画像の表示位置との変更を画像変換装置６０Ｂに指令する。さらに、観視位置追従装置９０は、検出した観視位置に追従するように、撮影位置の移動と、撮影姿勢の変更とを２眼立体カメラ２０Ｂに指令する。

［画像変換装置の構成］
図１７を参照し、画像変換装置６０Ｂの構成について、説明する。
図１７のように、画像変換装置６０Ｂは、画素位置算出手段６１と、画像合成手段６２Ｂとを備える。

画像合成手段６２Ｂは、図１３の画像合成手段６２と同様の処理に加え、後記する観視位置追従制御手段９２からの指令に従って、視点境界線の位置と、要素画像の表示位置とを変更するものである。
視点境界線の位置と要素画像の表示位置との変更については、詳細を後記する。

［観視位置追従装置の構成］
観視位置追従装置９０の構成について、説明する。
図１７のように、観視位置追従装置９０は、観視位置検出手段９１と、観視位置追従制御手段９２と、ロボットカメラ制御手段９３とを備える。

観視位置検出手段９１は、観視者画像から、レンズアレイ１１０の中心位置に対する観視者の観視位置を検出するものである。
具体的には、観視位置検出手段９１は、観視者画像に対して、顔領域検出処理（参考文献３）、及び、両目位置検出処理（参考文献４）を施して、観視者画像に含まれる両目の位置を検出する。
参考文献３：PAUL VIOLA,MICHAEL J.JONES:“Robust Real-Time Face Detection",International Journal of Computer Vision, Vol.57, No.2, pp.137-154(2004)
参考文献４：特開２０１３−１０５３８４号公報

次に、観視位置検出手段９１は、レンズアレイ１１０の中心位置を表すように予め設定した検出基準位置に対し、検出した両目の中間位置のズレ量及びズレ方向を求める。例えば、レンズアレイ１１０の中心位置に対し、観視者の頭部が右側に動いた場合、ズレ方向は左側となる。当然、ズレ量に比例して、観視者の移動量が大きくなる。このようにして、観視位置検出手段９１は、算出したズレ量及びズレ方向から観視位置を求め、求めた観視位置を観視位置追従制御手段９２及びロボットカメラ制御手段９３に出力する。

観視位置追従制御手段９２は、画像合成手段６２Ｂに対し、観視位置検出手段９１から入力された観視位置に追従して、視点境界線の変更と、要素画像の表示位置の変更とを指令するものである。

＜視点境界線の変更＞
図１８を参照し、視点境界線の変更について、説明する（適宜図６，図１７参照）。
図１８では、観視位置（観視者の両目の中間位置）が、レンズアレイ１１０の中心に位置する要素レンズ１２０Ｃから、左側に距離ｘだけ動いたこととする。

図１８のように、観視位置が左側に動いたことで、観視者の右目で要素画像４２０の大部分を観視し、観視者の左目で要素画像４２０の残りを観視することになる。従って、観視位置追従制御手段９２は、視点境界線４３０を観視位置の移動方向の逆（右側）に移動させて、分割領域４４０Ｒを広く、分割領域４４０Ｌを狭くするように、視点境界線４３０を移動させる。

ここで、視点境界線４３０の移動量の算出方法を説明する。前記したように、図６の直角三角形ｔｒ１，ｔｒ２が相似の関係になる。従って、観視者が距離ｘだけ動いた場合、視点境界線４３０の移動量は、直角三角形ｔｒ１，ｔｒ２の大きさの比を距離ｘに乗算した値となる。つまり、観視位置追従制御手段９２は、算出原点３０１を観視者の両目の中間位置として、画素位置算出手段６１と同様に式（７）を用いて、視点境界線４３０の移動量を求める。この場合、式（７）の距離ｄが視点境界線４３０の移動量を表す。そして、観視位置追従制御手段９２は、要素画像４２０の中心から距離ｄだけ移動した位置を、視点境界線４３０の位置として求める。

以下、別の手法についても説明する。観視位置追従制御手段９２は、右目及び左目に光を入射させる要素画像の画素位置をそれぞれ算出し、右目と左目との画素位置を結ぶ直線を垂直に２等分する線を、視点境界線４３０の位置として求める。ここで、観視位置追従制御手段９２は、視点境界線４３０の位置がより正確になるため、この別の手法を用いることが好ましい。

その後、観視位置追従制御手段９２は、求めた位置への視点境界線４３０の変更を、画像合成手段６２Ｂに指令する。すると、画像合成手段６２Ｂは、この指令に従って、視点境界線４３０を変更し、要素画像群を生成する。

なお、観視位置追従制御手段９２は、観視者の顔の傾きに合わせて、視点境界線４３０を傾斜させることを画像合成手段６２Ｂに指令してもよい。例えば、観視位置追従制御手段９２は、観視者の両目を結ぶ線分の中間点に垂線を引き、この垂線に合わせるように視点境界線４３０の傾斜角度を求める。

＜要素画像の表示位置の変更＞
図１９を参照し、要素画像の表示位置の変更について、説明する（適宜図６，図１７参照）。

図１９のように、観視位置追従制御手段９２は、要素レンズ１２０Ｃに対し観視位置が左側に動いたので、要素画像４２０の表示位置を観視位置の移動方向の逆（右側）に移動させる。ここで、観視位置追従制御手段９２は、前記した視点境界線の変更と同様、要素画像４２０の表示位置を求めることができる。つまり、観視位置追従制御手段９２は、式（７）の距離ｄだけ、要素画像４２０の表示位置を移動させる。

なお、観視位置追従制御手段９２は、視点境界線４３０の変更、又は、要素画像４２０の表示位置の変更の何れを指令するか、予め設定してもよい。
また、観視位置追従制御手段９２は、視点境界線４３０の移動量が要素画像４２０の半径未満の場合に視点境界線４３０の変更を指令し、視点境界線４３０の移動量が要素画像４２０の半径以上の場合、要素画像４２０の表示位置の変更を指令してもよい。

図１７に戻り、観視位置追従装置９０の構成について、説明を続ける。
ロボットカメラ制御手段９３は、２眼立体カメラ２０Ｂに対し、観視位置検出手段９１から入力された観視位置に追従したステレオ画像の撮影を指令するものである。例えば、ロボットカメラ制御手段９３は、観視位置に基づいて、観視者の移動距離及びＩＰ立体映像の観視角度を算出し、２眼立体カメラ２０Ｂの撮影位置及び撮影姿勢の変更を指令する。

［観視位置追従装置の動作］
図２０を参照し、観視位置追従装置９０の動作について、説明する（適宜図１７参照）。
観視位置追従装置９０は、観視位置検出カメラ８０から、観視者画像が入力される（ステップＳ２１）。

観視位置追従装置９０は、観視位置検出手段９１によって、観視者画像から、観視者の観視位置を検出する（ステップＳ２２）。
観視位置追従装置９０は、観視位置追従制御手段９２によって、観視位置に追従して、視点境界線と、要素画像の表示位置との変更を指令する（ステップＳ２３）。
観視位置追従装置９０は、ロボットカメラ制御手段９３によって、観視位置に追従したステレオ画像の撮影を２眼立体カメラ２０Ｂに指令する（ステップＳ２４）。

本願発明の第３実施形態に係るＩＰ立体映像推定システム１Ｂは、第２実施形態と同様の効果に加え、観視者の観視位置に追従できるので、観視者が見易いＩＰ立体映像を表示することができる。

（変形例１）
本願発明に係るＩＰ立体映像推定システムは、前記した各実施形態に限定されず、その趣旨を逸脱しない範囲で変形を加えることができる。

前記した第２実施形態では、図１４のように、要素画像４２０に分割領域４４０Ｌ，４４０Ｒを設定し、分割領域４４０Ｌ，４４０Ｒそれぞれの画素が同一の画素値を有することとした。ここで、例えば、観視者が左側に１ｍｍ動いた場合、要素画像において、この１ｍｍと、直角三角形ｔｒ１，ｔｒ２の大きさの比とを乗算した位置にある画素が観視される（図６）。このため、観視者が移動する前後で異なる画素を観視するにも関わらず、異なる画素の画素値が同一のため、観視者が観視する立体像も同一であった。

ＩＰ方式では、被写体１０の光学像を再現する。すなわち、ＩＰ方式では、被写体１０からの反射光をＩＰ立体撮影装置で撮影し、ＩＰ立体テレビ７０で表示することで、立体視を実現する。ここで、ＩＰ立体撮影装置は、観視者がある程度移動しても立体視を実現するために、一定範囲内の光を撮影する。そして、ＩＰ立体テレビ７０では、ＩＰ立体撮影装置に応じた範囲で、被写体１０の光学像を再現する。

観視者が移動しない場合、ＩＰ立体撮影装置及びＩＰ立体テレビ７０は、被写体１０からの光を撮影及び再現する範囲が、観視者の位置に限定されるため、広範囲の光を撮影及び再現する必要がなくなる。このことから、２眼立体カメラ２０は、観視者の瞳孔径の範囲内に入射する光を撮影すればよいと考えられる。

そこで、ロボットカメラ制御手段９３は、２眼立体カメラ２０Ｂに対し、予め設定された距離毎にステレオ画像を撮影するように指令する。
例えば、ロボットカメラ制御手段９３は、観視者の瞳孔径のサイズ（例えば、６ｍｍ）の範囲内で、予め設定された距離（例えば、１ｍｍ）毎にステレオ画像を撮影する指令を２眼立体カメラ２０Ｂに出力する。

すると、２眼立体カメラ２０Ｂは、異なる視点で撮影された複数のステレオ画像を、解像度変換装置４０に出力する。そして、解像度変換装置４０は、各ステレオ画像から１組の視点要素画像群を生成し、画像変換装置６０Ｂに出力する。

以下、複数のステレオ画像を１組の視点要素画像群に変換する手法を説明する。ここで、２眼立体カメラ２０Ｂが移動する前の右撮影画像を基準右撮影画像と呼び、２眼立体カメラ２０Ｂが右に１ｍｍ移動した後の右撮影画像を１ｍｍ右撮影画像と呼ぶ。

画素値割当手段４４ｃは、移動する前の観視者の右目に光を出射する位置にある右視点要素画像の画素に、基準右撮影画像の対応画素の画素値（中心画素値）を割り当てる。また、画素値割当手段４４ｃは、１ｍｍ移動した後の観視者の右目に光を出射する位置の視点要素画像の画素に、基準右撮影画像の対応画素と同一位置にある１ｍｍ右撮影画像の画素の画素値（１ｍｍ右移動画素値）を割り当てる。

また、画素値割当手段４４ｃは、中心画素値と１ｍｍ右移動画素値とを割り当てた画素位置を結ぶ直線を垂直２等分する線で、右視点要素画像を分割する。そして、画像合成手段６２Ｂは、分割した領域に、中心画素値又は１ｍｍ移動画素値が割り当てられた画素が含まれている場合、その領域の各画素に中心画素値又は１ｍｍ移動画素値を割り当てる。
このように、本願発明の変形例１に係るＩＰ立体映像推定システム１Ｂは、観視者の観視位置において、被写体１０の光学像を再現することができる。

（その他変形例）
前記した第２，第３実施形態では、ＩＰ立体映像推定装置２Ａ，２Ｂが複数の装置で構成されることとしたが、これら装置を一体化してもよい。

前記した各実施形態では、ＩＰ立体映像推定装置２，２Ａ，２Ｂを構成する各装置を独立したハードウェアとして説明したが、本願発明は、これに限定されない。例えば、各装置は、コンピュータが備えるＣＰＵ、メモリ、ハードディスク等のハードウェア資源を、前記した各手段として協調動作させるプログラムで実現することもできる。

１，１Ａ，１Ｂ ＩＰ立体映像推定システム
２，２Ａ，２Ｂ ＩＰ立体映像推定装置
２０ ２眼立体カメラ（２眼立体撮影装置）
３０ 収録再生装置
４０ 解像度変換装置
４１ 解像度特性決定手段
４１ａ 最大解像度算出手段
４１ｂ 観視解像度算出手段
４１ｃ 解像度特性算出手段
４２ 奥行値算出手段
４３ 画素位置算出手段（第１画素位置算出手段）
４４ 視点要素画像群生成手段
４４ａ 対応画素解像度決定手段
４４ｂ 画素取得領域算出手段
４４ｃ 画素値割当手段
５０ ２眼立体テレビ
６０，６０Ｂ 画像変換装置
６１，６１Ｂ 画素位置算出手段（第２画素位置算出手段）
６２ 画像合成手段
７０ ＩＰ立体テレビ
８０ 観視位置検出カメラ
９０ 観視位置追従装置
９１ 観視位置検出手段
９２ 観視位置追従制御手段
９３ ロボットカメラ制御手段

Claims (7)

1. 表示素子及びレンズアレイを備えるＩＰ立体映像表示装置で表示される要素画像群の解像度に合わせて、２眼立体撮影装置で撮影されたステレオ画像の解像度を変換し、解像度が変換された前記ステレオ画像を、観視者の右目及び左目を表す視点毎に前記要素画像群の解像度を推定した視点要素画像群として出力するＩＰ立体映像推定装置であって、
   予め設定された奥行範囲において、前記要素画像群の最大解像度又は観視解像度の小さな方を解像度特性として決定する解像度特性決定手段と、
   前記ステレオ画像が入力され、入力された前記ステレオ画像の画素毎に奥行値を算出する奥行値算出手段と、
   前記視点毎に、光線追跡法によって、前記視点から前記要素レンズの中心を通過して前記表示素子に到達する仮想線上に位置する視点要素画像群の第１基準画素を算出する第１画素位置算出手段と、
   前記第１基準画素に対応した位置にある前記ステレオ画像の対応画素を求め、前記解像度特性から、前記対応画素の奥行値に応じた解像度を決定する対応画素解像度決定手段と、
   前記対応画素を中心として、前記最大解像度と前記対応画素の解像度との比で前記要素レンズの直径を拡大した画素取得領域を算出する画素取得領域算出手段と、
   前記視点毎に、前記ステレオ画像から前記画素取得領域に含まれる画素を取得し、取得した前記画素の画素値に基づいて、前記視点要素画像群のうち、前記第１基準画素が属する視点要素画像の各画素の画素値を割り当てる画素値割当手段と、
   を備えることを特徴とするＩＰ立体映像推定装置。
2. 光線追跡法によって、前記観視者の右目及び左目の中間位置を表す視点中間位置から前記要素レンズの中心を通過して前記表示素子に到達する仮想線上に位置する要素画像群の第２基準画素を算出する第２画素位置算出手段と、
   前記第２基準画素が属する要素画像を視点境界線で分割した分割領域を設定し、前記視点毎に、前記視点要素画像群から前記分割領域に対応する画像領域を抽出し、異なる視点で抽出した前記画像領域の合成により前記要素画像を生成する画像合成手段と、
   をさらに備えることを特徴とする請求項１に記載のＩＰ立体映像推定装置。
3. 前記観視者を撮影した観視者画像が入力され、入力された前記観視者画像から、前記レンズアレイの中心位置に対する前記観視者の観視位置を検出する観視位置検出手段と、
   前記画像合成手段に対し、前記観視位置に合わせて前記視点境界線の変更を指令する観視位置追従制御手段と、
   をさらに備えることを特徴とする請求項２に記載のＩＰ立体映像推定装置。
4. 前記観視位置追従制御手段は、さらに、前記画像合成手段に対し、前記観視位置に合わせて前記要素画像群の表示位置の変更を指令することを特徴とする請求項３に記載のＩＰ立体映像推定装置。
5. 移動可能なロボットカメラである２眼立体撮影装置に対し、前記観視位置に追従した前記ステレオ画像の撮影を指令するロボットカメラ制御手段、
   をさらに備えることを特徴とする請求項３又は請求項４に記載のＩＰ立体映像推定装置。
6. 前記ロボットカメラ制御手段は、前記ロボットカメラに対し、予め設定された距離毎に前記ステレオ画像を撮影するように指令することを特徴とする請求項５に記載のＩＰ立体映像推定装置。
7. コンピュータを、請求項１に記載のＩＰ立体映像推定装置として機能させるためのＩＰ立体映像推定プログラム。

Images