JP2009272869A - 立体情報生成装置および立体情報生成プログラム - Google Patents

Abstract

【課題】少ない画素数の撮像板であっても、解像度の高い立体情報を生成することが可能な立体情報生成装置を提供する。
【解決手段】立体情報生成装置１は、撮像面の中央に開口部を設け、当該開口部１３の周辺領域に要素レンズを二次元状に配列して被写体の要素画像を撮像する第一画像撮像部１１と、開口部に結像レンズを設け、撮像範囲が第一画像撮像部１１の要素レンズ全体の撮像範囲と同じになる位置で第一画像撮像部１１より解像度の高い要素画像を撮像する第二画像撮像部１２とを備えた撮像部１０と、第二画像撮像部１２で撮像された要素画像を、第一画像撮像部１１で撮像された要素画像の視差分、順次シフトさせることで、立体情報を生成する画像処理部２０とを備える。
【選択図】図１

Description

本発明は、インテグラルフォトグラフィ方式により撮像した被写体の立体情報を生成する立体情報生成装置および立体情報生成プログラムに関する。

一般に、任意の視点から自由に立体画像を視認することが可能な立体画像表示方式の一つとして、平面状に配列された凸レンズ群あるいはピンホール群を利用したインテグラルフォトグラフィ（Integral Photography：以下ＩＰ）方式が知られている（例えば、特許文献１等）。

ここで、図１２を参照して、ＩＰ方式の概念について説明する。図１２は、従来のＩＰ方式の概念を説明するための説明図であって、（ａ）は撮像時、（ｂ）は表示時の状態を示している。図１２（ａ）に示すように、従来のＩＰ方式による立体画像撮像装置（立体情報生成装置）１００は、同一平面状に配列された複数の微小凸レンズ１０１_１，…，１０１_ｎからなるレンズ群１０１と、ＣＣＤ（電化結合素子：Charge Coupled Device）等の撮像板１０２とを平行に配置している。ここで、観察者Ｏ側から、立体画像撮像装置１００により、被写体Ｈを撮像すると、被写体Ｈは、レンズ群１０１を介して、レンズ群１０１を構成する微小凸レンズ１０１_１，…，１０１_ｎの数だけ、撮像板１０２に像（以下、「要素画像」という）１０３_１，…，１０３_ｎが撮像される。

そして、立体画像撮像装置１００は、画像切り出し手段１０４によって、撮像板１０２で撮像された像から、各要素画像を切り出す。また、各要素画像をそのまま表示すると、奥行きが逆転してしまうため、立体画像撮像装置１００は、反転処理手段１０５によって、要素画像を点対称に変換することで、被写体Ｈの立体情報（複数の要素画像）を生成している。

一方、図１２（ｂ）に示すように、従来のＩＰ方式による立体画像表示装置２００は、同一平面状に配列された複数の微小凸レンズ２０１_１，…，２０１_ｎからなるレンズ群２０１と、図１２（ａ）の撮像板１０２で撮像された要素画像１０３_１，…，１０３_ｎを点対称に変換した要素画像２０３_１，…，２０３_ｎを表示する表示板（表示素子）２０２とを平行に配置している。この表示板２０２には、通常、高精細画像が表示可能なＬＣＤ（液晶ディスプレイ：Liquid Crystal Display）等が用いられる。

なお、図１２（ａ）では、被写体Ｈから発せられた光線が撮像板１０２で止まっている状態を図示しているが、図１２（ａ）中、撮像板１０２の右側に進行していく光線に相当する光線が、図１２（ｂ）中、レンズ群２０１を通して、表示板２０２から進行する光線として再現されることになる。すなわち、観察者Ｏが、レンズ群２０１を通して、表示板２０２を観察すると、立体再生像Ｍの位置に被写体Ｈが存在し、そこから光線が発せられている状態と等価な状態が再現され、立体像を視認することが可能になる。
特開２００２−２２８９７４号公報（段落００２３〜００２８、図１）

前記した従来の手法では、立体画像撮像装置が、要素画像として被写体から発せられた光線の方向を取得し、立体画像表示装置が、要素画像によって被写体からの光線の方向を再現することで、立体像を生成していた。従って、立体画像撮像装置においては、被写体の各点から発せられる光線の方向を正しく取得しなければならない。これは、レンズ群を構成する各々のレンズ（微小凸レンズ）により生成される被写体の像（要素画像）が、高い解像度で撮像板に取得されなければいけないことを意味している。

しかし、撮像板の画素数は有限であるため、個々のレンズで撮像した被写体に割り当てられる画素数は非常に少ないものとなってしまう。例えば、撮像素子の画素数が１０００（水平）×１０００（垂直）画素であり、レンズ群を構成するレンズの数が５０（水平）×５０（垂直）個であったとすると、各々のレンズが生成する像を構成する画素数は２０（水平）×２０（垂直）画素と非常に少ない。

このため、従来の手法では、撮像対象の被写体が、レンズ群から離れた位置に存在する場合、個々の要素画像において被写体を認識するための十分な解像度を得ることができず、被写体の立体像を再生するために必要な立体情報（要素画像）を生成することができないという問題がある。

本発明は、以上のような課題を解決するためになされたものであり、少ない画素数の撮像板（撮像素子）であっても、解像度の高い立体情報（要素画像）を生成することが可能な立体情報生成装置および立体情報生成プログラムを提供することを目的とする。

本発明は、前記目的を達成するために創案されたものであり、まず、請求項１に記載の立体情報生成装置は、複数の要素レンズを介して被写体を撮像した要素画像を、インテグラルフォトグラフィにおける前記被写体の立体情報として生成する立体情報生成装置において、撮像面の中央に開口部を設け、当該開口部の周辺領域に複数の要素レンズを二次元状に配列するとともに、当該要素レンズに対向する位置に、被写体の光学像を撮像する第一撮像素子を設けた第一画像撮像部と、開口部に結像レンズを設け、当該結像レンズに対向し撮像範囲が第一画像撮像部の要素レンズ全体の撮像範囲と同じになる位置に、第一画像撮像部より解像度の高い光学像を撮像する第二撮像素子を設けた第二画像撮像部と、を有する撮像部と、この撮像部で撮像された光学像から立体情報を生成する画像処理部と、を備える構成とし、さらに、画像処理部が、第一要素画像抽出手段と、第二要素画像抽出手段と、要素画像生成手段と、を備える構成とした。

かかる構成によれば、立体情報生成装置は、撮像部の第一画像撮像部において、開口部の周辺領域で、第一撮像素子によって、複数の要素レンズ（例えば、凸レンズ等）を介して、被写体の光学像を撮像する。この第一撮像素子で撮像された光学像は、インテグラルフォトグラフィにおける要素画像が複数撮像される像となる。また、立体情報生成装置は、撮像部の第一画像撮像部において、開口部の領域で、第二撮像素子によって、結像レンズ（例えば、凸レンズ等）を介して、被写体の光学像を撮像する。

この第二撮像素子で撮像された光学像を、第一撮像素子で撮像された光学像よりも高い解像度としておくことで、この第二撮像素子で撮像された光学像は、撮像部の中心に仮に要素レンズを配置して第一撮像素子で撮像した光学像よりも解像度が高くなり、解像度の高い要素画像として利用することができる。

そして、立体情報生成装置は、第一要素画像抽出手段によって、第一画像撮像部で撮像された要素レンズごとの光学像を被写体の第一要素画像として抽出する。そして、立体情報生成装置は、第二要素画像抽出手段によって、第二画像撮像部で撮像された光学像を第二要素画像として抽出する。

そして、立体情報生成装置は、要素画像生成手段によって、第二要素画像抽出手段で抽出された第二要素画像を、第一撮像素子で撮像された第一要素画像と当該第一要素画像に隣接する隣接要素画像との視差に相当する分だけ順次シフトさせることで立体情報を生成する。これによって、第二撮像素子の解像度で要素画像が順次生成され、第一撮像素子で撮像された要素画像に比べ、解像度の高い要素画像を立体情報として生成することができる。

また、請求項２に記載の立体情報生成装置は、請求項１に記載の立体情報生成装置において、要素画像生成手段が、視差検出手段と、視差拡張手段と、第一シフト処理手段と、第二シフト処理手段と、画像拡張手段と、補完処理手段と、を備える構成とした。

かかる構成によれば、立体情報生成装置は、視差検出手段によって、第一要素画像抽出手段で抽出された第一要素画像ごとに視差を検出する。そして、立体情報生成装置は、視差拡張手段によって、視差検出手段で検出された視差を、第二要素画像の画像サイズに拡張する。このように拡張された視差は、第二要素画像に対する視差として用いることができる。

そして、立体情報生成装置は、第一シフト処理手段によって、第二要素画像を、開口部に仮想的に要素レンズを配置した仮想領域である撮像部の中央領域の中心要素画像とし、当該中心要素画像を、視差拡張手段で拡張された視差に基づいて順次シフトする。これによって、中央領域内の拡張された要素画像が生成されることになる。
そして、立体情報生成装置は、第二シフト処理手段によって、第一シフト処理手段で生成された中央領域内の拡張された要素画像を、視差拡張手段で拡張された視差に基づいて順次シフトする。

そして、立体情報生成装置は、画像拡張手段によって、第一要素画像抽出手段で抽出された第一要素画像を、第二要素画像の画像サイズに拡張する。そして、立体情報生成装置は、補完処理手段によって、画像拡張手段で拡張された第二要素画像を、第二シフト手段で拡張された要素画像で補完することで、周辺領域の拡張された要素画像を生成する。

さらに、請求項３に記載の立体情報生成装置は、請求項２に記載の立体情報生成装置において、視差検出手段が、中央領域内に対応する視差を、仮想的に配置した要素レンズの隣接方向が同一で、かつ、中央領域に最も近い実在の要素レンズ間の視差により検出することを特徴とする。

かかる構成によれば、立体情報生成装置は、中央領域に対応する拡張された要素画像の視差を、中央領域に最も近接する実在する要素レンズで撮像された要素画像の視差から求めるため、実際の視差に対して誤差を最小限に抑えることができる。

また、請求項４に記載の立体情報生成プログラムは、撮像面の中央に開口部を設け、当該開口部の周辺領域に複数の要素レンズを二次元状に配列するとともに、当該要素レンズに対向する位置に、被写体の光学像を撮像する第一撮像素子を設けた第一画像撮像部と、前記開口部に結像レンズを設け、当該結像レンズに対向し撮像範囲が前記第一画像撮像部の要素レンズ全体の撮像範囲と同じになる位置に、前記第一画像撮像部より解像度の高い光学像を撮像する第二撮像素子を設けた第二画像撮像部と、を備えた撮像部により撮像された被写体の光学像から、インテグラルフォトグラフィにおける前記被写体の立体情報を生成するために、コンピュータを、第一要素画像抽出手段、第二要素画像抽出手段、視差検出手段、視差拡張手段、中央領域要素画像生成手段、画像拡張手段、周辺領域要素画像生成手段、として機能させる構成とした。

かかる構成によれば、立体情報生成プログラムは、第一要素画像抽出手段によって、第一画像撮像部で撮像された要素レンズごとの光学像を被写体の第一要素画像として抽出する。そして、立体情報生成プログラムは、第二要素画像抽出手段によって、第二画像撮像部で撮像された光学像を第二要素画像として抽出する。

そして、立体情報生成プログラムは、視差検出手段によって、第一要素画像抽出手段で抽出された第一要素画像ごとに視差を検出する。そして、立体情報生成プログラムは、視差拡張手段によって、視差検出手段で検出された視差を、第二要素画像の画像サイズに拡張する。

そして、立体情報生成プログラムは、中央領域要素画像生成手段によって、第二要素画像を、開口部に仮想的に要素レンズを配置した仮想領域である撮像部の中央領域の中心要素画像とし、当該中心要素画像を、視差拡張手段で拡張された視差に基づいてシフトすることで、中央領域内の拡張された要素画像を生成する。

さらに、立体情報生成プログラムは、画像拡張手段によって、第一要素画像抽出手段で抽出された第一要素画像を、第二要素画像の画像サイズに拡張する。そして、立体情報生成プログラムは、周辺領域要素画像生成手段によって、画像拡張手段で拡張された第二要素画像を、視差拡張手段で拡張された視差に基づいてシフトすることで、開口部の周辺領域の拡張された要素画像を生成する。

本発明は、以下に示す優れた効果を奏するものである。
請求項１，４に記載の発明によれば、開口部に設けた結像レンズを介して撮像された解像度の高い要素画像を基準として順次周辺の立体情報（要素画像）を生成するため、第一撮像素子の画素数が少ない場合であっても、インテグラルフォトグラフィにおける解像度の高い立体情報を生成することができる。このため、本発明によれば、撮像対象の被写体がレンズ群から離れた位置に存在する場合であっても、個々の要素画像の解像度を高くすることができ、高解像度の立体像を再生する立体情報を生成することができる。

請求項２に記載の発明によれば、開口部周辺の要素レンズを介して撮像された要素画像を拡張する際に、開口部の結像レンズを介して撮像された解像度の高い要素画像により補完するため、開口部周辺に対応する拡張された要素画像をより正確に再現することができる。

請求項３に記載の発明によれば、開口部に対応する中央領域の要素画像の視差を、実在する要素レンズの視差のうちで最も類似する視差で代替することができるため、中央領域における視差の誤差を最小限に抑えることができ、精度の高い立体情報を生成することができる。

以下、本発明の実施の形態について図面を参照して説明する。
［立体情報生成装置の構成］
まず、図１を参照して、本発明に係る立体情報生成装置の構成について説明する。図１は、本発明の実施形態に係る立体情報生成装置の構成を示すブロック図である。

立体情報生成装置１は、複数の要素レンズを介して被写体を撮像した要素画像を、インテグラルフォトグラフィにおける被写体の立体情報として生成するものである。ここでは、立体情報生成装置１は、撮像部１０と、画像処理部２０とを備えている。

撮像部１０は、複数のレンズによって被写体Ｈを撮像するものであって、第一画像撮像部１１と、第二画像撮像部１２とを備えている。

第一画像撮像部１１は、複眼レンズ（同一平面状に配列された複数の凸レンズ〔要素レンズ〕）により、被写体Ｈの光学像を撮像するものである。この第一画像撮像部１１で撮像された画像は、画像処理部２０に出力される。

第二画像撮像部１２は、撮像部１０の撮像面中央の開口部１３に設けた結像レンズ（例えば、凸レンズ）により、被写体Ｈの光学像を撮像するものである。なお、第二画像撮像部１２は、第一画像撮像部１１で撮像した個々の光学画像よりも解像度の高い光学像を撮像する。この第二画像撮像部１２で撮像された画像は、画像処理部２０に出力される。

ここで、図２を参照して、撮像部１０の構成について詳細に説明する。図２は、本発明の実施形態に係る立体情報生成装置の撮像部の構成を示す構成図であって、（ａ）は撮像部の概略側面図、（ｂ）は撮像部の概略正面図である。

第一画像撮像部１１は、撮像部１０の撮像面の中央に開口部１３を設け、当該開口部１３以外の領域（周辺領域）に複眼レンズとして複数の要素レンズ１４を二次元状に配列するとともに、複数の要素レンズ１４に対向する位置に、被写体Ｈの光学像を撮像する第一撮像素子１５を設けている。この第一画像撮像部１１で撮像された画像には、第一撮像素子１５が撮像した要素画像が複数含まれることになる。なお、第一撮像素子１５は、素子全体を１つの撮像素子として構成したものであってもよいし、個々の要素レンズ１４に対応する位置に要素レンズ１４を介して光学像を撮像する微小な撮像素子（要素撮像素子：図示せず）を複数配列して構成してもよい。また、図２（ｂ）では、要素レンズ１４をデルタ配列で配列した例を示しているが、正方格子状に配列することとしてもよい。

第二画像撮像部１２は、開口部１３に、結像レンズ１６を設け、当該結像レンズ１６に対向する位置に、被写体Ｈの光学像を撮像する第二撮像素子１７を設けている。なお、第二画像撮像部１２は、撮像範囲が第一画像撮像部１１の撮像範囲と同じになる位置に、第二撮像素子１７を配置している。

ここで、さらに、図３を参照（適宜図２参照）して、第一画像撮像部１１と第二画像撮像部１２とを、撮像範囲が同じになるように配置するための位置関係について説明する。図３は、第一画像撮像部と第二画像撮像部との位置関係を説明するための説明図である。
図３に示すように、第一画像撮像部１１と第二画像撮像部１２との撮像範囲を同一にするには、第一画像撮像部１１の両端の要素レンズ１４Ｌ，１４Ｒが撮像する範囲と、第二画像撮像部１２の結像レンズ１６が撮像する範囲とが同一であればよい。

ここで、１つの要素レンズ１４によって第一撮像素子１５で撮像される画像の範囲をＷ_１、要素レンズ１４から第一撮像素子１５までの距離をｇ_１とすると、要素レンズ１４の画角θ_１は、以下の（１）式で表わすことができる。
θ_１＝２ＡｒｃＴａｎ（（Ｗ_１／２）ｇ_１） …（１）式

従って、要素レンズ１４のピッチをｐ、要素レンズ１４の数（ここでは、水平方向の数）をｋとしたとき、要素レンズ１４から距離Ｌに存在する被写体空間における第一画像撮像部１１の撮像範囲Ｗ_ａｌｌは、以下の（２）式で表わすことができる。
Ｗ_ａｌｌ＝（ｋ−１）ｐ＋Ｌθ_１ …（２）式

一方、結像レンズ１６によって第二撮像素子１７で撮像される画像の範囲をＷ_２、結像レンズ１６から第二撮像素子１７までの距離をｇ_２とすると、結像レンズ１６の画角θ_２は、以下の（３）式で表わすことができる。
θ_２＝２ＡｒｃＴａｎ（（Ｗ_２／２）ｇ_２） …（３）式

従って、結像レンズ１６から距離Ｌに存在する被写体空間における第二画像撮像部１２の撮像範囲Ｗ_ｏｂｊは、以下の（４）式で表わすことができる。
Ｗ_ｏｂｊ＝Ｌθ_２ …（４）式

よって、第一画像撮像部１１の撮像範囲Ｗ_ａｌｌと、第二画像撮像部１２の撮像範囲Ｗ_ｏｂｊとを同一にするには、前記（１）〜（４）式より、結像レンズ１６から第二撮像素子１７までの距離ｇ_２を以下の（５）式に示した距離にすればよい。

このように、第二画像撮像部１２は、結像レンズ１６から距離Ｌの位置にフォーカスさせた状態で被写体を撮像する。なお、ここでは、結像レンズ１６として凸レンズを例として図示しているが、距離Ｌが変化した場合であっても、距離ｇ_２が前記（５）式を満足するためには、結像レンズ１６としてズームレンズを用いればよい。また、結像レンズ１６には、図示を省略した開口絞り機構を備えることとしてもよい。

これによって、第二画像撮像部１２は、第一画像撮像部１１の撮像範囲の画像を高解像度で撮像することができる。図１に戻って、立体情報生成装置の構成について説明を続ける。なお、撮像部１０の構成については、適宜図２を参照することとする。

画像処理部２０は、撮像部１０で撮像された光学像から、インテグラルフォトグラフィにおける被写体Ｈの立体情報（要素画像）を生成するものである。ここでは、画像処理部２０は、周辺要素画像抽出手段２１と、中心要素画像抽出手段２２と、要素画像生成手段２３とを備えている。

周辺要素画像抽出手段（第一要素画像抽出手段）２１は、第一画像撮像部１１の第一撮像素子１５で撮像された光学像から、所定領域ごとに被写体Ｈの要素画像（第一要素画像）を抽出する（切り出す）ものである。この所定領域とは、要素レンズ１４ごとに対応する画像領域であって、その画素数は、第一撮像素子１５の解像度によって予め定めておく。なお、周辺要素画像抽出手段２１は、抽出する要素画像を、円形領域として抽出してもよいし、矩形、六角形等の形状の領域として抽出してもよい。また、周辺要素画像抽出手段２１は、第一撮像素子１５が要素レンズ１４ごとに対応した要素撮像素子（図示せず）で構成されている場合は、個々の要素撮像素子が撮像した画像を要素画像として抽出することとしてもよい。

また、ここでは、周辺要素画像抽出手段２１は、抽出した要素画像を、各々の画像中心に対して点対称となるように反転処理を行うこととする。これによって、要素画像を表示する際の奥行きの逆転表示を防止することができる。この周辺要素画像抽出手段２１で抽出された要素画像（周辺要素画像）は、図示を省略したメモリ等の記憶手段に記憶され、要素画像生成手段２３によって参照される。

中心要素画像抽出手段（第二要素画像抽出手段）２２は、第二画像撮像部１２の第二撮像素子１７で撮像された光学像から、所定領域を被写体Ｈの要素画像（第二要素画像）として抽出する（切り出す）ものである。なお、この第二要素画像は、撮像部１０の中心に要素レンズ１４が配置されたと仮定して撮像された要素画像を高解像度化した画像である。具体的には、図３で説明した要素レンズ１４から第一撮像素子１５までの距離をｇ_１、結像レンズ１６から第二撮像素子１７までの距離をｇ_２とした際に、中心要素画像抽出手段２２は、図４に示すように、周辺要素画像抽出手段２１で抽出した要素画像の大きさ（例えば、水平画素数）Ｗ_Ｓに対し、以下の（６）式で表される大きさＷ_Ｌの領域を第二撮像素子１７で撮像された光学像から切り出す。
Ｗ_Ｌ＝Ｗ_Ｓ（ｇ_２／ｇ_１） …（６）式

また、ここでは、中心要素画像抽出手段２２は、抽出した要素画像を、各々の画像中心に対して点対称となるように反転処理を行うこととする。これによって、要素画像を表示する際の奥行きの逆転表示を防止することができる。

なお、図４では、中心要素画像抽出手段２２が、要素画像を円形領域で抽出する例を示しているが、矩形、六角形等の形状の領域として抽出してもよく、周辺要素画像抽出手段２１で抽出される要素画像と同一（相似形）の領域を抽出することとする。

この中心要素画像抽出手段２２で抽出された要素画像は、図示を省略したメモリ等の記憶手段に記憶され、高解像度化された中心要素画像（中心高解像度要素画像）として、要素画像生成手段２３によって参照される。

要素画像生成手段２３は、周辺要素画像抽出手段２１で抽出された要素画像（周辺要素画像）と、中心要素画像抽出手段２２で抽出された要素画像（中心高解像度要素画像）とに基づいて、すべての要素画像を、中心高解像度要素画像と同じ解像度の要素画像（高解像度要素画像）に変換するものである。ここでは、要素画像生成手段２３は、視差情報生成手段２３１と、中央領域要素画像生成手段２３２と、周辺領域要素画像生成手段２３３とを備えている。

視差情報生成手段２３１は、撮像部１０全体に要素レンズが配置されたとものと仮定し、その要素レンズ間の視差を、中心要素画像抽出手段２２で抽出した中心高解像度要素画像の画像サイズに対応した視差として生成するものである。ここでは、視差情報生成手段２３１は、視差検出手段２３１ａと、視差拡張手段２３１ｂとを備えている。

視差検出手段２３１ａは、周辺要素画像抽出手段２１で抽出された要素画像（周辺要素画像）の隣接する要素画像ごとに、そのずれを示す視差を画素単位で検出するものである。この視差は、ブロックマッチング等により求めることができる。
なお、視差検出手段２３１ａは、周辺要素画像抽出手段２１で抽出された要素画像の実際の視差のみならず、結像レンズ１６の位置に要素レンズ１４を仮想的に配置した際の当該要素レンズ１４が仮想的に撮像した要素画像の視差も併せて生成する。

ここで、図５を参照（適宜図１参照）して、視差検出手段２３１ａが、結像レンズ１６の位置に相当する位置に要素レンズ１４を仮想的に配置した際に仮想的に撮像される要素画像の視差（視差情報）を生成する手法について説明する。図５は、視差検出手段の仮想的な視差を算出する手法を説明するための説明図である。

図５（ａ）に示すように、撮像部１０は、中央に結像レンズ１６、その周辺に要素レンズ１４を複数配置している。そこで、視差検出手段２３１ａは、図５（ｂ）に示すように、結像レンズ１６の位置に仮想的に要素レンズを配置する（図中、点線の円）。そして、視差検出手段２３１ａは、この仮想的に配置した要素レンズについて、仮想的に撮像された要素画像の視差を算出する。ここでは、視差検出手段２３１ａは、仮想配置された要素レンズ同士の隣接する方向と同一で、かつ、最も近い実在する要素レンズに対応する要素画像の視差を、仮想配置された要素レンズに対応する要素画像の視差として算出する。

例えば、図５（ｃ）に示すように、仮想的に配置された要素レンズ１４ａが、左水平方向に仮想的に配置された要素レンズ１４ｂと隣接している場合、視差検出手段２３１ａは、その隣接方向に対応し、最も近い実在する要素レンズ１４ｃ，１４ｄが撮像した要素画像について画素ごとに視差を平均化することで仮想的に配置された要素レンズ１４ａ，１４ｂの視差を生成する。

なお、この視差は、仮想配置した要素レンズのうちで中央の要素レンズを基準に順次周辺方向に視差を算出することで求めることとする。ここでは、一例として左水平方向の視差を求める例について説明したが、仮想配置した中央の要素レンズよりも右水平方向に存在する要素レンズの視差を求める場合には、右水平方向に最も近い実在する要素レンズ間で視差を求めればよい。また、隣接方向が上下方向、斜め上下方向等であっても同様にその隣接方向に対応し、最も近い実在する要素レンズ間の視差を求めればよい。

以下では、視差検出手段２３１ａが検出（算出）する視差を区別するため、実際の要素レンズで撮像した要素画像に対応する周辺領域の視差を「対応視差」、開口部１３の領域（中央領域）における仮想の要素レンズで仮想撮像した要素画像の直近の要素レンズで撮像した要素画像に対応する視差を「直近視差」と呼ぶこととする。図１に戻って、立体情報生成装置の構成について説明を続ける。

視差拡張手段２３１ｂは、視差検出手段２３１ａで検出された画素ごとの視差を、中心要素画像抽出手段２２で抽出された中心高解像度要素画像の画像サイズに対する視差に拡張するものである。すなわち、視差拡張手段２３１ｂは、中心高解像度要素画像の画像サイズ分の画像データ内に前記（６）式に応じた割合で画素ごとの視差を割り当てることで拡張した視差（拡張視差）を生成する。この視差拡張手段２３１ｂで生成された拡張視差は、図示を省略したメモリ等の記憶手段に記憶され、中央領域要素画像生成手段２３２、周辺領域要素画像生成手段２３３によって参照される。

ここで、図６を参照（適宜図１参照）して、視差情報生成手段２３１の視差情報を生成する手法について説明する。図６は、視差情報生成手段が視差情報を生成する手法を模式的に示した説明図である。図６に示すように、視差検出手段２３１ａは、隣接する要素画像（ａ），（ｂ）のずれを、（ｃ）に示す視差画像として生成し、そのずれ方向とともに視差情報とする。なお、このずれ方向は画素ごとに対応付けておくこととする。

そして、視差拡張手段２３１ｂは、（ｃ）に示した視差画像を、中心高解像度要素画像の画像サイズの視差画像に拡張する。例えば、中心高解像度要素画像が、周辺要素画像抽出手段２１で抽出された要素画像（周辺要素画像）の４倍の画素で構成されている場合、図６に示すように、視差拡張手段２３１ｂは、画素ごとの視差を４倍の画素位置に割り当てる。

そして、視差拡張手段２３１ｂは、それぞれの画素位置に割り当てた視差を、画像サイズに応じて変更する。例えば、中心高解像度要素画像が周辺要素画像の縦横ともに２倍の画素数を有している場合、図６に示すように、視差拡張手段２３１ｂは、画素ごとの視差を縦横ともに２倍することで、（ｄ）に示した拡張視差画像（拡張視差情報）を生成する。これによって、視差検出手段２３１ａで検出された視差が、中心高解像度要素画像の画像サイズに対する視差画像に拡張されたことになる。図１に戻って、立体情報生成装置の構成について説明を続ける。

中央領域要素画像生成手段２３２は、開口部１３に相当する領域（中央領域）において、結像レンズ１６の代わりに要素レンズ１４を配置したと仮定した際の当該要素レンズ１４で仮想的に撮像した要素画像を高解像度化した画像（中央領域高解像度要素画像）を生成するものである。なお、この中央領域要素画像生成手段２３２は、中心要素画像抽出手段２２で抽出された中心要素画像（中心高解像度要素画像）から、順次、中央領域高解像度要素画像を生成する。ここでは、中央領域要素画像生成手段２３２は、シフト処理手段２３２ａと、内挿処理手段２３２ｂとを備えている。

シフト処理手段２３２ａは、高解像度化された要素画像の各画素を、視差拡張手段２３１ｂで拡張された視差情報（拡張視差情報）に基づいて視差分だけシフトすることで、隣接する拡張された要素画像を生成するものである。なお、このシフト処理手段２３２ａは、中心要素画像抽出手段２２で抽出された中心要素画像（中心高解像度要素画像）を基準に、順次、シフト処理を行う。

内挿処理手段２３２ｂは、シフト処理手段２３２ａによって生成された高解像度化された要素画像について、シフト処理によって欠落した画素を、内挿によって埋めるものである。この内挿処理手段２３２ｂは、欠落した画素の画素値を、例えば、周辺の画素値を線形内挿処理することによって求める。

ここで、図７を参照（適宜図１参照）して、中央領域要素画像生成手段２３２が行う処理について具体的に説明する。図７は、中央領域要素画像生成手段が、ある高解像度化された要素画像に隣接する要素画像を生成する仕組みを説明するための説明図である。なお、図７の（ａ）は、図６で説明した視差情報生成手段２３１で生成された拡張視差情報を示している。

図７に示すように、（ａ）の拡張視差情報の差分領域において「左方向に２画素」の視差を有していることを意味している場合、シフト処理手段２３２ａは、（ｂ）に示したすでに高解像度化された要素画像の各画素において、（ａ）の拡張視差情報の差分領域に対応する領域を左方向に２画素分シフトすることで、（ｃ）に示す隣接する拡張された要素画像を生成する。

なお、シフト処理手段２３２ａは、例えば、拡張視差情報において、図８に示すように、拡張視差画像の右端において「左方向に２画素」のような視差を有している場合、第二画像撮像部１２で撮像した画像のうちで、中心高解像度要素画像の外側から画像をシフトすることとする。

これによって、中央領域要素画像生成手段２３２は、開口部１３に相当する領域（中央領域）分の高解像度化した要素画像（高解像度要素画像〔立体情報〕）を生成することができる。

周辺領域要素画像生成手段２３３は、開口部１３の周辺に設けた要素レンズ１４で撮像された要素画像から高解像度化した画像（周辺領域高解像度要素画像）を生成するものである。なお、この周辺領域要素画像生成手段２３３は、中央領域要素画像生成手段２３２で生成された最も外側の要素画像を基準に、順次、周辺に隣接する拡張された要素画像を生成する。ここでは、周辺領域要素画像生成手段２３３は、シフト処理手段２３３ａと、画像拡張手段２３３ｂと、補完処理手段２３３ｃと、内挿処理手段２３３ｄとを備えている。

シフト処理手段２３３ａは、高解像度化された要素画像の各画素を、視差拡張手段２３１ｂで拡張された視差情報に基づいて視差分だけシフトすることで、隣接する拡張された要素画像を生成するものである。なお、このシフト処理手段２３３ａは、中心要素画像抽出手段２２で抽出された中心要素画像（中心高解像度要素画像）のうちで、最も外側の要素画像を基準に、順次、シフト処理を行う。このシフト処理手段２３３ａは、シフト処理手段２３２ａとは、基準となる要素画像が異なるのみで、同一の機能を有している。

画像拡張手段２３３ｂは、周辺要素画像抽出手段２１で抽出された要素画像（周辺要素画像）を、中心要素画像抽出手段２２で抽出された中心高解像度要素画像の画像サイズに拡張するものである。すなわち、画像拡張手段２３３ｂは、周辺要素画像抽出手段２１で抽出された要素画像（周辺要素画像）を、中心高解像度要素画像の画像サイズ分の画像データ内に前記（６）式に応じた割合で割り当てることで拡張画像を生成する。なお、この段階では、拡張画像は割り当てられなかった画素は、欠落した状態となっている。

補完処理手段２３３ｃは、画像拡張手段２３３ｂで生成された拡張された周辺要素画像において、欠落している画素を、シフト処理手段２３３ａによって生成された高解像度要素画像で補完するものである。

内挿処理手段２３３ｄは、補完処理手段２３３ｃによっても、まだ補完されない画素について、欠落した画素を、内挿によって埋めるものである。この内挿処理手段２３３ｄは、欠落した画素の画素値を、例えば、周辺の画素値を線形内挿処理することによって求める。なお、補完処理手段２３３ｃによっても補完されない画素とは、例えば、補完すべき画素に対応するシフト処理手段２３３ａによって生成された高解像度要素画像の画素が、シフト処理によって存在していない画素となっている場合である。

ここで、図９を参照（適宜図１参照）して、周辺領域要素画像生成手段２３３が行う処理について具体的に説明する。図９は、周辺領域要素画像生成手段が、ある高解像度化された要素画像に隣接する要素画像を生成する仕組みを説明するための説明図である。なお、図９の（ａ）〜（ｄ）には、図６で説明した視差情報生成手段２３１の拡張視差情報を生成する処理を併せて記載している。

図９に示すように、シフト処理手段２３３ａは、（ｄ）の拡張視差情報の差分領域において「左方向に２画素」の視差を有していることを意味している場合、（ｅ）に示したすでに高解像度化された要素画像の各画素において、（ｄ）の拡張視差情報の差分領域に対応する領域を左方向に２画素分シフトすることで、（ｆ）に示す隣接する拡張された要素画像を生成する。

そして、画像拡張手段２３３ｂは、（ｂ）に示した周辺要素画像の各画素を、中心高解像度要素画像の画像サイズ分の画像データ内に前記（６）式に応じた割合で割り当てることで（ｇ）に示した拡張画像を生成する。なお、例えば、中心高解像度要素画像が、周辺要素画像抽出手段２１で抽出された要素画像（周辺要素画像）の４倍の画素で構成されている場合、（ｇ）に示すように、拡張画像は全画素の４分の１だけが割り当てられ、４分の３の画素が欠落した状態となっている。

そして、補完処理手段２３３ｃは、欠落している４分の３の画素について、シフト処理手段２３３ａで生成された（ｆ）に示した高解像度要素画像のうちの対応する画素を割り当て、拡張された周辺要素画像の補完を行うことで、（ｈ）に示す高解像度要素画像を生成する。このように、補完処理手段２３３ｃは、シフト処理手段２３３ａで生成された（ｆ）に示す要素画像よりも、画像拡張手段２３３ｂで生成された（ｇ）に示す拡張画像を優先して画素を割り当てることで、より精度の高い要素画像を生成することができる。なお、この補完処理によっても、欠落した画素が存在する場合は、内挿処理手段２３３ｄによって画像が補完される。

これによって、周辺領域要素画像生成手段２３３は、開口部１３の周辺の領域（周辺領域）分の高解像度化した要素画像（高解像度要素画像〔立体情報〕）を生成することができる。

以上説明したように、立体情報生成装置１は、開口部１３に設けた結像レンズによって、要素レンズで撮像した要素画像よりも解像度の高い要素画像を基準として、周辺の要素画像を高解像度化することができる。これによって、立体情報生成装置１は、要素レンズで撮像された要素画像の解像度が低い場合であっても、被写体の立体像を再生するために必要な立体情報すべての要素画像を高解像度化することができる。

なお、立体情報生成装置１の画像処理部２０は、図示を省略したＣＰＵやメモリを搭載した一般的なコンピュータで実現することができる。このとき、立体情報生成装置１の画像処理部２０は、コンピュータを前記した各手段として機能させる立体情報生成プログラムによって動作する。

［立体情報生成装置の動作］
次に、図１０，１１を参照（構成については、適宜図１，２参照）して、本発明に係る立体情報生成装置の動作について説明する。図１０は、本発明の実施形態に係る立体情報生成装置の全体動作を示すフローチャートである。図１１は、本発明の実施形態に係る立体情報生成装置の要素画像生成手段の動作を示すフローチャートである。

〔全体動作〕
まず、立体情報生成装置１は、撮像部１０によって、被写体Ｈを撮像する（ステップＳ１）。具体的には、このステップＳ１において、立体情報生成装置１の撮像部１０は、第一画像撮像部１１の複数の微小な凸レンズ〔要素レンズ１４〕を介して、第一撮像素子１５によって、被写体Ｈの光学像を撮像する。また、立体情報生成装置１の撮像部１０は、第二画像撮像部１２の結像レンズ１６を介して、第二撮像素子１７によって、被写体Ｈの光学像を撮像する。

その後、立体情報生成装置１は、画像処理部２０において、撮像部１０で撮像された光学像から、被写体の立体情報を生成する。
まず、立体情報生成装置１は、周辺要素画像抽出手段２１によって、ステップＳ１で第一撮像素子１５により撮像された光学像から、要素レンズ１４ごとに対応する画像を切り出し、その切り出した画像を、中心に対して点対称となるように反転処理を行うことで、要素画像（周辺要素画像）として抽出する（ステップＳ２）。このステップＳ２で抽出された要素画像は、要素レンズ１４の数だけ複数抽出されることになる。

また、立体情報生成装置１は、中心要素画像抽出手段２２によって、ステップＳ１で第二撮像素子１７により撮像された光学像から、要素レンズ１４から第一撮像素子１５までの距離と、結像レンズ１６から第二撮像素子１７までの距離との比に応じて、前記（６）式に示した大きさの画像を切り出し、その切り出した画像を、中心に対して点対称となるように反転処理を行うことで、要素画像（高解像度要素画像）として抽出する（ステップＳ３）。

このステップＳ３で抽出された高解像度要素画像は、ステップＳ２で抽出された要素画像よりも解像度が高いものとなる。また、ステップＳ３で抽出された高解像度要素画像は、開口部１３に要素レンズが仮想的に配置されたと仮定した際の中央の要素レンズで撮像された要素画像を高解像度化した画像（中心高解像度要素画像）に相当する。なお、ステップＳ２およびステップＳ３は、この順番で動作する必要はなく、順序を変えて動作させてもよいし、並列して動作させてもよい。

そして、立体情報生成装置１は、要素画像生成手段２３によって、ステップＳ２で抽出された複数の周辺要素画像と、ステップＳ３で抽出された中心高解像度要素画像とに基づいて、すべての要素画像を、中心高解像度要素画像と同じ解像度の要素画像（高解像度要素画像）に変換する（高解像度化処理：ステップＳ４）。このステップＳ４の高解像度化処理については、図１１を参照して詳細に説明する。

〔高解像度化処理〕
（視差情報生成ステップ）
まず、立体情報生成装置１は、視差情報生成手段２３１の視差検出手段２３１ａによって、ステップＳ２（図１０）で抽出された各周辺要素画像に隣接する要素画像ごとに、そのずれを示す視差（視差情報）を画素単位で検出する（ステップＳ１１）。

なお、このステップＳ１１では、実在する要素レンズに対応する視差を、各要素レンズが撮像した要素画像の差分として視差（対応視差）を検出する。また、結像レンズ１６の位置に仮想的に配置した要素レンズの視差を、隣接する方向が同一で、かつ、開口部１３に最も近い実在する要素レンズに対応する要素画像の視差（直近視差）として検出する。

（中央領域高解像度化ステップ）
そして、立体情報生成装置１は、視差拡張手段２３１ｂによって、ステップＳ１１で検出された視差情報（直近視差）を、ステップＳ３（図１０）で抽出された高解像度要素画像の画像サイズに対する視差に拡張することで、拡張視差（直近拡張視差）を生成する（ステップＳ１２）。

その後、立体情報生成装置１は、中央領域要素画像生成手段２３２のシフト処理手段２３２ａによって、ステップＳ３（図１０）で抽出された高解像度要素画像の各画素を、ステップＳ１２で生成された直近拡張視差分だけシフトすることで、高解像度要素画像に隣接する拡張された要素画像を生成する（ステップＳ１３）。

ここで、立体情報生成装置１は、中央領域要素画像生成手段２３２によって、開口部１３に相当する領域（中央領域）分の高解像度化した要素画像（高解像度要素画像）を生成したか否かを判定する（ステップＳ１４）。そして、立体情報生成装置１は、中央領域の高解像度要素画像をすべて生成した場合（ステップＳ１４でＹｅｓ）には、ステップＳ１５に動作を進める。

一方、中央領域分の高解像度要素画像をすべて生成していない場合（ステップＳ１４でＮｏ）には、立体情報生成装置１は、ステップＳ１２に戻って、すでに生成した高解像度要素画像に隣接する要素画像を生成対象として、中央領域分の高解像度要素画像を順次生成する。

（周辺領域高解像度化ステップ）
次に、立体情報生成装置１は、視差拡張手段２３１ｂによって、ステップＳ１１で検出された視差情報（対応視差）を、ステップＳ３（図１０）で抽出された高解像度要素画像の画像サイズに対する視差に拡張することで、拡張視差（対応拡張視差）を生成する（ステップＳ１５）。

その後、立体情報生成装置１は、周辺領域要素画像生成手段２３３のシフト処理手段２３３ａによって、拡張対象に隣接するすでに拡張されている高解像度要素画像の各画素を、ステップＳ１５で拡張された視差（対応視差）に基づいて視差分だけシフトすることで、隣接したシフト高解像度要素画像を生成する（ステップＳ１６）。

そして、立体情報生成装置１は、画像拡張手段２３３ｂによって、ステップＳ２（図１０）で抽出された周辺要素画像のうちで、すでに高解像度化された中央領域の要素画像に隣接する要素画像を拡張対象として、中心高解像度要素画像の画像サイズに拡張することで、拡張周辺要素画像を生成する（ステップＳ１７）。

そして、立体情報生成装置１は、補完処理手段２３３ｃによって、ステップＳ１７で拡張された周辺要素画像において、欠落している画素を、ステップＳ１６で生成されたシフト高解像度要素画像で補完する（ステップＳ１８）。なお、このとき、立体情報生成装置１は、ステップＳ１８において、補完されなかった画素については、内挿処理手段２３３ｄによって、内挿によって画素を補完する。

ここで、立体情報生成装置１は、周辺領域要素画像生成手段２３３によって、開口部１３の周辺領域分の要素画像をすべて高解像度化したか否か、すなわち、周辺領域の高解像度要素画像をすべて生成したか否かを判定する（ステップＳ１９）。そして、立体情報生成装置１は、周辺領域の高解像度要素画像をすべて生成した場合（ステップＳ１９でＹｅｓ）には、動作を終了する。

一方、周辺領域分の高解像度要素画像をすべて生成していない場合（ステップＳ１９でＮｏ）には、立体情報生成装置１は、ステップＳ１５に戻って、すでに生成した高解像度要素画像に隣接する要素画像を生成対象として、周辺領域分の高解像度要素画像を順次生成する。

以上の動作によって、立体情報生成装置１は、開口部１３の周辺領域に配置された要素レンズを介して撮像された要素画像を、開口部１３に備えられた結像レンズ１６を介して撮像された高解像度の要素画像に基づいて高解像度化することができる。これによって、立体情報生成装置１は、第一画像撮像部１１の第一撮像素子１５における個々の要素画像の解像度が低い場合であっても、要素画像を高解像度化することができ、インテグラルフォトグラフィ方式における高精細な立体像を再生することが可能な立体情報（要素画像）を生成することができる。

本発明の実施形態に係る立体情報生成装置の構成を示すブロック図である。 本発明の実施形態に係る立体情報生成装置の撮像部の構成を示す構成図であって、（ａ）は撮像部の概略側面図、（ｂ）は撮像部の概略正面図である。 第一画像撮像部と第二画像撮像部との位置関係を説明するための説明図である。 周辺要素画像抽出手段で抽出された要素画像と、中心要素画像抽出手段で抽出された要素画像の関係を説明するための説明図である。 視差検出手段の仮想的な視差を算出する手法を説明するための説明図である。 視差情報生成手段が視差情報を生成する手法を模式的に示した説明図である。 中央領域要素画像生成手段が、ある高解像度化された要素画像に隣接する要素画像を生成する仕組みを説明するための説明図である。 視差情報の他の例を示す図である。 周辺領域要素画像生成手段が、ある高解像度化された要素画像に隣接する要素画像を生成する仕組みを説明するための説明図である。 本発明の実施形態に係る立体情報生成装置の全体動作を示すフローチャートである。 本発明の実施形態に係る立体情報生成装置の要素画像生成手段の動作を示すフローチャートである。 従来のＩＰ方式の概念を説明するための説明図であって、（ａ）は撮像時、（ｂ）は表示時の状態を示している。

符号の説明

１ 立体情報生成装置
１０ 撮像部
１１ 第一画像撮像部
１２ 第二画像撮像部
１３ 開口部
１４ 要素レンズ
１５ 第一撮像素子
１６ 結像レンズ
１７ 第二撮像素子
２０ 画像処理部
２１ 周辺要素画像抽出手段（第一要素画像抽出手段）
２２ 中心要素画像抽出手段（第二要素画像抽出手段）
２３ 要素画像生成手段
２３１ 視差情報生成手段
２３１ａ 視差検出手段
２３１ｂ 視差拡張手段
２３２ 中央領域要素画像生成手段
２３２ａ シフト処理手段（第一シフト処理手段）
２３２ｂ 内挿処理手段
２３３ 周辺領域度要素画像生成手段
２３３ａ シフト処理手段（第二シフト処理手段）
２３３ｂ 画像拡張手段
２３３ｃ 補完処理手段
２３３ｄ 内挿処理手段

Claims (4)

1. 複数の要素レンズを介して被写体を撮像した要素画像を、インテグラルフォトグラフィにおける前記被写体の立体情報として生成する立体情報生成装置において、
   撮像面の中央に開口部を設け、当該開口部の周辺領域に前記複数の要素レンズを二次元状に配列するとともに、当該要素レンズに対向する位置に、前記被写体の光学像を撮像する第一撮像素子を設けた第一画像撮像部と、
   前記開口部に結像レンズを設け、当該結像レンズに対向し撮像範囲が前記第一画像撮像部の要素レンズ全体の撮像範囲と同じになる位置に、前記第一画像撮像部より解像度の高い光学像を撮像する第二撮像素子を設けた第二画像撮像部と、を有する撮像部と、
   この撮像部で撮像された光学像から、前記立体情報を生成する画像処理部と、を備え、
   前記画像処理部は、
   前記第一画像撮像部で撮像された前記要素レンズごとの光学像を前記被写体の第一要素画像として抽出する第一要素画像抽出手段と、
   前記第二画像撮像部で撮像された光学像を第二要素画像として抽出する第二要素画像抽出手段と、
   この第二要素画像抽出手段で抽出された第二要素画像を、前記第一撮像素子で撮像された第一要素画像と当該第一要素画像に隣接する隣接要素画像との視差に相当する分だけ順次シフトさせることで、前記立体情報を生成する要素画像生成手段と、
   を備えることを特徴とする立体情報生成装置。
2. 前記要素画像生成手段は、
   前記第一要素画像抽出手段で抽出された第一要素画像ごとに視差を検出する視差検出手段と、
   この視差検出手段で検出された視差を、前記第二要素画像の画像サイズに拡張する視差拡張手段と、
   前記第二要素画像を、前記開口部に仮想的に前記要素レンズを配置した仮想領域である前記撮像部の中央領域の中心要素画像とし、当該中心要素画像を、前記視差拡張手段で拡張された視差に基づいて順次シフトすることで、前記中央領域内の拡張された要素画像を生成する第一シフト処理手段と、
   この第一シフト処理手段で生成された前記中央領域内の拡張された要素画像を、前記視差拡張手段で拡張された視差に基づいて順次シフトすることで、前記開口部の周辺領域の拡張された要素画像を生成する第二シフト処理手段と、
   前記第一要素画像抽出手段で抽出された第一要素画像を、前記第二要素画像の画像サイズに拡張する画像拡張手段と、
   この画像拡張手段で拡張された第二要素画像を、前記第二シフト手段で拡張された要素画像で補完することで、前記周辺領域の拡張された要素画像を生成する補完処理手段と、
   を備えることを特徴とする請求項１に記載の立体情報生成装置。
3. 前記視差検出手段は、前記中央領域内に対応する視差を、前記仮想的に配置した要素レンズの隣接方向が同一で、かつ、前記中央領域に最も近い実在の要素レンズ間の視差により検出することを特徴とする請求項２に記載の立体情報生成装置。
4. 撮像面の中央に開口部を設け、当該開口部の周辺領域に複数の要素レンズを二次元状に配列するとともに、当該要素レンズに対向する位置に、被写体の光学像を撮像する第一撮像素子を設けた第一画像撮像部と、前記開口部に結像レンズを設け、当該結像レンズに対向し撮像範囲が前記第一画像撮像部の要素レンズ全体の撮像範囲と同じになる位置に、前記第一画像撮像部より解像度の高い光学像を撮像する第二撮像素子を設けた第二画像撮像部と、を備えた撮像部により撮像された被写体の光学像から、インテグラルフォトグラフィにおける前記被写体の立体情報を生成するために、コンピュータを、
   前記第一画像撮像部で撮像された前記要素レンズごとの光学像を前記被写体の第一要素画像として抽出する第一要素画像抽出手段、
   前記第二画像撮像部で撮像された光学像を第二要素画像として抽出する第二要素画像抽出手段、
   前記第一要素画像抽出手段で抽出された第一要素画像ごとに視差を検出する視差検出手段、
   この視差検出手段で検出された視差を、前記第二要素画像の画像サイズに拡張する視差拡張手段、
   前記第二要素画像を、前記開口部に仮想的に前記要素レンズを配置した仮想領域である前記撮像部の中央領域の中心要素画像とし、当該中心要素画像を、前記視差拡張手段で拡張された視差に基づいてシフトすることで、前記中央領域内の拡張された要素画像を生成する中央領域要素画像生成手段、
   前記第一要素画像抽出手段で抽出された第一要素画像を、前記第二要素画像の画像サイズに拡張する画像拡張手段、
   この画像拡張手段で拡張された第二要素画像を、前記視差拡張手段で拡張された視差に基づいてシフトすることで、前記開口部の周辺領域の拡張された要素画像を生成する周辺領域要素画像生成手段、
   として機能させることを特徴とする立体情報生成プログラム。

Images