JP2012205015A - 画像処理装置及び画像処理方法、並びにプログラム - Google Patents

Abstract

【課題】プレノプティックカメラにより撮像されたライトフィールド画像から、再構成画像が生成される場合に生ずるノイズを低減させる。
【解決手段】ライトフィールド画像取得部７１は、撮像装置により撮像された結果得られる、複数のマイクロレンズの各々により生成される複数のサブイメージの集合体からなるライトフィールド画像のデータを取得する。補間ライトフィールド画像生成部７５は、複数の仮想的なサブイメージの集合体からなる補間ライトフィールド画像のデータを１以上生成する。再構成画像生成部７６は、ライトフィールド画像のデータ及び１以上の補間ライトフィールド画像のデータを用いて、再構成画像のデータを生成する。
【選択図】図４

Description

本発明は、画像処理装置及び画像処理方法、並びにプログラムに関し、特に、プレノプティックカメラと呼ばれる撮像装置により撮像されたライトフィールド画像から、再構成された画像に生ずるノイズを低減させることが可能な、画像処理装置及び画像処理方法、並びにプログラムに関する。

近年、入射光線の方向分布(ｄｉｒｅｃｔｉｏｎ ｄｉｓｔｒｉｂｕｔｉｏｎ)についての情報を取り込む撮像装置、即ち「プレノプティック（ｐｌｅｎｏｐｔｉｃ）カメラ」と呼ばれる撮像装置が研究開発されている（特許文献１参照）。
プレノプティックカメラの光学系においては、従来の撮像レンズ（以下、「メインレンズ」と呼ぶ）と撮像素子との間に、極小のレンズ（以下、「マイクロレンズ」と呼ぶ）を縦横に連続して繰り返し配置した複眼状レンズ（以下、「マイクロレンズアレイ」と呼ぶ）が挿入されている。

マイクロレンズアレイを構成する個々のマイクロレンズは、メインレンズによって集光された光を、その到達した角度に応じて、撮像素子内の複数の画素に分配する。
即ち、個々のマイクロレンズの各々によって撮像素子に集光された像を、以下「サブイメージ」と呼ぶならば、複数のサブイメージの集合体からなる画像のデータが、撮像画像のデータとして撮像素子から出力される。
なお、このようなプレノプティックカメラの撮像画像、即ち、複数のサブイメージの集合体からなる画像を、以下、「ライトフィールド画像」と呼ぶ。
ライトフィールド画像は、このように従来のメインレンズのみならず、マイクロレンズアレイを介して入射された光により生成される。このため、ライトフィールド画像は、従来の撮像画像にも含まれていた２次元の空間情報を有することは勿論のこと、さらに、従来の撮像画像には含まれていなかった情報として、撮像素子からみて何れの方向から到達した光線なのかを示す２次元の方向情報を有している。

そこで、プレノプティックカメラは、このような２次元の方向情報を利用して、ライトフィールド画像の撮像後に、当該ライトフィールド画像のデータを用いて、撮像時に任意の距離だけ前方に離間していた面の像を再構成することができる。
換言すると、プレノプティックカメラは、所定距離で焦点をあわせずにライトフィールド画像を撮像した場合であっても、その撮像後に、当該ライトフィールド画像のデータを用いることで、当該所定距離で合焦して撮像したような画像（以下、「再構成画像」と呼ぶ）のデータを自在に作り出すことができる。

具体的には、プレノプティックカメラは、任意の距離にある面の１点を注目点に設定し、当該注目点からの光がメインレンズ及びマイクロレンズアレイを介して撮像素子内の何れの画素に分配されるのかを算出する。
ここで、例えば、撮像素子の各画素が、ライトフィールド画像を構成する各画素に対応しているならば、プレノプティックカメラは、ライトフィールド画像を構成する各画素のうち、当該注目点からの光が分配される１以上の画素の画素値を積分する。この積分値が、再構成画像における、注目点に対応する画素の画素値となる。このようにして、再構成画像における、注目点に対応する画素が再構成される。
プレノプティックカメラは、再構成画像を構成する各画素（任意の距離にある面の各点に対応する各画素）のそれぞれを注目点に順次設定して、上述の一連の処理を繰り返すことで、再構成画像のデータ（再構成画像の各画素の画素値の集合体）を再構成する。

特表２００９−５３２９９３号公報

しかしながら、特許文献１に記載のプレノプティックカメラより再構成画像のデータが生成されると、空間方向に周期的なノイズが生ずる場合がある。
このため、当該ノイズを低減する手法が求められている状況である。

本発明は、このような状況に鑑みてなされたものであり、プレノプティックカメラと呼ばれる撮像装置により撮像されたライトフィールド画像から、再構成画像が生成される場合に生ずるノイズを低減させることを目的とする。

上記目的を達成するため、本発明の一態様の画像処理装置は、
メインレンズ、複数のマイクロレンズからなるマイクロレンズアレイ、及び撮像素子を光学系に備える撮像装置により撮像された結果得られる、前記複数のマイクロレンズの各々により生成される複数のサブイメージの集合体からなるライトフィールド画像のデータを取得する画像取得手段と、
前記画像取得手段により取得された前記ライトフィールド画像のデータを用いて、前記撮像装置から所定位置の面の像を再構成画像として、前記再構成画像のデータを生成する再構成画像生成手段と、
を備え、
前記再構成画像生成手段は、前記ライトフィールド画像に含まれる前記複数のサブイメージに加えて、１以上の仮想的なサブイメージを用いて、前記再構成画像のデータを生成する、
ことを特徴とする。

本発明によれば、プレノプティックカメラと呼ばれる撮像装置により再構成画像のデータが生成される場合に生ずるノイズを低減することができる。

本発明に係る画像処理装置の一実施形態である撮像装置のハードウェアの構成を示すブロック図である。 図１の構成を有する撮像装置のうち、光学系の構成例を示す模式図である。 補間ライトフィールド画像生成手法を適用した図１の撮像装置によって得られる再構成画像と、従来の技術を適用した場合に得られる再構成画像とを比較する図である。 図１の撮像装置の機能的構成例であって、再構成画像生成処理の実行機能を発揮するための機能的構成例を示す機能ブロック図である。 図２の機能的構成を有する図１の撮像装置が実行する再構成画像生成処理の流れの一例を説明するフローチャートである。 図５の再構成画像生成処理に対して適用される視差の算出手法の一例を説明する図である。 図５の再構成画像生成処理に対して適用される補間ライトフィールド画像生成手法の一例を説明する図である。 図５の再構成画像生成処理に対して適用される補間ライトフィールド画像生成手法のうち、補間サブイメージの生成手法の一例を説明する図である。 図５の再構成画像生成処理で実行される再構成処理の流れの一例を説明するフローチャートである。

以下、本発明の実施形態について、図面を用いて説明する。

図１は、本発明に係る画像処理装置の一実施形態である撮像装置のハードウェアの構成を示すブロック図である。

撮像装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３と、バス１４と、入出力インターフェース１５と、撮像部１６と、入力部１７と、出力部１８と、記憶部１９と、通信部２０と、ドライブ２１と、を備えている。

ＣＰＵ１１は、ＲＯＭ１２に記録されているプログラム、又は、記憶部１９からＲＡＭ１３にロードされたプログラムに従って各種の処理を実行する。

ＲＡＭ１３には、ＣＰＵ１１が各種の処理を実行する上において必要なデータ等も適宜記憶される。

ＣＰＵ１１、ＲＯＭ１２、及びＲＡＭ１３は、バス１４を介して相互に接続されている。このバス１４にはまた、入出力インターフェース１５も接続されている。入出力インターフェース１５には、撮像部１６、入力部１７、出力部１８、記憶部１９、通信部２０及びドライブ２１が接続されている。

撮像部１６は、メインレンズ３１と、マイクロレンズアレイ３２と、撮像素子３３と、を備えている。なお、撮像部１６のさらなる詳細については、図２を参照して後述する。

入力部１７は、図示せぬシャッタ釦等の各種釦により構成され、ユーザの指示操作に応じた各種情報を入力する。
出力部１８は、モニタやスピーカ等により構成され、各種画像や各種音声を出力する。
記憶部１９は、ハードディスクやＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成され、後述するライトフィールド画像や再構成画像等、各種画像のデータを記憶する。
通信部２０は、インターネットを含むネットワークを介して他の装置（図示せず）との間で行う通信を制御する。

ドライブ２１には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなる、リムーバブルメディア２２が適宜装着される。ドライブ２１によってリムーバブルメディア２２から読み出されたプログラムは、必要に応じて記憶部１９にインストールされる。また、リムーバブルメディア２２は、記憶部１９に記憶されている画像のデータ等の各種データも、記憶部１９と同様に記憶することができる。

図２は、このような図１の構成を有する撮像装置のうち、光学系の構成例を示す模式図である。

撮像装置１の光学系においては、被写体たる物体面ｏｂからみて、メインレンズ３１と、マイクロレンズアレイ３２と、撮像素子３３と、がその順番で配置されている。
マイクロレンズアレイ３２においては、Ｎ個（Ｎは２以上の任意の整数値）のマイクロレンズ３２−１乃至３２−Ｎの各々が規則的に連続して繰り返して配置されている。

メインレンズ３１は、光源から射出された光束を集光して、所定の面Ｍａに結像させ、マイクロレンズアレイ３２に入射させる。なお、以下、メインレンズ３１により結像される面Ｍａを、「メインレンズ結像面Ｍａ」と呼ぶ。

マイクロレンズアレイ３２内のマイクロレンズ３２−ｉ（ｉは、１乃至Ｎの範囲内の整数値）は、物体面ｏｂからメインレンズ３１を介して入射されてくる光束を入射方向毎に集光して、撮像素子３３の上にサブイメージを結像させる。
即ち、撮像素子３３においては、複数のマイクロレンズ３２−１乃至３２−Ｎの各々により複数のサブイメージが結像され、これらの複数のサブイメージの集合体であるライトフィールド画像が生成される。

撮像素子３３は、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型の光電変換素子等から構成される。撮像素子３３には、メインレンズ３１からマイクロレンズアレイ３２を介して被写体像（図２の例では、物体面ｏｂの像）が入射される。そこで、撮像素子３３は、被写体像を光電変換（撮像）して画像信号を一定時間蓄積し、蓄積した画像信号をアナログ信号として図示せぬＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）に順次供給する。
ＡＦＥは、このアナログの画像信号に対して、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換処理等の各種信号処理を施す。各種信号処理によって、ディジタル信号が生成され、ライトフィールド画像のデータとしてＡＦＥからＣＰＵ１１（図１）等に適宜提供される。

ここで、撮像装置１が、物体面ｏｂを撮像した結果得られるライトフィールド画像のデータから、再構成画像のデータを生成する場合を考える。
この場合、撮像装置１は、任意の距離にある面の１点を注目点に設定すると、当該注目点からの光がメインレンズ３１及びマイクロレンズアレイ３２を介して撮像素子３３内の何れの画素に分配されるのかを算出する。なお、以下、再構成対象の面、即ち、注目点が設定される面を、「再構成面」と呼ぶ。
そして、撮像装置１は、分配された画素に対応する、ライトフィールド画像のデータ内の画素値を積分することにより、再構成画像のうち、注目点に対応する画素の画素値を推定演算する。
撮像装置１は、このような推定演算を、再構成画像の各画素毎に実行することにより、再構成画像のデータを生成する。

しかしながら、このような再構成画像の各画素の推定演算（以下、「再構成の演算」と呼ぶ）は、特許文献１等の従来の技術では、撮像により得られたライトフィールド画像のデータのみが用いられて実行されていた。
このため、空間周波数の高い物体領域が再構成面に実在しないと、再構成画像の領域のうち、理想的には通常の撮像装置により撮像された場合と同様に自然なボケとなるべき領域において、周期的なノイズが生ずる場合がある。
そこで、本発明人らは、当該ノイズを低減すべく、撮像により得られたライトフィールド画像のデータから、補間ライトフィールド画像のデータを生成する手法を発明した。以下、かかる手法を、「補間ライトフィールド画像生成手法」と呼ぶ。

以下、このような補間ライトフィールド画像生成手法について、補間ライトフィールド画像のデータとは如何なるデータであるのか、また、生成された補間ライトフィールド画像のデータを用いて如何にしてノイズを低減させるのかについて等も含めて説明する。
なお、以下、断りのない限り、単に「距離」という場合、それは、光軸ａｘに平行な方向の距離を意味するものとする。また、レンズのうち光軸ａｘが通過する点を「主点」と呼ぶ。

メインレンズ３１、マイクロレンズアレイ３２（個々のマイクロレンズ３２−ｉ）、及び撮像素子３３の配置が固定されている場合において、とある光線が撮像素子３３内の何れの画素に到達するのかは、その光源がメインレンズ３１の主点からみて何れの位置に存在するかによって決定付けられる。そこで、以下、説明の簡略上、光源が物体面ｏｂの上であって、メインレンズ３１の光軸ａｘ上に存在する場合について考える。

図２に示すように、光源（図２の例では物体面ｏｂの中心）からの距離ａ１の位置にメインレンズ３１の主点が存在する場合、メインレンズ３１の主点から結像面Ｍａまでの距離ｂ１は、ガウスの結像公式を用いて、次の式（１）のように求められる。
ｂ１＝ａ１×ｆ１／（ａ１−ｆ１） ・・・（１）
式（１）において、ｆ１は、メインレンズ３１の焦点距離を示している。

ここで、メインレンズ３１の結像面Ｍａからマイクロレンズ３２−ｉの主点までの距離が、ａ２であるものとする。また、マイクロレンズ３２−ｉの主点から、当該マイクロレンズ３２−ｉに入射された光線が射出されて結像される位置までの距離が、ｂ２であるものとする。
この場合、距離ａ２と距離ｂ２との関係は、式（２）のように示される。
ｂ２＝ａ２×ｆ２／（ａ２−ｆ２） ・・・（２）
式（２）において、ｆ２は、マイクロレンズ３２−ｉの焦点距離を示している。

なお、図２においては、説明の簡略上、撮像素子３３が、マイクロレンズ３２−ｉの主点から距離ｂ２の位置に丁度配置されているが、これは例示に過ぎない。即ち、撮像素子３３は、実際には、マイクロレンズ３２−ｉの主点から距離ｂ２の位置に丁度配置されている必要はなく、その位置から多少前後して配置されてもよい。

光源からの光線のうち、メインレンズ３１の主点を通り光軸ａｘに平行な光線ｒａｙは、マイクロレンズアレイ３２のうち、当該光線ｒａｙが通過するマイクロレンズ３２−ｒ（ｒは、１乃至Ｎのうち、当該光線ｒａｙが通過するものに付されている番号を示す整数値）によって作られたサブイメージの中心Ａに結像する。

一方、光源からの光線のうち、光軸ａｘが通過するマイクロレンズ３２−ｒに隣接するマイクロレンズ３２−ｉ（ｉは、ｒを除く何れかの整数値）に到達した光線は、そのマイクロレンズ３２−ｉが作るサブイメージの中心位置（マイクロレンズ３２−ｉの主点に対応する位置）から一定間隔だけ離間した位置（以下、「結像位置」と呼ぶ）に結像する。
そこで、以下、光源からメインレンズ３１を介してマイクロレンズ３２−ｉに入射された光線が当該マイクロレンズ３２−ｉから射出されて結像される面、即ち当該マイクロレンズ３２−ｉによるサブイメージが形成される面（図２の例では撮像素子３３の撮像面）における、当該サブイメージの中心位置と、当該マイクロレンズ３２−ｉによる光線の結像位置との距離差を、以下「視差」と呼ぶ。
視差は、図２にあわせて「Ｐａ」と記述するものとすると、次の式（３）のように表わされる。
Ｐａ ＝ ｄ×（ｂ２／ａ２） ・・・（３）
式（３）において、ｄは、隣接する２つのマイクロレンズ３２−ｒ，３２−ｉ間のピッチを示している。
なお、上述の式（３）で表わされる視差Ｐａの関係は、光軸ａｘから離間した位置において隣接する２つのマイクロレンズ３２−ｋ，３２−（ｋ＋１）（ｋは、１乃至Ｎ−１のうち、ｒを除く何れかの整数値）の間でも幾何的に成立する。このため、視差Ｐａは、光軸ａｘからの距離に依存せず一定になる。

詳細については図５を参照して後述するが、この視差Ｐａは、撮像により実際に得られているライトフィールド画像のデータから算出可能である。
また、詳細については図６や図７を参照して後述するが、この視差Ｐａに基づいて、補間ライトフィールド画像のデータが作成される。
ここで、補間ライトフィールド画像とは、マイクロレンズアレイ３２内の領域のうち、マイクロレンズ３２−ｉが実際には配置されていない領域（複数のマイクロレンズ３２−ｉ間のつなぎ目等）に仮想的なマイクロレンズが配置されたと想定した場合に、実際に得られているライトフィールド画像の撮像時点と同一状態で撮像されたならば得られると推定されるライトフィールド画像をいう。
以上説明したように、補間ライトフィールド画像生成手法の一例として、撮像により実際に得られたライトフィールド画像のデータを用いて、視差Ｐａを算出し、当該視差Ｐａに基づいて、補間ライトフィールド画像のデータを予測演算する手法を採用することができる。本実施形態でも、当該手法が採用されている。

従って、本実施形態の撮像装置１は、このような補間ライトフィールド画像生成手法に従って１以上の補間ライトフィールド画像のデータを生成することができる。さらに、本実施形態の撮像装置１は、これらの１以上の補間ライトフィールド画像のデータを、再構成画像のデータの生成に必要な再構成の演算を行う際に用いることができる。
この場合、撮像装置１は、１以上の補間ライトフィールド画像のデータから、マイクロレンズ３２−ｉが実際には配置されていない領域に到達した光線を推定することができる。その結果、撮像装置１は、注目点からの光が、このようにして推定された領域から撮像素子３３内の何れの画素に分配されるのかを算出することもできる。
従って、撮像装置１は、この算出結果を、注目点に対応する画素値の推定演算における補間情報として用いることで、従来よりもノイズが低減された再構成画像のデータを生成することができる。
なお、この場合のノイズの低減の度合いは、補間ライトフィールド画像の補間位置や補間枚数によって変化するため、設計者等は、所望の低減の度合いとなるように、これらの補間位置や補間枚数を適宜調整するとよい。

図３は、このような本発明に係る補間ライトフィールド画像生成手法を適用した場合に得られる再構成画像と、従来の技術を適用した場合により得られる再構成画像とを比較する図である。

図３の左上方には、撮像により得られたライトフィールド画像４１が示されている。その左方には、当該ライトフィールド画像４１の一部について、サブイメージ５１が判別できる程度までに拡大された拡大図４１Ｌが示されている。
当該ライトフィールド画像４１は、メインレンズ３１の前方から近い順に、「Ａ」と表示されたカード、「Ｂ」と表示されたカード、及び「Ｃ」と表示されたカードが一定距離ずつ離間してそれぞれ配置された様子が撮像されたものである。図３に示すように、当該ライトフィールド画像４１の撮像時点では、「Ｂ」と表示されたカードにほぼ合焦していることがわかる。
このため、本例では、「Ｃ」と表示されたカードに合焦したような再構成画像が得られるように、再構成の演算が行われている。

図３の右上方には、従来の技術を適用した場合に得られる再構成画像４２が示されている。
即ち、撮像により得られたライトフィールド画像４１のデータのみを用いて再構成の演算が行われた結果として、再構成画像４２のデータが生成されている。
再構成画像４２には、領域５２等において、空間方向に周期的なノイズが生じていることがわかる。

これに対して、図３の右下方には、本発明に係る補間ライトフィールド画像生成手法を適用した場合に得られる再構成画像４４が示されている。
即ち、撮像により得られたライトフィールド画像４１のデータに加えて、本発明に係る補間ライトフィールド画像生成手法に従って生成された３枚の補間ライトフィールド画像４３−１乃至４３−３のデータを用いて再構成の演算が行われた結果として、再構成画像４４のデータが生成されている。
再構成画像４４には、空間方向の周期的なノイズはほぼ生じておらず、「Ｃ」と表示されたカードに合焦し、それ以外の「Ａ」や「Ｂ」と表示されたカードの各像は、ボケた像（本来このようになるべき理想的な像）となっていることがわかる。

以上説明したように、本実施形態の撮像装置１は、撮像されたライトフィールド画像のデータから、１以上の補間ライトフィールド画像のデータを生成し、撮像されたライトフィールド画像及び１以上の補間ライトフィールド画像の各データに基づいて再構成画像のデータを生成することができる。このような一連の処理を、以下、「再構成画像生成処理」と呼ぶ。

図４は、このような再構成画像生成処理の実行機能を発揮するための、図１の撮像装置１の機能的構成例を示す機能ブロック図である。

再構成画像生成処理が実行される場合には、図４に示すように、ＣＰＵ１１において、ライトフィールド画像取得部７１と、光学情報取得部７２と、フィルタ部７３と、視差算出部７４と、補間ライトフィールド画像生成部７５と、再構成画像生成部７６と、表示制御部７７と、が機能する。

以下、これらのライトフィールド画像取得部７１乃至表示制御部７７の各機能について、再構成画像生成処理の流れの説明の中で、あわせて説明する。
図５は、図２の機能的構成を有する図１の撮像装置が実行する再構成画像生成処理の流れの一例を説明するフローチャートである。

再構成画像生成処理は、撮像されたライトフィールド画像のデータが予め得られていることを前提として、ユーザの入力部１７に対する所定操作により再構成画像の生成が指示されると、開始される。

ステップＳ２１において、ライトフィールド画像取得部７１は、予め撮像されたライトフィールド画像のデータを取得する。

ステップＳ２２において、光学情報取得部７２は、後段の処理（ステップＳ２３以降の処理）において必要となる光学系情報を取得する。
光学系情報とは、ライトフィールド画像が撮像された時点における情報であって、メインレンズ３１、マイクロレンズ３２−ｉ、及び撮像素子３３の各々に関する各種情報や、これらの位置関係を示す情報をいう。
具体的には本実施形態では、光学系情報として、次の（Ａ）乃至（Ｊ）の情報が取得されるものとする。
（Ａ）メインレンズ３１の焦点距離
（Ｂ）メインレンズ３１の有効径
（Ｃ）各マイクロレンズ３２−iの焦点距離
（Ｄ）各マイクロレンズ３２−iの有効径
（Ｅ）撮像素子３３の画素サイズ
（Ｆ）各マイクロレンズ３２−iのピッチ
（Ｇ）メインレンズ３１とマイクロレンズアレイ３２の位置関係
（Ｈ）マイクロレンズアレイ３２と撮像素子３３の位置関係
（Ｉ）メインレンズ３１とマイクロレンズアレイ３２の平行度
（Ｊ）マイクロレンズアレイ３２と撮像素子３３の平行度
これらの光学系情報が取得されると、ステップＳ２３以降の処理において、ライトフィールド画像内のサブイメージ領域と非サブイメージ領域との判別（図８参照）や、撮像装置１の内部の光線の振舞い等を演算することが可能になる。

ステップＳ２３において、フィルタ部７３は、撮像されたライトフィールド画像自体に含まれるノイズを低減させる目的で、ライトフィールド画像の全てのサブイメージのデータに対してローパスフィルタを適用する。
ここで、フィルタ部７３は、ローパスフィルタの窓枠内にサブイメージ領域外の画素を含まないように、当該ローパスフィルタを用いたフィルタ処理を実行する。サブイメージ領域に、非サブイメージ領域の情報がノイズとして含まれてしまうことを防止するためである。なお、サブイメージ領域と非サブイメージ領域については、図８を参照して後述する。

ステップＳ２４において、視差算出部７４は、ステップＳ２３の処理でローパスフィルタがそれぞれ適用されたサブイメージのデータのうち、隣接するサブイメージのデータ間でパターンマッチングを行うことで、視差Ｐａを算出する。
なお、パターンマッチングや視差Ｐａの算出に関する具体的な手法については、図６を参照して後述する。

ステップＳ２５において、補間ライトフィールド画像生成部７５は、ステップＳ２４の処理で算出された視差Ｐａに基づいて、１以上の補間ライトフィールド画像のデータを生成する。
なお、補間ライトフィールド画像生成手法の具体例については、図７や図８を参照して後述する。

ステップＳ２６において、再構成画像生成部７６は、ステップＳ２１の処理で取得されたライトフィールド画像のデータ、及びステップ２５の処理で生成された１以上の補間ライトフィールド画像の各データを用いて、再構成画像のデータを生成する。
なお、このような処理を、以下、「再構成処理」と呼ぶ。再構成処理の詳細については図９を参照して後述する。

ステップＳ２７において、表示制御部７７は、ステップＳ２６の処理でデータとして生成された再構成画像を、出力部１８のモニタに表示させる。
これにより、再構成画像生成処理は終了となる。

次に、このような再構成画像生成処理のうちステップＳ２４に適用される、視差Ｐａの算出手法の一例について、図６を参照して説明する。
図６は、視差の算出手法の一例を説明する図である。
具体的には、隣接するサブイメージ間でパターンマッチングを行うことによって、視差Ｐａを算出する手法として、２つの異なる例が図６（Ａ），図６（Ｂ）にそれぞれ示されている。

図６（Ａ）の例では、視差算出部７４は、隣接するサブイメージ８１，８２について、ブロック単位でＳＡＤ(Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ)やＳＳＤ(Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ)等の相違度を演算することによって、パターンマッチングを行う。
即ち、視差算出部７４は、例えば左方のサブイメージ８１のブロック９１をテンプレートとして用いて、右方のサブイメージ８２内でラスタスキャンすることによって、右方のサブイメージ８２内における比較対象のブロック（同図中にはブロック９２が図示）との相違度を演算する。具体的には、視差算出部７４は、テンプレートと比較対象との各ブロック内の対応位置の各画素値の差分を用いて、ＳＡＤやＳＳＤ等の相違度を演算する。
そして、視差算出部７４は、テンプレート（ブロック９１）との相違度が最小となるブロック（同図中ではブロック９２）を抽出し、テンプレートと抽出したブロックとの空間的な位置ズレを、視差Ｐａとして算出する。
この図６（Ａ）に示す手法は、同図に示すように、１つのサブイメージ内にデプスが一定の物体しか存在しない場合に有効になる。

一方、図６（Ｂ）の例では、視差算出部７４は、隣接するサブイメージ１１１，１１２について、ライン単位で相違度を演算することによって、パターンマッチングを行う。
なお、正確には、ライトフィールド画像のライン全体ではなく、サブイメージ１１１内の一部分と、サブイメージ１１２内の一部分との相違度が演算される。ただし、以下、説明の簡略上、所定ラインのうち、サブイメージ１１１又は１１２内の一部分を、単に「ライン」と呼ぶ。
即ち、視差算出部７４は、例えば左方のサブイメージ１１１のライン１２１Ｕをテンプレートとして用いて、右方のサブイメージ１１２内でラスタスキャンすることによって、比較対象のライン（同図中にはライン１２２Ｕが図示）との相違度を演算する。
そして、視差算出部７４は、テンプレート（ライン１２１Ｕ）との相違度が最小となるライン（同図中ではライン１２２Ｕ）を抽出し、テンプレートと抽出したラインとの空間的な位置ズレを、視差ＰａＬとして算出する。
ここで、同図に示すように、テンプレートは、１つのライン１２１Ｕに特に限定されず、複数ラインとすることができる。本例では、上述のライン１２１Ｕに加えて、ライン１２１Ｄもまたテンプレートとして採用されている。
即ち、視差算出部７４は、例えば左方のサブイメージ１１１のライン１２１Ｄをさらにテンプレートとして用いて、右方のサブイメージ１１２内でラスタスキャンすることによって、比較対象のライン（同図中にはライン１２２Ｄが図示）との相違度を演算する。
そして、視差算出部７４は、テンプレート（ライン１２１Ｄ）の相違度が最小となるライン（同図中ではライン１２２Ｄ）を抽出し、テンプレートと抽出したラインとの空間的な位置ズレを、視差ＰａＳとして算出する。
ここで、視差ＰａＬと視差ＰａＳとはその値（長さ）が異なっていることがわかる。このように、図６（Ｂ）の例を採用することで、ライン毎に異なる視差Ｐａを用いることが可能にある。

図７は、このような視差Ｐａを用いた補間ライトフィールド画像生成手法の具体例について説明する図である。
同図中横方向は、ライトフィールド画像の水平方向を示しており、以下、「Ｘ方向」と呼ぶ。一方、同図中縦方向は、ライトフィールド画像の垂直方向を示しており、以下、「Ｙ方向」と呼ぶ。

図７の左方には、図２の位置関係を保って撮像されたライトフィールド画像２０１が示されている。即ち、ライトフィールド画像２０１内の９つの円はサブイメージを示しており、サブイメージ内の黒い四角は、光軸ａｘ上に存在する光源（物体面ｏｂの中心に存在する光源）の像を示している。
なお、サブイメージ及び光源の像については、後述する他の画像についても同様である。

補間ライトフィールド画像生成部７５は、視差Ｐａに基づいて、撮像されたライトフィールド画像２０１に対してＸ方向の位置に仮想的なサブイメージを補間した、Ｘ方向の補間ライトフィールド画像２０２のデータを生成する。即ち、ライトフィールド画像内のＸ方向に隣接するサブイメージの間に仮想的なサブイメージが配置された、Ｘ方向の補間ライトフィールド画像２０２のデータが生成される。
また、補間ライトフィールド画像生成部７５は、視差Ｐａに基づいて、撮像されたライトフィールド画像２０１に対してＹ方向の位置に仮想的なサブイメージを補間した、Ｙ方向の補間ライトフィールド画像２０３のデータを生成する。即ち、ライトフィールド画像内のＹ方向に隣接するサブイメージの間に仮想的なサブイメージが配置された、Ｙ方向の補間ライトフィールド画像２０３のデータが生成される。
そして、補間ライトフィールド画像生成部７５は、Ｘ方向の補間ライトフィールド画像２０２とＹ方向の補間ライトフィールド画像２０３との各データのうち少なくとも一方を用いて、撮像されたライトフィールド画像２０１に対してＸＹ方向（４５度斜め方向）の位置に仮想的なサブイメージを補間した、ＸＹ方向の補間ライトフィールド画像２０４のデータを生成する。即ち、ライトフィールド画像内のＸＹ方向に隣接するサブイメージの間に仮想的なサブイメージが配置された、ＸＹ方向の補間ライトフィールド画像２０４のデータが生成される。
なお、補間される仮想的なサブイメージの位置は、図７の例では、Ｘ方向、Ｙ方向、又はＸＹ方向に隣接するサブイメージ間の中間位置とされているが、特に図７の例に限定されず、任意の方向の任意の位置でよい。さらに、補間ライトフィールド画像の枚数も、図７の例では各方向に１つずつとされているが、特に図７の例に限定されず、各方向毎に任意の個数でよい。

次に、図８を参照して、このような補間ライトフィールド画像内の、仮想的なサブイメージ（以下、「補間サブイメージ」と呼ぶ）の生成手法の一例について説明する。
図８は、補間サブイメージの生成手法の一例を説明する図である。
具体的には、図８には、Ｘ方向に隣接するサブイメージ３０１，３０２の間の所定位置を補間位置として、当該補間位置に１つの補間サブイメージのデータを生成する場合の手順の一例が示されている。
なお、黒い四角の像３１１は、図２に示す光軸ａｘ上に存在する光源（物体面ｏｂの中心に存在する光源）の像を示している。

先ず、ステップＳ５１において、補間ライトフィールド画像生成部７５は、隣接するサブイメージ３０１，３０２の各データの中心位置を合わせる。

次に、ステップＳ５２において、補間ライトフィールド画像生成部７５は、算出済みの視差Ｐａに応じた距離だけ、サブイメージ３０１，３０２の各データを移動させる。
なお、この時の移動方向は、２つのサブイメージ３０１，３０２についてそれぞれ逆向きであり、移動量は補間位置によって変化するが、２つのサブイメージ３０１，３０２の移動量の合計が視差Ｐａと等しくなるようにする。
換言すると、図８に示すように、黒い四角の像３１１の配置位置が一致するように、サブイメージ３０１，３０２の各データが移動される。

次に、ステップＳ５３において、補間ライトフィールド画像生成部７５は、移動後の２つのサブイメージ３０１，３０２の各データを合成する。
ここで、補間ライトフィールド画像生成部７５は、２つのサブイメージ３０１，３０２が重なる領域３１２については、サブイメージ３０１，３０２の各画素値の平均値を採用し、重ならない領域については、元のサブイメージ３０１又は３０２の画素値をそのまま採用する。

次に、ステップＳ５４において、補間ライトフィールド画像生成部７５は、ステップＳ５３の処理で合成した領域のうち、補間位置を中心に形成されるサブイメージと同一形状の領域３２１（図８中点線の領域３２１）を、サブイメージ領域として判定し、それ以外の領域３２２を非サブイメージ領域として判定する。
即ち、補間ライトフィールド画像生成部７５は、サブイメージ領域３２１と非サブイメージ領域３２２とに区分する。

次に、ステップＳ５５において、補間ライトフィールド画像生成部７５は、非サブイメージ領域３２２のデータを削除することで（サブイメージ領域３２１のデータを残すことで）、補間サブイメージ３３１のデータを生成する。

なお、最終的に得られた補間サブイメージ３３１は、図８の例では真円となっているが、２つのサブイメージ３０１，３０２の移動量の割合によっては、真円とはならずに一部が欠けてしまう場合がある。
このような場合、補間ライトフィールド画像生成部７５は、欠けてしまった領域に対して画素値を割り当てることによって、補間サブイメージ３３１のデータを真円のデータとすればよい。
この場合の欠けてしまった領域に対して画素値を割り当てる手法は、特に限定されず、近傍画素の画素値を補間するようにする手法や、再構成の際に参照しない領域として登録する手法等を採用することができる。

次に、このようにして生成された１以上の補間ライトフィールド画像の各データを用いて再構成画像のデータを生成する処理、即ち、図５のステップＳ２６の再構成処理の詳細について説明する。
図９は、図５のステップＳ２６の再構成処理の詳細な流れを示すフローチャートである。

ステップＳ６１において、ＣＰＵ１１の再構成画像生成部７６は、ライトフィールド画像のデータを取得する。
ステップＳ６２において、再構成画像生成部７６は、１以上の補間ライトフィールド画像のデータを取得する。
ステップＳ６３において、再構成画像生成部７６は、撮像装置１のメインレンズ３１の前方の所定距離の位置にある面を、再構成面として設定する。

ステップＳ６４において、再構成画像生成部７６は、再構成面の１点を、再構成注目画素に設定する。
ステップＳ６５において、再構成画像生成部７６は、ライトフィールド画像及び１以上の補間ライトフィールド画像から、分配画素範囲を算出する。
分配画素範囲とは、再構成注目画素からの光がメインレンズ３１及びマイクロレンズアレイ３２を介して分配される、撮像素子３３内の画素の範囲であり、従来はライトフィールド画像内の画素の範囲であった。
これに対して、本実施形態では、ライトフィールド画像のみならず、１以上の補間ライトフィールド画像を含む画素の範囲内から、分割画素範囲が算出されるため、従来のライトフィールド画像のみから選択された分割画素範囲を用いて生成された再構成画像が表示された場合と比較して、空間方向の周期的なノイズは低減される。

ステップＳ６６において、再構成画像生成部７６は、分配画素範囲内の各画素の画素値を積分する。

ステップＳ６７において、再構成画像生成部７６は、ステップＳ６６の処理の結果得られる積分値を、再構成注目画素の画素値に設定する。

ステップＳ６８において、再構成画像生成部７６は、再構成面の全点が再構成注目画素に設定されたか否かを判定する。
再構成面の各点のうち再構成注目画素に未だ設定されていない点が存在する場合、ステップＳ６８においてＮＯであると判定されて、処理はステップＳ６４に戻され、それ以降の処理が繰り返される。即ち、再構成面の各点が再構成注目画素に順次設定され、その都度、ステップＳ６４乃至Ｓ６８のループ処理が繰り返し実行されて、再構成注目画素の画素値が設定される。
このようにして、再構成面の各点に対応する各画素の画素値がそれぞれ設定されることによって、再構成画像のデータが生成される。これにより、図９のステップＳ６８においてＮＯであると判定されて、処理はステップＳ２７に進む。
ステップＳ２７において、ＣＰＵ１１は、再構成画像を出力部２０８から表示出力する。

以上説明したように、本実施形態に係る撮像装置１は、メインレンズ３１、複数のマイクロレンズ３２−ｉからなるマイクロレンズアレイ３２、及び撮像素子３３を含む光学系を有している。また、撮像装置１は、ライトフィールド画像取得部７１と、補間ライトフィールド画像生成部７５と、再構成画像生成部７６と、を備えている。
ライトフィールド画像取得部７１は、撮像装置１により撮像された結果得られる、複数のマイクロレンズ３２−ｉの各々により生成される複数のサブイメージの集合体からなるライトフィールド画像のデータを取得する。
補間ライトフィールド画像生成部７５は、複数の仮想的なサブイメージの集合体からなる補間ライトフィールド画像のデータを１以上生成する。
再構成画像生成部７６は、ライトフィールド画像のデータ及び１以上の補間ライトフィールド画像のデータを用いて、再構成画像のデータを生成する。
このようにしてデータとして生成された再構成画像が表示された場合、従来のようにライトフィールド画像のデータのみから生成された再構成画像が表示された場合と比較して、空間方向の周期的なノイズは低減される。

なお、本発明は上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。

例えば、上述の実施形態では、再構成画像のデータを生成する際に、ライトフィールド画像のデータと共に、補間ライトフィールド画像のデータが用いられたが、特にこれに限定されない。
即ち、上述のノイズの低減効果は、再構成の演算の際に用いられるサブイメージの個数を増やせば奏することが可能である、このためには、仮想的なサブイメージが存在すれば足り、補間ライトフィールド画像のデータという形態で用いる必要は特にない。
つまり、再構成画像生成部７６が、ライトフィールド画像に含まれる複数のサブイメージに加えて、１以上の仮想的なサブイメージを用いて、再構成画像のデータを生成できる構成であれば足りる。

例えば、上述の実施形態では、再構成画像のデータを生成する際に用いられるライトフィールド画像のデータは、撮像装置１自身により撮像されたものが採用されたが、特にこれに限定されない。
即ち、撮像装置１は、別の撮像装置１又は従来の別のプレノプティックカメラにより撮像されたライトフィールド画像のデータを用いて、再構成画像のデータを生成するようにしてもよい。
換言すると、本発明は、撮像機能を有する撮像装置１のみならず、撮像機能を有しなくとも、一般的な画像処理機能を有する電子機器一般に適用することができる。例えば、本発明は、パーソナルコンピュータ、プリンタ、テレビジョン受像機、ビデオカメラ、ナビゲーション装置、携帯電話機、ポータブルゲーム機等に適用可能である。

上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、図４の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が撮像装置１に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図４の例に限定されない。
また、１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。

一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。

このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図１のリムーバブルメディア２２により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア２２は、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等により構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ−Ｄｉｓｋ）等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図１のＲＯＭ１２や、図１の記憶部１９に含まれるハードディスク等で構成される。

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。

以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、さらに、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［付記１］
メインレンズ、複数のマイクロレンズからなるマイクロレンズアレイ、及び撮像素子を光学系に備える撮像装置により撮像された結果得られる、前記複数のマイクロレンズの各々により生成される複数のサブイメージの集合体からなるライトフィールド画像のデータを取得する画像取得手段と、
前記画像取得手段により取得された前記ライトフィールド画像のデータを用いて、前記撮像装置から所定位置の面の像を再構成画像として、前記再構成画像のデータを生成する再構成画像生成手段と、
を備え、
前記再構成画像生成手段は、前記ライトフィールド画像に含まれる前記複数のサブイメージに加えて、１以上の仮想的なサブイメージを用いて、前記再構成画像のデータを生成する、
を備えることを特徴とする画像処理装置。
［付記２］
複数の前記仮想的なサブイメージの集合体からなる補間ライトフィールド画像のデータを１以上生成する補間ライトフィールド画像生成手段
をさらに備え、
前記再構成画像生成手段は、前記ライトフィールド画像のデータに加えて、前記補間ライトフィールド画像生成手段により生成された１以上の前記補間ライトフィールド画像のデータを用いて、前記再構成画像のデータを生成する、
ことを特徴とする付記１に記載の画像処理装置。
［付記３］
前記補間ライトフィールド画像生成手段は、前記ライトフィールド画像内の隣接するサブイメージの間に、前記仮想的なサブイメージを配置させるように、前記補間ライトフィールド画像のデータを生成する、
ことを特徴とする付記２に記載の画像処理装置。
［付記４］
前記ライトフィールド画像内の前記隣接するサブイメージにおいて、対応する前記マイクロレンズによる光線の結像位置と、前記サブイメージの中心位置との距離差を、視差として算出する視差算出手段
を更に備え、
前記補間ライトフィールド画像生成手段は、前記視差算出手段により算出された前記視差に基づいて、前記仮想的なサブイメージを配置させるように、前記補間ライトフィールド画像のデータを生成する、
ことを特徴とする付記３に記載の画像処理装置。
［付記５］
前記視差算出手段は、前記ライトフィールド画像内の前記隣接するサブイメージについて、所定単位の領域毎にパターンマッチングを行い、当該パターンマッチングの結果を用いて、前記視差を算出する、
ことを特徴とする付記４に記載の画像処理装置。
［付記６］
前記所定単位の領域は、前記サブイメージを構成する一部の画素の集合体からなるブロックである、
ことを特徴とする付記５に記載の画像処理装置。
［付記７］
前記所定単位の領域は、前記ライトフィールド画像の所定ラインにおける、サブイメージ内の一部の画素の集合体からなる領域である、
ことを特徴とする付記５に記載の画像処理装置。
［付記８］
メインレンズ、複数のマイクロレンズからなるマイクロレンズアレイ、及び撮像素子を光学系に備える撮像装置により撮像された結果得られる、前記複数のマイクロレンズの各々により生成される複数のサブイメージの集合体からなるライトフィールド画像のデータに対して、画像処理を施す画像処理装置が実行する画像処理方法であって、
前記ライトフィールド画像のデータを取得する画像取得ステップと、
前記画像取得ステップにおいて取得された前記ライトフィールド画像のデータを用いて、前記撮像装置から所定位置の面の像を再構成画像として、前記再構成画像のデータを生成する再構成画像生成ステップと、
を含み、
前記再構成画像生成ステップにおいては、前記ライトフィールド画像に含まれる前記複数のサブイメージに加えて、仮想的な１以上のサブイメージを用いて、前記再構成画像のデータを生成する、
ことを特徴とする画像処理方法。
［付記９］
メインレンズ、複数のマイクロレンズからなるマイクロレンズアレイ、及び撮像素子を光学系に備える撮像装置を制御するコンピュータに、
前記撮像装置により撮像された結果得られる、前記複数のマイクロレンズの各々により生成される複数のサブイメージの集合体からなるライトフィールド画像のデータを取得する画像取得機能、
前記画像取得機能により取得された前記ライトフィールド画像のデータを用いて、前記撮像装置から所定位置の面の像を再構成画像として、前記再構成画像のデータを生成する再構成画像生成機能、
を実現させるためのプログラムであって、
前記再構成画像生成機能は、前記ライトフィールド画像に含まれる前記複数のサブイメージに加えて、仮想的な１以上のサブイメージを用いて、前記再構成画像のデータを生成する、
ことを特徴とするプログラム。

１・・・撮像装置、１１・・・ＣＰＵ、１６・・・撮像部、３１・・・メインレンズ、３２・・・マイクロレンズアレイ、３２−ｉ・・・マイクロレンズ、３３・・・撮像素子、７１・・・ライトフィールド画像取得部、７２・・・光学情報取得部、７３・・・フィルタ部、７４・・・視差算出部、７５・・・補間ライトフィールド画像生成部、７６・・・再構成画像生成部、７７・・・表示制御部

以下、これらのライトフィールド画像取得部７１乃至表示制御部７７の各機能について、再構成画像生成処理の流れの説明の中で、あわせて説明する。
図５は、図４の機能的構成を有する図１の撮像装置が実行する再構成画像生成処理の流れの一例を説明するフローチャートである。

ステップＳ６８において、再構成画像生成部７６は、再構成面の全点が再構成注目画素に設定されたか否かを判定する。
再構成面の各点のうち再構成注目画素に未だ設定されていない点が存在する場合、ステップＳ６８においてＮＯであると判定されて、処理はステップＳ６４に戻され、それ以降の処理が繰り返される。即ち、再構成面の各点が再構成注目画素に順次設定され、その都度、ステップＳ６４乃至Ｓ６８のループ処理が繰り返し実行されて、再構成注目画素の画素値が設定される。
このようにして、再構成面の各点に対応する各画素の画素値がそれぞれ設定されることによって、再構成画像のデータが生成される。これにより、図９のステップＳ６８においてＹＥＳであると判定されて、処理はステップＳ２７に進む。
ステップＳ２７において、ＣＰＵ１１は、再構成画像を出力部１８から表示出力する。

Claims (9)

1. メインレンズ、複数のマイクロレンズからなるマイクロレンズアレイ、及び撮像素子を光学系に備える撮像装置により撮像された結果得られる、前記複数のマイクロレンズの各々により生成される複数のサブイメージの集合体からなるライトフィールド画像のデータを取得する画像取得手段と、
   前記画像取得手段により取得された前記ライトフィールド画像のデータを用いて、前記撮像装置から所定位置の面の像を再構成画像として、前記再構成画像のデータを生成する再構成画像生成手段と、
   を備え、
   前記再構成画像生成手段は、前記ライトフィールド画像に含まれる前記複数のサブイメージに加えて、１以上の仮想的なサブイメージを用いて、前記再構成画像のデータを生成する、
   ことを特徴とする画像処理装置。
2. 複数の前記仮想的なサブイメージの集合体からなる補間ライトフィールド画像のデータを１以上生成する補間ライトフィールド画像生成手段
   をさらに備え、
   前記再構成画像生成手段は、前記ライトフィールド画像のデータに加えて、前記補間ライトフィールド画像生成手段により生成された１以上の前記補間ライトフィールド画像のデータを用いて、前記再構成画像のデータを生成する、
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記補間ライトフィールド画像生成手段は、前記ライトフィールド画像内の隣接するサブイメージの間に、前記仮想的なサブイメージを配置させるように、前記補間ライトフィールド画像のデータを生成する、
   ことを特徴とする請求項２に記載の画像処理装置。
4. 前記ライトフィールド画像内の前記隣接するサブイメージにおいて、対応する前記マイクロレンズによる光線の結像位置と、前記サブイメージの中心位置との距離差を、視差として算出する視差算出手段
   を更に備え、
   前記補間ライトフィールド画像生成手段は、前記視差算出手段により算出された前記視差に基づいて、前記仮想的なサブイメージを配置させるように、前記補間ライトフィールド画像のデータを生成する、
   ことを特徴とする請求項３に記載の画像処理装置。
5. 前記視差算出手段は、前記ライトフィールド画像内の前記隣接するサブイメージについて、所定単位の領域毎にパターンマッチングを行い、当該パターンマッチングの結果を用いて、前記視差を算出する、
   ことを特徴とする請求項４に記載の画像処理装置。
6. 前記所定単位の領域は、前記サブイメージを構成する一部の画素の集合体からなるブロックである、
   ことを特徴とする請求項５に記載の画像処理装置。
7. 前記所定単位の領域は、前記ライトフィールド画像の所定ラインにおける、サブイメージ内の一部の画素の集合体からなる領域である、
   ことを特徴とする請求項５に記載の画像処理装置。
8. メインレンズ、複数のマイクロレンズからなるマイクロレンズアレイ、及び撮像素子を光学系に備える撮像装置により撮像された結果得られる、前記複数のマイクロレンズの各々により生成される複数のサブイメージの集合体からなるライトフィールド画像のデータに対して、画像処理を施す画像処理装置が実行する画像処理方法であって、
   前記ライトフィールド画像のデータを取得する画像取得ステップと、
   前記画像取得ステップにおいて取得された前記ライトフィールド画像のデータを用いて、前記撮像装置から所定位置の面の像を再構成画像として、前記再構成画像のデータを生成する再構成画像生成ステップと、
   を含み、
   前記再構成画像生成ステップにおいては、前記ライトフィールド画像に含まれる前記複数のサブイメージに加えて、仮想的な１以上のサブイメージを用いて、前記再構成画像のデータを生成する、
   ことを特徴とする画像処理方法。
9. メインレンズ、複数のマイクロレンズからなるマイクロレンズアレイ、及び撮像素子を光学系に備える撮像装置を制御するコンピュータに、
   前記撮像装置により撮像された結果得られる、前記複数のマイクロレンズの各々により生成される複数のサブイメージの集合体からなるライトフィールド画像のデータを取得する画像取得機能、
   前記画像取得機能により取得された前記ライトフィールド画像のデータを用いて、前記撮像装置から所定位置の面の像を再構成画像として、前記再構成画像のデータを生成する再構成画像生成機能、
   を実現させるためのプログラムであって、
   前記再構成画像生成機能は、前記ライトフィールド画像に含まれる前記複数のサブイメージに加えて、仮想的な１以上のサブイメージを用いて、前記再構成画像のデータを生成する、
   ことを特徴とするプログラム。