JP2015041884A - 撮像装置、撮像装置の制御方法、プログラム、および、記憶媒体 - Google Patents

Abstract

【課題】撮影後にユーザが意図したピント位置でのリフォーカス画像を取得可能な撮像装置を提供する。【解決手段】入力画像を再構成することによりピント位置の異なる複数の出力画像を生成可能な撮像装置であって、結像光学系と、複数の画素を備えた撮像素子と、被写体面の同一位置からの光線を、光線が通過する結像光学系の瞳領域に応じて、撮像素子の互いに異なる画素に入射させるレンズアレイと、撮像素子で取得された入力画像に対して画像処理を行うことにより出力画像を生成する画像処理部と、結像光学系を駆動してフォーカス制御を行う制御部とを有し、画像処理部は、リフォーカス制御範囲に関する情報を取得し、制御部は、リフォーカス制御範囲に関する情報に基づいてフォーカス制御を行う。【選択図】図１

Description

本発明は、リフォーカス画像を取得可能な撮像装置に関する。

近年、撮像素子により得られたデータに対して演算を行い、それに応じたデジタル画像処理を行うことで様々な画像の出力を行う撮像装置が提案されている。非特許文献１、２、３には、「Ｌｉｇｈｔ Ｆｉｅｌｄ Ｐｈｏｔｏｇｒａｐｈｙ」を用いて、被写体空間の光の２次元強度分布と光線の角度情報を同時に取得する撮像装置が開示されている。ここで、光の２次元強度分布と光線の角度情報を合わせてライトフィールドと呼び、ライトフィールドを取得することで被写体空間の３次元的な情報を得ることができる。前述の撮像装置では、ライトフィールドの取得と撮影後の画像処理により、リフォーカスと呼ばれる画像のピント位置変更や、撮影視点の変更、被写界深度の調節などが可能である。

特許文献１には、リフォーカス機能をオートフォーカスの補助として利用する構成が開示されている。特許文献２には、複数の被写体を被写界深度内に収めるように、絞りで決定される被写界深度に関連させてピント位置をずらして撮影する構成が開示されている。

特開２０１１−１０９３１０号公報 特開昭５９−１４６０２９号公報

Ｒｅｎ Ｎｇ，ｅｔ ａｌ．，"Ｌｉｇｈｔ Ｆｉｅｌｄ Ｐｈｏｔｏｇｒａｐｈｙ ｗｉｔｈ ａ Ｈａｎｄ−ｈｅｌｄ Ｐｌｅｎｏｐｔｉｃ Ｃａｍｅｒａ"，２００５ Ｃｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅ Ｔｅｃｈｎｉｃａｌ Ｒｅｐｏｒｔ ＣＴＳＲ Ｔｏｄｏｒ Ｇｅｏｒｇｉｅｖ，ｅｔ ａｌ．，"Ｓｕｐｅｒｒｅｓｏｌｕｔｉｏｎ ｗｉｔｈ Ｐｌｅｎｏｐｔｉｃ ２．０ Ｃａｍｅｒａ"，２００９ Ｏｐｔｉｃａｌ Ｓｏｃｉｅｔｙ ｏｆ Ａｍｅｒｉｃａ Ａａｒｏｎ Ｉｓａｋｓｅｎ，ｅｔ ａｌ．，"Ｄｙｎａｍｉｃａｌｌｙ Ｒｅｐａｒａｍｅｔｅｒｉｚｅｄ Ｌｉｇｈｔ Ｆｉｅｌｄｓ"，ＡＣＭ ＳＩＧＧＲＡＰＨ，ｐｐ．２９７−３０６（２０００）

リフォーカス機能によって撮影後にピント位置の変更ができるが、ピント位置を変更可能な範囲は有限であり、必ずしも任意の位置にピント位置を設定できるわけではない。このため、撮影後にユーザが意図した点にピント位置を変更できない場合がある。特許文献１の構成では、複数の任意の被写体を同時にリフォーカス範囲内に収めることはできない。また特許文献２の構成では、リフォーカス画像を生成することはできない。

そこで本発明は、撮影後にユーザが意図したピント位置でのリフォーカス画像を取得可能な撮像装置、撮像装置の制御方法、プログラム、および、記憶媒体を提供する。

本発明の一側面としての撮像装置は、入力画像を再構成することによりピント位置の異なる複数の出力画像を生成可能な撮像装置であって、結像光学系と、複数の画素を備えた撮像素子と、被写体面の同一位置からの光線を、該光線が通過する前記結像光学系の瞳領域に応じて、前記撮像素子の互いに異なる画素に入射させるレンズアレイと、前記撮像素子で取得された前記入力画像に対して画像処理を行うことにより前記出力画像を生成する画像処理部と、前記結像光学系を駆動してフォーカス制御を行う制御部とを有し、前記画像処理部は、リフォーカス制御範囲に関する情報を取得し、前記制御部は、前記リフォーカス制御範囲に関する情報に基づいて前記フォーカス制御を行う。

本発明の他の側面としての撮像装置は、入力画像を再構成することによりピント位置の異なる複数の出力画像を生成可能な撮像装置であって、複数の光学系を備えた結像光学系と、複数の画素を備えた少なくとも１つの撮像素子と、前記撮像素子で取得された前記入力画像から前記出力画像を生成する画像処理部と、前記結像光学系を駆動してフォーカス制御を行う制御部とを有し、前記結像光学系の瞳を、前記複数の光学系の瞳を合成した瞳であるとしたとき、前記複数の光学系は、被写体面の同一位置からの光線を、該光線が通過する前記結像光学系の瞳領域に応じて、前記撮像素子の互いに異なる画素に入射させるように配列されており、前記画像処理部は、リフォーカス制御範囲に関する情報を取得し、前記制御部は、前記リフォーカス制御範囲に関する情報に基づいて前記フォーカス制御を行う。

本発明の他の側面としての撮像装置の制御方法は、入力画像を再構成することによりピント位置の異なる複数の出力画像を生成可能な撮像装置の制御方法であって、結像光学系および複数の画素を備えた撮像素子を有する撮像装置を用いて、複数の視点から被写体空間の情報を取得した画像である前記入力画像を取得するステップと、リフォーカス制御範囲に関する情報を取得するステップと、前記リフォーカス制御範囲に関する情報に基づいてフォーカス制御を行うステップとを有する。

本発明の他の側面としてのプログラムは、入力画像を再構成することによりピント位置の異なる複数の出力画像を生成可能なプログラムであって、結像光学系および複数の画素を備えた撮像素子を有する撮像装置を用いて、複数の視点から被写体空間の情報を取得した画像である前記入力画像を取得するステップと、リフォーカス制御範囲に関する情報を取得するステップと、前記リフォーカス制御範囲に関する情報に基づいてフォーカス制御を行うステップと、をコンピュータに実行させる。

本発明の他の側面としての記憶媒体は、前記プログラムを格納している。

本発明の他の目的及び特徴は、以下の実施例において説明される。

本発明によれば、撮影後にユーザが意図したピント位置でのリフォーカス画像を取得可能な撮像装置、撮像装置の制御方法、プログラム、および、記憶媒体を提供することができる。

実施例１乃至３における撮像装置のブロック図である。 実施例１における撮像部の概略構成図である。 実施例２における撮像部の概略構成図である。 実施例２における撮像部の概略構成図である。 実施例３における撮像部の概略構成図である。 実施例１における撮像部の断面図である。 実施例２における撮像部の断面図である。 実施例３における結像光学系の断面図である。 実施例４における結像光学系の断面図である。 実施例２におけるリフォーカス画像生成に関する説明図である。 実施例１におけるリフォーカス画像生成に関する説明図である。 実施例１におけるリフォーカス制御範囲の説明図である。 実施例２におけるリフォーカス制御範囲の説明図である。 実施例３におけるリフォーカス制御範囲の説明図である。 実施例３における撮像部の概略構成図である。 実施例１乃至４における撮影処理を示すフローチャートである。 実施例１乃至４における撮影処理を示すフローチャートである。 実施例１乃至４における撮影処理を示すフローチャートである。 実施例１乃至４における撮影シーンの例を示す図である。 実施例１乃至４における撮影シーンの例を示す図である。 実施例１乃至４における撮影シーンの例を示す図である。 実施例１におけるリフォーカス制御範囲の説明図である。 実施例１乃至４における撮影処理を示すフローチャートである。 実施例１乃至４における撮影処理を示すフローチャートである。 実施例１乃至４における撮影処理を示すフローチャートである。 実施例１乃至４における撮影シーンの例を示す図である。 実施例１における撮像部の光学配置図である。 実施例１におけるリフォーカス制御範囲の説明図である。 実施例１乃至４における撮影処理のフローチャートである。 実施例１乃至４における撮影処理のフローチャートである。 実施例４における画像処理システムのブロック図である。 実施例４における画像処理システムの概略構成図である。 実施例４における単視点画像取得部のブロック図である。

以下、本発明の実施形態について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。

本実施形態の撮像部は、被写体空間を複数の視点から撮影した複数の視差画像、すなわちライトフィールドを取得する。ここで「被写体空間」とは、本実施形態の撮像装置により取得可能な画角内の実空間のことである。撮像部の例として、図２乃至図４に示されるような結像光学系の像側にレンズアレイを配置した構成や、図５に示されるような複数の結像光学系を配列した構成などが挙げられる。また、その他にライトフィールドを取得する例として、結像光学系および撮像素子を有する撮像装置を用いて、撮像装置の位置を変化させながら複数回撮影を行う方法が考えられる。このとき、視差画像は互いに異なる時間における被写体空間を撮像している。このため、被写体空間に移動物体が存在する場合、正しい視差情報を得ることができない。したがって、撮像部は、図２乃至図５に示されるように、同時に複数の視差画像を取得可能な構成であることが望ましい。

図２乃至図５に示される構成により取得された視差画像は、画素の抽出や並び換えや合成などの処理を行うことにより、リフォーカスや被写界深度制御、視点の変更などを行うことができる。本実施形態では、このような処理を再構成と呼び、再構成により生成された画像を再構成画像という。特に、リフォーカス処理が施された画像をリフォーカス画像という。リフォーカス画像は、ノイズリダクションなどの処理や、被写界深度制御などの再構成処理が施されていてもよい。また、被写体空間においてリフォーカス可能な範囲をリフォーカス制御範囲と呼ぶ。

なお、図２乃至図５に示される被写体面２０１上には、人物や物体が必ずしも存在していなくてよい。これは、リフォーカス処理により、被写体面２０１よりも奥または手前に存在する人物や物体に、撮影後にピント位置を制御することができるためである。また、以下の各実施例は、簡単のために１次元系を用いて説明する場合があるが、２次元系に関しても同様の議論が成り立つ。

まず、図１および図２を参照して、本発明の実施例１における撮像装置の基本構成について説明する。図１は、本実施例における撮像装置１０のブロック図である。図２は、本実施例における撮像部１００の概略構成図である。

本実施例の撮像装置１０は、入力画像を再構成することによりピント位置の異なる複数の出力画像を生成可能である。図２に示されるように、撮像部１００は、結像光学系１０１、レンズアレイ１０２、および、撮像素子１０３を備えて構成されており、被写体面２０１側から、結像光学系１０１、レンズアレイ１０２、および、撮像素子１０３の順に配置されている。なお、撮像部１００の詳細については後述する。

撮像素子１０３は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ−Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの２次元撮像素子である。撮像素子１０３は、複数の画素を備え、被写体像（光学像）を光電変換する。すなわち、結像光学系１０１およびレンズアレイ１０２を通過して撮像素子１０３へ入射した光線のエネルギーは、電気信号（アナログ信号）へ変換される。このアナログ信号は、Ａ／Ｄコンバータ１０４は、撮像部１００（撮像素子１０３）からのアナログ信号をデジタル信号へ変換する。画像処理部１０５は、デジタル信号に対して所定の処理を施し、表示画像を生成する。また画像処理部１０５は、撮像部１００にて取得された撮像データまたは記憶部１０９から取得された撮像データから、後述するリフォーカス処理などの画像生成処理を行う。このように画像処理部１０５は、撮像素子１０３で取得された入力画像などの撮像データに対して画像処理を行うことにより出力画像を生成する。なお、画像処理部１０５の詳細については後述する。

画像処理部１０５により生成された表示画像は、液晶ディスプレイなどの表示部１０６に出力されて表示される。ユーザは、表示部１０６に表示された画像を見て、どのような画像が撮影可能か確認しながら撮影を行うことができる。また表示部１０６は、タッチスクリーン機能を有していてもよい。この場合、タッチスクリーンを用いたユーザ指示を入力として扱うことも可能である。表示画像は、画像取得条件（撮影条件情報）、露出状態予測部１１３や画像記録媒体１１０からの情報、または、距離情報取得部１０５ａにより得られた距離情報などを用いて生成される。ここで画像取得条件（撮影条件情報）とは、アナログ信号を取得した際の撮像部１００の構成や、絞りなどの露出状態、フォーカス位置、ズームレンズにおける焦点距離などである。画像取得条件は、状態検知部１０８がシステムコントローラ１１１から直接取得してもよいし、撮像部１００に関する情報については制御部１０７から取得することもできる。本実施例において、撮像部１００の構成に関する情報は、記憶部１０９に記憶されている。露出状態予測部１１３は、測光部１１２の情報から撮影時の露出状態を予測する。距離情報取得部１０５ａは、入力された視差情報（入力画像の視差情報）を用いて被写体空間（被写体）の距離情報を取得する。この距離情報は、リフォーカス制御範囲を算出するために用いられる。

システムコントローラ１１１は、表示指令部１１１ｃを備えている。表示部１０６は、表示指令部１１１ｃからの信号に基づいて、表示のＯＮ／ＯＦＦ、および、表示画像の切換えを行う。例えば、撮像装置１０がレリーズボタンを備えている場合、ユーザがレリーズボタンを第１の位置まで押している間、表示指令部１１１ｃは表示画像の表示信号を表示する。このとき、第１の位置より深い第２の位置までレリーズボタンが押されると、撮影が実行される。ただし、本実施例はこれに限定されるものではなく、表示指令部１１１ｃは他の手法で信号を送信するように構成してもよい。

またシステムコントローラ１１１は、撮像部１００が合焦する被写体を指定する合焦被写体指定部１１１ｂを備えている。制御部１０７内に設けられた合焦制御部１０７ａは、合焦被写体指定部１１１ｂからの信号に基づいて、撮像部１００のフォーカス機構を駆動し、指定被写体に対する合焦を行う。すなわち制御部１０７（システムコントローラ１１１）は、結像光学系１０１を駆動してフォーカス制御を行う。撮影指令部１１１ｄにより撮影が実行される際、制御部１０７は、測光部１１２の情報に基づいて撮像部１００の露出を調節する。このとき、撮像素子１０３により取得された画像は、前述と同様の経路を辿って画像処理部１０５に入力され、所定の処理を施された後、半導体メモリなどの画像記録媒体１１０に所定のフォーマットで保存される。また同時に、状態検知部１０８から得られた撮影時の画像取得条件も記録される。画像記録媒体１１０に記録する画像は、再構成処理を施した画像であってもよい。

画像記録媒体１１０に保存された画像を表示部１０６に表示する際、画像処理部１０５は、撮影時の画像取得条件（撮影条件情報）に基づいた処理を行う。その結果、表示部１０６には、所望の設定（解像度、視点、ピント位置、被写界深度など）で再構成された画像が表示される。再構成画像の解像度は、合成画像解像度指定部１１１ａにより指定される。また高速化のため、所望の設定を予め記憶部１０９に記憶し、画像記録媒体１１０を介すことなく再構成画像を表示部１０６に表示させてもよい。なお、撮像装置１０の構成要素は上記以外にも存在するが、本実施例の主眼ではないため、それらの説明を省略する。以上の一連の制御は、システムコントローラ１１１により行われる。

次に、本実施例における撮像部１００の構成について説明する。撮像部１００は、図２に示されるような配置を有する。レンズアレイ１０２は、結像光学系１０１の被写体面２０１に対する像側共役面に配置されている。またレンズアレイ１０２は、結像光学系１０１の射出瞳と撮像素子１０３とが略共役関係となるように構成されている。略共役関係とは、厳密な共役関係だけでなく実質的に共役関係であると評価される場合も含む意味である。

被写体面２０１からの光線は、結像光学系１０１およびレンズアレイ１０２を介することにより、光線の被写体面２０１上における位置と角度に応じて、撮像素子１０３の異なる画素へ入射する。これにより、視差画像データ（ライトフィールドデータ）が取得される。ここでレンズアレイ１０２は、被写体面２０１上の異なる位置を通過した光線が、同一の画素へ入射するのを防ぐ役割を有する。すなわちレンズアレイ１０２は、被写体面２０１の同一位置からの光線を、光線が通過する結像光学系１０１の瞳領域に応じて、撮像素子１０３の互いに異なる画素に入射させる。その結果、撮像素子１０３において、被写体面２０１上の同一の領域を複数の視点から撮影した画素群が並んだ画像が取得される。

続いて図６を参照して、撮像部１００の断面について説明する。図６は、本実施例における撮像部１００の断面図である。図６の結像光学系１０１は、単焦点レンズである。フォーカス群ＩＦが光軸ＯＡ上を移動してフォーカスを行う。本実施例において、レンズアレイ１０２は固体の単レンズによって構成されているが、これに限定されるものではなく、複数枚のレンズを備えて構成されていてもよい。また、液体レンズ、液晶レンズ、または、回折光学素子などを使用してもよい。また本実施例において、レンズアレイ１０２を構成する小レンズは、両側が凸形状であるが、片側の面が平面でもよく、または、非球面であってもよい。

続いて、リフォーカス処理に関して説明する。リフォーカスに関しては、「Ｆｏｕｒｉｅｒ Ｓｌｉｃｅ Ｐｈｏｔｏｇｒａｐｈｙ」（Ｒｅｎ Ｎｇ著、２００５ ＡＣＭ Ｔｒａｎｓ． Ｇｒａｐｈ．２４，７３５−７４４参照）で詳しく説明されている。このため、ここでは簡単に述べる。リフォーカスの基本的な原理は、図２乃至図５のいずれの構成でも共通である。本実施例では、図２の構成を例にとって説明する。

図２において、結像光学系１０１の瞳が２次元で９つ（１次元で３つ）に分割されているため、９視点の画像が取得される。ここで、ある分割された瞳に対応する画像を単視点画像と呼ぶ。９つの単視点画像は、互いに視差を有する。このため、被写体距離に応じて画像上の被写体の相対的な位置関係が変化する。ある被写体が重なるように単視点画像を合成すると、異なる被写体距離に位置する被写体は、ずれて合成される。このずれにより、異なる被写体距離に位置する被写体はボケる。このときに生じるボケは、合成に使用した単視点画像に対応した瞳により決定され、９枚全ての画像を合成すると結像光学系１０１で撮影した画像のボケを再現することができる。単視点画像の合成で重ね合わせる被写体は任意である。これにより、結像光学系１０１により任意の被写体に合焦して撮影した画像を再現することができる。これが撮影後のピント制御、すなわちリフォーカスの原理である。

続いて、図１１を参照して、本実施例における単視点画像の生成方法について説明する。図１１は、本実施例におけるリフォーカス画像生成に関する説明図であり、図２のレンズアレイ１０２と撮像素子１０３との関係を示している。破線の円は、１つの小レンズを通過した光線が入射する画素の領域を表す。図１１は、小レンズが格子配置された場合に対応しているが、小レンズの配置はこれに限定されるものではない。例えば、六回対称性（ハニカム構造）を有する配置でもよく、または、規則的な配置から各小レンズを微小にずらしてもよい。図１１の斜線は、結像光学系１０１の同じ瞳領域を通過した光線が入射する画素を表す。このため、斜線の画素を抽出することにより、結像光学系１０１の瞳の下部から被写体空間を見た単視点画像を生成することができる。同様に、破線で表された各円に対する相対位置が同じ画素を抽出することにより、他の単視点画像も生成することができる。

続いて、ピント位置変更が可能なリフォーカス制御範囲に関して説明する。リフォーカスは単視点画像を重ね合わせて行うため、各単視点画像内でボケている被写体にピントを合わせ直すことはできない。これはボケた画像を重ね合わせても、高周波成分は得られず、ボケたままだからである。すなわちリフォーカス制御範囲は、結像光学系１０１の分割された瞳に依存する。瞳を小さく分割するほど、各単視点画像は被写界深度が深くなるため、リフォーカス制御範囲は広がる。ただし、単視点画像における被写界深度とリフォーカス制御範囲は必ずしも一致しない。それは、単視点画像とそれらを再構成した再構成画像の解像度比により、リフォーカス制御範囲が変化するためである。例えば、再構成画像の解像度が各視点の画像の解像度より低い場合、再構成画像における空間成分のサンプリングピッチは単視点画像に対して大きくなる。このため、単視点画像よりも再構成画像は被写界深度が深くなり、それに伴い、そのリフォーカス制御範囲も広がる。逆に、再構成画像の解像度が単視点画像よりも大きい場合、リフォーカス制御範囲は単視点画像の被写界深度よりも小さくなる。ここまでの議論から、再構成画像の正確なリフォーカス制御範囲を取得するには、単視点画像を再構成する時の条件を加味する必要があることがわかる。

次に、再構成画像のリフォーカス制御範囲の算出方法について具体的に説明する。まず、再構成画像の被写界深度に対応する焦点深度を考える。焦点深度の許容錯乱円の大きさをε、光線の角度成分のサンプリングピッチをΔｕとする。このとき、リフォーカスの係数α_±は、以下の式（１）のように表される。

式（１）により表される像側のリフォーカス範囲は、結像光学系１０１の像側主平面と被写体面２０１に対する結像光学系１０１の像側共役面との間隔をｓ_２とすると、α_±とｓ_２の積で表され、α_＋ｓ_２〜α₋ｓ_２の範囲となる。これから、結像光学系１０１に対して共役な範囲が、物体側のリフォーカス範囲であるリフォーカス制御範囲となる。図１２に示されるように、リフォーカス範囲の中心位置は、結像光学系１０１のピント位置となる。この場合、レンズアレイ１０２の位置がリフォーカス範囲の中心位置となる。式（１）の関係は、図２乃至図５のいずれの構成でも成り立つ。

図１２は、本実施例におけるリフォーカス制御範囲の説明図である。像側のリフォーカス制御範囲ｄ_{ｒｅｆｏｃｕｓ}とは、結像光学系１０１を介して物体側のリフォーカス制御範囲と共役な範囲を指す。Δｙは、光の２次元強度分布のサンプリングピッチであり、図２の構成ではレンズアレイ１０２のピッチΔ_ＬＡに等しい。式（１）は、撮像素子１０３の画素ピッチΔが、結像光学系１０１の射出瞳距離Ｐに対して十分小さいため、以下の式（２）のように近似することができる。

ここで、結像光学系１０１の射出瞳距離Ｐとは、結像光学系１０１の射出瞳面と被写体面２０１に対する結像光学系１０１の像側共役面との間隔である。また、Ｎは結像光学系１０１の瞳の１次元分割数、Ｆは結像光学系１０１のＦ値である。

また像側のリフォーカス制御範囲ｄ_{ｒｅｆｏｃｕｓ}は、式（２）を用いて以下の式（３）のように表される。

像側のリフォーカス制御範囲ｄ_{ｒｅｆｏｃｕｓ}を物体側のリフォーカス制御範囲Ｄ_{ｒｅｆｏｃｕｓ}に変換するには、結像光学系１０１に対して共役な範囲を求めればよい。これは、被写界深度を求める公式を応用して得られる。

物体側のリフォーカス範囲Ｄ_{ｒｅｆｏｃｕｓ}のうち、被写体面２０１から撮像装置側の範囲をＤ_ｎｅａｒ、被写体面２０１から離れる方向の範囲をＤ_ｆａｒとする。また、ｓ_１を被写体面２０１と結像光学系１０１の物体側主平面との距離、ｆを結像光学系１０１が物体距離無限遠の位置に結像しているときの焦点距離とする。いずれも記号の符号は方向に寄らず正とする。このとき、以下の式（４）が成立する。

ここで、範囲Ｄ_ｆａｒと範囲Ｄ_ｎｅａｒは、それぞれ、以下の式（５）、（６）のように表される。

次に、本実施例における複数の任意の被写体空間内の点をリフォーカス制御範囲に含ませる方法について、図１６乃至図１８を参照して説明する。図１６乃至図１８は、本実施例における撮影処理を示すフローチャートである。図１６乃至図１８のフローチャートの違いは、任意の被写体の有無である。

図１６のフローチャートは、任意の被写体が存在する場合のフローチャートである。例えば、図１９（ａ）、（ｂ）に示されるように被写体空間に実際に人や物体などの複数の被写体が存在し、その中からユーザがリフォーカス制御範囲に含めたい被写体を撮影時に選択する（または、撮像装置１０が自動的に選択する）場合のフローチャートである。

一方、図１７および図１８のフローチャートは、特定の被写体が存在しない場合のフローチャートである。この場合、具体例がないと理解しにくいため、使用例を挙げて説明する。まず、図１７のフローチャートの使用例を挙げる。図２０（ａ）、（ｂ）に示されるように、撮像部１００のフォーカス機構により決定されたピント位置を基準として、リフォーカス制御範囲を手前１ｍ（実際の数値は任意に決定される）から可能な限り奥までをリフォーカス制御範囲としたい場合に使用される。使用例を挙げると、スポーツの撮影など早い動きの被写体を撮影する場合、撮影する被写体の奥にボールや他の選手等が不意に入り込み、他の被写体にピントが合って撮影してしまった場合のピント位置変更に使用される。この場合、撮影したい被写体以外の物体が必ずしも入り込まなくてもよいため、ピント位置から手前１ｍの場所に実際の被写体が存在しない場合がある。また逆に、ピント位置を基準として奥に数ｍ（実際の数値は任意に決定される）から可能な限り手前までをリフォーカス制御範囲としたい場合も同様のフローチャートが用いられる。

続いて、図１８のフローチャートの使用例を挙げる。図２１（ａ）、（ｂ）に示されるように、ピント位置から手前はリフォーカス制御範囲に含めず、ピント位置から可能な限り奥までをリフォーカス制御範囲としたい場合に使用される。使用例を挙げると、陸上競技（１００ｍ走など）のゴールシーンを正面から撮影していて、フォーカス機構により１位の選手にピントを合わせて撮影し、撮影後に２位や３位の選手にピント位置を変更するような場合である。この場合、最初に決定されたピント位置（１位の選手）よりも手前側には被写体が存在しないため、リフォーカスできるようにする必要はない。このように、リフォーカス制御範囲を有効に制御したい場合に使用可能である。なお、図１６乃至図１８のフローチャートの各ステップは、主に、システムコントローラ１１１の指令に基づいて画像処理部１０５により実行される。

まず、図１６のフローチャートを参照して、撮影時に任意の被写体が存在する場合について説明する。まずステップＳ１０１において、画像処理部１０５は、撮像部１００により取得された視差画像（の情報）を取得する。続いてステップＳ１０２において、画像処理部１０５は、ステップＳ１０１にて取得した視差画像の再構成画像を表示部１０６に表示する。これにより、ユーザは、撮像素子１０３により現在取得されている画像（スルー画像）を逐次確認することができる。このときのピント位置は、例えばフォーカス機構により合焦したピント位置であり、得られた視差画像をリフォーカス処理せずに得られた再構成画像である。または、画像処理部１０５は、視差画像のうち、結像光学系１０１の瞳中心に最近接した視点の単視点画像を生成し、表示部１０６へ出力してもよい。単視点画像の出力は、再構成画像の出力よりも処理が軽微なため、タイムラグが少なく早く表示することが可能である。また、出力が単視点画像の場合、その視点は結像光学系１０１の瞳の任意の位置でよい。

次に、ステップＳ１０３において、ステップＳ１０２にて表示された画像に基づいて、第１のピント位置が指定される。第１のピント位置は、撮影時にユーザがタッチパネルなどで指定することができる。また、撮像装置１０による顔認識技術などを利用して自動的に指定してもよい。続いて、ステップＳ１０４とステップＳ１０５において、画像処理部１０５（距離情報取得部１０５ａ）は、撮像装置１０から第１のピント位置までの距離情報を取得する。このとき、まずステップＳ１０４において、ステップＳ１０５にて距離情報を取得するための準備を行う。ステップＳ１０５の「距離情報」とは、撮像装置１０から第１のピント位置までの距離である。

撮像装置１０から第１のピント位置までの距離を求める方法は、フォーカスの方式に応じて異なる。例えば、コントラストＡＦやマニュアルフォーカスの場合について説明する。コントラストＡＦとは、山登りＡＦとも呼ばれ、撮像装置１０で取得した画像のコントラストに基づいてフォーカス機構を自動的に動作させて合焦する方式である。またマニュアルフォーカスは、ユーザ自身がフォーカス機構を動作させてピント位置を決定する方式である。これらのフォーカス方式において、撮像装置１０から第１のピント位置までの距離を求める場合、フォーカス機構の移動距離を利用することができる。撮像部１００内の結像光学系１０１の仕様により、撮像装置１０から任意のピント位置までの距離に対応したフォーカス機構の移動距離が決定される。これは、幾何光学的に計算で求められるため、その都度計算することができる。または、フォーカス機構の移動距離と、撮像装置１０と任意のピント位置までの距離の対応テーブルを予め保持し、そのテーブルを参照してもよい。この場合、ステップＳ１０４にて実際にフォーカス機構を第１のピント位置に合焦するまで動作させることにより、ステップＳ１０５にて撮像装置１０から第１のピント位置までの距離情報を取得することができる。

なお、フォーカス方式として位相差ＡＦを使用する場合、必ずしもステップＳ１０４は必要ではない。位相差ＡＦとは、視差画像を使用してフォーカス機構を移動させる距離を求める方法であり、距離を求めるために実際にフォーカス機構を移動させる必要がない。フォーカス機構を移動させる距離を把握することができれば、前述のように撮像装置１０と任意のピント位置までの距離がわかる。このような場合、ステップＳ１０４を省略してもよい。このように、フォーカス方式に応じて距離情報の取得工程は若干異なるが、距離情報を取得するための方法としてフォーカス機構を用いることには限定されない。例えば、従来技術のＤＦＤ（Ｄｅｐｔｈ Ｆｒｏｍ Ｄｅｆｏｃｕｓ）などの手法や、赤外線などを利用した測距部を用いて距離情報を取得してもよい。またステップＳ１０４にて、いずれのフォーカス方式を採用する場合でも、第１のピント位置にある被写体をユーザに確認させるためにフォーカス機構により合焦させてもよい。

次に、ステップＳ１０６において、画像処理部１０５は、ステップＳ１０５にて得られた距離情報に基づいて、第１のピント位置に関するリフォーカス制御範囲を算出する。前述のように、リフォーカス制御範囲は、各単視点画像と再構成画像との解像度比に応じて変化する。ここでは、説明を簡単にするため、その解像度比が１の場合を考える。像側のリフォーカス制御範囲が式（２）の範囲内に収まっている場合、リフォーカスが可能な領域を取得できていることになる。このため、被写体面２０１に対する結像光学系１０１の像側共役面と像側のリフォーカス制御範囲との間隔ｄ_ｒは、以下の式（７）を満たせばよい。なお、ｄ_ｒは距離を表すものであり、その符号は方向に寄らず正である。

ここで、図２７を参照すると、幾何学的にＮＦ＝σ／Δであることが分かる。図２７は、図２に示される撮像部１００の光学配置図であり、各パラメータの関係を示している。図２７において、σはレンズアレイ１０２の像側主平面と撮像素子１０３との間隔である。図２７の破線は、１つの小レンズに対応する撮像素子１０３の領域を表し、斜線の画素は光線の入射しない不感帯を表す。本実施例では、不感帯が発生しないようにレンズアレイ１０２が構成されており、Δ_ＬＡ＝ＮΔが成立する。ただし、本実施例はこれに限定されるものではなく、不感帯が存在していてもよい。焦点深度を決める許容錯乱円の大きさを、空間成分のサンプリングピッチΔｙ＝Δ_ＬＡで特徴付けると、式（７）は以下の式（８）のように書き換えられる。

次に、単視点画像と再構成画像の解像度比が異なる一般的な場合について考える。再構成画像と再構成に使用する単視点画像の画角は、互いに等しい。このため、解像度比が異なる場合、両者のΔｙが異なる。許容錯乱円は、一般的に、Δｙが小さいほど小さく、大きいほど大きくなる。このため、式（８）は単視点画像と再構成画像のΔｙの比をとり、以下の式（９）のように拡張することができる。

ここで、Ｒ_ｍｏｎｏは合成に使用する単視点画像の解像度、Ｒ_{ｓｙｎｔｈ}は再構成画像の解像度を表す。Ｒ_ｍｏｎｏとＲ_{ｓｙｎｔｈ}の比の平方根をとることにより、Δｙの比が得られる。図２７から、単視点画像の解像度Ｒ_ｍｏｎｏは、以下の式（１０）で表されることが分かる。

ここで、Ｒ_{ｔｏｔａｌ}は撮像素子１０３の有効画素数である。式（９）および式（１０）から、像側のリフォーカス制御範囲が満たすべき以下の条件式（１１）が求められる。

条件式（１１）の範囲に像側のリフォーカス制御範囲を定めることにより、撮影後にリフォーカスが可能な領域を取得することができる。条件式（１１）は、理論的に負の値をとることができない。また、条件式（１１）が０の場合、ピント制御ができないことを意味する。このため、条件式（１１）の下限を超えることはできない。条件式（１１）の上限は、再構成画像のピント位置における点像の広がりを表し、小さいほど鮮鋭なリフォーカスを行うことができる。条件式（１１）の上限を超えると、点像の広がりが大きくなり、ピント位置にも関わらずボケてしまう。すなわちリフォーカスができていないこととなる。

望ましくは、以下の式（１１ａ）の範囲内に設定することにより、より鮮鋭な再構成画像を得ることができる。

より望ましくは、以下の式（１１ｂ）の範囲内とすることで、更に鮮鋭な合焦画像を得ることができる。

本実施例における条件式（１１）の値は、表１に示されるとおりである。本実施例における撮像素子１０３の有効画素数はＲ_{ｔｏｔａｌ}＝４６．７×１０^６（ｐｉｘ）であり、レンズアレイ１０２の像側主平面と撮像素子１０３との間隔はσ＝０．０３７４（ｍｍ）である。ここで、ｐｉｘは画素数を表す単位である。撮像素子１０３の画素ピッチはΔ＝０．００４３（ｍｍ）、レンズアレイ１０２のピッチはΔ_ＬＡ＝０．０１２９（ｍｍ）である。結像光学系１０１の焦点距離はｆ＝１４．０（ｍｍ）、Ｆ値はＦ＝２．９、１次元瞳分割数はＮ＝３である。再構成画像の解像度Ｒ_{ｓｙｎｔｈ}は、合成画像解像度指定部１１１ａにより、８．０×１０^６ｐｉｘ、５．２×１０^６ｐｉｘ、２．０×１０^６ｐｉｘの３種類から選択することができる。それぞれの解像度に対するｄ_ｒの値は、表１に示されるとおりである。ここで、単視点画像１枚当たりの解像度は５．２×１０^６ｐｉｘであるため、８．０×１０^６ｐｉｘの再構成画像を生成するには、画素ずらし超解像などによる高解像度化が必要となる。また、再構成画像の解像度は前記の値以外をとってもよいし、種類も３種類でなくてよい。ただしその際には、式（７）を満たすようにｄ_ｒが決定される。

ここまでは、リフォーカス制御範囲を算出する方法について説明したが、撮影時に随時算出していると処理が多くなってしまう。これを防ぐため、画像取得条件に対するリフォーカス制御範囲のテーブルを記憶部１０９に予め記憶しておき、リフォーカス制御範囲を算出する代わりに対応するデータを読み込むように構成してもよい。

また、他のリフォーカス制御範囲を取得する方法として、リフォーカスした再構成画像を実際に生成して、ピント位置に存在する被写体のコントラスト等を評価する方法が考えられる。ただしこの手法では、ピント位置を動かしながら再構成画像を生成し、逐次リフォーカスができているかを判定する必要がある。このため、処理に時間がかかってしまう。また、リフォーカスしたピント位置に被写体が存在していない場合、評価することができないため、正確なピント制御範囲を取得することができない。したがって、リフォーカス制御範囲の取得には、前述の手法を用いることが望ましい。

図１６のフローチャートの説明に戻る。ステップＳ１０７において、第２のピント位置が指定される。第２のピント位置についても、第１のピント位置と同様に、撮影時にユーザがタッチパネルなどで指定することができる。または、撮像装置１０による顔認識技術などを使用して自動的に指定してもよい。続いて、ステップＳ１０８およびステップＳ１０９は、第２のピント位置を対象とする以外は、前述のステップＳ１０４およびステップＳ１０５とそれぞれ同様であるため、これらの詳細な説明は省略する。

次に、ステップＳ１１０において、画像処理部１０５は、最初に指定した第１のピント位置のリフォーカス制御範囲内に第２のピント位置が含まれているかを、以下の式（１２）を用いて判定する。

ここで、ｓ_{１ｓｔ＿ｏｂｊ}は第１のピント位置と結像光学系１０１の物体側主平面との距離であり、Ｄ_{１ｓｔ＿ｎｅａｒ}、Ｄ_{１ｓｔ＿ｆａｒ}は第１のピント位置からの前後の物体側のリフォーカス制御範囲である。ステップＳ１１０にて第２のピント位置が第１のピンチ位置のリフォーカス制御範囲に含まれている場合（ステップＳ１１０の判定がＯＫの場合）、撮影の実行を待つか、または、更に多くのピント位置の指定を行う。更に多くのピント位置（第ｎのピント位置）を指定する場合、ステップＳ１０７に戻り、ステップＳ１０７乃至Ｓ１１１を繰り返せばよい。なお本実施例では、簡単のため、第１のピント位置および第２のピント位置の２つのピント位置を指定した場合について説明する。

ステップＳ１１０における判定がＮＧの場合、ステップＳ２００において、制御部１０７はフォーカス機構を駆動してピント位置を調整し、リフォーカス制御範囲を変更する。そして画像処理部１０５は、第１のピント位置および第２のピント位置の両方がリフォーカス制御範囲内に含まれるような第３のピント位置を求める。第３のピント位置を求める方法については後述する。

画像処理部１０５は、第３のピント位置を求めると、ステップＳ１１１にて次の指示を待つ。そしてステップＳ１１２により撮影指示があれば、ステップＳ１１３において、第３のピント位置まで制御部１０７はフォーカス機構を駆動してピント位置を第３のピント位置に変更する。そしてステップＳ１１４において、システムコントローラ１１１は撮影を実行する。仮に、ステップＳ１１０にて一度も判定がＮＧとならない場合、第１のピント位置と第３のピント位置とが等しくなる。このとき、フォーカス機構によりピント位置を第１のピント位置へ移動し（ステップＳ１０４で移動済みであればそのまま）、撮影を実行する。ここまでが撮影時に任意の被写体が有る場合の一連の流れである。

次に、第１のピント位置および第２のピント位置の両方がリフォーカス制御範囲内に入るような第３のピント位置を求める方法について説明する。ここでは３つの具体的な方法を示す。第１の方法は、被写体距離とリフォーカス制御範囲の対応テーブルから最適なピント位置を求める方法である。第２の方法は、フォーカス機構を少しずつ移動して、最適なピント位置を探索する方法である。第３の方法は、単視点画像のコントラストから最適なピント位置を求める方法である。これらの方法は、図１６のステップＳ２００に対応し、図２３乃至図２５のフローチャートにそれぞれ示される。

まず第１の方法は、被写体距離とリフォーカス制御範囲の対応テーブルを予め持ち、そのテーブル上から第３のピント位置を導出する方法である。図２２（ａ）は、本実施例におけるテーブルの例を示す。また、図２３は、第１の方法を示すフローチャートである。ステップＳ１０５およびステップＳ１０９により、撮像装置１０から第１のピント位置および第２のピント位置までの距離（距離情報）が取得されている。この距離情報に基づいて、ステップＳ２１１において、画像処理部１０５は、第１のピント位置と第２のピント位置との相対距離（相対距離情報）を算出する。これにより必要なリフォーカス制御範囲がわかるため、続いてステップＳ２１２において図２２（ａ）に示されるテーブルを参照し、ステップＳ２１３において、画像処理部１０５は第３のピント位置を算出する。テーブルには離散的なデータしか載せることができないため、テーブル上に解がない場合、補間処理を行って解を算出してもよい。また、第１のピント位置および第２のピント位置の両方がリフォーカス制御範囲内に含まれるような解がない場合、ステップＳ３００へ移行する。

このように画像処理部１０５は、第１のピント位置と第２のピント位置との相対距離情報を取得する。そして、画像処理部１０５は、被写体距離とリフォーカス制御範囲との関係を示すテーブルを用いて、第３のピント位置を算出する。好ましくは、被写体距離とリフォーカス制御範囲との関係を示すテーブルを記憶した記憶部（記憶部１０９など）を更に有する。

第２の方法は、フォーカス機構を少しずつ移動させることにより探索的に解を探す方法である。図２４は、第２の方法を示すフローチャートである。まず、算出対象である第３のピント位置の初期値として、簡単のためにステップＳ２２１において第１のピント位置が与えられたものとして説明する。ただし本実施例はこれに限定されるものではなく、第２のピント位置などの他の位置を初期値として用いてもよい。

続いてステップＳ２２２において、画像処理部１０５は、現在のリフォーカス制御範囲を算出する。そしてステップＳ２２３において、第１のピント位置および第２のピント位置がリフォーカス制御範囲に含まれるか否かを、式（１２）を用いて判定する。この判定がＯＫ（リフォーカス制御範囲内）の場合、図１６のステップＳ１１１へ戻る。一方、この判定がＮＧ（リフォーカス制御範囲外）の場合、ステップＳ２２４において、フォーカス機構を一定量だけ駆動する。駆動方向は、初期値が第１のピント位置であれば、第２のピント位置へ向かって合焦する方向に動かせばよい。また初期値が第１のピント位置や第２のピント位置のいずれでもない場合、いずれか遠い方のピント位置へ向かって合焦するようにフォーカス機構を一定量だけ駆動すればよい。また、駆動方法については、少しずつ一定方向に移動させて、その都度リフォーカス制御範囲を計算してもよい。または、初めは大雑把に駆動し、第２のピント位置はリフォーカス制御範囲に含まれるが第１のピント位置はリフォーカス制御範囲から外れるようになった場合、ピント位置の移動方向を反転させて、ピント位置の移動量を変更するなどして探索してもよい。なお、フォーカス機構をいくら移動させても解が得られない場合、ステップＳ３００に移行する。

このように画像処理部１０５は、ピント位置を変更しながら（複数の異なるピント位置に対する）リフォーカス制御範囲を算出する。そして画像処理部１０５は、第１のピント位置および第２のピント位置が特定のピント位置におけるリフォーカス制御範囲に含まれる場合、特定のピント位置を第３のピント位置として設定する。好ましくは、システムコントローラ１１１（制御部１０７）は、ピント位置を変更しながら算出されたリフォーカス制御範囲に基づいて、ピント位置の移動方向および移動量を決定する。

第３の方法は、単視点画像のコントラスト値により判定する方法である。前述のように、リフォーカス制御範囲は単視点画像の被写界深度に依存する（ただし厳密には、単視点画像と再構成画像の解像度比を考慮する必要はある）。このため、単視点画像の中の、第１のピント位置と第２のピント位置に相当する位置の被写体のコントラストを比較して、ある閾値レベル以上のコントラスト値を有している場合、リフォーカス制御範囲内であると判定される。したがって、この方法は、両ピント位置に物体があることが前提である。コントラスト値は、例えば任意の領域（例えば１０×１０画素など）内での最大輝度値をＬ_ｍａｘ、最小輝度値をＬ_ｍｉｎとするとき、以下の式（１３）を用いて算出することができる。

ここでの輝度値は、Ｒ、Ｇ、Ｂのうちのいずれかの単色でよく、または、ある重み付けによって足し合わされた白色での輝度値でもよい。ここで求まるｍの値が任意の閾値以上である場合、リフォーカス制御範囲内であると判定される。ただし、閾値自体は撮像装置１０の仕様などに応じて異なる（ただし実際には、単視点画像と再構成画像の解像度比を考慮する必要があるため、それに合わせて閾値を設定することが好ましい）。

図２５は、第３の方法を示すフローチャートである。第３の方法は、コントラスト値を算出して比較する以外のステップ（ステップＳ２３１、Ｓ２３４）は、前述の第２の方法と同様であるため、これらの説明は省略する。ステップＳ２３２において、画像処理部１０５は、第１のピント位置にある被写体と第２のピント位置にある被写体のコントラスト値を算出する。そしてステップＳ２３３において、第１のピント位置と第２のピント位置のコントラスト値が閾値以下である場合（ステップＳ２３３でＮＧの場合）、ステップＳ２３４において、フォーカス機構を一定量だけ駆動する。

このように画像処理部１０５は、単視点画像に対する第１のピント位置および第２のピント位置でのコントラスト値を算出する。そして画像処理部１０５は、第１のピント位置および第２のピント位置でのコントラスト値が所定の閾値以上である場合、特定のピント位置を第３のピント位置として設定する。

以上のとおり、第３のピント位置を算出する３つの方法について説明したが、各ステップの間に、確認工程などの他のステップが挿入されても構わない。また、３つの方法の一部または全部を組み合わせてもよい。

次に、第３のピント位置の解がない場合のステップＳ３００について説明する。この場合、表示指令部１１１ｃは、撮像装置１０のファインダーや背面モニターなどの表示部１０６に、選択被写体がリフォーカス制御範囲外であることをユーザに知らせるための警告を出す。

図２６（ａ）、（ｂ）は、本実施例における撮影シーンの例を示す図である。図２６（ａ）は画面上に文字で警告を行う例、図２６（ｂ）は選択被写体を点滅させて、選択被写体がリフォーカス制御範囲外であることを知らせる例である。このように警告を出すことにより、ユーザに解がないことを知らせるステップがあることが好ましい。また、表示画像上にメッセージを表示する以外にも、音声など、その他の通知方法を用いてもよい。

次に、図１７のフローチャートについて説明する。なお図１７のステップＳ４０１乃至Ｓ４０３は、図１６のフローチャートのステップＳ１０１乃至Ｓ１０３とそれぞれ同様であるため、それらの説明は省略する。ステップＳ４０４において、制御部１０７はフォーカス機構を駆動し、ピント位置をステップＳ４０３にて指定されたピント位置へ移動させる。続いてステップＳ４０５において、距離情報取得部１０５ａは、撮像装置１０と第１のピント位置との距離情報を取得する。距離情報の取得方法は、前述のステップＳ１０５と同様のため省略する。続いてステップＳ４０６において、画像処理部１０５は、第１のピント位置でのリフォーカス制御範囲を取得する。この取得方法および算出方法はステップＳ１０６と同様のため省略する。

次に、ステップＳ４０７において、画像処理部１０５は、第２のピント位置を指定する。この例は、前述のスポーツ撮影のシーンで例に挙げたように、第１のピント位置から手前（もしくは奥）１ｍを第２のピント位置にする場合などである。撮影時に指定してもよく、または、事前に撮像装置１０内の記憶部１０９にプリセットし、ここでそのデータを読み込んでもよい。

続いてステップＳ４０８において、画像処理部１０５は、ステップＳ４０６にて取得されたリフォーカス制御範囲内に第２のピント位置が含まれているか否かを判定する。この判定方法は、ステップＳ１１０と同様である。第２のピント位置がリフォーカス制御範囲内に含まれている場合、撮像素子１０３により現在取得されている画像（スルー画像）を表示し（ステップＳ４０２と同様）、撮影指示を待つ。ユーザがレリーズボタンを押すなどの撮影指示があれば、ステップＳ４１１においてフォーカス機構を駆動してピント位置を調整する。そしてステップＳ４１２において、撮影を実行し、本フローを終了する。ステップＳ４１１においていずれにピントを合わせるかは、ステップＳ４０８の判定による。一度もＮＧにならずにステップＳ４０９に移行した場合、第１のピント位置で問題ないということになる。このため、ステップＳ４１１におけるピント位置は、第１のピント位置に等しい。また、ステップＳ４０８の判定でＮＧとなり、ステップＳ２００に移行した場合、ステップＳ４１１にてステップＳ２００で算出した第３のピント位置にフォーカス機構によりピント位置を変更する。ステップＳ２００およびステップＳ３００は前述のとおりである。

次に、図１８のフローチャートについて説明する。ただし、ステップＳ５０１乃至Ｓ５０５は、図１７のフローチャートのＳ４０１乃至Ｓ４０５とそれぞれ同様のため、それらの説明は省略する。ステップＳ５０６において、制御部１０７は、フォーカス機構を駆動してピント位置を一定量だけ移動させることにより、ピント位置を第３のピント位置へ変更する。この例は、前述のゴールシーンの撮影で例に挙げたように、第１のピント位置を手前側のリフォーカス制御範囲の境界付近に置き、そこからできるだけ奥側にリフォーカス制御範囲を持たせようとする場合である（奥と手前は逆でも可能）。このため、ここでは図２８に示されるように、最終的な結像光学系１０１のピント位置が第３のピント位置（Ｄ_３ｒｄ）となる。図２８は、本実施例におけるリフォーカス制御範囲の説明図である。

また、第３のピント位置に対する手前側（撮像装置１０側）のリフォーカス制御範囲内外の境界は第１のピント位置Ｄ_１ｓｔであり、第３のピント位置Ｄ_３ｒｄと第１のピント位置Ｄ_１ｓｔとの距離はＤ_{３ｒｄ＿ｎｅａｒ}と表される。また反対に、第３のピント位置に対する奥側（撮像装置から離れる方向）のリフォーカス制御範囲内外の境界は第２のピント位置Ｄ_２ｎｄであり、第３のピント位置Ｄ_３ｒｄと第２のピント位置Ｄ_２ｎｄとの距離をＤ_{３ｒｄ＿ｆａｒ}と表す。これを実現させるには、第１のピント位置Ｄ_１ｓｔと第２のピント位置Ｄ_２ｎｄには、第３のピント位置Ｄ_３ｒｄと結像光学系１０１の物体側主平面との距離をｓ_{１＿３ｒｄ}とすると、以下の式（１４）、（１５）により表される関係が必要である。

ただし式（１４）では、第１のピント位置Ｄ_１ｓｔがリフォーカス制御範囲のぎりぎりに位置するため、フォーカス機構の精度によってはリフォーカス制御範囲外になる可能性もある。このため、式（１４）に関しては、以下の式（１４ａ）のように一定の余裕量αをもたせることが好ましい。

ここで、定数αは、ユーザがシーンにあわせて任意に決定されることができ、また、始めから記憶部１０９などに書き込まれてセットされていてもよい。ステップＳ５０６において、以上のような関係となる第３のピント位置へピント位置が変更される。ピント位置の変更方法はいくつか考えられる。前述の第１の方法のように、ピント位置とリフォーカス制御範囲の対応テーブルを参照する方法を用いる場合、テーブルから読み取ったデータ、または参照データを補間処理して得られたデータに基づいて第３のピント位置を決定すればよい。また、テーブルを持たない場合でも、前述のパラメータに基づいて、リフォーカス制御範囲を算出することにより、式（１４）または式（１４ａ）を満足する第３のピント位置を算出することが可能である。以上のような方法で第３のピント位置を算出すれば、迅速にピント位置を変更可能であるため、好ましい。この場合、ステップＳ５０７において、画像処理部１０５は、算出した第３のピント位置に対して式（１４）または式（１４ａ）を満足しているか否かを判定する。

このとき、問題がなければステップＳ５０８にてスルー画像を表示させ、撮影指示を待つ。撮影指示があれば、ステップＳ５０９からステップ５１０に移行し、決定された第３のピント位置へピント位置を変更する。そしてステップＳ５１１において撮影を実行する。これで本フローは終了する。一方、ステップＳ５０７にてＮＧ判定の場合、第３のピント位置の算出過程で算出できなったなどのエラーが発生している可能性がある。この場合、後述の探索的な手法（ステップＳ６００）に切り替えてピント位置を変更するか、または、そのままステップＳ３００へ移行してユーザに警告指示を出せばよい。

次に、ピント位置とリフォーカス制御範囲の対応テーブルを用いずに探索的に第３のピント位置を求める方法（ステップＳ６００）について説明する。この場合、ピント位置の変更量として適当な初期値を与えて、そこから第３のピント位置を探索する。この方法は、前述の第２の方法や第３の方法と類似しているが、そのフローチャートは若干異なる。

図２９および図３０は、本実施例における撮影処理のフローチャートであり、図１８のステップＳ６００に対応する。また、図２９は前述の第２の方法に対応し、図３０は前述の第３の方法に対応するフローチャートを示している。

まず、図１８のステップＳ５０６において、適当な初期値を用いてピント位置を変更する。ピント位置を変更する方向は、第１のピント位置から奥側（撮像装置１０から離れる方向）である。その後、ステップＳ５０７にて判定を行う。この判定がＯＫであれば前述のようにステップＳ５０８へ進み、その後の処理は前述と同じである。一方、この判定がＮＧの場合、ステップＳ６００へ進む。

まず、図２９を参照して、第２の方法を用いた場合のステップＳ６００について詳述する。ステップＳ５０７でＮＧ判定となった後、ステップＳ６１１へ移行する。ここで、またピント位置を一定量だけ変更する。ピント位置の変更量は、先ほどと同じ量であってもよく、または、変更してもよい。続いてステップＳ６１２において、画像処理部１０５は、変更後のピント位置でのリフォーカス制御範囲を算出する。リフォーカス制御範囲の算出方法は、前述の方法と同様である。その後、ステップＳ６１３において、ステップＳ５０７と同様の判定を行う。この判定がＯＫの場合、ステップＳ５０８へ移行する。一方、この判定がＮＧの場合、ステップＳ６１１に戻り、ピント位置の変更を繰り返す。ステップＳ６１１におけるピント位置の移動方法については、少しずつ一定方向に移動し、その都度リフォーカス制御範囲を算出してもよい。または、初めは大雑把に移動し、第１のピント位置がリフォーカス制御範囲から外れた場合、ピント位置の移動方向を反転させて、ピント位置の移動量を変更するなどして探索してもよい。ステップＳ６１１において、フォーカス機構でピント位置を移動可能な範囲（機構的な範囲）を超えるなどでエラーとなる場合、ステップＳ３００へ移行する。

次に、図３０を参照して、第３の方法を用いた場合のステップＳ６００について詳述する。ステップＳ５０７でＮＧ判定となった後、ステップＳ６２１へ移行する。ここで、またピント位置を一定量だけ変更する。ピント位置の変更量は、先ほどと同じ量であってもよく、または、変更してもよい。続いてステップＳ６２２において、画像処理部１０５は、変更したピント位置での各被写体のコントラスト値を算出する。コントラスト値の算出方法は、第３の方法と同様であるため省略する。その後、ステップＳ６２３において、ステップＳ５０７と同様の判定を行う。この判定がＯＫの場合、ステップＳ５０８へ移行する。一方、この判定がＮＧの場合、ステップＳ６２１に戻り、ピント位置の変更を繰り返す。ステップＳ６２１におけるピント位置の移動方法についても、ステップＳ６１１で述べたように少しずつ移動させてもよく、または、探索的に移動させてもよい。ステップＳ６２１において、フォーカス機構でピント位置を移動可能な範囲（機構的な範囲）を超えるなどでエラーとなる場合、ステップＳ３００へ移行する。

本実施例において、画像処理部１０５は、リフォーカス制御範囲に関する情報を取得する。そしてシステムコントローラ１１１（制御部１０７）は、リフォーカス制御範囲に関する情報に基づいてフォーカス制御を行う。好ましくは、画像処理部１０５は、第１のピント位置に対するリフォーカス制御範囲に、第２のピント位置が含まれるか否かを判定する。そしてシステムコントローラ１１１（制御部１０７）は、第２のピント位置がリフォーカス制御範囲に含まれない場合、フォーカス制御を行う。そして、第１のピント位置および第２のピント位置の両方がリフォーカス制御範囲に含まれるように第１のピント位置を第３のピント位置に変更する。

また好ましくは、画像処理部１０５は、リフォーカス制御範囲に関する情報に基づいて、第１のピント位置および第２のピント位置がリフォーカス制御範囲に含まれるように第３のピント位置を取得する。より好ましくは、システムコントローラ１１１（制御部１０７）は、ピント位置を第３のピント位置に移動させるようにフォーカス制御を行う。より好ましくは、システムコントローラ１１１は、第３のピント位置を設定することができないと判定した場合、ユーザに対する警告を出力する。

より好ましくは、画像処理部１０５は、撮影条件情報、入力画像の画角領域、および、再構成された出力画像の解像度の少なくとも一つに応じてリフォーカス制御範囲を変更する。

本実施例によれば、撮影後にユーザが意図したピント位置でのリフォーカス画像を取得可能な撮像装置を提供することができる。

次に、本発明の実施例２における撮像装置について説明する。本実施例の撮像装置は、実施例１の撮像装置と同様に図１の基本構成を有する。また、本実施例の撮像部１００は、図３に示されるように配置されている。図７は、本実施例の撮像部１００の断面図である。結像光学系１０１は、ズームレンズである。結像光学系１０１は、物体側から順に、正の屈折力を有する第１レンズ群Ｌ１、正の屈折力を有する第２レンズ群Ｌ２、負の屈折力を有する第３レンズ群Ｌ３、正の屈折力を有する第４レンズ群Ｌ４、および、正の屈折力を有する第５レンズ群Ｌ５で構成されている。変倍時において、第１レンズ群Ｌ１と第５レンズ群Ｌ５は固定され、第２レンズ群Ｌ２、第３レンズ群Ｌ３、および、第４レンズ群Ｌ４は光軸上を移動する。フォーカス時において、第２レンズ群Ｌ２が駆動される。

図３に示されるように、レンズアレイ１０２は、結像光学系１０１の被写体面２０１に対する像側共役面２０２より物体側へ配置されている。また、像側共役面２０２と撮像素子１０３とは、レンズアレイ１０２を介して共役関係になるように配置されている。被写体面２０１からの光線は、結像光学系１０１およびレンズアレイ１０２を通過した後、光線の被写体面２０１上での位置と角度に応じて、撮像素子１０３の異なる画素へ入射し、ライトフィールドが取得される。図３および図４の構成では、撮影視点と撮影範囲の異なる複数の小画像が並んだ画像が、撮像素子１０３で取得される。図４の構成は、レンズアレイ１０２が像側共役面２０２より像側へ配置されていることを除けば、図３に示される構成と同様である。図３との違いは、レンズアレイ１０２が結像光学系１０１の形成した像を実物体として見て、撮像素子１０３へ再結像させることである。しかし、図３および図４に示される構成は、いずれも結像光学系１０１の結んだ像をレンズアレイ１０２が物体として見て、その像を撮像素子１０３へ結像しているため、本質的には同じである。このため、以下の議論は、図４の構成に関しても同様に成立する。

次に、本実施例におけるリフォーカス処理について説明する。本実施例のリフォーカス処理は、定性的には実施例１と同様であり、結像光学系１０１の分割瞳の画像を、合焦したい被写体距離に対応したずれ量で重ね合わせればよい。

図１０（ａ）、（ｂ）は、リフォーカス画像生成に関する説明図であり、図３の構成におけるレンズアレイ１０２と撮像素子１０３の部分詳細図を示している。本実施例において、レンズアレイ１０２は、物体側の面が平面で、像側の面が凸形状の小レンズにより構成されている。ただし、実施例１と同様に、レンズアレイ１０２の形状はこれに限定されるものではない。図１０（ａ）、（ｂ）中の一点鎖線は、各小レンズの画角を表す。撮像素子１０３で得られた画素値を、画素に対応する小レンズを介して仮想結像面２０３へ投影して合成することにより、仮想結像面２０３にピントの合ったリフォーカス画像を生成することができる。ここで、仮想結像面２０３とは、リフォーカスにより合焦したい物体側の面と、結像光学系１０１を介して共役な面のことを指す。例えば、図３の被写体面２０１にピントの合った画像を生成するには、像側共役面２０２に仮想結像面２０３を設定すればよい。

図１０（ａ）、（ｂ）において、リフォーカス画像生成の際に投影した画素は、破線で表され、分かりやすくするために重ねずにずらして描画した。リフォーカスしたリフォーカス画像の生成は、前述の画素を投影する方法と同様の画素の重なりになる場合、各画素を平行移動させて合成する方法でもよい。このとき、画素に入射した光束が通過したレンズアレイ１０２の領域が同じである場合、それらの画素の平行移動量は同じになる。すなわち図３および図４におけるリフォーカス画像生成時の画素の操作は、画素に入射する光束が通過したレンズアレイ１０２の領域に応じて決定される。

次に、リフォーカス制御範囲に関して説明する。本実施例におけるリフォーカス制御範囲も、実施例１と同様に、式（１）のように表される。その関係は、図１３に示されるとおりである。図１３は、本実施例におけるリフォーカス制御範囲の説明図である。図１３中のΔｙは、図３および図４における光の２次元強度分布のサンプリングピッチを表し、Δｙ＝Δσ_１／σ_２である。これは、結像光学系１０１が形成した像を、レンズアレイ１０２が虚物体として見ることで、撮像素子１０３へσ_２／σ_１倍で縮小結像するためである。ここで、σ_１は像側共役面２０２とレンズアレイ１０２の物体側主平面の間隔、σ_２はレンズアレイ１０２の像側主平面と撮像素子１０３の間隔である。本実施例においても、Δ≪Ｐであるから、式（１）は式（２）に近似することができる。

本実施例において、複数の任意の被写体空間内の点をリフォーカス制御範囲に入れる過程については、図１６乃至図１８のフローチャートで表される。このため、実施例１と同様の部分についての説明は省略する。

ステップＳ１０６（図１６）やステップＳ４０６（図１７）、または、ステップＳ５０７（図１８）において、再構成画像のリフォーカス制御範囲が算出されて取得される。この算出方法は、実施例１と同様であり、像側のリフォーカス制御範囲が算出される。図２２（ｂ）は、前述の第１の方法でテーブルを有する場合において、本実施例のテーブルの例を示している。図１３から、幾何学的にＮＦ＝σ_１／Δ_ＬＡである。また、前述のように、Δｙ＝Δσ_１／σ_２であるから、以下の式（１６）が成り立つ。

これらを用いることで、ｄ_ｒが満たすべき以下の条件式（１７）が求められる。

なお、条件式（１７）における上下限の意味は、条件式（１１）と同様である。

望ましくは、以下の条件式（１７ａ）の範囲内とすることにより、再構成画像の鮮鋭度が増す。

更に望ましくは、以下の条件式（１７ｂ）の範囲内とすることにより、より鮮鋭な再構成画像を得ることができる。

本実施例における条件式（１７）の値は、表１に示されるとおりである。本実施例において、撮像素子１０３の有効画素数はＲ_{ｔｏｔａｌ}＝１５０．０×１０^６（ｐｉｘ）である。また、σ_１＝０．３７１２（ｍｍ）、σ_２＝０．０７４０（ｍｍ）である。撮像素子１０３の画素ピッチはΔ＝０．００２４（ｍｍ）、レンズアレイ１０２のピッチはΔ_ＬＡ＝０．０２５６（ｍｍ）である。結像光学系１０１の広角端における焦点距離はｆ_Ｗ＝７２．２（ｍｍ）、望遠端における焦点距離はｆ_Ｔ＝１９４．０（ｍｍ）、Ｆ値は広角端から望遠端までＦ＝２．９であり、１次元瞳分割数はＮ＝５である。再構成画像の解像度Ｒ_{ｓｙｎｔｈ}は、合成画像解像度指定部１１１ａにより、１０．０×１０^６ｐｉｘ、６．０×１０^６ｐｉｘ、３．０×１０^６ｐｉｘの３種類から選択することができる。それぞれの解像度に対するｄ_ｒは、表１に示されるとおりである。ここで、単視点画像１枚当たりの解像度が６．０×１０^６ｐｉｘであるため、１０．０×１０^６ｐｉｘの再構成画像を生成するには、画素ずらし超解像などによる高解像度化が必要となる。

本実施例によれば、撮影後にユーザが意図したピント位置でのリフォーカス画像を取得可能な撮像装置を提供することができる。

次に、本発明の実施例３における撮像装置について説明する。本実施例の撮像装置は、実施例１の撮像装置と同様に図１の基本構成を有する。また、本実施例の撮像部１００は、図５に示されるように配置されており、物体側から見ると図１５のような配置となっている。実施例３において撮像部１００は、正の屈折率を有する複数の光学系１０１ａ〜１０１ｇ（結像光学系）を備え、光学系１０１ｂの光軸を回転軸として六回対称性を有するように構成されている。すなわち結像光学系の瞳を、複数の光学系１０１ａ〜１０１ｇの瞳を合成した瞳であるとしたとき、複数の光学系は、被写体面の同一位置からの光線を、光線が通過する結像光学系の瞳領域に応じて、撮像素子の互いに異なる画素に入射させるように配列されている。

ただし、本実施例はこれに限定されるものではなく、結像光学系の個数や配列は変更可能である。複数の光学系１０１ａ〜１０１ｇの像側には、撮像素子１０３ａ〜１０３ｇがそれぞれ配列されている。ただし、撮像素子は複数である必要はなく、結像光学系１０１ａ〜１０１ｇの各々により形成される像を取得可能であれば単数の撮像素子でもよい。

複数の光学系１０１ａ〜１０１ｇで屈折された光線は、それぞれに対応する撮像素子１０３ａ〜１０３ｇで受光される。撮像素子１０３ａ〜１０３ｇで取得された複数の画像は、被写体空間を異なる視点から観察した視差画像である。これらの複数の画像を合成することにより、被写体空間のライトフィールドを取得することができる。

図８は、本実施例における結像光学系（光学系１０１ａ）および撮像素子１０３ａの断面図である。他の結像光学系（光学系１０１ｂ〜１０１ｇ）、および、撮像素子１０３ｂ〜１０３ｇも同様である。ただし、各結像光学系の構成はそれぞれ異なっていてもよい。図８の結像光学系（光学系１０１ａ）は、単焦点レンズである。光学系１０１ａと撮像素子１０３ａとの間隔を変化させることにより、フォーカス制御が可能である。

本実施例におけるリフォーカス処理は、実施例１と同様に、ピントを合わせたい被写体距離に対応するずれ量で各視点の画像を重ね合わせればよい。また、リフォーカスが可能なピント制御範囲に関しても、式（１）で記述される。その関係は、図１４に示されるとおりである。図１４は、本実施例におけるリフォーカス制御範囲の説明図である。本実施例において、Δｙ＝Δ、および、Δｕ＝Ｐ_ｍｏｎｏ／Ｆ_ｍｏｎｏである。ここで、Ｆ_ｍｏｎｏは結像光学系１０１ａ〜１０１ｇの１つのＦ値、Ｐ_ｍｏｎｏは結像光学系の射出瞳距離である。Δ≪Ｐ_ｍｏｎｏが成立するため、式（１）は以下の式（１８）で表されるように近似することができる。

本実施例における複数の任意の被写体空間内の点をリフォーカス制御範囲に入れる過程も、図１６乃至図１８のフローチャートで示され、実施例１と同様の部分についての説明は省略する。ステップＳ１０６（図１６）、ステップＳ４０６（図１７）、または、ステップＳ５０７（図１８）において、再構成画像のリフォーカス制御範囲が算出されて取得される。また、像側のリフォーカス制御範囲は、実施例１と同様の考え方で算出される。

露出状態の予測で得られた撮影時の結像光学系１０１ａ〜１０１ｇのＦ値をＦ_ｍｏｎｏに代入して、リフォーカス制御範囲が取得される。結像光学系１０１ａ〜１０１ｇのうちＦ_ｍｏｎｏのＦ値を有する光学系で結像される画像の解像度をＲ_ｍｏｎｏとすると、ｄ_ｒが満たすべき以下の条件式（１９）が得られる。

条件式（１９）における上下限の意味は、条件式（１１）と同様である。

望ましくは、以下の条件式（１９ａ）の範囲内とすることにより、再構成画像の鮮鋭度が増す。

更に望ましくは、以下の条件式（１９ｂ）の範囲内とすることにより、より鮮鋭な再構成画像を得ることができる。

本実施例における条件式（１９）の値は、表１に示されるとおりである。本実施例における撮像素子１０３ａ〜１０３ｇの各々の有効画素数はＲ_ｍｏｎｏ＝１９．３×１０^６（ｐｉｘ）であり、画素ピッチはΔ＝０．００１２（ｍｍ）である。結像光学系１０１ａ〜１０１ｇの各々の焦点距離はｆ＝５０．０（ｍｍ）であり、開放Ｆ値はＦ＝１．８である。表１において、撮影時のＦ値はＦ_ｍｏｎｏ＝１．８である。異なるＦ値の場合、条件式（１９）を満たすようにｄ_ｒが決定される。また、高画角の領域では、光束のケラレに応じてリフォーカス制御範囲を変化させる。例えば、画像のある画角領域が軸上領域に対して焦点深度が２倍になっている場合、その画角領域のリフォーカス制御範囲を軸上における範囲の２倍にする。再構成画像の解像度Ｒ_{ｓｙｎｔｈ}は、合成画像解像度指定部１１１ａにより、１９．３×１０^６ｐｉｘ、１０．０×１０^６ｐｉｘ、５．０×１０^６ｐｉｘの３種類から選択することができる。それぞれの解像度に対するｄ_ｒは表１に示されるとおりである。

本実施例によれば、撮影後にユーザが意図したピント位置でのリフォーカス画像を取得可能な撮像装置を提供することができる。

次に、図３１乃至図３３を参照して、本発明の実施例４における画像処理システムの基本構成について説明する。図３１は、本実施例における画像処理システム３０のブロック図である。図３２は、画像処理システム３０の概略構成図である。図３３は、本実施例における単視点画像取得部４００のブロック図である。

撮像部３００は、図３２に示されるように、複数の単視点画像取得部４００ａ〜４００ｄを備えている。図３３の単視点画像取得部４００は、複数の単視点画像取得部４００ａ〜４００ｄの一つを示している。単視点画像取得部４００ａ〜４００ｄは、図５の構成と定性的には同じである。

図３１に示される画像処理部３０１は、図１６乃至図１８に示される処理を行うコンピュータ機器であり、実施例１と同様に距離情報取得部３０１ａを備えている。画像処理部３０１で処理された画像は、表示部３０２、記録媒体３０３、出力部３０４のいずれか一つまたは複数に出力される。表示部３０２は、例えば、液晶ディスプレイやプロジェクタである。記憶媒体３０３は、例えば、半導体メモリ、ハードディスク、または、ネットワーク上のサーバである。出力部３０４は、プリンタなどである。ユーザは、撮影または編集時に、表示部３０２を介して画像を確認しながら作業を行うことができる。画像処理部３０１は、図１６乃至図１８の処理や再構成処理の他に、必要に応じて現像処理やその他の画像処理を行う機能を有する。各部材の制御は、パーソナルコンピュータ（ＰＣ）などのシステムコントローラ３０５により行われる。また、この制御をコンピュータに実行させるプログラムを格納したＣＤ−ＲＯＭなどの記憶媒体を用いることもできる。システムコントローラ３０５は、実施例１と同様に、合成画像解像度指定部３０５ａ、合焦被写体指定部３０５ｂ、表示指令部３０５ｃ、撮影指令部３０５ｄ、および、合焦制御部３０５ｅを備えている。

図３３において、結像光学系４０１を介して撮像素子４０３に結像された像は、電気信号（アナログ信号）に変換される。そしてアナログ信号は、Ａ／Ｄコンバータ４０４によりデジタル信号に変換される。このデジタル信号は画像処理部４０５で所定の処理を施され、単視点画像取得部４００内の各部材、および、画像処理部３０１へ出力される。システムコントローラ４１１は、システムコントローラ３０５からの信号を受けて、単視点画像取得部４００の各部材を制御する。露出状態予測部４１３は、測光部４１２の情報から撮影時の露出状態の予測を行う部材である。表示部４０６は、システムコントローラ４１１からの信号に基づいて、画像処理部４０５を介して表示のＯＮ／ＯＦＦおよび表示画像の切換えを行う。システムコントローラ４１１からの指令によって撮影が実行される際には、測光部４１２の情報に基づいて制御部４０７が結像光学系４０１の露出を調節する。このとき、撮像素子４０３で取得された画像は、前述と同様の経路を辿って画像処理部４０５に入力され、所定の処理を施された後、半導体メモリなどの画像記録媒体４１０に所定のフォーマットで保存される。また同時に、状態検知部４０８から得られた撮影時の画像取得条件も記録される。さらに、画像記録媒体４１０に記録する画像は、再構成処理を施した画像でもよい。また高速化のため、所望の設定を予め記憶部４０９に記憶し、画像記録媒体４１０を介さずに再構成画像を表示部４０６に表示させてもよい。

図９は、単視点画像取得部４００ａの結像光学系４０１ａと撮像素子４０３ａの断面図である。図９に示される結像光学系４０１ａは単焦点レンズであり、フォーカス群ＩＦを駆動してフォーカスを行う。他の単視点画像取得部４００ｂ〜４００ｄも、同様に構成されている。ただし、各単視点画像取得部は互いに異なる構成を有していてもよく、また、その数や配置も限定されるものではない。

本実施例のリフォーカス処理は実施例３と同様であり、撮影および編集時の表示画像生成も実施例３と同様である。また、本実施例における条件式（１９）の値は、表１に示されるとおりである。本実施例における撮像素子４０３ａ〜４０３ｄの各々の有効画素数はＲ_ｍｏｎｏ＝３２．０×１０^６（ｐｉｘ）であり、画素ピッチはΔ＝０．００５２（ｍｍ）である。結像光学系４０１ａ〜４０１ｄの各々の焦点距離はｆ＝２００．０（ｍｍ）、開放Ｆ値はＦ＝２．０である。表１は、撮影時の予測Ｆ値をＦ_ｍｏｎｏ＝２．０で計算した値となっている。再構成画像の解像度Ｒ_{ｓｙｎｔｈ}は、合成画像解像度指定部３０５ａにより、６４．０×１０^６ｐｉｘ、３２．０×１０^６ｐｉｘ、８．０×１０^６ｐｉｘの３種類から選択することができる。それぞれの解像度に対するｄ_ｒは表１に示されるとおりである。ここで、６４．０×１０^６ｐｉｘの再構成画像を生成するためには、画素ずらし超解像などの高解像度が必要となる。

本実施例によれば、撮影後にユーザが意図したピント位置でのリフォーカス画像を取得可能な画像処理システムを提供することができる。

また、本発明は、以下の処理を実行することによっても実現される。すなわち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

各実施形態によれば、撮影後にユーザが意図したピント位置でのリフォーカス画像を取得可能な撮像装置、撮像装置の制御方法、プログラム、および、記憶媒体を提供することができる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されたものではなく、その要旨の範囲内で様々な変形、及び変更が可能である。

１０ 撮像装置
１０１ 結像光学系
１０２ レンズアレイ
１０３ 撮像素子
１０５ 画像処理部
１０７ 制御部

Claims (20)

1. 入力画像を再構成することによりピント位置の異なる複数の出力画像を生成可能な撮像装置であって、
   結像光学系と、
   複数の画素を備えた撮像素子と、
   被写体面の同一位置からの光線を、該光線が通過する前記結像光学系の瞳領域に応じて、前記撮像素子の互いに異なる画素に入射させるレンズアレイと、
   前記撮像素子で取得された前記入力画像に対して画像処理を行うことにより前記出力画像を生成する画像処理部と、
   前記結像光学系を駆動してフォーカス制御を行う制御部と、を有し、
   前記画像処理部は、リフォーカス制御範囲に関する情報を取得し、
   前記制御部は、前記リフォーカス制御範囲に関する情報に基づいて前記フォーカス制御を行う、ことを特徴とする撮像装置。
2. 入力画像を再構成することによりピント位置の異なる複数の出力画像を生成可能な撮像装置であって、
   複数の光学系を備えた結像光学系と、
   複数の画素を備えた少なくとも１つの撮像素子と、
   前記撮像素子で取得された前記入力画像から前記出力画像を生成する画像処理部と、
   前記結像光学系を駆動してフォーカス制御を行う制御部と、を有し、
   前記結像光学系の瞳を、前記複数の光学系の瞳を合成した瞳であるとしたとき、前記複数の光学系は、被写体面の同一位置からの光線を、該光線が通過する前記結像光学系の瞳領域に応じて、前記撮像素子の互いに異なる画素に入射させるように配列されており、
   前記画像処理部は、リフォーカス制御範囲に関する情報を取得し、
   前記制御部は、前記リフォーカス制御範囲に関する情報に基づいて前記フォーカス制御を行う、ことを特徴とする撮像装置。
3. 前記画像処理部は、第１のピント位置に対するリフォーカス制御範囲に、第２のピント位置が含まれるか否かを判定し、
   前記制御部は、前記第２のピント位置が前記リフォーカス制御範囲に含まれない場合、前記第１のピント位置および前記第２のピント位置の両方がリフォーカス制御範囲に含まれるように前記結像光学系を駆動してフォーカス制御を行うことを特徴とする請求項１または２に記載の撮像装置。
4. 前記画像処理部は、前記リフォーカス制御範囲に関する情報に基づいて、第１のピント位置および第２のピント位置が前記リフォーカス制御範囲に含まれるピント位置である第３のピント位置を取得することを特徴とする請求項１または２に記載の撮像装置。
5. 前記制御部は、前記ピント位置を前記第３のピント位置に移動させるように前記結像光学系を駆動してフォーカス制御を行うことを特徴とする請求項４に記載の撮像装置。
6. 前記制御部は、前記第３のピント位置を設定することができないと判定した場合、ユーザに対する警告を出力することを特徴とする請求項４または５に記載の撮像装置。
7. 前記画像処理部は、
   前記第１のピント位置と前記第２のピント位置との相対距離情報を取得し、
   被写体距離と前記リフォーカス制御範囲との関係を示すテーブルを用いて、前記第３のピント位置を算出することを特徴とする請求項４乃至６のいずれか１項に記載の撮像装置。
8. 前記被写体距離と前記リフォーカス制御範囲との関係を示す前記テーブルを記憶した記憶部を更に有することを特徴とする請求項７に記載の撮像装置。
9. 前記画像処理部は、
   前記ピント位置を変更しながら前記リフォーカス制御範囲を算出し、
   前記第１のピント位置および前記第２のピント位置が特定のピント位置におけるリフォーカス制御範囲に含まれる場合、該特定のピント位置を前記第３のピント位置として設定することを特徴とする請求項４乃至６のいずれか１項に記載の撮像装置。
10. 前記制御部は、前記ピント位置を変更しながら算出された前記リフォーカス制御範囲に基づいて、該ピント位置の移動方向および移動量を決定することを特徴とする請求項９に記載の撮像装置。
11. 前記画像処理部は、
    単視点画像に対する前記第１のピント位置および前記第２のピント位置でのコントラスト値を算出し、
    前記第１のピント位置および前記第２のピント位置での前記コントラスト値が所定の閾値以上である場合、前記特定のピント位置を前記第３のピント位置として設定することを特徴とする請求項４乃至６のいずれか１項に記載の撮像装置。
12. 前記画像処理部は、被写体の距離情報を取得する距離情報取得部を有し、該距離情報を用いて前記リフォーカス制御範囲を算出することを特徴とする請求項１乃至１１のいずれか１項に記載の撮像装置。
13. 前記距離情報取得部は、前記入力画像の視差情報を用いて前記距離情報を取得することを特徴とする請求項１２に記載の撮像装置。
14. 前記画像処理部は、撮影条件情報に応じて前記リフォーカス制御範囲を変更することを特徴とする請求項１乃至１３のいずれか１項に記載の撮像装置。
15. 前記画像処理部は、前記入力画像の画角領域に応じて前記リフォーカス制御範囲を変更することを特徴とする請求項１乃至１４のいずれか１項に記載の撮像装置。
16. 前記画像処理部は、再構成された前記出力画像の解像度に応じて前記リフォーカス制御範囲を変更することを特徴とする請求項１乃至１５のいずれか１項に記載の撮像装置。
17. 入力画像を再構成することによりピント位置の異なる複数の出力画像を生成可能な撮像装置の制御方法であって、
    結像光学系および複数の画素を備えた撮像素子を有する撮像装置を用いて、複数の視点から被写体空間の情報を取得した画像である前記入力画像を取得するステップと、
    リフォーカス制御範囲に関する情報を取得するステップと、
    前記リフォーカス制御範囲に関する情報に基づいて前記結像光学系を駆動することによりフォーカス制御を行うステップと、を有することを特徴とする撮像装置の制御方法。
18. 前記リフォーカス制御範囲に関する情報に基づいて、第１のピント位置および第２のピント位置が前記リフォーカス制御範囲に含まれるピント位置である第３のピント位置を取得するステップを更に有することを特徴とする請求項１７に記載の撮像装置の制御方法。
19. 入力画像を再構成することによりピント位置の異なる複数の出力画像を生成可能なプログラムであって、
    結像光学系および複数の画素を備えた撮像素子を有する撮像装置を用いて、複数の視点から被写体空間の情報を取得した画像である前記入力画像を取得するステップと、
    リフォーカス制御範囲に関する情報を取得するステップと、
    前記リフォーカス制御範囲に関する情報に基づいて前記結像光学系を駆動することによりフォーカス制御を行うステップと、をコンピュータに実行させることを特徴とするプログラム。
20. 請求項１９に記載のプログラムを格納していることを特徴とする記憶媒体。