JP2014007580A - 撮像装置およびその制御方法ならびにプログラム - Google Patents

Abstract

【課題】被写体検出機能において、様々なピント範囲にある被写体を、高速に検出可能にすること。
【解決手段】ピントを調節するフォーカシングレンズを含む光学系で結像した被写体の像を撮像して、リフォーカス画像を再構成可能な画像データを取得する撮像光学系と、フォーカシングレンズを駆動する駆動手段と、該画像データに基づいて、所定の被写体を検出する被写体検出手段と、該画像データから、リフォーカス範囲に含まれる任意の焦点距離にリフォーカス画像を再構成するリフォーカス画像生成手段とを備える撮像装置は、ピントの調整範囲の任意の位置でリフォーカス画像を再生可能とするための画像データを取得するためにフォーカシングレンズを駆動する位置を、リフォーカス範囲に基づいて決定し、決定された位置に従って駆動手段および撮像光学系を制御して画像データを取得し、当該画像データに基づいて所定の被写体を検出する。
【選択図】図９

Description

本発明は、デジタルカメラに代表される撮像装置に関し、特にリフォーカス機能と被写体検出機能を有する撮像装置およびその制御方法に関する。

従来、デジタルカメラなどの撮像装置には、被写体を検出する機能を有し、検出した被写体が存在する画像領域に、自動的にピントや露出を合わせることが可能なＡＦ、ＡＥ機能を備えたものがある。被写体を検出する機能としては、特に人物の顔を検出する機能が広く搭載されているが、被写界深度が浅く、顔がボケてしまっている場合には、ボケによって顔が検出できないという問題があった。これに対し、例えば特許文献１では、被写界深度に応じて、フォーカシングレンズを複数の位置に移動させ、各位置で顔検出を行っている。また特許文献２では、フォーカシングレンズを無限遠位置から至近位置方向に駆動し、この間においてコントラストのピーク値が得られた領域の画像が顔画像であるか否かを判断している。

一方、撮像素子の前面に複数画素に対し１つの割合で並ぶマイクロレンズアレイを配置することで、撮像素子に入射する光線の入射方向の情報をも得られるような構成の撮像装置が、非特許文献１などにおいて提案されている。このような撮像装置の用途としては、各画素からの出力信号をもとに通常の撮影画像を生成する以外に、撮影された画像に対して所定の画像処理を施すことで、任意の焦点距離に焦点を合わせた画像を再構築することなどがある。

特開２００９−６５３５６号公報 特開２００８−５８５５３号公報

Ren.Ng、他７名，「Light Field Photography with a Hand-Held Plenoptic Camera」，Stanford Tech Report CTSR 2005-02

しかしながら、上述の特許文献に開示された従来技術では、基本的にフォーカシングレンズを、無限遠位置から至近位置までスキャンさせる必要があるため、ＡＦ、ＡＥ動作に時間がかかってしまうという問題があった。

そこで、本発明の目的は、被写界深度が浅いような場合でも、より高速に、検出漏れなく、被写体を検出してＡＦ、ＡＥ動作を行なうことを可能にする撮像装置を提供することである。

上記目的を達成するために、本発明によれば、被写体の合焦状態を調節するためのフォーカシングレンズを含む光学系で結像した前記被写体の像を撮像して、リフォーカス画像を再構成可能な画像データを取得する撮像光学系と、フォーカシングレンズを駆動する駆動手段と、撮像光学系で取得された前記画像データに基づいて、所定の被写体を検出する被写体検出手段と、撮像光学系で取得された画像データから、リフォーカス範囲に含まれる任意の焦点距離にリフォーカス画像を再構成するリフォーカス画像生成手段とを備える撮像装置は、フォーカシングレンズの合焦状態の調整範囲の任意の位置で前記リフォーカス画像を再生可能とするための画像データを取得するためにフォーカシングレンズを駆動する位置を、リフォーカス範囲に基づいて決定する位置決定手段と、位置決定手段で決定された位置に従って駆動手段および撮像光学系を制御して画像データを取得する制御手段とを備え、被写体検出手段は、制御手段が駆動手段および撮像光学系を制御して取得した画像データに基づいて、所定の被写体を検出する。

本発明によれば、様々なピント範囲にある被写体を高速に検出して撮影することが可能な被写体検出機能およびＡＦ、ＡＥ機能を有する撮像装置を提供することができる。

本発明の実施形態に係る撮像装置の全体ブロック図である。 本発明の実施形態に係る撮像装置が備える撮像素子とマイクロレンズアレイの構成を示す図である。 本発明の実施形態に係る撮像装置における撮影レンズ、マイクロレンズアレイおよび撮像素子よりなる撮像光学系の構成を示す図である。 本発明の実施形態に係る撮像装置の撮影レンズの瞳領域と受光画素との対応関係を示す図である。 本発明の実施形態に係る撮像装置における撮影光学系において、リフォーカス画像生成に係わる光線が通過する領域を概念的に示す図である。 本発明の第１の実施例に係る撮像装置の動作のフローチャートを示す図である。 本発明の第１の実施例に係る撮像装置の最大リフォーカス量を説明する図である。 本発明の第１の実施例に係る被写体検出におけるフォーカシングレンズの停止位置とリフォーカス範囲との関係を説明するための図である。 本発明の第１の実施例に係わる被写体検出において複数の被写体が検出された際のレンズ駆動位置の設定例を示す図である。 本発明の第１の実施例の変形例に係るフォーカシングレンズの停止位置とリフォーカス範囲との関係を説明するための図である。

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。

第１の実施例
図１は、本発明の実施形態に係る撮像装置としてのデジタルカメラのブロック図である。
同図において、１０１は撮影レンズであり、不図示ではあるが、複数枚のレンズから構成される光学系である。この複数枚のレンズの中に、可動なフォーカシングレンズを含み、フォーカシングレンズを駆動することにより、被写体に対する合焦状態の調節を可能としている。１０２はマイクロレンズアレイ（以下、ＭＬＡと記す）であり、複数のマイクロレンズから構成され、撮影レンズ１０１の焦点位置近傍に配置される。撮影レンズ１０１の異なる瞳領域を通過した光は、ＭＬＡ１０２に入射し、瞳領域毎に分離して出射される。１０３は撮像素子であり、ＣＣＤやＣＭＯＳイメージセンサーなどで構成され、ＭＬＡ１０２の焦点位置近傍に配置される。ＭＬＡ１０２と撮像素子１０３の詳細については後述する。１０４はＡＤコンバーターであり、撮像素子１０３から出力される画像信号をＡＤ変換してデジタルデータにし、１０５の画像処理部で、そのデジタルデータに所定の画像処理などを施し、被写体のデジタル画像データを得る。１０６は撮影制御部であり、画像処理部１０５で得られたデジタル画像データを、液晶ディスプレイなどで構成される表示部１０７へ表示し、また記録部１０８への保存などの制御を行う。撮影制御部２０６は、そのＣＰＵが図示しないメモリに記憶されているプログラムをロードして実行することにより各部の制御を行う。この場合、各部の機能の全部又は一部をＣＰＵが行ってもよいし、ハードウェアで構成してもよい。

被写体検出部１０９は、画像処理部２０５で得られたデジタル画像データを撮影制御部１０６から受け取り、画像内に存在する所定の被写体の画面内の位置と、大きさを検出する。本実施例では、被写体検出部１０９は所定の被写体として人物の顔を検出する機能を有し、その画面内における位置と大きさを検出するものとする。また、特定の人物の顔の特徴データを予め登録しておき、検出した顔を登録データと照合することで、個人認識が可能であるとする。この認識機能により、検出された特定の人物の顔に対して優先順位を付けることが可能となる。

操作部１１０は、ボタンやタッチパネルなどといった、ユーザーからの操作を受け付ける部分であり、受け付けた操作に応じて、合焦動作の開始や、記録部１０８に保存されたデジタル画像データの消去など、各種の動作を行う。また、撮影レンズ１０１は撮影制御部１０６と電気的、機械的に接続され、撮影レンズの情報を通信により取得できるほか、合焦動作の際はフォーカシングレンズの駆動命令などを送ることができる。

次に、本実施例に係わる撮像装置における、撮影レンズ１０１とＭＬＡ１０２、撮像素子１０３の構成を説明する。

図２は、撮像素子１０３とＭＬＡ１０２の構成を説明する図である。同図は撮像素子１０３およびＭＬＡ１０２を、撮影レンズからの光軸に平行なｚ方向から見た図である。撮影画像の仮想的な画素２００を構成する複数の単位画素２０１（光電変換素子）に対して１つのマイクロレンズ２０２が対応するように配置されている。マイクロレンズ２０２は、ＭＬＡ１０２を構成するものの中の一つである。本実施例では、１つのマイクロレンズに対応する単位画素２０１が６行６列の計３６個あるものとして記載した。なお、同図に付記している座標軸は、光軸方向をｚ軸で示し、ｚ軸に対して垂直な面を撮像面と平行な面とし、当該撮像面内においてｘ軸(水平方向)と、ｙ軸（垂直方向）を定義している。なお、図２は撮像素子１０３の受光面の一部を示し、実際の撮像素子には非常に多くの画素が配列されている。

図３は、撮影レンズ１０１から出射された光束がＭＬＡ１０２の１つのマイクロレンズ２０２を通過して撮像素子１０３で受光される様子を、光軸ｚに対して垂直な方向から見た図である。撮影レンズ１０１の各瞳領域ａ_１〜ａ_６から出射され、マイクロレンズ２０２を通過した光は、撮像素子１０３の対応する単位画素ｐ_１〜ｐ_６でそれぞれ結像する。

図４（ａ）は撮影レンズ１０１の開口を光軸（ｚ軸）方向から見た図である。図４（ｂ）は１つのマイクロレンズ２０２とその後方に配置された単位画素２０１を光軸（ｚ軸）方向から見た図である。図４（ａ）に示すように、撮影レンズ１０１の瞳領域を１つのマイクロレンズ下にある画素と同数の領域に分割した場合、１つの画素には撮影レンズ１０１の１つの瞳分割領域からの光が結像されることになる。ただし、ここでは撮影レンズとマイクロレンズのＦナンバーがほぼ一致しているものとする。図４（ａ）に示す撮影レンズの瞳分割領域をａ_１１〜ａ_６６、図４（ｂ）に示す画素をｐ_１１〜ｐ_６６としたとき、両者の対応関係は光軸（ｚ軸）方向から見て点対称となる。したがって、撮影レンズの瞳分割領域ａ_１１から出射した光はマイクロレンズ後方にある画素２０１のうち、画素ｐ_１１に結像する。これと同様に、瞳分割領域ａ_１１から出射し、別のマイクロレンズを通過する光も、そのマイクロレンズ後方にある画素２０１の中の画素ｐ_１１に結像する。

次に、撮影レンズ１０１、ＭＬＡ１０２、撮像素子１０３からなる撮像光学系を使用して取得したデジタル画像データを、任意に設定した焦点位置（リフォーカス面）での画像に再構成する処理を説明する（リフォーカス画像生成手段）。再構成は、画像処理部１０５において、「Ｌｉｇｈｔ Ｆｉｅｌｄ Ｐｈｏｔｏｇｒａｐｈｙ」と呼ばれる手法を用いて行う。

図５は、任意に設定したリフォーカス面上のある画素を通過する光束が、撮影レンズのどの瞳分割領域から出射され、どのマイクロレンズへ入射するかを、光軸（ｚ軸）に対し垂直な方向から見た図である。図のように、撮影レンズの瞳分割領域の位置の座標を（ｕ，ｖ）、リフォーカス面上の画素位置の座標を（ｘ，ｙ）、マイクロレンズアレイ上のマイクロレンズの位置の座標を（ｘ’，ｙ’）とする。また、撮影レンズからマイクロレンズアレイまでの距離をＦ、撮影レンズからリフォーカス面までの距離をαＦとする。ここで、αはリフォーカス面の位置を決定するためのリフォーカス係数であり、ユーザーが任意に設定することが可能である。なお、図６ではｕ、ｘ、ｘ’の方向のみを示し、ｖ、ｙ、ｙ’については省略してある。

図５に示すように、座標（ｕ，ｖ）と座標（ｘ，ｙ）を通過した光束５００は、マイクロレンズアレイ上の座標（ｘ’，ｙ’）に到達する。この座標（ｘ’，ｙ’）は式１のように表すことができる。

そして、この光束５００が受光される画素の出力をＬ（ｘ’，ｙ’，ｕ，ｖ）とすると、リフォーカス面上の座標（ｘ，ｙ）で得られる出力Ｅ（ｘ，ｙ）は、Ｌ（ｘ’，ｙ’，ｕ，ｖ）を撮影レンズの瞳領域に関して積分したものとなるため、式２のように表される。

式２において、リフォーカス係数αはユーザーによって決定されるため、（ｘ，ｙ）、（ｕ，ｖ）を与えれば、光束５００の入射するマイクロレンズの位置（ｘ’，ｙ’）がわかる。そして、そのマイクロレンズに対応する複数画素から（ｕ，ｖ）の位置に対応する画素がわかり、この画素の出力がＬ（ｘ’，ｙ’，ｕ，ｖ）となる。これをすべての瞳分割領域について行い、求めた画素出力を合計（積分）することでＥ（ｘ，ｙ）が算出できる。

なお、（ｕ，ｖ）を撮影レンズの瞳分割領域の代表座標とすれば、式２の積分は、単純加算により計算することができる。

以上のようにして、式２の演算処理を行うことで、任意の焦点位置（リフォーカス面）における画像を再構築することができる。

次に、本実施例に係わる撮像装置の動作を図６に示すフローチャートを参照して説明する。なお、本動作は、上述したように撮影制御部１０６のＣＰＵがプログラムを実行して各部を制御することによって行われる。

ステップＳ６０１でスタートしたら、ステップＳ６０２でＳ１がＯＮになるのを待つ。Ｓ１とは、操作部１１０に含まれる、不図示のスイッチであり、ＯＮされることにより、測光やオートフォーカスなどの撮影前の準備動作を開始するものである。実際には半押し状態と全押し状態の二段階を検出する、二段押し込み式の押しボタンスイッチであり、半押しされた状態をＳ１がＯＮした状態、全押しされた状態をＳ２がＯＮした状態と記すことにする。デジタルカメラなどの撮像装置においては、Ｓ１がＯＮで撮影準備動作を行うのに対し、Ｓ２がＯＮでは実際の撮影（露光）動作が行われるのが一般的である。

Ｓ１がＯＮされると、ステップＳ６０３でリフォーカス可能な範囲を算出する。リフォーカス可能な範囲は、図７に示すように、角度分解能Δθ、角度分割数Ｎ_θ、画素ピッチΔｘとすると、最大リフォーカス量ｄ_ｍａｘは、次の式３で計算される。

これから、デフォーカスが−ｄ_ｍａｘ〜＋ｄ_ｍａｘの範囲でリフォーカス画像を生成可能であることがわかる。

しかし、撮像装置の設計にもよるが、このリフォーカス範囲は、撮影レンズ１０１がカバーする、至近から無限までの全ピント領域（合焦状態の調整範囲）ほど広くはないことが一般的である。図８は、本実施例に係わるリフォーカス範囲と撮影レンズのカバーする至近から無限までの全ピント領域との関係を模式的に示す。同図では、リフォーカス可能な±ｄ_ｍａｘの範囲を太字の矢印で示している。４つの太字の矢印により、撮影レンズのカバーする至近から無限までの全ピント領域を網羅している。つまり、フォーカシングレンズをＰ１，Ｐ２，Ｐ３，Ｐ４の４ポイントで（リフォーカス範囲の間隔で）停止して被写体の画像データを取得する。そうすれば、取得したそれぞれの画像データからリフォーカス画像を再構成することにより、至近から無限に至るすべての距離にピントの合った画像データを生成することが可能となる。このように、レンズの持つ至近−無限の範囲の情報と、リフォーカス範囲の算出結果から、すべてのピント領域をカバーするのに必要なフォーカシングレンズの停止ポイント(駆動位置)を決定するのがステップＳ６０３である（位置決定手段）。

そしてステップＳ６０３で決定したフォーカシングレンズの停止ポイントにレンズを駆動し、リフォーカス画像を再構成可能な被写体の画像データを取得して、取得した画像データ内の人物の顔を検出するのがステップＳ６０４である。顔検知は被写体検出部１０９で行い、ステップＳ６０３で取得した画像データに加え、それぞれの画像データから再構成されたリフォーカス画像も複数枚入力することにより、全ての被写体距離にある顔を検出することが可能となる。

ステップＳ６０５は、ステップＳ６０４において顔が検出されたかどうかを判定するステップである。顔が検出された場合はステップＳ６０６に進み、顔が検出された画像のピント位置や、検出された画像内の位置、および大きさを不図示のメモリにそれぞれ記憶し、ステップＳ６０７へ進む。顔が検出されなかった場合は、ステップＳ６０９に進む。

ステップＳ６０７は、検出された顔に応じて、最適なフォーカシングレンズの位置を決定するステップである。仮に検出された顔が１つであれば、その顔がリフォーカス範囲に入るような位置にフォーカシングレンズを駆動して画像データを取得すれば、取得した画像データから顔にピントの合った画像をリフォーカス処理により再構成できる。

しかし、検出した顔が複数の場合は、さまざまな処理が考えられる。例えば、図９（ａ）に示すように、被写体である人物Ａ、Ｂ、Ｃがそれぞれ異なる被写体距離に存在している場合を考える。これらの被写体の情報は、ステップ６０６で被写体検出情報として記憶されているので、それから人物Ａが最も近くに存在し、検出した顔の大きさも最も大きく、人物Ｂ、人物Ｃの順で顔のサイズは小さくなり、距離は遠くなる。この状態の被写体距離をレンズ駆動範囲内で図示した場合、図９（ｂ）に示すような異なるピント位置に３人が存在していたとする。この場合、１枚の撮影画像だけを取得、保存し、後処理で人物Ａ、Ｂ、Ｃそれぞれにピントが合うようにリフォーカス処理を行うことが可能であれば、それが最も望ましい。しかし、図９（ｂ）に示すように、人物Ａ、Ｂ、Ｃが３人とも一つのリフォーカス範囲に入るようなフォーカシングレンズの位置は存在しない（一つの太い矢印でＡ、Ｂ、Ｃの全員をカバーできない）こともある。そこで、例えば最も距離が近く、かつ大きな顔として検出された人物Ａの顔を優先する方法をとる。この場合は、図９（ｃ）のようにフォーカシングレンズをＰ４の位置に駆動すれば人物Ｂもリフォーカス範囲に収めることができることが分かる。このリフォーカス範囲の設定で画像データを取得すれば、後処理で人物Ａ、Ｂにピントの合った画像を取得した画像データから再構成できる。一方、例えば人物Ｃの顔が、カメラ内部に登録された人物の顔だった場合は、人物Ｃを優先する方法をとる。この時、図９（ｄ）に示すようにＰ５の位置をフォーカシングレンズの停止位置とすれば、人物Ｃに加え人物Ｂもリフォーカス範囲に収めることができ、後処理で人物Ｂ、Ｃにピントの合った画像を再構成できる。このように検出された顔の距離と優先度、およびリフォーカス範囲に応じて、できるだけ多く（最大限の数）の顔がリフォーカス範囲に入るようなフォーカシングレンズの駆動位置を求めるのがステップＳ６０７である。なお、人物Ａ、Ｂ、Ｃの全員に対してピントの合った画像を取得できるよう、Ｐ４とＰ５の両方のフォーカシングレンズ位置で撮影するようにしてもよい。ステップＳ６０７で撮影時のフォーカシングレンズ位置を決定したら、ステップＳ６０８でその位置にフォーカシングレンズを実際に駆動する。

一方、ステップＳ６０５で顔が見つからなかった場合は、ステップＳ６０９で、顔なしの場合の測距アルゴリズムでフォーカシングレンズの位置を決定する。例えば画面を３×３の９エリアに分割して各エリアを測距し、得られた測距情報に基づいて最も近い測距結果のエリアにピントが合うフォーカシングレンズ位置を計算する。ここでは画面を９分割した上で至近側を優先した測距エリア選択の考え方の例を挙げたが、測距するポイント数や、至近側優先の考え方などは一例であり、この限りではない。

ステップＳ６０８で所定の位置にフォーカシングレンズを駆動したら、ステップＳ６１０でＳ２がＯＮされるのを待つ。Ｓ１がＯＮされてから所定時間内にＳ２がＯＮされれば、ステップＳ６１１で露光動作が行われ、シーケンスを終了する。所定時間内にＳ２がＯＮされなかった場合や、Ｓ１がＯＦＦされた場合は、ステップＳ６０２へ戻る。

第１の実施例の変形例
第１の実施例のステップ６０３で決定されるフォーカッシングレンズの停止ポイントの数を削減することを考える。撮像装置の動作のフローチャートは第１の実施例と同様であり、ステップ６０３でのフォーカッシングレンズの停止位置の決定に被写界深度を考慮する点が第１の実施例と異なる。以下、この相違点について説明し、他の同様の部分についての説明は省略する。

一般に顔検知機能は、顔に完全に合焦しておらず、ある程度ボケた顔の画像でも検出することが可能である。そこで、例えば画像取得時の被写界深度を計算し、深度内にある顔であれば検出可能になることを考えると、図１０のように、フォーカシングレンズの停止ポイント数の削減が可能となる。すなわち、図１０に示す細線の矢印が被写界深度を表すとすると、太線で示したリフォーカス範囲に加え、その両端において深度の分だけ顔検出できる範囲が広がり、例えばフォーカシングレンズの停止位置をＰ１′、Ｐ２′、Ｐ３′の３点にすることができる。なお、被写界深度は、前方被写界深度ＤＯＦ_Ｎと後方被写界深度ＤＯＦ_Ｆに分けられ、許容錯乱円形δ、絞り値Ｆ、被写体距離ａ、焦点距離ｆとすると、それぞれ、
で表される。

上述した変形例によれば、被写体検出に必要なフォーカスシングレンズの停止ポイントの数を第１の実施例の場合に比べて削減することが可能となり、被写体検出に要する時間をさらに短縮することが可能となる。停止ポイントを決定した後は、第１の実施例と同様の撮影動作を行なう。

以上、説明したように、本発明によれば、様々なピント範囲にある被写体を高速に検出して撮影することが可能な被写体検出機能およびＡＦ、ＡＥ機能を有する撮像装置を提供することができる。

図６に示した各処理は、上述のように各処理の機能を実現する為のプログラムを不図示のメモリから読み出して撮影制御部のＣＰＵなどが実行することによりその機能を実現させるものである。

しかし、本発明は上述した構成に限定されるものではなく、図６に示した各処理の全部または一部の機能を専用のハードウェアにより実現してもよい。また、上述したメモリは、コンピュータ読み取り、書き込み可能な記録媒体より構成されてもよい。例えば、光磁気ディスク装置、フラッシュメモリ等の不揮発性のメモリや、ＣＤ−ＲＯＭ等の読み出しのみが可能な記録媒体、ＲＡＭ以外の揮発性のメモリ、あるいはこれらの組合せにより構成された記録媒体である。

また、図６に示した各処理の機能を実現する為のプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各処理を行っても良い。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。具体的には、記憶媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた場合も含む。この場合、書き込まれた後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される。

また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発メモリ（ＲＡＭ）も含む。このように、一定時間プログラムを保持しているものも「コンピュータ読み取り可能な記録媒体」に含むものとする。

また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。

また、上記プログラムは、前述した機能の一部を実現する為のものであっても良い。さらに、前述した機能をコンピュータシステムに既に記録されているプログラムとの組合せで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。

また、上記のプログラムを記録したコンピュータ読み取り可能な記録媒体等のプログラムプロダクトも本発明の実施形態として適用することができる。上記のプログラム、記録媒体、伝送媒体およびプログラムプロダクトは、本発明の範疇に含まれる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

Claims (15)

1. 被写体の合焦状態を調節するためのフォーカシングレンズを含む光学系で結像した前記被写体の像を撮像して、リフォーカス画像を再構成可能な画像データを取得する撮像光学系と、前記フォーカシングレンズを駆動する駆動手段と、前記撮像光学系で取得された前記画像データに基づいて、所定の被写体を検出する被写体検出手段と、前記撮像光学系で取得された画像データから、リフォーカス範囲に含まれる任意の焦点距離にリフォーカス画像を再構成するリフォーカス画像生成手段とを備える撮像装置において、
   前記フォーカシングレンズの合焦状態の調整範囲の任意の位置で前記リフォーカス画像を再構成可能とするための画像データを取得するために前記フォーカシングレンズを駆動する位置を、前記リフォーカス範囲に基づいて決定する位置決定手段と、
   前記位置決定手段で決定された位置に従って前記駆動手段および前記撮像光学系を制御して画像データを取得する制御手段
   とを備え、
   前記被写体検出手段は、前記制御手段が前記駆動手段および撮像光学系を制御して取得した前記画像データに基づいて、前記所定の被写体を検出することを特徴とする撮像装置。
2. 前記位置決定手段は、前記合焦状態の調整範囲を前記リフォーカス範囲の間隔で前記フォーカシングレンズを駆動したときの駆動位置として決定し、この場合、各駆動位置に対応するリフォーカス範囲は重ならず、かつ前記調整範囲を網羅することを特徴とする請求項１に記載の撮像装置。
3. 前記位置決定手段は、前記合焦状態の調整範囲を、前記リフォーカス範囲の両端をそれぞれ被写界深度の分だけ広げた範囲の間隔で前記フォーカシングレンズを駆動したときの駆動位置として決定し、この場合、各駆動位置に対応する前記広げられたリフォーカス範囲は互いに重ならず、かつ前記調整範囲を網羅することを特徴とする請求項１に記載の撮像装置。
4. 前記被写体検出手段は、前記制御手段による前記駆動手段および前記撮像光学系の制御によって取得された前記画像データおよび当該画像データからリフォーカス画像生成手段によって再構成されたリフォーカス画像それぞれから前記所定の被写体を検出すること特徴とする請求項１乃至３のいずれか一項に記載の撮像装置。
5. 前記制御手段は、前記リフォーカス範囲および前記検出された所定の被写体に基づいて、前記検出された所定の被写体を撮像するための前記フォーカシングレンズの駆動位置を決定し、当該検出された所定の被写体を撮像するための前記フォーカシングレンズの駆動位置に従って、前記駆動手段および前記撮像光学系を制御することを特徴とする請求項１乃至４のいずれか一項に記載の撮像装置。
6. 前記制御手段は、前記被写体検出手段が異なる位置の複数の被写体を検出した場合は、前記検出された複数の被写体の位置を又は最大限の数の被写体の位置を含むリフォーカス範囲を与えるフォーカシングレンズの駆動位置を、前記検出された所定の被写体を撮像するための前記フォーカシングレンズの駆動位置として決定することを特徴とする請求項５に記載の撮像装置。
7. 前記制御手段は、前記検出された複数の被写体の最大限の数の被写体の位置を含むリフォーカス範囲を与えるフォーカシングレンズの駆動位置を、前記検出された所定の被写体を撮像するための前記フォーカシングレンズの駆動位置として決定したときは、当該リフォーカス範囲に含まれない所定の被写体の画像を、前記リフォーカス画像生成手段を制御してリフォーカス画像として再構成することを特徴とする請求項６に記載の撮像装置。
8. 前記被写体検出手段は、前記所定の被写体として人物の顔を検出することを特徴とする請求項１乃至７のいずれか一項に記載の撮像装置。
9. 前記被写体検出手段は、前記人物の距離およびその顔のサイズを検出し、前記制御手段は、検出された距離および顔のサイズに基づいて前記検出された所定の被写体を撮像するための前記フォーカシングレンズの駆動位置を決定することを特徴とする請求項８に記載の撮像装置。
10. 前記制御手段は、前記被写体検出手段が前記所定の被写体を検出しなかったときは、前記がフォーカシングレンズの合焦状態の調整で得られる測距情報に基づいて前記フォーカシングレンズの駆動位置を決定することを特徴とする請求項１乃至９のいずれか一項に記載の撮像装置。
11. 被写体の合焦状態を調節するためのフォーカシングレンズを含む光学系で結像した前記被写体の像を撮像して、リフォーカス画像を再構成可能な画像データを取得する撮像光学系と、前記フォーカシングレンズを駆動する駆動手段と、前記撮像光学系で取得された画像データに基づいて、所定の被写体を検出する被写体検出手段と、前記撮像光学系で取得された画像データから、リフォーカス範囲に含まれる任意の焦点距離にリフォーカス画像を再構成するリフォーカス画像生成手段とを備える撮像装置の制御方法において、
    前記フォーカシングレンズの合焦状態の調整範囲の任意の位置で前記リフォーカス画像を再構成可能とするための画像データを取得するために前記フォーカシングレンズを駆動する位置を、前記リフォーカス範囲に基づいて決定する位置決定ステップと、
    前記位置決定ステップで決定された位置に従って前記駆動手段および前記撮像光学系を制御して画像データを取得する制御ステップとを備え、
    前記被写体検出手段は、前記制御ステップにおいて前記駆動手段および撮像光学系を制御して取得した前記画像データに基づいて、前記所定の被写体を検出することを特徴とする制御方法。
12. 被写体の合焦状態を調節するためのフォーカシングレンズを含む光学系で結像した前記被写体の像を撮像して、リフォーカス画像を再構成可能な画像データを取得する撮像光学系と、前記フォーカシングレンズを駆動する駆動手段と、前記撮像光学系で取得された画像データに基づいて、所定の被写体を検出する被写体検出手段、前記撮像光学系で取得された画像データから、リフォーカス範囲に含まれる任意の焦点距離にリフォーカス画像を再構成するリフォーカス画像生成手段とを備える撮像装置を制御するプログラムにおいて、
    コンピュータを、
    前記フォーカシングレンズの合焦状態の調整範囲の任意の位置で前記リフォーカス画像を再構成可能とするための画像データを取得するために前記フォーカシングレンズを駆動する位置を、前記リフォーカス範囲に基づいて決定する位置決定手段、
    前記位置決定手段で決定された位置に従って前記駆動手段および前記撮像光学系を制御して画像データを取得する制御手段、
    前記制御手段により前記駆動手段および撮像光学系を制御して取得された画像データに基づいて、前記所定の被写体を検出する前記被写体検出手段として機能させることを特徴とするプログラム。
13. 請求項１２のプログラムを記録したコンピュータが読み取り可能な記録媒体。
14. コンピュータを、請求項１乃至１０のいずれか一項に記載された撮像装置の各手段として機能させるプログラム。
15. コンピュータを、請求項１乃至１０のいずれか一項に記載された撮像装置の各手段として機能させるプログラムを格納した記憶媒体。