JP2016072968A - 撮像装置及び撮像方法 - Google Patents

Abstract

【課題】映像用の撮像素子からの出力とは別の情報に基づいて、当該映像用の撮像素子から得られるデータにおいて被写体がリフォーカス可能な位置に存在するかどうかの判定を可能にする撮像装置及び撮像方法を提供する。
【解決手段】撮像装置は、異なる瞳領域を通過した被写体からの光束をそれぞれ受光する複数の光電変換部を有する撮像手段と、前記被写体からの光を検出して前記被写体の距離に関する距離情報を生成する距離情報生成手段と、前記距離情報と前記複数の光電変換部の瞳分割構成に基づいて、前記被写体が撮像後の処理でリフォーカス可能な距離範囲にあるかどうかを判定する判定手段と、前記判定手段による判定の結果に従って、前記撮像手段による前記被写体の撮像を制御する制御手段とを備える。
【選択図】図２

Description

本発明は、撮像装置及び撮像方法に関する。

従来、一眼レフカメラにおいて、レンズを通った光をミラーを使って反射させてＡＦセンサに導いてオートフォーカスを行い、次いでミラーを動作させて撮像センサに光を導いて被写体像を撮像するレフレックス構造が多く採用されている。

一方、仮想的に焦点面を移動させること（リフォーカス）が可能な画像データを生成するライトフィールドカメラ（以下、「ＬＦカメラ」という）がある（非特許文献１参照）。

また、物体までの距離を計測する方法として、光パルスを物体に照射した後、その物体からの反射光が撮像素子により受光されるまでの時間を測定して距離を算出するＴＯＦ法（Ｔｉｍｅ−ｏｆ−Ｆｌｉｇｈｔ法）がある（特許文献１参照）。

また特許文献２によれば、映像用撮像素子の出力から得られる像ずれ量に対して変数係数を乗じることで被写体像のピントずれ量（デフォーカス量）を算出することが可能である。

Ren Ng、他５名，「Light Field Photography with a Hand-Held Plenoptic Camera」，Stanford Tech Report CTSR 2005-02

特開平７−１１０３８１号公報 特開２０１３−１７１２５７号公報

上記非特許文献１の方法では、カメラがレフレックス構造である場合に映像用の撮像素子に光を入射させるためには、ミラーアップの挙動が必要となり、判定結果を得るまでには、ミラーアップの余分な時間がかかってしまう。また、ＬＦカメラからの出力に基づいて被写体がリフォーカス可能な位置に存在しているかどうかの判定を行うのは、データ量が多く、処理コストが大きい。

そこで本発明の目的は、映像用の撮像素子からの出力とは別の情報に基づいて、当該映像用の撮像素子から得られるデータにおいて被写体がリフォーカス可能な位置に存在するかどうかの判定を可能にする撮像装置及び撮像方法を提供することである。

本発明の一観点によれば、異なる瞳領域を通過した被写体からの光束をそれぞれ受光する複数の光電変換部を有する撮像手段と、前記被写体からの光を検出して前記被写体の距離に関する距離情報を生成する距離情報生成手段と、前記距離情報と前記複数の光電変換部の瞳分割構成に基づいて、前記被写体が撮像後の処理でリフォーカス可能な距離範囲にあるかどうかを判定する判定手段と、前記判定手段による判定の結果に従って、前記撮像手段による前記被写体の撮像を制御する制御手段とを備えることを特徴とする撮像装置が提供される。

本発明の他の観点によれば、共通光学系の異なる瞳領域からの光束を受光する複数の光電変換部を有する第１の撮像素子と、複数のマイクロレンズと、各マイクロレンズに対応し、前記共通光学系の異なる瞳領域からの光束を受光する複数の光電変換部と、を有する第２の撮像素子と、前記第１の撮像素子からの信号に基づいて、前記第２の撮像素子で当該被写体が撮像される場合に被写体がリフォーカス可能な範囲にあるか否かを判定する判定手段と、前記判定手段による判定の結果に従って、前記第２の撮像素子による撮像を制御する制御手段とを備えることを特徴とする撮像装置が提供される。

本発明のさらに他の観点によれば、赤外光を照射する赤外光照射手段と、赤外光を受光して受光情報を出力する赤外光受光手段と、複数のマイクロレンズと、各マイクロレンズに対応し、光学系の異なる瞳領域からの光束を受光する複数の光電変換部と、を有する第２の撮像素子と、前記受光情報に基づいて被写体の距離情報を生成し、当該距離情報に基づいて前記第２の撮像素子で当該被写体が撮像される場合に被写体がリフォーカス可能な範囲にあるか否かを判定する判定手段と、前記判定手段による判定の結果に従って、前記第２の撮像素子による撮像を制御する制御手段とを備えることを特徴とする撮像装置が提供される。

本発明のさらに他の観点によれば、異なる瞳領域を通過した被写体からの光束をそれぞれ受光する複数の光電変換部を有する撮像手段を有する撮像装置を用いる撮像方法であって、前記被写体からの光を検出して前記被写体の距離に関する距離情報を生成する工程と、前記距離情報と前記複数の光電変換部の瞳分割構成に基づいて、前記被写体が撮像後の処理でリフォーカス可能な距離範囲にあるかどうかを判定する工程と、前記判定工程での判定の結果に従って、前記撮像手段による前記被写体の撮像を制御する工程とを備えることを特徴とする撮像方法が提供される。

本発明の第１実施形態に係る撮像装置のブロック図である。 本発明の第１実施形態に係る撮像装置の撮像動作のフローチャートを示す図である。 従来の撮像装置による撮影におけるフォーカスレンズの焦点と被写体の位置関係の推移の例を示す図である。 本発明の第１実施形態に係る撮像装置による撮影におけるフォーカスレンズの焦点と被写体の位置関係の推移の例を示す図である。 ＬＦカメラの有する撮像素子の単位画素セルの例を示す図である。 ＬＦカメラにより取得される視差の異なる画像及びリフォーカス画像の例を示す図である。 本発明の第１実施形態に係る撮像装置におけるデフォーカス量の算出方法を説明するための図（その１）である。 本発明の第１実施形態に係る撮像装置におけるデフォーカス量の算出方法を説明するための図（その２）である。 本発明の第１実施形態に係る撮像装置におけるデフォーカス量の算出方法を説明するための図（その３）である。 本発明の第２実施形態に係る撮像装置のブロック図である。 本発明の第２実施形態に係る撮像装置の撮像動作のフローチャートを示す図である。 本発明の第２実施形態に係る撮像装置における赤外光を利用した距離算出を説明するための図（その１）である。 本発明の第２実施形態に係る撮像装置における赤外光を利用した距離算出を説明するための図（その２）である。 本発明の第３実施形態に係る撮像装置のブロック図である。 本発明の第４実施形態に係る撮像装置のブロック図である。 本発明の第４実施形態に係る撮像装置における静止画用撮像素子及び動画用撮像素子の詳細を示す図である。 本発明の第４実施形態に係る撮像装置における信号処理部を示すブロック図である。 リフォーカス可能なカメラにおける、最大リフォーカス量の算出を説明するための図である。

ＬＦカメラでは、被写体がリフォーカス可能な位置に存在するかどうかの判定、つまり映像用の撮像素子における像ずれ量に関する判定は、最大リフォーカス量の算出結果に基づいて行うことが可能である。

最大リフォーカス量の算出について図１４を用いて説明する。図１４は最大リフォーカス量の算出を説明するための図である。図１４には、マイクロレンズ１４０１、撮像素子の画素１４０２が示されており、マイクロレンズ１４０１を通して画素１４０２に至る実線が被写体から撮像素子に入射する光を示している。角度分解能Δθ、角度分割数Ｎθ、画素ピッチΔｘとすると、最大リフォーカス量ｄｍａｘは次の式（１）で計算される。
ｄｍａｘ＝Ｎθ・Δｘ／ｔａｎ（Δθ） （１）

つまりリフォーカス可能な画像データが得られる撮影をした時のフォーカスした距離（合焦位置）を中心として光軸方向の前後それぞれにおいて距離ｄｍａｘの範囲内に存在する被写体はリフォーカスが可能であると判定できる。つまり映像用撮像素子の出力から得られる被写体の撮像信号の像ずれ量を算出できる。

以下、本発明の実施の形態を添付の図面を参照して詳細に説明する。

［第１実施形態］
本発明の第１実施形態を図１〜図６Ｃを用いて説明する。

図１は、本実施形態に係る撮像装置１００の要部の構成を示すブロック図であり、本実施形態に直接係わりがない構成部分は省略してある。図１において、外部から入射される光（入射光）１０１が示されている。フォーカスレンズを含むレンズ群１０２は、被写体の光学像を形成する撮影光学系を構成する。レンズ群１０２の光軸上に進退可能に設けられたミラー１０３は、光軸上に位置するときに、レンズ群１０２を通過した被写体からの光の光路を変更する。

映像用撮像素子１０４は、フォーカスレンズを含むレンズ群１０２で形成された被写体の光学像を撮像するものである。映像用撮像素子１０４は、図１４に示すように、複数のマイクロレンズ１４０１を含むマイクロレンズ１４０１の配列と、複数の画素１４０２を含む画素配列を有している。映像用撮像素子１０４では、同一のマイクロレンズ１４０１を所定数の画素（分割画素）１４０２が共有している。すなわち、複数のマイクロレンズ１４０１の各々に対応して、所定数の画素１４０２が配列されている。複数の画素１４０２は、それぞれ光電変換部（光電変換素子）を有している。映像用撮像素子１０４における複数の画素１４０２の光電変換部は、共通光学系の異なる瞳領域を通過した被写体からの光束を受光するように構成されている。こうして、映像用撮像素子１０４は、マイクロレンズ１４０１と所定数の画素１４０２とにより形成される、リフォーカス可能な画像データの生成を可能にする瞳分割構成を有する。

焦点検出用撮像素子１０５は、映像用撮像素子１０４と同様の瞳分割構成を有し、その複数の画素は、それぞれ光電変換部（光電変換素子）を有する。焦点検出用撮像素子１０５における複数の画素の光電変換部は、共通光学系の異なる瞳領域からの光束を受光するように構成されている。なお、焦点検出用撮像素子１０５の画素ピッチと映像用撮像素子１０４の画素ピッチとは、互いに同一であっても異なっていてもよいが、通常、映像用撮像素子１０４の画素ピッチの方が狭い。なお、焦点検出用撮像素子１０５は必ずしも映像用撮像素子１０４と同一である必要はなく、瞳分割構成を取った撮像素子であれば良い。例えばＡＦセンサであって自然画の撮像を主目的とするものでなくても良い。光路変更手段であるミラー１０３が光軸上まで下りているときは、入射光１０１は焦点検出用撮像素子１０５に導かれ、ミラー１０３が上がっているときには、入射光１０１は映像用撮像素子１０４に導かれる。焦点検出用撮像素子１０５は、被写体からの光を検出し、光学系を通る一対の焦点検出光束が形成する一対の像を撮像して一対の像信号を生成する。また、本実施形態では、焦点検出用撮像素子１０５からの信号は焦点調節に用いることを主目的としている。すなわち、本実施形態による撮像装置は、焦点検出用撮像素子１０５からの信号に基づき焦点検出を行う焦点検出手段を有するとともに、焦点検出手段の検出結果に基づき、共通光学系であるレンズ群１０２の焦点位置を制御する焦点制御手段を有している。この焦点制御手段は、焦点検出用撮像素子１０５からの信号に基づく焦点検出の検出結果に基づき、レンズ群１０２の焦点位置を制御する。しかし、焦点検出用撮像素子１０５は映像用撮像素子１０４による映像の表示・記録のための本撮影の前後で、本撮影のための準備として焦点調節、露出制御などを可能とするために設けられており、信号の用途は特に限定されない。

測距情報算出部１０６は、焦点検出用撮像素子１０５で撮像された被写体の光学像の像ずれ量からフォーカスレンズの位置情報を算出して生成するものである。ここでいう像ずれ量とは、焦点検出用撮像素子１０５において生成される一対の像信号間のずれ量を意味する。一般的には、ＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）を用いて像ずれ量の評価値を求め、最も評価値の小さい値を与える像ずれ量を合焦点とし、像ずれ量に基づいたデフォーカス量に従って測距を行う距離情報生成手段が知られている。測距情報算出部１０６は、このような方法により焦点検出用撮像素子１０５の出力に基づき測距を行って被写体の奥行き方向の距離に関する距離情報を生成する。判定部１０７は、測距情報算出部１０６の結果に基づいて、現在のフォーカスレンズの位置が任意の焦点位置からリフォーカス可能な範囲内に存在するかどうかを判定するものである。すなわち、判定部１０７は、被写体が撮像後の処理でリフォーカス可能な距離範囲にあるかどうかを判定するものである。撮像制御部１０８は、判定部１０７の結果に従って、撮像のシステムを制御するものである。信号処理部１０９は、映像用撮像素子１０４からの信号を処理するものであり、例えば映像用撮像素子１０４が生成する画像データからリフォーカス画像を生成する。撮像装置１００の各部は、撮像制御部１０８（ＣＰＵを含む）によって制御される。撮像制御部１０８は、制御プログラムを格納するメモリを有し、そのメモリに格納されている制御プログラムをロードして実行することで撮像装置１００が有する機能を実現する。指示部１１２は、例えばシャッターボタンであり、撮像を指示するものである。

表示部１１０、記録部１１１は、信号処理部１０９にて処理された画像信号をそれぞれ表示、記録する。この際、信号処理部１０９では予め出力先に適した形式に画像信号を変換して、各部に出力する。

図２は、本実施形態に係る撮像装置１００の撮像動作のフローチャートを示す図である。本動作は、撮像制御部１０８が制御プログラムを実行して図１に示す各部を制御することで行われる。

ステップＳ２０２において、焦点検出用撮像素子１０５が、外部から入射された光１０１をレンズ群１０２、ミラー１０３を介して受光して上述した一対の像信号を生成する。

ステップＳ２０３では、測距情報算出部１０６が、焦点検出用撮像素子１０５の出力信号から像ずれ量を求め、当該像ずれ量に基づいてデフォーカス量を求める。さらに、測距情報算出部１０６は、求めたデフォーカス量に従って、フォーカスレンズを含むレンズ群１０２の位置、被写体の位置、及びレンズ群１０２の位置と被写体の位置との間の距離を算出する。本実施形態では、上記のように測距情報算出部１０６が被写体の奥行き方向の距離を求めているが、被写体の距離に関する情報がわかればよく、距離情報の段階では像ずれ量、デフォーカス量、奥行き方向の距離いずれの形態であってもよい。

次いでステップＳ２０４において、測距情報算出部１０６は、映像用撮像素子１０４から出力される画像信号における最大リフォーカス量を決定する。すなわち、測距情報算出部１０６は、映像用撮像素子１０４の画素ピッチ（光電変換部のピッチ）と焦点検出用撮像素子１０５の画素ピッチ（光電変換部のピッチ）の比率、及び式（１）を用いて最大リフォーカス量を算出する。例えば、映像用撮像素子１０４の画素ピッチがＤ、焦点検出用撮像素子１０５の画素ピッチがｄであった時、映像用撮像素子１０４における最大リフォーカス量を以下の式（２）で算出することができる。すなわち、最大リフォーカス量は、映像用撮像素子１０４の複数の光電変換部の瞳分割構成及び焦点検出用撮像素子１０５の複数の光電変換部の瞳分割構成に従って決定される。
ｄｍａｘ＝（Ｎθ・Δｘ／ｔａｎ（Δθ））・（Ｄ／ｄ） （２）
式（２）のＮθ、Δｘ、Δθは、それぞれ焦点検出用撮像素子１０５の角度分割数、画素ピッチ、角度分解能を示している。式（２）に示すように、映像用撮像素子１０４の画素ピッチＤ、焦点検出用撮像素子１０５の画素ピッチｄの比率から、映像用撮像素子１０４における最大リフォーカス量を求める。

ステップＳ２０５において判定部１０７は、前述のレンズ群１０２の位置と被写体の位置との距離及び最大リフォーカス量に基づいて、現在のフォーカスレンズの位置が、任意の焦点位置からリフォーカス可能な範囲にあるかどうかを判定する。すなわち、判定部１０７は、被写体がリフォーカス可能な距離範囲にあるかどうかを判定する。

撮像制御部１０８は、判定部１０７による判定の結果に従って、すなわち、被写体の位置がリフォーカス可能な範囲にあるか否かによって信号処理や映像用撮像素子１０４の撮像を制御する。撮像の制御とは、例えば、被写体を撮像する映像記録用の本撮像（の指示）の可否の決定、本撮像のタイミングを制御することである。また、撮像の制御には、焦点検出用撮像素子１０５に導かれていた入射光１０１が映像用撮像素子１０４に導かれるようにミラー１０３による光路を変更する動作を制御することが含まれる。また、このとき、撮像制御部１０８は、リフォーカス可能な距離範囲に被写体があるかどうかの判定部１０７による判定の結果を、表示部１１０による画面中の表示や音等でユーザーに報知してもよい。

ステップＳ２０５において判定部１０７が、被写体がリフォーカス可能な距離範囲にあると判定した場合は、ステップＳ２０６においては、フォーカスレンズ駆動中に撮像を指示する指示が指示部１１２によりなされたかどうかを判定する。すなわち、例えば、指示部１１２であるシャッターボタン（図示せず）が押されたかどうかを判定する。シャッターボタンが押されている場合は、ステップＳ２０７において映像用撮像素子１０４による被写体の撮像を行い、撮像動作を終了する。ステップＳ２０６でシャッターボタンが押されていない場合は、押されるまで待機する。ステップＳ２０５で被写体がリフォーカス可能な距離範囲でないと判定された場合は、リフォーカス可能な距離範囲となるまで判定を繰り返して待機する。このように、本実施形態においては、被写体がリフォーカス可能な距離範囲に入るまで映像の記録を伴う本撮像を行うことができないように制御し、リフォーカス可能な距離範囲に入ったら、即座に被写体の撮像を行うよう撮像のタイミングを制御する。

上述した本実施形態における撮像の制御動作と効果について具体的に図３及び図４を用いて説明する。

図３は従来のカメラによる撮影の場合のフォーカスレンズの焦点と被写体との位置関係の推移を示す図である。図３において、縦軸はカメラからの距離を表わし、横軸は撮像動作の経過時間を表わす。

図３に示すように、まず、時間Ｔ１において、被写体３０１に対して、フォーカスレンズの焦点３０２が、被写体３０１とカメラとの間の被写体３０１に対応する位置にあったとする。横軸の時間が進むにつれて、フォーカスレンズが焦点調節動作することにより、被写体距離に対応する合焦位置３０３に向かって焦点３０２が移動する。これにより、焦点３０２が徐々に被写体３０１の位置に近づき、被写体３０１と焦点３０２との距離Ｙが短くなる。

時間Ｔ１から時間Ｔだけ経過した時間Ｔ２において、焦点３０２が合焦位置３０３に到達して被写体３０１に対する合焦が達成され、その後シャッターボタンを押下することで、被写体３０１にピントがあった撮像ができる。しかし、時間Ｔ２より早い段階でシャッターボタンを押下した場合、従来のカメラでは被写体３０１に対しピントがずれた状態での撮像になる。また、リフォーカス可能な撮像装置であっても、確実にリフォーカスできる範囲に被写体３０１が存在するかはわからないため、撮影後に被写体３０１のリフォーカス画像が生成できるかどうかの保証はない。

次に、本実施形態に係る撮像装置において、リフォーカス可能な距離範囲に被写体が存在するか否かの判定の結果に基づいて撮像動作が制御された場合の例を図４を用いて説明する。図４は、本実施形態に係る撮像装置による撮影におけるフォーカスレンズの焦点と被写体との位置関係の推移を示す図である。図４において図３と同様の要素は同じ符号を付して示す。図４において、焦点３０２とともに、リフォーカス可能な距離範囲４０１が示されている。なお、リフォーカス可能な距離範囲４０１は、焦点３０２を中心として光軸方向の前後それぞれにおいて最大リフォーカス量ｄｍａｘの距離以内の範囲である。

図４において、時間Ｔ１から時間ｔ（ただし、ｔ＜Ｔ）だけ経過した時間Ｔ３の時点で、焦点３０２が位置４０２に移動して、リフォーカス可能な距離範囲４０１に被写体３０１が入る。リフォーカス可能な距離範囲４０１に被写体３０１が存在していない時間Ｔ１から時間Ｔ３の間でシャッターボタンが押下された場合は、焦点３０２が位置４０２に移動するまでフォーカスレンズを駆動した時点で、撮像が行われる。また、リフォーカス可能な距離範囲４０１に被写体３０１が存在していれば、合焦位置３０３まで焦点３０２が移動するようにフォーカスレンズが駆動されてなくてもシャッターボタンが押下されれば撮像が行われるように制御する。

以上の制御を行うことで、撮像が可能となるまでの時間を従来の時間Ｔから時間ｔに短縮することが可能となる。本実施形態では、映像用撮像素子１０４ではなく、焦点検出用撮像素子１０５に被写体からの光１０１を入射して、被写体が撮像後の処理でリフォーカス可能な距離範囲にあるかどうかを判定する。従って、映像用撮像素子上でリフォーカス可能な範囲を判定するのにミラーを上げる挙動を必要としていたレフレックスカメラに本実施形態を適用すれば、その判定のために被写体からの光を映像用撮像素子に入射する必要がなくなる。すなわち、ミラーを上げる挙動が不要になる。また同時に、撮像可能までの時間を短縮することが可能となる。

また、リフォーカス可能な距離範囲に被写体が存在しない場合にシャッターボタンが押下されても撮像が行われないのではなく、判定部１０７の結果に応じて、ユーザーに任意の被写体へのリフォーカスが可能か否かを通知するようにしてもよい。また、判定部１０７の結果に従って、複数の被写体に対してリフォーカス可能な被写体と不可能な被写体を識別可能にライブビューに表示するようにしてもよい。その場合、通知方法及び表示形態は適宜設定することができる設計的事項であり、特定の構成に限定されるものではない。また、判定部１０７の結果に従って信号処理部１０９の信号処理（例えば撮像、記録後にリフォーカス画像の生成、表示、記録）を制御するようにしてもよい。

ここで、図５Ａ及び図５Ｂを用いて本実施形態に係る撮像装置により取得されるライトフィールドデータについて説明を行う。本実施形態に係る撮像装置により取得されるライトフィールドデータは、ＬＦカメラ（プレノプティックカメラ）で撮影されたデータである。

図５Ａは、ＬＦカメラの有する撮像素子、すなわち、本実施形態に係る撮像装置１００における映像用撮像素子１０４の単位画素セルの例を示す図である。図５Ｂは、ＬＦカメラにより取得される視差の異なる画像及びリフォーカス画像の例を示す図である。

図５Ａに示すように、ＬＦカメラの有する撮像素子である映像用撮像素子１０４は、複数のマイクロレンズ５０１が配列されてなるマイクロレンズアレイと、複数の画素５０２が配列されてなる画素配列とを有している。複数のマイクロレンズ５０１は格子状に配列されている。また、複数の画素５０２は格子状に配列されている。

映像用撮像素子１０４の単位画素セル５００は、マイクロレンズアレイに含まれる１つのマイクロレンズ当たりの複数の画素（分割画素）５０２の集合により構成される。こここでは、説明の簡便さのため、単位画素セル５００が６×６の画素５０２を有する場合を例として説明を行う。また、単位画素セル５００における画素５０２の画素位置を特定する場合、「画素５０２（ＸＹ）」の表記を用いる。ただし、Ｘは６×６の画素配列における列を示す１〜６のいずれかであり、Ｙは６×６の画素配列における行を示すＡ〜Ｆのいずれかである。

このような単位画素セル５００が二次元状にベイヤー配列で映像用撮像素子１０４に配置されている。なお、焦点検出用撮像素子１０５にも、映像用撮像素子１０４の単位画素セル５００と同様の単位画素セルが同様に配置されている。

各マイクロレンズ５０１の同一画素位置に存在する画素５０２のみで構成された二次元画像は、他の同一画素位置に存在する画素５０２のみで構成された二次元画像に対して視差を有する。つまり、例えば、各マイクロレンズ５０１の画素５０２（１Ａ）のみで構成された二次元画像と各マイクロレンズ５０１の画素５０２（２Ａ）に対応する画素のみで構成された二次元画像とは、互いに異なる視差を有する。つまり、６×６の画素５０２を単位画素セル５００に有する映像用撮像素子１０４からは、図５Ｂに示すように、合計３６枚の異なる視差の二次元画像が得られることとなる。

一般的に、ＬＦカメラでは、図５Ｂに示すように、これらの単位画素セルが有する画素数に応じた異なる視差の二次元画像を合成してリフォーカス画像を得る。

リフォーカス画像を得るための原理について図５Ｂを用いて説明する。図５Ｂに示すように花及び葉を撮像した場合、花の位置に視差を有しないように異なる視差の二次元画像を合成すると、花位置に合焦したリフォーカス画像を得ることになる。この場合、葉の位置には視差を有している画像同士を加算して合成するため、葉の位置はボケたものになる。また、葉の位置に視差を有さないように合成すると、葉の位置に合焦しており、花の位置がボケたリフォーカス画像を得ることが可能となる。

また、移動させたい像面距離があらかじめ決まっている際には、各画素５０２間で定義されるＫ値と呼ばれる固定値に基づいて各画素５０２による二次元画像をシフト加算する。これにより、仮想的に焦点面を移動させたリフォーカス画像を得ることが可能である。前記Ｋ値は、ＬＦカメラを用いた相関演算処理を行う際の、像ずれ量からデフォーカス量を求めるための固定値と同一である。

また、本実施形態において測距に際して用いられるデフォーカス量の算出方法の一例について図６Ａ〜図６Ｃを用いて説明する。

図６Ａ〜図６Ｃには、それぞれ被写体６０１からの光が撮影光学系６０２を経て焦点検出用撮像素子１０５に入射する様子を示している。なお、撮影光学系６０２は、レンズ群１０２を含むものである。また、図６Ａ〜図６Ｃにおいて、レフレックス構造におけるミラー１０３は省略している。図６Ａは合焦状態を示している。図６Ｂは後ピン状態を示している。図６Ｃは前ピン状態を示している。

焦点検出用撮像素子１０５は、図５Ａに示す映像用撮像素子１０４と同様の単位画素セル５００を有している。焦点検出用撮像素子１０５は、複数のマイクロレンズ５０１を有するマイクロレンズアレイにおける各マイクロレンズ５０１の下に複数の画素５０２を有している。マイクロレンズ５０１の下のａ、ｂで示す２つの画素５０２は、それぞれ図５Ａで説明を行った画素５０２（１Ａ）、画素５０２（６Ｆ）に対応するものとする。なお、図６Ａ〜図６Ｃでは、焦点検出用撮像素子１０５における単位画素セル５００の位置をＰ１〜Ｐ１３で示している。

測距時には、ａで示す画素５０２（１Ａ）により構成されるＡ像用画素群の出力、及びｂで示す画素５０２（６Ｆ）により構成されるＢ像用画素群の出力を、各々列方向(又は行方向)に組み合わせる。そして、これらの出力を同色単位画素セル群の出力として、それぞれＡ像及びＢ像を生成・データ化し、各々の対応点のずれをＳＡＤ演算によって求める。ＳＡＤ演算の結果は下記式（３）によって相関量Ｃとして求められる。

ここで、ＹＡｎ及びＹＢｎは、それぞれ水平のマイクロレンズのｎ個の画素数を含んだ数列である。ＹＡｎおよびＹＢｎのｎは測距を行う瞳分割方向の配置されたマイクロレンズの数(単位画素セルの数と同意)とする。ただし、ｎの値は配置されたマイクロレンズの数よりも少なければ良い。これは測距する範囲に依存するためである。ｉは各画素位置を表しており、画素をずらしながら差の絶対値を算出するずらし量をｍとする。このとき、最も値の小さな相関量Ｃを取るｍの位置が合焦位置であり、そのｍが像ずれ量Ｎである。

まず、図６Ａに示す合焦状態のときには、撮影光学系６０２が結像する位置がＰ７のマイクロレンズ５０１下の画素（光電変換素子）になる。このため、図６Ａの下段に示すように、Ａ像用画素群の出力とＢ像用画素群の出力とはほぼ一致する。この時、ＳＡＤ演算で求められるＡ像用画素群による被写体像とＢ像用画素群による被写体像との像ずれ量Ｎ（ａ）は、０に近似することができる。

また、図６Ｂに示す後ピン状態のときには、撮影光学系６０２が結像する位置として、Ａ像用画素がＰ９、Ｂ像用画素がＰ５のマイクロレンズ５０１下の画素（光電変換素子）になる。このため、図６Ｂの下段に示すように、Ａ像用画素群の出力とＢ像用画素群の出力との間にずれが生じる。この時、Ａ像用画素群による被写体像とＢ像用画素群による被写体像との間には、ＳＡＤ演算で求められる像ずれ量Ｎ（ｂ）が発生する。

また、図６Ｃに示す前ピン状態のときには、撮影光学系６０２が結像する位置として、Ａ像用画素がＰ５、Ｂ像用画素がＰ９のマイクロレンズ５０１下の画素（光電変換素子）になる。このため、図６Ｃの下段に示すように、Ａ像用画素群の出力とＢ像用画素群の出力との間に後ピン状態とは逆方向にずれが生じる。この時、ＳＡＤ演算で求められるＡ像用画素群による被写体像とＢ像用画素群による被写体像との間には、ＳＡＤ演算で求められる後ピン状態とは逆方向の像ずれ量Ｎ（ｃ）が発生する。

上述したことは、合焦状態においてはＡ及びＢ像用画素群が同一の被写体を見ているが、後ピン状態及び前ピン状態においてはＡ及びＢ像用画素群がそれぞれ像ずれ量Ｎ（ｂ）、Ｎ（ｃ）だけずれた被写体を見ているということを意味している。

この時、デフォーカス量ｄは公知の技術で求めることが可能である。例えば、像ずれ量Ｎと受光素子に至るまでの光学状態によって一意に決まる係数Ｋを用いて、下記式（４）によってデフォーカス量ｄを求めることが可能である。
ｄ＝Ｎ×Ｋ （４）

なお、ここでいう係数Ｋは光学状態によって予め決められた係数であって、画素５０２（１Ａ）と画素５０２（６Ｆ）との間の相対的な像ずれ量をデフォーカス量に換算する変換係数のことを指している。このようなＫの値を各画素間で有することで、リフォーカス処理の画素加算時の像ずれ量を算出することが可能である。図６Ａ、図６Ｂ及び図６Ｃの下段には、それぞれ合焦状態におけるデフォーカス量ｄ（ａ）、後ピン状態におけるデフォーカス量ｄ（ｂ）、及び前ピン状態におけるデフォーカス量ｄ（ｃ）を絶対値で示している。

なお、上記では、焦点検出用撮像素子１０５の信号に基づき距離情報を生成し、その距離情報に基づき被写体がリフォーカス可能な範囲にあるか否かを判定する場合について説明したが、判定の態様はこれに限定されるものではない。

例えば、判定の他の態様では、まず、焦点検出用撮像素子１０５の複数の光電変換部からの信号に基づいて像ずれ量を算出する。次いで、その像ずれ量を焦点検出用撮像素子１０５の複数の光電変換部の配置間隔（ピッチ）と、映像用撮像素子１０４の複数の光電変換部の配置間隔（ピッチ）とに基づいて映像用撮像素子１０４における像ずれ量に換算する。次いで、換算した像ずれ量をリフォーカス可能な範囲と比較することで判定を行う。

また、例えば、判定のさらに他の態様では、まず、焦点検出用撮像素子１０５の複数の光電変換部からの信号に基づいてデフォーカス量を算出する。次いで、そのデフォーカス量をリフォーカス可能な範囲と比較することで判定を行う。

［第２実施形態］
本発明の第２実施形態を図７〜図９Ｂを用いて説明する。

第１実施形態では、フォーカスレンズの位置と被写体の位置との距離、すなわち被写体に関する距離情報を焦点検出用撮像素子１０５の出力を用いて検出していたが、本実施形態では、赤外光受光手段である赤外線素子を用いて検出する。本実施形態は、この点で第１実施形態と異なり、すなわち、被写体までの距離を測定する手段が第１実施形態とは異なる他の汎用的な測定手段であった場合の実施形態である。本実施形態の他の構成については第１実施形態と同様である。

図７は、本実施形態に係る撮像装置の要部の構成を示すブロック図である。図７において、図１と同様の要素には同じ符号を付して示し、ここでの説明は省略する。

図７において、赤外光照射部７０１は、被写体へ赤外光を照射する赤外光照射手段である。反射光７０２は、赤外光照射部７０１から照射された赤外光の被写体からの反射光である。赤外線素子７０３は、反射光７０２を受光し受光情報を出力する赤外光受光手段である。測距情報算出部７０６は、赤外線素子７０３で受光された情報から、被写体に関する距離情報として被写体までの距離を求めるものである。

上述した本実施形態に係る撮像装置の撮像動作を、図８を用いて説明する。図８は、本実施形態に係る撮像装置の撮像動作のフローチャートを示す図である。図８において、図２と同様のステップには同じ符号を付して示し、ここでの説明は省略する。

ステップＳ８０１で、赤外光照射部７０１から赤外光を被写体に投光する。次いで、ステップＳ８０２において、ステップＳ８０１で投光した赤外光の被写体からの反射光を赤外線素子７０３で受光する。次いで、ステップＳ２０３において、測距情報算出部７０６が赤外線素子７０３の出力を用いて被写体との距離を算出して、被写体に関する距離情報を生成する。ステップＳ２０３に続くステップＳ２０４以降の処理は第１実施形態と同様である。

ここで、測距情報算出部７０６による被写体との距離の算出方法を、図９Ａ及び図９Ｂを用いて説明する。なお、図９Ａ及び図９Ｂにおいて図７と同様の要素は同じ符号を付して示す。

図９Ａは、ＴＯＦ方式による距離計測の構成を説明するための図である。図９Ａにおいて、赤外線投光レンズ９０１、赤外線受光レンズ９０２が示されている。赤外光照射部７０１から照射された赤外光（照射光）９０３が、被写体である物体Ｘで反射される。物体Ｘで反射された反射光９０４は、赤外線素子７０３で受光される。赤外光照射から反射光の受光までの時間、即ちカメラから対象までの往復に要した時間から距離を計測する。光の速度は秒速約３０万キロメートルのため、時間から距離を算出することができる。

時間の計測方法を、図９Ｂを用いて説明する。図９Ｂは照射光と反射光それぞれの位相を示した図である。光は横波で周期をもっているため、時間のずれを位相のずれから測定することが可能となる。そこで時間の測定には、光の位相差を利用する。図９Ｂの場合、照射光９０３に対する反射光９０４の位相のずれから時間Ｔｘが分かるので物体Ｘとの距離が算出される。算出された距離からは、デフォーカス量を算出する。特許文献２より、デフォーカス量は映像用撮像素子１０４の像ずれ量からも算出が可能であるので、算出されたデフォーカス量から逆算により映像用撮像素子１０４の像ずれ量を算出する。第１実施形態においても記載した式（１）により求まる最大リフォーカス量と像ずれ量から、現在のフォーカスレンズの位置が任意の焦点位置からリフォーカス可能な範囲であるかどうかを判定する。

以上の処理方法により、第１実施形態で用いた焦点検出用撮像素子１０５を必要とせずに映像用撮像素子１０４上でのリフォーカス可能な範囲を判定することが可能となる。また、映像用撮像素子１０４上でのリフォーカス可能な範囲を判定するのにミラーを上げる挙動を必要とするレフレックスカメラに本発明を適用した場合、第１実施形態と同様に、ミラーを上げる挙動は不要になる。そのため、撮像可能までの時間を短縮することが可能となる。

判定部１０７の結果に応じた撮像装置の制御方法ついては、第１実施形態において記載したのと同様である。

なお、本実施形態では焦点検出用撮像素子を用いない測距方法として赤外線素子を用いたが、被写体に関する距離情報が得られる方法であればこの限りではない。

以上詳細に説明した本発明の実施の形態によれば、映像用の撮像素子に光を入射させることなく、被写体がリフォーカス可能な位置に存在するかどうかの判定することができ、撮影時間の短縮が可能な撮像素子を提供することができる。

［第３実施形態］
第１実施形態では、ミラー１０３によって映像用撮像素子１０４への入射光が遮断されている状況において、焦点検出用撮像素子１０５の出力に基づいてリフォーカス可能かどうかの判定を行う場合について説明した。第１実施形態によれば、撮影のレスポンスを向上させることができる。

第１実施形態に対して、ライブビュー画像をユーザーに表示することを目的に、ミラー１０３を半透過ミラーで構成することで映像用撮像素子１０４への入射光を確保することが可能である。このような構成においても、第１実施形態と同様に焦点検出用撮像素子１０５を用いてリフォーカス可能かどうかの判定を行うことで、省電力及び高精度の判定を実現することが可能である。

例えば、映像用撮像素子１０４でリフォーカス可能な距離範囲に被写体が存在するかどうかを判定するためには、視差を有した画素１４０２（図１４参照）の読み出しを行い測距する必要がある。そのため、異なる２つの視差像をＡ像とＢ像とすると、本来の撮像用画像の２倍の読み出しを行う必要がある。一般的に焦点検出用撮像素子１０５に比べ、映像用撮像素子１０４の方が画素数が多いため、多くの電力が必要となる課題が存在する。

さらに、映像用撮像素子１０４の読み出しフレームレートは、表示部１１０の表示レートに同期することが望ましい。このため、映像用撮像素子１０４を用いて測距を行ったのでは、低照度時に測距に最も適した露光量を得ることが困難な場合が存在する。

第３実施形態ではこのような課題の解決方法について図１０を用いて説明を行う。図１０は、本実施形態に係る撮像装置を示すブロック図である。第３実施形態に係る撮像装置は、図１に示す第１実施形態の構成におけるミラー１０３を半透過ミラー８０３に変更した構成で実現される。

図１０に示すように、ミラー１０３に代えて、入射光１０１を分配する光分配手段として機能する半透過ミラー８０３が設けられている。半透過ミラー８０３は、入射光１０１の光量を透過率に基づいて、映像用撮像素子１０４と焦点検出用撮像素子１０５に分配する。例えば、透過率５０％のペリクルミラーで半透過ミラー８０３が構成されている場合、映像用撮像素子１０４には５０％の光量の入射光１０１が入射して結像される。また、焦点検出用撮像素子１０５には残りの５０％の光量の入射光１０１が入射して結像される。なお、半透過ミラー８０３の透過率は、５０％に限定されるものではなく、適宜選定することができる。

映像用撮像素子１０４は、同一のマイクロレンズ１４０１（図１４参照）を共有する所定数の画素１４０２を単位として画素加算を行う。さらに、ライブビュー動作中は、ライブビュー表示を行う表示部１１０の表示画素数に合わせて映像用撮像素子１０４から同色画素同士を加算し、又は間引いて読み出しを行う。このように処理することで、ライブビュー動作中に映像用撮像素子１０４の全画素読み出しを行わなくてもよいため、消費電力を低減することが可能となる。

映像用撮像素子１０４から読みだされた電荷は、不図示のＡ／Ｄ変換部を介して信号処理部１０９に出力される。信号処理部１０９は、ライブビューで使用する表示用画像を生成し、表示部１１０に出力する。表示部１１０は、入力された表示用画像を例えばＬＣＤに代表されるパネルに表示を行い、ユーザーに対して現在の被写体状態を通知する。

一方、焦点検出用撮像素子１０５は、第１実施形態と同様に半透過ミラー８０３によって光量の減った入射光１０１を受光する。測距情報算出部１０６は、第１実施形態と同様に、焦点検出用撮像素子１０５の出力信号に基づきデフォーカス量を求める。

なお、焦点検出用撮像素子１０５は、映像用撮像素子１０４とは独立して露光制御が可能である。

例えば、表示部１１０が５０ｆｐｓで表示用画像を表示している時には、映像用撮像素子１０４は、表示部１１０とほぼ同じフレームレートで撮像することが一般的である。そのため、１／５０秒以上の露光時間を得ることは困難である。さらに、正しく測距処理を行うためには、ノイズの少ない良好な信号が望ましい。しかしながら、半透過ミラー８０３を経た入射光１０１は通常よりも光量が少なくなってしまうため、ノイズが多くなりうる。これらの理由のため、露光時間を伸ばして露光量を確保したい場合が存在する。そのため、測距を行うために適した露光時間を表示部１１０のフレームレートと独立して設定できることが望ましい。

また、測距に適した露光量は、必ずしも表示用画像を得るために設定された露光量と一致しない。そのため、測距に用いる露光量は、表示用画像と独立して設定できることが望ましい。

本実施形態では、上述のように、焦点検出用撮像素子１０５が、撮像制御部１０８により不図示の露光用の測光センサに基づいて映像用撮像素子１０４とは独立して露光制御が可能になっている。これにより、測距を行うのに適した露光量を設定することができる。なお、露光制御を行うための構成としては、特に限定されるものではなく、種々の構成を用いることができる。

次に、第１実施形態と同様にして、リフォーカス可能な距離範囲に被写体が存在しているかどうかを判定部１０７で判定する。リフォーカス可能な距離範囲に被写体が存在すると判定された場合は、半透過ミラー８０３のアップ動作を行い、映像用撮像素子１０４に入射光１０１のほぼ全光量を入射し、静止画の撮像動作を行う。

このように処理を行うことで、ミラー１０３を半透過ミラー８０３に変更した場合においても、省電力かつ高精度にリフォーカス可能かどうかを適切に判断し、撮像動作を行うことが可能である。

［第４実施形態］
第３実施形態では、ミラー１０３を半透過ミラー８０３に変更した場合の構成について説明するとともに、その構成において、映像用撮像素子１０４及び焦点検出用撮像素子１０５の両方が撮像動作する処理について説明した。

第４実施形態では、複数の映像用撮像素子を備える撮像装置において、異なる目的で各映像用撮像素子を使用する際のリフォーカス可能範囲を判定する動作について説明を行う。

具体的に図１１を用いて説明を行う。図１１は、本実施形態に係る撮像装置を示すブロック図である。なお、第１及び第３実施形態と変更のない要素は、同じ符号を付し説明を省略する。

本実施形態に係る撮像装置１１００には、映像用撮像素子として、静止画を取得するための静止画用撮像素子１１０１と、動画を取得するための動画用撮像素子１１０２が設けられている。静止画用撮像素子１１０１及び動画用撮像素子１１０２は、それぞれ後述するように瞳分割構成を有している。

第３実施形態と同様に、ミラー１０３に代えて半透過ミラー８０３が設けられている。半透過ミラー８０３は、第３実施形態と同様に光分配手段として機能し、例えば、入射光１０１のうちの光量の半分を静止画用撮像素子１１０１、もう半分を動画用撮像素子１１０２に分配する。

静止画用撮像素子１１０１に対しては、第１実施形態と同様の信号処理部１０９が設けられている。一方、動画用撮像素子１１０２に対しては、信号処理部１１０３が設けられている。

静止画用撮像素子１１０１及び動画用撮像素子１１０２について図１２を用いて説明する。図１２は、静止画用撮像素子１１０１及び動画用撮像素子１１０２の詳細を示す図である。

静止画用撮像素子１１０１には、ベイヤー配列で単位画素セル１２０１ｓが二次元状に配列されている。単位画素セル１２０１ｓは、セルピッチｓｄで配列されている。単位画素セル１２０１ｓ内では、図１４で説明したように、マイクロレンズを共有するように例えば６×６の画素１２０２ｓが配列されている。

動画用撮像素子１１０２には、静止画用撮像素子１１０１と同様に、ベイヤー配列で単位画素セル１２０１ｍが二次元状に配列されている。単位画素セル１２０１ｍは、セルピッチｍｄで配列されている。単位画素セル１２０１ｍ内では、静止画用撮像素子１１０１と同様に、マイクロレンズを共有するように例えば６×６の画素１２０２ｍが配列されている。

動画用撮像素子１１０２と比較して、静止画用撮像素子１１０１は、精細な画像を撮像するために、単位画素セルのセルピッチ、及び単位画素セルに含まれる画素の画素ピッチが狭いという特徴を有している。その分、静止画用撮像素子１１０１の方が動画用撮像素子１１０２よりも画素数が多くなっている。また、静止画用撮像素子１１０１の単位画素セル１２０１ｓに含まれる画素１２０２ｓの数と、動画用撮像素子１１０２の単位画素セル１２０１ｍに含まれる画素１２０２ｍの数とは互いに同数になっている。このため、画素１２０２ｓの画素ピッチと画素１２０２ｍの画素ピッチとの比率は、セルピッチｓｄとセルピッチｍｄとの比率とほぼ同一である。

信号処理部１０９は、静止画用撮像素子１１０１の出力に対して、第１実施形態と同様の処理を行う。

一方、信号処理部１１０３は、動画用撮像素子１１０２の出力に対して、画像処理を行って圧縮された動画データを記録部１１１に出力するとともに、記録中の画像データを表示部１１０に出力する。また、画素１４０２（図１４参照）のように配列された画素１２０２ｍを用いて、デフォーカス量を算出する等の第１実施形態の測距情報算出部１０６と同様の処理を行い、処理結果を判定部１０７に出力する。

信号処理部１１０３の具体的な構成について図１３を用いて説明する。

信号処理部１１０３は、画素補正部１３００、デモザイク処理部１３０１、画素加算部１３０２、動画像圧縮部１３０３、及び測距演算部１３０４を有している。動画用撮像素子１１０２の出力は、画素補正部１３００に入力される。

画素補正部１３００は、動画用撮像素子１１０２の出力に含まれる欠陥画素に代表される画素不良に対する補正処理を行い、補正処理を行った出力をデモザイク処理部１３０１に出力する。

デモザイク処理部１３０１は、ベイヤー状に配列された画素１２０２ｍの色補間を行い出力画像の色空間をＹＵＶ空間に変換した上で、画素加算部１３０２、動画像圧縮部１３０３、及び測距演算部１３０４にそれぞれ出力する。この時、色補間の単位として、１つのマイクロレンズを共有する複数の画素１２０２ｍを１単位とし、各単位内における相対的な位置が同一である画素１２０２ｍを用いて色補間を行う。つまり、６×６の画素１２０２ｍを有する場合、デモザイク処理部１０３１は、３６枚の画像を生成し後段に位置する上記各部に出力を行う。

画素加算部１３０２は、１つのマイクロレンズを共有する複数の画素１２０２ｍからなる画素群単位で画像の加算処理を行って被写界深度の浅い画像信号を生成し、生成した画像信号を動画像圧縮部１３０３に出力する。

動画像圧縮部１３０３は、画素加算部１３０２の出力に対して、Ｈ２６４に代表される動画圧縮規格に基づき非可逆動画圧縮処理を行い、圧縮処理した画像信号を記録部１１１に出力する。この非可逆圧縮処理により得られる画像信号は、プロキシ画像と呼ばれ、編集処理に用いられる軽量な動画像データである。

また、動画像圧縮部１３０３は、デモザイク処理部１３０１からの出力の画像群である３６枚の画像データを可逆圧縮処理し、圧縮処理した画像データを記録部１１１に出力する。この可逆圧縮された画像データは、任意の視点を得られる仮想視点動画やリフォーカス処理を行うリフォーカス動画の生成に用いられる。

測距演算部１３０４は、画素１２０２ｍ同士でＳＡＤ演算によりデフォーカス量を求め、判定部１０７に出力する。ＳＡＤ演算に使用する画素としては、画素１２０２ｍの中から１対の画素を選んでもよいし、Ｓ／Ｎ向上を目的として、複数の画素１２０２ｍを加算することで左目用の画素と右目用の画素とを生成してもよい。

判定部１０７は、算出されたデフォーカス量、並びにｍｄ及びｓｄの比率に基づいて、現フレームのレンズ群１０２のフォーカスレンズ位置において、静止画用撮像素子１１０１上でのリフォーカス可能な距離範囲に被写体が存在するかどうかを判定する。本実施形態においても、第１実施形態と同様に判定部１０７による判定を行うことができる。

以上のように処理することで、異なる目的で複数の映像用撮像素子を使用する際においても、一方の撮像素子を用いた測距演算により、他方の撮像素子についてリフォーカス可能な距離範囲に被写体が存在するかどうかを判定することが可能となる。

なお、本実施形態では、ｍｄ及びｓｄの比率に基づいてリフォーカス可能な範囲かどうかの判定を行ったがそれに限ったものではない。例えば、ｍｄ及びｓｄに基づいて得られるリフォーカス可能なデフォーカス量をあらかじめ求めておいて、デフォーカス量同士の比較処理によって判定処理を行ってもよい。

なお、本実施形態では、上述した判定のほか、位相差画素間の相関演算による像ずれ量をデフォーカス量に変換するための固定係数Ｋ値の比較に基づいて判定を行ってもよい。また、ＳＡＤ演算によって得られる像ずれ量をデフォーカス量に換算するための固定係数Ｋ値の比較によって被写体がリフォーカス可能な範囲に存在するかどうかを像ずれ量の換算によって判定してもよい。

また、本実施形態では、動画用撮像素子１１０２は全単位画素セルにおいて画素（副画素）を有する構成で説明を行ったが、動画用撮像素子１１０２の構成はその限りではない。動画用撮像素子１１０２として、一部に焦点検出用画素を有している撮像素子を用いてもよい。

また、本実施形態では、動画用撮像素子１１０２の出力に基づいて静止画用撮像素子１１０１のリフォーカス可能範囲に被写体が存在するかどうかを判定したが、その限りではない。上記とは逆に、静止画用撮像素子１１０１で動画用撮像素子１１０２のリフォーカス可能範囲を判定してもよい。

［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

本発明の実施形態によれば、映像用の撮像素子からの出力とは別の情報に基づいて、当該映像用の撮像素子から得られるデータにおいて被写体がリフォーカス可能な位置に存在するかどうかを判定することができる。したがって、本発明の実施形態によれば、撮影時間の短縮あるいは処理負荷の軽減が可能な撮像装置を提供することができる。

１００ 撮像装置
１０４ 映像用撮像素子
１０５ 焦点検出用撮像素子
１０６ 測距情報算出部
１０７ 判定部
１０８ 撮像制御部
７０１ 赤外光照射部
７０３ 赤外線素子
７０６ 測距情報算出部

Claims (18)

1. 異なる瞳領域を通過した被写体からの光束をそれぞれ受光する複数の光電変換部を有する撮像手段と、
   前記被写体からの光を検出して前記被写体の距離に関する距離情報を生成する距離情報生成手段と、
   前記距離情報と前記複数の光電変換部の瞳分割構成に基づいて、前記被写体が撮像後の処理でリフォーカス可能な距離範囲にあるかどうかを判定する判定手段と、
   前記判定手段による判定の結果に従って、前記撮像手段による前記被写体の撮像を制御する制御手段と
   を備えることを特徴とする撮像装置。
2. 前記制御手段は、前記判定手段による判定の結果に従って、前記被写体の撮像の可否の決定、前記被写体の撮像のタイミング、及び前記判定の結果の通知の少なくとも一つを制御することを特徴とする請求項１に記載の撮像装置。
3. 前記制御手段は、前記被写体が前記リフォーカス可能な距離範囲にないと判定された場合は、前記被写体の撮像を行わないように前記撮像手段を制御し、前記被写体が前記リフォーカス可能な距離範囲にあると判定された場合は、前記被写体の撮像が行われるように前記撮像手段を制御することを特徴とする請求項２に記載の撮像装置。
4. 前記被写体の撮像を前記撮像手段に指示する指示手段を備え、
   前記制御手段は、前記判定手段が前記被写体が前記リフォーカス可能な距離範囲にないと判定しているときに前記指示手段による前記被写体の撮像の指示があった場合は、前記被写体が前記リフォーカス可能な距離範囲にあると判定された時に前記撮像手段に前記被写体の撮像を行わせることを特徴とする請求項３に記載の撮像装置。
5. 前記判定手段による判定の結果を表示する表示手段をさらに備え、
   前記制御手段は、複数の前記被写体に対する前記判定手段による判定の結果を、被写体ごとに識別できるように前記表示手段に表示することを特徴とする請求項２乃至４のいずれか１項に記載の撮像装置。
6. 前記撮像手段は、前記被写体の光学像を撮像する第１の撮像素子を有し、
   前記距離情報生成手段は、前記被写体の光学像を撮像する第２の撮像素子を有し、
   前記距離情報生成手段は、前記第２の撮像素子により、焦点検出を行うための像信号を生成し、前記像信号を用いて前記第２の撮像素子における像ずれ量を生成し、前記像ずれ量に基づいて前記距離情報を生成し、前記第１の撮像素子の画素ピッチと前記第２の撮像素子の画素ピッチの情報とに基づいて前記撮像手段の最大リフォーカス量の情報を生成することを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
7. 前記被写体からの前記光を、前記第１の撮像素子と前記第２の撮像素子とに分配して入射させる光分配手段をさらに有することを特徴とする請求項６に記載の撮像装置。
8. 前記第１の撮像素子及び前記第２の撮像素子のうち、一方は静止画用の撮像素子であり、他方は動画用の撮像素子であることを特徴とする請求項７に記載の撮像装置。
9. 赤外光を照射する赤外光照射手段と、
   赤外光を受光して受光情報を出力する赤外光受光手段をさらに備え、
   前記距離情報生成手段は、前記赤外光照射手段によって前記被写体に照射された前記赤外光の反射光を前記赤外光受光手段が受光して出力する前記受光情報に基づいて前記距離情報を生成し、前記瞳分割構成に基づいて前記撮像手段の最大リフォーカス量の情報を生成することを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
10. 前記撮像手段は、複数のマイクロレンズと、複数の画素とを有し、前記複数のマイクロレンズの各々に対して所定数の前記画素が配列されており、前記マイクロレンズと前記所定数の画素により前記瞳分割構成が形成されていることを特徴とする請求項１乃至９のいずれか１項に記載の撮像装置。
11. 共通光学系の異なる瞳領域からの光束を受光する複数の光電変換部を有する第１の撮像素子と、
    複数のマイクロレンズと、各マイクロレンズに対応し、前記共通光学系の異なる瞳領域からの光束を受光する複数の光電変換部と、を有する第２の撮像素子と、
    前記第１の撮像素子からの信号に基づいて、前記第２の撮像素子で被写体が撮像される場合に前記被写体がリフォーカス可能な範囲にあるか否かを判定する判定手段と、
    前記判定手段による判定の結果に従って、前記第２の撮像素子による撮像を制御する制御手段と
    を備えることを特徴とする撮像装置。
12. 前記判定手段は、前記第１の撮像素子の複数の光電変換部からの信号に基づいて像ずれ量を算出し、当該像ずれ量を前記第１の撮像素子の複数の光電変換部の配置間隔と、前記第２の撮像素子の複数の光電変換部の配置間隔とに基づいて前記第２の撮像素子における像ずれ量に換算して前記リフォーカス可能な範囲と比較することで前記判定を行うことを特徴とする請求項１１に記載の撮像装置。
13. 前記判定手段は、前記第１の撮像素子の複数の光電変換部からの信号に基づいてデフォーカス量を算出し、当該デフォーカス量と前記リフォーカス可能な範囲を比較することで前記判定を行うことを特徴とする請求項１１に記載の撮像装置。
14. 前記第１の撮像素子の画素からの信号に基づいて焦点検出を行う焦点検出手段と、
    前記焦点検出手段の検出結果に基づいて前記共通光学系の焦点位置を制御する焦点制御手段と、を有することを特徴とする請求項１１乃至１３のいずれか１項に記載の撮像装置。
15. 赤外光を照射する赤外光照射手段と、
    赤外光を受光して受光情報を出力する赤外光受光手段と、
    複数のマイクロレンズと、各マイクロレンズに対応し、光学系の異なる瞳領域からの光束を受光する複数の光電変換部と、を有する第２の撮像素子と、
    前記受光情報に基づいて被写体の距離情報を生成し、当該距離情報に基づいて前記第２の撮像素子で当該被写体が撮像される場合に被写体がリフォーカス可能な範囲にあるか否かを判定する判定手段と、
    前記判定手段による判定の結果に従って、前記第２の撮像素子による撮像を制御する制御手段と
    を備えることを特徴とする撮像装置。
16. 異なる瞳領域を通過した被写体からの光束をそれぞれ受光する複数の光電変換部を有する撮像手段を有する撮像装置を用いる撮像方法であって、
    前記被写体からの光を検出して前記被写体の距離に関する距離情報を生成する工程と、
    前記距離情報と前記複数の光電変換部の瞳分割構成に基づいて、前記被写体が撮像後の処理でリフォーカス可能な距離範囲にあるかどうかを判定する工程と、
    前記判定の結果に従って、前記撮像手段による前記被写体の撮像を制御する工程と
    を備えることを特徴とする撮像方法。
17. 異なる瞳領域を通過した被写体からの光束をそれぞれ受光する複数の光電変換部を有する撮像手段を有する撮像装置を制御するためのプログラムであって、
    コンピュータを、
    前記被写体からの光を検出して前記被写体の距離に関する距離情報を生成する距離情報生成手段、
    前記距離情報と前記複数の光電変換部の瞳分割構成に基づいて、前記被写体が撮像後の処理でリフォーカス可能な距離範囲にあるかどうかを判定する判定手段、及び
    前記判定手段による判定の結果に従って、前記撮像手段による前記被写体の撮像を制御する制御手段
    として機能させるプログラム。
18. 請求項１７に記載のプログラムを格納したコンピュータが読み取り可能な記憶媒体。