JP2013254114A5 - 焦点検出装置、撮像装置、制御方法、プログラム及び記録媒体 - Google Patents

Description

本発明は、焦点検出装置、撮像装置、制御方法、プログラム及び記録媒体に関し、特に撮影後に任意の被写体距離に合焦した画像を生成する技術に関する。

コントラスト検出方式は、得られる撮像信号の信号強度等により合焦状態を検出するため、異なる光軸について得られた画像間の像のずれを検出する位相差検出方式に比べ、合焦する焦点位置を厳密に検出することができる。一方で、コントラスト検出方式を用いた合焦位置の検出では、焦点位置を異ならせながら撮像した複数の画像について合焦評価を行う必要がある。このため、コントラスト検出方式を用いた合焦位置の検出には複数の画像についての評価時間及びフォーカスレンズの駆動時間が必要であり、位相差検出方式に比べて検出に時間を要する。

これに対し特許文献１には、コントラスト検出方式を用いた合焦位置の検出において、撮像した画像信号について読み出す画素数を低減して得られた画像信号を合焦評価に用いることで、合焦評価処理に要する時間を低減する撮像装置が開示されている。

一方、近年では撮影後に任意の被写体距離に合焦した画像を生成可能な撮像装置がある。このような撮像装置では、撮像素子内の複数の光電変換素子に対してマイクロレンズが割り当てられ、１つのマイクロレンズに対応付けられた光電変換素子の各々に対して、撮影光学系の異なる瞳領域を通過した光束が結像される。該撮像装置により得られた撮像素子の各画素の出力信号を並べ替えて瞳分割数分の画素値を加算することで、任意の被写体距離に合焦した画像の各画素は生成される。

特許文献２には、撮影後に任意の被写体距離に合焦した画像を生成可能な撮像装置において、１回の撮像で得られた出力信号から複数の被写体距離に合焦した焦点検出用の画像を生成することで、撮影対象の被写体に合焦する焦点位置を検出する方法が開示されている。

しかしながら、特許文献２のような撮像装置における合焦位置を検出する方法は、被写体距離に応じて１回の撮像で得られた出力信号の画素の並べ替えを行い、並べ替え後の出力信号から焦点検出用の画像を生成する。このため、１つの被写体距離に合焦する焦点検出用の画像の生成には、画素の生成や該画像についての合焦評価に時間を要するため、コントラスト検出方式を用いた合焦位置の検出に要する時間の短縮は十分ではなかった。

これに対し、特許文献１のように撮像素子から読み出す画素を間引きして合焦評価を行うことで、１つの焦点検出用の画像の生成及び合焦評価に要する時間を低減することが考えられる。しかしながら、撮影後に任意の被写体距離に合焦した画像を生成可能な撮像装置について、焦点検出用に好適な間引き画像を生成する方法は、これまで提案されていなかった。

本発明は、上述の問題点に鑑みてなされたものであり、撮影後に任意の被写体距離に合焦した画像を生成可能な撮像装置における、オートフォーカス動作を高速化する焦点検出装置、撮像装置、制御方法、プログラム及び記録媒体を提供することを目的とする。

前述の目的を達成するために、本発明の焦点検出装置は、以下の構成を備える。
撮像手段によって被写体を撮像し得られた画像信号であって、画素の各々が、通過した撮像光学系の瞳領域及び入射方向の組み合わせが異なる光束に対応する画像信号を取得する取得手段と、画像信号から生成される再構成画像の焦点面を決定する決定手段と、決定手段により決定された焦点面における光束の位置関係に応じて画像信号を合成することにより該焦点面の再構成画像を生成する生成手段と、生成手段により生成された再構成画像について合焦評価を行う評価手段と、を有し、生成手段は、画像信号を構成する一部の画素を用いて再構成画像を生成することを特徴とする。

このような構成により本発明によれば、撮影後に任意の被写体距離に合焦した画像を生成可能な撮像装置における、オートフォーカス動作を高速化することが可能となる。

［実施形態］
以下、本発明の例示的な実施形態について、図面を参照して詳細に説明する。なお、以下に説明する一実施形態は、撮像装置の一例としての、撮影後に任意の被写体距離に合焦した画像を生成可能なカメラシステムに、本発明を適用した例を説明する。しかし、本発明は、任意の被写体距離に合焦した画像を生成して焦点検出動作を行うことが可能な任意の機器に適用可能である。

また、本明細書において、以下の用語を定義して説明する。
・「ライトフィールド（ＬＦ：Light Field）データ」
本実施形態のデジタルカメラ１００が有する撮像部１０２から出力される画像信号。画像信号の画素の各々は、通過した撮像光学系２０２の瞳領域及び入射方向の組み合わせが異なる光束に対応した信号強度を示している。ＬＦデータは、光線空間情報とも呼ばれる。
・「再構成画像」
ＬＦデータから生成される、任意の被写体距離に合焦した画像。具体的には生成する被写体距離に対応する焦点面（再構成面）での画素配置に従ってＬＦデータの画素を並び替え、再構成画像の１画素に対応する画素の画素値を合算することで該画素の画素値を得る。通常画素値を合算する画素数は、瞳分割数になる。

また本実施形態のデジタルカメラ１００では、撮像素子１０９の表面には、図２（ａ）に示されるようにマイクロレンズ２０が格子状に配列されたマイクロレンズアレイ１０８が配設される。マイクロレンズアレイ１０８の１つのマイクロレンズ２０は、図２（ｂ）に示されるように撮像素子１０９の複数の光電変換素子（画素）に対応付けられる。レンズ２００の撮像光学系２０２を介して入射した光束は、各マイクロレンズ２０により、対応付けられた撮像素子１０９の画素に結像されることで瞳分割される。即ち、対応付けられた撮像素子１０９の各画素には、対応付けられた画素位置に対応する撮像光学系２０２の瞳領域を通過した光束が結像される。図２（ｂ）の例では、１つのマイクロレンズ２０には４×４＝１６個の画素が対応付けられており、撮像光学系２０２の瞳分割数は１６となる。

Ｓ３０２で、カメラ制御部１０１は、合焦評価の評価対象である被写体距離を決定する評価距離決定処理を実行する。即ち、カメラ制御部１０１は、合焦評価のために生成する再構成画像（生成再構成画像）について、該生成再構成画像内で合焦する被写体の被写体距離を決定する。

Ｓ４０１で、カメラ制御部１０１は、合焦評価に係る最初の被写体距離決定であるか否かを判断する。即ち、カメラ制御部１０１は、ＡＦ処理が実行された際に最初に合焦評価を行う被写体距離を決定するために本評価距離決定処理を実行したか否かを判断する。つまり、カメラ制御部１０１は、取得したＬＦデータについて合焦評価を行う初めて再構成画像の生成を行うか否かを判断する。カメラ制御部１０１は、合焦評価にかかる最初の被写体距離決定であると判断した場合は処理をＳ４０２に移し、２回目以降であると判断した場合は処理をＳ４０５に移す。

Ｓ４０２で、カメラ制御部１０１は、前回の撮影時に設定された被写体距離の情報が取得可能か否かを判断する。前回の撮影時に設定された被写体距離の情報は、例えばメモリ１０４内に記憶されているＬＦデータから取得されてもよいし、ＲＡＭ内に格納されていてもよい。なお、前回の撮影時に設定された被写体距離の情報は、前回のＡＦ処理の実行により決定された被写体に合焦する被写体距離であってもよい。カメラ制御部１０１は、前回の撮影時に設定された被写体距離の情報が取得可能であると判断した場合は処理をＳ４０３に移し、取得できないと判断した場合は処理をＳ４０４に移す。

Ｓ４０３で、カメラ制御部１０１は、前回の撮影時に設定された被写体距離に基づき、予め決められたルールに従って評価対象の被写体距離（初期値）を設定して本評価距離決定処理を完了する。

Ｓ４０４で、カメラ制御部１０１は、評価対象の被写体距離を撮像面の被写体距離、即ちＡＦ処理のＳ３０１で取得したＬＦデータを前回の撮影時の被写体距離（初期値）に設定して本評価距離決定処理を完了する。

Ｓ４０１において合焦評価に係る２回目以降の被写体距離決定であると判断した場合、カメラ制御部１０１はＳ４０５で、現在の焦点探索が、評価対象の被写体距離を変更する間隔を粗くして行う粗調探索であるか、細かくして行う微調探索であるかを判断する。本実施形態ではカメラ制御部１０１は被写体距離について、まず粗調探索で大まかなコントラスト値の変化挙動を探索し、その結果を受けて適切な合焦位置が存在すると思われる被写体距離の範囲に対して微調探索を行うことでＡＦ処理に要する処理時間を短縮する。これは、図８に示されるようなレンズ駆動を行なって被写体に合焦する焦点位置を検出する方法と同様であり、本実施形態のカメラシステムではこれをレンズ駆動なしに実現する。カメラ制御部１０１は、現在の焦点探索が粗調探索であると判断した場合は処理をＳ４０６に移し、微調探索であると判断した場合は処理をＳ４０７に移す。

Ｓ４０６で、カメラ制御部１０１は、現在設定されている評価対象の被写体距離に対して、探索方向に応じて粗調探索用の被写体距離の設定間隔の値を加算あるいは減算して、得られた被写体距離を評価対象の被写体距離に設定して本評価距離決定処理を完了する。なお、粗調探索用の被写体距離の設定間隔は、例えば１０〜２５ＦΔ（Ｆ：Ｆナンバー、Δ：２０μｍ）程度が好ましい。

Ｓ４０７で、カメラ制御部１０１は、現在設定されている評価対象の被写体距離に対して、探索方向に応じて微調探索用の被写体距離の設定間隔の値を加算あるいは減算して、得られた被写体距離を評価対象の被写体距離に設定して本評価距離決定処理を完了する。なお、微調探索用の被写体距離の設定間隔は、例えば１〜５ＦΔ程度が好ましい。

なお、本実施形態では粗調探索であるか微調探索であるかの判断は、例えばＲＡＭ上に現在の探索方法の情報が格納されており、カメラ制御部１０１が該情報を参照することで行うものとして説明するが、これに限られない。例えばＡＦ処理の開始時には被写体距離の設定間隔の値として粗調探索用の値が初期値で設定され、カメラ制御部１０１が微調探索に移行してもよいことを判断した場合に、該値を予め定められた微調探索用の値に変更するものであってもよい。この場合、カメラ制御部１０１は現在の焦点探索が粗調探索であるか微調探索であるかを、被写体距離の設定間隔の値が閾値以上であるか否かにより判断すればよい。

このようにして合焦評価の評価対象である被写体距離を決定した後、カメラ制御部１０１はＡＦ処理をＳ３０３に移す。

Ｓ４１１で、カメラ制御部１０１は、合焦評価を行う被写体距離に対応する再構成面におけるＬＦデータの画素配置の情報を取得する。

図５（ｂ）に示されるように、例えば撮像面５０１に対応する被写体距離について再構成画像が生成される場合、該再構成画像の各画素は１つのマイクロレンズを通過する光束の総和に対応する。即ち、撮像光学系２０２の射出瞳の各瞳領域（図の例では瞳領域１乃至４）を通過して１つマイクロレンズに至る光束が、該マイクロレンズに対応する画素を形成することになる。このため、撮像面５０１に対応する被写体距離の再構成画像の各画素は、各マイクロレンズに対応付けられた画素の画素値を合算することで得られる。

これに対し、例えば撮像面５０１よりも長い被写体距離に相当する再構成面５０２について考える。図５（ｂ）において撮像面５０１と再構成面５０２とを結ぶ線分で示されるように、再構成面５０２に撮像素子１０９があった場合の各画素に結像される光束は、入射方向に応じて撮像面で得られたＬＦデータの画素配置を変更することにより再現することができる。つまり、再構成面５０２について生成する再構成画像の各画素については、変更後の画素配置において、撮像面における再構成画像の各画素と同様の位置に存在する画素について各瞳領域を通過した光束の画素値を合算することで画素値が得られる。

本ステップではカメラ制御部１０１は、このように被写体距離に応じて変更される、再構成画像の生成に係るＬＦデータの画素配置の情報を取得する。

ところで、ＬＦデータを使用し、任意の被写体距離に合焦する再構成画像を生成する場合、撮像部１０２から出力された状態のＬＦデータを単純に間引く方法では、次のような問題が生じる。

撮像部１０２から出力された状態のＬＦデータ、即ち撮像面６０１におけるＬＦデータの画素配列に対して間引き率１／２の離散的な間引きを行ない、再構成面６０２における間引き再構成画像を生成する場合を考える。このとき、再構成面６０２における画素配列において、間引き画素の分布は偏ることになる。このような場合、再構成面６０２について生成される間引き再構成画像の１画素には、間引き画素に対応する入射方向の光束が考慮されないことになるため、例えば該間引き画素の領域に結像される細線等が間引き再構成画像に反映されないことになる。即ち、例えば主被写体が細線を有している場合であっても、間引き再構成画像では該細線のコントラストを考慮できないため、検出された被写体距離が主被写体について厳密に合焦する被写体距離とはならない可能性がある。

Ｓ３０４で、カメラ制御部１０１は、合焦評価を行う被写体距離に対応する再構成面におけるＬＦデータの画素配置の情報を画像処理部１０３に伝送し、該情報に従ってＬＦデータの画素を再構成画像の生成用の画素配置にシフトさせる。

Ｓ４２５で、画像処理部１０３は、処理対象のＬＦデータの画素の画素値を、対応する再構成画像の画素についてのメモリ１０４の格納領域の値に加算する。なお、対応する再構成画像の画素は、間引きを行う場合は図６を用いて説明したような間引き再構成画像の各画素の生成に用いられるＬＦデータの画素は全て同じ領域の値に加算されるものとする。このとき、異なるカラーフィルタに対応するＬＦデータの画素は、異なる領域に格納されることは言うまでもない。また、例えば設定された被写体距離により、ＬＦデータの画素位置のシフト量が整数値ではない場合は、本ステップにおいて複数の画素値が内分されて、対応する再構成画像の画素についての格納領域の値に加算すればよい。

Ｓ４３２で、画像処理部１０３は、再構成画像の画素値についてフィルタ処理を適用する。該フィルタ処理では、粗調探索時にはより低周波成分に着目したフィルタリングを行い、微調探索時には粗調探索時に比べて高周波に着目したフィルタリングを行うとよい。このようにすることで、ローカルミニマムを避けつつ、最終的にコントラスト評価値から判断される被写体に合焦する被写体距離の合焦精度を向上することができる。

本実施形態では、このように評価枠内の全ての水平ラインについての最大画素値の合計値をコントラスト評価値として出力するものとして説明するが、被写体距離の変動に伴うコントラスト評価値の算出については他の計算方法を用いてもよい。例えば、隣接画素出力差の二乗和である二次コントラスト評価値を、隣接画素出力差の絶対和である一次コントラストの二乗で除すことで得られる、輝度値を無次元化した評価値を用いる方法が使用可能である。

このようにして合焦評価を行う再構成画像についてのコントラスト評価値を受信した後、カメラ制御部１０１は該評価値をＳ３０２において決定した被写体距離の情報に関連付けてＲＡＭに蓄積し、ＡＦ処理をＳ３０７に移す。

Ｓ３０７で、カメラ制御部１０１は、ＲＡＭに蓄積された各被写体距離についてのコントラスト評価値の変動に基づいて、被写体に合焦する最良の被写体距離を検出したか否かを判断する。具体的にはカメラ制御部１０１は、粗調探索及び微調探索の結果、コントラスト評価値が最も高くなる被写体距離のピーク値が得られたか否かを判断する。カメラ制御部１０１は、被写体に合焦する最良の被写体距離を検出したと判断した場合は処理をＳ３０９に移し、検出していないと判断した場合は処理をＳ３０８に移す。

Ｓ３０８で、カメラ制御部１０１は、ＲＡＭに蓄積された各被写体距離についてのコントラスト評価値の変動（評価結果）に基づいて、粗調探索から微調探索に移行するか否か、及び探索方向をいずれにするか、の少なくともいずれかを決定し、処理をＳ３０２に戻す。即ち、本ステップにおいてカメラ制御部１０１は、次に合焦評価する被写体距離の決定に必要な情報を更新する。

Ｓ３０９で、カメラ制御部１０１は、Ｓ３０７において検出を判断した被写体距離の情報を電気接点１０７を介してレンズ２００のレンズ制御部２０１に送信し、該被写体距離にフォーカスレンズを駆動させる。レンズ制御部２０１は、受信した被写体距離の情報をレンズ駆動部２０３に伝送し、フォーカスレンズを被写体距離に対応する位置に駆動させる。

このようにすることで、１回の撮像により得られたＬＦデータから、レンズ駆動を行わずに被写体に合焦する被写体距離を検出することができる。また、粗調探索時及び微調探索時に、合焦評価に係る再構成画像の画素数を適切に低減することで、再構成画像の生成やコントラスト評価に要する時間を短縮することができる。

以上説明したように、本実施形態の撮像装置は、撮影後に任意の被写体距離に合焦した画像を生成可能な撮像装置における、オートフォーカス動作を高速化することができる。具体的には撮像装置は、合焦評価用の生成再構成画像の画素数を設定し、該画素数と画像信号の画素から生成可能な再構成画像の上限画素数とから生成再構成画像の各画素の生成に用いる生成可能な再構成画像の画素を決定する。そして、生成再構成画像の各画素について、生成に用いる生成可能な再構成画像の画素に対応する画像信号の画素のうち、所定数の画素を、生成再構成画像の生成に用いる画素として選択する。このとき撮像装置は、設定された生成再構成画像の画素数が上限画素数よりも少ない場合は、生成に用いる生成可能な再構成画像の画素のそれぞれについて少なくとも１つの対応する画像信号の画素を選択する。

Claims (11)

1. 撮像手段によって被写体を撮像し得られる画像信号であって、画素の各々が、通過した撮像光学系の瞳領域及び入射方向の組み合わせが異なる光束に対応する画像信号を取得する取得手段と、
   前記画像信号から生成される再構成画像の焦点面を決定する決定手段と、
   前記決定手段により決定された焦点面における光束の位置関係に応じて前記画像信号を合成することにより該焦点面の再構成画像を生成する生成手段と、
   前記生成手段により生成された前記再構成画像について合焦評価を行う評価手段と、を有し、
   前記生成手段は、前記画像信号を構成する一部の画素を用いて前記再構成画像を生成することを特徴とする焦点検出装置。
2. 前記生成手段は、前記再構成画像の各画素について、該画素に対応する光束のうちの少なくとも１つの光束に対応する、前記画像信号を構成する画素を用いて生成することを特徴とする請求項１に記載の焦点検出装置。
3. 焦点面は、合焦する被写体距離を基準に定まるものであり、
   前記決定手段は、前記評価手段による評価結果に応じて、合焦評価が行われた焦点面の被写体距離と次に合焦評価が行われる焦点面の被写体距離との間隔を変更することを特徴とする請求項１または２に記載の焦点検出装置。
4. 前記生成手段は、前記決定手段により焦点面の決定に用いられた被写体距離の間隔が広いほど、前記再構成画像の生成に用いる前記画像信号を構成する画素の数を少なくすることを特徴とする請求項３に記載の焦点検出装置。
5. 前記画像信号を構成する画素は、複数色のカラーフィルタのいずれかに対応する色信号であり、
   前記生成手段は、前記再構成画像の各画素について、前記複数色のカラーフィルタのそれぞれに対応する前記画像信号を構成する画素を少なくとも１つずつ合成に用いることを特徴とする請求項１乃至４のいずれか１項に記載の焦点検出装置。
6. 前記生成手段は、前記再構成画像の画素のうちの少なくとも２つの画素について、各々異なる瞳領域を通過した光束に対応する、前記画像信号を構成する画素を合成に用いることを特徴とする請求項１乃至５のいずれか１項に記載の焦点検出装置。
7. 前記生成手段は、再構成画像の１つの画素について瞳分割数の前記画像信号を構成する画素を合成に用いることを特徴とする請求項１乃至６のいずれか１項に記載の焦点検出装置。
8. 撮像手段と、
   請求項１乃至７のいずれか１項に記載の焦点検出装置と、
   前記焦点検出装置の合焦評価に基づいて焦点調節を行う焦点調節手段と、を有することを特徴とする撮像装置。
9. 撮像手段によって被写体を撮像し得られた画像信号であって、画素の各々が、通過した撮像光学系の瞳領域及び入射方向の組み合わせが異なる光束に対応する画像信号を取得する取得工程と、
   前記画像信号から生成される再構成画像の焦点面を決定する決定工程と、
   前記決定工程において決定された焦点面における光束の位置関係に応じて前記画像信号を合成することにより該焦点面の再構成画像を生成する生成工程と、
   前記生成工程において生成された前記再構成画像について合焦評価を行う評価工程と、を有し、
   前記生成工程において、前記画像信号を構成する一部の画素が前記再構成画像の生成に用いられることを特徴とする焦点検出装置の制御方法。
10. コンピュータを、請求項１乃至７のいずれか１項に記載の焦点検出装置の各手段として機能させるためのプログラム。
11. 請求項１０に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。

Images