JP2017187589A - 焦点調節装置およびその方法、撮像装置、プログラム、記憶媒体 - Google Patents

Abstract

【課題】被写体を追尾しながら高精度に焦点調節を行うことができる焦点調節装置を提供すること。【解決手段】撮像光学系を通過した光を受光する撮像素子から出力される画像信号に基づいて、被写体を検出する被写体検出手段（１０８）と、前記被写体の信頼性を判定する判定手段（１１２）と、前記被写体の焦点状態を位相差方式により検出する焦点検出手段（１１０）と、前記被写体の過去のフォーカス位置に基づいて、前記被写体の次のフォーカス位置を予測する予測手段（１０６）と、前記被写体の検出位置と、前記被写体の予測フォーカス位置と、に応じて、前記撮像光学系のフォーカス制御を行う制御手段（１１１，１１２）と、を有し、前記制御手段は、前記焦点状態を検出する際の位相差検出方向が切り換わるとき、前記信頼性を判定する判定基準を変更することを特徴とする。【選択図】図１

Description

本発明は、焦点調節装置に関し、特に被写体を追尾しながら焦点調節を行う焦点調節装置に関する。

特許文献１には、構図内の任意の被写体の位置を特定し、該被写体を追尾しながら自動焦点調節（ＡＦ）を行うことができる撮像装置について開示がある。特許文献１では、被写体の追尾結果の信頼性を判定し、信頼性があると判定された場合に追尾結果で特定された被写体の位置にあるポイントを測距点とし、そこで算出されたデフォーカス量に基づいて焦点調節動作を行っている。また、信頼性が無いと判定された場合に過去の焦点検出結果（フォーカス位置）から現在のフォーカス位置を予測する事で動体などを撮影した際も、簡単に被写体のピントのあった写真を撮影することが出来るとしている。

また、特許文献２には、瞳分離した像により位相差を求めて焦点検出を行うと同時に同一マイクロレンズに対応した画素を全て加算して１つの画素として取り扱う事で観賞用の画像を作成する撮像装置について開示がある。

更に、特許文献３には、同一マイクロレンズ内に４つの光電変換部を持ち、それぞれの光電変換部の信号を加算する加算方向を変える事で縦方向の位相差、横方向の位相差を得る撮像装置について開示がある。

特開２０１３−２１８０６２号公報 特開２００８−１３４３８９号公報 特開２００７−３２５１３９号公報

しかしながら、上記従来技術の構成では、例えば画面内に縦方向の位相差で位相差検出を行う領域と、横方向の位相差で位相差検出を行う領域の複数方向の位相差検出領域が存在する場合、被写体への追尾ＡＦがとぎれてしまう虞があるという問題が発生する。

ここで、対象となる主被写体が縦方向の位相差で位相差検出を行う領域から横方向の位相差で位相差検出を行う領域に移動した時、瞳分離した像とその像をずらす方向（位相差検出方向）が変わる。この時、縦方向の瞳分割した像において背景のコントラストが低い場合、主被写体にフォーカスが合っていたものが横方向の瞳分割した像において背景のコントラストが高い場合、背景側にフォーカスが合うような焦点検出結果が得られる場合がある。

その場合、過去の焦点検出結果と大きく異なってしまい、現在の焦点検出結果から、むやみに測距点を変更してしまうと完全に被写体を見失ってしまう虞がある。すなわち、本来ピントを合わせたかった場所とは異なる場所にピントが合ってしまい、被写体への追尾ＡＦがとぎれてしまう虞があるという問題が発生する。

そこで本発明の目的は、被写体を追尾しながら高精度に焦点調節を行うことができる焦点調節装置およびその方法、撮像装置、プログラム、記憶媒体を提供することである。

本発明の一側面としての焦点調節装置は、撮像光学系を通過した光を受光する撮像素子から出力される画像信号に基づいて、被写体を検出する被写体検出手段と、前記被写体の信頼性を判定する判定手段と、前記被写体の焦点状態を位相差方式により検出する焦点検出手段と、前記被写体の過去のフォーカス位置に基づいて、前記被写体の次のフォーカス位置を予測する予測手段と、前記被写体の検出位置と、前記被写体の予測フォーカス位置と、に応じて、前記撮像光学系のフォーカス制御を行う制御手段と、を有し、前記制御手段は、前記焦点状態を検出する際の位相差検出方向が切り換わるとき、前記信頼性を判定する判定基準を変更する、ことを特徴とする。

本発明によれば、被写体を追尾しながら高精度に焦点調節を行うことができる焦点調節装置およびその方法、撮像装置、プログラム、記憶媒体を提供することができる。

本発明の実施形態にかかる撮像装置の構成を示すブロック図である。 本発明の実施形態にかかる撮像素子の画素部の構造を示した上面図である。 本発明の実施形態にかかる加算信号分離手段の内部回路と入出力データを示した図である。 本発明の実施形態にかかる追尾処理における相関最小値S_minと時間との関係を示したグラフである。 本発明の実施形態にかかる撮像素子による位相差検出処理の原理説明を示した図である。 本発明の実施形態にかかる位相差検出処理を示した図である。 本発明の実施形態にかかるフォーカス位置と時間との関係を示したグラフである。 本発明の実施形態にかかる画像内の横方向の位相差領域と縦方向の位相差領域を示した図である。 本発明の実施形態にかかる主被写体が縦方向から横方向の位相差領域に移動した事を示した図である。 本発明の実施形態にかかる追尾枠と測距点を示した図である。 本発明の実施形態にかかる撮影動作のフローチャートである。 本発明の実施形態にかかる追尾結果が信頼出来ないと判断された時の予測フォーカス位置を用いた焦点検出方法を示した図である。 本発明の実施形態にかかる追尾結果と検出フォーカス位置のどちらの結果を使用するかを示した図である。

以下、本発明の好適な実施の形態について、図面を参照しながら詳細に説明する。なお、各図において同一の部材については同一の参照番号を付し、重複する説明は省略する。

図１は本発明の実施例１における焦点調節装置を備えた撮像装置の構成を示すブロック図である。なお、本実施例では、本発明の焦点調節装置は、撮像光学系（撮影レンズ）と撮像装置本体が一体となったレンズ一体型の撮像装置に適用されているが、本発明はこれに限定されない。例えば、撮像装置本体と、該撮像装置本体に着脱可能な撮像光学系を有する交換レンズと、から構成される撮像システム（光学機器）に適用することもできる。

光学系１０１（撮像レンズ）は、ズームレンズ、絞り、フォーカスレンズのうち少なくとも１つ以上から構成される。光学系駆動手段１０２は、後述するＡＦ制御手段１１１から出力されるフォーカス情報や、後述するシステム制御手段１１２の光学系駆動情報に応じて光学系１０１を駆動する。

撮像素子１０３は、光学系１０１（撮像光学系）を通過した光を受光し、光学系１０１により形成された被写体像を光電変換により電気信号に変換して、画像信号と瞳分割像の信号の２つの信号を出力する。撮像素子駆動手段１０４は、後述するシステム制御手段１１２からの撮像素子駆動指示情報に応じて、撮像素子１０３を駆動する。

加算信号分離手段１０５は、撮像素子１０３から出力される画像信号から瞳分割像の信号を減算し、もう一方の瞳分割像の信号を生成し、２つの瞳分割像を後述する位相差検出手段１１０に出力する。また、減算前の信号は後述するカメラ信号処理手段１０７に出力する。

フォーカス位置予測手段１０６は、後述するＡＦ制御手段１１１で得られたフォーカス位置を毎フレーム記録しておき次のフレームのフォーカス位置がどのあたりに位置するかを予測する。このように、フォーカス位置予測手段１０６は、撮影画像内の被写体のうち追尾対象となる主被写体の過去のフォーカス位置に基づいて、主被写体の次のフォーカス位置（予測フォーカス位置）を予測する予測手段として機能する。予測位置は、後述する測距点決定手段１０９に出力する。

カメラ信号処理手段１０７は、加算信号分離手段１０５から得られた画像信号に対し、例えば、色変換、ホワイトバランス、ガンマ補正等の既知の画像処理や、解像度変換処理、画像圧縮処理、後述の被写体検出手段１０８で用いる輝度Ｙ生成処理等を行う。各種処理を行うことにより表示／記録用の映像信号が生成され、不図示の表示装置や記録メディアに記録される。

被写体検出手段１０８は、撮像素子１０３から出力される画像信号に基づいて、撮影画像の中の任意の被写体（主被写体）の位置を検出（特定）する。具体的には、カメラ信号処理手段１０７から得られた輝度Ｙの画像信号に対し、撮影者が手動で指定した追尾対象位置、あるいは撮像装置が自動で設定した追尾対象位置に対応する画像をテンプレート画像として不図示の記憶部に記憶させる。また、記憶させるとともに、その追尾対象位置と後述する追尾対象位置の信頼性を測距点決定手段１０９に出力する。

測距点決定手段１０９は、被写体検出手段１０８からの追尾対象位置とフォーカス位置予測手段１０６からのフォーカス予測位置情報を受けて測距点を決定する。

位相差検出手段１１０は、撮像光学系（被写体）の焦点状態を位相差方式により検出する焦点検出手段として機能する。測距点決定手段１０９で指定された枠に対して加算信号分離手段１０５から得られた２つの瞳分割像から位相差検出を行うための位相差評価値を算出する。

ＡＦ制御手段１１１は、位相差評価値を基に、光学系１０１のフォーカス位置を制御するためのフォーカス情報を算出する。

システム制御手段１１２は、撮像装置全体を制御する。ＡＦ制御手段１１１およびシステム制御手段１１２は、被写体の検出位置と、被写体の予測フォーカス位置と、に応じて、撮像光学系のフォーカス制御を行う制御手段として機能する。また、システム制御手段１１２は、検出した被写体の信頼性を判定基準に基づいて判定する判定手段としても機能する。システム制御手段１１２は、ユーザ指示や撮影シーン検出、被写体検出などから得られる撮影情報に基づいて、光学系駆動手段１０２へズームや絞りなどの光学系の駆動情報を送信する。また、撮像素子駆動手段１０４へ瞳分割方向の切り換え指示や露光時間などの撮像素子の駆動情報を送信する。また、フォーカス位置予測手段１０６へフォーカス情報を送信する。また、主被写体が縦方向⇔横方向の位相差検出領域に移動したかどうかを２次元画像の座標位置から判断し、方向切り替わり信号を測距点決定手段１０９に送信する。

次に、本実施例における撮像素子１０３の構成及び、その駆動について説明する。

図２は、本実施例の撮像素子１０３の画素部の構造の上面図を模式的に示したものである。画素部２０６は入射光を電荷に変換するフォトダイオードに代表される複数の光電変換部から成っている。図は、４つの光電変換部２０１、２０２、２０３、２０４を持つ例を示しており、それら４つ（複数）の光電変換部に共通で１つのマイクロレンズ２０５を備える構造なっている。なお、本実施例では、４つの光電変換部を設ける構成としたが、本発明はこれに限定されず、例えば５つ以上の光電変換部を設けてもよい。このように、本発明の撮像素子は、１つのマイクロレンズに対して少なくとも４つの光電変換部を備えている。また、本撮像素子１０３には、このような画素部が２次元状に複数配置されており、撮像素子上に存在する他の画素部についても、図示した位置関係に光電変換部が存在する。また、光電変換部２０１と２０２と２０３と２０４から得られる値を加算する事で、瞳分離されていない画像が得られる。また、光電変換部２０１と２０３から得られる値を加算する事で、左信号が得られ、光電変換部２０２と２０４から得られる値を加算する事で、右信号が得られ、左右に瞳分離された像が得られる。

このように各光電変換部の加算対象を変化させる事で左右に瞳分離された像や上下に瞳分離された像、あるいは瞳分離されていない画像を得ることが出来る。換言すれば、本実施例の撮像素子は、撮像光学系を通過した光を光電変換した画像信号を出力可能に構成される。また、撮像光学系の左右方向（横方向、第１方向）の異なる瞳部分領域を通過した光を光電変換した焦点検出信号（以下、第１の焦点検出信号という）を出力可能に構成される。さらに、撮像光学系の上下方向（縦方向、第１方向と異なる第２方向）の異なる瞳部分領域を通過した光を光電変換した焦点検出信号（以下、第２の焦点検出信号という）を出力可能に構成される。本実施例では、撮像素子上に第１の焦点検出信号を出力する第１領域と第２の焦点検出信号を出力する第２領域とが設定される。そして、位相差検出手段１１０では、この第１の焦点検出信号または第２の焦点検出信号に基づいて、被写体の焦点状態を位相差方式により検出することができる。

また、本発明では光電変換部２０１から得られる像をＡ像、光電変換部２０２から得られる像をＢ像、光電変換部２０３から得られる像をＣ像、光電変換部２０４から得られる像をＤ像と呼ぶ。また、光電変換部２０１と２０２と２０３と２０４を加算して得られる像をＡ＋Ｂ＋Ｃ＋Ｄ像と呼ぶ。

本発明では、撮像素子駆動手段１０４に基づいた撮像素子内部の詳細な制御は割愛するが撮像素子駆動手段１０４から瞳分割方向指示情報を受け取り、その指示情報に基づく制御を行う。例えば、各光電変換部内にあるトランジスタやフローティングディフュージョン、リセットの制御を行い撮像素子の出力信号を制御する。

図３は、本発明の撮像装置の加算信号分離手段１０５の内部回路と入出力信号を示したものである。図３（ａ）では入力信号としてＡ＋Ｂ＋Ｃ＋Ｄ像と上信号（Ａ＋Ｂ像、第２の焦点検出信号）を読み出し、Ａ＋Ｂ＋Ｃ＋Ｄ像からＡ＋Ｂ像を減算する事で下信号（Ｃ＋Ｄ像）を生成する。上下の信号が生成された事により、位相差は縦方向に生じる。図３（ｂ）では入力信号としてＡ＋Ｂ＋Ｃ＋Ｄ像と左信号（Ａ＋Ｃ像、第１の焦点検出信号）を読み出し、Ａ＋Ｂ＋Ｃ＋Ｄ像からＡ＋Ｃ像を減算する事で右信号（Ｂ＋Ｄ像）を生成する。左右の信号が生成された事により、位相差は横方向に生じる。

このように瞳分離されていないＡ＋Ｂ+Ｃ＋Ｄ像をカメラ信号処理手段１０７へ出力し、瞳分離した２つの瞳分割像を位相差検出手段１１０へ出力する。

ここで、被写体検出手段１０８に関して簡単に説明する。被写体検出手段１０８は、顔検出等で得られた顔画像と指定のカメラ信号処理手段１０７で生成された輝度Ｙの画像信号を用い、両画像の２次元相関演算を用いて行う。ただし、本発明はこれに限定されず、例えば、カメラ本体内に記憶されている追尾用のテンプレート画像、またはユーザが画面上をタッチしてその場所を切り出した画像を用い、両画像の２次元相関演算を用いて行ってもよい。すでに説明したように、両画像ともに輝度情報Ｙへの変換をなされており、追尾用のテンプレート画像は水平Ｍ×垂直Ｎ画素、カメラ信号処理手段１０７から取得した画像信号はＨ３２０×Ｖ２４０の大きさを持つとする。被写体検出手段１０８での追尾演算は、両画像の相対的な位置をずらしながら、各位置にて両画像のＹの差分の絶対値の和Ｓを算出する。追尾用テンプレート画像とカメラ信号処理手段１０７で生成された輝度Ｙの画像信号が仮に完全に一致した位置であるとすれば、Ｓは０となる。よって、追尾演算は両画像の相対的な位置をずらしながら、各位置にてＳの値を算出し、Ｓが最小となる値の位置を探す演算となる。カメラ信号処理手段１０７で生成された輝度Ｙの画像信号をA_{i , j}（1≦i≦320, 1≦j≦240）、追尾用テンプレート画像をB_{x , y}（1≦x≦M, 1≦y≦N）とそれぞれ表現する。そうすると、両画像がある相対位置（i , j）にあるときのSは、以下の式（１）で表される。

このＳが最小となる（i , j）が最も相関の出たポイントとなり、追尾対象が存在する位置だと考えられる。また、ある相対位置で最小となったS_minは、小さい数値であるほど両画像の一致度が高い（０であれば完全に両画像が一致した状態）ので、そのまま追尾演算の信頼性を表すパラメータであると考えられる。更に追尾演算を終えたら、追尾用テンプレート画像を、新たに算出して最も相関が出た位置の画像に更新する。このように追尾用テンプレート画像を随時更新することによって、追尾対象の向き等が変わることによる追尾演算への影響を軽減することができる。なお、ここでは輝度情報Ｙのみを用いた２次元相関演算に関して述べたが、色情報等を用いて、同様の演算を行っても良い。

図４は上述したS_minと時間の関係を示したグラフである。信頼性閾値（判定基準）は絞り値・シャッタースピード等の撮影条件によって変動するものであり、この閾値を超えるS_minだった場合、その時間における画像信号を用いた追尾は信頼性が低いものだと判断できる。尚、ここでは時間t4において信頼性の低い追尾結果が出力されている事を示している。

上述したように被写体検出手段（追尾手段）１０８で得られた信頼性パラメータとＡＦ用の測距点の枠情報を測距点決定手段１０９に出力する。

次に図５、図６を用いて画像信号からの位相差評価値の算出方法について説明する。

図５は、図２のS−S’ 間の断面を模式的に示したものである。

５０１は、像側から見た撮像レンズの射出瞳を示したものである。合焦時の撮像レンズの結像面５０６から射出瞳５０１までの距離を射出瞳位置と呼び、図示していない撮像レンズの絞りよりも後方（結像面側）にあるレンズ群の曲率や絞りとの位置関係などによりその位置は変化する。また、当然ながら絞りの径によって大きさは変化する。５０４、５０５はそれぞれマイクロレンズ５０７によって射出瞳位置に投影された光電変換部２０１、２０３の射出瞳である。光電変換部２０１へは、射出瞳５０５を通る光束５０３が入るように設計されており、逆に、光電変換部２０３へは、射出瞳５０４を通る光束５０２が入るように設計される。また、図示を省略した撮像素子１０３を構成する他の画素部についても同様に設計されており、光電変換部２０１と同じに位置する複数の光電変換部（第１のフォトダイオード）には、撮像レンズの射出瞳５０１のうち右側の５０５の領域で見た像が得られる。同様に、光電変換部２０３と同じに位置する複数の光電変換部（第２のフォトダイオード）には、撮像レンズの射出瞳５０１のうち左側の５０４の領域で見た像が得られる。いま、光束５０２によって撮像素子１０３上で得られる像をＢ像、光束５０３によって撮像素子１０３上で得られる像をＡ像とすると、合焦状態によっては画像信号上に視差を含んだ信号が得られる。

図６は、前ピン状態での画像信号をＡ像（第１のフォトダイオードで得られる像：６０２）とＢ像（第２のフォトダイオードで得られる像：６０１）とに分けて図示している。位相差検出方式による被写体までの距離情報は、Ａ像６０２とＢ像６０１の相対関係と像間の距離６０３及び、そのフォーカス位置における結像面から射出瞳までの距離から算出される。位相差検出手段１１０は、算出された被写体までの距離情報を位相差評価値として、ＡＦ制御手段１１１へ出力する。

ＡＦ制御手段１１１は、位相差検出手段１１０からの位相差評価値に基づいて、目標フォーカス位置を決定し、そのフォーカス情報を光学系駆動手段１０２に出力する。尚、説明では、水平方向に瞳分割して読み出された画像信号（左画像と右画像）による位相差検出の事例を示したが、垂直方向に瞳分割して読み出された画像信号（上画像と下画像）においても同様に実施可能であるため、説明を割愛する。

また、ＡＦ制御手段１１１で決定した目標フォーカス位置をシステム制御手段１１２に出力し、システム制御手段１１２はフォーカス位置予測手段１０６にフォーカス位置を出力する。

図７はフォーカス位置と時間の関係を示したグラフである。

フォーカス位置予測手段１０６では、前述したフォーカス位置を毎フレーム記録しておき、フォーカス位置の履歴から次のフレームでどの位置にフォーカス位置がくるかを予測しておく。

図８に１枚の画像領域内に横方向の位相差検出を行う領域と縦方向の位相差検出を行う領域が混在している例を示す。

８０１は横方向の位相差検出領域、８０２は縦方向の位相差検出領域を示している。

位相差検出に用いる相関演算では、対となる視差像を位相差方向側にシフトしながら行う。その為、位相差方向の両端にシフト数に応じた余分画素領域が必要となる。

図８のように画像の両端を横方向に位相差検出を行おうとすると余分画素領域が必要な為、全領域の位相差検出が不可能となる。その為、画像の両端は縦方向に位相差検出を行う事でシフト数に応じた余分画素領域を確保出来るため、全領域の位相差検出が可能となる。

図９は主被写体が縦方向の位相差検出領域から横方向の位相差検出領域へと移動したときを図示したものである。

上述したように被写体検出手段１０８では、輝度情報Ｙを用いるので位相差検出方向が異なった場合においても影響を受けずに追尾結果を出力する。しかし、位相差検出においては対となる視差像を位相差方向側にシフトしながら行う為、対となる視差像が縦方向と横方向とで大きく異なってしまい、位相差検出結果に影響を与える。

図１０は追尾の枠情報とそれに付随した測距点の関係を示した図である。

被写体検出手段１０８で得られた追尾結果によって生成された枠を追尾枠１００１、その追尾枠と周辺の８枠を合わせた９枠を測距点１００２とする。

得られた９枠の測距点１００２の枠に対してそれぞれ位相差検出を行い、ＡＦ制御手段１１１で決定した目標フォーカス位置を各枠毎に算出する。そして、図７に示した次フレーム予測フォーカス位置に近い枠を焦点検出の対象枠としてそれに従いフォーカスレンズを駆動する。

図１１は本発明におけるフローチャートであり、システム制御手段１１２により実行される。

Ｓ１１０１では撮影開始をしてＥＶＦ（電子ビューファインダ）表示を行い、まず最初の測距点を決定する。この最初の測距点は主被写体の顔検出結果に基づいて決定してもよいし、またはコントラスの高い領域を測距点としても良い。

Ｓ１１０２では最初の測距点の領域から得られた画像から追尾用のパターンマッチング用の基準パターンを生成し、追尾用として用いる。

Ｓ１１０３では画像の取り込みを行う。ここでの画像取り込みは追尾用に用いる輝度Ｙの画像と、位相差検出に用いる瞳分離した２像の取り込みの両方である。

次に前述したように被写体検出手段１０８においてパターンマッチング処理を行う（Ｓ１１０４）。

Ｓ１１０５は追尾している主被写体が図９のように縦方向から横方向に移動したかを判断する。これは現在の追尾枠の座標位置と予めわかっている画像内の縦方向の領域、横方向の領域から判断する。なお、位相差検出手段１１０では、追尾している主被写体の検出位置（縦方向の領域または横方向の領域）に基づいて、位相差検出方向が切り換わる。本実施例では、図８で示したように、撮影画像の中心部（中心領域、横方向の位相差検出領域）に主被写体が検出されるときと、画像の端部（端領域、縦方向の位相差検出領域）に主被写体が検出されるときと、で位相差検出方向が切り換わる。

縦方向の位相差で位相差検出を行う領域⇔横方向の位相差で位相差検出を行う領域に主被写体が移動した場合は、図４に示した信頼性の閾値を上げる（Ｓ１１０６）。このように、本発明では、焦点状態を検出する際の位相差検出方向が切り換わるとき、検出した被写体の信頼性を判定する判定基準（信頼性閾値）を変更する。具体的に、位相差検出方向が第１方向（例えば、縦方向）から第２方向（例えば、横方向）に切り換わるとき、信頼性があると判定する基準を高くする。換言すれば、本実施例の撮像素子は、第１の焦点検出信号を出力する第１領域と第２の焦点検出信号を出力する第２領域とが設定されているため、被写体の検出位置が第１領域から第２領域に移動したとき、被写体の信頼性を判定する判定基準を変更する。具体的に、被写体が第１領域から第２領域に移動したとき、被写体が第１領域から第２領域に移動しないときよりも被写体の信頼性があると判定されるように判定基準を変更する。すなわち、第１の焦点検出信号に基づく被写体の焦点状態を検出する状態から第２の焦点検出信号に基づく被写体の焦点状態を検出する状態に切り換わるとき、信頼性があると判定する基準を高くする。信頼性の閾値を上げる理由は、追尾情報の参照度合いを上げて、予測フォーカス位置情報の参照度合いを下げる事で極端な追尾枠のずれを起こさないようにするためである。このように、焦点状態を検出する際の位相差検出方向が切り換わるとき、予測フォーカス位置よりも被写体検出位置を優先してフォーカス制御を行うようにする。

次にＳ１１０７で上述した追尾結果S_minが信頼性閾値を超えていないかどうかを判断する。追尾結果が信頼性閾値を超えていない場合、その追尾結果は信頼できると判断されＳ１１０８に移る。Ｓ１１０８では図１０に示したように追尾結果を中心の枠として（１００１）、その周辺８枠を含めた９枠（１００２）を測距点とする。

Ｓ１１０９で９枠分の位相差検出を行い、各々のフォーカス位置を取得する。このように、ＡＦ制御手段１１１では、信頼性の判定基準に基づいて被写体の信頼性があると判定されたとき、現在（現フレーム）の主被写体の検出位置に基づいて、複数の焦点検出領域を設定し、該複数の焦点検出領域においてフォーカス位置を算出する。

次にＳ１１１０ではＳ１１０９で得られた９枠のフォーカス位置とフォーカス位置予測手段１０６で予測した予測フォーカス位置と比較を行い、最も予測フォーカス位置に近かった枠を焦点検出の対象枠にする。すなわち、測距点決定手段１０９は、追尾している被写体の位置に基づいて算出された複数のフォーカス位置と、予測フォーカス位置と、を比較する比較手段としての機能を有する。また、それと同時にフォーカス位置予測手段１０６にもフォーカス位置を記録しておく（Ｓ１１１１）。その後、算出した複数のフォーカス位置のうち予測フォーカス位置に最も近いフォーカス位置に基づいて、フォーカス制御が行われる。

一方で、Ｓ１１０７で追尾結果が信頼性閾値を超えている場合、その追尾結果は信頼できないと判断されＳ１１１２に移る。

追尾の結果が信頼出来ないため、測距点は移動させずに前フレームと同一位置で位相差検出を行う（Ｓ１１１２）。次にＳ１１１３ではＳ１１１０と同様に得られた９枠のフォーカス位置とフォーカス位置予測手段１０６で予測した予測フォーカス位置と比較を行い、最も予測フォーカス位置に近かった枠を決定する。

Ｓ１１１４ではＳ１１１３で決定した枠を中心にその周辺８枠を含めた９枠を測距点とする。Ｓ１１１５はＳ１１０９と同様に９枠分の位相差検出を行い、各々のフォーカス位置を取得する。このように、ＡＦ制御手段１１１では、信頼性の判定基準に基づいて被写体の信頼性がないと判定されたとき、過去（前フレーム）の主被写体の検出位置に基づいて、複数の焦点検出領域を設定し、該複数の焦点検出領域においてフォーカス位置を算出する。そして、再びＳ１１１６で得られた９枠のフォーカス位置とフォーカス位置予測手段１０６で予測した予測フォーカス位置と比較を行い、最も予測フォーカス位置に近かった枠を決定する。

Ｓ１１１７はＳ１１１１と同様、最も予測フォーカス位置に近かった枠を焦点検出の対象枠として同時にフォーカス位置予測手段１０６にも記録しておく。その後、予測フォーカス位置に最も近いフォーカス位置に基づいて、フォーカス制御が行われる。

このように、追尾の信頼性が低い時でも予測フォーカス位置を求めておく事で追尾が実現出来、且つ主被写体が縦方向から横方向に移動した場合においても追尾結果の参照度合いと予測フォーカス位置の参照度合いを変更する事で追尾を実現する事が可能となる。

レリーズボタンが全押されたら（Ｓ１１１９）、撮影（Ｓ１１２０）に移行しレリーズボタンが全押しされなかったら追尾用に基準パターンを更新（Ｓ１１１８）し、次のフレームのパターンマッチングに用いるようにする。

図１２は追尾結果が信頼出来ないと判断された時の予測フォーカス位置を用いての追尾処理を示したものである。

Ｓ１１０７で信頼出来ないと判断された後、図１２の左の図のように前フレームの測距点位置にて９枠の焦点検出を行う。その後、予測フォーカス位置に最も近い枠が決定され真ん中の図に示したように追尾枠（中心枠）が決定される。最後に右図のように決定された追尾枠（中心枠）を中心とした９枠で再び焦点検出を行い、その中で予測フォーカス位置に最も近い枠を現フレームの焦点検出の対象枠とする。

図１３は追尾の結果と、予測フォーカス位置と検出フォーカス位置の結果から９点の測距点の中心の枠を決める為の動作を図示したものである。

時間ｔ１における画像は基準パターンと近く、追尾の信頼性も高く、また予測したフォーカス位置と検出したフォーカス位置が近い場合である。

この時、追尾の信頼性が高いため追尾枠を測距点の中心とする。

時間ｔ２における画像は基準パターンに対して、斜め方向を向いていてその為、追尾の信頼性が低い。一方で予測したフォーカス位置と検出したフォーカス位置が近いため、９点の測距点の中心は検出したフォーカス位置の枠に設定する。

時間ｔ３における画像も時間ｔ２と同様に斜め方向を向いており、且つ横方向の位相差検出領域から縦方向の位相差検出領域に移動しているものとする。この時、前述したように横方向の瞳分割した像では背景のコントラストが低く、縦方向の瞳分割した像には背景のコントラストが高いなどのケースを想定すると、予測したフォーカス位置と検出したフォーカス位置が遠くなってしまう。

この状態で、検出フォーカス位置を中心枠として測距点の変更をかけてしまうと、全く被写体のいない箇所を測距点として選択してしまう恐れがあるのだが、信頼性閾値を上げる事によって追尾の信頼性が高くなり、追尾枠を測距点の中心とする。

このようにする事で、誤った測距点を選択する事を防ぐ事が可能となる。

以上説明したように、本発明によれば、Ｓ１１０５で縦目領域⇔横目領域が切り替わった時に被写体検出手段で用いている信頼性閾値を上げて追尾結果の参照度合いを上げる。したがって、主被写体が縦方向の位相差で位相差検出を行う領域から横方向の位相差で位相差検出を行う領域に移動した場合でも、誤った焦点検出エリアを決定することなく、本来ピントを合わせたい測距点で位相差検出を行うことができるという効果がある。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

なお、上述の実施形態の機能を実現するソフトウェアのプログラムを、記録媒体から直接、或いは有線／無線通信を用いてプログラムを実行可能なコンピュータを有するシステム又は装置に供給し、そのプログラムを実行する場合も本発明に含む。

従って、本発明の機能処理をコンピュータで実現するために、該コンピュータに供給、インストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明の機能処理を実現するための手順が記述されたコンピュータプログラム自体も本発明に含まれる。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。プログラムを供給するための記録媒体としては、例えば、ハードディスク、磁気テープ等の磁気記録媒体、光／光磁気記憶媒体、不揮発性の半導体メモリでもよい。

また、プログラムの供給方法としては、コンピュータネットワーク上のサーバに本発明を形成するコンピュータプログラムを記憶し、接続のあったクライアントコンピュータがコンピュータプログラムをダウンロードしてプログラムするような方法も考えられる。

本発明は、コンパクトデジタルカメラ、一眼レフカメラ、ビデオカメラなどの撮像装置に好適に利用できる。

１０６ フォーカス位置予測手段
１０８ 被写体検出手段
１１０ 位相差検出手段
１１１ ＡＦ制御手段
１１２ システム制御手段

Claims (17)

1. 撮像光学系を通過した光を受光する撮像素子から出力される画像信号に基づいて、被写体を検出する被写体検出手段と、
   前記被写体の信頼性を判定する判定手段と、
   前記被写体の焦点状態を位相差方式により検出する焦点検出手段と、
   前記被写体の過去のフォーカス位置に基づいて、前記被写体の次のフォーカス位置を予測する予測手段と、
   前記被写体の検出位置と、前記被写体の予測フォーカス位置と、に応じて、前記撮像光学系のフォーカス制御を行う制御手段と、
   を有し、
   前記制御手段は、
   前記焦点状態を検出する際の位相差検出方向が切り換わるとき、前記信頼性を判定する判定基準を変更する、
   ことを特徴とする焦点調節装置。
2. 前記制御手段は、前記位相差検出方向が切り換わるとき、前記予測フォーカス位置よりも前記検出位置を優先して前記フォーカス制御を行うことを特徴とする請求項１に記載の焦点調節装置。
3. 前記制御手段は、前記位相差検出方向が切り換わるとき、前記信頼性があると判定する基準を高くすることを特徴とする請求項１または２に記載の焦点調節装置。
4. 前記焦点検出手段は、前記被写体の検出位置に基づいて、前記位相差検出方向を切り換えることを特徴とする請求項１ないし３のいずれか１項に記載の焦点調節装置。
5. 前記焦点検出手段は、前記撮像素子により撮像される画像の中心部に前記被写体が検出されるときと、前記画像の端部に前記被写体が検出されるときと、で前記位相差検出方向を切り換えることを特徴とする請求項４に記載の焦点調節装置。
6. 前記制御手段は、前記判定基準に基づいて前記信頼性があると判定されたとき、前記被写体の検出位置に基づいて、複数の焦点検出領域を設定し、前記複数の焦点検出領域において前記フォーカス位置を算出することを特徴とする請求項１ないし５のいずれか１項に記載の焦点調節装置。
7. 前記制御手段は、前記判定基準に基づいて前記信頼性がないと判定されたとき、過去の前記被写体の検出位置に基づいて、複数の焦点検出領域を設定し、前記複数の焦点検出領域において前記フォーカス位置を算出することを特徴とする請求項１ないし５のいずれか１項に記載の焦点調節装置。
8. 前記算出した複数のフォーカス位置と、前記予測フォーカス位置と、を比較する比較手段を有し、
   前記制御手段は、前記算出した複数のフォーカス位置のうち前記予測フォーカス位置に最も近いフォーカス位置に基づいて、前記フォーカス制御を行うことを特徴とする請求項６または７に記載の焦点調節装置。
9. 撮像素子と、
   請求項１ないし８のいずれか１項に記載の焦点調節装置と、を備えた撮像装置。
10. 前記撮像素子は、前記撮像光学系を通過した光を光電変換した画像信号と、前記撮像光学系の第１方向に異なる瞳部分領域を通過した光を光電変換した第１の焦点検出信号と、前記撮像光学系の前記第１方向と異なる第２方向に異なる瞳部分領域を通過した光を光電変換した第２の焦点検出信号と、を出力可能に構成され、
    前記焦点検出手段は、前記第１の焦点検出信号または前記第２の焦点検出信号に基づいて、前記被写体の焦点状態を位相差方式により検出し、
    前記制御手段は、
    前記第１の焦点検出信号に基づく前記被写体の焦点状態を検出する状態から前記第２の焦点検出信号に基づく前記被写体の焦点状態を検出する状態に切り換わるとき、前記信頼性を判定する判定基準を変更する、
    ことを特徴とする請求項９に記載の撮像装置。
11. 前記撮像素子は、１つのマイクロレンズに対して少なくとも４つの光電変換部を備えていることを特徴とする請求項１０に記載の撮像装置。
12. 前記撮像素子は、前記第１の焦点検出信号を出力する第１領域と前記第２の焦点検出信号を出力する第２領域とが設定されていることを特徴とする請求項１０または１１に記載の撮像装置。
13. 前記制御手段は、
    前記被写体の検出位置が前記第１領域から前記第２領域に移動したとき、前記信頼性を判定する判定基準を変更することを特徴とする請求項１２に記載の撮像装置。
14. 前記制御手段は、前記被写体が前記第１領域から前記第２領域に移動したとき、前記信頼性があると判定する基準を高くすることを特徴とする請求項１２または１３に記載の撮像装置。
15. 撮像光学系を通過した光を受光する撮像素子から出力される画像信号に基づいて、被写体を検出する被写体検出ステップと、
    前記被写体の信頼性を判定する判定ステップと、
    前記被写体の焦点状態を位相差方式により検出する焦点検出ステップと、
    前記被写体の過去のフォーカス位置に基づいて、前記被写体の次のフォーカス位置を予測する予測ステップと、
    前記被写体の検出位置と、前記被写体の予測フォーカス位置と、に応じて、前記撮像光学系のフォーカス制御を行う制御ステップと、
    を有し、
    前記制御ステップは、
    前記焦点状態を検出する際の位相差検出方向が切り換わるとき、前記信頼性を判定する判定基準を変更する、
    ことを特徴とする焦点調節方法。
16. 請求項１５に記載の焦点調節方法の各ステップが記述されたコンピュータで実行可能なプログラム。
17. コンピュータに、請求項１５に記載の焦点調節方法の各ステップを実行させるためのプログラムが記憶されたコンピュータが読み取り可能な記憶媒体。