JP2016057421A

JP2016057421A - 焦点調節装置および焦点調節方法

Info

Publication number: JP2016057421A
Application number: JP2014182860A
Authority: JP
Inventors: 隼中村; hayato Nakamura
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2014-09-09
Filing date: 2014-09-09
Publication date: 2016-04-21

Abstract

【課題】ＳＡＦを使用して高精度に焦点調節を行うこと【解決手段】撮像装置は、ＡＦ用画素領域ＦＲが撮像面に離散的に配置され、ＳＡＦを行うための信号を出力する撮像素子２０１と、ＡＦ枠２を設定し、顔を含むＡＦ枠にＡＦ用画素領域ＦＲが含まれていない場合、ＡＦ枠よりも撮像画面の短手方向に沿った胴体の側にある、ＡＦ枠に最も近いＡＦ用画素領域ＦＲの一部を焦点検出領域４として設定するカメラ制御部２１５と、を有する。【選択図】図１

Description

本発明は、焦点調節装置および焦点調節方法に関する。

撮像光学系によって形成される焦点位置と撮像素子の相対位置を変化させるスキャンを行いながら被写体像のコントラストのピーク位置を検出することによって焦点検出するコントラスト方式の自動焦点調節（ＡＦ）（コントラストＡＦ）は知られている。また、撮像素子の撮像面に焦点検出用の画素を設け、焦点検出用画素の出力信号を比較することで位相差検出を行う撮像面位相差検出方式のＡＦ（撮像面位相差ＡＦ）も知られている。特許文献１は、ＬＶ（ライブビュー）撮影において、撮像面位相差検出方式とコントラスト検出方式を、検出された顔などの被写体の位置と焦点検出画素の配置に応じて切り替えて使用する撮像装置を提案している。

特開２０１３−００３５０１号公報

撮像面位相差ＡＦの一つにＳＡＦがある。ＳＡＦは、瞳分割を行うマイクロレンズの下に遮光部と焦点検出用画素を配置し、遮光部の開口位置が異なる２種類の焦点検出用画素の出力を組み合わせて一対の被写体像の像信号を形成する方式である。例えば、左半分が開口した焦点検出用画素の出力と右半分が開口した焦点検出用画素の出力を組み合わせる。しかしながら、開口位置が異なる対になる焦点検出用画素は撮像素子の撮像面に離散的に配置されるため、主被写体の顔を囲むＡＦ枠を設定しても、ＡＦ枠に対の画素が含まれない場合がある。ＡＦ枠の外部にある画素領域を利用して焦点検出を行うと、主被写体とは異なる被写体に合焦してしまうおそれがあり、合焦精度が低下する。

本発明は、ＳＡＦを使用して高精度に焦点調節を行うことが可能な焦点調節装置および焦点調節方法を提案することを目的とする。

本発明の焦点調節装置は、一部が遮光され、開口位置が異なる対の画素が撮像面に離散的に配置され、前記対の画素から位相差検出方式の焦点検出演算を行うための焦点検出用信号を出力すると共に、撮像光学系によって形成された被写体像を光電変換して撮像信号を出力する撮像素子と、前記撮像信号から得られる撮像画面に主被写体を含む枠を設定し、前記枠に前記対の画素が含まれていない場合、前記撮像画面の短手方向において前記枠よりも前記主被写体に接続された部位の側にある、前記枠に最も近い前記対の画素を焦点検出領域として設定する制御手段と、を有することを特徴とする。

本発明によれば、ＳＡＦを使用して高精度に焦点調節を行うことが可能な焦点調節装置および焦点調節方法を提案することができる。

本発明の撮像システムの構成を示すブロック図である。（実施例１、３、４）撮像面位相差ＡＦを行わない画素配列および撮像面位相差ＡＦを行う画素配列の例を示す概略図である。図１に示すカメラ本体の撮影処理を示すフローチャートである（実施例１、２、３、４）図３に示すＳ３０４の詳細を示すフローチャートである。（実施例１）図４に示すＳ４０５の詳細を示すフローチャートである。（実施例１）図４に示すＳ４０６の詳細を示すフローチャートである。（実施例１、２、３、４）図６に示す処理で取り扱う焦点検出領域の一例を模式的に示す図である。（実施例１）図７に示す焦点検出領域から得られる像信号の例を示す図である。（実施例１、２、３、４）図８に示す像信号のシフト量と相関量の関係例を示す図である。（実施例１、２、３、４）図８に示す像信号のシフト量と相関変化量ΔＣＯＲの関係例を示した図である。（実施例１、２、３、４）図４に示すS４０９の詳細を示すフローチャートである（実施例１、２、３、４）。被写体の非検出時と検出時のＡＦ枠と焦点検出領域の例を示す図である。（実施例１）ＡＦ枠と焦点検出領域の例を示す図である。（実施例１）図１１に示すＳ１１０７の合焦動作の一例を示す図である。（実施例１）本発明の撮像システムの構成を示すブロック図である。（実施例２）図３に示すＳ３０４の詳細を示すフローチャートである。（実施例２）図１６のＳ１６０６の詳細を示すフローチャートである。（実施例２）ＡＦ枠と焦点検出領域の例を示す図である。（実施例２）縦位置での撮像画面でＡＦ枠位置を補正した例と補正しなかった例を示す図である。（実施例２）図３に示すＳ３０４の詳細を示すフローチャートである。（実施例３）図２０に示すＳ２００５の詳細を示すフローチャートである。（実施例３）胴体にＡＦ枠を再設定して焦点検出領域を選択した例を示す図である。（実施例３）図３に示すＳ３０４の詳細を示すフローチャートである。（実施例４）図２３に示すＳ２３０６の詳細を示すフローチャートである。（実施例４）実施例２と４の方法でＡＦ枠位置を補正した例を比較する図である。（実施例４）

以下、添付図面を参照して本発明の実施例について説明する。

図１は、実施例１の撮像システム（カメラシステム）の構成例を示すブロック図である。撮像システムは、交換可能なレンズユニット１０及びカメラ本体（撮像装置）２０から構成されている。レンズユニット１０とカメラ本体２０は相互に通信可能であり、レンズユニット１０はカメラ本体２０から電源を供給される。カメラ本体２０は、焦点調節を行う焦点調節装置として機能する。

レンズユニット１０は、撮像光学系、絞り駆動部１０４、フォーカスレンズ駆動部１０５、レンズ制御部１０６、レンズ操作部１０７を有する。

撮像光学系は、被写体像を形成し、固定レンズ１０１、絞り１０２、フォーカスレンズ１０３を有する。絞り１０２は、絞り駆動部１０４によって駆動され、後述する撮像素子２０１への入射光量を調整する。フォーカスレンズ１０３はフォーカスレンズ駆動部１０５によって撮像光学系の光軸方向に移動され、焦点調節を行う。フォーカスレンズ１０３の位置に応じて撮像光学系の合焦距離が変化する。絞り駆動部１０４、フォーカスレンズ駆動部１０５はレンズ制御部１０６によって制御され、絞り１０２の開口量や、フォーカスレンズ１０３の位置が決定される。

レンズ制御部１０６は、レンズユニット１０の各部を制御するレンズ制御手段であり、マイクロコンピュータから構成される。レンズ制御部１０６は、後述するカメラ制御部２１５から受信した制御命令や制御情報に応じて絞り駆動部１０４やフォーカスレンズ駆動部１０５を制御し、また、レンズ制御情報をカメラ制御部２１５に送信する。

レンズ操作部１０７は、ＡＦ／ＭＦモードの切り替え、撮影距離範囲の設定、手ブレ補正モードの設定など、ユーザがレンズユニット１０の動作に関する設定を行うための入力デバイス群である。レンズ操作部１０７が操作された場合、レンズ制御部１０６が操作に応じた制御を行う。

カメラ本体２０は、レンズユニット１０の撮像光学系を通過した光束から撮像信号を取得できるように構成されている。カメラ本体２０は、撮像素子２０１、ＣＤＳ／ＡＧＣ／ＡＤ２０２、ＡＦ用画素補正部２０３、位相差ＡＦ信号処理部２０５、被写体領域検出部２１３、カメラ制御部２１５、カメラ操作部２１７、タイミングジェネレータ２１８などを有する。

撮像素子２０１は、ＣＣＤやＣＭＯＳセンサにより構成され、撮像光学系が形成した被写体像を光電変換して撮像信号を出力する。レンズユニット１０の撮像光学系から入射した光束は撮像素子２０１の撮像面に結像し、撮像素子２０１に配列された画素に設けられたフォトダイオードにより、入射光量に応じた信号電荷に変換される。各フォトダイオードに蓄積された信号電荷は、カメラ制御部２１５の指令に従ってタイミングジェネレータ２１８が出力する駆動パルスより、信号電荷に応じた電圧信号として撮像素子２０１から順次読み出される。

本実施例の撮像素子２０１は、撮像を行う撮像用画素と、撮像面位相差検出方式のＡＦを行うための像信号を生成する焦点検出用画素（ＡＦ用画素）を有する。撮像用画素から画像を生成すると共に、ＡＦ用画素から生成した像信号から撮像面位相差ＡＦを行うことが可能である。

本実施例では、撮像面位相差ＡＦのうちＳＡＦを利用する。ＳＡＦは、瞳分割を行うマイクロレンズの下に遮光部と焦点検出用画素を配置し、遮光部の開口位置が異なる２種類の焦点検出用画素の出力を組み合わせて一対の被写体像の像信号を形成する方式である。

図２（ａ）は、ＳＡＦに対応していない画素の構成、図２（ｂ）は、ＳＡＦに対応した画素構成例を示している。なお、ここではいずれの場合もベイヤ配列の原色カラーフィルタが設けられているものとする。図２（ｂ）に示す画素構成では、図２（ａ）と同様の画素が配置されていると共に、１画素が紙面水平方向に２分割されており、フォトダイオード（受光領域）と遮光部に分けられたＡＦ用画素を配置している。

図２（ｂ）のＡＦ用画素は、ベイヤ配列において、人間の眼が認識しにくいＢ（ブルー）画素に配置されているが、その位置は限定されない。ＡＦ用画素には、遮光部ＬＳが水平方向の右側にある画素Ｐａと、遮光部ＬＳが水平方向の左側にある画素Ｐｂと、があり、それぞれフォトダイオードＡ、Ｂ（図２（ｂ）では「ＡＦＡ」、「ＡＦＢ」）として示されている。このように、一部が遮光され、開口位置が異なる対の画素Ｐａ、Ｐｂから位相差検出方式の焦点検出演算を行うための焦点検出用信号を出力する。

複数の画素Ｐａが水平方向に配置されている第２行Ｍ１と画素Ｐｂが水平方向に配置されている第６行Ｍ２を含む領域（第１行〜第６行）を、以下、「ＡＦ用画素領域ＦＲ」と呼ぶ。ＡＦ用画素領域ＦＲは開口位置が異なる対になる焦点検出用画素ＰａとＰｂを含む限り、更に、非焦点検出用画素（例えば、図２（ｂ）の第７行および第８行）を含んでもよい。ＡＦ用画素領域ＦＲは撮像素子２０１の撮像面に離散的に配置される。なお、図２（ｂ）に示した分割方法は一例であり、他の方法を用いたり、画素によって異なる分割方法が適用されたりしてもよい。

ＡＦ用画素に入射する光束を遮光部ＬＳでマスクし、分割画素に設けられたフォトダイオードで受光することで、位相差検出方式の焦点検出に使用される像信号を取得することができる。フォトダイオードＡ，Ｂのそれぞれで得られる信号（Ａ，Ｂ）がＡＦ用の２つの像信号である。２つの像信号に基づいて、焦点検出手段である位相差ＡＦ信号処理部（第１焦点検出手段）２０５で２つの像信号に対して相関演算を行い、像ずれ量（位相差）や各種の信頼性情報を算出する。

ＣＤＳ／ＡＧＣ／ＡＤコンバータ２０２は、撮像素子２０１から読み出された撮像信号及びＡＦ用信号に対し、リセットノイズを除去する為の相関二重サンプリング、ゲインの調節、信号のデジタル化を行う。ＣＤＳ／ＡＧＣ／ＡＤコンバータ２０２は、撮像信号をＡＦ用画素補正部２０３に、撮像面位相差ＡＦ用の信号を位相差ＡＦ信号処理部２０５にそれぞれ出力する。

ＡＦ用画素補正部２０３は、ＡＦ用画素の周辺の撮像用画素を用いて撮像信号に補正して、画像入力コントローラ２０４およびコントラストＡＦ信号処理部２１９に信号を出力する。ＡＦ用画素の出力信号は位相差ＡＦに使用できるが、撮像信号の観点ではＡＦ用画素は欠陥画素として扱われる。図２（ｂ）に示すＡＦ用画素を配置する場合、周知の方法でＡＦ用画素の撮像信号に補正（補間）をする必要がある。

画像入力コントローラ２０４は、ＡＦ用画素補正部２０３から出力された撮像信号を、バス２１を介してＳＤＲＡＭ２１０に格納する。ＳＤＲＡＭ２１０に格納された画像信号は、バス２１を介して表示制御部２０６によって読み出され、表示部２０７に表示される。また、撮像信号の記録を行う動作モードでは、ＳＤＲＡＭ２１０に格納された画像信号は記録媒体制御部２０８によって記録媒体２０９に記録される。

ＲＯＭ２１１には、カメラ制御部２１５が実行する制御プログラム及び制御に必要な各種データ等が格納されており、フラッシュＲＯＭ２１２には、ユーザ設定情報等のカメラ本体２０の動作に関する各種設定情報等が格納されている。記憶媒体２０９、ＳＤＲＡＭ２１０、ＲＯＭ、フラッシュメモリ２１２は記憶手段を構成する。

位相差ＡＦ信号処理部２０５は、ＣＤＳ／ＡＧＣ／ＡＤコンバータ２０２から出力されたＡＦ用の２つの像信号に対して相関演算を行い、像ずれ量、信頼性情報（二像一致度、二像急峻度、コントラスト情報、飽和情報、キズ情報等）を算出する。位相差ＡＦ信号処理部２０５は、算出した像ずれ量および信頼性情報などの情報をカメラ制御部２１５へ出力する。

コントラストＡＦ信号処理部（第２焦点検出手段）２１９は、ＡＦ用画素補正部２０３から出力された画像情報に対して、コントラストＡＦ評価用バンドパスフィルタをかけるなどして、コントラスト評価値を算出する。コントラストＡＦ信号処理部２１９は、コントラスト評価値をカメラ制御部２１５へ出力する。即ち、コントラストＡＦ信号処理部２１９は、撮像光学系によって形成される焦点位置と撮像素子の相対位置を変化させるスキャンを行いながらＡＦ枠から得られる撮像信号のコントラストのピーク位置を検出することによって焦点検出を行う。

カメラ制御部２１５は、カメラ本体２０の各部を制御するカメラ制御手段であり、マイクロコンピュータから構成される。カメラ制御部２１５は、位相差ＡＦ信号処理部２０５が求めた像ずれ量や信頼性情報を基に、必要に応じて位相差ＡＦ信号処理部２０５の設定を変更する。例えば、像ずれ量が所定量以上の場合に相関演算を行う領域を広く設定したり、コントラスト情報に応じて像信号に対してかけるバンドパスフィルタの種類を変更したりする。相関演算の詳細については、図７から図９を用いて後述する。また、コントラストＡＦ信号処理部２１９が求めたコントラスト評価値を基に、コントラストＡＦ信号処理部２１９の設定の変更も行う。例えば、被写体のコントラストが小さいと判断した場合、被写体がボケているとしてバンドパスフィルタの帯域を、高域をよりカットできるものに変更するなどする。

カメラ制御部２１５は、カメラ本体２０内の各機能ブロックと通信して制御する。カメラ制御部２１５はカメラ本体２０内の処理だけでなく、カメラ操作部２１７からの入力に応じて、電源のＯＮ／ＯＦＦ、設定の変更、記録の開始、ＡＦ制御の開始、記録映像の確認等の、ユーザが操作したさまざまなカメラ機能を実行する。また、カメラ制御部２１５はレンズユニット１０の制御命令・制御情報をレンズ制御部１０６に送ったり、またレンズユニット１０の情報をレンズ制御部１０６から取得したりする。

また、カメラ制御部２１５は、後述するデフォーカス検出位置補正部２１６で、位相差ＡＦ信号処理部２０５で相関演算を行う撮像画面（撮像画像）内におけるＡＦ用画素位置の補正を行う。カメラ制御部２１５は、例えば１つ以上のプログラマブルプロセッサ（マイクロコンピュータ）であり、例えばＲＯＭ２１１に記憶された制御プログラムを実行することで、レンズユニット１０を含めたカメラシステム全体の動作を実現する。

追従信号処理部２１４は、カメラ制御部２１５からの指令に従いＳＤＲＡＭ２１０から追尾用画像信号を取り込み、この追尾用画像信号から色情報のヒストグラムおよび輝度情報のヒストグラムからなる特徴量を生成する。

被写体領域検出部２１３は、現在撮像している画像信号に対して、特徴量を基に追従被写体の探索処理を施し、撮影画面内の所定領域から追従被写体が存在するかを判断する。追従被写体が存在する場合は、被写体が存在する位置座標を基に追従領域を決定し、その結果をカメラ制御部２１５に送信する。カメラ制御部２１５は、ＡＦを行うＡＦ枠を設定したり、ＡＥを行う位置として設定したりする。即ち、カメラ制御部２１５は、撮像信号から得られる撮像画面に主被写体を含む枠を設定する第１設定手段として機能する。

また、追従被写体が存在する位置座標はＳＤＲＡＭ２１０に保持され、次回以降の追従被写体領域の検出を行う際に本情報を用いることで、追従被写体の探索処理を施すエリアを限定することができる。追従被写体領域の特定時に、被写体が存在する位置座標が更新されるたびに、ＳＤＲＡＭ２１０に保持する位置座標も更新する。被写体領域検出部２１３は主に顔を検出する。

デフォーカス検出位置補正部（第２設定手段）２１６は、カメラ制御部２１５の一部として構成されている。ＡＦ用画素領域ＦＲは、撮像面に離散的に配置されているため、カメラ操作部２１７でユーザが指定したＡＦ枠や、被写体検出部２１３、追従信号処理部２１４を基に検出した被写体位置に配置されたＡＦ枠には、必ずしもＡＦ用画素領域ＦＲが存在しない。デフォーカス検出位置補正部２１６は、ＡＦ枠の位置とＡＦ用画素領域の位置とのずれを撮影状況に応じてどのように補正するかを決定して、相関演算を行う最終的な焦点検出領域の位置を決定する。

図１２（ａ）は、撮像画面６におけるＡＦ用画素領域ＦＲと、被写体の非検出時のＡＦ枠２と、相関演算を行う焦点検出領域４の一例を示す概略図である。図１２（ｂ）は、撮像画面６におけるＡＦ用画素領域ＦＲと、被写体検出時のＡＦ枠２と、焦点検出領域４の一例を示す概略図である。

図１２（ａ）（ｂ）に示すように、通常時はＡＦ枠２の中央に最も近い（あるいはＡＦ枠２内にある）ＡＦ用画素領域ＦＲを選択し、このＡＦ用画素領域ＦＲのうち、ＡＦ枠２のＸ座標位置に対応した位置に実際に相関演算を行う焦点検出領域４を設定する。ＡＦ枠２で捉えている被写体にかかるＡＦ用画素領域ＦＲの相関演算結果を使用することで、被写体にピントを合わせることができる。

図１３（ａ）は、撮像画面６におけるＡＦ用画素領域ＦＲと、被写体検出時のＡＦ枠２と焦点検出領域４の一例を示す概略図である。図１３（ｂ）は、図１３（ａ）に示す焦点検出領域４の位置を補正した例を示す概略図である。

焦点検出領域４の大きさは、図示のものに限定されない。しかし、図１２に示すように、ＡＦ用画素は画像においてはキズと同様の扱いの画素（欠陥画素）になってしまうため、ＡＦ用画像の補完によって画質に問題が無い程度に離散的に配置している。

そのため、図１３（ａ）に示すように、顔を囲むＡＦ枠２にＡＦ用画素領域ＦＲが含まれていない場合またはＡＦ枠が所定の大きさよりも小さい場合、ＡＦ枠２で捉えた主被写体Ｍ（顔）とは異なる背景被写体Ｂ（木）に相関演算を行ってしまう。被写体領域検出部２１３で顔を検出し、顔に対してＡＦ枠を設定しているにも拘らず、ユーザの意図した被写体にピントがボケて撮影機会を逃してしまうことがある。

そこで、被写体領域検出部２１３で検出した顔に対して胴体が写りこんでいることを想定し、図１３（ｂ）に示すように、撮影画面６においてＡＦ枠２よりも下方にあるＡＦ用画素領域ＦＲを相関演算用に選択する。デフォーカス検出位置補正部２１６は、撮像画面の短手方向ＨにおいてＡＦ枠２よりも顔に接続された部位（胴体）の側にある、ＡＦ枠２に最も近い対のＡＦ用画素を焦点検出領域４として設定する。あるいは、デフォーカス検出位置補正部２１６は、顔を含むＡＦ枠２にＡＦ用画素領域ＦＲが含まれていない場合、ＡＦ枠２に最も近い胴体を横切る対の画素を焦点検出領域４として設定する。

なお、図１３（ｂ）に示す焦点検出領域４は図１３（ａ）に示す焦点検出領域４の撮影画面の下方にあるが、これに限定されない。例えば、主被写体Ｍが逆立ちをしている場合は顔検出時に顔の方向が分かるので上方にある胴体の方向に焦点検出領域４の位置を補正する。また、撮像装置の姿勢が縦位置である場合は、下方ではなく、不図示のカメラ本体２０のグリップの位置に依存して右方向又は左方向となる。

顔被写体がＡＦ用画素領域ＦＲにかからない場合、被写体距離が比較的遠く被写界深度が広いケースであるため、胴体にピントを合わせることで被写体検出部２１３が検出した顔被写体にもピントを合わせることを見込むことができる。

このように、本実施例では、被写体領域検出部２１３によって顔を検出し、顔の位置にＡＦ枠を設定する。そのとき、顔のサイズが小さいために顔がＡＦ用画素にかからない場合は、デフォーカス検出位置補正部２１６は、ＡＦ枠に最も近いＡＦ用画素領域ではなく、ＡＦ枠の下方に存在するＡＦ用画素領域を選択する。デフォーカス検出位置補正部２１６の動作に関する詳細は後述する。

次に、カメラ制御部２１５は、デフォーカス検出位置補正部２１６によって決定されたＡＦ用画素で、位相差ＡＦ信号処理部２０５で処理された相関演算結果に基づいてデフォーカス量を算出する。カメラ制御部２１５は算出したデフォーカス量または、コントラストＡＦ信号処理部２１９で算出したコントラスト情報を基にレンズ制御部１０６を介してフォーカスレンズ１０３を駆動するように制御する。

次に、カメラ本体２０の動作について、図３から図１１のフローチャートを用いて説明する。各フローチャートにおいて、「Ｓ」はステップ、「Ｙ」はＹｅｓ（はい）、「Ｎ」はＮｏ（いいえ）を表す。また、各フローチャートの撮影方法や焦点検出方法（または自動焦点調節方法）はコンピュータに各ステップを実行させるためのプログラムとして具現化が可能である。

図３は、カメラ本体２０が行う撮影処理の手順を示すフローチャートである。

まず、Ｓ３０１において、カメラ制御部２１５は、カメラ設定等の初期化処理を行う。次に、カメラ制御部２１５は、カメラ本体２０の撮影モードが動画撮影モードか静止画撮影モードかをカメラ操作部２１７の設定に基づいて判定する（Ｓ３０２）。カメラ制御部２１５は、動画撮影モードである場合は動画撮影処理を行い（Ｓ３０３）、静止画撮影モードである場合は静止画撮影処理を行う（Ｓ３０４）。Ｓ３０３またはＳ３０４の後で、カメラ制御部２１５は、撮影処理が停止されたかどうかを判断し（Ｓ３０５）、停止されていない場合はＳ３０６へ処理を進め、停止された場合は撮影処理を終了する。撮影処理が停止されたときとは、カメラ操作部２１７を通じてカメラ本体２０の電源が切断されたときや、カメラのユーザ設定処理、撮影画像・動画の確認のための再生処理等、撮影以外の動作が行われたときである。Ｓ３０６では、カメラ制御部２１５は、撮影モードが変更されたかどうかを判断し、変更されている場合はＳ３０１へ、変更されていない場合はＳ３０２へ、処理を戻す。即ち、撮影モードが変更されていなければカメラ制御部２１５は現在の撮影モードの処理を継続して行い、撮影モードが変更された場合はＳ３０１で初期化処理を行った上で変更された撮影モードの処理を行う。

本発明は、動画撮影処理および静止画撮影処理のどちらの撮影モードでも適用可能だが、実施例１はＳ３０４の静止画撮影処理による制御について図４に基づいて説明する。本実施例では、Ｓ３０３の動画撮影処理の詳細については省略する。

図４は、図３のＳ３０４の静止画撮影処理の詳細を示すフローチャートである。

まず、Ｓ４０１において、被写体領域検出部２１３は、画面内で被写体、すなわち顔が検出できたかどうかを判定する。顔が検出できた場合は、顔の位置、大きさに関する情報をＳＤＲＡＭ２１０に保持すると共に、カメラ制御部２１５に検出結果を通知する。

次に、カメラ制御部２１５は、Ｓ４０１で被写体が検出できたかどうかを判断し（Ｓ４０２）、被写体が検出できた場合はＳ４０３へ処理を進め、被写体が検出できていない場合はＳ４０４へ処理を進める。

Ｓ４０３では、カメラ制御部２１５は、被写体検出部２１３が検出した被写体位置にＡＦ枠を設定してＳ４０５へ処理を進める。もし複数の顔を検出していた場合は、顔がより中央にあるか、顔の大きさはより大きいか、という情報を基に１つの主顔を選択する。主顔の選択方法は、他の方法でも構わない。本実施例において、Ｓ４０３で設定するＡＦ枠の大きさは被写体検出部２１３が検出した被写体の顔の大きさに合わせて変更可能である。しかし、例えば顔の大きさに依らず一定のＡＦ枠の大きさにするような構成でも構わない。Ｓ４０４では、カメラ操作部２１７にユーザが設定した位置にＡＦ枠を設定し、Ｓ４０５へ処理を進める。

Ｓ４０５では、デフォーカス検出位置補正部２１６は、Ｓ４０３もしくはＳ４０４で設定したＡＦ枠に基づいて、焦点検出領域を選択し、Ｓ４０６へ処理を進める。Ｓ４０５の処理の詳細は、図５を用いて後述する。

Ｓ４０６では、カメラ制御部２１５は、Ｓ４０５で設定した焦点検出領域で焦点検出処理を行い、Ｓ４０７へ処理を進める。焦点検出処理は、カメラ制御部２１５及び位相差ＡＦ信号処理部２０５による、撮像面位相差ＡＦを行うためのデフォーカス情報及び信頼性情報を取得する処理であり、詳細は図６を用いて後述する。

Ｓ４０７では、コントラストＡＦ信号処理部２１９は、Ｓ４０３若しくはＳ４０４で設定したＡＦ枠内のコントラストＡＦ評価値を算出してＳ４０８へ処理を進める。

Ｓ４０８では、カメラ制御部２１５は、カメラ操作部２１７によってＡＦ指示が行われているかどうかを判断し、ＡＦ指示が行われている場合はＳ４０９へ処理を進め、ＡＦ指示が行われていない場合はＳ４１０へ処理を進める。本実施例において、ＡＦ指示はシャッターボタンを半押しした場合や、ＡＦを実行するＡＦＯＮボタンが押された場合を表す。もちろんその他の手段によってＡＦ指示を行う構成でも構わない。

Ｓ４０９では、ＡＦ処理を行い、焦点調節方法を実行する。これにより、静止画撮影処理を終了する。Ｓ４０９のＡＦ処理については図１１用いて後述する。

Ｓ４１０では、カメラ制御部２１５は、カメラ操作部２１７によって撮影指示が行われているかどうかを判断し、撮影指示が行われている場合はＳ４１１へ処理を進め、撮影指示が行われていない場合はＳ４１３へ処理を進める。本実施例において、撮影指示はシャッターボタンを全押しした場合を表す。もちろんその他の手段によって撮影指示を行う構成でも構わない。

Ｓ４１１では、カメラ制御部２１５は、Ｓ４０９のＡＦ処理結果によって現在合焦停止状態にあるかどうかを判断し、合焦停止状態でない場合はＳ４０９へ処理を進め、合焦状態である場合はＳ４１２へ処理を進める。Ｓ４１１で合焦状態でない場合は、まだ被写体にピントが合っていないと判断し、Ｓ４０９でＡＦ処理を開始または継続することで被写体にピントを合わせる。Ｓ４１２では、カメラ制御部２１５は、撮影処理を行い、記録媒体制御部２０８を介して記録媒体２０９に撮影画像を保存して、Ｓ４１３へ処理を進める。Ｓ４１３では、カメラ制御部２１５は、合焦停止状態を解除して静止画撮影処理を終了する。合焦停止状態についてはＳ４０９のＡＦ処理の説明で図１１を用いて後述するが、撮影が完了した場合や、ＡＦ／撮影指示が行われていない場合は、合焦停止状態でない状態に初期化しておく。

図５は、図４のＳ４０５の焦点検出領域選択処理の詳細を示すフローチャートである。

まず、Ｓ５０１において、デフォーカス検出位置補正部２１６は、被写体検出がある状態かどうかを判断して、被写体検出がある場合はＳ５０２へ処理を進め、被写体検出がない場合はＳ５０４へ処理を進める。

Ｓ５０２では、デフォーカス検出位置補正部２１６は、ＡＦ枠２のサイズが閾値（所定の大きさ）よりも小さいかどうかを判断し、所定の大きさよりも小さい場合はＳ５０３へ処理を進め、所定以上である場合はＳ５０４へ処理を進める。Ｓ５０２で設定される閾値には、図１３に示すように、被写体が、ＡＦ用画素領域にかからないサイズが設定される。この場合、ＡＦ枠２の大きさは撮影画面の短手方向の長さになる。

あるいは、Ｓ５０２では、デフォーカス検出位置補正部２１６は、ＡＦ枠２にＡＦ用画素領域ＦＲが含まれていないかどうかを判断する。ＡＦ枠２の大きさで判断する場合は、ＡＦ枠２がＡＦ用画素領域ＦＲの一部（例えば、ＡＦ用画素領域ＦＲの短手方向Ｈの半分の幅）にかかっていても、かかり具合が不十分である場合を除くことができるというメリットがある。なお、ＡＦ用画素領域ＦＲは、水平方向に整列する場合に限定されず、垂直方向に整列する場合も含むと共に、斜め方向なランダムに配置されてもよい。ＡＦ枠２にかかるＡＦ用画素領域の長手方向の長さが不十分な場合もある。

Ｓ５０３では、撮像画面に対してＡＦ枠の下方で最も近いＡＦ用画素を使用焦点検出領域として選択して処理を終了する。Ｓ５０４では、ＡＦ枠に最も近いＡＦ用画素を焦点検出領域として選択して処理を終了する。

このように、本実施例は、顔である被写体が小さくＡＦ用画素領域にかからない場合は、胴体を狙って焦点検出領域を配置することで顔被写体に合焦されるようにしている。

図６は、図４のＳ４０６の焦点検出処理の詳細を示すフローチャートである。

まず、Ｓ６０１において、位相差ＡＦ信号処理部２０５は、Ｓ４０５で設定した焦点検出領域のＡＦ用画素から一対の像信号を取得する。次に、位相差ＡＦ信号処理部２０５は、取得した像信号間の相関量を算出し（Ｓ６０２）、相関量から相関変化量を算出し（Ｓ６０３）、相関変化量からでピントずれ量を算出する（Ｓ６０４）。次に、位相差ＡＦ信号処理部２０５は、ピントずれ量がどれだけ信頼できるのかを表す信頼性を算出し（Ｓ６０５）、ピントずれ量をデフォーカス量に変換し（Ｓ６０６）、焦点検出処理を終了する。

次に、図７から図１０（ｂ）を用いて図６に示す処理を更に詳細に説明する。

図７は、図６に示す処理で取り扱う焦点検出領域の一例を模式的に示す図であり、撮像素子２０１の画素アレイ７０１における焦点検出領域７０２を示している。シフト領域７０３は、相関演算に必要な領域である。従って、焦点検出領域７０２とシフト領域７０３とを合わせた領域７０４が相関演算に必要な画素領域である。

図７において、ｐ、ｑ、ｓ、ｔはそれぞれｘ軸方向の座標を表し、ｐおよびｑは画素領域７０４の始点及び終点のｘ座標、ｓおよびｔは焦点検出領域７０２の始点および終点のｘ座標を表している。撮像素子２０１は離散的にＡＦ用画素領域７０５を設けており、ＡＦ用画素領域７０５内でのみ相関演算を行うことが可能である。なお、焦点検出領域の配置の仕方、広さ、ＡＦ用画素領域の配置の仕方などはここで例示した構成に限られるものではなく他の構成を用いてもよい。

図８は、図７で設定した焦点検出領域７０２に含まれる画素から取得したＡＦ用の像信号の例を示している。実線８０１が像信号Ａ、破線８０２が像信号Ｂである。図８（ａ）は、シフト前の像信号の例を示している。図８（ｂ）および（ｃ）は、図８（ａ）のシフト前の像波形に対しプラス方向およびマイナス方向にシフトした状態を示している。相関量を算出する際には、像信号Ａ８０１および像信号Ｂ８０２の両方を、矢印の方向に１ビットずつシフトする。

相関量ＣＯＲの算出法について説明する。まず、図８（ｂ）および（ｃ）に示すように、像信号Ａ８０１と像信号Ｂ８０２のそれぞれを１ビットずつシフトし、その時の像信号Ａと像信号Ｂの差の絶対値の和を算出する。この時、シフト量をｉで表し、最小シフト量は図８中のｐ−ｓ、最大シフト量は図８中のｑ−ｔである。これらを用い、焦点検出領域７０２における相関量ＣＯＲは以下の式（１）によって算出することができる。

図９（ａ）はシフト量と相関量との関係例を示す図である。横軸はシフト量を示し、縦軸は相関量を示す。相関量波形９０１における極値付近９０２、９０３のうち、相関量が小さい方ほど、像信号Ａと像信号Ｂの一致度が高い。

続いて、相関変化量ΔＣＯＲの算出法について説明する。まず、図９（ａ）の相関量波形から、１シフト飛ばしの相関量の差から相関変化量を算出する。シフト量をｉで表し、最小シフト量は図８中のｐ−ｓ、最大シフト量は図８中のｑ−ｔである。これらを用い、相関変化量ΔＣＯＲは以下の式（２）によって算出することができる。

ΔCOR[i]=COR[i-1]-COR[i+1] （２）
(p-s+1)<i<(q-t-1)
図１０（ａ）は、シフト量と相関変化量ΔＣＯＲの関係例を示した図である。横軸はシフト量を示し、縦軸は相関変化量を示す。相関変化量波形１００１で、１００２、１００３は相関変化量がプラスからマイナスになる周辺である。相関変化量が０となる状態ゼロクロスと呼び、像信号間の一致度が最も高く、ゼロクロス時のシフト量がピントずれ量となる。

図１０（ｂ）は、図１０（ａ）の１００２の部分を拡大したもので、１００４は相関変化量波形１００１の一部分である。図１０（ｂ）を用いてピントずれ量ＰＲＤの算出法について説明する。

ここで、ゼロクロス時のシフト量（ｋ−１＋α）は、整数部分β（＝ｋ−１）と小数部分αに分けられる。小数部分αは、図中の三角形ＡＢＣと三角形ＡＤＥの相似の関係から、以下の式（３）によって算出することができる。

整数部分βは、図１０（ｂ）中より以下の式（４）によって算出することができる。

β＝ｋ−１（４）
αとβの和からピントずれ量ＰＲＤを算出することができる。
図１０（ａ）のように、ゼロクロスとなるシフト量が複数存在する場合は、ゼロクロスでの相関量変化の急峻性が大きいところを第１のゼロクロスとする。この急峻性はＡＦのし易さを示す指標で、値が大きいほど精度良くＡＦし易い点であることを示す。急峻性ｍａｘｄｅｒは以下の式（５）によって算出することができる。

maxder=|ΔCOR[k-1]|+|ΔCOR[k]| （５）
以上のように、ゼロクロスが複数存在する場合は、急峻性によって第１のゼロクロスを決定する。続いてピントずれ量の信頼性の算出法について説明する。信頼性は、急峻性や、像信号Ａ、Ｂの一致度ｆｎｃｌｖｌ（以下、２像一致度と呼ぶ）によって定義することができる。２像一致度はピントずれ量の精度を表す指標で、本実施例における相関演算手法では、値が小さいほど精度が良い。

図９（ｂ）は、図９（ａ）の９０２の部分を拡大した図で、９０４が相関量波形９０１の一部分である。図９（ｂ）を用いて２像一致度の算出法について説明する。
２像一致度ｆｎｃｌｖｌは以下の式（６）によって算出できる。

図１１は、図４のＳ４０９の焦点検出処理の詳細を示すフローチャートである。

まず、Ｓ１１０１において、カメラ制御部２１５は、現在ＡＦが完了して合焦停止状態にあるかどうかを判断し、合焦停止状態でない場合はＳ１１０２へ処理を進め、合焦停止状態の場合は合焦停止状態を保持して（Ｓ１１１１）ＡＦ処理を終了する。

Ｓ１１０２では、カメラ制御部２１５は、Ｓ６０５で求めたデフォーカス量の信頼性が閾値よりも大きいどうかを判断し、大きい場合はＳ１１０３へ処理を進め、以下である場合はＳ１１０７へ処理を進める。信頼性が閾値よりも大きいと場合は、Ｓ６０６で算出したデフォーカス量を使用できるので撮像面位相差ＡＦを使用する。また、信頼性が閾値以下である場合は、Ｓ６０６で算出したデフォーカス量が使用できないのでコントラストＡＦを使用する。

信頼性とは、急峻性や２像一致度といった指標であり、撮像面位相差ＡＦのデフォーカス量が方向すら信頼できなくなる値が閾値となるように設定するのが望ましい。なお、信頼性は急峻性、２像一致度の一方を用いたり、両方を組み合わせたり、２像の信号レベル情報といったその他指標を用いてもよい。

Ｓ１１０３では、カメラ制御部２１５は、Ｓ６０６で検出したデフォーカス量が焦点深度内かどうかを判断し、焦点深度内である場合はＳ１１０４へ処理を進め、焦点深度内でない場合はＳ１１０５へ処理を進める。

Ｓ１１０４では、検出したデフォーカス量が焦点深度内、すなわちすでに被写体にピントが合っていることを表しているので、カメラ制御部２１５は、被写体に合焦したと判断して合焦停止状態へ移行し、ＡＦ処理を終了する。

Ｓ１１０５では、カメラ制御部２１５は、まだ被写体に合焦した状態でないので、レンズの駆動速度の設定や、デフォーカス誤差を見越したデフォーカス量に対するゲイン掛けなどの撮像面位相差ＡＦ用のレンズ駆動設定を行い、Ｓ１１０６へ処理を進める。

Ｓ１１０６では、カメラ制御部２１５は、Ｓ１１０５で設定したレンズ駆動設定情報を基にレンズ制御部１０６にフォーカスレンズ１０３の駆動指示を出して撮像面位相差ＡＦでレンズ駆動処理を行い、ＡＦ処理を終了する。

Ｓ１１０７では、カメラ制御部２１５は、コントラストＡＦにより合焦できたかどうかを判定し、合焦と判定された場合は合焦停止状態へ移行し（Ｓ１１０８）ＡＦ処理を終了し、非合焦と判定された場合はＳ１１０９へ処理を進める。このように、本実施例は、撮像面位相差ＡＦが使用できない場合はコントラストＡＦを用いる。

図１４は、Ｓ１１０７の合焦動作を説明するための図である。Ｓ１１０７で合焦と判定するために、同図に示すように、コントラスト評価値のピーク位置にいることを、フォーカスレンズ１０３を前後に駆動して数回確認できた場合にコントラストＡＦで合焦できたと判定する。

Ｓ１１０９では、カメラ制御部２１５は、１駆動毎にフォーカスレンズ１０３を駆動する間隔や、駆動方向の決定などのコントラストＡＦ用のレンズ駆動設定を行い、Ｓ１１１０へ処理を進める。Ｓ１１１０では、カメラ制御部２１５は、Ｓ１１０９で設定したレンズ駆動設定情報を基にレンズ制御部１０６にフォーカスレンズ１０３の駆動指示を出してコントラストＡＦでレンズ駆動処理を行い、ＡＦ処理を終了する。

本実施例では、Ｓ１１０２でデフォーカス量の信頼性が所定以上である場合は優先的に撮像面位相差ＡＦを使用しているが、コントラストＡＦを優先して制御したり、最終合焦はコントラストＡＦで行うように制御する方法など、その他の方式でＡＦを行ってもよい。

以上、本実施例は、ＡＦ枠がＡＦ用画素領域にかからない場合やＡＦ枠が所定の大きさよりも小さい場合に、撮影画面のＡＦ枠の下方（ＡＦ枠で囲まれた主被写体に接続されている部位の側）にある最も近いＡＦ用画素を焦点検出領域に設定する。これにより、顔の胴体で相関演算を行うため、顔被写体以外に誤って合焦してしまうことを防ぐことができる。

なお、図１において、撮像光学系はズームレンズや手振れ補正レンズを有してもよく、レンズ交換式カメラでなくレンズ一体型カメラの構成でもよい。図２（ｂ）に示すＡＦ用画素の位置や密度を変化させてもよいし、横方向の位相差でなく縦方向の位相差を検出するＡＦ用画素を配置してもよい。

以下、本発明の実施例２を、実施例１と相違する部分を中心に説明する。実施例２は、顔検出時にＡＦ枠がＡＦ用画素領域にかからない場合や所定の大きさよりも小さい場合は、実施例１と異なり、ＡＦ枠の下方にある最も近いＡＦ用画素を使用して相関演算を行わない。代わりに、実施例２は、ＡＦ枠の位置を下方に設定し直し、ＡＦ枠が横切るＡＦ用画素領域を一意に選択する。また、実施例2は、顔検出時にＡＦ枠がＡＦ用画素領域にかからない場合は、補正後のＡＦ枠がＡＦ用画素領域にかかるかどうかを判断する。更に、実施例２は、カメラ本体２０の姿勢を検出する構成を有し、カメラ本体２０の姿勢に応じてＡＦ枠の位置の補正を行うかどうかを判断する。

図１５は、実施例２の撮像システム（カメラシステム）の構成例を示すブロック図である。撮像システムは、交換可能なレンズユニット１０及びカメラ本体２０から構成されている。

図１５に示すレンズユニット１０は、図１に示すレンズユニット１０と同様の構成であるため、説明は省略する。図１５に示すカメラ本体２０は、図１に示すカメラ本体２０に対して、デフォーカス検出位置補正部２１６の動作が異なる点、カメラ姿勢検出部２２０が追加されている点で相違する。その他については、図１５に示すカメラ本体２０は、図１に示すカメラ本体２０と同様の構成であるため、説明は省略する。

デフォーカス検出位置補正部２１６は、ＡＦ枠の位置を補正する。

カメラ姿勢検出部（姿勢検出手段）２２０は、カメラ本体２０の姿勢が横位置か縦位置かを検出し、カメラ制御部２１５にその結果を通知する。本実施例では、カメラ本体２０の姿勢に応じて、カメラ制御部２１５は、デフォーカス検出位置補正部２１６による補正を行うか否かを判断する。

以下、本実施例におけるカメラ本体２０の動作を説明する。図３、図６および図１１に示す処理は、実施例１と同様であるので説明を省略する。

図１６は、図３のＳ３０４の静止画撮影処理の詳細を示すフローチャートである。本実施例は、図３のＳ３０４の詳細を図４ではなく図１６に示すフローに基づいて行う。図１６に示すＳ１６０１からＳ１６０４、Ｓ１６０６からＳ１６１４は、図４に示すＳ４０１からＳ４０４、Ｓ４０６からＳ４１３と同様の処理であるので説明を省略する。

本実施例では、Ｓ４０５の代わりにＳ１６０５とＳ１６０６が行われる。Ｓ１６０５では、カメラ姿勢検出部２２０は、カメラ本体２０の姿勢を検出して検出結果をカメラ制御部２１５に通知してＳ１６０６へ処理を進める。本実施例では、カメラ本体２０の姿勢が横位置か縦位置かに応じてＳ１６０６の処理を変更する。Ｓ１６０６では、デフォーカス検出位置補正部２１６は、焦点検出領域選択処理を行い、Ｓ１６０７へ処理を進める。

本実施例は、図１６のＳ１６０６の詳細を図５ではなく図１７に示すフローに基づいて行う。図１７において、まず、Ｓ１７０１では、デフォーカス検出位置補正部２１６は、被写体領域検出部２１３が被写体検出をしているかどうかを判断し、被写体検出をしている場合はＳ１７０２へ進み、被写体検出をしていない場合はＳ１７０５へ処理を進める。

Ｓ１７０２では、デフォーカス検出位置補正部２１６は、検出した被写体、すなわち顔に設定したＡＦ枠がＡＦ用画素領域にかかっているかどうかを判断する。ＡＦ枠がＡＦ用画素領域にかかっていない場合はＳ１７０３へ処理を進め、かかっている場合はＳ１７０５へ処理を進める。あるいは、Ｓ１７０２では、デフォーカス検出位置補正部２１６は、ＡＦ枠が所定の大きさよりも小さいかどうかを判断し、小さい場合はＳ１７０３に、大きい場合はＳ１７０５に進む。

Ｓ１７０３では、デフォーカス検出位置補正部２１６は、カメラの姿勢が横位置かどうかを判断し、横位置の場合はＳ１７０４へ処理を進め、縦位置の場合はＳ１７０５へ処理を進める。

Ｓ１７０４では、デフォーカス検出位置補正部２１６は、現在設定されているＡＦ枠位置を、撮影画面の下方に再設定してＳ１７０５へ処理を進める。このときＡＦ枠は、例えば、撮影画面の最も近くの下方にあるＡＦ用画素領域とＡＦ枠が重なるように設定するが、これに限定されず、所定量だけ下方にＡＦ枠を移動することによって再設定してもよい。

Ｓ１７０５では、設定されているＡＦ枠に最も近いＡＦ用画素を焦点検出領域として選択して処理を終了する。

図１８（ａ）は、撮像画面内のＡＦ用画素領域ＦＲと、所定の大きさよりも小さい被写体検出時のＡＦ枠２に対する焦点検出領域４の例を示す図であり、図１８（ｂ）は、図１８（ａ）に示すＡＦ枠２の位置を補正した例を示す図である。横位置では、カメラ本体２０は横長に配置されるため、水平方向が長手方向となり、短手方向Ｈは鉛直方向となる。図２の開口位置が同じ（例えば、左半分）複数のＡＦ用画素は、水平方向に配置されている。また、主被写体（顔）とそれに接続されている部位（胴体）が伸びる方向は鉛直方向であり、開口位置が同じ複数のＡＦ用画素の配列方向と直交する。

図１８（ａ）に示すように、顔に設定したＡＦ枠がＡＦ用画素領域にかかっていない場合に、ＡＦ枠（の中央）に最も近い焦点検出領域を選択すると、主被写体以外の被写体に合焦してしまう。

そこで、図１８（ｂ）に示すように、ＡＦ枠がＡＦ用画素領域ＦＲにかかっていない場合には、ＡＦ枠を撮影画面の下方（ＡＦ枠で囲まれた主被写体に接続されている部位の側）に所定量移動させて再設定する。即ち、カメラ制御部２１５は、主被写体Ｍを含むＡＦ枠２にＡＦ用画素領域ＦＲが含まれていない場合、撮像画面の短手方向ＨにおいてＡＦ枠２よりも主被写体に接続された部位（胴体）の側にＡＦ枠２を移動させて再設定する。カメラ制御部２１５は、移動後のＡＦ枠２が主被写体Ｍの一部と対の画素を含むように再設定する。そして、デフォーカス検出位置補正部２１６は、移動後のＡＦ枠の中央に最も近い、ＡＦ枠に含まれるＡＦ用画素領域ＦＲの一部を焦点検出領域４として選択、設定する。これにより、主被写体の顔でなく胴体に設定した焦点検出領域で相関演算を行うことで、主被写体に対してピントが抜けることを防ぐことができる。

実施例１と比較して、ＡＦ枠位置を再設定するので、Ｓ１６０８でコントラストＡＦ評価値を検出する領域も、顔位置よりも下方で検出する。このため、顔の検出結果に適合したコントラスト評価値は得られないが、相関演算を行う焦点検出領域との位置をより近く設定できるので、位相差ＡＦとコントラストＡＦとのジャストピント位置の差を軽減することができる。

図１９（ａ）は、縦位置での撮像画面内のＡＦ用画素領域と、サイズの小さい被写体検出時のＡＦ枠の位置を補正した一例を示す図であり、図１９（ｂ）は、補正しなかった例を示す図である。縦位置では、カメラ本体は縦長に配置されるため、鉛直方向が長手方向となる。開口位置が同じ複数のＡＦ用画素も鉛直方向に配置されている。また、主被写体（顔）とそれに接続されている部位（胴体）が伸びる方向は鉛直方向であり、開口位置が同じ複数のＡＦ用画素の配列方向と同一である。

本実施例では、Ｓ１７０３でカメラの姿勢が横位置かどうかを判断しており、横位置である場合にＡＦ枠の位置を補正している。図１９（ａ）は、縦位置で撮影した場合の例を示す図であり、左側を横位置撮影時の上方とする。姿勢差検出をせずに、撮影画面の下方、すなわち図１９（ａ）における右方にＡＦ枠を補正してしまうと、想定していた胴体が存在しないため、主被写体ではない被写体に合焦するおそれがある。

そこで、図１９（ｂ）では、縦位置撮影時にはＡＦ枠の位置を補正しない。図１９（ｂ）では、図１９（ａ）よりも焦点検出領域が主被写体に近い位置に配置されており、図１９（ｂ）では主被写体の肩や腕をＡＦ用画素が捉える機会を高める。

以上、本実施例は、顔被写体がＡＦ用画素領域にかからない場合は、ＡＦ枠を撮像画面の下方に再設定し、そのＡＦ枠に対して、ＡＦ枠の中央位置に最も近いＡＦ用画素領域で相関演算を行う。また、カメラが横位置か、縦位置かを判断し、横位置である場合にＡＦ枠の位置の再設定を行い、縦位置の場合はＡＦ枠の位置を再設定しない。これにより、顔被写体以外に誤って合焦してしまうことを防ぐことができる。

なお、実施例１と組み合わせて、カメラの姿勢を検出して横位置の場合はＡＦ枠位置でなく、選択するＡＦ用画素の選択方法を変える構成でもよい。縦方向の位相差を検出可能なＡＦ用画素が配置されていた場合は、カメラの姿勢が縦位置の場合にＡＦ枠位置の再設定を行う。

以下、本発明の実施例３を、実施例１、２と相違する部分を中心に説明する。実施例２は、ＡＦ枠がＡＦ用画素にかからない場合はＡＦ枠の位置を撮像画面の下方に再設定するが、実施例３は、胴体を検出する構成を更に有し、ＡＦ枠がＡＦ用画素にかからない場合は、胴体位置にＡＦ枠を再設定する点で相違する。本実施例のカメラシステムは、図１と同様の構成を有するが、被写体領域検出部２１３では、顔被写体だけでなく、被写体の胴体も検出可能である点で相違する。

図２０は、図３のＳ３０４の静止画撮影処理の詳細を示すフローチャートである。本実施例は、図３のＳ３０４の詳細を図４ではなく図２０に示すフローに基づいて行う。図２０に示すＳ２００４、Ｓ２００６からＳ２０１３は、図４に示すＳ４０４、Ｓ４０６からＳ４１３と同様の処理であるので説明を省略する。

図２０では、まず、Ｓ２００１において、被写体領域検出部２１３は、被写体の顔及び胴体を検出し、検出結果をカメラ制御部２１５に通知してＳ２００２へ処理を進める。Ｓ２００２では、カメラ制御部２１５は、Ｓ２００１で顔が検出されたかどうかを判断して、顔が検出された場合は、Ｓ２００３へ処理を進め、顔が検出されていない場合はＳ２００４へ処理を進める。Ｓ２００３では、カメラ制御部２１５は、Ｓ２００１で検出した顔位置にＡＦ枠を設定してＳ２００５へ処理を進める。本実施例では、顔だけでなく胴体も同時に検出する。Ｓ２００５では、デフォーカス検出位置補正部２１６は、焦点検出領域選択処理を行い、Ｓ２００６へ処理を進める。

本実施例は、図２０のＳ２００５の詳細を図５ではなく図２１に示すフローに基づいて行う。図２１において、まず、Ｓ２１０１では、デフォーカス検出位置補正部２１６は、被写体領域検出部２１３が顔検出をしているかどうかを判断し、顔検出をしている場合はＳ２１０２へ進み、顔検出をしていない場合はＳ２１０５へ処理を進める。

Ｓ２１０２では、デフォーカス検出位置補正部２１６は、被写体領域検出手段２１３によって検出された顔を含むＡＦ枠がＡＦ用画素領域ＦＲを含むかどうかを判断する。顔に設定したＡＦ枠がＡＦ用画素領域にかかっていない場合はＳ２１０３へ処理を進め、かかっている場合はＳ２１０５へ処理を進める。

Ｓ２１０３では、デフォーカス検出位置補正部２１６は、被写体領域検出部２１３が胴体検出をしているかどうかを判断し、胴体検出をしている場合はＳ２１０４へ進み、胴体検出をしていない場合はＳ２１０５へ処理を進める。

Ｓ２１０４では、デフォーカス検出位置補正部２１６は、ＡＦ枠２が被写体領域検出手段２１３によって検出された胴体を含むようにＡＦ枠を再設定してＳ２１０５へ処理を進める。Ｓ２１０５では、設定されているＡＦ枠に最も近いＡＦ用画素を焦点検出領域として選択して処理を終了する。図２２は、この様子を示す図である。

このように、胴体検出が可能で、かつ、顔に設定したＡＦ枠内にＡＦ用画素領域が存在しない場合は、ＡＦ枠を胴体領域に設定し直すことで、人物以外の被写体にピントが抜けてしまう問題を防ぐことができる。

以上、本実施例は、ＡＦ枠がＡＦ用画素領域にかからない場合は、検出した胴体位置にＡＦ枠を再設定し、そのＡＦ枠の中央位置に最も近いＡＦ用画素領域で相関演算を行う。これにより、顔被写体以外に誤って合焦してしまうことを防ぐことができる。

以下、本発明の実施例４を、実施例１〜３と相違する部分を中心に説明する。実施例４は、検出した顔の位置情報の履歴を記録する。実施例４は、顔のサイズが小さく焦点検出領域の補正が必要だと想定される場合は、顔の位置情報を基に顔の動きを推定し、推定された顔の動きに応じて使用するＡＦ用画素の補正方法を変更する。

本実施例のカメラシステムは、図１と同様の構成を有するが、被写体領域検出部２１３で検出した顔の位置情報の履歴をＳＤＲＡＭ２１０に記録する。記録する顔の位置情報の履歴の数については、後述するように、デフォーカス検出位置補正部２１６の動作を満たすことができる数と、ＳＤＲＡＭ２１０の容量とのバランスに基づいて決定する。

図２３は、図３のＳ３０４の静止画撮影処理の詳細を示すフローチャートである。本実施例は、図３のＳ３０４の詳細を図４ではなく図２３に示すフローに基づいて行う。図２３に示すＳ２３０１からＳ２３０４、Ｓ２３０７からＳ２０１４は、図４に示すＳ４０１からＳ４０４、Ｓ４０６からＳ４１３と同様の処理であるので説明を省略する。

Ｓ２３０５では、カメラ制御部２１５は、被写体領域検出部２１３で検出した主被写体の位置情報をＳＤＲＡＭ２１０へ記録し、Ｓ２３０６へ処理を進める。検出した主被写体が変更された場合には、変更されたことが分かるように位置情報の履歴をリセットする。また、主被写体のＩＤ情報が分かるような構成であれば、位置情報とともにＩＤ情報を記録してもよい。Ｓ２３０６では、デフォーカス検出位置補正部２１６は、焦点検出領域選択処理を行い、Ｓ２３０７へ処理を進める。

本実施例は、図２３のＳ２３０６の詳細を図５ではなく図２４に示すフローに基づいて行う。図２４において、まず、Ｓ２４０１では、デフォーカス検出位置補正部２１６は、被写体領域検出部２１３が顔検出をしているかどうかを判断し、顔検出をしている場合はＳ２４０２へ進み、顔検出をしていない場合はＳ２４０６へ処理を進める。

Ｓ２４０２では、デフォーカス検出位置補正部２１６は、検出した顔のサイズが所定より小さいかどうかを判断し、顔が所定より小さい場合はＳ２４０３へ処理を進め、顔が所定以上である場合はＳ２４０６へ処理を進める。

Ｓ２４０３では、デフォーカス検出位置補正部２１６は、Ｓ２３０５でＳＤＲＡＭ２１０に保持した顔の位置情報の履歴を基に、Ｙ座標面上で顔が所定回以上続けて同一方向に変化しているかどうかを判断する。所定回以上続けて同一方向に変化している場合はＳ２４０４へ処理を進め、同一方向に変化していない場合や所定回の履歴を検出できていない場合は、Ｓ２４０６へ処理を進める。顔被写体が同一方向に変化しているかを判定するための閾値は、被写体の動きがあると判定される場合の回数を基に決定する。

Ｓ２４０４では、デフォーカス検出位置補正部２１６は、保持した顔の位置情報の履歴を基に、Ｙ座標面上で前回の被写体位置と今回の被写体位置の差が所定以上かどうかを判断する。前回と今回の被写体位置の差分が所定以上であればＳ２４０５へ処理を進め、差分が所定以内であればＳ２４０６へ処理を進める。ここで顔被写体が大きく変化しているかを判定するための閾値は、被写体が大きく動いたと判定されるときの位置情報の変化量に基づいて決定する。

Ｓ２４０５では、デフォーカス検出位置補正部２１６は、保持した顔の位置情報の履歴に基づいて、撮像画面に対して被写体が移動している方向にＡＦ枠を再設定しＳ２４０６へ処理を進める。

Ｓ２４０６では、デフォーカス検出位置補正部２１６は、ＡＦ枠に最も近いＡＦ用画素を焦点検出領域として選択し、処理を終了する。

図２５（ａ）は、主被写体の位置と、被写体の過去の履歴及び、過去の履歴を基にした次のフレームの予測位置を示す図である。過去の履歴と今後の予測を考慮しない場合、現在の主被写体の位置に対して実施例２と同様の方法で撮像画面の下方にＡＦ枠の位置を補正した場合のＡＦ枠位置が図示されている。

被写体がＸＹ平面方向に移動しなければ、この補正によって主被写体の胴体を捉えることでピントを合わせることができる。しかしながら、図２５（ａ）に示すように、主被写体がＸＹ平面方向に移動すると、設定した焦点検出領域と主被写体の位置がずれるおそれがある。仮に、図２５（ａ）に示す予測位置に被写体が移動すると、被写体位置とは異なる位置を焦点検出してしまう。

図２５（ｂ）は、図２５（ａ）と同じ被写体条件で、過去の被写体の位置を基に次のフレーム被写体の位置を予測する例を示す図である。図２５（ｂ）では、過去の被写体位置に基づいて次のフレームの被写体位置にＡＦ枠を設定している。これにより、図２５（ｂ）に示す予測位置に被写体が移動すると、被写体の焦点検出が可能になる。

実制御上では、できるだけ被写体が移動している状況の信頼度を高めるため、Ｓ２４０３で所定回数以上継続して被写体が同一方向に動いているかを監視したり、Ｓ２４０４で被写体の移動量がある程度大きいかどうかを条件に加えたりしている。被写体のＸＹ方向移動の予測方法は、本実施例で示す方法以外の方法を用いてもよい。

以上、本実施例は、検出した顔被写体の位置の履歴を記憶し、過去の位置の履歴に基づいて顔被写体が移動していると判断された場合は、次の被写体位置を予測してＡＦ枠を再設定する。これにより、顔被写体が移動している場合でも合焦精度を高めることができる。

本発明は、上記実施例を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、該システム又は装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行することによっても実現される。

以上、本発明の実施例について説明したが、本発明は、その要旨の範囲内で種々の変形及び変更が可能である。

本発明は、デジタルカメラなどの撮像装置に適用可能である。

Ｐａ、Ｐｂ・・・画素、２・・・ＡＦ枠、４・・・焦点検出領域、６・・・撮像画面、２０１・・・撮像素子、２１５・・・カメラ制御部（制御手段）

Claims

一部が遮光され、開口位置が異なる対の画素が撮像面に離散的に配置され、前記対の画素から位相差検出方式の焦点検出演算を行うための焦点検出用信号を出力すると共に、撮像光学系によって形成された被写体像を光電変換して撮像信号を出力する撮像素子と、
前記撮像信号から得られる撮像画面に主被写体を含む枠を設定し、前記枠に前記対の画素が含まれていない場合、前記撮像画面の短手方向において前記枠よりも前記主被写体に接続された部位の側にある、前記枠に最も近い前記対の画素を焦点検出領域として設定する制御手段と、
を有することを特徴とする焦点調節装置。
前記制御手段は、前記主被写体を含む前記枠に前記対の画素が含まれていない場合、前記撮像画面の前記短手方向において前記枠よりも前記主被写体に接続された部位の側に前記枠を移動させて再設定し、移動後の前記枠に含まれる前記対の画素を前記焦点検出領域として設定することを特徴とする請求項１に記載の焦点調節装置。
前記制御手段は、移動後の前記枠が前記主被写体の一部と前記対の画素を含むように再設定することを特徴とする請求項２に記載の焦点調節装置。
前記撮像信号から前記主被写体としての顔と胴体を検出する被写体検出手段を更に有し、
前記制御手段は、前記被写体検出手段によって検出された前記顔を含む前記枠に前記対の画素が含まれていない場合、前記枠が前記被写体検出手段によって検出された前記胴体を含むように前記枠を再設定することを特徴とする請求項２に記載の焦点調節装置。
前記焦点調節装置の姿勢を検出する姿勢検出手段を更に有し、
前記姿勢検出手段によって検出された前記焦点調節装置の姿勢が横位置で、かつ、前記主被写体を含む前記枠に前記対の画素が含まれていない場合、前記制御手段は、前記撮像画面の短手方向において前記枠よりも前記主被写体に接続された部位の側にある、前記枠に最も近い前記対の画素を前記焦点検出領域として設定し、
前記姿勢検出手段によって検出された前記焦点調節装置の姿勢が縦位置で、かつ、前記主被写体を含む前記枠に前記対の画素が含まれていない場合、前記制御手段は、前記枠に最も近い前記対の画素を前記焦点検出領域として設定することを特徴とする請求項１に記載の焦点調節装置。
前記焦点調節装置の姿勢を検出する姿勢検出手段を更に有し、
前記姿勢検出手段によって検出された前記焦点調節装置の姿勢が横位置で、かつ、前記主被写体を含む前記枠に前記対の画素が含まれていない場合、前記制御手段は前記撮像画面の前記短手方向において前記枠よりも前記主被写体に接続された部位の側に前記枠を移動させて再設定し、前記枠に含まれる前記対の画素を前記焦点検出領域として設定し、
前記姿勢検出手段によって検出された前記焦点調節装置の姿勢が縦位置で、かつ、前記主被写体を含む前記枠に前記対の画素が含まれていない場合、前記制御手段は前記枠を再設定せず、前記枠に最も近い前記対の画素を前記焦点検出領域として設定することを特徴とする請求項２に記載の焦点調節装置。
主被写体を検出する被写体検出手段と、
前記被写体検出手段が検出した前記主被写体の位置の履歴を記憶する記憶手段と、
前記制御手段は、前記枠が前記撮像画面において移動している場合に、前記記憶手段に記憶された情報に基づいて移動すると予測される前記枠に含まれる前記対の画素を前記焦点検出領域として設定することを特徴とする請求項１乃至６のうちいずれか１項に記載の焦点調節装置。
前記制御手段は、前記枠に前記対の画素が含まれている場合、前記枠に含まれる前記対の画素を前記焦点検出領域として設定することを特徴とする請求項１に記載の焦点調節装置。
一部が遮光され、開口位置が異なる対の画素が撮像面に離散的に配置され、前記対の画素から位相差検出方式の焦点検出演算を行うための焦点検出用信号を出力すると共に、撮像光学系によって形成された被写体像を光電変換して撮像信号を出力する撮像素子と、
前記撮像信号から得られる撮像画面に顔を含む枠を設定し、前記枠に前記対の画素が含まれていない場合、前記枠に最も近い胴体を横切る前記対の画素を焦点検出領域として設定する制御手段と、
を有することを特徴とする焦点調節装置。
一部が遮光され、開口位置が異なる対の画素が撮像面に離散的に配置され、前記対の画素から位相差検出方式の焦点検出演算を行うための焦点検出用信号を出力すると共に、撮像光学系によって形成された被写体像を光電変換して撮像信号を出力する撮像素子と、
前記撮像信号から得られる撮像画面に主被写体を含む枠を設定し、前記枠が所定の大きさよりも小さい場合、前記撮像画面の短手方向において前記枠よりも前記主被写体に接続された部位の側にある、前記枠に最も近い前記対の画素を焦点検出領域として設定する制御手段と、
を有することを特徴とする焦点調節装置。
前記枠が所定の大きさよりも小さい場合、前記制御手段は、前記撮像画面の前記短手方向において前記枠よりも前記主被写体に接続された部位の側に前記枠を移動させて再設定し、移動後の前記枠に含まれる前記対の画素を前記焦点検出領域として設定することを特徴とする請求項１０に記載の焦点調節装置。
前記焦点検出領域にある前記対の画素から得られる２つの像信号の相関演算により位相差を検出することによって焦点検出を行う第１焦点検出手段と、
前記撮像光学系によって形成される焦点位置と前記撮像素子の相対位置を変化させるスキャンを行いながら前記枠から得られる前記撮像信号のコントラストのピーク位置を検出することによって焦点検出を行う第２焦点検出手段と、
を更に有することを特徴とする請求項１乃至１１のうちいずれか１項に記載の焦点検出装置。
一部が遮光され、開口位置が異なる対の画素が撮像面に離散的に配置され、前記対の画素から位相差検出方式の焦点検出演算を行うための焦点検出用信号を出力すると共に、撮像光学系によって形成された被写体像を光電変換して撮像信号を出力する撮像素子の前記撮像信号から得られる撮像画面に主被写体を含む枠を設定するステップと、
前記ステップによって設定された前記枠に前記対の画素が含まれていない場合、前記撮像画面の短手方向において前記枠よりも前記主被写体に接続された部位の側にある、前記枠に最も近い前記対の画素を焦点検出領域として設定するステップと、
を有することを特徴とする焦点調節方法。