JP2010072599A - 自動合焦装置および自動合焦方法 - Google Patents

Abstract

【課題】動画の撮影に際して焦点を合わせるべき対象を見失っても、オートフォーカス制御を安定的に行う。
【解決手段】顔検出結果の信頼度が閾値以上であれば、フラグをＯＮとして顔検出位置に基づきＡＦ評価枠を設定する。また、ＡＦ評価枠に対応する枠表示を撮像画像に対して行う。顔検出結果の信頼度が低ければ、過去と現在の信頼度が比較される。比較の結果、過去の信頼度が閾値以上であれば、過去と現在の測距結果が比較される。差分が小さければ、フォーカスレンズ位置を動かさないように制御され、枠表示も変更しない。差分が大きければ、フラグをＯＦＦとし、ＡＦ評価枠を中央に固定すると共に、枠表示を止める。過去と現在の信頼度の比較の結果、過去の信頼度が低ければ、フラグのＯＮ／ＯＦＦが判定され、ＯＮであればレンズ位置固定、枠表示変更無しとされ、ＯＦＦであれば、ＡＦ評価枠が中央に固定的とされ、枠表示が停止される。
【選択図】図９

Description

本発明は、自動合焦装置および自動合焦方法に関し、特には、動画を撮像する際のオートフォーカス制御に用いて好適な自動合焦装置および自動合焦方法に関する。

近年、ディジタルカメラ装置においては、人間の顔など特定の被写体の位置や大きさを画像認識アルゴリズムにより推定する技術が実用化されている。推定された特定の被写体の位置および大きさの情報は、例えばオートフォーカス制御に利用される。すなわち、被写体位置および大きさに合わせた測距枠を設定し、この測距枠内でオートフォーカス用の評価データを生成してオートフォーカス制御を行えば、特定の被写体に注目したフォーカス制御が可能となる。

また、近年のディジタルカメラ装置においては、上述した特定の被写体の状態をディジタルカメラ装置の使用者に対して表示することも行われている。ディジタルカメラ装置本体に装着された、ＬＣＤなどによる表示部に対する表示画像に対し、特定の被写体を指示する情報（例えば枠）が重畳され、表示される。特定の被写体を指示する情報は、表示部に表示される画像にのみ重畳され、記録媒体に記録される静止画像に対しては付加されない。

特許文献１には、このように、特定被写体の位置を検出し、特定被写体に対するオートフォーカス動作を高速に行うようにした技術が記載されている。特許文献１は、画像認識アルゴリズムにより、例えば人の顔を画像中から検出して、顔の大きさや目の間隔から被写体までの距離を推定して合焦制御をする。それと共に、顔を検出した位置に対してフォーカス領域を設定して、画像コントラスト方式によるオートフォーカス制御を行う技術を開示している。

特開２００３−２８９４６８号公報

ここで、ビデオカメラなどを用いて動画を撮影する場合について考える。動画撮影の場合、被写体である人物は、撮影中に撮影画角内で移動したり、顔を正面すなわちビデオカメラ側以外の方向に向けるなど、様々な動きを取る可能性がある。また、撮影中に、被写体である人物を遮るような別の物体が出現することも有り得る。このような場合、オートフォーカス制御において焦点を合わせるべき対象（被写体）を見失ってしまうことになる。

上述した特許文献１の技術では、スナップ撮影など、被写体である人物が撮影を行うディジタルカメラ装置側に顔を向けている状態での撮影のみを想定している。したがって、特許文献１の技術では、上述のような、動画撮影中に発生する可能性がある様々な状況に対応できず、オートフォーカス制御が誤動作するおそれがあるという問題点があった。

したがって、本発明の目的は、動画の撮影に際して焦点を合わせるべき対象を見失っても、安定的にオートフォーカス制御を行うことが可能な自動合焦装置および自動合焦方法を提供することにある。

本発明は、上述した課題を解決するために、撮像素子から所定間隔で連続的にフレーム画像信号が出力される撮像装置に用いられる自動合焦装置であって、被写体からの光に応じて撮像素子から出力されたフレーム画像信号に対して顔検出を行い、検出された顔のうち最も確からしい顔について信頼度を求め、信頼度と顔の位置を示す位置情報とを出力すると共に、信頼度を保持する顔検出手段と、被写体に対する測距を行うと共に、測距の結果を保持する測距手段と、撮像素子の一部の領域に対して評価枠を設定する評価枠設定手段と、合焦の度合いを示す合焦評価値を評価枠に含まれるフレーム画像信号から取得する評価値取得手段と、合焦評価値に基づきフォーカスレンズを移動させて合焦動作を行う合焦手段と、評価枠設定手段による評価枠の設定を制御すると共に、合焦手段による合焦動作を制御する制御手段とを有し、制御手段は、現在のフレーム画像信号に対する信頼度を第１の閾値と比較して、信頼度が第１の閾値よりも高いと判断したら、その旨示すフラグをＯＮとすると共に、位置情報に基づき評価枠を設定するように評価枠設定手段を制御し、現在のフレーム画像信号に対する信頼度が第１の閾値よりも低いと判断したら、現在のフレーム画像信号に対して少なくとも所定間隔だけ過去のフレーム画像信号に対する信頼度を第１の閾値と比較して、過去のフレーム画像信号に対する信頼度が第１の閾値よりも高いと判断されれば、さらに、現在の測距の結果と過去の測距の結果とを比較し、現在の測距の結果と過去の測距の結果との差分が第２の閾値より小さいと判断したら、フォーカスレンズの位置を過去に合焦動作を行った位置から動かさないように合焦手段を制御し、差分が第２の閾値より大きいと判断したら、フラグをＯＦＦとすると共に、評価枠設定手段を制御して位置および大きさが固定の評価枠を設定させ、過去のフレーム画像信号に対する信頼度が第１の閾値よりも低いと判断したら、フラグがＯＮかＯＦＦかを判定し、フラグがＯＮであると判定したら、フォーカスレンズの位置を過去に合焦動作を行った位置から動かさないように合焦手段を制御し、フラグがＯＦＦであると判定したら、評価枠設定手段を制御して位置および大きさが固定の評価枠を設定させることを特徴とする自動合焦装置である。

また、本発明は、撮像素子から所定間隔で連続的にフレーム画像信号が出力される撮像装置に用いられる自動合焦方法であって、被写体からの光に応じて撮像素子から出力されたフレーム画像信号に対して顔検出を行い、検出された顔のうち最も確からしい顔について信頼度を求め、信頼度と顔の位置を示す位置情報とを出力すると共に、信頼度を保持する顔検出ステップと、被写体に対する測距を行うと共に、測距の結果を保持する測距ステップと、撮像素子の一部の領域に対して評価枠を設定する評価枠設定ステップと、合焦の度合いを示す合焦評価値を評価枠に含まれるフレーム画像信号から取得する評価値取得ステップと、合焦評価値に基づきフォーカスレンズを移動させて合焦動作を行う合焦ステップと、評価枠設定ステップによる評価枠の設定を制御すると共に、合焦ステップによる合焦動作を制御する制御ステップとを有し、制御ステップは、現在のフレーム画像信号に対する信頼度を第１の閾値と比較して、信頼度が第１の閾値よりも高いと判断したら、その旨示すフラグをＯＮとすると共に、位置情報に基づき評価枠を設定するように評価枠設定ステップを制御し、現在のフレーム画像信号に対する信頼度が第１の閾値よりも低いと判断したら、現在のフレーム画像信号に対して少なくとも所定間隔だけ過去のフレーム画像信号に対する信頼度を第１の閾値と比較して、過去のフレーム画像信号に対する信頼度が第１の閾値よりも高いと判断されれば、さらに、現在の測距の結果と過去の測距の結果とを比較し、現在の測距の結果と過去の測距の結果との差分が第２の閾値より小さいと判断したら、フォーカスレンズの位置を過去に合焦動作を行った位置から動かさないように合焦ステップを制御し、差分が第２の閾値より大きいと判断したら、フラグをＯＦＦとすると共に、評価枠設定ステップを制御して位置および大きさが固定の評価枠を設定させ、過去のフレーム画像信号に対する信頼度が第１の閾値よりも低いと判断したら、フラグがＯＮかＯＦＦかを判定し、フラグがＯＮであると判定したら、フォーカスレンズの位置を過去に合焦動作を行った位置から動かさないように合焦ステップを制御し、フラグがＯＦＦであると判定したら、評価枠設定ステップを制御して位置および大きさが固定の評価枠を設定させることを特徴とする自動合焦方法である。

また、本発明は、撮像素子から所定間隔で連続的にフレーム画像信号が出力される撮像装置に用いられる自動合焦装置であって、被写体からの光に応じて撮像素子から出力されたフレーム画像信号に対して顔検出を行い、検出された顔のうち最も確からしい顔について信頼度を求め、信頼度と顔の位置を示す位置情報とを出力する顔検出手段と、被写体に対する測距を行うと共に、測距の結果を保持する測距手段と、撮像素子の一部の領域に対して、位置および大きさが可変の第１の評価枠と、位置および大きさが固定の第２の評価枠とを設定すると共に、第１の評価枠を保持する評価枠設定手段と、合焦の度合いを示す合焦評価値に基づき合焦動作を行う合焦手段と、信頼度を閾値と比較して、信頼度が閾値よりも高いと判断したら、評価枠設定手段に現在の位置情報に基づき第１の評価枠を設定させ、第１の評価枠に含まれるフレーム画像信号から取得した第１の合焦評価値と、第２の評価枠に含まれるフレーム画像信号から取得された第２の合焦評価値とを信頼度に応じた重みを付けて合成して、合焦手段で用いる合焦評価値を生成し、信頼度が閾値よりも低いと判断したら、現在に対して少なくとも所定間隔だけ過去に評価枠設定手段で設定された第１の評価枠を現在の第１の評価枠として設定して、第１の評価枠に含まれる現在のフレーム画像信号から取得された第１の合焦評価値と、第２の評価枠に含まれる現在のフレーム画像信号から取得された第２の合焦評価値とを、測距手段による現在の測距の結果と過去の測距の結果とを比較した比較結果に応じた重みを付けて合成して、合焦手段で用いる合焦評価値を生成する評価値取得手段とを有することを特徴とする自動合焦装置である。

また、本発明は、撮像素子から所定間隔で連続的にフレーム画像信号が出力される撮像装置に用いられる自動合焦方法であって、被写体からの光に応じて撮像素子から出力されたフレーム画像信号に対して顔検出を行い、検出された顔のうち最も確からしい顔について信頼度を求め、信頼度と顔の位置を示す位置情報とを出力する顔検出ステップと、被写体に対する測距を行うと共に、測距の結果を保持する測距ステップと、撮像素子の一部の領域に対して、位置および大きさが可変の第１の評価枠と、位置および大きさが固定の第２の評価枠とを設定すると共に、第１の評価枠を保持する評価枠設定ステップと、合焦の度合いを示す合焦評価値に基づき合焦動作を行う合焦ステップと、信頼度を閾値と比較して、信頼度が閾値よりも高いと判断したら、評価枠設定ステップに現在の位置情報に基づき第１の評価枠を設定させ、第１の評価枠に含まれるフレーム画像信号から取得された第１の合焦評価値と、第２の評価枠に含まれるフレーム画像信号から取得された第２の合焦評価値とを信頼度に応じた重みを付けて合成して、合焦ステップで用いる合焦評価値を生成し、信頼度が閾値よりも低いと判断したら、現在に対して少なくとも所定間隔だけ過去に評価枠設定ステップで設定された第１の評価枠を現在の第１の評価枠として設定して、第１の評価枠に含まれる現在のフレーム画像信号から取得された第１の合焦評価値と、第２の評価枠に含まれる現在のフレーム画像信号から取得された第２の合焦評価値とを、測距ステップによる現在の測距の結果と過去の測距の結果とを比較した比較結果に応じた重みを付けて合成して、合焦ステップで用いる合焦評価値を生成する評価値取得ステップとを有することを特徴とする自動合焦装置である。

本発明は、上述の構成を有しているため、動画の撮影に際して焦点を合わせるべき対象を見失っても、安定的にオートフォーカス制御を行うことが可能となる。

＜第１の実施形態＞
以下、本発明の第１の実施形態を、図面を参照しながら説明する。図１は、本第１の実施形態に適用可能な撮像装置１００の一例の構成を示す。第１の光学系１０１は、例えば光軸に対して前後に移動するフォーカスレンズによる焦点調節光学系を含み、被写体からの光を後述する第１の撮像素子１０２に照射する。第１の撮像素子１０２は、例えばＣＣＤやＣＭＯＳイメージセンサからなり、照射された光を光電変換により電荷に変換し、電気信号として出力する。撮像装置１００は、撮像素子１０２からの電荷の読み出しを所定間隔、例えばフレーム周期で連続的に行うことで、フレーム周期毎に更新されるフレーム画像信号を得ることができ、動画の撮影が可能となる。

第１の撮像素子１０２から出力された撮像信号Ｓ１は、第１のアナログフロントエンド（ＡＦＥ）部１０３に供給され、ノイズ除去、ゲイン調整処理などを施された後、Ａ／Ｄ変換されてディジタル信号とされる。このディジタル信号は、撮像データＳ２として第１のＡＦＥ部１０３から出力される。第１のＡＦＥ部１０３から出力された撮像データＳ２は、画像処理部１０４、ＡＦ評価値生成部１０６および被写体検出部１０７にそれぞれ供給される。

画像処理部１０４は、供給された撮像データＳ２に対して色分離処理やγ補正処理、ホワイトバランス処理といった信号処理を施し、ディジタルビデオ信号Ｓ３を生成する。ディジタルビデオ信号Ｓ３は、表示・記録部１０５に供給される。

表示手段としての表示・記録部１０５は、ＬＣＤといった表示デバイスとその駆動回路とを備える。ディジタルビデオ信号Ｓ３は、表示・記録部１０５において、例えば撮影の際のモニタ映像として、表示デバイスに表示される。また、表示・記録部１０５は、ディジタルビデオ信号Ｓ３による映像に対して、ＡＦ制御部１１３から供給される表示制御信号に基づく画像を重畳して表示させることができる。表示・記録部１０５は、磁気テープや光ディスク、半導体メモリといった記録媒体にディジタルビデオ信号Ｓ３を記録する構成を有する。

評価値取得手段としてのＡＦ評価値生成部１０６は、ＡＦＥ部１０３から供給された撮像データＳ２に基づき、撮像素子１０２に結像された被写体像の合焦の度合いを評価するための合焦評価値であるＡＦ評価値Ｓ５を生成する。このとき、ＡＦ評価値生成部１０６は、後述するＡＦ制御部１１３から供給されるＡＦ評価値生成枠設定情報Ｓ１０に基づき設定される撮影画面内の領域内すなわち評価枠内について、ＡＦ評価値Ｓ５を生成する。ＡＦ評価値生成部１０６におけるＡＦ評価値Ｓ５の生成方法については、後述する。ＡＦ評価値生成部１０６で生成されたＡＦ評価値Ｓ５は、レンズ駆動部１１４に供給される。

レンズ駆動部１１４は、制御信号Ｓ１３により、第１の光学系１０１に含まれる焦点調節光学系を駆動する。すなわち、レンズ駆動部１１４は、ＡＦ評価値生成部１０６から供給されたＡＦ評価値Ｓ５と、ＡＦ制御部１１３から供給されるレンズ駆動信号とに基づき制御信号Ｓ１３を生成する。この制御信号Ｓ１３によりフォーカスレンズが移動され、第１の撮像素子１０２の受光面上の被写体像の焦点調節が行われる。例えばレンズ駆動部１１４およびＡＦ制御部１１３とで合焦手段が構成される。

顔検出手段としての被写体検出部１０７は、撮像データＳ２に基づき被写体像の中に存在する特定の被写体、例えば人間の顔を検出し、検出された顔の位置を示す位置情報と、顔検出の信頼性を示す信頼性データとを含む顔検出データＳ４を生成する。被写体検出部における顔検出処理については、後述する。顔検出データＳ４は、ＡＦ制御部１１３に直接的に供給される。また、顔検出データＳ４は、顔検出記憶部１１５に所定の時間記憶され、過去顔検出データＳ１４としてＡＦ制御部１１３に出力される。

第２の撮像素子１０９は、例えばＣＣＤやＣＭＯＳイメージセンサからなる。第２の光学系１０８は、位相差測距を行うために、同一の被写体から到来する光を２系統の光にして、それぞれ第２の撮像素子１０９に照射する。第２の撮像素子１０９は、第２の光学系から照射された２系統の光を光電変換により電荷に変換し、電気信号として出力する。第２の撮像素子１０９の出力は、第２のＡＦＥ部１１０でノイズ除去、ゲイン制御など所定の処理を施され、さらにＡ／Ｄ変換され、ディジタル信号とされる。このディジタル信号は、測距撮像データＳ７として位相差測距演算部１１１に供給される。

測距手段としての位相差測距演算部１１１は、供給された測距撮像データＳ７を用いて、２系統の光による位相差に基づく測距を行う。位相差測距演算部１１１における測距方法については、後述する。測距の結果求められた位相差測距データＳ８は、ＡＦ制御部１１３に直接的に供給されると共に、測距記憶部１１２で所定の時間保持され、過去位相差測距データＳ９としてＡＦ制御部１１３に供給される。

制御手段としてのＡＦ制御部１１３は、例えばＣＰＵ、ＲＯＭおよびＲＡＭからなり、ＲＯＭに予め記憶されたプログラムに従い、ＲＡＭをワークメモリとして用いてこの撮像装置１００におけるオートフォーカス動作の制御を行う。ＡＦ制御部１１３は、図１に例示されるように独立した構成としてもよいし、撮像装置１００の全体を制御するシステム制御部の機能の一部としてもよい。

評価値設定手段としてのＡＦ制御部１１３は、顔検出データＳ４と、位相差測距データＳ８と、過去位相差測距データＳ９とに基づき、ＡＦ評価値を生成する枠を設定するためのＡＦ評価値生成枠設定情報Ｓ１０を生成し、ＡＦ評価値生成部１０６に供給する。また、ＡＦ制御部１１３は、これらデータＳ４、Ｓ８およびＳ９に基づき、フォーカスレンズを停止させるように駆動するレンズ駆動停止信号Ｓ１１を生成し、レンズ駆動部１１４に供給する。さらに、ＡＦ制御部１１３は、これらデータＳ４、Ｓ８およびＳ９に基づき、顔検出を行う範囲を示す顔検出表示枠を表示デバイスに表示させるための顔検出表示枠設定情報Ｓ１２を生成し、表示・記録部１０５に供給する。

次に、第１の光学系１０１および第１の撮像素子１０２によるオートフォーカス制御について説明する。図２は、被写体検出部１０７の一例の構成を示す。アナログフロントエンド部１０３から出力された撮像データＳ２がメモリインターフェイス（メモリＩ／Ｆ）２０２に入力される。メモリＩ／Ｆ２０２は、メモリコントローラ２０７の制御に従い、画像メモリ２０３に対するデータの入出力を制御する。

顔画像テンプレート記憶部２０６は、顔の判定基準となる画像データである顔画像テンプレートが予め記憶される。顔画像テンプレート記憶部２０６から読み出された顔画像テンプレートは、変倍処理部２０５でメモリコントローラ２０７の制御に従い拡大／縮小処理され、相関係数算出部２０４に供給される。

また、画像メモリ２０３に記憶された撮像データＳ２は、メモリコントローラ２０７の制御により所定サイズのブロックとして読み出され、当該ブロック毎の撮像データＳ２が順次、メモリＩ／Ｆ２０２を介して相関係数算出部２０４に供給される。画像メモリ２０３から読み出されたブロックのサイズおよび座標を示すデータが、メモリコントローラ２０７から出力判定部２０８に供給される。

相関係数算出部２０４は、メモリＩ／Ｆ２０２から供給されるブロック毎の撮像データＳ２と、変倍処理部２０５で拡大／縮小された顔画像テンプレートとの相関係数ｋを算出する。算出された相関係数ｋは、出力判定部２０８に供給される。

出力判定部２０８は、相関係数算出部２０４から供給されたブロック毎の相関係数ｋに基づき顔を検出すると共に、検出された顔の信頼度を求め、信頼度出力２１０として出力する。また、検出された顔の撮像データＳ２における座標およびサイズ情報２０９を位置情報として出力する。これら信頼度出力２１０、ならびに、座標およびサイズ情報２０９は、ＡＦ制御部１１３に供給される。

被写体検出部１０７における処理について、図３および図４を用いてより詳細に説明する。図３は、メモリコントローラ２０７の一例の動作タイミングを示すタイミングチャートである。図３において、時間ｔ１、ｔ２、ｔ３およびｔ４は、撮像信号Ｓ１の垂直同期タイミングを示す。また、図４は、画像メモリ２０３に格納された画像に対する顔サーチ時の一例の画像参照領域を示す。

メモリコントローラ２０７は、メモリＩ／Ｆ２０２に入力される撮像データＳ２を、図３の時間ｔ１〜ｔ２に例示されるように、撮像信号Ｓ１が生成されるフィールドタイミングに同期して画像メモリ２０３に格納されるように、メモリＩ／Ｆ２０２を制御する。

次に、メモリコントローラ２０７は、画像メモリ２０３に記憶された撮像データＳ２を、メモリＩ／Ｆ２０２を介して所定サイズの画像参照領域毎に順次読み出し、相関係数算出部２０４に供給する。メモリコントローラ２０７は、例えば撮像データＳ２の１画面分の読み出しが時間ｔ２〜ｔ３の期間内に完了するように、メモリＩ／Ｆ２０２を制御する。一例として、図４に例示されるように、画像参照領域ａ、ｂ、ｃ、…が、図３に例示する時間ｔ２〜ｔ１０、ｔ１０〜ｔ１１、ｔ１１〜ｔ１２、…でそれぞれ読み出され、順次、相関係数算出部２０４に供給される。

一方、顔画像テンプレート記憶部２０６から顔画像テンプレートが読み出され、変倍処理部２０５に供給される。変倍処理部２０５は、メモリコントローラ２０７から供給される変倍設定に従い、サイズが上述の画像参照領域に対応したサイズとなるように、顔画像テンプレートに対して拡大または縮小処理を施す。変倍処理部２０５で画像参照領域に対応するサイズとされた顔画像テンプレートは、相関係数算出部２０４に供給される。

相関係数算出部２０４は、メモリＩ／Ｆ２０２から供給された画像参照領域の画像データと、変倍処理部２０５から供給された顔画像テンプレートの相関係数が求められる。相関係数ｋは、０≦ｋ≦１となり、画像参照領域の画像と顔画像テンプレートとが無相関である場合にはｋ＝０、両者が同一である場合にはｋ＝１となる。すなわち、相関係数ｋは、画像参照領域の画像が顔に近いほど、１に近い値をとる。したがって、相関係数ｋの値から画像参照領域の画像が顔であるか否かを判定することが可能となる。

相関係数算出部２０４は、図３の時間ｔ２〜ｔ１０、ｔ１０〜ｔ１１、ｔ１１〜ｔ１２、…において、供給された画像参照領域に対して順次、相関係数ｋ_ａ、ｋ_ｂ、ｋ_ｃ、…を求める。これにより、画像メモリ２０３に格納された撮像データＳ２による画像の全領域について、顔の有無が判定される。

相関係数算出部２０４で求められた相関係数ｋ_ａ、ｋ_ｂ、ｋ_ｃ、…は、出力判定部２０８に供給される。出力判定部２０８は、供給された相関係数ｋ_ａ、ｋ_ｂ、ｋ_ｃ、…に基づき顔の有無を判定する。例えば、相関係数ｋ_ａ、ｋ_ｂ、ｋ_ｃ、…を所定値と比較し、相関係数ｋが当該所定値よりも大きな画像参照領域に、顔が含まれると判定することが考えられる。また、上述したように、メモリコントローラ２０７から、画像参照領域ａ、ｂ、ｃ、…の座標情報が出力判定部２０８に対して供給される。

出力判定部２０８は、顔が含まれると判定された画像参照領域ａ、ｂ、ｃ、…のうち相関係数ｋが最も１に近い画像参照領域を特定する。換言すれば、出力判定部２０８は、顔が含まれると判定された画像参照領域ａ、ｂ、ｃ、…のうち、画像が顔であることが最も確からしい画像参照領域を特定する。そして、特定された画像参照領域について、その位置およびサイズがサイズ情報２０９として、出力判定部２０８から出力される。また、出力判定部２０８は、当該画像参照領域で検出された顔の信頼度を信頼度出力２１０として出力する。顔の信頼度は、画像が顔であることの確からしさを示す情報であって、例えば相関係数ｋの値そのものを用いることができる。サイズ情報２０９および信頼度出力２１０は、顔検出データＳ４として被写体検出部１０７から出力される。

なお、図４に示した画像参照領域ａ、ｂ、ｃ、…は、説明を容易とするため互いに重複部分が無いものとして記述していが、画像参照領域ａ、ｂ、ｃ、…は、互いに重複部分を持たせてより詳細に判定を行うと好ましい。例えば、画像参照領域を画素毎に移動させながら、顔の有無の判定を行うことが考えられる。さらに、図４に示した画像参照領域に対して複数のサイズを設定し、様々な大きさの顔画像の判定に用いるようにすると好ましい。

また、重複部分を多く設定したり、画像参照領域のサイズを多く設定するほど、相関係数ｋの演算と判定処理の回数が増え、顔の検出に時間がかかることになる。この場合、撮像データＳ２の１画面分の顔検出を、図３に示した時間ｔ２〜ｔ３の１フィールド期間ではなく、例えば時間ｔ２〜ｔ４といった２フィールドやそれ以上を顔の検出期間に充ててもよい。

図５は、ＡＦ評価値生成部１０６の一例の構成を示す。ＡＦ評価値生成部１０６に供給された撮像データＳ２は、バンドパスフィルタ（ＢＰＦ）５０２により画像のエッジを表す周波数成分が抽出され、絶対値算出回路（ＡＢＳ）５０３で絶対値が算出される。これにより、被写体のエッジコントラスト強度の情報が得られる。絶対値算出回路５０３で算出された絶対値は、ピークホールド回路５０４に供給される。

一方、ＡＦ制御部１１３から出力されたＡＦ評価値生成枠設定情報Ｓ１０が水平枠信号生成回路５１４および垂直枠信号生成回路５１５に供給される。水平枠信号生成回路５１４は、ＡＦ評価値生成枠設定情報Ｓ１０に基づき、ＡＦ評価値生成枠の水平方向すなわち画像のライン方向の範囲を設定する水平枠信号を生成する。同様に、垂直枠信号生成回路５１５は、ＡＦ評価値生成枠設定情報Ｓ１０に基づき、ＡＦ評価値生成枠の垂直方向の範囲を設定する垂直枠信号を生成する。これにより、ＡＦ評価値生成枠の位置およびサイズがＡＦ評価値生成枠設定情報Ｓ１０により決定される。

水平枠信号生成回路５１４で生成された水平枠信号は、ピークホールド回路５０４に供給される。また、垂直枠信号生成回路５１５で生成された垂直枠信号は、積分回路５０７に供給される。

ピークホールド回路５０４は、絶対値算出回路５０３から供給された絶対値のピーク値を検出する。このとき、ピークホールド回路５０４は、水平枠信号により検出範囲を限定して検出を行うので、検出された絶対値のピーク値は、ＡＦ評価値生成枠内における、１水平ラインの被写体のエッジコントラスト強度となる。ピークホールド回路５０４の検出値は、積分回路５０７に入力され、積分される。ここで、積分回路５０７は、垂直枠信号により積分範囲が限定され、ピークホールド回路５０４の検出値は、ＡＦ評価値生成枠の垂直方向範囲においてのみ積分される。

このようにして積分回路５０７で得られた積分値は、図６に例示されるように、横軸のフォーカスレンズ位置の変化に対してなだらかに変化し、被写体に合焦するフォーカスレンズ位置で極大値を取る値となる。したがって、この積分値が極大となる位置を探索するようにフォーカスレンズ位置を制御することで、合焦動作を行うことができる。積分回路５０７で得られた積分値５１０は、ＡＦ評価値Ｓ５としてＡＦ評価値生成部１０６から出力される。

なお、ＡＦ評価値生成枠設定情報Ｓ１０は、ＡＦ制御部１１３により生成される。すなわち、撮像データＳ２による画像のどの部分に対してフォーカスレンズによる合焦制御を行うかは、ＡＦ制御部１１３により生成されたＡＦ評価値生成枠設定情報Ｓ１０により決定される。

次に、第２の光学系１０８および第２の撮像素子１０９によるオートフォーカス制御について説明する。図７は、第２の光学系１０８の一例の構成を概略的に示す。第２の光学系１０８は、レンズＡおよびレンズＢの２枚のレンズで構成される測距レンズ３００を有し、この２枚のレンズにより光軸のずれた２つの光学像を、測距センサである第２の撮像素子１０９の受光面に結像させる。

第２の撮像素子１０９から出力され、第２のＡＦＥ部１１０によりディジタル変換された測距撮像データＳ７は、図８に例示されるように、位相のずれた２つの画像信号を重畳させた形となる。すなわち、同一の被写体による信号レベルのピークが、被写体までの距離Ｄに応じた間隔Δｄだけずれて２箇所に現れる。

第２のＡＦＥ部１１０から出力された測距撮像データＳ７は、位相差測距演算部１１１に供給される。位相差測距演算部１１１では、供給された測距撮像データＳ７におけるピークのズレである上述の間隔Δｄを求め、間隔Δｄを用いて三角測量の原理に基づき被写体との距離Ｄを推定する。推定された距離Ｄを示すデータは、位相差測距データＳ８として出力され、ＡＦ制御部１１３に供給される。

このように、位相差測距データＳ８は、図７の例における被写体との距離Ｄを表すものである。フォーカスレンズ駆動制御は、ＡＦ制御部１１３により、上述したＡＦ評価値Ｓ５に基づき行われると共に、この位相差測距データＳ８に基づく制御によっても行われる。

図９は、本発明の第１の実施形態による一例の合焦動作を示すフローチャートである。この図９のフローチャートにおける各処理は、ＡＦ制御部１１３によりプログラムに従い実行される。なお、図９のフローチャートによる処理は、全体としてループ処理となっており、撮像装置１００における動画の撮影に際し、ステップＳ９０１からの処理を繰り返し行う。繰り返しの周期は、少なくとも、図３を用いて説明した顔検出の検出周期若しくはそれ以上の周期であることが望ましい。一例として、例えば垂直同期タイミングを周期として処理を繰り返すことが考えられる。

ＡＦ制御部１１３による動作が開始されると（ステップＳ９０１）、ステップＳ９０２およびステップＳ９０３による顔検出処理と、ステップＳ９０４およびステップＳ９０５による測距処理とが並列的に行われる。ステップＳ９０２およびステップＳ９０３の処理と、ステップＳ９０４およびステップＳ９０５の処理とは、同期的に行ってもよいし、非同期でもよい。

すなわち、ステップＳ９０２で撮像データＳ２に対する被写体検出部１０７による顔検出処理が行われ、顔検出データＳ４が求められる。この顔検出データＳ４は、次のステップＳ９０３で顔検出記憶部１１５に記憶される。また、ステップＳ９０４で位相差測距演算部１１１により測距撮像データＳ７に基づき測距が行われ、ステップＳ９０５で、測距の結果として求められた位相差測距データＳ８が測距記憶部１１２に記憶される。

ステップＳ９０２およびステップＳ９０３による顔検出処理と、ステップＳ９０４およびステップＳ９０５による測距処理とが終了すると、処理はステップＳ９０６に移行される。ステップＳ９０６では、ステップＳ９０２で求められた顔検出データＳ４に基づき顔検出の信頼度の評価が行われる。評価の結果、若し、信頼度が閾値ｔｈ_Ｒ（第１の閾値）より高いと判定されたら、処理はステップＳ９０７に移行され、その旨示す顔優先フラグがＯＮとされる。すなわちこの場合、撮像データＳ２に顔が含まれていると判断でき、検出された顔に対して合焦処理を行う。

なお、ステップＳ９０６で判定の基準として用いる閾値ｔｈ_Ｒは、例えば、顔が検出された画像について、目視により顔らしさを判断し、信頼度との対応関係を調べることで、実験的に求めることが考えられる。

次のステップＳ９０８で、ＡＦ制御部１１３は、顔検出データＳ４に含まれる、検出された顔の位置を示す位置情報に基づきレンズ駆動部１１４を制御してフォーカスレンズを駆動し、合焦動作を行う。すなわち、ＡＦ制御部１１３は、顔の位置を示す位置情報に基づき、当該顔を含むＡＦ評価値生成枠を設定する。そして、その枠を示す情報であるＡＦ評価値生成枠設定情報Ｓ１０を生成し、ＡＦ評価値生成部１０６に供給する。ＡＦ評価値生成部１０６は、このＡＦ評価値生成枠設定情報Ｓ１０に基づき形成されるＡＦ評価値生成枠内で、撮像データＳ２からＡＦ評価値Ｓ５を取得する。レンズ駆動部１１４は、このＡＦ評価値Ｓ５に基づきフォーカスレンズを駆動する。

そして、ＡＦ制御部１１３は、次のステップＳ９０９で、顔検出位置に対して枠表示を行う。すなわち、ＡＦ制御部１１３は、顔の位置を示す位置情報に基づき、当該顔の位置を示す枠画像を表示・記録部１０５の表示デバイスに表示させるための顔検出表示枠設定情報Ｓ１２を生成し、表示・記録部１０５に供給する。

以上のステップＳ９０６〜ステップＳ９０９の処理によれば、撮像データＳ２に顔が含まれている場合に、当該顔に対する自動合焦処理が実現されると共に、現在、顔に対して自動合焦処理を行っていることが、撮影者に対して表示される。

上述したステップＳ９０６で、信頼度が閾値ｔｈ_Ｒよりも低いと判断されたら、処理はステップＳ９１０に移行される。ステップＳ９１０では、現在の信頼度と過去の信頼度との比較を行う。過去の信頼度は、例えば、図９のループ処理における１回前のループのステップＳ９０３による処理で顔検出記憶部１１５に記憶された顔検出データＳ４（すなわち過去顔検出データＳ１４）を用いる。図９のループ処理が垂直同期タイミングに基づく周期であれば、過去の信頼度は、現在の信頼度に対して１垂直同期タイミングだけ過去の情報である。

ステップＳ９１０で比較した比較結果により、若し、過去の信頼度が閾値ｔｈ_Ｒより高く、現在の信頼度が閾値ｔｈ_Ｒより低いと判断されたら、処理はステップＳ９１１に移行される。この場合、ステップＳ９０６で評価の対象となった信頼度は、撮像データＳ２に含まれていた顔が消失した瞬間の状態における値と考えることができる。但し、被写体となっている人物自体が撮影画角から消失したのか、または、例えば当該人物が横を向くなどにより顔検出が行えないために顔が消失したと判定されたのかは、この時点では判断できない。

そこでさらに、次のステップＳ９１１で、過去の測距値と現在の測距値とが比較される。過去の測距値は、例えば、図９のループ処理における１回前のループのステップＳ９０５で測距記憶部１１２に記憶された位相差測距データＳ８（すなわち過去位相差測距データＳ９）を用いる。図９のループ処理が垂直同期タイミングに基づく周期であれば、過去の測距値は、現在の測距値に対して１垂直同期タイミングだけ過去の情報である。

ステップＳ９１１での比較の結果、若し、過去の測距値と現在の測距値との差分が閾値ｔｈ_Ｄ（第２の閾値）より小さいと判断された場合、顔は消失したが、当該顔に対応する被写体の人物は消失していないと考えることができる。そのため、次のステップＳ９１２で、レンズ駆動部１１４を制御してフォーカスレンズの位置を動かさないようにする。それと共に、表示・記録部１０５に表示されている、顔位置を示す枠表示を変化させない。勿論、ステップＳ９１２では、ＡＦ評価値生成枠も変更しない。

なお、ステップＳ９１１で判断の基準に用いる閾値ｔｈ_Ｄは、例えば、実際の人物の動きによる測距値の差を実測するなどの方法により、実験的に求めることが考えられる。

以上のステップＳ９１２〜ステップＳ９１３によれば、撮像データＳ２から顔が消失した瞬間の状態であっても、測距値に基づき被写体に変化が無いと判断される場合には、顔に対する合焦処理が継続される。

一方、上述のステップＳ９１１での比較の結果、過去の測距値と現在の測距値との差分が閾値ｔｈ_Ｄより大きいと判断された場合、被写体の人物自体が撮影画角から消失したと考えることができる。そこで、処理をステップＳ９１５に移行させ、顔優先フラグをＯＦＦとする。そして、次のステップＳ９１６で、中央重点評価枠設定に基づきレンズ駆動部１１４を制御してフォーカスレンズを駆動し、合焦動作を行う。なお、中央重点評価枠設定は、ＡＦ評価値生成部１０６に対するＡＦ評価値生成枠設定情報Ｓ１０を、画面の中央部に対し、位置および大きさを固定にして設定するものである。

そして、次のステップＳ９１７で、表示・記録部１０５の表示デバイスに対する顔の位置を示す枠画像の表示を停止させる。すなわち、ＡＦ制御部１１３は、当該枠画像の表示を行わないような顔検出表示枠設定情報Ｓ１２を生成し、表示・記録部１０５に供給する。

上述のステップＳ９１１での比較の結果、過去の測距値と現在の測距値との差分が閾値より小さいと判断された場合、撮像データＳ２に顔が含まれないか、または、撮像データＳ２に過去に含まれていた顔が消失し、その状態が継続していると考えられる。

この場合、処理はステップＳ９１４に移行され、顔優先フラグの状態が確認される。若し、顔優先フラグがＯＮであると判断された場合、撮像データＳ２に基づき、顔が消失した状態が継続していて、且つ、測距値に基づき、当該顔に対応する被写体人物自体は、未だＡＦ評価値生成枠内に存在していると考えることができる。そこで、処理をステップＳ９１２に移行させ、フォーカスレンズの位置を動かさないようにレンズ駆動部１１４を制御すると共に、顔位置を表す枠画像の表示も継続的に行うように制御する（ステップＳ９１３）。

一方、ステップＳ９１４で、顔優先フラグがＯＦＦであると判断された場合、処理をステップＳ９１５に移行させ、顔優先フラグをＯＦＦとする。そして、次のステップＳ９１６で、中央重点評価枠設定に基づくフォーカスレンズ位置制御を行い、ステップＳ９１７で枠画像の表示を停止させる。

以上説明したように、本発明の第１の実施形態によれば、動画の撮影時に発生し得る、被写体ロストに対するオートフォーカス制御の誤動作を抑制することができる。

＜第２の実施形態＞
次に、本発明の第２の実施形態について、図面を参照しながら説明する。図１０は、本第２の実施形態に適用可能な撮像装置１０００の一例の構成を示す。撮像装置１０００は、上述の第１の実施形態における撮像装置１００と同様に動画の撮影が可能とされている。なお、図１０において、上述した図１と共通する部分には同一の符号を付し、詳細な説明を省略する。

撮像装置１０００は、１の光学系１０１と、１の撮像素子１００１とを有し、撮像素子１００１は、測距用画素と撮像用画素とがそれぞれ内部に構成される。図１１は、撮像素子１００１の画素、光電変換部およびカラーフィルタの一例の配置を示す。単位画素１１−１１〜１１−４４は、図中に光電変換部Ｇ１およびＧ２、Ｂ１およびＢ２、…の如く例示されるように、それぞれ２つの光電変換部を有しており、各々の光電変換部で独立して生成された画素信号が撮像信号Ｓ１として出力される。したがって、単位画素中の２つの光電変換部から出力される画素信号の位相を調べることで、第１の実施形態で説明した位相差情報による測距演算が単位画素毎に可能となる。

撮像素子１００１から出力された撮像信号Ｓ１は、ＡＦＥ部１０３に供給され、ノイズ除去、ゲイン調整処理など施された後、Ａ／Ｄ変換されてディジタル信号とされる。このディジタル信号は、測距撮像データＳ２４としてＡＦＥ部１０３から出力される。測距撮像データＳ２４は、画素加算部１００７に供給されると共に、位相差測距演算部１１１０に供給される。

位相差測距演算部１１１０は、第１の実施形態における位相差測距演算部１１１による処理と同様にして測距を行う。すなわち、図７に例示されるレンズＡおよびレンズＢを、図１１の単位画素内の２つの光電変換部にそれぞれ対応させ、同一の被写体による信号レベルのピークの位相差を検出する。そして、検出された位相差に基づき被写体までの距離を演算する。被写体までの距離は、２つの光電変換部を持つ単位画素のそれぞれについて、行うことができる。演算結果の位相差測距データＳ８は、ＡＦ制御部１００６に供給されると共に、測距記憶部１１２で所定時間保持され過去位相差測距データＳ９とされてＡＦ制御部１００６に供給される。

一方、画素加算部１００７は、撮像素子１００１において単位画素を構成する２つの光電変換部で生成される２つの独立した画素信号を加算して、単位画素毎の撮像データＳ２を生成する。図１１に例示されるように、１の単位画素に含まれる２つの光電変換部には、同色のカラーフィルタが配置され、撮像素子１００１全体としては、ベイヤ配列の画像となる。

画素加算部１００７から出力された撮像データＳ２は、画像処理部１０４、第１のＡＦ評価値生成部１００２、第２のＡＦ評価値生成部１００３および被写体検出部１０７にそれぞれ供給される。

画像処理部１０４は、供給された撮像データＳ２に対して色分離処理やγ補正処理、ホワイトバランス処理といった信号処理を施し、ディジタルビデオ信号Ｓ３を生成する。ディジタルビデオ信号Ｓ３は、表示・記録部１０５に供給され、表示デバイスに対する表示に供されたり、記録媒体に対して記録される。

第１のＡＦ評価値生成部１００２および第２のＡＦ評価値生成部１００３は、それぞれ、図６を用いて説明したＡＦ評価値生成部１０６と同様の構成を適用することができる。第１のＡＦ評価値生成部１００２は、ＡＦＥ部１０３からの撮像データＳ２に基づき、撮影画面の中央部に固定的に設定された第１のＡＦ評価値生成枠内について、上述のようにして、合焦の度合いを評価する第１のＡＦ評価値Ｓ２０（第２の合焦評価値）を生成する。同様に、第２のＡＦ評価値生成部１００３は、ＡＦＥ部１０３からの撮像データＳ２に基づき、測距領域決定部１００５で決定された第２の評価値生成枠内について、被写体の合焦の度合いを評価する、第１の合焦評価値としての第２のＡＦ評価値Ｓ２１を生成する。

第１のＡＦ評価値Ｓ２０および第２のＡＦ評価値Ｓ２１は、ＡＦ評価値合成部１００４に供給される。ＡＦ評価値合成部１００４は、後述する方法により第１のＡＦ評価値Ｓ２０および第２のＡＦ評価値Ｓ２１に対して重み付けを行い、これら第１のＡＦ評価値Ｓ２０と第２のＡＦ評価値Ｓ２１とを合成する。合成結果は、ＡＦ評価値Ｓ５として出力され、レンズ駆動部１１４に供給される。

レンズ駆動部１１４は、制御信号Ｓ１３により、光学系１０１に含まれる焦点調節光学系を駆動する。すなわち、レンズ駆動部１１４は、ＡＦ評価値合成部１００４から供給されたＡＦ評価値Ｓ５と、ＡＦ制御部１００６から供給されるレンズ駆動信号とに基づき制御信号Ｓ１３を生成する。この制御信号Ｓ１３により焦点調節光学系が駆動され、撮像素子１００１の受光面上の被写体像の焦点調節が行われる。

被写体検出部１０７は、画素加算部１００７から供給された撮像データＳ２に基づき被写体像の中に存在する特定の被写体、例えば、人の顔を検出し、検出された顔の位置情報と、顔検出の信頼性を示す信頼性データとを含む顔検出データＳ４を生成する。顔検出データＳ４は、測距領域決定部１００５およびＡＦ制御部１００６にそれぞれ供給される。

測距領域決定部１００５は、被写体検出部１０７から供給された顔検出データＳ４、あるいは、測距領域記憶部１００８に記憶される過去の測距領域設定データＳ２３に基づき、第２のＡＦ評価値生成枠を設定するための測距領域設定データＳ２２を生成する。測距領域決定部１００５で生成された測距領域設定データＳ２２は、測距領域記憶部１００８に記憶されると共に、第２のＡＦ評価値生成部１００３に供給される。なお、測距領域記憶部１００８に記憶された測距領域設定データＳ２２は、所定時間後に、過去の測距領域設定データＳ２３として測距領域記憶部１００８から読み出される。

図１２を用いて、ＡＦ評価値合成部１００４による、第１のＡＦ評価値生成部１００２で設定される第１のＡＦ評価値生成枠１２０１と、第２のＡＦ評価値生成部１００３で設定される第２の評価値生成枠１２０２との一例の合成演算について説明する。図１２に例示されるように、第２の評価枠としての第１のＡＦ評価値生成枠１２０１は、画面すなわち撮影画角１２００の中心部分に固定的に設定される。一方、第１の評価枠としての第２の評価値生成枠１２０２は、撮影画角１２００において、測距領域決定部１００５から供給される測距領域設定データＳ２２に基づいた位置に設定される。すなわち、第２のＡＦ評価値生成枠１２０２は、撮影画角１２００に対して、位置が可変的に設定される。

ＡＦ評価値合成部１００４は、上述した第１のＡＦ評価値Ｓ２０および第２のＡＦ評価値Ｓ２１に対して、下記の式（１）に従い係数Ｋ（１≧Ｋ≧０）による重み付け加算を行い、ＡＦ評価値Ｓ５を生成する。係数Ｋの算出方法については、後述する。
ＡＦ評価値＝Ｋ×第１のＡＦ評価値＋（１−Ｋ）×第２のＡＦ評価値 …（１）

この式（１）によれば、撮影画角の中央を重視してＡＦ評価値を生成する状態と、撮影画角の任意部分でＡＦ評価値を生成する状態とを、係数Ｋにより滑らかに移行させることが可能となる。周知の如く、ビデオカメラにおける自動合焦制御は、動画に追従して行われるため、急激な状態変化は好ましくない。本第２の実施形態では、係数Ｋにより、ＡＦ評価値を第１のＡＦ評価値生成枠１２０１における第１のＡＦ評価値Ｓ２０と、第２のＡＦ評価値生成枠１２０２における第２のＡＦ評価値Ｓ２１との間で滑らかに移行させている。これにより、自動合焦制御における急激な状態変化を抑制することができる。

図１３は、本発明の第２の実施形態による一例の合焦動作を示すフローチャートである。この図１３のフローチャートにおける各処理は、ＡＦ制御部１００６によりプログラムに従い実行される。なお、図１３のフローチャートによる処理は、全体としてループ処理となっており、撮像装置１００における動画の撮影に際し、ステップＳ１３０１からの処理を繰り返し行う。繰り返しの周期は、少なくとも、図３を用いて説明した顔検出の検出周期若しくはそれ以上の周期であることが望ましい。

ステップＳ１３０１で処理が開始されると、ステップＳ１３０２で被写体検出部１０７による顔検出処理が行われ、顔検出データＳ４が求められる。そして、次のステップＳ１３０３で、顔検出データＳ４に含まれる信頼性データに基づき、顔検出の信頼度が評価される。評価の結果、若し、信頼度が閾値ｔｈ_Ｒより高いと判断されたら、処理はステップＳ１３０４に移行される。この場合には、被写体である顔の位置が特定された可能性が高いと考えられる。

ステップＳ１３０４では、測距領域決定部１００５において、測距領域すなわち第２のＡＦ評価値生成枠が被写体検出部１０７の検出結果に基づく顔領域に設定される。ステップＳ１３０４で設定された測距領域は、次のステップＳ１３０５で測距領域記憶部１００８に記憶される。そして、次のステップＳ１３０６で、位相差測距演算部１１１０において、測距撮像データＳ２４に基づき測距が行われ、ステップＳ１３０７で、測距の結果求められた位相差測距データＳ８が測距記憶部１１２に記憶される。

次に、ステップＳ１３０８で、ＡＦ制御部１００６は、被写体検出部１０７から供給された顔検出データＳ４に基づき上述の式（１）における係数Ｋを算出する。係数Ｋは、少なくとも、顔検出データＳ４における信頼性データが示す顔検出の信頼性が高くなるのに従い、第２のＡＦ評価値Ｓ２１の比率が高くなるように設定する。係数Ｋは、ＡＦ評価値生成枠設定情報Ｓ１０として、ＡＦ評価ちっごうせいぶ１００４に供給される。そして、ＡＦ評価値合成部１００４は、この係数Ｋを上述の式（１）に適用して、第１のＡＦ評価値Ｓ２０と第２のＡＦ評価値Ｓ２１とを合成し、ＡＦ評価値Ｓ５を得る。

次のステップＳ１３０９で、ＡＦ制御部１００６は、ＡＦ評価値合成部１００４から出力されたＡＦ評価値Ｓ５に基づきレンズ駆動部１１４を制御してフォーカスレンズを駆動し、合焦動作を行う。そして、ＡＦ制御部１００６は、次のステップＳ１３１０で、顔検出位置に対して枠表示を行う。

このように、ステップＳ１３０３で顔検出結果の信頼度が高いと判断された場合、検出された顔領域から得られたＡＦ評価値Ｓ５を重視した合焦動作が行われる。

一方、上述のステップＳ１３０３で、顔検出の信頼度の評価の結果、信頼度が閾値ｔｈ_Ｄより低いと判断されたら、処理はステップＳ１３１１に移行される。この場合には、被写体である顔が撮影画角から消失したか、あるいは、当初から顔が撮影画角に存在していない可能性が高いと考えられる。

ステップＳ１３１１では、測距領域決定部１００５において、測距領域記憶部１００８に記憶された過去の測距領域設定データＳ２３に基づき、測距領域が設定される。この測距領域に設定された過去の測距領域設定データＳ２３は、現在の測距領域設定データＳ２２として、測距領域記憶部１００８に記憶される（ステップＳ１３１２）。

次のステップＳ１３１３で、位相差測距演算部１１１０において位相差測距演算が行われる。演算の結果得られた位相差測距データＳ８は、ＡＦ制御部１００６に供給される。また、位相差測距データＳ８は、ステップＳ１３１４で、測距記憶部１１２に記憶される。

次のステップＳ１３１５では、ＡＦ制御部１００６は、位相差測距演算部１１１０から供給された現在の位相差測距データＳ８と、測距記憶部１１２に記憶された過去位相差測距データＳ９とを比較し、これらのデータの相関を判断する。そして、この相関に応じて上述した式（１）の係数Ｋの値を決め、ＡＦ評価値Ｓ５を求める。この場合、係数Ｋは、少なくともこれらのデータの相関が高くなるに従い、第２のＡＦ評価値Ｓ２１の比率が高くなるように設定する。

比較の結果、現在の位相差測距データＳ８と過去位相差測距データＳ９との差分が閾値ｔｈ_Ｄより小ければ、これらのデータの相関が高いと判断する。この場合、撮影画角から顔は消失したが、当該顔に対応する被写体の人物は消失していないと考えることができる。

一方、比較の結果、現在の位相差測距データＳ８と過去位相差測距データＳ９との差分が閾値ｔｈ_Ｄより大きければ、これらのデータの相関が低いと判断する。この場合には、撮像データＳ２に顔が含まれないか、または、撮像データＳ２に過去に含まれていた顔が消失し、その状態が継続していると推定できる。例えば、被写体である人物自体が動くか、別の被写体により隠れてしまったことによる顔消失などが考えられる。

次のステップＳ１３１６で、ＡＦ制御部１００６は、ＡＦ評価値合成部１００４から出力されたＡＦ評価値Ｓ５に基づきレンズ駆動部１１４を制御してフォーカスレンズを駆動し、合焦動作を行う。その結果、顔が消失しその状態が継続している可能性が高いとき以外は、被写体人物が存在すると推定される部分に対する合焦動作が実現される。一方、顔が消失した可能性が高い場合に限り、画面の中央部分に対する合焦動作に戻る制御が実現される。

次のステップＳ１３１７で、現在の位相差測距データＳ８と過去位相差測距データＳ９との相関に応じて、顔検出位置に対する枠表示を行うか否かが判断される。すなわち、顔が消失しその状態が継続している可能性が高いと推定される場合以外は、当該被写体人物の顔が存在すると推定される部分に枠を表示させる。一方、顔が消失してその状態が継続している可能性が高い場合には、枠を表示させない。

以上説明したように、本発明の第２の実施形態によれば、動画の撮影時に発生し得る、被写体ロストに対するオートフォーカス制御の誤動作を抑制することができる。

本第１の実施形態に適用可能な撮像装置の一例の構成を示すブロック図である。 被写体検出部の一例の構成を示すブロック図である。 メモリコントローラの一例の動作タイミングを示すタイミングチャートである。 画像メモリに格納された画像に対する顔サーチ時の一例の画像参照領域を示す図である。 ＡＦ評価値生成部の一例の構成を示すブロック図である。 ＡＦ評価値によるフォーカスレンズの位置制御を説明するための図である。 第２の光学系の一例の構成を概略的に示す図である。 測距撮像データが位相のずれた２つの画像信号を重畳させた形となることを説明するための図である。 本発明の第１の実施形態による一例の合焦動作を示すフローチャートである。 本発明の第２の実施形態に適用可能な撮像装置の一例の構成を示すブロック図である。 撮像素子１の画素、光電変換部およびカラーフィルタの一例の配置を示す図である。 ＡＦ評価値合成部による、設定される第１の評価値生成枠と、第２の評価値生成枠との一例の合成演算について説明するための図である。 本発明の第２の実施形態による一例の合焦動作を示すフローチャートである。

符号の説明

１００，１０００ 撮像装置
１０１ 第１の光学系
１０２ 第１の撮像素子
１０４ 画像処理部
１０５ 表示・記録部
１０６ ＡＦ評価値生成部
１０７ 被写体検出部
１０８ 第２の光学系
１０９ 第２の撮像素子
１１１ 位相差測距演算部
１１２ 記憶部
１１３，１００６ ＡＦ制御部
１１４ レンズ駆動部
１００１ 撮像素子
１００２ 第１のＡＦ評価値生成部
１００３ 第２のＡＦ評価値生成部
１００４ ＡＦ評価値合成部
１００５ 測距領域決定部
１００７ 画素加算部
１００８ 測距領域記憶部

Claims (8)

1. 撮像素子から所定間隔で連続的にフレーム画像信号が出力される撮像装置に用いられる自動合焦装置であって、
   被写体からの光に応じて前記撮像素子から出力された前記フレーム画像信号に対して顔検出を行い、検出された顔のうち最も確からしい顔について信頼度を求め、該信頼度と該顔の位置を示す位置情報とを出力すると共に、該信頼度を保持する顔検出手段と、
   前記被写体に対する測距を行うと共に、該測距の結果を保持する測距手段と、
   撮像素子の一部の領域に対して評価枠を設定する評価枠設定手段と、
   合焦の度合いを示す合焦評価値を前記評価枠に含まれる前記フレーム画像信号から取得する評価値取得手段と、
   前記合焦評価値に基づきフォーカスレンズを移動させて合焦動作を行う合焦手段と、
   前記評価枠設定手段による前記評価枠の設定を制御すると共に、前記合焦手段による前記合焦動作を制御する制御手段と
   を有し、
   前記制御手段は、
   現在のフレーム画像信号に対する前記信頼度を第１の閾値と比較して、該信頼度が前記第１の閾値よりも高いと判断したら、その旨示すフラグをＯＮとすると共に、前記位置情報に基づき前記評価枠を設定するように前記評価枠設定手段を制御し、
   前記現在のフレーム画像信号に対する信頼度が前記第１の閾値よりも低いと判断したら、該現在のフレーム画像信号に対して少なくとも前記所定間隔だけ過去のフレーム画像信号に対する前記信頼度を前記第１の閾値と比較して、
   前記過去のフレーム画像信号に対する信頼度が前記第１の閾値よりも高いと判断されれば、さらに、前記現在の前記測距の結果と前記過去の前記測距の結果とを比較し、
   前記現在の測距の結果と前記過去の測距の結果との差分が第２の閾値より小さいと判断したら、前記フォーカスレンズの位置を前記過去に前記合焦動作を行った位置から動かさないように前記合焦手段を制御し、
   前記差分が該第２の閾値より大きいと判断したら、前記フラグをＯＦＦとすると共に、前記評価枠設定手段を制御して位置および大きさが固定の前記評価枠を設定させ、
   前記過去のフレーム画像信号に対する信頼度が前記第１の閾値よりも低いと判断したら、前記フラグがＯＮかＯＦＦかを判定し、該フラグがＯＮであると判定したら、前記フォーカスレンズの位置を前記過去に前記合焦動作を行った位置から動かさないように前記合焦手段を制御し、
   前記フラグがＯＦＦであると判定したら、前記評価枠設定手段を制御して前記位置および大きさが固定の評価枠を設定させる
   ことを特徴とする自動合焦装置。
2. 前記フレーム画像信号による画像を表示する表示手段をさらに有し、
   前記制御手段は、
   前記位置情報に基づき前記評価枠を設定した場合には、該評価枠に対応する枠表示を前記画像に重畳させて前記表示手段に表示させ、
   前記合焦動作を固定させた場合には、前記表示手段に対する前記枠表示を変更せず、
   前記位置および大きさが固定の評価枠を設定した場合には、前記表示手段に対する前記枠表示を行わない
   ことを特徴とする請求項１に記載の自動合焦装置。
3. 前記測距手段は、被写体からの２系統の光に基づく位相差を用いて被写体の測距を行い、
   前記評価値取得手段は、前記フレーム画像信号のエッジコントラスト強度に基づき前記合焦評価値を取得する
   ことを特徴とする請求項１または請求項２に記載の自動合焦装置。
4. 撮像素子から所定間隔で連続的にフレーム画像信号が出力される撮像装置に用いられる自動合焦方法であって、
   被写体からの光に応じて前記撮像素子から出力された前記フレーム画像信号に対して顔検出を行い、検出された顔のうち最も確からしい顔について信頼度を求め、該信頼度と該顔の位置を示す位置情報とを出力すると共に、該信頼度を保持する顔検出ステップと、
   前記被写体に対する測距を行うと共に、該測距の結果を保持する測距ステップと、
   撮像素子の一部の領域に対して評価枠を設定する評価枠設定ステップと、
   合焦の度合いを示す合焦評価値を前記評価枠に含まれる前記フレーム画像信号から取得する評価値取得ステップと、
   前記合焦評価値に基づきフォーカスレンズを移動させて合焦動作を行う合焦ステップと、
   前記評価枠設定ステップによる前記評価枠の設定を制御すると共に、前記合焦ステップによる前記合焦動作を制御する制御ステップと
   を有し、
   前記制御ステップは、
   現在のフレーム画像信号に対する前記信頼度を第１の閾値と比較して、該信頼度が前記第１の閾値よりも高いと判断したら、その旨示すフラグをＯＮとすると共に、前記位置情報に基づき前記評価枠を設定するように前記評価枠設定ステップを制御し、
   前記現在のフレーム画像信号に対する信頼度が前記第１の閾値よりも低いと判断したら、該現在のフレーム画像信号に対して少なくとも前記所定間隔だけ過去のフレーム画像信号に対する前記信頼度を前記第１の閾値と比較して、
   前記過去のフレーム画像信号に対する信頼度が前記第１の閾値よりも高いと判断されれば、さらに、前記現在の前記測距の結果と前記過去の前記測距の結果とを比較し、
   前記現在の測距の結果と前記過去の測距の結果との差分が第２の閾値より小さいと判断したら、前記フォーカスレンズの位置を前記過去に前記合焦動作を行った位置から動かさないように前記合焦ステップを制御し、
   前記差分が該第２の閾値より大きいと判断したら、前記フラグをＯＦＦとすると共に、前記評価枠設定ステップを制御して位置および大きさが固定の前記評価枠を設定させ、
   前記過去のフレーム画像信号に対する信頼度が前記第１の閾値よりも低いと判断したら、前記フラグがＯＮかＯＦＦかを判定し、該フラグがＯＮであると判定したら、前記フォーカスレンズの位置を前記過去に前記合焦動作を行った位置から動かさないように前記合焦ステップを制御し、
   前記フラグがＯＦＦであると判定したら、前記評価枠設定ステップを制御して前記位置および大きさが固定の評価枠を設定させる
   ことを特徴とする自動合焦方法。
5. 撮像素子から所定間隔で連続的にフレーム画像信号が出力される撮像装置に用いられる自動合焦装置であって、
   被写体からの光に応じて前記撮像素子から出力された前記フレーム画像信号に対して顔検出を行い、検出された顔のうち最も確からしい顔について信頼度を求め、該信頼度と該顔の位置を示す位置情報とを出力する顔検出手段と、
   前記被写体に対する測距を行うと共に、該測距の結果を保持する測距手段と、
   撮像素子の一部の領域に対して、位置および大きさが可変の第１の評価枠と、該位置および大きさが固定の第２の評価枠とを設定すると共に、該第１の評価枠を保持する評価枠設定手段と、
   合焦の度合いを示す合焦評価値に基づき合焦動作を行う合焦手段と、
   前記信頼度を閾値と比較して、
   前記信頼度が前記閾値よりも高いと判断したら、前記評価枠設定手段に現在の前記位置情報に基づき前記第１の評価枠を設定させ、該第１の評価枠に含まれる前記フレーム画像信号から取得した第１の合焦評価値と、前記第２の評価枠に含まれる前記フレーム画像信号から取得された第２の合焦評価値とを前記信頼度に応じた重みを付けて合成して、前記合焦手段で用いる前記合焦評価値を生成し、
   前記信頼度が前記閾値よりも低いと判断したら、前記現在に対して少なくとも前記所定間隔だけ過去に前記評価枠設定手段で設定された前記第１の評価枠を現在の第１の評価枠として設定して、前記第１の評価枠に含まれる該現在のフレーム画像信号から取得された第１の合焦評価値と、前記第２の評価枠に含まれる該現在のフレーム画像信号から取得された第２の合焦評価値とを、前記測距手段による該現在の測距の結果と該過去の測距の結果とを比較した比較結果に応じた重みを付けて合成して、前記合焦手段で用いる前記合焦評価値を生成する評価値取得手段と
   を有する
   ことを特徴とする自動合焦装置。
6. 前記フレーム画像信号による画像を表示する表示手段をさらに有し、
   前記評価値取得手段は、
   前記信頼度が前記閾値よりも高いと判断された場合には、該第１の評価枠に対応する枠表示を前記画像に重畳させて前記表示手段に表示させ、
   前記信頼度が前記閾値よりも低いと判断された場合には、前記現在の測距の結果と前記過去の測距の結果とを比較した前記比較結果に基づき、該現在の測距の結果と該過去の測距の結果との差分が閾値より小さければ、該第１の評価枠に対応する枠表示を前記画像に重畳させて前記表示手段に表示させ、該差分が該閾値より大きければ、該枠表示を行わない
   ことを特徴とする請求項５に記載の自動合焦装置。
7. 前記測距手段は、被写体からの２系統の光に基づく位相差を用いて被写体の測距を行い、
   前記評価値取得手段は、前記フレーム画像信号のエッジコントラスト強度に基づき前記第１および第２の合焦評価値を取得する
   ことを特徴とする請求項５または請求項６に記載の自動合焦装置。
8. 撮像素子から所定間隔で連続的にフレーム画像信号が出力される撮像装置に用いられる自動合焦方法であって、
   被写体からの光に応じて前記撮像素子から出力された前記フレーム画像信号に対して顔検出を行い、検出された顔のうち最も確からしい顔について信頼度を求め、該信頼度と該顔の位置を示す位置情報とを出力する顔検出ステップと、
   前記被写体に対する測距を行うと共に、該測距の結果を保持する測距ステップと、
   撮像素子の一部の領域に対して、位置および大きさが可変の第１の評価枠と、該位置および大きさが固定の第２の評価枠とを設定すると共に、該第１の評価枠を保持する評価枠設定ステップと、
   合焦の度合いを示す合焦評価値に基づき合焦動作を行う合焦ステップと、
   前記信頼度を閾値と比較して、
   前記信頼度が前記閾値よりも高いと判断したら、前記評価枠設定ステップに現在の前記位置情報に基づき前記第１の評価枠を設定させ、該第１の評価枠に含まれる前記フレーム画像信号から取得された第１の合焦評価値と、前記第２の評価枠に含まれる前記フレーム画像信号から取得された第２の合焦評価値とを前記信頼度に応じた重みを付けて合成して、前記合焦ステップで用いる前記合焦評価値を生成し、
   前記信頼度が前記閾値よりも低いと判断したら、前記現在に対して少なくとも前記所定間隔だけ過去に前記評価枠設定ステップで設定された前記第１の評価枠を現在の第１の評価枠として設定して、前記第１の評価枠に含まれる該現在のフレーム画像信号から取得された第１の合焦評価値と、前記第２の評価枠に含まれる該現在のフレーム画像信号から取得された第２の合焦評価値とを、前記測距ステップによる該現在の測距の結果と該過去の測距の結果とを比較した比較結果に応じた重みを付けて合成して、前記合焦ステップで用いる前記合焦評価値を生成する評価値取得ステップと
   を有する
   ことを特徴とする自動合焦方法。

Images