JP2010008936A - 撮像装置及びその制御方法 - Google Patents

Abstract

【課題】 顔検出機能を用いた自動合焦制御の安定性を改善することの可能な撮像装置を提供する。
【解決手段】 顔検出が成功した場合、顔領域をＡＦ枠として設定する。一方、顔検出が成功していた状態から失敗した状態になった場合、被写体の距離の変化量がしきい値以下であれば、ＡＦ枠の設定を前回と同じとし、変更しない（Ｓ２１２）。被写体の距離の変化量がしきい値より大きい場合には、顔領域に追従しない、予め定められた領域にＡＦ枠を設定する（Ｓ２１４）。
【選択図】 図２

Description

本発明は撮像装置及びその制御方法に関し、特に自動合焦制御を行う撮像装置及びその制御方法に関する。

ビデオカメラ等の自動合焦（ＡＦ）制御では、撮像素子を用いて生成された映像信号の鮮鋭度（コントラスト）に基づいて合焦位置を検出するＴＶ−ＡＦ方式が広く用いられている。具体的には、フォーカスレンズを移動させながら順次撮影して得られた映像信号について、コントラストの程度を示すＡＦ評価値を生成し、ＡＦ評価値に基づいてコントラストが最大となるフォーカスレンズの位置を合焦位置として探索する。

しかしながら、人物を撮影する場合において、主被写体である人物とその背景のコントラストの関係から、人物ではなく背景にピントが合ってしまう場合があった。

このような問題を解決するため、人物を検出して人物にピントが合うように焦点検出領域を設定する撮像装置が知られている。例えば、顔検出機能を備え、検出された顔領域を含む焦点検出エリアに対して焦点検出を行う撮像装置（例えば、特許文献１参照）や、人物の目を検出し、目に基づいて焦点検出を行う撮像装置（例えば、特許文献２参照）が提案されている。

特開２００６−２２７０８０号公報 特開２００１−２１５４０３号公報

しかしながら、上述した従来の顔検出機能を用いた焦点検出は、検出された顔にピントを合わせようとするが、様々な要因により、顔が常に検出できるとは限らない。また、例えば検出された顔領域１つを焦点検出領域として焦点検出した場合、顔の検出結果に応じて焦点検出領域が常に切り替わることが起こりうる。また、顔が検出されなかった場合には予め定められた焦点検出領域（例えば画面中央）を用いるようにした場合、顔検出が出来たり出来なかったりすることで、頻繁に焦点検出領域が切り替わってしまい、焦点検出の安定性が低下してしまう。

また、顔が検出されない場合には、顔検出の対象となる主被写体が横を向いたり、目を閉じたりした場合や、他の被写体により一時的に隠された場合など、主被写体は画角内に存在しているが、一時的に顔検出できなくなった場合も含まれる。

このように、一時的な要因にもかかわらず、顔が検出されなくなったいう理由で固定の焦点検出領域を設定した場合、主被写体が画面中心に存在しない場合には、固定の焦点検出領域に変更することで、むしろピントがズレてしまう。

本発明は、このような従来技術の課題に鑑みてなされたものであり、顔検出機能を用いた自動合焦制御の安定性を改善することの可能な撮像装置及びその制御方法を提供することを１つの目的とする。

上述の目的は、フォーカスレンズを駆動して自動合焦制御を行う撮像装置であって、被写体の距離に関する情報を測定する測距手段と、撮像された画像から、人物の顔の領域を顔領域として検出する検出手段と、画像に対する焦点検出領域を設定する設定手段と、画像の焦点検出領域に含まれる、予め定められた周波数帯域の成分に基づいてＡＦ評価値を生成する生成手段と、生成手段が生成したＡＦ評価値に基づいて、フォーカスレンズを駆動して焦点検出を行う制御手段とを有し、設定手段は、顔領域が検出されている場合には、顔領域に対して焦点検出領域を設定し、顔領域が検出されていた状態から顔領域が検出されない状態になった場合には、測距手段の測定結果を用いて、顔領域が検出されていた状態における被写体の距離と、顔領域が検出されない状態における被写体の距離との変化量が予め定めたしきい値より大きいか否かを判別し、変化量が予め定めたしきい値以下であれば、顔領域が検出されていた状態において設定されていた焦点検出領域を変更せず、変化量が予め定められたしきい値より大きければ、画像内の予め定められた領域に焦点検出領域を変更することを特徴とする撮像装置によって達成される。

また、上述の目的は、フォーカスレンズを駆動して自動合焦制御を行う撮像装置の制御方法であって、被写体の距離に関する情報を測定する測距ステップと、撮像された画像から、人物の顔の領域を顔領域として検出する検出ステップと、画像に対する焦点検出領域を設定する設定ステップと、画像の焦点検出領域に含まれる、予め定められた周波数帯域の成分に基づいてＡＦ評価値を生成する生成ステップと、生成ステップで生成されたＡＦ評価値に基づいて、フォーカスレンズを駆動して焦点検出を行う制御ステップとを有し、設定ステップは、顔領域が検出されている場合には、顔領域に対して焦点検出領域を設定し、顔領域が検出されていた状態から顔領域が検出されない状態になった場合には、測距ステップにおける測定結果を用いて、顔領域が検出されていた状態における被写体の距離と、顔領域が検出されない状態における被写体の距離との変化量が予め定めたしきい値より大きいか否かを判別し、変化量が予め定めたしきい値以下であれば、顔領域が検出されていた状態において設定されていた焦点検出領域を変更せず、変化量が予め定められたしきい値より大きければ、画像内の予め定められた領域に焦点検出領域を変更することを特徴とする撮像装置の制御方法によっても達成される。

このような構成により、本発明によれば、顔検出機能を用いた自動合焦制御の安定性を改善した撮像装置及びその制御方法が実現できる。

以下、図面を参照して、本発明の例示的かつ好適な実施形態を詳細に説明する。
（第１の実施形態）
図１は、本発明の第１の実施形態に係る撮像装置の一例としてのデジタルビデオカメラ１００の構成例を示すブロック図である。なお、本発明はデジタルスチルカメラを始めとして、顔検出機能及び動画撮影機能を有する他の任意の撮像装置及びそのような撮像装置を備える機器にも適用することができる。

図１において、本実施形態のデジタルビデオカメラ１００は、オートフォーカス機能を有するズームレンズ１２０を撮像光学系として備えている。ズームレンズ１２０は、第１固定レンズ１０１、光軸方向に移動して変倍を行う変倍レンズ１０２、絞り１０３、第２固定レンズ１０４及びフォーカスコンペンセータレンズ１０５を備える。フォーカスコンペンセータレンズ（以下、単にフォーカスレンズという）１０５は、変倍に伴う焦点面の移動を補正する機能とフォーカシングの機能とを兼ね備えている。

撮像素子１０６は、ＣＣＤセンサやＣＭＯＳセンサといった光電変換素子から構成される。ＣＤＳ／ＡＧＣ回路１０７は撮像素子１０６の出力を相関二重サンプリングするとともに、ゲイン調整する。

カメラ信号処理回路１０８は、ＣＤＳ／ＡＧＣ回路１０７からの出力信号に対して各種の画像処理を行い、映像信号を生成する。表示部１０９はＬＣＤ等により構成され、カメラ信号処理回路１０８からの映像信号を表示する。記録部１１５は、カメラ信号処理回路１０８からの映像信号を記録媒体（磁気テープ、光ディスク、半導体メモリ等）に記録する。

ズーム駆動回路１１０は、制御部１１４の制御に応じて変倍レンズ１０２を移動させる。フォーカスレンズ駆動回路１１１は制御部１１４の制御に応じてフォーカスレンズ１０５を移動させる。ズーム駆動回路１１０及びフォーカスレンズ駆動回路１１１は、ステッピングモータ、ＤＣモータ、振動型モータ及びボイスコイルモータ等のアクチュエータにより構成される。

ＡＦゲート１１２は、ＣＤＳ／ＡＧＣ回路１０７からの全画素の出力信号のうち、制御部１１４が設定した焦点検出に用いられる領域（焦点検出領域又はＡＦ枠）の信号のみを後段のＡＦ信号処理回路１１３に供給する。

ＡＦ信号処理回路１１３は、ＡＦゲート１１２から供給される焦点検出領域中の画素信号に対して例えばフィルタを適用して予め定められた周波数帯域の成分、具体的には高周波成分を抽出し、ＡＦ評価値を生成する。

ＡＦ評価値は、制御部１１４に出力される。ＡＦ評価値は、撮像素子１０６からの出力信号に基づいて生成される映像の鮮鋭度（コントラストの大きさ）を表す値であるが、ピントが合った映像の鮮鋭度は高く、ぼけた映像の鮮鋭度は低いので、撮像光学系の焦点状態を表す値として利用できる。

制御部１１４は例えばマイクロコンピュータであり、図示しないＲＯＭに予め記憶された制御プログラムを実行してデジタルビデオカメラ１００の各部を制御することにより、デジタルビデオカメラ１００全体の動作を司る。制御部１１４は、ＡＦ信号処理回路１１３から与えられるＡＦ評価値に基づいて、フォーカスレンズ駆動回路１１１を制御してＡＦ制御（自動合焦制御）動作を行う。また、後述する操作部１１８からのズーム指示に従って、ズーム駆動回路１１０を制御し、ズームレンズ１２０の倍率を変化させる。

顔検出部１１６は、ＣＤＳ／ＡＧＣ回路１０７が出力する画像信号に、公知の顔検出技術に基づく顔検出処理を適用し、画像内の人物領域の一例としての顔領域を検出する。公知の顔検出技術としては、ニューラルネットワークなどを利用した学習に基づく手法、テンプレートマッチングを用いて目、鼻、口等の形状に特徴のある部位を画像から探し出し、類似度が高ければ顔とみなす手法などがある。また、他にも、肌の色や目の形といった画像特徴量を検出し、統計的解析を用いた手法等、多数提案されている。一般的にはこれらの手法を複数組み合わせ、顔検出の精度を向上させている。具体的な例としては特開２００２−２５１３８０号公報に記載のウェーブレット変換と画像特徴量を利用して顔検出する方法などが挙げられる。

顔検出部１１６は、例えば人物の顔として検出された領域（顔領域）の位置と大きさをを画像内で特定可能な情報を、顔検出結果として制御部１１４に出力する。顔領域の位置を特定可能な情報としては、顔領域の中心位置や、目、鼻、口等の顔の特徴点の位置でも良い。制御部１１４は、この顔検出結果に基づき、画像内の顔領域を含む領域に焦点検出領域を設定するよう、ＡＦゲート１１２へ指示する。

外部測距ユニット１１７は、ズームレンズ１２０を通過した光を用いずに、被写体距離に関する情報の測定（焦点ずれ量及びその方向の検出）を行う。外部測距ユニット１１７は、測定した焦点ずれ量及びずれの方向から被写体距離を求め、被写体距離を測定結果として出力しても良い。

外部測距ユニット１１７は、外測位相差検出方式、超音波センサ方式、赤外線センサ方式等、任意の方式を採用しうるが、本実施形態においては外側位相差検出方式を用いているものとする。外部測距ユニット１１７による測距情報（被写体距離、又は焦点ずれ量及びずれ方向）および測距信頼性情報は制御部１１４へ供給され、フォーカスレンズ位置へと変換される。測距信頼性情報は、外部測距ユニット１１７の測距方式に応じて定めることができる。例えば、被写体からの光束を２分割し、２分割した光束を１組のラインセンサに受光させて得られる１組の信号波形の位相差を用いて測距する外測位相差検出方式であれば、１組の信号波形の相関性を測距信頼性情報として用いることができる。

操作部１１８は、撮影者がデジタルビデオカメラ１００に各種指示や設定を入力するためのスイッチ、ボタン、ダイヤル等の入力デバイス群である。撮影開始／一時停止ボタン、ズームスイッチ、静止画撮影ボタン、方向ボタン、メニューボタン、実行ボタンなどが操作部１１８に含まれる。

次に、制御部１１４が行うＡＦ制御の詳細について、図２に示すフローチャートを用いて説明する。図２に示すＡＦ制御動作は、例えば１フィールドの画像を生成するための、撮像素子１０６からの撮像信号の読み出し周期で繰り返し実行される。

なお、表示部１０９を電子ビューファインダ（ＥＶＦ）として機能させるため、所定のフレームレート（例えば３０フレーム／秒）で撮影と表示が繰り返されているものとする。この場合、処理負荷を軽減するため、表示部１０９での表示用に、撮像素子１０６よりも少ない画素数の画像（表示用画像）を生成するのが一般的である。本実施形態においても、表示用画像を生成し、顔検出部１１６は表示用画像に対して顔検出を行うものとするが、顔検出は表示用画像よりも画素数の多い画像に対して行うように構成しても良い。なお、顔検出部１１６による顔検出は、表示用画像の各フレームに対して実行しても良いし、所定フレーム数おきに実行してもよい。

Ｓ２０２で制御部１１４は、外部測距ユニット１１７から測距情報を取得し、被写体距離、または焦点ずれ量とその方向からフォーカスレンズ１０５の目標位置を算出する。

Ｓ２０３で制御部１１４は、顔検出部１１６から顔検出結果を取得し、検出された顔の有無を判定する。Ｓ２０４で制御部１１４は、検出された顔があれば顔検出が成功したものと判定し、処理をＳ２０５へ進める。また制御部１１４は、検出された顔が無ければ顔検出が失敗したと判定し、処理をＳ２０８へ進める。

Ｓ２０５で制御部１１４は、顔検出が成功したことを受けて、顔検出部１１６から取得した顔検出結果に基づいて、ＡＦゲート１１２に、検出された顔領域に対して焦点検出領域（ＡＦ枠）を設定する。顔領域に対して設定されるＡＦ枠を、以下、単に顔枠と呼ぶ。顔枠は対応する顔領域に追従して移動する。また、顔枠の大きさは顔領域と同一で無くても良く、例えば、顔領域に外接する方形領域や、この方形領域に含まれる方形領域として設定することができる。

次に、Ｓ２０６で制御部１１４は、顔枠に対するＡＦ評価値を取得する。そして、Ｓ２０７で制御部１１４は、顔検出が成功している状態を表すフラグ（以下、単に顔検出中フラグという）をセットする。顔検出フラグは例えば制御部１１４が保持する１ビットデータであり、１がセット、０がリセット（セットされていない）状態を表すものとする。
Ｓ２１７で制御部１１４は、Ｓ２０６、Ｓ２１３又はＳ２１５で、設定中のＡＦ枠から取得したＡＦ評価値を保存する。保存するＡＦ評価値は最新のものだけでなく、過去の所定回数分について保存し、履歴を残しておく。

Ｓ２１８で制御部１１４は、Ｓ２０２で算出したフォーカスレンズ位置を保存する。保存するフォーカスレンズ位置は最新のものだけでなく、過去の所定回数分について保存し、履歴を残しておく。

そして、Ｓ２１９で制御部１１４は、Ｓ２１７で保存したＡＦ評価値を用いたＴＶ−ＡＦ制御と、Ｓ２１８で保存したフォーカスレンズ位置を用いた、外部測距ユニット１１７による測距情報に基づくＡＦ制御（外測ＡＦ制御）とを組み合わせた焦点検出を実行する。

ここで、ＴＶ−ＡＦ制御は、上述のように、フォーカスレンズ１０５の位置を変えながらコントラストの程度を示すＡＦ評価値を求め、ＡＦ評価値が最大となるフォーカスレンズ１０５の位置を合焦位置として探索するものである。

また、ＴＶ−ＡＦ制御には、合焦が得られている状態において、フォーカスレンズ１０５を再駆動する必要性を判断するためにＡＦ評価値の変化を判定する処理など、合焦状態を維持するための処理も含まれる。

一方、外測ＡＦ制御は、Ｓ２０２で算出したフォーカスレンズ位置へ、フォーカスレンズ１０５を移動させるものである。

ＴＶ−ＡＦ制御と外測ＡＦ制御をどのように組み合わせて焦点検出を行うかについて、本発明では特に制限されない。例えば、合焦状態に近い場合には、ＴＶ−ＡＦ制御を用いて高精度な安定した焦点検出を行う。また、合焦状態に遠く、被写体が大きくボケている場合には、外測ＡＦ制御によりフォーカスレンズ１０５を合焦位置の近傍まで高速に移動させたのち、ＴＶ−ＡＦ制御に切り替える、などが考えられる。これは、あくまで一例であり、公知の任意の方法により両者を組み合わせることができる。

一方、Ｓ２０４で顔検出が失敗であると判定された場合、Ｓ２０８で制御部１１４は検出中フラグがセットされているか判定する。
主被写体、即ち本実施形態では人物の顔、が認識できない場合、主被写体にＡＦ枠を設定することは困難である。制御部１１４は、顔検出中フラグがセットされていない場合、現在の撮影シーンには、人物の被写体が存在しない可能性が大きいと判断する。この場合、制御部１１４は、Ｓ２１４で、通常、撮影者は撮影したい被写体を画面中央に配置することが多いことを考慮し、画面中央を固定中心とした焦点検出領域（以下、通常枠と呼ぶ）をＡＦゲート１１２に設定する。

次に、制御部１１４は、Ｓ２１５で通常枠からＡＦ評価値を取得し、Ｓ２１６で顔検出中フラグをクリアして、Ｓ２１７以降は上述した処理を行う。つまり、顔が検出されず、かつ、顔検出中フラグがクリアされている場合、Ｓ２１９におけるＴＶ−ＡＦ制御は、通常枠に対して実施される。

Ｓ２０８で顔検出中フラグがセットされていると判定された場合、制御部１１４は、Ｓ２０９で、Ｓ２０２で算出した、外部測距ユニット１１７の測定結果に基づくフォーカスレンズ位置の前回の値と今回の値の差の比較しきい値を算出する。

そして、Ｓ２１０で制御部１１４は、Ｓ２１８で保存した、外部測距ユニット１１７の測定結果に基づくフォーカスレンズ位置の前回の値と今回の値との差（変化量）を、Ｓ２０９で算出した比較しきい値と比較する。

そして、Ｓ２１１で制御部１１４は、フォーカスレンズ位置の変化量がＳ２０９で算出した比較しきい値よりも大きいか否かを判別する。差がしきい値よりも大きい場合、撮影しているシーンから主被写体が存在しなくなったと判定する。この場合、制御部１１４は処理をＳ２１４に移行させ、顔検出フラグがセットされていない場合と同様に、通常枠を焦点検出領域として設定する。

一方、外部測距ユニット１１７の測定結果に基づくフォーカスレンズ位置の変化量がＳ２０９で算出した比較しきい値以下の場合、制御部１１４は、主被写体は撮影シーン内に存在しているが、一時的に検出できなくなったと判断する。例えば、主被写体が横を向いたり、目を閉じてしまったり、他の被写体が主被写体の前を横切ったことにより顔が認識できなくなった場合には、このような状態となりうる。

この場合、制御部１１４は、焦点検出領域の設定を変更しない。すなわち、現在設定されている顔枠を用いてＴＶ−ＡＦ制御を行う。Ｓ２１２で制御部１１４は、Ｓ２０５と同様に、前回と同じ位置に顔枠と通常枠を設定する。そして、Ｓ２１３で制御部１１４は、Ｓ２０６と同様に、顔枠のＡＦ評価値を取得する。以後、Ｓ２１７以降の処理を行い、上述した通りＴＶ−ＡＦ制御と外測ＡＦ制御を組み合わせた焦点検出を行う。

このように、顔検出フラグがセットされている場合には、外部測距ユニット１１７の測定結果に基づくフォーカスレンズ位置の差に基づいて、主被写体（人物被写体）が撮像シーン内にまだ存在しているか、もう存在していないかを判断する。これは、例えば、現時点では顔の検出に失敗したが、その前は顔が検出できていた場合、合焦位置に大きな変化がなければ、依然として主被写体が存在する可能性が高く、一時的に顔が検出できなくなったと判断できるからである。逆に、主被写体が撮影シーン外に移動した場合には、外部測距ユニット１１７による測距情報に基づいて算出されるフォーカスレンズ位置が大きく変化するであろう。

従って、Ｓ２０９で算出する比較しきい値は、主被写体が依然として存在するかどうかの判断に適した値として、経験的に求めた固定値であっても良い。あるいは、ズームレンズ１２０の焦点距離（画角）に応じて変更してもよい。これは、焦点距離が短いワイド側と焦点距離が長いテレ側を比較した場合、テレ側になればなるほど、手ぶれの影響が増え、フォーカスレンズ位置のばらつきが大きくなる可能性があるためである。よって、焦点距離が長くなるにつれて、比較しきい値が大きくなるように算出しても良い。

また、被写体距離や、焦点ずれ量及びその方向など、主被写体の距離を表す情報であれば、フォーカスレンズ位置に代えてＳ２０９、Ｓ２１０、Ｓ２１１の処理に用いることができる。

外部測距ユニット１１７が外測位相差検出方式により、かつ、フォーカスレンズ位置の代わりに被写体距離の比較を行う場合、被写体距離が大きい（無限大に近い）場合の比較しきい値を大きく算出することができる。これは、位相差検出方式の方式上、被写体距離が無限大に近い場合、被写体距離のばらつきが大きくなってしまうからである。

以上説明したように、本実施形態によれば、人物の顔が検出された場合には、顔領域に対してＡＦ枠を設定するので、人物に安定したピント合わせを行うことが可能である。

さらに、顔検出できた状態からできない状態になっても、外部測距ユニットを用いて得られる被写体距離に関する情報の変化量が予め定めた値以下であれば、ＡＦ枠を顔領域に設定したまま変更しない。そのため、人物被写体が横を向いたなどの理由により一時的に顔検出に失敗した場合においても焦点検出領域が切り替わる従来技術よりも、自動合焦制御の安定性を改善することができる。

（第２の実施形態）
次に、本発明の第２の実施形態について説明する。
本実施形態に係る撮像装置は、ＡＦ制御動作を除いて第１の実施形態と同様でよい。従って、ＡＦ制御動作についてのみ説明する。

図３は、本実施形態の撮像装置におけるＡＦ制御動作を説明するためのフローチャートである。図３において、第１の実施形態で説明した動作と同じ動作を行うステップについては、同じ参照数字を付して説明を省略する。

図３に示すように、本実施形態のＡＦ制御動作は、第１の実施形態のＡＦ制御動作（図２）と、顔が検出できていた状態から検出できない状態になった場合（Ｓ２０８、ＹＥＳ）に、それが一時的なものであるか否かを判定する方法において異なる。あるいは、顔が検出できていた状態から検出できない状態になった場合に、依然として撮影シーン内に主被写体が存在する可能性が高いか否かを判定する方法において異なるとも言える。

具体的には、現在のフォーカスレンズ位置と、外部測距ユニット１１７の現在の測距情報に基づくフォーカスレンズ位置の差が比較しきい値より大きいか否かにより、依然として撮影シーン内に主被写体が存在する可能性が高いか否かを判定する。

すなわち、Ｓ２０８で、顔検出中フラグがセットされていると判定された場合、制御部１１４は処理をＳ３０９へ進める。

Ｓ３０９で制御部１１４は、現在のフォーカスレンズ位置と、Ｓ２０２で外部測距ユニット１１７による測距情報に基づいて算出したフォーカスレンズ位置との差と比較するための比較しきい値を算出する。現在のフォーカスレンズ位置とは、Ｓ２１９の制御結果によるフォーカスレンズ位置である。

そして、Ｓ３１０で制御部１１４は、現在のフォーカスレンズ位置と、Ｓ２０２で外部測距ユニット１１７による測距情報に基づいて算出したフォーカスレンズ位置との差を比較する。

Ｓ２１１で、制御部１１４は、現在のフォーカスレンズ位置とＳ２０２で算出したフォーカスレンズ位置との差が、Ｓ３０９で算出した比較しきい値よりも大きいか否かを判別する。差がしきい値よりも大きい場合には、主被写体が存在しなくなったと判定する。そして、制御部１１４は処理をＳ２１４に進め、焦点検出領域として通常枠を設定する。

一方、現在のフォーカスレンズ位置とＳ２０２で算出したフォーカスレンズ位置との差が、Ｓ３０９で算出した比較しきい値以下の場合、制御部１１４は一時的に顔検出に失敗したものと判断し、焦点検出領域を変更せず、前回と同様の顔枠を設定する。例えば、主被写体が横を向いたり、目を閉じてしまったり、他の被写体が主被写体の前を横切ったことにより顔が認識できなくなった場合には、このような状態となりうる。

なお、本実施形態において、現在のフォーカスレンズ位置と、Ｓ２０２で外部測距ユニット１１７による測距情報に基づいて算出したフォーカスレンズ位置との差を比較するのは、外部測距ユニット１１７の測距精度が低い場合があるからである。

外部測距ユニット１１７の測距精度が低い場合、被写体距離やフォーカスレンズ位置が常に取得できるとは限らない。そのため、前回外部測距ユニット１１７による測距情報から算出したフォーカスレンズ位置が、顔検出された主被写体に焦点を合わせていたわけではない場合もある。

また、顔検出できている期間には外部測距ユニット１１７で測距できず、顔検出ができなくなってから測距できる場合もある。このような場合には、第１の実施形態のような、外部測距ユニット１１７による測距情報に基づいて算出したフォーカスレンズ位置の差に基づく判断は精度が低下する。

そのため、本実施形態では、顔検出ができる状態からできない状態になった場合、現在のフォーカスレンズ位置と、外部測距ユニット１１７による測距情報に基づく最新のフォーカスレンズ位置とを比較する。これにより、外部測距ユニット１１７の測距精度が低い場合においても、主被写体が存在するか、存在していないかの判断が容易となり、主被写体が存在しなくなった場合に、新たな主被写体に対する焦点検出をすばやく行うことが可能となる。

（第３の実施形態）
次に、本発明の第３の実施形態について説明する。
本実施形態に係る撮像装置は、ＡＦ制御動作を除いて第１の実施形態と同様でよい。従って、ＡＦ制御動作についてのみ説明する。

図４は、本実施形態の撮像装置におけるＡＦ制御動作を説明するためのフローチャートである。図４において、第１及び第２の実施形態で説明した動作と同じ動作を行うステップについては、同じ参照数字を付して説明を省略する。

図４に示すように、本実施形態のＡＦ制御動作は、顔が検出された場合には、焦点検出領域として、顔枠と通常枠の両方をＡＦゲート１１２に設定することを特徴とする。

具体的には、Ｓ２０４で制御部１１４が、顔検出に成功していると判定した場合、Ｓ４２０において、制御部１１４は、焦点検出領域として顔枠と通常枠の両方をＡＦゲート１１２に設定する。

上述のように、顔枠は、顔検出部１１６が検出した顔領域に対して設定される焦点検出領域であり、対応する顔領域の検出位置が変化するとそれに追従して位置が変化する。一方、通常枠は、被写体によらずその中央位置（本実施形態では画面中央）が固定されている。なお、本実施形態において、通常枠は顔枠よりも大きく、かつ顔枠を含むように設定する。また、通常枠は２つ以上設定しても良い。この場合、少なくとも１つの通常枠が顔枠を含むような大きさに設定する。

Ｓ４２１で制御部１１４は、ＡＦ信号処理回路１１３を通じて、顔枠と通常枠から各々ＡＦ評価値を取得する。Ｓ２０７で制御部１１４は、顔検出中フラグをセットする。

Ｓ２１７で制御部１１４は、設定中のＡＦ枠から取得したＡＦ評価値を保存する。保存するＡＦ評価値は最新のものだけでなく、過去の所定回数分について保存し、履歴を残しておく。

Ｓ２１８で制御部１１４は、Ｓ２０２で算出したフォーカスレンズ位置（外部測距ユニット１１７による測距情報に基づくフォーカスレンズ位置）を保存する。保存するフォーカスレンズ位置は最新のものだけでなく、過去の所定回数分について保存し、履歴を残しておく。

そして、Ｓ４２４で制御部１１４は、設定されているＡＦ枠から取得した各ＡＦ評価値を加算し、ＴＶ−ＡＦ制御により合焦制御する場合に主として用いるＡＦ評価値を生成する。

ここで、撮影者が意図する被写体が人物である可能性が高いことを考慮して、顔枠と通常枠の両方からＡＦ評価値が得られている場合には、顔枠から得られたＡＦ評価値に、通常枠から得られたＡＦ評価値よりも重み付けして加算しても良い。また、顔枠が設定された顔領域の画像中の位置に応じて重みを変更してもよい。例えば、主被写体は画面中央に配置されることが多い点を考慮して、顔領域が画面中央付近にある場合には、重みを大きくし、画面の端にある場合には、重みを小さくすることができる。

特に動画撮影時には、撮影中に主被写体とは違う被写体が撮影範囲に入ってくることも多くなることが想定される。その場合、顔枠のＡＦ評価値の重みを固定すると、画面の端に位置する、撮影を意図しない人物の顔に合焦しようとして、一時的にピント合わせが不安定になる可能性がある。
Ｓ２１９で制御部１１４は、ＴＶ−ＡＦ制御と外測ＡＦ制御とを組み合わせたＡＦ制御を実行する。

一方、顔認識が失敗した場合Ｓ２０８へ進み、顔検出中フラグがセットされているかを判定する。顔検出中フラグがセットされていない場合、制御部１１４は第１の実施形態と同様にＳ２１４〜Ｓ２１６の処理を実行する。これにより、通常枠からのＡＦ評価値のみが得られる。

Ｓ２０８で、顔検出中フラグがセットされている場合、制御部１１４は、第１及び第２の実施形態で説明したＳ３０９、Ｓ３１０、Ｓ２１１の処理を実行する。

Ｓ２１１において、制御部１１４は、現在のフォーカスレンズ位置とＳ２０２で算出したフォーカスレンズ位置との差が、Ｓ３０９で算出した比較しきい値よりも大きい場合には、主被写体が存在しなくなったと判定する。そして、制御部１１４は処理をＳ２１４に進め、焦点検出領域として通常枠を設定する。

一方、現在のフォーカスレンズ位置とＳ２０２で算出したフォーカスレンズ位置との差が、Ｓ３０９で算出した比較しきい値以下の場合、制御部１１４は一時的に顔検出に失敗したものと判断する。

そして、Ｓ４２２で制御部１１４は、Ｓ４２０と同様に、前回と同じ位置に顔枠と通常枠を設定し、Ｓ４２３で、Ｓ４２１と同様に、顔枠と通常枠の各々におけるＡＦ評価値を取得する。

ここで、本実施形態におけるＡＦ枠の設定例について、図５を用いて説明する。
図５（ａ）は、顔枠と通常枠の両方を設定する場合の例を、（ｂ）は通常枠のみを設定する場合の例をそれぞれ示している。
図５（ａ）に示すように、通常枠５１は顔枠５５よりも大きく、顔枠５５を含むように画面中央に設定される。通常枠５１は、被写体を特定しないでＡＦ評価値を得るために、画面の広範囲を占めるように設定される。

一方、顔枠を設定せず、通常枠のみ設定する場合には、図５（ａ）と同様の通常枠５１を設定することもできる。しかし、撮影者が画面中央に意図した被写体を配置して撮影することが多いことを考慮し、図５（ｂ）に示すように、通常枠５１よりも小さい通常枠５２を設定しても良い。通常枠５２も、通常枠５１と同様、枠の中心は画面中心と共通である。また、通常枠５２のみではなく、通常枠５１と通常枠５２の両方を設定することもできる。

以上説明したように、本実施形態によれば、顔検出できている場合と、一時的に顔検出できなくなっていると判断される場合には、顔枠と通常枠の両方にＡＦ枠を設定し、両方の枠から得られたＡＦ評価値に基づいて合焦制御を行う。そのため、第２の実施形態と同様の効果に加え、顔領域以外の情報も加味した合焦制御により、意図しない人物に対して合焦させてしまう可能性を抑制することができる。

（第４の実施形態）
次に、本発明の第４の実施形態について説明する。
図６は、本発明の第４の実施形態に係る撮像装置の一例としてのデジタルビデオカメラ１００’の構成例を示すブロック図である。図６において、第１の実施形態のデジタルビデオカメラ１００と共通する構成要素については図１と同じ参照数字を付し、重複する説明を省略する。

本実施形態に係る撮像装置は、外部測距ユニット１１７の代わりに、ＴＴＬ方式の測距（内部測距）を行うための構成を有している点で第１の実施形態のデジタルビデオカメラ１００と異なる。

そのため、本実施形態のデジタルビデオカメラ１００’は、ズームレンズ１２０が被写体側から順に、第１固定レンズ１０１、変倍レンズ１０２、フォーカスレンズ１０５、ハーフプリズム６２１、絞り１０３及び第２固定レンズ１２１とにより構成されている。

ハーフプリズム６２１は、フォーカスレンズ１０５から絞り１０３に向かう光束を、撮像素子１０６に向かう光束成分と、後述するＡＦセンサ６２４に向かう光束成分とに分割する。絞り１０３は、動画撮影中、常に動作しているので、絞り１０３よりも被写体側に配置したハーフプリズム６２１によって、入射光束を分割する。

サブミラー６２２は、ハーフプリズム６２１により分割された光束成分を反射し、光路の方向を変更する。結像レンズ６２３は、サブミラー６２２が反射した光束をＡＦセンサ６２４上に結像させる。ＡＦセンサ６２４は、本実施形態では位相差検出方式ＡＦ用の一対の受光素子列（ラインセンサ）を有する。ＡＦ回路６２５は、ＡＦセンサ６２４の一対のラインセンサから出力される一対の像信号の位相差から、被写体距離、又はピントずれ量及びずれ方向、を測距情報として演算する。

サブミラー６２２、結像レンズ６２３、ＡＦセンサ６２４及びＡＦ回路６２５は、内測位相差検出方式の測距ユニット（内部測距ユニット）を形成する。

このように構成されたビデオカメラでは、外部測距ユニット１１７に代えて、ＡＦ回路６２５から測距情報を得ること第１〜第３の実施形態で説明したＡＦ制御動作（図２〜図４）と同様のＡＦ制御動作を行うことができる。ここで、測距情報はピントずれ量及びずれ方向であってよい。

例えば、Ｓ２０２で、制御部１１４は、ＡＦ回路６２５からの測距情報に基づいて、フォーカスレンズ１０５の合焦位置（内測合焦位置）を算出する。
また、Ｓ２１０で制御部１１４は、ＡＦ回路６２５の測距情報に基づくフォーカスレンズ位置もしくは被写体距離について、前回と今回との変化量を算出し、これを比較しきい値と比較する。

また、Ｓ２１９において、制御部１１４は、ＴＶ−ＡＦ制御と内部測距ユニットによる測距情報に基づくＡＦ制御（内測ＡＦ制御）とを組み合わせたＡＦ制御を実行する。
あるいは、Ｓ３１０で制御部１１４は、現在のフォーカスレンズ位置と、ＡＦ回路６２５からの測距情報に基づくフォーカスレンズ位置との差が、比較しきい値より大きいか否かを判別する。

このように、本実施形態によっても、第１乃至第３の実施形態と同様の効果を達成することが可能である。

（他の実施形態）
なお、上述の実施形態は組み合わせて用いることも可能である。例えば、第３の実施形態を第１の実施形態に適用してもよい。
また、上述の実施形態においては、ＴＶ−ＡＦ制御と外測（又は内測）ＡＦ制御とを組み合わせて合焦制御を行うものとして説明した。しかし、本発明はこのような複数のＡＦ制御を必須とするものではなく、例えばＴＶ−ＡＦ制御のみを用いて合焦制御を行っても良い。

本発明の第１の実施形態に係る撮像装置の一例としてのデジタルビデオカメラの構成例を示すブロック図である。 本発明の第１の実施形態に係るデジタルビデオカメラのＡＦ制御動作を説明するフローチャートである。 本発明の第２の実施形態に係るデジタルビデオカメラのＡＦ制御動作を説明するフローチャートである。 本発明の第３の実施形態に係るデジタルビデオカメラのＡＦ制御動作を説明するフローチャートである。 本発明の第３の実施形態に係るデジタルビデオカメラにおけるＡＦ枠の設定例を示す図である。 本発明の第４の実施形態に係る撮像装置の一例としてのデジタルビデオカメラの構成例を示すブロック図である。

Claims (8)

1. フォーカスレンズを駆動して自動合焦制御を行う撮像装置であって、
   被写体の距離に関する情報を測定する測距手段と、
   撮像された画像から、人物の顔の領域を顔領域として検出する検出手段と、
   前記画像に対する焦点検出領域を設定する設定手段と、
   前記画像の前記焦点検出領域に含まれる、予め定められた周波数帯域の成分に基づいてＡＦ評価値を生成する生成手段と、
   前記生成手段が生成したＡＦ評価値に基づいて、前記フォーカスレンズを駆動して焦点検出を行う制御手段とを有し、
   前記設定手段は、
   前記顔領域が検出されている場合には、前記顔領域に対して焦点検出領域を設定し、
   前記顔領域が検出されていた状態から前記顔領域が検出されない状態になった場合には、前記測距手段の測定結果を用いて、前記顔領域が検出されていた状態における前記被写体の距離と、前記顔領域が検出されない状態における前記被写体の距離との変化量が予め定めたしきい値より大きいか否かを判別し、前記変化量が予め定めたしきい値以下であれば、前記顔領域が検出されていた状態において設定されていた焦点検出領域を変更せず、前記変化量が予め定められたしきい値より大きければ、前記画像内の予め定められた領域に焦点検出領域を変更することを特徴とする撮像装置。
2. 前記設定手段は、
   前記顔領域が検出されていた状態から前記顔領域が検出されない状態になった場合には、前記顔領域が検出されていた状態における前記測距手段の測定結果と、前記顔領域が検出されない状態における前記測距手段の測定結果とを用いて、前記被写体の距離の変化量を求めることを特徴とする請求項１記載の撮像装置。
3. 前記設定手段は、
   前記顔領域が検出されていた状態から前記顔領域が検出されない状態になった場合には、前記顔領域が検出されていた状態における前記測距手段の測定結果から算出されるフォーカスレンズの位置と、現在の前記フォーカスレンズの位置との差を、前記被写体の距離の変化量として求めることを特徴とする請求項１記載の撮像装置。
4. 前記設定手段が、
   前記顔領域が検出されている場合に、前記顔領域に加えて、前記予め定められた領域に対しても焦点検出領域を設定することを特徴とする請求項１乃至請求項３のいずれか１項に記載の撮像装置。
5. 前記制御手段が、前記生成手段が前記顔領域に対して生成したＡＦ評価値と、前記予め定められた領域に対して生成したＡＦ評価値とを加算した結果に基づいて前記焦点検出を行うことを特徴とする請求項４記載の撮像装置。
6. 前記予め定められた領域の中心が、前記画像の中心に等しく、かつ、前記顔領域を含む領域であることを特徴とする請求項４又は請求項５記載の撮像装置。
7. 前記測距手段が、位相差検出方式を用いて前記被写体の距離に関する情報を測定し、前記被写体の距離に関する情報が、被写体距離又は、焦点ずれ量及び焦点ずれ方向のいずれかであることを特徴とする請求項１乃至請求項６のいずれか１項に記載の撮像装置。
8. フォーカスレンズを駆動して自動合焦制御を行う撮像装置の制御方法であって、
   被写体の距離に関する情報を測定する測距ステップと、
   撮像された画像から、人物の顔の領域を顔領域として検出する検出ステップと、
   前記画像に対する焦点検出領域を設定する設定ステップと、
   前記画像の前記焦点検出領域に含まれる、予め定められた周波数帯域の成分に基づいてＡＦ評価値を生成する生成ステップと、
   前記生成ステップで生成されたＡＦ評価値に基づいて、前記フォーカスレンズを駆動して焦点検出を行う制御ステップとを有し、
   前記設定ステップは、
   前記顔領域が検出されている場合には、前記顔領域に対して焦点検出領域を設定し、
   前記顔領域が検出されていた状態から前記顔領域が検出されない状態になった場合には、前記測距ステップにおける測定結果を用いて、前記顔領域が検出されていた状態における前記被写体の距離と、前記顔領域が検出されない状態における前記被写体の距離との変化量が予め定めたしきい値より大きいか否かを判別し、前記変化量が予め定めたしきい値以下であれば、前記顔領域が検出されていた状態において設定されていた焦点検出領域を変更せず、前記変化量が予め定められたしきい値より大きければ、前記画像内の予め定められた領域に焦点検出領域を変更することを特徴とする撮像装置の制御方法。

Images