JP2009069551A - データ処理装置、およびデータ処理方法、並びにプログラム - Google Patents

Abstract

【課題】効率的で正確なフォーカス制御を行う撮像装置および撮像装置制御方法を実現する。
【解決手段】入力画像から顔領域を検出し、検出した顔の大きさに基づいて被写体距離を算出して、算出した被写体距離情報に基づいてフォーカス位置を推定し、短いフォーカスレンズ動作範囲を設定し、その設定範囲でレンズを移動させてフォーカス定位置を決定する。本構成により、移動させるレンズ距離が短くなり、高速なフォーカス制御が可能となる。
【選択図】図１６

Description

本発明は、撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラムに関する。さらに、詳細には、目的とする被写体に対する迅速で正確なオートフォーカス処理を行なうことを可能とした撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラムに関する。

昨今の多くのスチルカメラやビデオカメラなどの撮像装置には、被写体に対するフォーカスを自動的に合わせるオートフォーカス（ＡＦ）機構が搭載されている。

このオートフォーカス制御手法として、レンズを介して取得された撮像データのコントラストの高低を判断する手法が知られている。撮像画像の特定領域をフォーカス制御用の信号取得領域（空間周波数抽出エリア）として設定し、この特定領域のコントラストが高いほどフォーカスが合っており、コントラストが低いとフォーカスがずれていると判定し、コントラストをより高くする位置にレンズを駆動して調整する方式である。このようなフォーカス制御処理構成については、例えば特許文献１に記載されている。

具体的には、特定領域の高周波成分を抽出して、抽出した高周波成分の積分データを生成し、生成した高周波成分積分データに基づいてコントラストの高低を判定する方法が適用される。すなわち、フォーカスレンズを複数の位置へと動かしながら複数枚の画像を取得し、各画像の輝度信号に対しハイパスフィルタに代表されるフィルタ処理をすることにより、各画像のコントラスト強度を示すＡＦ評価値を得る。このとき、あるフォーカス位置でピントが合った被写体が存在する場合、フォーカスレンズ位置に対するＡＦ評価値は図１のような曲線を描く。この曲線のピーク位置Ｐ１、すなわち画像のコントラスト値が最大となる位置がフォーカスの合った合焦位置である。この方式は、コントラスト強度のピークを検出するものであり山登り方式とも呼ばれる。

この方式では、イメージャに写った画像の情報によるフォーカス制御である合焦動作を行うことができ、撮像光学系の他に測距光学系を持つ必要がないことから、今般デジタルカメラにおいて広く用いられている。

このように、オートフォーカス制御では、コントラストの高低判定のために特定領域の高周波成分積分値を算出して、これを評価値（ＡＦ評価値）として利用する。評価値が最大となるようにフォーカスレンズを駆動することでオートフォーカスが実現される。オートフォーカスを行なうためには、上述の評価値を指針としてレンズを駆動させることが必要となる。レンズ駆動機構としては例えばボイスコイルモータなどが利用される。

しかし、このようなコントラストを指標値としてフォーカス位置を選択するコントラスト抽出方式のオートフォーカス（以後ＡＦ）装置は、高周波成分の多い背景にピントがあってしまう傾向がある。例えば図２に示すように、撮像装置において撮影される撮影画像の全体領域に相当する画面全枠１０の中央部の中央枠２０などにある選択したい被写体にピントが合わず、誤って背景にフォーカスがあってしまう背景引かれという現象が発生することがある。

特に、被写体が顔であるなどの場合には、この背景引かれは顕著となる。これは、顔が背景部分に比較してローコントラストであるために、画面全枠１０の最良フォーカス位置としてコントラストの高い背景部分を正しいフォーカス位置としてしまうものである。

正しい被写体を認識することが出来れば、正しい被写体にピントをあわせる事が可能になる。すなわち、図２のような設定で正しい被写体は人物の顔とした場合、この顔を認識して顔枠３０をフォーカス制御のためのコントラスト検出を行う測距エリア（検波枠）を設定し、測距エリア（検波枠）に限定したコントラスト抽出によるフォーカス制御を行えば、目的の被写体に対する正しいフォーカス制御が可能となる。

一般的なカメラの撮影においては人間が主要被写体になるケースが非常に多いが、撮影画像における人物の位置は多様であり様々な構図がある。このような問題に対応するため、撮像装置において画像から顔を認識し、測距エリアを認識された顔の位置に設定することで、どのような構図でも顔にピントを合わせることを可能とした構成が提案されている。例えば、特許文献２にこのような顔認識に基づくフォーカス制御構成が開示されている。この顔認識に基づくフォーカス制御によって様々な構図の撮影において適切なフォーカス制御（ピント合わせ）が可能になる。

デジタルスチルカメラには、このような顔認識機能を持つものがすでに利用されており、顔を含む画像を撮影する場合にこの機能が利用されている。しかし、ビデオカメラでの商品化の事例はない。ビデオカメラは動画撮影を行うものであり、顔領域自体の動きが発生することから、動画での撮影において顔認識をオートフォーカスに用いると破綻することが多く、実用化が困難であるというのが現状である。

画像データからの人物抽出技術をカメラに応用した構成については、例えば特許文献３（特開２００４−３１７６９９号公報）があり、この文献は、顔のサイズに基づいてフォーカス位置を高速に判定する構成を開示している。また、被写体までの距離測定を三角測量の原理に基づいて実行する距離推定技術について特許文献４（特開２００１−２１５４０３号公報）に記載されている。

また、コントラスト抽出エリアを、例えば図２に示す中央枠２０と、顔枠３０を切り替える処理を行う構成について、前述の特許文献３（特開２００４−３１７６９９号公報）や、特許文献５（特開２００６−３３４４０号公報）などに開示されている。

また、特許文献６（特開２００６−２２７０８０号公報）は、顔がローコントラストである場合を考慮し、顔に体の部分を加えて測距エリア（検波枠）を設定する技術を開示している。また、複数の顔が存在する場合の顔枠の優先順位の指定に関する技術が特許文献７（特開２００５−８６６８２号公報）に示されている。

しかし、このような従来技術はデジタルスチルカメラに対する応用例であり、前述したように、ビデオカメラにおいて撮影する動画に対してこのような測距エリア（検波枠）として顔枠を用いる場合、顔枠をビデオカメラのフレーム毎に検出することが必要であり、また、枠サイズを大きくすると前述の背景引かれの問題が生まれ、枠サイズを小さくすると、枠のフレームアウトやローコントラストによってフォーカスがあわずフォーカス位置がふらつくという問題が発生しやすくなるという問題など、様々な問題があり実用化を妨げている。

なお、測距エリア（検波枠）として顔領域を用いる場合、顔領域に対して設定した検波枠からの検出信号が不安定になるという問題があるが、例えば特許文献８（特開２００６−１６２２１５号公報）は、こり問題の解決手法の１つとして、検波枠からの検出が途絶えた場合、顔の検出エリアで検波枠をホールドする構成を開示している。

なお、前述したコントラスト判定に基づくフォーカス位置設定の他に、カメラの取得画像の顔サイズから顔までの距離を計測してフォーカス位置を推定する手法についても提案されている。ただし顔サイズは、大人と子供によっても異なる。従って、顔サイズに基づく距離推定には、大人の顔や子供の顔など顔の種別のクラスを基にして推定することが好ましい。顔の特徴量のクラスタリングなどによって、顔の属性（大人、子供など）の判定を行い、この判定を利用してカメラの取得画像の顔サイズから顔までの距離を推定する手法について、例えば、特許文献９（特開２００３−２４２４８６号公報）、特許文献１０（特開平１１−１７５７２４号公報）、特許文献１１（特開平８−１０６５１９号公報）、特許文献１２（特開２００１−２５６４９６号公報）、特許文献１３（特開２００１−１６７１１０号公報）、特許文献１４（特開２００１−３３１７９９号公報）などに開示されている。
特開平１０−２１３７３７号公報 特開２００３−１０７３３５号公報 特開２００４−３１７６９９号公報 特開２００１−２１５４０３号公報 特開２００６−３３４４０号公報 特開２００６−２２７０８０号公報 特開２００５−８６６８２号公報 特開２００６−１６２２１５号公報 特開２００３−２４２４８６号公報 特開平１１−１７５７２４号公報 特開平８−１０６５１９号公 特開２００１−２５６４９６号公報 特開２００１−１６７１１０号公報 特開２００１−３３１７９９号公報

上述したように、撮像装置において画像から顔を認識し、測距エリアを認識された顔の位置に設定して顔にピントを合わせることを可能とした構成について、デジタルスチルカメラでは多く利用されているが、動画撮影を行うビデオカメラでは、顔領域自体の動きが発生することから、この顔認識技術をオートフォーカスに用いると破綻することが多く実用化されていないというのが現状である。

本発明は、このような状況に鑑みてなされたものであり、ビデオカメラにおいて、顔認識技術を用いて安定したフォーカス制御を行う撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラムを提供することを目的とする。

本発明は、顔認識を、ビデオカメラにおいて、背景引かれの発生を抑制し、主要被写体を正確に追跡して安定したフォーカス制御を行う撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラムを提供することを目的とする。

本発明の第１の側面は、
動画撮影処理を実行する撮像装置であり、
撮像装置において入力する入力画像から顔領域を検出する顔検出部と、
顔検出部の検出した顔の顔サイズに基づいて被写体距離を算出し、算出した被写体距離を焦点距離とするフォーカスレンズ位置の前後にフォーカスレンズ動作範囲としてのリミットを設定し、設定リミット内でフォーカスレンズを移動させてフォーカス位置を決定する制御部と、
を有することを特徴とする撮像装置にある。

さらに、本発明の撮像装置の一実施態様において、前記制御部は、算出した被写体距離を焦点距離とするフォーカスレンズ位置の前後にフォーカスレンズ動作範囲としてのリミットを設定し、設定リミット内でフォーカスレンズを移動させて、前記顔検出部において検出された顔を含む顔枠から得られるコントラスト強度に対応する検波値が予め定めた閾値以上となる合焦ポイントの検出処理を実行し、予め設定した設定時間内に合焦ポイントが検出された場合は、その合焦ポイントにフォーカス位置を決定し、予め設定した設定時間内に合焦ポイントが検出されなかった場合は、前記リミットの解除処理を実行する構成であることを特徴とする。

さらに、本発明の撮像装置の一実施態様において、前記制御部は、予め規定した顔サイズの上限および下限データに基づいて、前記フォーカスレンズ動作範囲としてのリミットとして、
至近側リミット［Ｆｃ＿ｎｅａｒ＿ｎｅｗ］，
望遠側稼動リミット［Ｆｃ＿ｆａｒ＿ｎｅｗ］
これらの２点のリミットを設定し、設定リミット内でフォーカスレンズを移動させてフォーカス位置を決定する処理を実行することを特徴とする。

さらに、本発明の撮像装置の一実施態様において、前記制御部は、前記顔検出部において検出された顔を含む顔枠から得られるコントラスト強度に対応する検波値の測定により、フォーカス位置を決定する構成であることを特徴とする。

さらに、本発明の撮像装置の一実施態様において、前記制御部は、前記設定リミット内でフォーカスレンズを移動させてフォーカス位置を決定する処理の実行時のウォブリング処理の実行タイミングを、前記顔検出部において検出された顔を含む顔枠における検波タイミングに応じて制御する処理を行う構成であることを特徴とする。

さらに、本発明の撮像装置の一実施態様において、前記制御部は、前記顔検出部において検出された顔の、
（ａ）顔の大きさ、
（ｂ）顔の画像中心からの距離、
（ｃ）顔が前回主要被写体として検出されたか否か、
少なくとも上記（ａ）〜（ｃ）のいずれかの情報を利用したスコアを算出し算出スコアの高い顔をフォーカス目的としての主要顔として選択する処理を実行する構成であることを特徴とする。

さらに、本発明の撮像装置の一実施態様において、前記制御部は、設定した主要顔の追従を実行し、追従に失敗した場合に、次の主要顔の選択処理を実行する構成であることを特徴とする。

さらに、本発明の撮像装置の一実施態様において、前記制御部は、前記顔検出部の検出した顔を利用して算出した被写体距離に基づく設定リミット内でのフォーカス制御の実行期間において、予め設定した閾値以上の画面または顔枠の動きの検出、または、ズーム、パン、チルトいずれかの操作情報の入力を検出した場合、前記リミットの解除、あるいはリミットの緩和処理を行う構成であることを特徴とする。

さらに、本発明の撮像装置の一実施態様において、前記制御部は、前記顔検出部の検出した顔の特徴に基づいて人物の属性を判定し、属性に基づいて顔サイズの推定を行い、推定した顔サイズを適用した被写体距離算出を実行することを特徴とする。

さらに、本発明の第２の側面は、
動画撮影処理を実行する撮像装置における撮像装置制御方法であり、
顔検出部が、撮像装置において入力する入力画像から顔領域を検出する顔検出ステップと、
制御部が、顔検出部の検出した顔の顔サイズに基づいて被写体距離を算出し、算出した被写体距離を焦点距離とするフォーカスレンズ位置の前後にフォーカスレンズ動作範囲としてのリミットを設定し、設定リミット内でフォーカスレンズを移動させてフォーカス位置を決定する制御ステップと、
を有することを特徴とする撮像装置制御方法にある。

さらに、本発明の撮像装置制御方法の一実施態様において、前記制御ステップは、算出した被写体距離を焦点距離とするフォーカスレンズ位置の前後にフォーカスレンズ動作範囲としてのリミットを設定し、設定リミット内でフォーカスレンズを移動させて、前記顔検出部において検出された顔を含む顔枠から得られるコントラスト強度に対応する検波値が予め定めた閾値以上となる合焦ポイントの検出処理を実行し、予め設定した設定時間内に合焦ポイントが検出された場合は、その合焦ポイントにフォーカス位置を決定し、予め設定した設定時間内に合焦ポイントが検出されなかった場合は、前記リミットの解除処理を実行するステップであることを特徴とする。

さらに、本発明の撮像装置制御方法の一実施態様において、前記制御ステップは、予め規定した顔サイズの上限および下限データに基づいて、前記フォーカスレンズ動作範囲としてのリミットとして、
至近側リミット［Ｆｃ＿ｎｅａｒ＿ｎｅｗ］，
望遠側稼動リミット［Ｆｃ＿ｆａｒ＿ｎｅｗ］
これらの２点のリミットを設定し、設定リミット内でフォーカスレンズを移動させてフォーカス位置を決定する処理を実行するステップであることを特徴とする。

さらに、本発明の撮像装置制御方法の一実施態様において、前記制御ステップは、前記顔検出部において検出された顔を含む顔枠から得られるコントラスト強度に対応する検波値の測定により、フォーカス位置を決定するステップであることを特徴とする。

さらに、本発明の撮像装置制御方法の一実施態様において、前記制御ステップは、前記設定リミット内でフォーカスレンズを移動させてフォーカス位置を決定する処理の実行時のウォブリング処理の実行タイミングを、前記顔検出部において検出された顔を含む顔枠における検波タイミングに応じて制御する処理を行うステップであることを特徴とする。

さらに、本発明の撮像装置制御方法の一実施態様において、前記制御ステップは、前記顔検出部において検出された顔の、
（ａ）顔の大きさ、
（ｂ）顔の画像中心からの距離、
（ｃ）顔が前回主要被写体として検出されたか否か、
少なくとも上記（ａ）〜（ｃ）のいずれかの情報を利用したスコアを算出し算出スコアの高い顔をフォーカス目的としての主要顔として選択する処理を実行するステップであることを特徴とする。

さらに、本発明の撮像装置制御方法の一実施態様において、前記制御ステップは、設定した主要顔の追従を実行し、追従に失敗した場合に、次の主要顔の選択処理を実行するステップであることを特徴とする。

さらに、本発明の撮像装置制御方法の一実施態様において、前記制御ステップは、前記顔検出部の検出した顔を利用して算出した被写体距離に基づく設定リミット内でのフォーカス制御の実行期間において、予め設定した閾値以上の画面または顔枠の動きの検出、または、ズーム、パン、チルトいずれかの操作情報の入力を検出した場合、前記リミットの解除、あるいはリミットの緩和処理を行うステップであることを特徴とする。

さらに、本発明の撮像装置制御方法の一実施態様において、前記制御ステップは、前記顔検出部の検出した顔の特徴に基づいて人物の属性を判定し、属性に基づいて顔サイズの推定を行い、推定した顔サイズを適用した被写体距離算出を実行するステップであることを特徴とする。

さらに、本発明の第３の側面は、
動画撮影処理を実行する撮像装置において撮像装置制御処理を実行させるコンピュータ・プログラムであり、
顔検出部に、撮像装置において入力する入力画像から顔領域を検出させる顔検出ステップと、
制御部に、顔検出部の検出した顔の顔サイズに基づいて被写体距離を算出し、算出した被写体距離を焦点距離とするフォーカスレンズ位置の前後にフォーカスレンズ動作範囲としてのリミットを設定し、設定リミット内でフォーカスレンズを移動させてフォーカス位置を決定させる制御ステップと、
を有することを特徴とするコンピュータ・プログラムにある。

なお、本発明のコンピュータ・プログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なコンピュータ・プログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ・システム上でプログラムに応じた処理が実現される。

本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

本発明の一実施例の構成では、撮像装置におけるオートフォーカス処理において、入力画像から顔領域を検出し、検出した顔の大きさに基づいて被写体距離を算出して、算出した被写体距離情報に基づいてフォーカス位置を推定する。さらに、この推定したフォーカス位置に基づいて、フォーカスレンズの全稼動範囲より短いフォーカスレンズ動作範囲を設定し、設定したレンズ動作範囲内において、フォーカスレンズを移動させてフォーカスレンズ設定位置を決定する。本構成によれば、フォーカス制御において移動させるレンズの距離を短く設定することが可能となり、高速なフォーカス制御が実現される。

以下、図面を参照しながら本発明の撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラムの詳細について説明する。本発明は、目的とする被写体に対する迅速で正確なオートフォーカスを可能とした撮像装置、特に動画撮影を行うビデオカメラとしての撮像装置における撮影において、撮影画像フレームから人物の顔を検出して検出した顔に対してフォーカス制御を行うものである。

まず、図３を参照して、本発明の撮像装置１００の構成例について説明する。撮像レンズ１０１は、内部に焦点距離を連続的に変えるためのズームレンズ、ピントを調整するためのフォーカスレンズ、絞り径を変えるアイリス、絞りによる回折効果を削減しながら照度を調整するために用いられる調整ＮＤ（Ｎｅｕｔｒａｌ Ｄｅｎｓｉｔｙ）フィルタを挿入するＮＤ機構、撮影時の手ブレを補正するシフト防振式手ブレ補正レンズ、などを持つ。

撮影レンズ１０１は、撮像素子１０２上に被写体像を結像する。撮像素子は、固体撮像素子として一般に広く利用されているＣＣＤやＣＭＯＳ型の撮像素子が用いられる。

撮像装置１００は、映像を撮像素子１０２上に集光する撮像レンズ１０１と、撮像素子の画像取得タイミングを設定するタイミングジェネレータ（ＴＧ）１０９、レンズ上のズームレンズを駆動するアクチュエータ１１１と、レンズ上のフォーカスレンズを駆動するアクチュエータ１１２と、それを駆動するモータドライバ１１０を持ち、フォーカスやズームのレンズ位置を制御する制御部１２０を持つ。

小型のビデオカメラの場合は、一般にズームレンズの移動に対してフォーカスレンズが、トラッキング曲線と呼ばれるカーブに従ってマイコン制御で連動するインナーフォーカスタイプと呼ばれるレンズが多く、フォーカスとズームレンズは、マイクロコンピューターで連動して、プリドライバおよびドライバＩＣを通じてレンズモーターでレンズを制御する。

撮像素子１０２の取得信号は、アナログ信号処理部１０３、Ａ／Ｄ変換部１０４、デジタル信号処理部１０５による信号処理がなされる。これら各処理部の処理は、制御部１２０において制御される。

撮像素子１０２から出力される光電変換データは、アナログ信号処理部１０３に入力され、アナログ信号処理部１０３においてノイズ除去等の処理がなされ、Ａ／Ｄ変換部１０４においてデジタル信号に変換される。Ａ／Ｄ変換部１０４においてデジタル変換されたデータはデジタル信号処理回路１０５に入力され、デジタル信号処理回路１０５において、輪郭強調や、ガンマ補正、フリッカ除去機構などの各種画像処理が施される。デジタル信号処理回路１０５ないし制御部１２０は、少なくとも自動焦点機構、自動露出機構、自動ホワイトバランス調整機構などをそなえ、最良のピント位置、最良の輝度、最良の色再現を果たすために、信号やレンズユニットにあるモータを制御する。

デジタル信号処理部１０５において処理された映像信号は、液晶パネルなどによって構成されるモニタ１０６、ビューファインダ１０７、記録デバイス１０８に出力または格納される。

撮像装置１００は、さらに、ユーザの入力を検出する操作部１１４、設定を保存するメモリであるＥＥＰＲＯＭ）あるいはＦｌａｓｈメモリなどの不揮発メモリ１１５、制御部１２０の実行するプログラムなどを格納したメモリ（ＲＯＭ）１１６、制御部１２０の実行プログラムのワークエリアなどに利用されるＲＡＭ１１７、顔検出部２００を有する。

顔検出部２００は、デジタル信号処理部１０５から撮影画像を受け取り、撮影フレーム中から顔領域を検出する処理を行う。顔検出部２００は、なお、顔の認識、追尾技術としては、既に様々な技術が開示されており、この既存技術を適用することが可能である。例えば特開２００４−１３３６３７に示されるような、顔の輝度分布情報を記録したテンプレートの実画像へのマッチングによって実現できる。まず実画像に縮小処理をかけた画像を複数種類用意する。そこに顔を傾けた時に得られる顔の輝度分布情報テンプレート群を用意しておき、それらを順次マッチングさせていく。このテンプレートは、顔３次元直交座標系のＸＹＺ軸の各々に対して傾いたものであり、このテンプレートとのマッチングにより実際の顔の傾きを判定するものである。

縮小された画像に対して２次元平面上をずらしながら順次マッチングさせた時に、ある領域がテンプレートにマッチすれば、その領域が顔の存在する位置ということになり、大きさは、実画像の縮小率から求めることができる。またそのときに用いたテンプレートから直交３軸周りの回転角、ヨー、ピッチ、ロール角を求めることができる。このようにして得られた、顔の大きさ、位置、回転角度を用いて、顔の距離の推定を実行してオートフォーカス制御を行う。顔の距離の推定情報を用いることで、フォーカスレンズの動作範囲（Ｒｆ）を小さく設定することが可能となる。

顔検出部２００の構成について、図４を参照して説明する。顔検出部２００は、図４に示すように、プリ処理部２０１、リサイズ処理部２０２、クラス分けおよび画像マッチング処理部２０３、特徴量分析および人物属性分析部２０４、サイズ、位置安定化処理部２０５、同期処理部２０６を有する。

プリ処理部２０１は、デジタル信号処理部１０５から入力する撮影画像フレームから、肌色エリアを抽出したり画像から不要な周波数成分を除去する。リサイズ処理部２０２は、画像フレーム中の様々な顔サイズの調整を行う処理部であり、顔検出部２００において実行されるマッチング処理などに適した規定サイズに変換する。

クラス分けおよび画像マッチング処理部２０３は、顔の方向や属性毎に異なる検出処理を実行するためのクラス分けを行い、予め登録された顔の特徴情報とのマッチング処理を実行する。特徴量分析および人物属性分析部２０４は、顔の特徴点の位置を抽出し、抽出した特徴量に基づいて人物の属性を判定する。なお、属性とは、静止しているならば写真、女性に近い特徴点の配置である場合には女性などと判定する性別判定、顔の目や口の位置から年齢を推定する年齢推定などが含まれる。制御部１２０は、人物属性分析部２０４の判定した属性に基づいて顔サイズの推定を行い、推定した顔サイズを適用した被写体距離算出を実行する。

サイズ、位置安定化処理部２０５は、画像フレームから検出された顔の位置が揺らいだり消えたりすることを防止する安定化処理を実行する。同期処理部２０６は、画面情報と顔情報の検出タイミングを同期させる処理を行う。

なお、顔検出部２００は、撮影された画像フレーム中から取得される顔の形状、位置、サイズ、などの特徴点を、顔検出部２００内に設定されたメモリ、あるいは、図３に示すメモリ１１５〜１１７のいずれかに記録し、特徴量分析および人物属性分析部２０４は、これらの記録された特徴点情報に基づいて人物属性などが判定される。

制御部１２０は、顔検出部２００から顔の検出情報として顔サイズを含む検出情報を入力し、撮像装置１００から検出された顔までの距離の推定を実行し、特定の顔をフォーカスを合わせるフォーカス目標とする目標被写体として設定し、設定した目標被写体を追跡して、その目標被写体に対してフォーカスを合わせるフォーカス制御を行う。

本発明の撮像装置では、撮影される画像データから目的被写体の人物の顔を特定し、その顔による距離推定を実行する。顔検出部２００は、前述したように、撮像装置によって取得される画像データから人物の顔を特定する。制御部１２０は、この顔検出処理によって得られた、顔の大きさなどを用いて、顔の距離の推定を実行してオートフォーカス制御を行う。顔の距離の推定情報を用いることで、フォーカスレンズの動作範囲（Ｒｆ）を小さく設定することが可能となる。

図５に、（ａ）従来のフォーカス制御におけるフォーカスレンズ動作範囲と、（ｂ）本発明に従った顔検出に基づく推定距離情報を適用したフォーカス制御におけるフォーカスレンズ動作範囲を示す。一般的なオートフォーカス制御を行う場合、図５（ａ）に示すように、フォーカスレンズ２５１の動作範囲を至近側リミットから無限側リミットの全範囲に設定し、この範囲でフォーカスレンズ２５１を移動させて、レンズを介して取得された撮像データの特定領域のコントラストの高低を判定する。すなわち、コントラストの高低判定のために特定領域の高周波成分積分値を算出して、これを評価値（ＡＦ評価値）とし、ＡＦ評価値が最大となる位置をフォーカス位置とする。このような処理を行なうと、フォーカスレンズ２５１の動作範囲が大きく、フォーカス制御の実行時間が長くなるという問題がある。

一方、図５（ｂ）本発明に従った顔検出に基づく推定距離情報を適用したフォーカス制御においては、目的被写体としての人物の顔の大きさを判定し、その大きさに基づいて被写体の距離を推定し、この推定情報を適用してフォーカス制御範囲を狭めて迅速なフォーカス制御を実行する。すなわち、図５（ｂ）に示すように、目的被写体としての人物の顔の大きさに基づいて被写体の距離を推定し、この距離（ＤＦ）を中心として、予め設定された誤差範囲を含む領域をフォーカスレンズ２５１の動作範囲（Ｒｆ）として設定し、この動作範囲（Ｒｆ）のみにおいて、フォーカスレンズ２５１を移動させて、コントラストの高低を判定してフォーカス位置を決定する。この処理においては、フォーカスレンズ２５１の動作範囲が狭められ、フォーカス位置の特定に要する時間を短縮することが可能となる。

具体的な顔までの距離の算出手法と、フォーカスレンズの動作範囲（Ｒｆ）の設定手法について説明する。顔の大きさに基づく距離算出方法においては、求めた距離（図５（ｂ）に示す（Ｄｆ））に距離誤差情報を含ませてフォーカスレンズの動作範囲（Ｒｆ）を設定する構成としている。

本発明の撮像装置では、撮像装置によって撮影される画像に含まれる顔の大きさによって顔までの距離を求める。この処理について、図６を参照して説明する。図６には、被写体位置３０１、フォーカスレンズ３０２、撮像素子３０３を示している。被写体位置３０１には人物の顔が存在する。顔の大きさ（顔の幅）はＷｆである。

顔の実際の大きさ（Ｗｆ）が分ればレンズの基本的な物理法則から、顔までの距離、すなわち被写体距離（Ｄｆ）、すなわち、フォーカスレンズ３０２から被写体位置３０１までの被写体距離（Ｄｆ）は以下の式で求めることができる。 Ｄｆ＝Ｗｒｅｆ×（ｆ／Ｗｉ）×（Ｗｗ／Ｗｆ）・・・（式１．１）
上記式における各記号の説明を以下に示す。
人間の顔の大きさ基準値：Ｗｒｅｆ
撮像素子の幅：Ｗｉ
焦点距離：ｆ
撮像画像における人の顔の大きさのピクセル数（撮像素子検出値）：Ｗｆ
人の顔検出に使用した画像の大きさのピクセル数（撮像素子検出値）：Ｗｗ

人間の顔の大きさ基準値（Ｗｒｅｆ）は、予め定めた固定値を利用することができる。なお、この顔大きさ基準値（Ｗｒｅｆ）を、個人差、人種差、年齢差、性別差などを考慮した値に設定した処理を行うことが可能であり、この処理によって、さらに正確な距離推定を実現することが可能となる。

撮像装置は、撮影される画像（スルー画）に基づいて、上述の式（式１．１）を適用して被写体距離（Ｄｆ）を算出し、算出した被写体距離（Ｄｆ）を中心として、あらかじめ設定した誤差範囲を含めてフォーカスレンズの動作範囲（Ｒｆ）を設定する。

仮に顔の大きさから求めた誤差がゼロというモデルを想定すると、この位置にフォーカスレンズを移動させた時にピントが外れる要因は、各種デバイスの個体差、製造における誤差に限定される。すなわちこれらの誤差を調整によって除去することができれば、原理的には、山登りＡＦや特定範囲サーチＡＦを用いずとも、顔の大きさだけで良好なピントの画像が得られることになる。

しかしながら、実際はそれらの誤差を完全に除去することはできない。具体的には、焦点距離方向に非線系なピント移動、デバイスの温度特性によるピント位置の移動、各種のデバイス間に存在するヒステリシスによるものである。それらの大きさを、ズームの位置、フォーカスの位置ごとにデータテーブルとして持ち、テーブル間のデータを線形補完する形で、誤差範囲を至近側にσｎ，無限側にσｆとして設定すると、フォーカスレンズの動作範囲（Ｒｆ）は、顔までの距離を：Ｄｆとしたときに、
Ｒｆ＝Ｄｆ−σｎ〜Ｄｆ＋σｆ・・・（式１．２）
として設定される。すなわち、図７に示すようにフォーカスレンズ３０２の動作範囲（Ｒｆ）が設定される。

したがって、例えばコントラスト判定に基づくフォーカス制御の１つの手法である山登り方でコントラスト信号の最大値を探すべき範囲は動作範囲（Ｒｆ）として設定することができ、シャッターを押された時にサーチすべき範囲の最大値も上記範囲として設定可能となり、従来と比較して短い距離のレンズ移動範囲が設定されて短時間でのフォーカス制御が可能となる。

制御部１２０の実行するフォーカス制御構成について図８を参照して説明する。制御部１２０は動画フレームから検出された特定の顔に対してフォーカスを合わせる処理を行う。この処理はメモリ（ＲＯＭ）１１６に記録されたプログラムにしたがって実行されることになる。図８は、このフォーカス制御処理において実行する処理を区分してブロックとして示したブロック図である。

フォーカス制御処理は、図８に示すように検波枠設定部３５１、評価値算出部３５２、オートフォーカス（ＡＦ）モード決定部３５３、距離推定部３５４、フォーカス方向判定部３５５、減速・加速条件判断部３５６を用いた処理として実行される。なお、これら図８に示す各構成部は、制御部１２０において実行される処理を説明するために区分して示すものでありこれら各処理を実行するハードウェアが存在する必要はなく、これらの処理をプログラムに従って実行可能な構成であればよい。

検波枠設定部３５１は、画像フレームに検出され、フォーカス目標として選択した顔領域に対して測距エリアとしての検波枠設定を行う。評価値算出部３５２は、検波枠設定部３５１の設定した検波枠内で得られるＡＦ評価値、すなわち先に図１等を参照して説明した画像のコントラスト強度に対応するＡＦ評価値を算出する。

オートフォーカス（ＡＦ）モード決定部３５３は、評価値算出部３５２の算出する評価値に基づいて撮像装置の実行するオートフォーカスモードを決定する。この処理については後述する。

距離推定部３５４は、フォーカス目標として選択した顔領域に含まれる顔のサイズを適用した距離推定処理を行う。この処理は、図６を参照して説明した処理に相当する。フォーカス方向判定部３５５は、距離推定部３５４の算出した推定距離情報を利用してフォーカスの方向を判定する。減速・加速条件判断部３５６は、同様に、距離推定部３５４の算出した推定距離情報を利用してＡＦ時の制御スピード、例えばフォーカスレンズの移動速度などを調整する。

検波枠設定部３５１の設定した検波枠内で得られるＡＦ評価値の算出を行う評価値算出部３５２の処理について、図９を参照して説明する。前述したように、オートフォーカス制御の基本的な処理として、図１を参照して説明した山登りに手法がある。民生用のビデオカメラのオートフォーカス（ＡＦ）制御には、撮像素子から得られる映像のコントラスト情報に基づいてフォーカスをあわせるパッシブ型のコントラスト抽出ＡＦという方式が一般的に用いられている。コントラスト抽出ＡＦは、撮像映像の高周波を抽出するデジタルフィルタ（バンドパスフィルタ）の出力に基づいて、コントラストを最大化する方向にレンズの動作方向を算出する事で、ピントが合う位置を制御する。

すなわち、フォーカスレンズを複数の位置へと動かしながら複数枚の画像を取得し、各画像の輝度信号に対しハイパスフィルタに代表されるフィルタ処理をすることにより、各画像のコントラスト強度を示すＡＦ評価値を得る。フィルタには、撮像領域に設けられた焦点検出エリア内の撮像信号に基づいて、画像の先鋭度と合致した所定帯域の複数の高周波成分を抽出する。具体的には、ボケ状態からのＡＦの速度やボケ状態でも抽出可能な第一の高周波成分Ｆａと、ピントがあった状態に近い状態でのみ値が得られる第二の高周波成分Ｆｈを持つ。

この値（ＦａおよびＦｈ）自体の大きさと、およびその比（Ｆｈ／Ｆａ）を最大化する制御を行うが、ノイズによる誤動作を低減するためにこの値から、簡便な手法としては画面全体の高周波成分を加算（積分）した全積分値から、比例して計算されるノイズ量であるコアリング値を差し引いた値を最大化する事で、ノイズや主要被写体以外の被写体を避けて、コントラストを最大化し、確実にピントをあわせる事が出来ることになる。

従来のビデオカメラにおけるＡＦ評価値としてのＦ検波値の算出は、全積分値として画面のほぼ全域のデータを使い、以下の式によって算出するのが一般的である。
Ｆ検波値＝Ｆｈ（あるいはＦａ）−α×全積分値；

しかし、本発明の撮像装置では、フォーカスを合わせるフォーカス目標としての顔を特定し、この特定の顔を含む顔領域の高周波成分の積分値を区別して、その以下の式に従って、フォーカス目標としての顔に対応するＡＦ評価値としての［Ｆ検波値＿ｆａｃｅ］を算出する。
Ｆ検波値＿ｆａｃｅ＝Ｆｈ（あるいはＦａ）−α１×全積分値（画面全体の平均）
−α２×全積分値（顔の存在するエリアのみ）
上記式に含まれるα１およびα２はノイズ成分としてのコアリング値であり、顔を検出した際に滑らかに切り替える。

フォーカス制御の処理について図９を参照して説明する。図９は、先に図１を参照して説明したと同様、横軸がフォーカスレンズの位置、縦軸が、コントラスト強度に対応する検波値（ＡＦ評価値）に相当する。フォーカス制御処理においては、図９に示すように、
（ａ）大ボケ状態から、高周波検波値の最大ポイントである山の頂点を検出するまでフォーカスレンズを制御する山登りモード４００、
（ｂ）コントラスト量の指標である検波値焦点付近で、検波値のハンチングにより高精度に検波値の山を目指して前後運動を繰り返すハンチングモード４０２、
これらの各モードの切り替え制御が行われ、また、
（ｃ）ハンチング時およびフォーカス頂点近傍時にはレンズを前後にふることで焦点検出方向へ向かうウォブリングモード４０１、
を適用する。
ウォブリングモード４０１の実行期間においてピークが一定の範囲内にあり続けた場合には、停止状態にはいり、検波値の変動があるまでＡＦは待機状態に入る。待機された状態から、復帰する際には、再起動をすると表現される評価モードに入る。

図８に示すＡＦモード決定部３５３は、このように評価値算出部３５２の算出する評価値に基づいて撮像装置の実行するオートフォーカスモードを決定して、適宜モード切り替えを行う。

なお、焦点が検出されたことの判定条件には、前述した
（１）ボケ状態からのＡＦの速度やボケ状態でも抽出可能な第一の高周波成分Ｆａ、
（２）ピントがあった状態に近い状態でのみ値が得られる第二の高周波成分Ｆｈ、
これらの比率である［Ｆｈ／Ｆａ］が十分大きく、検波値が照度によって異なるノイズ量に対して十分大きなコントラスト値を持つ事（Ｆｈが十分大きいこと）を持って判定する。

なお、フォーカス位置は、簡便には、実効的に下記の通りに表される。
新規フォーカス位置［ｆｃ＿ｎｅｗ］は、現在のフォーカス位置［ｆｃ＿ｐｏｓ］に、ふらつきづらくするために安定して一方向に進みやすく制御されたフォーカスの進行方向［ｆｃ＿ｄｉｒ］と、フォーカスのその方向に対して進むべき確からしさや動作モード、検波値の増加量によって制御されたフォーカス速度である［ｆｃ＿ｓｐｄ］、ウォブリングによるレンズ振動である［ｆｃ＿ｗｏｂ］を利用した下式、
ｆｃ＿ｎｅｗ＝ｆｃ＿ｐｏｓ＋ｆｃ＿ｓｐｄ×ｆｃ＿ｄｉｒ（＝１ｏｒ−１）＋−ｆｃ＿ｗｏｂ
となる。

検波値の増加量によって制御されたフォーカス速度［ｆｃ＿ｓｐｄ］が小さく（あるいは０）、かつ、ウォブリングによるレンズ振動である［ｆｃ＿ｗｏｂ］が大きい時にはウォブリングがフォーカスの方向とスピードを決める主体となり、［ｆｃ＿ｓｐｄ］が大きく、［ｆｃ＿ｗｏｂ］が小さい時には、山登りがフォーカスの方向とスピードを決める主体となる。

なお、図１０に示すように、ウォブリングによるレンズ振動である［ｆｃ＿ｗｏｂ］は、画面の露光周期に同期を取り加減が繰り返される。図１０（ａ）は、横軸を時間軸（ｔ）として、撮像装置において取得される画像フレームｔ１，４１１−ｔ１〜画像フレームｔ３，４１３−ｔ３を示している。各画像フレームには顔検出部によって子検出されたフォーカス目標とする顔領域を含む顔枠４１２が設定されている。

図１０（ｂ）は、ウォブリング処理シーケンスを示し、予後軸が図１０（ａ）と同じ時間軸（ｔ）である。ウォブリングによるレンズ振動である［ｆｃ＿ｗｏｂ］は、至近側と望遠側でフォーカスレンズを振動させる処理として実行され、図に示す例では、［＋ｆｃ＿ｗｏｂ］と［−ｆｃ＿ｗｏｂ］間で周期的にレンズの振動を行わせており、顔枠４１２中央位置の露光タイミングをウォブリングの同期処理に適用している。すなわち、各フレームにおいて、顔枠４１２中央位置の露光タイミングをウォブリング処理における＋側の設定区間の中心、−側の設定区間の中心になるようにウォブリング制御を行っている。

図８に示すＡＦモード決定部３５３は、図９、図１０を参照して説明したように、
（ａ）大ボケ状態から、高周波検波値の最大ポイントである山の頂点を検出するまでフォーカスレンズを制御する山登りモード、
（ｂ）コントラスト量の指標である検波値焦点付近で、検波値のハンチングにより高精度に検波値の山を目指して前後運動を繰り返すハンチングモード、
（ｃ）ハンチング時およびフォーカス頂点近傍時にはレンズを前後にふる事で焦点検出方向へ向かうウォブリングモード、
これらのモードの切り替え制御を行う。すなわち、評価値算出部３５２の算出する評価値に基づいて撮像装置の実行するオートフォーカスモードを決定して、適宜モード切り替えを行う。

なお、例えば図１１に示すような画像フレーム４１１において、顔枠４１２とフォーカスの評価量、すなわち、
（１）ボケ状態からのＡＦの速度やボケ状態でも抽出可能な第一の高周波成分Ｆａ、
（２）ピントがあった状態に近い状態でのみ値が得られる第二の高周波成分Ｆｈ、
これらのＦｈ，Ｆａを検出する検波枠を一致させた場合、顔枠４１２を設定して実行する検波処理は、グローバルシャッターのＣＣＤを用いた場合には、検波値とフォーカスレンズの実位置と検波値のタイミングを合わせる事でＡＦ処理を正しく行うことが出来るが、ＣＭＯＳなどのローリングシャッタ方式の撮像素子を用いる場合には、顔の検波枠の中心位置が読み出されるタイミングが、顔の中心位置の検波タイミングとなるので、検波タイミングと検波位置の補正が必要である。

具体的には、図１０（ｂ）に示すウォブリングの中心位置４２１に相当するフォーカス位置の設定タイミングを、顔枠４１２の中心位置をＬｆａｃｅとし、画面の上端をＬｔｏｐ、画面の下端をＬｂｏｔｔｏｍとし（Ｌｂｏｔｏｍ＞Ｌｔｏｐ）、図１０（ａ）に示すようにシャッターサイクル［ｓｈｕｔ＿ｃｙｃｌｅ］４１５として、露光タイミングの補正をウォブリングの位相に対してかける必要がある。すなわち、
Ｗｏｂ＿ｃｅｎｔｅｒ＿ｎｅｗ＝Ｗｏｂ＿ｃｅｎｔｅｒ＋｛Ｌｆａｃｅ−（Ｌｔｏｐ＋Ｌｂｏｔｔｏｍ）／２｝／（Ｌｔｏｐ−Ｌｂｏｔｔｏｍ）×ｓｈｕｔ＿ｃｙｃｌｅ
このように、ウォブリングのタイミングを制御することが好ましい。

なお、測距エリアとして設定する検波枠は、図１１に示すように、コアリング値を算出するための画面全体の画面全枠４３１と、中央被写体を抽出する中央枠４３５の最低２枠がある。各枠の検波値は常に算出しており、顔を含む枠である顔枠４１２があるが、こちらはコントラスト量を抽出する枠として利用しても良いし、しなくても構わない。

なお、カメラには、図１を参照して説明したようにビューファインダ（ＥＶＦ）１０７とともに、液晶パネルを用いたビデオ画面を表示するモニタ１０６があり、カメラの撮像結果が撮影中に確認できると共に、メニュー操作によって、顔を優先としたＡＦを用いるか、画面中央部の被写体を優先する従来のＡＦを用いるかを選択可能な構成とすることが好ましい。

例えば、図１２に示すようなユーザインタフェースをモニタ１０６に出力し、顔認識ＯＮ（枠あり）選択部４７１をユーザが選択した場合には、顔認識機能を動作させて顔の認識エリアに顔枠を表示する。顔認識ＯＮ（枠なし）選択部４７２をユーザが選択した場合には、顔認識を動作させて顔の認識エリアを表示しない。顔認識ＯＦＦ選択部４７３をユーザが選択した場合には、顔認識ＡＦを用いず、従来の中央重点方式を用いるなどの制御を制御部１２０の制御の下で実行する。

なお、動画撮影においては、一般的に画面の中央部分の被写体を優先する中央優先ＡＦが利用されており、プロの撮影においては被写体を意図的に選択する必要からマニュアルフォーカス（ＭＦ）が一般的に利用されている。顔を優先する撮影が、一般的には多いが、被写体のどこを強調するべきかについては撮影者の意図に依存する。そのため、常に顔優先にするわけにはいかず、顔優先はＯＮ／ＯＦＦが可能である構成とすることが好ましい。

次に、図８に示す距離推定部３５４の処理について説明する。本発明の撮像装置では、距離推定部３５４において、撮影画像顔から検出部の検出した顔の大きさ（顔サイズ）を適用して顔までの距離を求める。この処理の基本的な構成は、先に図６を参照して説明したとおりである。

ここで、顔サイズに基づく被写体までの距離の推定処理について、さらに詳細に説明する、顔サイズに基づく被写体までの距離の推定処理の基本的な考え方は、
画像フレームに含まれる顔が小さい場合は、その顔までの距離は遠く、
画像フレームに含まれる顔が大きい場合は、その顔までの距離が近い、
とするものである。

先に図６を参照して説明したように、顔の実際の大きさ（Ｗｆ）が分ればレンズの基本的な物理法則から、顔までの距離、すなわち図６に示す被写体距離（Ｄｆ）、すなわち、フォーカスレンズ３０２から被写体位置３０１までの被写体距離（Ｄｆ）は以下の式で求めることができる。 Ｄｆ＝Ｗｒｅｆ×（ｆ／Ｗｉ）×（Ｗｗ／Ｗｆ）
人間の顔の大きさ基準値：Ｗｒｅｆ
撮像素子の幅：Ｗｉ
焦点距離：ｆ
撮像画像における人の顔の大きさのピクセル数（撮像素子検出値）：Ｗｆ
人の顔検出に使用した画像の大きさのピクセル数（撮像素子検出値）：Ｗｗ

仮に顔の大きさから求めた誤差がゼロというモデルを想定すると、この位置にフォーカスレンズを移動させた時にピントが合うことになる。しかしながら、咲きに図７を参照して説明したように、様々な誤差要因を考慮して、誤差範囲を至近側にσｎ，無限側にσｆとして設定し、フォーカスレンズの動作範囲（Ｒｆ）を、顔までの距離を：Ｄｆとしたときに、
Ｒｆ＝Ｄｆ−σｎ〜Ｄｆ＋σｆ・・・（式１．２）
として設定するという処理が行われる。

フォーカスレンズの動作範囲（Ｒｆ）を決定する誤差要因としては、前述したように、デバイスの温度特性によるピント位置の移動、各種のデバイス間に存在するヒステリシスなどもあるが、顔サイズ（Ｗｒｅｆ）に基づく距離（Ｄｆ）算出式、すなわち、
Ｄｆ＝Ｗｒｅｆ×（ｆ／Ｗｉ）×（Ｗｗ／Ｗｆ）
上記式において、顔サイズ（Ｗｒｅｆ）を１つの標準値として設定することでの誤差を考慮することが必要である。上記式では、人間の顔の大きさ基準値（Ｗｒｅｆ）は、予め定めた固定値を利用しているが、顔の大きさは、人によって様々であり、ある程度の顔サイズの範囲を考慮してフォーカスレンズの動作範囲（Ｒｆ）を決定する構成とすることが好ましい。以下、この処理について説明する。

例えば、画像に含まれる顔の実際の顔サイズ（横幅Ｌ）を［Ｌｒｅａｌ］とする。
しかし、この実際の顔サイズ（横幅Ｌ）を［Ｌｒｅａｌ］を得ることはできないため、予め人の顔のサイズの範囲として、
小さな顔の顔幅を［Ｌｓｍａｌｌ］
大きな顔の顔幅を［Ｌｂｉｇ］
とする。なお、本例では、顔サイズとして顔の横幅［Ｌ］を用いた例を示すが、縦の高さを用いてもよい。

図１３に示すように、撮像装置において撮影される画像の撮像素子上における顔幅をａとすると、実際の顔幅Ｌと顔までの実際の距離ｓと、撮像素子上の画像の顔幅ａと、レンズの焦点距離ｆとの関係は、以下の式で示される。
Ｌ（顔幅）／ｓ（距離）＝ａ（撮像素子上の距離）／ｆ（レンズの焦点距離）
すなわち、被写体までの距離［ｓ］は以下の式で表される。
ｓ＝ｆ×Ｌ／ａ
上記式によって被写体までの距離［ｓ］が算出される。
この式は、先に図６を参照して説明した式（式１．１）に相当する式である。

しかし、ここで、人の顔のサイズの範囲として、
小さな顔の顔幅を［Ｌｓｍａｌｌ］
大きな顔の顔幅を［Ｌｂｉｇ］
これらの範囲があることを考慮すると、
小さな顔の人である場合の被写体までの距離［ｓ＿ｓｍａｌｌ］は、
ｓ＿ｓｍａｌｌ＝ｆ×Ｌｓｍａｌｌ／ａ
大きな顔の人である場合の被写体までの距離［ｓ＿ｂｉｇ］は、
ｓ＿ｂｉｇ＝ｆ×Ｌｂｉｇ／ａ
となり、被写体までの距離としては、
［ｓ＿ｓｍａｌｌ］〜［ｓ＿ｂｉｇ］
これらの範囲を考慮することが必要であると判断される。

実際に撮影された人の顔の幅を［Ｌｒｅａｌ］に対応する実際の距離［ｓ＿ｒｅａｌ］は、
ｓ＿ｓｍａｌｌ＜＝ｓ＿ｒｅａｌ＜＝ｓ＿ｂｉｇ
となる。

従って、
距離［ｓ＿ｓｍａｌｌ］を望遠側のフォーカス予測位置、
距離［ｓ＿ｂｉｇ］を至近側のフォーカス予測位置、
として設定して、フォーカスレンズの動作範囲を決定することが好ましいことになる。

フォーカスレンズを移動させてフォーカス制御を行う場合のフォーカスレンズの動作範囲として至近側を［Ｆｃ＿ｎｅａｒ］，望遠側を［Ｆｃ＿ｆａｒ］とした場合、
Ｆｃ＿ｎｅａｒ＞Ｆｃ＿ｆａｒの関係があり、
距離からフォーカス位置を求める関数をＦｃ（ｓ）とすると、
Ｆｃ＿ｎｅａｒ＞＝Ｆｃ（ｓ＿ｂｉｇ）＞Ｆｃ（ｓ＿ｓｍａｌｌ）＞＝Ｆｃ＿ｆａｒ
となる。

ここで、フォーカスレンズの動作範囲として設定する新たな区間の設定データ、すなわち、
至近側リミット［Ｆｃ＿ｎｅａｒ＿ｎｅｗ］，
望遠側稼動リミット［Ｆｃ＿ｆａｒ＿ｎｅｗ］
これらの２点は、以下の式によって算出することができる。
Ｆｃ＿ｎｅａｒ＿ｎｅｗ＝ＭＡＸ（ＭＩＮ（Ｆｃ＿ｎｅａｒ，Ｆｃ（ｓ＿ｂｉｇ），Ｆｃ＿ｆａｒ）
Ｆｃ＿ｆａｒ＿ｎｅｗ＝ＭＩＮ（ＭＡＸ（Ｆｃ＿ｆａｒ，Ｆｃ（ｓ＿ｓｍａｌｌ）），Ｆｃ＿ｎｅａｒ）

このように、
至近側リミット［Ｆｃ＿ｎｅａｒ＿ｎｅｗ］〜望遠側稼動リミット［Ｆｃ＿ｆａｒ＿ｎｅｗ］
上記範囲をフォーカスレンズの稼動範囲として再設定することで、フォーカス目標として選択された顔に対しての距離推定動画ＡＦが実現される。図１４に示すような至近側稼動リミット［Ｆｃ＿ｎｅａｒ＿ｎｅｗ］〜望遠側稼動リミット［Ｆｃ＿ｆａｒ＿ｎｅｗ］が設定される。すなわち、小さい顔（１０ｃｍ程度を暫定で設定）の推定距離で、望遠側リミット［Ｆｃ＿ｆａｒ＿ｎｅｗ］を設定し、大きい顔（３０ｃｍ程度を暫定で設定）の推定距離で、至近側リミット［Ｆｃ＿ｎｅａｒ＿ｎｅｗ］を設定してフォーカスレンズの移動範囲を制限し、これらのリミット範囲でフォーカスレンズを移動させ、リミット付近では、ＡＦ動作スピードを落とすといった制御でオートフォーカス処理を実行する。

なお、より正しい顔サイズデータが得られれば正しい距離情報が得られることになり、検出された顔の特徴情報に基づいて推定される顔の属性、例えば大人であるか子供であるか、あるいは年代、性別などの顔属性を利用して、顔サイズの範囲をより限定する構成とすることが好ましい。

また、被写体までの距離を推定して、フォーカスレンズの稼動範囲を決定する場合、その他の誤差要因も考慮した設定とすることが好ましい。例えば被写界深度を考慮して決定することが好ましい。任意の距離の被写体に焦点を合わせたとき、被写界深度の前端と後端があり、大きな顔Ｌｂｉｇで推定した距離に対して焦点深度分、近づけた位置（Ｎｅａｒ側）にフォーカスのリミット位置を設定し、小さな顔Ｌｓｍａｌｌで推定した距離に対して焦点深度分、遠ざけた位置（Ｆａｒ側）にリミットを設定するという処理である。

一般に被写界深度は焦点距離、絞り、許容錯乱円の大きさに依存し、具体的には次のように計算される。被写体にピントを合わせたとき無限遠が焦点深度の後端ぎりぎりに入るような距離（これを過焦点距離と呼ぶ）を計算する。
過焦点距離をＨ、
レンズの焦点距離をｆ、
レンズの絞り値をＮ、
許容錯乱円の直径をｃ
とすると、その関係は、
Ｈ＝ｆ^２／Ｎｃ
となる。

つぎに、任意の距離の被写体に焦点を合わせたときの被写界深度の前端と後端をそれぞれ計算する。
被写体の距離をｓ、大きな顔Ｌｂｉｇで推定した距離に対して焦点深度分、近づけた位置（Ｎｅａｒ側）にフォーカスのリミット位置をＤｎ（ｓ）、小さな顔Ｌｓｍａｌｌで推定した距離に対して焦点深度分、遠ざけた位置（Ｆａｒ側）にリミット位置をＤｆ（ｓ）とすると、
Ｄｎ（ｓ）＝ｓ（Ｈ−ｆ）／（Ｈ＋ｓ−２ｆ）
Ｄｆ（ｓ）＝ｓ（Ｈ−ｆ）／（Ｈ−ｓ）
となる。

被写体の顔の横の長さをＬとして、長さ自体の誤差をΔＬとすると、ｍｉｎ Ｄｎ（ｓ）からｍａｘ Ｄｆ（ｓ）を、フォーカスリミット範囲とし、さらにマージンをとりフォーカスの稼動範囲を決める処理を行うことが好ましい。例えば、成長後の大人の顔をベースに距離推定を行い、距離の誤差マージンを顔が小さい側にマージンを持つことが必要であり、その状態で距離を推定する構成とすることが可能である。

図８に示す距離推定部３５４は、このような手法によってフォーカスレンズの駆動範囲を設定し、この設定範囲で、フォーカス方向判定部３５５、減速・加速条件判断部３５６の決定した各種条件に基づいてフォーカスレンズの制御が行われ、特定の被写体の顔に対する合焦を維持するためのフォーカス制御が実行される。

なお、撮像装置において撮影された画像に複数の顔が含まれる場合、フォーカス対象とする顔（主要被写体）を選択することが必要となる。
主要被写体は、例えば、顔の大きさ、顔の中心からの近さ、以前検出対象となったかなどの情報に基づいて選択される。静止画と異なり、小さな顔が主要被写体である機会は少なく、より大きい顔が主要被写体であることが多いため、中央重点ＡＦと併用し、顔が十分大きいもののみ、主要被写体顔として、検波対象として選択する。

具体的な、顔の優先順位の設定処理例について説明する。
顔の優先順位設定スコア［Ｐ］を下式に基づいて算出する。
Ｐ＝［顔の大きさ］×［Ｗｉ］＋［顔の画像中心からの距離］×［Ｗｊ］＋［顔が前回主要被写体として検出されたかどうかによる加点：Ｓ］
上記式に従って、各顔の優先順位設定スコア［Ｐ］を算出する。
Ｗｉ，Ｗｊは、
［顔の大きさ］、［顔の画像中心からの距離］に対応する重みパラメータである。

上記式によって算出したスコアの高い顔をフォーカス目的とする被写体の顔として選択する。なお、動画像においては、各フレーム、あるいは所定間隔のフレーム毎にスコアの算出を実行して、算出スコアによって優先被写体を切り替えることが必要となる。この場合、
［顔が前回主要被写体として検出されたかどうかによる加点：Ｓ］と、［顔の大きさ］に対応する重みパラメータ［Ｗｉ］を十分大きくとることで、安定した処理が可能となる。

なお、制御部１２０では、顔の推定距離を元に、被写体の重要度、登場時間などを管理する。管理される対象としては、以下の様なものが考えられる。
顔ＩＤ、顔の幅、顔の推定距離、被写体の重要度（スコア）、主要顔としての登場時間、登場時間、登場頻度、
これらのデータである。

図８に示すフォーカス方向判定部３５５、減速・加速条件判断部３５６は、距離推定部３５４において設定されたフォーカスレンズの駆動範囲内でフォーカスレンズの制御を行い、特定の被写体に対する合焦を維持するためのフォーカス制御、すなわち、主要被写体追尾を行うためのデータを生成する。以下、主要被写体追尾アルゴリズムの複数のアルゴリズム例について説明する。

第１アルゴリズム
第１アルゴリズムは、主要顔の連続性を重要視する主要被写体追尾アルゴリズムである。
前述の顔の優先順位設定スコア［Ｐ］が最も大きな顔を主要被写体として選択し、図１５に示すような画像フレーム５００が得られている場合、画面全枠５０１の中央に設定される中央枠５０２を含む顔枠５１１のみをフォーカス対象とする顔領域として採用する。中央枠５０２を含まない顔枠５１２は採用しない。

なお、中央枠５０２から顔枠の一部が外れても、また顔のサイズが仮に小さくなったとしても顔を追尾する。顔枠が中央枠５０２から完全に外れた時点で、再度顔の検索を開始し、中央枠５０２に重なり領域を持つ顔枠の中で最も大きな顔を被写体として追尾する。顔を見失った場合には、通常の中央枠５０２をフォーカス対象領域として利用する。

第２アルゴリズム
第２アルゴリズムは、主要顔としての登場時間を重要視する主要被写体追尾アルゴリズムである。
図１５に示す例において、中央枠５０２に顔枠の一部を含む最も大きな顔を主要被写体として選択する。中央枠５０２から顔枠の一部が外れるか、あるいはより主要顔として登録された時間が長い顔が中央枠に登場するまで顔の追尾をする。登場した最長時間主要被写体であり続けた顔を追尾する。

第３アルゴリズム
第３アルゴリズムは、主要顔を追跡することを中央優先と組み合わせて簡便に行う主要被写体追尾アルゴリズムである。
このアルゴリズムは、単純に、中央優先でのオートフォーカス（ＡＦ）を行い、顔が中央枠５０２内で一定のサイズ以上で登場した際に、顔を追尾し、中央枠により大きい顔が現れた場合には、そちらを顔の追尾対象として認識する。

図８に示すフォーカス方向判定部３５５、減速・加速条件判断部３５６は、例えば上記のアルゴリズムのいずれかに従った主要被写体追尾を行うための制御データを生成する。なおこの主要被写体追尾を行うための制御データの生成処理に際しては、距離推定部３５４において設定されたフォーカスレンズの駆動範囲内でのフォーカスレンズの制御を行うという条件に従ったデータ生成が行われる。

以下、本発明の撮像装置において実行するフォーカス制御に関する処理シーケンスについて、図１６〜図１９に示すフローチャートを参照して説明する。
まず、フローチャートの説明の前に本発明の撮像装置において実行するフォーカス制御の特徴についてまとめて説明する。本発明の撮像装置では、動画撮影フレームから特定の被写体の顔を検出し、その顔に対する焦点合わせを維持するようにフォーカス制御を行う。この処理において、コントラスト強度測定に基づくフォーカスポイントの探索を行うとともに、検出された顔の顔サイズを利用したカメラから顔までの距離の推定情報を適用して、フォーカスレンズの移動範囲に制限（リミット）を設定して高速なフォーカスポイントの決定を可能にしているものである。

顔サイズに基づく距離推定において、正しい距離の推定を行うためには、被写体の顔の実際の正確なサイズ情報を得ることが理想であるが、実際の撮影過程において顔の実サイズを知ることは困難である。従って、顔検出の際に顔画像から得られる特徴情報に基づいて、被写体の顔が、大人であるか子供であるか、あるいは、人形、写真、子供、幼児などであるかなど、あるいは年齢を推定して、その推定情報に対応して撮像装置に登録された顔サイズ情報を用いる構成とすることが好ましい。一般ユーザがビデオカメラを利用する場合、幼児や子供の撮影を行う場合が多く、被写体を幼児とする場合は、検出された顔の特徴情報に基づいて幼児であることを判定し小さい顔サイズ情報を適用して顔までの距離推定を行うことが好ましい。

なお、年齢のみならず、人間であるかどうか自体を被写体の動きから判定する構成として、実際の人物とそれ以外の顔情報を判別し、実際の人物のみをフォーカス対象として選定する構成としてもよい。人間の顔であることの判定処理としては、例えば、顔のパーツの動きを検出し、一定時間静止していない場合に人間の顔であると判断する構成などが適用できる。

なお、本発明の撮像装置では、コントラスト強度測定に基づくフォーカスポイントの探索を行うとともに、検出された顔の顔サイズを利用してカメラから顔までの距離の推定情報を適用して、フォーカイレンズの移動範囲に制限（リミット）を設定して高速なフォーカスポイントの決定を行う構成としているが、例えば、検波枠におけるコントラスト測定において、ピークが即座に見つからない可能性もあり、この場合、合焦処理が失敗してしまうことになる。

この問題を解決するため、フォーカス目的とする主要顔に対してフォーカスをあわせにいった場合、顔サイズに基づく推定距離に従って設定したフォーカスレンズの移動範囲として設定したフォーカスリミットの範囲でのピーク検出時間に上限を設定する。また、ピークを見失ってから一定時間でフォーカスリミットの解除を行う構成としてもよい。

また、フォーカスリミットを用いた制御は、フォーカス目的とする顔が、先行フレームにおいて検出済みの被写体距離の近傍にある場合にのみ有効とし、検出済みの被写体距離の近傍にいなくなった場合には、フォーカスリミットを用いた制御を解除する処理を行う構成としてもよい。同様の考え方として、フォーカスの望遠側、至近側の端にリミット内で反転しながら、複数回、繰り返してコントラスト強度に基づく評価値のピーク検出を行い、この処理を行ってもピークが検出されない場合に、設定済みのフォーカスリミットを解除する設定としてもよい。あるいは、徐々にフォーカスリミットの範囲を広げていく構成としてもよい。

一定時間内に十分ピークが求まらない場合（具体的には、顔用の検波設定エリアで、検波値からコアリング値を引いた値において、高周波検波値と、より低い高周波の検波値の比が一定以上である条件が立たない場合）には、フォーカスリミットを解除する。

なお、顔サイズに基づく推定距離に従って設定したフォーカスレンズの移動範囲として設定するフォーカスリミットを解除する機会としては、以下のような機会がある。
顔を見失った場合、
顔の前に別の被写体がさえぎった場合、
顔自体を認識対象とせずにリミットを解除した場合
このような状態が発生した場合である。この際、ピークとして停止した被写体のフォーカスレンズ位置が、顔の距離の推定距離内に入った場合には、再度フォーカスリミットをかける。

特にフォーカス目的とする被写体が動いた場合には多くの注意が必要である。顔を抽出する検波周期が十分でない場合には顔の追従が困難になる。また、顔が十分追従出来た場合でも、ユーザがカメラを操作して例えばパン、チルト、ズームなどの処理を行った場合には追従遅れが発生する可能性が多角なる。さらに、顔枠が画面中央部に無いと、ズーミング中に顔がフレームアウトする場合もあり、ズーム中や、パン、チルトの動作中は、顔サイズに基づいて設定したフォーカスリミットの範囲を解除するのが好ましい。

例えば、制御部が、画面の動きベクトル、手ブレ補正用の加速度（ジャイロ）センサー、顔検波枠の動き自身、ズームレバーの操作情報などを入力し、これらの入力に応じて顔サイズに基づいて設定したフォーカスリミットの範囲を解除、あるいはリミットを緩める処理を行う。

顔検波枠、すなわち顔領域に対応する検波値（ＡＦ評価値）の取得領域として設定した顔枠の動き情報を制御部が入力して、この動きが規定値（閾値）以上である場合のフォーカスリミットの解除処理例について説明する。

制御部１２０は、例えば入力フレームについて予め設定された一定期間の顔枠（検波枠）の移動量平均と、顔枠のサイズとの比［顔枠移動量平均／顔枠サイズ］を算出し、この算出値と予め設定した閾値［Ｍｖ＿ｔｈ］と比較する。すなわち、予め設定した一定期間内のフレーム区間において、
移動量平均／顔の検波枠のサイズ＜Ｍｖ＿ｔｈ
上記式を満足する場合は、顔サイズに基づいて設定したフォーカスリミットを継続して利用するが、上記式を満足しなくなった場合は、フォーカスリミットを解除する、あるいはリミットを緩める処理を行う。

同様に、制御部１２０は、ズーム処理や、パン、チルト処理の発生を、操作部や、手ブレ補正ジャイロなどの入力に基づいて判定し、これらの操作が行われた場合には、フォーカスのリミット解除処理、あるいはリミットを緩める処理を行う。

なお、動画撮影においては、顔サイズは変動するため、制御部では、検波値を取得するための顔枠サイズについても、顔サイズに応じて変更し、さらに、検波値についても顔枠の大きさを考慮して評価する。また、検波枠から得られる距離情報は、顔のサイズ変化をローパスフィルターにて平滑化した値を中心値として推定する。顔サイズの推定エラーである顔枠の揺らぎは、数Ｖ（Ｖ＝６０Ｈｚ〜５０Ｈｚ）具体的には４Ｖ程度の過去の時間での小さい方のサイズでの推定距離（望遠側Ｆ１と至近側Ｎ１のリミットがある）で至近側のリミット位置を、大きい側の推定距離で望遠側のリミット位置を推定して、リミット稼動範囲を狭めることで、安定しない対象に対してリミットの収束を高める構成としてもよい。

図１６に示すフローチャートを参照して、フォーカス対象の被写体の顔を含む顔枠、すなわち、測距エリアとして設定される顔枠の初期設定に際して実行する処理のシーケンスについて説明する。なお、図１６に示すフローは制御部１２０の制御の下に実行される。

まず、ステップＳ１０１において、制御部１２０は、顔検出部２００からの顔検出情報を入力し、フレーム内に顔が検出されているか否かを判定する。顔が検出されていない場合、ステップＳ１０２に進み、通常のオートフォーカス処理、すなわち、例えば画面の中央部に設定した中央枠の検波値（ＡＦ評価値）を利用してコントラスト強度に基づくオートフォーカス処理を行う。

一方、ステップＳ１０１において、フレーム内に顔が検出されていると判断されると、ステップＳ１０３に進み、予め設定した規定時間［Ｔｄｉｓｃｏｖｅｒｙ］以上、顔の追尾に成功したか否かを判定し、成功しなかった場合は、ステップＳ１０４に進み、検出された顔に対する顔枠が設定されている場合、顔枠を維持し、中央枠の検波値（ＡＦ評価値）を利用してコントラスト強度に基づくオートフォーカス処理を行う。

一方、ステップＳ１０３において、予め設定した規定時間［Ｔｄｉｓｃｏｖｅｒｙ］以上、顔の追尾に成功したと判断した場合、ステップＳ１０５に進み、検出された顔に対して、顔枠を設定し、これを検波枠（ＡＦ評価値の算出用の枠）とする。さらに、顔サイズに基づく距離推定を実行して、推定距離に基づいて、フォーカスレンズの移動範囲の上下限を狭くするフォーカスリミットを設定する。

すなわち、一般的なコントラスト強度に基づくフオーカスレンズの稼動範囲を、顔サイズに基づく距離推定情報に基づいて、推定距離をほぼ中心とする前後の一定範囲に設定する。すなわち、先に図５（ｂ）を参照して説明したように、目的被写体とした人物の顔の大きさに基づく被写体距離推定情報（ＤＦ）を中心として、予め設定された誤差範囲を含む領域をフォーカスレンズの動作範囲（Ｒｆ）として設定し、この動作範囲（Ｒｆ）のみにおいて、フォーカスレンズを移動させて、コントラストの高低を判定してフォーカス位置を決定する処理を開始する。

ステップＳ１０６では、フォーカス目的として設定した主要顔を固定して追従処理を実行する。なお、主要顔の選択は、先に説明した第１〜第３アルゴリズムのいずれかを適用する。すなわち、
第１アルゴリズム：優先順位設定スコア［Ｐ］が最大で、中央枠を含む顔を主要顔として選択、
第２アルゴリズム：中央枠を含む顔を主要顔として選択するという原則＋主要顔としての登録時間の長いものを優先的に選択、
第３アルゴリズム：中央優先でのオートフォーカス（ＡＦ）を行い、顔が中央枠内で一定のサイズ以上で登場した際、その顔を主要顔として選択、
これらのいずれかのアルゴリズムを実行して主要顔を選択する。

制御部１２０は、このように、一旦、設定した主要顔の追従を実行し、追従が成功している場合は、その主要顔をフォーカス目的とした処理を継続し、追従に失敗した場合に、次の主要顔の選択処理を実行する。

上述のアルゴリズムを実行中、主要顔の追従に失敗するなど、ステップＳ１０７において主要顔の変更条件が発生した場合は、ステップＳ１０８に進み、フォーカス目的とする主要顔を変更し、ステップＳ１０６に戻り、その変更された主要顔をフォーカス目的とした処理を行う。

なお、制御部１２０は、主要顔の追従に失敗するなど主要顔の変更条件が発生した場合はフォーカス目的とする主要顔の変更処理を実行するが、具体的な主要顔の変更条件としては、予め設定した閾値以上の画面または顔枠の動きの検出、または、ズーム、パン、チルトいずれかの操作情報の入力などがある。

すなわち、制御部１２０は、顔検出部２００の検出した顔を利用して算出した被写体距離に基づく設定リミット内でのフォーカス制御の実行期間において、予め設定した閾値以上の画面または顔枠の動きの検出、または、ズーム、パン、チルトいずれかの操作情報の入力を検出した場合、前記リミットの解除、あるいはリミットの緩和処理を行う。

次に、顔サイズに基づいて算出される被写体までの距離情報に基づくフォーカスリミットの設定、解除、フォーカスリミット設定に基づくフォーカス制御処理のシーケンスについて、図１７に示すフローチャートを参照して説明する。なお、図１７に示すフローは制御部１２０の制御の下に実行される。

まず、ステップＳ２０１において、制御部１２０は、主要顔に顔枠が設定されたか否かを判定する。顔枠が設定されていない場合は、ステップＳ２０２に進み、通常のオートフォーカス処理、すなわち、例えば画面の中央部に設定した中央枠の検波値（ＡＦ評価値）を利用してコントラスト強度に基づくオートフォーカス処理を行う。

ステップＳ２０１において、主要顔に顔枠が設定されたと判定すると、ステップＳ２０３に進む。ステップＳ２０３では、顔のサイズから、その顔までの距離の推定を行い、推定結果に基づき、フォーカス範囲に制限（Ｎｅａｒ側リミットＦｃＮｅａｒ，Ｆａｒ側リミットＦｃＦａｒ）をかける。

次にステップＳ２０４において、フォーカスリミットの設定に基づくフォーカス制御の開始と同時に、顔にＡＦがあわせやすい様にコアリング値および減速条件を設定変更する。例えば、図１４を参照して説明したように、小さい顔（１０ｃｍ程度を暫定で設定）の推定距離で、望遠側リミットを設定し、大きい顔（３０ｃｍ程度を暫定で設定）の推定距離で、至近側リミットを設定してフォーカスレンズの移動範囲を制限し、これらのリミット範囲でフォーカスレンズを移動させ、リミット付近では、ＡＦ動作スピードを落とすといった制御でオートフォーカス処理を実行する。

これは、すなわち、先に図５（ｂ）を参照して説明したように、目的被写体とした人物の顔の大きさに基づく被写体距離推定情報（ＤＦ）を中心として、予め設定された誤差範囲を含む領域をフォーカスレンズの動作範囲（Ｒｆ）として設定し、この動作範囲（Ｒｆ）のみにおいて、フォーカスレンズを移動させて、コントラストの高低を判定してフォーカス位置を決定する処理である。

次に、ステップＳ２０５において、フォーカスリミットの設定に基づくフォーカス制御の開始と同時にタイマをスタートして、予め規定した時間［ＴｉｍｅＴｈ］の間フォーカスリミットを維持し、この時間［ＴｉｍｅＴｈ］内に、顔枠から得られる検波値（ＡＦ評価値）が閾値（Ｆｔ）以上になる状態が発生するかを監視する。

ステップＳ２０６では、検波値が閾値（Ｆｔ）以上となり、合焦点近傍と判定されたか否かを判断し、検波値が閾値（Ｆｔ）以上とならず合焦点近傍と判定されなかった場合、ステップＳ２０８に進み、予め規定した時間［ＴｉｍｅＴｈ］の経過後、ステップＳ２０２で設定した顔のサイズに基づく距離推定情報に従って設定したフォーカス範囲制限（Ｎｅａｒ側リミットＦｃＮｅａｒ，Ｆａｒ側リミットＦｃＦａｒ）を解除する。

ステップＳ２０６で、検波値が閾値（Ｆｔ）以上となり、合焦点近傍と判定された場合、顔のサイズに基づく距離推定情報に従って設定したフォーカス範囲制限（Ｎｅａｒ側リミットＦｃＮｅａｒ，Ｆａｒ側リミットＦｃＦａｒ）を維持してフォーカス制御を行い、主要顔の追従を行って、フォーカス制御を継続する。ステップＳ２０７において、ズーム、パン、チルトなどの操作が行われたと判断された場合は、ステップＳ２０８に進み、フォーカスリミットを解除する。

このように、主要顔に顔枠が設定されたとき、顔のサイズから望遠側と至近側の双方にフォーカスの稼動範囲制限をかけて、リミット開始からタイマＴｈをスタートし、解除条件として（１）ズーミング、（２）パン、チルト、および（３）一定時間連続で合焦条件を満たせなくなるまでフォーカスのリミットを設定する。リミット条件が解除されたら、顔が検出され続けている限り顔の再ロック動作に入る。

次に、図１８に示すフローチャートを参照して、顔のサイズに基づく距離推定情報に従って設定するフォーカスリミット、すなわち、フォーカスレンズの移動制限（Ｎｅａｒ側リミットＦｃＮｅａｒ，Ｆａｒ側リミットＦｃＦａｒ）の状態更新処理について説明する。なお、図１８に示すフローは制御部１２０の制御の下に実行される。

まず、ステップＳ３０１において、制御部１２０は、フォーカスリミット解除状態、すなわち、顔のサイズに基づく距離推定情報に従って設定するフォーカスリミットが設定されていない状態にあるか否かを判定する。フォーカスリミットが設定されている状態である場合は、ステップＳ３０２に進み、新規の顔の検出に応じて、その顔をフォーカス目的とする主要顔として、顔サイズに基づく距離推定を実行して、距離推定情報に従ってフォーカスリミット、すなわち、フォーカスレンズの移動制限（Ｎｅａｒ側リミットＦｃＮｅａｒ，Ｆａｒ側リミットＦｃＦａｒ）を設定する。

一方、ステップＳ３０１において、フォーカスリミット解除状態、すなわち、顔のサイズに基づく距離推定情報に従って設定するフォーカスリミットが設定されていない状態にあると判定した場合は、ステップＳ３０３に進み、焦点距離の推定位置に顔枠で合焦条件が発生したか否かを判定する。これは、目的被写体とした人物の顔に対応して設定される顔枠から得られる検波値（ＡＦ評価値）が閾値（Ｆｔ）以上となり、合焦状態となったか否かを判定する処理である。

合焦状態となった場合は、ステップＳ３０５に進み、顔のサイズに基づく距離推定を実行して、距離推定情報に従ってフォーカスリミット、すなわち、フォーカスレンズの移動制限（Ｎｅａｒ側リミットＦｃＮｅａｒ，Ｆａｒ側リミットＦｃＦａｒ）を設定する。

一方、ステップＳ３０３の判定が、合焦状態となっていない判定された場合は、ステップＳ３０４に進み、顔のサイズに基づく距離推定情報によるフォーカスリミットを設定しない通常のフォーカス制御を継続する。

このように、通常のコントラストＡＦを実行した結果、フォーカスの現在位置で合焦条件が発生した時に、顔サイズから推定された距離の範囲に顔があった場合には、顔のサイズに基づく距離推定情報によるフォーカスリミットを設定したフォーカス制御を実行する。なお、フォーカスリミットの利用を開始すると同時に、前述のノイズ抑制量に相当するコアリング値を制御して減らし、ＡＦ減速条件を厳しくし、ＡＦのフラツキを押さえて、合焦しやすい様に制御する。なお、顔サイズによる距離推定がしにくい場合、距離推定エリアにフォーカス位置が到達し、かつ主要被写体が中央部にいた場合には、コアリング値を低下させフォーカス制御の処理速度を落とす処理を行う構成としてもよい。

図１９は、図１８と同様、顔のサイズに基づく距離推定情報に従って設定するフォーカスリミット、すなわち、フォーカスレンズの移動制限（Ｎｅａｒ側リミットＦｃＮｅａｒ，Ｆａｒ側リミットＦｃＦａｒ）の状態更新処理について説明するフローである。

図１８に示すフローとの差異はステップＳ４０１であり、ステップＳ４０２〜Ｓ４０５の処理は、図１８に示すフローのステップＳ３０２〜Ｓ３０５の処理と同様である。本処理例では、ステップＳ４０１において、フォーカスリミット解除状態、すなわち、顔のサイズに基づく距離推定情報に従って設定するフォーカスリミットが設定されていない状態にあるか否かを判定するとともに、顔の追従が行われているか否かについても判定する。すなわち、ステップＳ４０１では、予め取得している顔識別子（ＩＤ）で判別されている特定の顔を追従しており、かつその追従顔がフォーカスリミットの解除前にフォーカスリミットの設定に利用された距離推定のなされた顔であるか否かを判定する。

ステップＳ４０１において、判定がＮｏ、すなわち、フォーカスリミットが設定されている状態である場合、あるいは顔の追従を行っていない場合は、ステップＳ４０２に進み、新規の顔の検出に応じて、その顔をフォーカス目的とする主要顔として、顔サイズに基づく距離推定を実行して、距離推定情報に従ってフォーカスリミット、すなわち、フォーカスレンズの移動制限（Ｎｅａｒ側リミットＦｃＮｅａｒ，Ｆａｒ側リミットＦｃＦａｒ）を設定する。

一方、ステップＳ４０１の判定がＹｅｓの場合は、ステップＳ４０３に進み、焦点距離の推定位置に顔枠で合焦条件が発生したか否かを判定する。これは、目的被写体とした人物の顔に対応して設定される顔枠から得られる検波値（ＡＦ評価値）が閾値（Ｆｔ）以上となり、合焦状態となったか否かを判定する処理である。

合焦状態となった場合は、ステップＳ４０５に進み、顔のサイズに基づく距離推定を実行して、距離推定情報に従ってフォーカスリミット、すなわち、フォーカスレンズの移動制限（Ｎｅａｒ側リミットＦｃＮｅａｒ，Ｆａｒ側リミットＦｃＦａｒ）を設定する。

一方、ステップＳ４０３の判定が、合焦状態となっていない判定された場合は、ステップＳ４０４に進み、顔のサイズに基づく距離推定情報によるフォーカスリミットを設定しない通常のフォーカス制御を継続する。

以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。

また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

以上、説明したように、本発明の一実施例の構成では、撮像装置におけるオートフォーカス処理において、入力画像から顔領域を検出し、検出した顔の大きさに基づいて被写体距離を算出して、算出した被写体距離情報に基づいてフォーカス位置を推定する。さらに、この推定したフォーカス位置に基づいて、フォーカスレンズの全稼動範囲より短いフォーカスレンズ動作範囲を設定し、設定したレンズ動作範囲内において、フォーカスレンズを移動させてフォーカスレンズ設定位置を決定する。本構成によれば、フォーカス制御において移動させるレンズの距離を短く設定することが可能となり、高速なフォーカス制御が実現される。

フォーカス制御におけるレンズ駆動例について説明する図である。 撮像装置における検波枠の設定について説明する図である。 撮像装置のハードウェア構成例について説明する図である。 顔検出部の構成について説明する図である。 （ａ）従来のフォーカス制御におけるフォーカスレンズ動作範囲と、（ｂ）本発明に従った顔検出に基づく推定距離情報を適用したフォーカス制御におけるフォーカスレンズ動作範囲を示す図である。 撮像装置によって撮影される画像に含まれる顔の大きさによって顔までの距離を求める処理について説明する図である。 顔の大きさに基づいて算出した被写体距離情報とフォーカスレンズの動作範囲の設定例について説明する図である。 フォーカス制御構成について説明する図である。 ＡＦ評価値の算出を行う評価値算出部の処理について説明する図である。 ウォブリング処理について説明する図である。 撮像装置における各種の枠の設定について説明する図である。 撮像装置におけるユーザインタフェースの表示例について説明する図である。 顔の大きさに基づく距離推定処理について説明する図である。 顔サイズに基づく距離推定情報を利用した至近側稼動リミット［Ｆｃ＿ｎｅａｒ＿ｎｅｗ］〜望遠側稼動リミット［Ｆｃ＿ｆａｒ＿ｎｅｗ］の設定処理ついて説明する図である。 撮像装置における各種の枠の設定について説明する図である。 フォーカス対象の被写体の顔を含む顔枠、すなわち、測距エリアとして設定される顔枠の初期設定に際して実行する処理のシーケンスについて説明するフローチャートを示す図である。 顔サイズに基づいて算出される被写体までの距離情報に基づくフォーカスリミットの設定、解除、フォーカスリミット設定に基づくフォーカス制御処理のシーケンスについて説明するフローチャートを示す図である。 顔のサイズに基づく距離推定情報に従って設定するフォーカスリミット、すなわち、フォーカスレンズの移動制限（Ｎｅａｒ側リミットＦｃＮｅａｒ，Ｆａｒ側リミットＦｃＦａｒ）の状態更新処理について説明するフローチャートを示す図である。 顔のサイズに基づく距離推定情報に従って設定するフォーカスリミット、すなわち、フォーカスレンズの移動制限（Ｎｅａｒ側リミットＦｃＮｅａｒ，Ｆａｒ側リミットＦｃＦａｒ）の状態更新処理について説明するフローチャートを示す図である。

符号の説明

１０ 画面全枠
２０ 中央枠
３０ 顔枠
１００ 撮像装置
１０１ 撮影レンズ
１０２ 撮像素子
１０３ アナログ信号処理部
１０４ Ａ／Ｄ変換部
１０５ デジタル信号処理部
１０６ モニタ
１０７ ビューファインダ（ＥＶＦ）
１０８ 記録デバイス
１０９ タイミングジェネレータ（ＴＡ）
１１０ モータドライバ
１１４ 操作部
１１５ メモリ（ＥＥＰＲＯＭ）
１１６ メモリ（ＲＯＭ）
１１７ メモリ（ＲＡＭ）
１２０ 制御部
２００ 顔検出部
２０１ プリ処理部
２０２ リサイズ処理部
２０３ クラス分けおよび画像マッチング処理部
２０４ 特徴量分析および人物属性分析部
２０５ サイズ、位置安定化処理部
２０６ 同期処理部
３０１ 被写体位置
３０２ フォーカスレンズ
３０３ 撮像素子
３５１ 検波枠設定部
３５２ 評価値算出部
３５３ オートフォーカス（ＡＦ）モード決定部
３５４ 距離推定部
３５５ フォーカス方向判定部
３５６ 減速・加速条件判断部
４１１ 画像フレーム
４１２ 顔枠
４３１ 画面全枠
４３５ 中央枠
４７１ 顔認識ＯＮ（枠あり）選択部
４７２ 顔認識ＯＮ（枠なし）選択部
４７３ 顔認識ＯＦＦ選択部
５００ 画像フレーム
５０１ 画面全枠
５０２ 中央枠
５１１，５１２ 顔枠

Claims (19)

1. 動画撮影処理を実行する撮像装置であり、
   撮像装置において入力する入力画像から顔領域を検出する顔検出部と、
   顔検出部の検出した顔の顔サイズに基づいて被写体距離を算出し、算出した被写体距離を焦点距離とするフォーカスレンズ位置の前後にフォーカスレンズ動作範囲としてのリミットを設定し、設定リミット内でフォーカスレンズを移動させてフォーカス位置を決定する制御部と、
   を有することを特徴とする撮像装置。
2. 前記制御部は、
   算出した被写体距離を焦点距離とするフォーカスレンズ位置の前後にフォーカスレンズ動作範囲としてのリミットを設定し、設定リミット内でフォーカスレンズを移動させて、前記顔検出部において検出された顔を含む顔枠から得られるコントラスト強度に対応する検波値が予め定めた閾値以上となる合焦ポイントの検出処理を実行し、予め設定した設定時間内に合焦ポイントが検出された場合は、その合焦ポイントにフォーカス位置を決定し、予め設定した設定時間内に合焦ポイントが検出されなかった場合は、前記リミットの解除処理を実行する構成であることを特徴とする請求項１に記載の撮像装置。
3. 前記制御部は、
   予め規定した顔サイズの上限および下限データに基づいて、前記フォーカスレンズ動作範囲としてのリミットとして、
   至近側リミット［Ｆｃ＿ｎｅａｒ＿ｎｅｗ］，
   望遠側稼動リミット［Ｆｃ＿ｆａｒ＿ｎｅｗ］
   これらの２点のリミットを設定し、設定リミット内でフォーカスレンズを移動させてフォーカス位置を決定する処理を実行することを特徴とする請求項１に記載の撮像装置。
4. 前記制御部は、
   前記顔検出部において検出された顔を含む顔枠から得られるコントラスト強度に対応する検波値の測定により、フォーカス位置を決定する構成であることを特徴とする請求項１に記載の撮像装置。
5. 前記制御部は、
   前記設定リミット内でフォーカスレンズを移動させてフォーカス位置を決定する処理の実行時のウォブリング処理の実行タイミングを、前記顔検出部において検出された顔を含む顔枠における検波タイミングに応じて制御する処理を行う構成であることを特徴とする請求項１に記載の撮像装置。
6. 前記制御部は、
   前記顔検出部において検出された顔の、
   （ａ）顔の大きさ、
   （ｂ）顔の画像中心からの距離、
   （ｃ）顔が前回主要被写体として検出されたか否か、
   少なくとも上記（ａ）〜（ｃ）のいずれかの情報を利用したスコアを算出し算出スコアの高い顔をフォーカス目的としての主要顔として選択する処理を実行する構成であることを特徴とする請求項１に記載の撮像装置。
7. 前記制御部は、
   設定した主要顔の追従を実行し、追従に失敗した場合に、次の主要顔の選択処理を実行する構成であることを特徴とする請求項６に記載の撮像装置。
8. 前記制御部は、
   前記顔検出部の検出した顔を利用して算出した被写体距離に基づく設定リミット内でのフォーカス制御の実行期間において、
   予め設定した閾値以上の画面または顔枠の動きの検出、または、ズーム、パン、チルトいずれかの操作情報の入力を検出した場合、前記リミットの解除、あるいはリミットの緩和処理を行う構成であることを特徴とする請求項１に記載の撮像装置。
9. 前記制御部は、
   前記顔検出部の検出した顔の特徴に基づいて人物の属性を判定し、属性に基づいて顔サイズの推定を行い、推定した顔サイズを適用した被写体距離算出を実行することを特徴とする請求項１に記載の撮像装置。
10. 動画撮影処理を実行する撮像装置における撮像装置制御方法であり、
    顔検出部が、撮像装置において入力する入力画像から顔領域を検出する顔検出ステップと、
    制御部が、顔検出部の検出した顔の顔サイズに基づいて被写体距離を算出し、算出した被写体距離を焦点距離とするフォーカスレンズ位置の前後にフォーカスレンズ動作範囲としてのリミットを設定し、設定リミット内でフォーカスレンズを移動させてフォーカス位置を決定する制御ステップと、
    を有することを特徴とする撮像装置制御方法。
11. 前記制御ステップは、
    算出した被写体距離を焦点距離とするフォーカスレンズ位置の前後にフォーカスレンズ動作範囲としてのリミットを設定し、設定リミット内でフォーカスレンズを移動させて、前記顔検出部において検出された顔を含む顔枠から得られるコントラスト強度に対応する検波値が予め定めた閾値以上となる合焦ポイントの検出処理を実行し、予め設定した設定時間内に合焦ポイントが検出された場合は、その合焦ポイントにフォーカス位置を決定し、予め設定した設定時間内に合焦ポイントが検出されなかった場合は、前記リミットの解除処理を実行するステップであることを特徴とする請求項１０に記載の撮像装置制御方法。
12. 前記制御ステップは、
    予め規定した顔サイズの上限および下限データに基づいて、前記フォーカスレンズ動作範囲としてのリミットとして、
    至近側リミット［Ｆｃ＿ｎｅａｒ＿ｎｅｗ］，
    望遠側稼動リミット［Ｆｃ＿ｆａｒ＿ｎｅｗ］
    これらの２点のリミットを設定し、設定リミット内でフォーカスレンズを移動させてフォーカス位置を決定する処理を実行するステップであることを特徴とする請求項１０に記載の撮像装置制御方法。
13. 前記制御ステップは、
    前記顔検出部において検出された顔を含む顔枠から得られるコントラスト強度に対応する検波値の測定により、フォーカス位置を決定するステップであることを特徴とする請求項１０に記載の撮像装置制御方法。
14. 前記制御ステップは、
    前記設定リミット内でフォーカスレンズを移動させてフォーカス位置を決定する処理の実行時のウォブリング処理の実行タイミングを、前記顔検出部において検出された顔を含む顔枠における検波タイミングに応じて制御する処理を行うステップであることを特徴とする請求項１０に記載の撮像装置制御方法。
15. 前記制御ステップは、
    前記顔検出部において検出された顔の、
    （ａ）顔の大きさ、
    （ｂ）顔の画像中心からの距離、
    （ｃ）顔が前回主要被写体として検出されたか否か、
    少なくとも上記（ａ）〜（ｃ）のいずれかの情報を利用したスコアを算出し算出スコアの高い顔をフォーカス目的としての主要顔として選択する処理を実行するステップであることを特徴とする請求項１０に記載の撮像装置制御方法。
16. 前記制御ステップは、
    設定した主要顔の追従を実行し、追従に失敗した場合に、次の主要顔の選択処理を実行するステップであることを特徴とする請求項１５に記載の撮像装置制御方法。
17. 前記制御ステップは、
    前記顔検出部の検出した顔を利用して算出した被写体距離に基づく設定リミット内でのフォーカス制御の実行期間において、
    予め設定した閾値以上の画面または顔枠の動きの検出、または、ズーム、パン、チルトいずれかの操作情報の入力を検出した場合、前記リミットの解除、あるいはリミットの緩和処理を行うステップであることを特徴とする請求項１０に記載の撮像装置制御方法。
18. 前記制御ステップは、
    前記顔検出部の検出した顔の特徴に基づいて人物の属性を判定し、属性に基づいて顔サイズの推定を行い、推定した顔サイズを適用した被写体距離算出を実行するステップであることを特徴とする請求項１０に記載の撮像装置制御方法。
19. 動画撮影処理を実行する撮像装置において撮像装置制御処理を実行させるコンピュータ・プログラムであり、
    顔検出部に、撮像装置において入力する入力画像から顔領域を検出させる顔検出ステップと、
    制御部に、顔検出部の検出した顔の顔サイズに基づいて被写体距離を算出し、算出した被写体距離を焦点距離とするフォーカスレンズ位置の前後にフォーカスレンズ動作範囲としてのリミットを設定し、設定リミット内でフォーカスレンズを移動させてフォーカス位置を決定させる制御ステップと、
    を有することを特徴とするコンピュータ・プログラム。

Images