JP2007328212A - 撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム - Google Patents

Abstract

【課題】効率的で正確なフォーカス制御を行う構成を実現する。
【解決手段】入力画像から顔領域を検出し、検出した顔の大きさに基づいて被写体距離を算出して、算出した被写体距離情報に基づいてフォーカス位置を推定し、短いフォーカスレンズ動作範囲を設定し、その設定範囲でレンズを移動させてフォーカス定位置を決定する。本構成により、移動させるレンズ距離が短くなり、高速なフォーカス制御が可能となる。また、人種、性別、年齢、体格などの被写体情報に基づいて、被写体に応じた顔の大きさの基準値を適用した被写体距離算出処理を実行する構成としたので、被写体に適応したより正確なフォーカス制御が実現される。
【選択図】図１８

Description

本発明は、撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラムに関する。さらに、詳細には、目的とする被写体に対する迅速で正確なオートフォーカス処理を行なうことを可能とした撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラムに関する。

昨今の多くのスチルカメラやビデオカメラなどの撮像装置には、被写体に対するフォーカスを自動的に合わせるオートフォーカス（ＡＦ）機構が搭載されている。さらに、近年、オートフォーカス（ＡＦ）機能を備えたカメラにおいて、画面内の複数のエリアを測距し、その中から最も撮影者に近いもの、画面の中央に近いものといった様々な優先順付けの結果として最適なエリア選び出し、そのエリアに対してピントが合うようにレンズを駆動する機能、いわゆる「マルチＡＦ」、「多点測距ＡＦ」が広く採用されている。この機能を適用することで主要被写体が必ずしも画面の中央に存在しない場合においても、撮影者が特別な操作をすることなしに主要被写体に対する適切なピント合わせが可能となる。なお、オートフォーカス制御構成については、例えば特許文献１に記載がある。

しかし、このようなマルチＡＦや多点測距ＡＦも万能ではなく、特定の構図に対してのみ有効な構成である。一般的なカメラの撮影においては人間が主要被写体になるケースが非常に多いが、撮影画像における人物の位置は多様であり様々な構図がある。そもそも撮像装置における測距エリアが設定されていない位置に目的被写体がいるケースもある。このような場合、マルチＡＦや多点測距ＡＦを適用しても人物に対するフォーカスは適切に行われない。

このような問題を解決するため、撮像装置において画像から顔を認識し、測距エリアを認識された顔の位置に設定することで、どのような構図でも顔にピントを合わせることを可能とした構成が提案されている。例えば、特許文献２にこのような顔認識に基づくフォーカス制御構成が開示されている。この顔認識に基づくフォーカス制御によって様々な構図の撮影において適切なフォーカス制御（ピント合わせ）が可能になる。

しかし、シャッターチャンスを逃さないためには、時間のかかる処理は不適当である。すなわち、単に顔に測距エリアを合わせるだけのＡＦでは不十分であり、ＡＦ高速化に向けた工夫が必要となる。素早くフォーカス制御を行い、シャッターチャンスを逃さないという観点からフォーカス制御処理を提案した構成としては、例えば特許文献３がある。特許文献３では、特定の被写体を認識し追尾しながら測距を実行してフォーカス制御を迅速に実行してシャッターチャンスを逃さない撮影を可能とする装置を提案している。

しかしながら、このような主要被写体を追尾するＡＦにおいては、撮影者にとっての主要被写体は何か？ということが課題になる。この課題の１つの解決手法として、画像から顔を認識して、顔を主要被写体と判定する方法があると考えられる。しかしながら、この方法においては、複数の人物が存在するシーンでは、どの人物を主要被写体に設定するかということが問題となる。

このように、オートフォーカス（ＡＦ）には様々な解決すべき問題があるが、理想的なオートフォーカス（ＡＦ）を実現するために要求される基本的な機能としては、次の３点が最重要項目であると考えられる。
１．主要被写体に確実にピントを合わせる
２．短時間でピントを合わせる
３．複数の主要被写体候補からピントを合わせるべき被写体を確実にかつ迅速に選択する
また、もう１つの基本的な要求としてコストダウンがある。上記の機能を実現するために価格が高くなることは好ましくない。例えば、高価な測距センサーなどの外部測距装置などを用いないで確実に素早くフォーカス制御を実現させる構成が望まれる。
特開平０４−０００４２１号公報 特開２００３−１０７３３５号公報 特開昭６０−２５４２０７号公報

本発明は、このような状況に鑑みてなされたものであり、目的とする被写体に対する迅速で正確なオートフォーカス処理を行なうことを可能とした撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラムを提供することを目的とする。

本発明の第１の側面は、
撮像装置において入力する入力画像から顔領域を検出する顔検出部と、
顔検出部の検出した顔の大きさに基づいて被写体距離を算出する被写体距離算出部と、
前記被写体距離算出部の算出した被写体距離情報に基づいてフォーカス位置を推定し、フォーカスレンズの全稼動範囲より短いフォーカスレンズ動作範囲を設定するレンズ動作範囲算出部と、
前記レンズ動作範囲算出部の設定したレンズ動作範囲内において、フォーカスレンズを移動させてフォーカスレンズ設定位置を決定するフォーカス制御部と、
を有することを特徴とする撮像装置にある。

さらに、本発明の撮像装置の一実施態様において、前記被写体距離算出部は、顔検出部の検出した顔の大きさに基づく被写体距離算出処理において、人種、性別、年齢、体格の少なくともいずれかの被写体情報を入力し、入力した被写体情報に基づいて、被写体に応じた顔の大きさの基準値を適用した被写体距離算出処理を実行する構成であることを特徴とする。

さらに、本発明の撮像装置の一実施態様において、前記人種、性別、年齢、体格の少なくともいずれかの被写体情報は、撮像装置において入力する入力画像の画像解析部における解析結果として前記被写体距離算出部に入力される情報であることを特徴とする。

さらに、本発明の撮像装置の一実施態様において、前記人種、性別、年齢、体格の少なくともいずれかの被写体情報は、撮像装置におけるユーザ入力部を介して前記被写体距離算出部に入力される情報であることを特徴とする。

さらに、本発明の撮像装置の一実施態様において、前記被写体距離算出部は、被写体に応じた顔の大きさの基準値を適用した被写体距離算出処理を実行する構成であり、顔の大きさの基準値を、一つの値ではなく、ある値の範囲を持つ基準値として算出し、範囲を持つ基準値を適用して、範囲を持つ被写体距離を算出する処理を実行する構成であることを特徴とする。

さらに、本発明の撮像装置の一実施態様において、前記被写体距離算出部は、顔のテンプレートマッチング処理において発生する誤差を考慮して、被写体距離の範囲Ｄｆｎ〜Ｄｆｆを算出する処理を実行する構成であることを特徴とする。

さらに、本発明の撮像装置の一実施態様において、前記レンズ動作範囲算出部は、前記被写体距離算出部の算出した被写体距離情報に基づいて、撮像装置のデバイスに起因する誤差を考慮したフォーカスレンズ動作範囲を設定する処理を実行する構成であることを特徴とする。

さらに、本発明の撮像装置の一実施態様において、前記撮像装置は、さらに、前記顔検出部の検出した複数の顔の優先順位を設定する優先順位解析部を有し、前記優先順位解析部は、顔の大きさ、または、顔の中央への近さ、または人種、性別、年齢、体格の少なくともいずれかの被写体情報を指標として顔の優先順位決定処理を実行する構成であり、前記レンズ動作範囲算出部は、前記優先順位解析部の決定した顔の優先順位情報に基づいてフォーカスレンズ動作範囲を設定する処理を実行する構成であることを特徴とする。

さらに、本発明の撮像装置の一実施態様において、前記レンズ動作範囲算出部は、前記優先順位解析部の決定した最も優先度の高い顔に対応する被写体距離情報に基づいてフォーカスレンズ動作範囲を設定する処理を実行する構成であることを特徴とする。

さらに、本発明の撮像装置の一実施態様において、前記レンズ動作範囲算出部は、前記優先順位解析部の決定した優先度順の複数の顔に対応する被写体距離情報に基づいて算出される複数のフォーカスレンズ動作範囲を含む範囲を最終的なフォーカスレンズ動作範囲として設定する処理を実行する構成であることを特徴とする。

さらに、本発明の撮像装置の一実施態様において、前記撮像装置は、さらに、前記フォーカス制御部におけるフォーカスレンズ設定位置の決定に基づいて合焦成功と判断されたモニタ出力画像中の顔領域に合焦成功を示す合焦表示を行なう表示制御部を有することを特徴とする。

さらに、本発明の第２の側面は、
撮像装置において、オートフォーカス制御を実行する撮像装置制御方法であり、
顔検出部において、撮像装置において入力する入力画像から顔領域を検出する顔検出ステップと、
被写体距離算出部において、顔検出部の検出した顔の大きさに基づいて被写体距離を算出する被写体距離算出ステップと、
レンズ動作範囲算出部において、前記被写体距離算出部の算出した被写体距離情報に基づいてフォーカス位置を推定し、フォーカスレンズの全稼動範囲より短いフォーカスレンズ動作範囲を設定するレンズ動作範囲算出ステップと、
フォーカス制御部において、前記レンズ動作範囲算出部の設定したレンズ動作範囲内において、フォーカスレンズを移動させてフォーカスレンズ設定位置を決定するフォーカス制御ステップと、
を有することを特徴とする撮像装置制御方法にある。

さらに、本発明の撮像装置制御方法の一実施態様において、前記被写体距離算出ステップは、顔検出部の検出した顔の大きさに基づく被写体距離算出処理において、人種、性別、年齢、体格の少なくともいずれかの被写体情報を入力し、入力した被写体情報に基づいて、被写体に応じた顔の大きさの基準値を適用した被写体距離算出処理を実行するステップであることを特徴とする。

さらに、本発明の撮像装置制御方法の一実施態様において、前記人種、性別、年齢、体格の少なくともいずれかの被写体情報は、撮像装置において入力する入力画像の画像解析部における解析結果として前記被写体距離算出部に入力される情報であることを特徴とする。

さらに、本発明の撮像装置制御方法の一実施態様において、前記人種、性別、年齢、体格の少なくともいずれかの被写体情報は、撮像装置におけるユーザ入力部を介して前記被写体距離算出部に入力される情報であることを特徴とする。

さらに、本発明の撮像装置制御方法の一実施態様において、前記被写体距離算出ステップは、被写体に応じた顔の大きさの基準値を適用した被写体距離算出処理を実行する構成であり、顔の大きさの基準値を、一つの値ではなく、ある値の範囲を持つ基準値として算出し、範囲を持つ基準値を適用して、範囲を持つ被写体距離を算出する処理を実行するステップであることを特徴とする。

さらに、本発明の撮像装置制御方法の一実施態様において、前記被写体距離算出ステップは、顔のテンプレートマッチング処理において発生する誤差を考慮して、被写体距離の範囲Ｄｆｎ〜Ｄｆｆを算出する処理を実行するステップであることを特徴とする。

さらに、本発明の撮像装置制御方法の一実施態様において、前記レンズ動作範囲算出ステップは、前記被写体距離算出部の算出した被写体距離情報に基づいて、撮像装置のデバイスに起因する誤差を考慮したフォーカスレンズ動作範囲を設定する処理を実行するステップであることを特徴とする。

さらに、本発明の撮像装置制御方法の一実施態様において、前記撮像装置制御方法は、さらに、優先順位解析部において、前記顔検出部の検出した複数の顔の優先順位を設定する優先順位解析ステップを有し、前記優先順位解析ステップは、顔の大きさ、または、顔の中央への近さ、または人種、性別、年齢、体格の少なくともいずれかの被写体情報を指標として顔の優先順位決定処理を実行するステップであり、前記レンズ動作範囲算出ステップは、前記優先順位解析部の決定した顔の優先順位情報に基づいてフォーカスレンズ動作範囲を設定する処理を実行するステップであることを特徴とする。

さらに、本発明の撮像装置制御方法の一実施態様において、前記レンズ動作範囲算出ステップは、前記優先順位解析部の決定した最も優先度の高い顔に対応する被写体距離情報に基づいてフォーカスレンズ動作範囲を設定する処理を実行するステップであることを特徴とする。

さらに、本発明の撮像装置制御方法の一実施態様において、前記レンズ動作範囲算出ステップは、前記優先順位解析部の決定した優先度順の複数の顔に対応する被写体距離情報に基づいて算出される複数のフォーカスレンズ動作範囲を含む範囲を最終的なフォーカスレンズ動作範囲として設定する処理を実行するステップであることを特徴とする。

さらに、本発明の撮像装置制御方法の一実施態様において、前記撮像装置制御方法は、さらに、表示制御部において、前記フォーカス制御部におけるフォーカスレンズ設定位置の決定に基づいて合焦成功と判断されたモニタ出力画像中の顔領域に合焦成功を示す合焦表示を行なう表示制御ステップを有することを特徴とする。

さらに、本発明の第３の側面は、
撮像装置において、オートフォーカス制御を実行させるコンピュータ・プログラムであり、
顔検出部において、撮像装置において入力する入力画像から顔領域を検出させる顔検出ステップと、
被写体距離算出部において、顔検出部の検出した顔の大きさに基づいて被写体距離を算出させる被写体距離算出ステップと、
レンズ動作範囲算出部において、前記被写体距離算出部の算出した被写体距離情報に基づいてフォーカス位置を推定し、フォーカスレンズの全稼動範囲より短いフォーカスレンズ動作範囲を設定させるレンズ動作範囲算出ステップと、
フォーカス制御部において、前記レンズ動作範囲算出部の設定したレンズ動作範囲内において、フォーカスレンズを移動させてフォーカスレンズ設定位置を決定させるフォーカス制御ステップと、
を実行させることを特徴とするコンピュータ・プログラムにある。

なお、本発明のコンピュータ・プログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、ＣＤやＦＤ、ＭＯなどの記憶媒体、あるいは、ネットワークなどの通信媒体によって提供可能なコンピュータ・プログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ・システム上でプログラムに応じた処理が実現される。

本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

本発明の一実施例の構成では、撮像装置におけるオートフォーカス処理において、入力画像から顔領域を検出し、検出した顔の大きさに基づいて被写体距離を算出して、算出した被写体距離情報に基づいてフォーカス位置を推定する。さらに、この推定したフォーカス位置に基づいて、フォーカスレンズの全稼動範囲より短いフォーカスレンズ動作範囲を設定し、設定したレンズ動作範囲内において、フォーカスレンズを移動させてフォーカスレンズ設定位置を決定する。本構成によれば、フォーカス制御において移動させるレンズの距離を短く設定することが可能となり、高速なフォーカス制御が実現される。

さらに、本発明の一実施例の構成によれば、被写体距離算出処理において、人種、性別、年齢、体格の少なくともいずれかの被写体情報を入力し、入力した被写体情報に基づいて、被写体に応じた顔の大きさの基準値を適用した被写体距離算出処理を実行する構成としたので、被写体に適応したより正確な被写体距離を算出可能となり、正確なフォーカス制御が実現される。

さらに、本発明の一実施例の構成によれば、優先順位解析部において、顔検出部の検出した複数の顔の優先順位を、例えば、顔の大きさ、または、顔の中央への近さ、または人種、性別、年齢、体格などの被写体情報などを指標として決定し、決定した顔の優先順位情報に基づいてフォーカスレンズ動作範囲を設定する処理を実行する構成としたので、複数の顔が検出された場合であっても、より優先度の高い顔に対するフォーカス制御を効率的に行うことができる。

以下、図面を参照しながら本発明の撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラムの詳細について説明する。

本発明は、目的とする被写体に対する迅速で正確なオートフォーカスを可能とした構成を開示するものである。本発明の撮像装置では、フォーカス制御の手法として、レンズを介して取得された撮像データのコントラストの高低を判断する手法を基本として用いる。撮像画像の特定領域をフォーカス制御用の信号取得領域（空間周波数抽出エリア）として設定し、この特定領域のコントラストが高いほどフォーカスが合っており、コントラストが低いとフォーカスがずれていると判定し、コントラストをより高くする位置にレンズを駆動して調整する方式である。

具体的には、特定領域の高周波成分を抽出して、抽出した高周波成分の積分データを生成し、生成した高周波成分積分データに基づいてコントラストの高低を判定する方法が適用される。すなわち、コントラストの高低判定のために特定領域の高周波成分積分値を算出して、これを評価値（ＡＦ評価値）として利用する。評価値が最大となるようにフォーカスレンズを駆動することでオートフォーカスが実現される。オートフォーカスを行なうためには、上述の評価値を指針としてレンズを駆動させることが必要となる。レンズ駆動機構としては例えばボイスコイルモータなどが利用される。

本発明は、このようなコントラスト識別処理を用いたフォーカス制御において、さらに、目的被写体としての人物の顔の大きさを判定し、その大きさに基づいて被写体の距離を推定し、この推定情報を適用してフォーカス制御範囲を狭めて迅速なフォーカス制御を可能とする。さらに、本発明は、顔の大きさの個人差、人種差、年齢差、性別差などを考慮して、顔の大きさに基づく被写体の距離推定をより正確に実行することを可能とするものである。

まず、図を参照して、本発明の撮像装置の構成について説明する。図１は、本発明の撮像装置１０の外観を示す図である。図１（ａ）は、撮像装置１０の上面図、（ｂ）は正面図、（ｃ）は背面図である。（ａ）上面図のレンズ部分は断面図として示してある。撮像装置１０は、電源スイッチ１１、画像取り込みタイミングを設定するトリガ手段、すなわちシャッターとして機能するレリーズスイッチ１２、撮像装置によって撮影される画像（スルー画像）や操作情報などを表示するモニタ１３、撮像素子（ＣＣＤ）としてのイメージャ１４、ズーム制御を行うためのズームボタン１５、各種の操作情報を入力する操作ボタン１６、撮像装置によって撮影される画像（スルー画像）を確認するためのビューファインダ１７、フォーカス調整において駆動されるフォーカスレンズ１８、ズーム調整に際して駆動されるズームレンズ１９、撮影モードを設定するためのモードダイアル２０、フォーカスレンズ１８を駆動するためのフォーカスレンズモータ（Ｍ１）２１、ズームレンズ１９を駆動するためのズームレンズモータ（Ｍ２）２２を有する。

被写体画像は、ビューファインダ１７およびモニタ１３に表示される。ビューファインダ１７およびモニタ１３は例えばＬＣＤによって構成され、レンズを介する被写体画像が動画像として映し出される。この動画像はスルー画と呼ばれる。ユーザは、ビューファインダ１７またはモニタ１３を確認して、撮影する目標被写体を確認して、シャッターとしてのレリーズスイッチ１２を押すことで画像の記録処理が実行されることになる。

図２を参照して本発明の撮像装置１００の内部構成について説明する。本発明の撮像装置は、オートフォーカス機能を持つ撮像装置である。フォーカスレンズ１０１、ズームレンズ１０２を介する入射光は、例えばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）などの撮像素子１０３に入力し、撮像素子１０３において光電変換される。光電変換データは、アナログ信号処理部１０４に入力され、アナログ信号処理部１０４においてノイズ除去等の処理がなされ、Ａ／Ｄ変換部１０５においてデジタル信号に変換される。Ａ／Ｄ変換部１０５においてデジタル変換されたデータは、例えばフラッシュメモリなどによって構成される記録デバイス１１５に記録される。さらに、モニタ１１７、ビューファインダ（ＥＶＦ）１１６に表示される。モニタ１１７、ビューファインダ（ＥＶＦ）１１６には撮影の有無に関わらず、レンズを介する画像がスルー画として表示される。

操作部１１８は、図１を参照して説明したカメラ本体にあるレリーズスイッチ１２、ズームボタン１５、各種の操作情報を入力する操作ボタン１６、撮影モードを設定するためのモードダイアル２０等を含む操作部である。制御部１１０は、ＣＰＵを有し、撮像装置の実行する各種の処理の制御を予めメモリ（ＲＯＭ）１２０などに格納されたプログラムに従って実行する。メモリ（ＥＥＰＲＯＭ）１１９は不揮発性メモリであり、画像データ、各種の補助情報、プログラムなどが格納される。メモリ（ＲＯＭ）１２０は、制御部（ＣＰＵ）１１０が使用するプログラムや演算パラメータ等を格納する。メモリ（ＲＡＭ）１２１は、制御部（ＣＰＵ）１１０において使用するプログラムや、その実行において適宜変化するパラメータ等を格納する。ジャイロ１１１は、撮像装置の傾き、揺れなどを検出する。検出情報は、制御部（ＣＰＵ）１１０に入力され手ぶれ防止などの処理が実行される。

モータドライバ１１２は、フォーカスレンズ１０１に対応して設定されたフォーカスレンズ駆動モータ１１３、ズームレンズ１０２に対応して設定されたズームレンズ駆動モータ１１４を駆動する。垂直ドラバ１０７は、撮像素子（ＣＣＤ）１０３を駆動する。タイミングジェネレータ１０６は、撮像素子１０３およびアナログ信号処理部１０４の処理タイミングの制御信号を生成して、これらの各処理部の処理タイミングを制御する。

顔検出部１３０は、レンズを介して入力される画像データの解析を行い、画像データ中の人物の顔を検出する。顔検出情報は、制御部１１０に送られ、制御部１１０では、検出された顔情報に基づいて、目的被写体としての人物の顔の大きさを判定し、その大きさに基づいて被写体の距離を推定する。さらに、この推定情報を適用してフォーカス制御範囲を狭めて迅速なフォーカス制御を行なう。さらに、顔の大きさに基づく被写体距離の推定処理に際して、顔の大きさの個人差、人種差、年齢差、性別差などを考慮した処理を行うことで正確な距離推定を実現する。

本発明の撮像装置では、前述したように、フォーカス制御において、レンズを介して取得された撮像データのコントラストの高低を判断する手法を基本として用いるが、このコントラスト識別処理を用いたフォーカス制御において、さらに、目的被写体としての人物の顔の大きさを判定し、その大きさに基づいて被写体の距離を推定し、この推定情報を適用してフォーカス制御範囲を狭めて迅速なフォーカス制御を可能とする。

コントラストに基づくフォーカス位置の判定処理においては、特定領域の高周波成分積分値を算出して、これを評価値（ＡＦ評価値）として利用する。評価値が最大となるようにフォーカスレンズを駆動することでオートフォーカスが実現される。具体的なオートフォーカス制御処理には、ＡＦ評価値が頂点をキープするようにフォーカスレンズにサーボをかける方法（山登り法）や、特定の領域を特定の間隔の評価値データを取ってそれらの評価値の最大値をとったフォーカス位置にフォーカスレンズを移動させる方法（候補範囲サーチ法）などがある。

ＡＦ評価値が頂点をキープするようにフォーカスレンズにサーボをかける山登り法は、常に最適なピントを提供するが場合によってはピントが合うまでの時間がかかる、また、特定の領域を特定の間隔の評価値データを取ってそれらの評価値の最大値をとったフォーカス位置にフォーカスレンズを移動させる候補範囲サーチ法はおよそどのようなシーンでも短時間でピントが合うが、ピントが合うのはある特定の瞬間に限られ被写体が動けばピントがずれてしまうという問題がある。

本発明の撮像装置では、顔検出部１３０において、画像データ中の人物の顔を検出し、制御部１１０において検出された顔情報に基づいて、目的被写体としての人物の顔の大きさを判定し、その大きさに基づいて被写体の距離を推定し、上述の山登りＡＦ法、端点間サーチＡＦ法に基づくフォーカス位置探索処理の動作範囲を狭めて設定して、その設定領域内で山登りＡＦ法、端点間サーチＡＦ法のいずれかの手法に基づくフォーカス位置探索処理を実行して迅速なフォーカス制御を行なうものである。さらに、顔の大きさに基づく被写体の距離の推定に際して、顔の大きさの個人差、人種差、年齢差、性別差などを考慮した被写体の距離推定を行い、正確な距離推定を実現する。

図３に、（ａ）従来のフォーカス制御におけるフォーカスレンズ動作範囲と、（ｂ）本発明に従った顔検出に基づく推定距離情報を適用したフォーカス制御におけるフォーカスレンズ動作範囲を示す。一般的なオートフォーカス制御を行う場合、図３（ａ）に示すように、フォーカスレンズ２０１の動作範囲を至近側リミットから無限側リミットの全範囲に設定し、この範囲でフォーカスレンズ２０１を移動させて、レンズを介して取得された撮像データの特定領域のコントラストの高低を判定する。すなわち、コントラストの高低判定のために特定領域の高周波成分積分値を算出して、これを評価値（ＡＦ評価値）とし、ＡＦ評価値が最大となる位置をフォーカス位置とする。このような処理を行なうと、フォーカスレンズ２０１の動作範囲が大きく、フォーカス制御の実行時間が長くなるという問題がある。

一方、図３（ｂ）本発明に従った顔検出に基づく推定距離情報を適用したフォーカス制御においては、目的被写体としての人物の顔の大きさを判定し、その大きさに基づいて被写体の距離を推定し、この推定情報を適用してフォーカス制御範囲を狭めて迅速なフォーカス制御を実行する。すなわち、図３（ｂ）に示すように、目的被写体としての人物の顔の大きさに基づいて被写体の距離を推定し、この距離（ＤＦ）を中心として、予め設定された誤差範囲を含む領域をフォーカスレンズ２０１の動作範囲（Ｒｆ）として設定し、この動作範囲（Ｒｆ）のみにおいて、フォーカスレンズ２０１を移動させて、コントラストの高低を判定してフォーカス位置を決定する。この処理においては、フォーカスレンズ２０１の動作範囲が狭められ、フォーカス位置の特定に要する時間を短縮することが可能となる。

具体的な処理シーケンスは、以下の通りである。なお、撮像素子のコントラスト信号差を求める領域、すなわちコントラストの高低判定のために設定する特定領域は、スルー画から検出される顔領域を含む領域とする。この領域から得られるコントラスト信号に基づいて、次のような動作を実施することでＡＦの高速化を実現する。
１．シャッターを押される前においては、コントラスト信号が最大となる位置にサーボをかける。この時のフォーカス制御におけるレンズ動作範囲は、Ｒｆと限定する。
２．シャッターを押された時、コントラスト信号が最大値近傍を保っていたら、すなわちコントラストが、予め設定した閾値以上であり、かつ、コントラストの変動がフォーカスポジション変化によってほとんど変化しない領域にいる時は、そのままキャプチャーする。半押しならば、ロックする。
３．シャッターを押された時に、コントラスト信号が最大値付近にない場合、レンズ動作範囲Ｒｆを「候補範囲サーチ法」によって、コントラストが最大になる位置を検出し、その位置にフォーカスポジションを移動させた後、キャプチャーする。半押しならば、ロックする。
４．顔の検出結果が変更するたびにレンズの動作範囲Ｒｆを更新する。

以上の説明に対応する具体的なフォーカス制御処理シーケンスについて、図４に示すフローチャートを参照して説明する。まず、ステップＳ１０１において、撮像装置によって取得される被写体画像（スルー画）から目的被写体の顔領域を検出し、検出した目的被写体としての人物の顔の大きさを判定し、その大きさに基づいて被写体の距離を推定する。

ステップＳ１０２において、図３（ｂ）に示すように、目的被写体としての人物の顔の大きさに基づいて推定した距離（ＤＦ）を中心として、予め設定された誤差範囲を含む領域をフォーカスレンズの動作範囲、すなわちＡＦ動作範囲として設定する。ステップＳ１０３では、動画用のオートフォーカス処理、すなわち、モニタに表示される画像を目的被写体としての人物の顔にピント合わせした画像として表示するためのオートフォーカス制御を実行する。ステップＳ１０４においてシャッター押下が検出されない限り、ステップＳ１０１〜Ｓ１０３の処理は継続して実行される。

ステップＳ１０４において、シャッター押下が検出されると、ステップＳ１０５に進み、コントラスト信号が最大値近傍を保っているか否か、すなわちコントラストが、予め設定した閾値以上であるかを判定する。

ステップＳ１０５において、コントラストが予め設定した閾値以上であると判定された場合は、正しいフォーカス制御がなされているものと判断して、ステップＳ１０７に進み、フォーカス制御を完了し、ステップＳ１０８において画像の撮影（キャプチャ）処理を行なう。一方、ステップＳ１０５において、コントラストが予め設定した閾値以上であると判定されなかった場合は、正しいフォーカス制御がなされていないと判断して、ステップＳ１０６に進み、静止画撮影のためのオートフォーカス制御を実行する。この場合のフォーカスレンズの移動範囲は、先に図３（ｂ）を参照して説明した目的被写体としての人物の顔の大きさに基づく推定距離（Ｄｆ）を中心として、予め設定された誤差範囲を含む動作範囲（Ｒｆ）である。この処理において、顔領域を含む特定領域のコントラストの高低に基づいてフォーカス位置を特定し、ステップＳ１０８に進み、フォーカス制御を完了し、ステップＳ１０８において画像の撮影（キャプチャ）処理を行なう。

本発明の最大のポイントは、顔の大きさによって顔までの距離を求める場合において、距離の誤差情報を用いて、極力狭いＡＦ範囲を決定する方法にある。これにより短時間でのＡＦが実現できる。

本発明の撮像装置によって撮影される画像データから目的被写体の人物の顔を特定し、その顔による距離推定を実行する。以下、この処理の具体的な処理構成について説明する。説明は、以下の項目順に行なう。
（１）顔の認識処理
（２）顔までの距離算出およびフォーカスレンズの動作範囲（Ｒｆ）設定手法
（３）複数の顔が存在する場合のオートフォーカス処理

（１）顔の認識処理
まず、撮像装置によって取得される画像データから人物の顔を特定する手法について説明する。顔の認識、追尾技術としては、既に様々な技術が開示されており、この既存技術を適用することが可能である。例えば特開２００４−１３３６３７に示されるような、顔の輝度分布情報を記録したテンプレートの実画像へのマッチングによって実現できる。まず実画像に縮小処理をかけた画像を複数種類用意する。そこに顔を傾けた時に得られる顔の輝度分布情報テンプレート群を用意しておき、それらを順次マッチングさせていく。このテンプレートは、顔３次元直交座標系のＸＹＺ軸の各々に対して傾いたものであり、このテンプレートとのマッチングにより実際の顔の傾きを判定するものである。

縮小された画像に対して２次元平面上をずらしながら順次マッチングさせた時に、ある領域がテンプレートにマッチすれば、その領域が顔の存在する位置ということになり、大きさは、実画像の縮小率から求めることができる。またそのときに用いたテンプレートから直交３軸周りの回転角、ヨー、ピッチ、ロール角を求めることができる。このようにして得られた、顔の大きさ、位置、回転角度を用いて、顔の距離の推定を実行してオートフォーカス制御を行うことで、先に図３（ｂ）を参照して説明したフォーカスレンズの動作範囲（Ｒｆ）を小さく設定することが可能となる。

（２）顔までの距離算出およびフォーカスレンズの動作範囲（Ｒｆ）設定手法
以下、具体的な顔までの距離の算出手法と、フォーカスレンズの動作範囲（Ｒｆ）の設定手法について説明する。本発明が提案する顔の大きさに基づく距離算出方法においては、求めた距離（図３（ｂ）に示す（Ｄｆ））に距離誤差情報を含ませてフォーカスレンズの動作範囲（Ｒｆ）を設定する構成としている。

本発明の撮像装置では、撮像装置によって撮影される画像に含まれる顔の大きさによって顔までの距離を求める。この処理について、図５を参照して説明する。図５には、被写体位置３０１、フォーカスレンズ３０２、撮像素子３０３を示している。被写体位置３０１には人物の顔が存在する。顔の大きさ（顔の幅）はＷｆである。

顔の実際の大きさ（Ｗｆ）が分ればレンズの基本的な物理法則から、顔までの距離、すなわち被写体距離（Ｄｆ）、すなわち、フォーカスレンズ３０２から被写体位置３０１までの被写体距離（Ｄｆ）は以下の式で求めることができる。 Ｄｆ＝Ｗｒｅｆ×（ｆ／Ｗｉ）×（Ｗｗ／Ｗｆ）・・・（式１．１）
上記式における各記号の説明を以下に示す。
人間の顔の大きさ基準値：Ｗｒｅｆ
撮像素子の幅：Ｗｉ
焦点距離：ｆ
撮像画像における人の顔の大きさのピクセル数（撮像素子検出値）：Ｗｆ
人の顔検出に使用した画像の大きさのピクセル数（撮像素子検出値）：Ｗｗ

人間の顔の大きさ基準値（Ｗｒｅｆ）は、予め定めた固定値を利用することができる。なお、この顔大きさ基準値（Ｗｒｅｆ）を、個人差、人種差、年齢差、性別差などを考慮した値に設定した処理を行うことが可能であり、この処理によって、さらに正確な距離推定を実現することが可能となる。この処理構成については、後段で説明する。

撮像装置は、撮影される画像（スルー画）に基づいて、上述の式（式１．１）を適用して被写体距離（Ｄｆ）を算出し、算出した被写体距離（Ｄｆ）を中心として、あらかじめ設定した誤差範囲を含めてフォーカスレンズの動作範囲（Ｒｆ）を設定する。

仮に顔の大きさから求めた誤差がゼロというモデルを想定すると、この位置にフォーカスレンズを移動させた時にピントが外れる要因は、各種デバイスの個体差、製造における誤差に限定される。すなわちこれらの誤差を調整によって除去することができれば、原理的には、山登りＡＦや特定範囲サーチＡＦを用いずとも、顔の大きさだけで良好なピントの写真が得られることになる。

しかしながら、実際はそれらの誤差を完全に除去することはできない。具体的には、焦点距離方向に非線系なピント移動、デバイスの温度特性によるピント位置の移動、各種のデバイス間に存在するヒステリシスによるものである。それらの大きさを、ズームの位置、フォーカスの位置ごとにデータテーブルとして持ち、テーブル間のデータを線形補完する形で、誤差範囲を至近側にσｎ，無限側にσｆとして設定すると、フォーカスレンズの動作範囲（Ｒｆ）は、顔までの距離を：Ｄｆとしたときに、
Ｒｆ＝Ｄｆ−σｎ〜Ｄｆ＋σｆ・・・（式１．２）
として設定される。すなわち、図６に示すようにフォーカスレンズ３０２の動作範囲（Ｒｆ）が設定される。

したがって、例えばコントラスト判定に基づくフォーカス制御の１つの手法である山登り方でコントラスト信号の最大値を探すべき範囲は動作範囲（Ｒｆ）として設定することができ、シャッターを押された時にサーチすべき範囲の最大値も上記範囲として設定可能となり、従来と比較して短い距離のレンズ移動範囲が設定されて短時間でのフォーカス制御が可能となる。

しかし、このような顔の大きさに基づく距離推定処理には、以下のような問題がある。
問題点１．人種差、性別差、年齢差、体格差による顔の大きさばらつきがある。
問題点２．テンプレートマッチングの能力限界（実画像縮小率の分解能など）。

［問題点１の解決方法］
１つ目の問題の解決策は、顔大きさ基準値：Ｗｒｅｆを、被写体に対応する人種、性別、年齢、体格に応じた適切な値に設定することであり、このために、様々な人種、性別、年齢、体格に対応する基準値Ｗｒｅｆを算出して利用する構成である。例えば、様々な人種、性別、年齢、体格に対応する基準値Ｗｒｅｆを算出するためのテーブルデータを保持し、画像解析結果またはユーザ入力情報に基づいて被写体に対応する人種、性別、年齢、体格情報を取得して、これらの取得情報に基づいてテーブルから、被写体に応じた顔大きさ基準値：Ｗｒｅｆを求める構成である。

撮像装置によって撮影される画像に含まれる顔画像の解析によって、その顔を持つ人物の人種、性別、年齢、体格を推定することが可能である。すなわち、顔のパーツを識別して、予め登録された人種、性別、年齢、体格に対応するパーツ情報とのマッチングを実行して、被写体の人種、性別、年齢、体格を推定する。あるいは、撮影者などのユーザが、被写体情報として人種、性別、年齢、体格に関する被写体情報を入力し、この入力情報を適用する構成としてもよい。

このように画像解析またはユーザ入力情報として被写体の人種、性別、年齢、体格情報を取得して、被写体に応じた適正な顔大きさ基準値：Ｗｒｅｆを求める。図７を参照して、この処理例について説明する。

図７に示すように、撮像装置は、顔の大きさ基準値（Ｗｒｅｆ）算出部３１０を有し、顔の大きさ基準値（Ｗｒｅｆ）算出部３１０は、人種別基準値算出テーブル３１１、性別基準値算出テーブル３１２、年齢別基準値算出テーブル３１３、体格別基準値算出テーブル３１４と、データ処理部３２０を有する。

画像解析部３３１は、撮像装置によって撮影される画像に含まれる顔画像の解析によって、その顔を持つ人物の人種、性別、年齢、体格を推定する。すなわち、顔のパーツを識別して、予め登録された人種、性別、年齢、体格に対応するパーツ情報とのマッチングを実行して、被写体の人種、性別、年齢、体格を推定し、その推定情報を顔の大きさ基準値（Ｗｒｅｆ）算出部３１０に入力する。あるいは、ユーザ入力部３３２を介して撮影者などのユーザが、被写体情報としての人種、性別、年齢、体格に関する被写体情報を入力し、この入力情報を顔の大きさ基準値（Ｗｒｅｆ）算出部３１０に入力する。

顔の大きさ基準値（Ｗｒｅｆ）算出部３１０は、画像解析部３３１または、ユーザ入力部３３２を介して入力した被写体情報に基づいて、被写体に応じた最適な基準値（Ｗｒｅｆ）を、各テーブルを適用して算出する。実際の出力は、ある程度のばらつきを考慮した基準値範囲Ｗｒｅｆ＝（Ｗｒｅｆ＋ΔＷｒｅｆｂ）〜（Ｗｒｅｆ−ΔＷｒｅｒｆｓ）を算出する。想定される大きい方へのずれをΔＷｒｅｆｂ、想定される小さい方へのずれをΔＷｒｅｆｓとして考慮した結果を出力する。

テーブルのデータ構成例を図８〜図１０を参照して説明する。図８（ａ）は、人種別基準値算出テーブル、図８（ｂ）は、人種、性別基準値算出テーブル、図９（ｃ）は、人種、性別、年齢別基準値算出テーブル、図１０（ｄ）は人種、性別、年齢、体格別基準値算出テーブルである。図７に示す構成例においては、人種、性別、年齢、体格の個別のテーブルを設定した例を説明したが、テーブル構成は、個別のテーブルとするばかりでなく、図８〜図１０に示す態様のような各種の設定が可能である。

例えば、画像解析部３３１または、ユーザ入力部３３２を介して入力した被写体情報に基づいて、人種のみが推定／断定できる時には、図８（ａ）に示す人種別基準値算出テーブルを用いる。仮に人種の判断ができない場合。「共通」のデータが用いられることとなる。

画像解析部３３１または、ユーザ入力部３３２を介して入力した被写体情報に基づいて、人種と性別が推定／判断できる場合には、図８（ｂ）に示す人種、性別基準値算出テーブルが用いられる。仮にアジア系人種であり、男性ということになれば、図８（ｂ）に示すＡ列のデータが用いられることになる。一方で、例えば人種は判別できないが性別は女性と推定／断定できる場合、人種は共通、性別は女性という図８（ｂ）に示すＢ列のデータを用いることとなる。

同様にして、年代まで推定／断定できるならば、図９（ｃ）に示す人種、性別、年齢別基準値算出テーブルが用いられることになり、仮にアジア系人種の男性であり、１２歳以上ということが分れば、図９（ｃ）に示すＣ列のデータを用いればよいし、何らかの理由で年代が推定できなかった場合は、図９（ｃ）に示すＤ列のデータを用いればよい。同様にして、体格まで推定／断定できるならば、図１０（ｄ）に示す人種、性別、年齢、体格別基準値算出テーブルを用いて最適な基準値Ｗｒｅｆ＝（Ｗｒｅｆ＋ΔＷｒｅｆｂ）〜（Ｗｒｅｆ−ΔＷｒｅｒｆｓ）を算出する。

このように、画像解析またはユーザ入力情報として被写体の人種、性別、年齢、体格情報を取得して、被写体に応じた適正な顔大きさ基準値：Ｗｒｅｆを求めることが可能であり、算出した基準値：Ｗｒｅｆを適用することで、より正確な被写体までの距離（Ｄｆ）を算出することが可能となる。なお、基準値：Ｗｒｅｆの適用処理および被写体までの距離（Ｄｆ）の算出処理に際しては、顔の横幅、顔の縦の長さのいずれかを適用する構成、さらに、両者を併用する処理構成が可能である。さらに、傾きを考慮した処理構成としてもよい。

［問題点２の解決方法］
次に、前述の問題点２、すなわち、テンプレートマッチングの能力限界（実画像縮小率の分解能など）についての解決方法について説明する。前述したように、撮影画像から顔料粋を特定するためにテンプレートマッチングが実行される。すなわち、顔の様々な傾きに対応する顔の輝度分布情報テンプレート群を用意しておき、撮影画像に縮小処理をかけた縮小画像とのマッチングを行なう処理である。縮小された画像に対して２次元平面上をずらしながら順次マッチングさせた時に、ある領域がテンプレートにマッチすれば、その領域が顔の存在する位置ということになり、大きさは、実画像の縮小率から求めることができる。

しかし、テンプレートマッチングの能力限界（実画像縮小率の分解能など）という問題が存在する。この問題に対する対策としては、これらの誤差を予め考慮した処理を行なうことが有効な対策である。検出誤差は、人種差や性別差、年齢差といったものとは独立に発生しうる問題である。顔のテンプレートに様々な顔のデータを記録させること、およびマッチングを確認する位置の数を増すことで精度を上げることが期待できるものの、どうしても限界がある。例えば、撮影された画像中の顔が暗い場合には誤差が大きくなり、また顔が傾くと誤差が大きくなる。検出誤差は、そもそもの性能の限界、検出に不利な明るさ、顔の傾き、これらの状況によって発生するものであり、このような状況に応じた誤差を考慮した処理を行なう。

具体的な処理例について説明する。撮影画像から検出された顔の大きさＷｆに対して、明るさ検出装置による明るさ情報などを用いて、テンプレートマッチングにおいて、最も小さく判定してしまう時の顔の大きさ：Ｗｓ、最も大きく判定してしまう時の顔の大きさ：Ｗｂを求める。これらは、検出誤差の発生要因、すなわち、検出処理性能の限界、検出に不利な明るさ、顔の傾き、これらの状況によって発生する誤差要因を考慮して決定する。

次に、先に、図７〜図１０を参照して説明した人種、性別、年齢、体格の基準値算出テーブルを適用した処理によって、顔の大きさ基準値Ｗｒｅｆ＝（Ｗｒｅｆ＋ΔＷｒｅｆｂ）〜（Ｗｒｅｆ−ΔＷｒｅｒｆｓ）を算出する。これは、想定される大きい方向へのずれをΔＷｒｅｆｂ、小さい方向へのずれをΔＷｒｅｆｓとして被写体までの距離を一定の範囲に設定した例である。

このとき、顔の大きさ基準値（Ｗｒｅｆ）、撮像画像における人の顔の大きさのピクセル数（撮像素子検出値）（Ｗｆ）について、
Ｗｒｅｆ＝Ｗｒｅｆ＋ΔＷｒｅｆｂ、
Ｗｒ＝Ｗｓ
として設定して、先に説明した被写体距離（Ｄｆ）算出式、すなわち、 Ｄｆ＝Ｗｒｅｆ×（ｆ／Ｗｉ）×（Ｗｗ／Ｗｆ）・・・（式１．１）
上記式に上記、Ｗｒｅｆ＝Ｗｒｅｆ＋ΔＷｒｅｆｂ、Ｗｒ＝Ｗｓを代入して得られる結果（Ｄｆｆ）が、最も遠方に誤差が広がるケースである。

一方、Ｗｒｅｆ、Ｗｆについて、
Ｗｒｅｆ＝Ｗｒｅｆ−ΔＷｒｅｆｓ、
Ｗｒ＝Ｗｂ
として設定して、被写体距離（Ｄｆ）算出式、すなわち、 Ｄｆ＝Ｗｒｅｆ×（ｆ／Ｗｉ）×（Ｗｗ／Ｗｆ）・・・（式１．１）
上記式に、Ｗｒｅｆ＝Ｗｒｅｆ−ΔＷｒｅｆｓ、Ｗｒ＝Ｗｂを代入して得られる結果（Ｄｆｎ）が、最も至近方向に誤差が広がるケースである。

すなわち、図１１に示すように、被写体画像の顔の大きさから算出する被写体距離（Ｄｆ）を一点とするのではなく、テンプレートマッチング等の画像解析における誤差と、人による誤差とを考慮した範囲として設定する。すなわち、図１１に示すように、
Ｄｆｎ〜Ｄｆｆとして設定する。

この被写体距離（Ｄｆｎ〜Ｄｆｆ）に対して、さらに、あらかじめ算出される誤差範囲を含めてフォーカスレンズの動作範囲（Ｒｆ）を設定する。先に説明したように、焦点距離方向に非線系なピント移動、デバイスの温度特性によるピント位置の移動、各種のデバイス間に存在するヒステリシスなどを考慮した誤差範囲を至近側にσｎ，無限側にσｆとして設定すると、フォーカスレンズの動作範囲（Ｒｆ）は、
Ｒｆ＝（Ｄｆｎ−σｎ）〜（Ｄｆｆ＋σｆ）・・・（式１．３）
上記式（式１．３）によって算出される。

本発明の構成では、このように、被写体画像の顔の大きさから算出する被写体距離（Ｄｆ）を一点とするのではなく、テンプレートマッチング等の画像解析における誤差と、人による誤差とを考慮した特定の「範囲：Ｄｆｎ〜Ｄｆｆ」で捉え、誤差を考慮した設定となっている。これが、本発明の重要な特徴の一つである。

（３）複数の顔が存在する場合のオートフォーカス処理
次に、画像中に複数の顔が存在する場合のオートフォーカス処理の詳細について説明する。画像中に顔が複数存在する時は，全ての顔について以上と同様の処理を実行して、それらの各顔に対応するフォーカスレンズの動作範囲（Ｒｆ）を求める。

ここで重要になるのが顔の選択方法であるが、１つの指標は顔の大きさ、すなわちカメラに対する近さである。もう１つの指標は、中央への近さである。これらを適応的に変化させる必要がある。

そこで、顔の大きさが、予め定めた閾値（Ｆｌｉｍ）よりも大きい場合、それを最優先し、かつ閾値（Ｆｌｉｍ）を超えた顔が複数存在する場合には大きい順に優先順位をつける。同じ大きさの顔が存在する場合には、中央に近い順に優先度を高くする。すべての顔の大きさが閾値（Ｆｌｉｍ）以下のときは、中央に近いほど優先順位を上げることとし、中心から同じ距離にあるときは顔の大きさが大きい順にする。これにより、最も優先順位の高い１つの顔を選択する。この処理について、図１２、図１３に示すフローチャートを参照して説明する。

図１２、図１３に示す処理は、図２に示す撮像装置の制御部１１０の制御の下に実行される。まず、ステップＳ２０１において、被写体指定情報（人種，年齢，性別，体格情報）が存在するか否かを判定する。被写体指定情報は、ユーザ入力部としての操作部から入力される。

被写体指定情報（人種，年齢，性別，体格情報）が存在しない場合は、ステップＳ２０４に進む。被写体指定情報（人種，年齢，性別，体格情報）が存在する場合、ステップＳ２０２に進み、被写体指定情報に合致する顔のみを選択し、ステップＳ２０３に進み、選択された顔について被写体優先順位設定処理を実行する。被写体優先順位設定処理の詳細については、図１３のフローを参照して後段で説明する。

ステップＳ２０３において、被写体指定情報に合致する顔の優先順位設定処理が完了すると、ステップＳ２０４に進み、優先順位の設定されていない顔のみを選択し、ステップＳ２０５に進み、選択された顔について被写体優先順位設定処理を実行する。被写体優先順位設定処理の詳細については、図１３のフローを参照して後段で説明する。

最後に、ステップＳ２０６に進み、ステップＳ２０３において決定された被写体指定情報に対応する顔の優先順位と、ステップＳ２０５において決定された優先順位とを統合して総合的な優先順位の設定処理を実行する。被写体指定情報に対応する顔の優先順位を被写体指定情報に対応しない顔の優先順位より高くする優先順位設定処理が実行される。

次に、ステップＳ２０３、およびＳ２０５において実行される優先順位設定処理の詳細処理について、図１３に示すフローチャートを参照して説明する。まず、ステップＳ３０１において、処理対象とする撮影画像（スルー画）中に顔が複数あるか否かを判定する。複数無い場合は、優先順位の設定は不要であるので、処理を終了する。

処理対象とする撮影画像（スルー画）中に顔が複数ある場合は、ステップｓｘ３０２に進み、複数ある顔から１つの処理対象としての顔を選択する。次に、ステップＳ３０３において、選択した顔の大きさが予め設定された閾値（Ｆｌｉｍ）より大きいか否かを判定する。大きい場合、ステップＳ３０４に進み、その顔を優先順位の高いグループ（Ａ）に分類する。小さい場合、ステップＳ３０５に進み、その顔を優先順位の低いグループ（Ｂ）に分類する。

次に、ステップＳ３０６において、すべての顔のグルーピングが終了したか否かを判定し、未処理の顔がある場合は、ステップＳ３０２に戻り、同様の処理を繰り返す。ステップＳ３０６において、すべての顔のグルーピングが終了したと判定すると、ステップＳ３０７に進み、優先順位の高いグループ（Ａ）の顔を大きい順に優先順位設定する。同じ大きさなら中央に近い順に優先順位を設定する。次に、ステップＳ３０８に進み、優先順位の低いグループ（Ｂ）の顔を中央に近い順に優先順位設定する。等距離にある場合は、大きい順に優先順位を設定する。このような処理によって、画像に含まれる顔の優先順位を設定する。

なお、優先順位の設定手法は、この手法に限らず、様々な手法が適用可能である。例えば、図１４に示すフローに従った処理として実行してもよい。図１４に示すフローは、人種、年齢、性別の各々について、指定情報に合致する顔のみを選択して、選択された顔に対して個別に優先順位を設定して、これらの個別の優先順位情報に基づいて最後に総合的な優先順位を設定する方法である。

図１４に示すフローについて説明する。まず、ステップＳ４０１において、被写体指定情報としての人種指定情報が存在するか否かを判定する。人種指定情報が存在しない場合は、ステップＳ４０４に進む。人種指定情報が存在する場合、ステップＳ４０２に進み、指定情報に合致する顔のみを選択し、ステップＳ４０３において選択された顔について被写体優先順位設定処理を実行する。被写体優先順位設定処理は、先に図１３のフローを参照して説明した処理となる。

さらに、ステップＳ４０４において、被写体指定情報としての年齢指定情報が存在するか否かを判定する。年齢指定情報が存在しない場合は、ステップＳ４０７に進む。年齢指定情報が存在する場合、ステップＳ４０５に進み、指定情報に合致する顔のみを選択し、ステップＳ４０６において選択された顔について被写体優先順位設定処理を実行する。被写体優先順位設定処理は、先に図１３のフローを参照して説明した処理となる。

さらに、ステップＳ４０７において、被写体指定情報としての性別指定情報が存在するか否かを判定する。性別指定情報が存在しない場合は、ステップＳ４１０に進む。性別指定情報が存在する場合、ステップＳ４０８に進み、指定情報に合致する顔のみを選択し、ステップＳ４０９において選択された顔について被写体優先順位設定処理を実行する。被写体優先順位設定処理は、先に図１３のフローを参照して説明した処理となる。次に、ステップＳ４１０において、優先順位の設定されていない顔のみを選択し、ステップＳ４１１に進み、選択された顔について被写体優先順位設定処理を実行する。この処理も図１３に示すフローに従った処理となる。

最後に、ステップＳ４１２に進み、ステップＳ４０３，Ｓ４０６，Ｓ４０９，Ｓ４１１において決定された優先順位を統合して総合的な優先順位の設定処理を実行する。この統合的な優先順位設定ルールは、ユーザ設定によって様々なルールが適用可能である。

このような優先順位設定処理によって、優先順位が最も高くなった顔を顔１とし、異化、顔２，３，４，として優先順位が設定された場合のオートフォーカス処理について、図１５、図１６を参照して説明する。このように複数の顔を含む画像を撮影する場合のオートフォーカス制御においては、何を重要とするかによって制御手法が異なってくる。すなわち、
（ａ）高速化を重視する場合、
（ｂ）多くの顔に対する合焦判定を行なうことを重視する場合、
（ｃ）高速かつ、できるだけ多くの顔に合焦させることを重視する場合、
これらのどの方向とするかは、ユーザが選択できると合理的であり、具体的な実現方法は以下のとおりである。

（ａ）高速化を重視する場合
高速化を重視する場合、最も優先度の高い［顔１］に対応してオートフォーカスにおけるレンズ動作範囲（Ｒｆ）を設定する。すなわち、最も優先度の高い［顔１］の被写体距離（Ｄｆｎ〜Ｄｆｆ）を算出し、フォーカスレンズの動作範囲（Ｒｆ）を設定する。すなわち、先に説明したように、フォーカスレンズの動作範囲（Ｒｆ）は、最も優先度の高い［顔１］の被写体距離（Ｄｆｎ〜Ｄｆｆ）を適用して、
Ｒｆ＝（Ｄｆｎ−σｎ）〜（Ｄｆｆ＋σｆ）
として設定し、この範囲のみをＡＦし、結果的に他の顔２，３・・・が、予め設定された許容焦点深度内にあると判定されれば、その顔に合焦表示を行なう。合焦表示とは、モニタやビューファインダに表示される画像中に提示する合焦が完了したことを示す識別情報であり、例えば、顔１を囲む枠を合焦枠として表示する。ユーザはこの合焦表示を確認してシャッターを押して撮影することで確実な撮影が可能となる。

合焦表示の例を図１５に示す。図１５に示す例は、撮像装置のカメラのモニタに表示される画像に合焦表示を行なった例である。上記のオートフォーカス処理によって、最も優先度の高い［顔１］に対応してレンズ動作範囲（Ｒｆ）を設定してフォーカスレンズを駆動してフォーカスポイントを決定する。この場合、当然、顔１，４２１には、合焦枠４３１が設定されて表示される。さらに、このフォーカスポイントにおいて、顔２，４２２、顔３，４２３についても、予め設定された許容焦点深度内にあると判定されれば、その顔に合焦枠４３２，４３３の表示を行なう。ユーザはこの合焦表示を確認してシャッターを押して撮影することで確実な撮影が可能となる。

（ｂ）多くの顔に対する合焦判定を行なうことを重視する場合、
多くの顔に対する合焦判定を行なうことを重視する場合には、合焦させるべき被写体を逃さないために、各顔のＡＦ範囲の和集合をＡＦの範囲としてのレンズ動作範囲（Ｒｆ）として設定し、このレンズ動作範囲（Ｒｆ）において、コントラスト判定に基づく合焦位置のサーチを実行して、主要被写体の深度内にある顔に合焦表示を行なう。

図１６を参照してこのオートフォーカス制御処理について説明する。図１６には、顔１，２，３のそれぞれについての被写体距離（Ｄｆｎ〜Ｄｆｆ）を適用して算出されるフォーカスレンズ４５０の動作範囲（Ｒｆ）を示している。すなわち、
Ｒｆ＝（Ｄｆｎ−σｎ）〜（Ｄｆｆ＋σｆ）
について、顔１，２，３のそれぞれについて個別に動作範囲（Ｒｆ）が設定される。

これらの多くの顔１，２，３に対する合焦判定を行なうことを重視する場合には、合焦させるべき被写体を逃さないために、顔１，２，３のそれぞれにおいて求められた動作範囲（Ｒｆ）をすべて含む範囲（和集合）、すなわち図に示すＰ１〜Ｑ１間をＡＦの範囲としてのレンズ動作範囲（Ｒｆ）として設定し、このＰ１Ｑ１間のレンズ動作範囲（Ｒｆ）において、コントラスト判定に基づく合焦位置のサーチを実行して、主要被写体の深度内にある顔に合焦表示を行なう。

（ｃ）高速かつ、できるだけ多くの顔に合焦させることを重視する場合、
高速かつ、できるだけ多くの顔に合焦させることを重視する場合、各優先順位の設定された被写体顔１，２，３，・・・について、それぞれ、被写体距離（Ｄｆｎ〜Ｄｆｆ）を適用して、ＡＦ動作範囲（レンズ動作範囲（Ｒｆ））
Ｒｆ＝（Ｄｆｎ−σｎ）〜（Ｄｆｆ＋σｆ）
を算出する。

次に、被写体顔２，３，・・・について設定されたＡＦ動作範囲（レンズ動作範囲（Ｒｆ））が、最も重要な被写体である［顔１］の被写体距離（Ｄｆｎ〜Ｄｆｆ）に重複する領域を持つか否かを判定する。［顔１］の被写体距離（Ｄｆｎ〜Ｄｆｆ）に重複するＡＦ動作範囲（レンズ動作範囲（Ｒｆ））を持つ顔２，３・・については、ＡＦ動作範囲（レンズ動作範囲（Ｒｆ））の拡張領域として、その和となる範囲をＡＦ動作範囲（レンズ動作範囲（Ｒｆ））とする。一方、［顔１］の被写体距離（Ｄｆｎ〜Ｄｆｆ）に重複するＡＦ動作範囲（レンズ動作範囲（Ｒｆ））を持たない顔４，５・・があった時は、それらに対してＡＦ範囲は拡大しない。さらに、各顔が顔１の被写界深度内にあるか否かを判定し、被写界深度内にあることが確認された場合は、これらの顔についても合焦枠を表示する。これにより（ａ）の方法では取り逃してしまう可能性がある顔に対しても合焦確認がなされるフォーカス制御処理が可能となる。

図１７を参照してこのオートフォーカス制御処理について説明する。図１７には、顔１，２，３のそれぞれについての被写体距離（Ｄｆｎ〜Ｄｆｆ）を適用して算出されるフォーカスレンズ４５０の動作範囲（Ｒｆ）を示している。すなわち、
Ｒｆ＝（Ｄｆｎ−σｎ）〜（Ｄｆｆ＋σｆ）
について、顔１，２，３のそれぞれについて個別に動作範囲（Ｒｆ）が設定される。

高速かつ、できるだけ多くの顔に合焦させることを重視する場合、各優先順位の設定された被写体顔１，２，３について、それぞれ、被写体距離（Ｄｆｎ〜Ｄｆｆ）を適用して、ＡＦ動作範囲（レンズ動作範囲（Ｒｆ））
Ｒｆ＝（Ｄｆｎ−σｎ）〜（Ｄｆｆ＋σｆ）
を算出する。

次に、被写体顔２，３について設定されたＡＦ動作範囲（レンズ動作範囲（Ｒｆ））が、最も重要な被写体である［顔１］の被写体距離（Ｄｆｎ〜Ｄｆｆ）に重複する領域を持つか否かを判定する。［顔２］に対応するＡＦ動作範囲（レンズ動作範囲（Ｒｆ））は、［顔１］の被写体距離（Ｄｆｎ〜Ｄｆｆ）に重複するＡＦ動作範囲（レンズ動作範囲（Ｒｆ））を持つ。従って、［顔２］については、ＡＦ動作範囲（レンズ動作範囲（Ｒｆ））の拡張領域として、その和となる範囲をＡＦ動作範囲（レンズ動作範囲（Ｒｆ））とする。

一方、［顔３］に対応するＡＦ動作範囲（レンズ動作範囲（Ｒｆ））は、［顔１］の被写体距離（Ｄｆｎ〜Ｄｆｆ）に重複するＡＦ動作範囲（レンズ動作範囲（Ｒｆ））を持たない。従って、［顔３］については、ＡＦ動作範囲（レンズ動作範囲（Ｒｆ））の拡張領域としない。図１７の構成の場合、［顔１］と［顔２］のＡＦ動作範囲（レンズ動作範囲（Ｒｆ））の和集合として設定される図に示すＰ２〜Ｑ２間をＡＦの範囲としてのレンズ動作範囲（Ｒｆ）として設定し、このＰ２Ｑ２間のレンズ動作範囲（Ｒｆ）において、コントラスト判定に基づく合焦位置のサーチを実行して、主要被写体の深度内にある顔に合焦表示を行なう。すなわち各顔が顔１の被写界深度内にあるか否かを判定し、被写界深度内にあることが確認された場合は、これらの顔についても合焦枠を表示する。

上述したようなオートフォーカス制御処理を実行することで、最も重要な顔に対して被写界深度内にいる顔には合焦マークを出せることになり、よりユーザにとって使い勝手のよい写真が得られることになる。これは、例えば仲間同士の集合写真や、母親と赤ん坊の写真など、ピントを合わせたい被写体が複数あるシーンで特に有効である。なお、ＡＦの速度よりも、より多くの顔に合焦させようとする場合、焦点深度換算で１深度分をＡＦ動作範囲に上乗せし、その範囲内にある顔については全て合焦枠を出すという方法を実行してもよい。

最後に、図１８を参照して本発明の撮像装置において実行される処理を行なうための機能構成について説明する。上述した処理は、先に図２を参照して説明したハードウェア構成を適用して、主に制御部１１０の制御の下に実行されるプログラムに従って実行される。図１８は、この処理を実行する際に適用する機能を中心として説明するためのブロック図である。

撮像装置において取得された画像情報５００は、図２を参照して説明した撮像素子、デジタル信号処理部等を介して顔検出部５０２に入力される。顔検出部５０２では、前述したように、例えば顔の輝度分布情報を記録したテンプレートの実画像へのマッチング処理によって、画像情報５００から顔領域を特定して検出する。

顔検出部５０２の検出した顔検出情報を含む画像情報は、画像解析部５０３、被写体距離算出部５２０の顔の大きさ基準値［Ｗｒｅｆ］算出部５０４、顔の推定距離［Ｄｆ］算出部５０５、さらに、優先順位解析部５０８に出力される。画像解析部５０３は、先に、図７を参照して説明した画像解析処理を実行する。すなわち、画像解析部５０３は、撮像装置によって撮影される画像に含まれる顔画像の解析によって、その顔を持つ人物の人種、性別、年齢、体格を推定する。すなわち、顔のパーツを識別して、予め登録された人種、性別、年齢、体格に対応するパーツ情報とのマッチングを実行して、被写体の人種、性別、年齢、体格を推定し、その推定情報を顔の大きさ基準値［Ｗｒｅｆ］算出部５０４に入力する。なお、これらの被写体情報は、ユーザ入力部５０１を介してユーザが入力する構成としてもよい。

被写体距離算出部５２０の顔の大きさ基準値［Ｗｒｅｆ］算出部５０４は、画像解析部５０３または、ユーザ入力部５０１を介して入力された被写体情報に基づいて、被写体に応じた最適な基準値（Ｗｒｅｆ）を、各テーブルを適用して算出する。算出処理は、先に、図７〜図１０を参照して説明したように、テーブルを参照してある程度のばらつきを考慮した基準値範囲Ｗｒｅｆ＝（Ｗｒｅｆ＋ΔＷｒｅｆｂ）〜（Ｗｒｅｆ−ΔＷｒｅｒｆｓ）を算出する。すなわち、想定される大きい方へのずれをΔＷｒｅｆｂ、想定される小さい方へのずれをΔＷｒｅｆｓとして考慮した結果を出力する。

被写体距離算出部５２０の顔の推定距離［Ｄｆ］算出部５０５では、顔のテンプレートマッチング処理において発生する誤差、すなわち、検出性能、明るさ、顔の傾きなどに基づく誤差を考慮して、被写体距離の範囲Ｄｆｎ〜Ｄｆｆを算出する。この被写体距離の算出の基本式は、先に説明した式、すなわち、
Ｄｆ＝Ｗｒｅｆ×（ｆ／Ｗｉ）×（Ｗｗ／Ｗｆ）・・・（式１．１）
である。上記式における各記号の説明を以下に示す。
人間の顔の大きさ基準値：Ｗｒｅｆ
撮像素子の幅：Ｗｉ
焦点距離：ｆ
撮像画像における人の顔の大きさのピクセル数（撮像素子検出値）：Ｗｆ
人の顔検出に使用した画像の大きさのピクセル数（撮像素子検出値）：Ｗｗ

上記式において、テンプレートマッチングにおいて、最も小さく判定してしまう時の顔の大きさ：Ｗｓ、最も大きく判定してしまう時の顔の大きさ：Ｗｂを算出し、顔の大きさ基準値Ｗｒｅｆ＝（Ｗｒｅｆ＋ΔＷｒｅｆｂ）〜（Ｗｒｅｆ−ΔＷｒｅｒｆｓ）を考慮して、上記式（式１．１）を適用して、被写体距離の範囲Ｄｆｎ〜Ｄｆｆを算出する。

すなわち、
Ｗｒｅｆ＝Ｗｒｅｆ＋ΔＷｒｅｆｂ、
Ｗｒ＝Ｗｓ
として設定して、式：Ｄｆ＝Ｗｒｅｆ×（ｆ／Ｗｉ）×（Ｗｗ／Ｗｆ）を計算して、最も遠方に誤差が広がる場合の結果（Ｄｆｆ）を算出し、
さらに、
Ｗｒｅｆ＝Ｗｒｅｆ−ΔＷｒｅｆｓ、
Ｗｒ＝Ｗｂ
を設定して、式：Ｄｆ＝Ｗｒｅｆ×（ｆ／Ｗｉ）×（Ｗｗ／Ｗｆ）を計算して、最も至近方向に誤差が広がる場合の結果（Ｄｆｎ）を算出して、
被写体距離の範囲Ｄｆｎ〜Ｄｆｆを算出する。

この被写体距離情報：Ｄｆｎ〜Ｄｆｆは、ＡＦ動作範囲（レンズ動作範囲（Ｒｆ）算出部）５０７に入力される。ＡＦ動作範囲（レンズ動作範囲（Ｒｆ）算出部）５０７は、さらに、被写体距離（Ｄｆｎ〜Ｄｆｆ）に対して、デバイス起因誤差算出部５０６の算出する誤差範囲を含めてフォーカスレンズの動作範囲（Ｒｆ）を設定する。デバイス起因誤差算出部５０６は、焦点距離方向に非線系なピント移動、デバイスの温度特性によるピント位置の移動、各種のデバイス間に存在するヒステリシスなどを考慮した誤差範囲を算出する。この誤差を至近側にσｎ，無限側にσｆとする。

ＡＦ動作範囲（レンズ動作範囲（Ｒｆ）算出部）５０７は、至近側にσｎ，無限側にσｆの誤差を加算し、フォーカスレンズの動作範囲（Ｒｆ）を、
Ｒｆ＝（Ｄｆｎ−σｎ）〜（Ｄｆｆ＋σｆ）
として設定する。このフォーカスレンズの動作範囲（Ｒｆ）情報が、フォーカス制御部５０９に入力されて、フォーカスレンズ駆動部５１０に対する駆動コマンドを出力して、フォーカスレンズの動作範囲（Ｒｆ）においてフォーカスレンズが移動され、各移動ポイントにおいて、コントラスト信号制生成部５１１の生成するコントラスト情報からＡＦ評価値を算出し、ＡＦ評価値の高い位置にフォーカス位置を決定する処理が実行される。このフォーカス制御によって合焦がなされた被写体には、図１５を参照して説明した合焦枠を表示するように表示制御部５１１が処理を行なう。

さらに、画像情報５００に複数の顔が含まれる場合には、優先順位解析部５０８において各顔の優先順位の判定が実行される。優先順位の設定処理は、先に説明したように、顔の大きさや中央への近さなどを指標とした処理が実行される。また、ユーザ入力部５０１を介して入力された指定情報、例えば、人種、年齢、性別、体格などの指定情報に基づいて優先順位の設定が実行される。この処理は、先に、図１２〜図１４を参照して説明した処理である。

優先順位解析部５０８において決定された優先順位情報は、ＡＦ動作範囲（レンズ動作範囲（Ｒｆ）算出部）５０７に入力され、この場合、ＡＦ動作範囲（レンズ動作範囲（Ｒｆ）算出部）５０７は優先順位情報に基づいて、ＡＦ動作範囲（レンズ動作範囲（Ｒｆ）を算出する。具体的には、先に説明したように、
（ａ）高速化を重視する場合、
（ｂ）多くの顔に対する合焦判定を行なうことを重視する場合（図１６）、
（ｃ）高速かつ、できるだけ多くの顔に合焦させることを重視する場合（図１７）、
これらのケースによって異なる処理が実行される。

この処理によってフォーカスレンズの動作範囲（Ｒｆ）を決定し、決定情報をフォーカス制御部５０９に入力して、フォーカスレンズ駆動部５１０に対する駆動コマンドを出力して、フォーカスレンズの動作範囲（Ｒｆ）においてコントラストに基づくフォーカス位置設定が実行される。フォーカス制御によって合焦がなされた被写体には、図１５を参照して説明した合焦枠を表示するように表示制御部５１１が処理を行なう。

以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。

また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。

例えば、プログラムは記録媒体としてのハードディスクやＲＯＭ（Read Only Memory)に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)，ＭＯ(Magneto optical)ディスク，ＤＶＤ(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウエアとして提供することができる。

なお、プログラムは、上述したようなリムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトから、コンピュータに無線転送したり、ＬＡＮ(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

以上、説明したように、本発明の一実施例の構成では、撮像装置におけるオートフォーカス処理において、入力画像から顔領域を検出し、検出した顔の大きさに基づいて被写体距離を算出して、算出した被写体距離情報に基づいてフォーカス位置を推定する。さらに、この推定したフォーカス位置に基づいて、フォーカスレンズの全稼動範囲より短いフォーカスレンズ動作範囲を設定し、設定したレンズ動作範囲内において、フォーカスレンズを移動させてフォーカスレンズ設定位置を決定する。本構成によれば、フォーカス制御において移動させるレンズの距離を短く設定することが可能となり、高速なフォーカス制御が実現される。

さらに、本発明の一実施例の構成によれば、被写体距離算出処理において、人種、性別、年齢、体格の少なくともいずれかの被写体情報を入力し、入力した被写体情報に基づいて、被写体に応じた顔の大きさの基準値を適用した被写体距離算出処理を実行する構成としたので、被写体に適応したより正確な被写体距離を算出可能となり、正確なフォーカス制御が実現される。

さらに、本発明の一実施例の構成によれば、優先順位解析部において、顔検出部の検出した複数の顔の優先順位を、例えば、顔の大きさ、または、顔の中央への近さ、または人種、性別、年齢、体格などの被写体情報などを指標として決定し、決定した顔の優先順位情報に基づいてフォーカスレンズ動作範囲を設定する処理を実行する構成としたので、複数の顔が検出された場合であっても、より優先度の高い顔に対するフォーカス制御を効率的に行うことができる。

本発明の撮像装置の外観構成例について説明する図である。 本発明の撮像装置のハードウェア構成例について説明する図である。 フォーカス制御におけるレンズ駆動例について説明する図である。 本発明の撮像装置のオートフォーカス制御シーケンスについて説明するフローチャートを示す図である。 顔の大きさに基づく被写体距離算出処理について説明する図である。 顔の大きさに基づいて算出した被写体距離情報とフォーカスレンズの動作範囲の設定例について説明する図である。 顔の大きさ基準値算出部の構成および処理について説明する図である。 顔の大きさ基準値算出部において適用する基準値算出テーブルの例について説明する図である。 顔の大きさ基準値算出部において適用する基準値算出テーブルの例について説明する図である。 顔の大きさ基準値算出部において適用する基準値算出テーブルの例について説明する図である。 顔の大きさに基づいて算出した被写体距離情報とフォーカスレンズの動作範囲の設定例について説明する図である。 被写体の優先順位設定処理シーケンスの一例について説明するフローチャートを示す図である。 被写体の優先順位設定処理シーケンスの一例について説明するフローチャートを示す図である。 被写体の優先順位設定処理シーケンスの一例について説明するフローチャートを示す図である。 合焦表示例について説明する図である。 優先順位が設定された被写体に対するフォーカス制御処理例について説明する図である。 優先順位が設定された被写体に対するフォーカス制御処理例について説明する図である。 本発明の撮像装置における処理および機能を説明するブロック図である。

符号の説明

１０ 撮像装置
１１ 電源スイッチ
１２ レリーズスイッチ
１３ モニタ
１４ イメージャ
１５ ズームボタン
１６ 操作ボタン
１７ ビューファインダ
１８ フォーカスレンズ
１９ ズームレンズ
２０ モードダイアル
２１ フォーカスレンズモータ（Ｍ１）
２２ ズームレンズモータ（Ｍ２）
１００ 撮像装置
１０１ フォーカスレンズ
１０２ ズームレンズ
１０３ 撮像素子
１０４ アナログ信号処理部
１０５ Ａ／Ｄ変換部
１０６ タイミングジェネレータ（ＴＡ）
１０７ 垂直ドライバ
１０８ デジタル信号処理部
１１０ 制御部
１１１ ジャイロ
１１２ モータドライバ
１１３，１１４ モータ
１１５記録デバイス１１５
１１６ ビューファインダ（ＥＶＦ）
１１７ モニタ
１１８ 操作部
１１９ メモリ（ＥＥＰＲＯＭ）
１２０ メモリ（ＲＯＭ）
１２１ メモリ（ＲＡＭ）
２０１ フォーカスレンズ
３０１ 被写体位置
３０２ フォーカスレンズ
３０３ 撮像素子
３１０ 顔の大きさ基準値（Ｗｒｅｆ）算出部
３１１ 人種別基準値算出テーブル
３１２ 性別基準値算出テーブル
３１３ 年齢別基準値算出テーブル
３１４ 体格別基準値算出テーブル
３２０ データ処理部
３３１ 画像解析部
３３２ ユーザ入力部
４０１ フォーカスレンズ
４２１，４２２，４２３ 顔（画像）
４３１，４３２，４３３ 合焦枠
４５０ フォーカスレンズ
５００ 画像情報
５０１ ユーザ入力部
５０２ 顔検出部
５０３ 画像解析部
５０４ 顔の大きさ基準値［Ｗｒｅｆ］算出部
５０５ 顔の推定距離［Ｄｆ］算出部
５０６ デバイス起因誤差算出部
５０７ ＡＦ動作範囲（レンズ動作範囲（Ｒｆ）算出部）
５０８ 優先順位解析部
５０９ フォーカス制御部
５１０ コントラスト信号生成部
５１１ フォーカスレンズ駆動部
５１２ 表示制御部
５２０ 被写体距離算出部

Claims (23)

1. 撮像装置において入力する入力画像から顔領域を検出する顔検出部と、
   顔検出部の検出した顔の大きさに基づいて被写体距離を算出する被写体距離算出部と、
   前記被写体距離算出部の算出した被写体距離情報に基づいてフォーカス位置を推定し、フォーカスレンズの全稼動範囲より短いフォーカスレンズ動作範囲を設定するレンズ動作範囲算出部と、
   前記レンズ動作範囲算出部の設定したレンズ動作範囲内において、フォーカスレンズを移動させてフォーカスレンズ設定位置を決定するフォーカス制御部と、
   を有することを特徴とする撮像装置。
2. 前記被写体距離算出部は、
   顔検出部の検出した顔の大きさに基づく被写体距離算出処理において、人種、性別、年齢、体格の少なくともいずれかの被写体情報を入力し、入力した被写体情報に基づいて、被写体に応じた顔の大きさの基準値を適用した被写体距離算出処理を実行する構成であることを特徴とする請求項１に記載の撮像装置。
3. 前記人種、性別、年齢、体格の少なくともいずれかの被写体情報は、撮像装置において入力する入力画像の画像解析部における解析結果として前記被写体距離算出部に入力される情報であることを特徴とする請求項２に記載の撮像装置。
4. 前記人種、性別、年齢、体格の少なくともいずれかの被写体情報は、撮像装置におけるユーザ入力部を介して前記被写体距離算出部に入力される情報であることを特徴とする請求項２に記載の撮像装置。
5. 前記被写体距離算出部は、
   被写体に応じた顔の大きさの基準値を適用した被写体距離算出処理を実行する構成であり、顔の大きさの基準値を、一つの値ではなく、ある値の範囲を持つ基準値として算出し、範囲を持つ基準値を適用して、範囲を持つ被写体距離を算出する処理を実行する構成であることを特徴とする請求項１に記載の撮像装置。
6. 前記被写体距離算出部は、
   顔のテンプレートマッチング処理において発生する誤差を考慮して、被写体距離の範囲Ｄｆｎ〜Ｄｆｆを算出する処理を実行する構成であることを特徴とする請求項１に記載の撮像装置。
7. 前記レンズ動作範囲算出部は、
   前記被写体距離算出部の算出した被写体距離情報に基づいて、撮像装置のデバイスに起因する誤差を考慮したフォーカスレンズ動作範囲を設定する処理を実行する構成であることを特徴とする請求項１に記載の撮像装置。
8. 前記撮像装置は、さらに、
   前記顔検出部の検出した複数の顔の優先順位を設定する優先順位解析部を有し、
   前記優先順位解析部は、
   顔の大きさ、または、顔の中央への近さ、または人種、性別、年齢、体格の少なくともいずれかの被写体情報を指標として顔の優先順位決定処理を実行する構成であり、
   前記レンズ動作範囲算出部は、
   前記優先順位解析部の決定した顔の優先順位情報に基づいてフォーカスレンズ動作範囲を設定する処理を実行する構成であることを特徴とする請求項１に記載の撮像装置。
9. 前記レンズ動作範囲算出部は、
   前記優先順位解析部の決定した最も優先度の高い顔に対応する被写体距離情報に基づいてフォーカスレンズ動作範囲を設定する処理を実行する構成であることを特徴とする請求項８に記載の撮像装置。
10. 前記レンズ動作範囲算出部は、
    前記優先順位解析部の決定した優先度順の複数の顔に対応する被写体距離情報に基づいて算出される複数のフォーカスレンズ動作範囲を含む範囲を最終的なフォーカスレンズ動作範囲として設定する処理を実行する構成であることを特徴とする請求項８に記載の撮像装置。
11. 前記撮像装置は、
    さらに、前記フォーカス制御部におけるフォーカスレンズ設定位置の決定に基づいて合焦成功と判断されたモニタ出力画像中の顔領域に合焦成功を示す合焦表示を行なう表示制御部を有することを特徴とする請求項１に記載の撮像装置。
12. 撮像装置において、オートフォーカス制御を実行する撮像装置制御方法であり、
    顔検出部において、撮像装置において入力する入力画像から顔領域を検出する顔検出ステップと、
    被写体距離算出部において、顔検出部の検出した顔の大きさに基づいて被写体距離を算出する被写体距離算出ステップと、
    レンズ動作範囲算出部において、前記被写体距離算出部の算出した被写体距離情報に基づいてフォーカス位置を推定し、フォーカスレンズの全稼動範囲より短いフォーカスレンズ動作範囲を設定するレンズ動作範囲算出ステップと、
    フォーカス制御部において、前記レンズ動作範囲算出部の設定したレンズ動作範囲内において、フォーカスレンズを移動させてフォーカスレンズ設定位置を決定するフォーカス制御ステップと、
    を有することを特徴とする撮像装置制御方法。
13. 前記被写体距離算出ステップは、
    顔検出部の検出した顔の大きさに基づく被写体距離算出処理において、人種、性別、年齢、体格の少なくともいずれかの被写体情報を入力し、入力した被写体情報に基づいて、被写体に応じた顔の大きさの基準値を適用した被写体距離算出処理を実行するステップであることを特徴とする請求項１２に記載の撮像装置制御方法。
14. 前記人種、性別、年齢、体格の少なくともいずれかの被写体情報は、撮像装置において入力する入力画像の画像解析部における解析結果として前記被写体距離算出部に入力される情報であることを特徴とする請求項１３に記載の撮像装置制御方法。
15. 前記人種、性別、年齢、体格の少なくともいずれかの被写体情報は、撮像装置におけるユーザ入力部を介して前記被写体距離算出部に入力される情報であることを特徴とする請求項１３に記載の撮像装置制御方法。
16. 前記被写体距離算出ステップは、
    被写体に応じた顔の大きさの基準値を適用した被写体距離算出処理を実行する構成であり、顔の大きさの基準値を、一つの値ではなく、ある値の範囲を持つ基準値として算出し、範囲を持つ基準値を適用して、範囲を持つ被写体距離を算出する処理を実行するステップであることを特徴とする請求項１２に記載の撮像装置制御方法。
17. 前記被写体距離算出ステップは、
    顔のテンプレートマッチング処理において発生する誤差を考慮して、被写体距離の範囲Ｄｆｎ〜Ｄｆｆを算出する処理を実行するステップであることを特徴とする請求項１２に記載の撮像装置制御方法。
18. 前記レンズ動作範囲算出ステップは、
    前記被写体距離算出部の算出した被写体距離情報に基づいて、撮像装置のデバイスに起因する誤差を考慮したフォーカスレンズ動作範囲を設定する処理を実行するステップであることを特徴とする請求項１２に記載の撮像装置制御方法。
19. 前記撮像装置制御方法は、さらに、
    優先順位解析部において、前記顔検出部の検出した複数の顔の優先順位を設定する優先順位解析ステップを有し、
    前記優先順位解析ステップは、
    顔の大きさ、または、顔の中央への近さ、または人種、性別、年齢、体格の少なくともいずれかの被写体情報を指標として顔の優先順位決定処理を実行するステップであり、
    前記レンズ動作範囲算出ステップは、
    前記優先順位解析部の決定した顔の優先順位情報に基づいてフォーカスレンズ動作範囲を設定する処理を実行するステップであることを特徴とする請求項１２に記載の撮像装置制御方法。
20. 前記レンズ動作範囲算出ステップは、
    前記優先順位解析部の決定した最も優先度の高い顔に対応する被写体距離情報に基づいてフォーカスレンズ動作範囲を設定する処理を実行するステップであることを特徴とする請求項１９に記載の撮像装置制御方法。
21. 前記レンズ動作範囲算出ステップは、
    前記優先順位解析部の決定した優先度順の複数の顔に対応する被写体距離情報に基づいて算出される複数のフォーカスレンズ動作範囲を含む範囲を最終的なフォーカスレンズ動作範囲として設定する処理を実行するステップであることを特徴とする請求項１９に記載の撮像装置制御方法。
22. 前記撮像装置制御方法は、さらに、
    表示制御部において、前記フォーカス制御部におけるフォーカスレンズ設定位置の決定に基づいて合焦成功と判断されたモニタ出力画像中の顔領域に合焦成功を示す合焦表示を行なう表示制御ステップを有することを特徴とする請求項１２に記載の撮像装置制御方法。
23. 撮像装置において、オートフォーカス制御を実行させるコンピュータ・プログラムであり、
    顔検出部において、撮像装置において入力する入力画像から顔領域を検出させる顔検出ステップと、
    被写体距離算出部において、顔検出部の検出した顔の大きさに基づいて被写体距離を算出させる被写体距離算出ステップと、
    レンズ動作範囲算出部において、前記被写体距離算出部の算出した被写体距離情報に基づいてフォーカス位置を推定し、フォーカスレンズの全稼動範囲より短いフォーカスレンズ動作範囲を設定させるレンズ動作範囲算出ステップと、
    フォーカス制御部において、前記レンズ動作範囲算出部の設定したレンズ動作範囲内において、フォーカスレンズを移動させてフォーカスレンズ設定位置を決定させるフォーカス制御ステップと、
    を実行させることを特徴とするコンピュータ・プログラム。