JP2005049854A - 対象決定装置及び撮像装置 - Google Patents
対象決定装置及び撮像装置 Download PDFInfo
- Publication number
- JP2005049854A JP2005049854A JP2004206947A JP2004206947A JP2005049854A JP 2005049854 A JP2005049854 A JP 2005049854A JP 2004206947 A JP2004206947 A JP 2004206947A JP 2004206947 A JP2004206947 A JP 2004206947A JP 2005049854 A JP2005049854 A JP 2005049854A
- Authority
- JP
- Japan
- Prior art keywords
- face
- unit
- image
- faces
- imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Exposure Control For Cameras (AREA)
- Automatic Focus Adjustment (AREA)
- Studio Devices (AREA)
Abstract
【課題】 撮像装置において予備撮像の段階で焦点制御を行うことなく、合焦の対象となる主要被写体を高速に検出すること。
【解決手段】 予め定められた任意（所定）の焦点情報に基づいて撮像された画像のみに対して顔検出を実行する。この顔検出の際に、人の顔の凹凸や器官により生じる、複数の特徴領域における統計量の相対的な値に基づいて人の顔を検出する。このため、たとえ顔検出に用いられている画像において顔がぼけて写っていたとしても、ある領域における統計量を取得することは可能であるため、このような顔を検出することが可能となる。
【選択図】 図１
【解決手段】 予め定められた任意（所定）の焦点情報に基づいて撮像された画像のみに対して顔検出を実行する。この顔検出の際に、人の顔の凹凸や器官により生じる、複数の特徴領域における統計量の相対的な値に基づいて人の顔を検出する。このため、たとえ顔検出に用いられている画像において顔がぼけて写っていたとしても、ある領域における統計量を取得することは可能であるため、このような顔を検出することが可能となる。
【選択図】 図１
Description
本発明は、静止画像や動画像などを撮像する装置（デジタルスチルカメラやデジタルビデオカメラ等）への適用が有効な技術に関する。
撮像装置には、特定の被写体に対して焦点を合わせるオートフォーカスや、特定の被写体に応じて露出制御を実行する自動露出制御などの技術が搭載される。従来は、フレーム内で予め規定された特定の位置（例えばフレーム内の中央点）に存在する被写体に対してオートフォーカスや自動露出制御が実施されていた。しかし、ユーザのフレーミングの好みによっては、ユーザにとって注目したい被写体、即ちオートフォーカスや自動露出制御の対象としたい被写体がフレームの中央に位置するとは限らない。この場合、ユーザは、注目したい被写体をフレーム内の特定の位置に来るように撮像装置を操作し、そこでオートフォーカスや自動露出制御を行った後に、好みに応じたフレーミングを実施しなければならず、このような処理を行うことは煩わしい作業であった。
このような問題を解決する技術として、合焦させる対象や露出制御の対象を特定するために、予め撮像を実施する（以下、このような撮像を「予備撮像」と呼ぶ）技術がある。予備撮像を行う技術では、予備撮像において撮像された画像を用いて、合焦や露出制御の対象が特定される。
予備撮像を行う技術の具体的な例として、被写界（画像内）の人物の位置／範囲に関わらず画像内の人物の顔に合焦させる技術がある（特許文献１参照）。同様に、画像内の人物の位置／範囲に関わらず画像内の人物を適正露光とする技術がある（特許文献２参照）。
上記の従来技術では、画面内において複数の顔が検出された場合には、中央部に近い顔の少なくとも一部を測距エリアとして自動合焦制御を行われていた。また、同じように画面内において複数の顔が検出された場合の技術として、自動的に画面内の全員が被写界深度に入るようにした技術もある（特許文献３参照）。
特開２００３−１０７３３５号公報
特開２００３−１０７５５５号公報
特開２００３−０９２６９９号公報
しかしながら、従来の技術（例えば特許文献１〜３に記載の技術）には以下のような問題があった。即ち、予備撮像による画像において主要被写体に対してそもそも焦点が大きくずれている場合、主要被写体である顔を検出することができない可能性があるという問題があった。
このような問題を解決する方法として、予備撮像の段階で焦点制御を行うことにより、主要被写体を検出可能な画像を撮像する方法がある。具体的には、例えば予備撮像による複数の画像から主要被写体を検出する方法がある。この方法では、予備撮像の際に複数の焦点に合わせた画像が撮像される。そして、この複数の画像から主要被写体の顔検出が実施される。このため、ある画像では主要被写体の顔がぼやけているために検出ができない場合であっても、他の画像において主要被写体の顔を検出することが可能となる。
しかし、このような方法では、複数の画像について顔検出を実行する必要がある。また、撮像装置において複数の焦点に合わせた画像を撮像するためには、焦点の調節を行う必要がある。このため、従来の方法に比べて、合焦処理に時間を要してしまうという問題があった。
本発明では、このような問題を解決し、撮像装置において予備撮像の段階で焦点制御を行うことなく、合焦や露出制御の対象となる主要被写体を高速に検出することを目的とする。
〔第一の態様〕
以下の説明において、肌の色とはあらゆる人の肌の色を意味し、特定の人種の肌の色には限定されない。
以下の説明において、肌の色とはあらゆる人の肌の色を意味し、特定の人種の肌の色には限定されない。
上記問題を解決するため、本発明は以下のような構成をとる。本発明の第一の態様は、対象決定装置であって、顔検出手段と決定手段とを含む。
顔検出手段は、任意の焦点情報に基づいて撮像された画像を処理対象の画像とし、前記処理対象の画像から人の顔を検出する。任意の焦点情報とは所定の焦点情報であっても良い。ここで、所定の焦点情報とは、予め一つに定められた焦点情報であり、動的に変化する焦点情報ではない。このため、所定の焦点情報に基づいて画像を撮像する装置、即ち顔検出手段に入力される画像を撮像する撮像装置では、この所定の焦点情報に基づいた焦点制御が予め実施されていることが望ましい。例えば、このような焦点情報に基づいてフォーカスレンズなどの制御が予め実施されていることが望ましい。
このように撮像装置が予め制御されていることにより、顔検出手段に入力される画像の撮像の際に焦点制御を改めて実施する必要が無い。従って、顔検出手段に入力される画像の撮像に要する時間が短縮される。
しかし、このように所定の焦点情報に基づいて撮像された画像では、画像中の被写体に焦点が合っていない可能性がある。このため、顔検出手段に入力される画像において、本来は検出されるべき顔の画像がぼけて不鮮明に撮像される可能性がある。
そこで、本発明の第一の態様が含む顔検出手段は、不鮮明に撮像された顔の画像をも検出するように構成される。具体的には、顔検出手段は、人の顔の凹凸や器官により生じる、複数の特徴領域における統計量の相対的な値に基づいて人の顔を検出する。即ち、本発明の第一の態様が含む顔検出手段は、画像中のエッジなどにより構成される形状に基づくのではなく、特徴領域における統計量の相対的な値に基づいて顔の検出を行う。特徴領域における統計量とは、特徴領域内の画素値の合計，平均，分散などの値である。相対的な値とは、例えば比や差分や統計距離や相互エントロピー等の値である。また、特徴領域における濃淡値の相対的な値に基づいて顔の検出が実行されても良い。
不鮮明に撮像された画像において、エッジなどにより構成される形状を認識することは困難である。しかし、ある特徴領域における統計量は、例え不鮮明に撮像された画像であっても取得することが可能である。このため、本発明の第一の態様が含む顔検出手段は、所定の焦点情報に基づいて撮像された画像（処理対象の画像）から人の顔を検出することが可能となる。
決定手段は、顔検出手段によって検出された顔に基づいて、撮像が実施される際に焦点を合わせる被写体及び／又は露出制御を行う対象となる被写体を決定する。撮像が実施さ
れる際に焦点を合わせる被写体及び露出制御を行う対象となる被写体とは、顔検出手段によって検出された顔そのものであっても良いし、検出された顔を構成する各部位（目，鼻，口，耳，額など）であっても良い。
れる際に焦点を合わせる被写体及び露出制御を行う対象となる被写体とは、顔検出手段によって検出された顔そのものであっても良いし、検出された顔を構成する各部位（目，鼻，口，耳，額など）であっても良い。
このように構成された本発明の第一の態様における対象決定装置では、任意の焦点情報（所定の焦点情報）に基づいて撮像された画像から人の顔が検出され、検出された顔に基づいて合焦の対象となる被写体や露出制御を行う対象となる被写体が決定される。上記のように、所定の焦点情報に基づいて撮像される画像は、予め撮像装置を所定の焦点情報に従って焦点制御しておくことにより、高速に撮像されることが可能である。そして、この画像から人の顔が検出され、合焦の対象となる被写体や露出制御を行う対象となる被写体が決定される。
このため、本発明の第一の態様における対象決定装置によれば、撮像装置において予備撮像の段階で焦点制御を行うことなく、合焦や露出制御を行う対象となる主要被写体（顔や顔の部位など）を高速に検出し決定することが可能となる。
また、本発明の第一の態様における対象決定装置によれば、撮像装置において予備撮像による画像を複数枚取得するように構成された場合であっても、より少ない予備撮像画像から顔を検出することが可能となる。従って、予備撮像に要する時間や顔検出に要する時間を削減することが可能となる。
本発明の第一の態様における顔検出手段は、以下のように人の顔を検出するように構成されても良い。即ち、まず撮像された画像において注目領域が決定される。注目領域とは、撮像された画像と同じ大きさの領域又はより小さい領域である。
次に、顔検出手段は、この注目領域内の特徴領域である第一の領域と第二の領域との統計量の相対的な値を求める。第一の領域と第二の領域とは、それぞれ注目領域内の異なる領域である。
次に、顔検出手段は、求められた統計量の相対的な値に基づいて、注目領域に人の顔が含まれるか否かを判断する。顔検出手段は、例えばある閾値と統計量の相対的な値とを比較することにより、この判断を行うように構成されても良い。また、顔検出手段は、統計量の相対的な値と、ある統計量の相対的な値が算出された場合に注目領域に人の顔が含まれるか否かを示す値とを対応付けて記憶するテーブルを参照することにより、この判断を行うように構成されても良い。そして、顔検出手段は、この判断に従って人の顔を検出する。
本発明の第一の態様における決定手段は、顔検出手段が複数の顔を検出した場合に、以下のように焦点を合わせる被写体や露出制御を行う対象となる被写体を決定するように構成されても良い。即ち、決定手段は、まず顔検出手段によって検出された複数の顔それぞれの画像情報を元に一つの顔を決定する。顔の画像情報とは、顔の画像から得られる情報を示し、例えば顔の向き、顔の画像の大きさ、画像内での顔の位置、周辺の顔の密度などである。
周辺の顔の密度とは、例えば検出された顔の一定の周囲（一定の周辺領域）に存在する顔の数によって示される。この値が大きければ、周囲に多くの顔が存在することとなり、例えば検出された顔の人が集団に含まれていることを示す。一方、この値が小さければ、周囲に存在する顔が少なく、例えば検出された顔の人が集団とは離れた場所に、単独又は数人でいることを示す。
そして、決定手段は、決定された顔に基づいて、焦点を合わせる被写体及び／又は露出制御を行う対象となる被写体を決定する。
このように構成された本発明の第一の態様では、複数の顔の画像情報に基づいて、いずれの顔に基づいて焦点を合わせる被写体及び／又は露出制御を行う対象となる被写体を決定するかが判断される。このため、顔検出手段によって複数の顔が検出された場合であっても、ユーザが選択を実施することなく、決定手段によって複数の顔から一つの顔が選択される。
本発明の第一の態様における決定手段は、複数の顔それぞれの画像の大きさを比較し、その大きさが最も大きい顔に基づいて焦点を合わせる被写体及び／又は露出制御を行う対象となる被写体を決定するように構成されても良い。
複数の顔のうち最も大きい画像の顔は、一般的に撮像装置に対して最も近い位置にある。このため、このように構成された本発明の第一の態様によれば、ユーザが顔の選択を実施することなく、撮像装置に対して最も近い位置にある顔が決定され、この顔に基づいて焦点を合わせる被写体や露出制御を行う対象となる被写体が決定される。
撮像装置にとって手前に位置する物体ほど画像がぼけてしまうため、一般的には撮像装置にとって手前に位置する物体に焦点を合わせる必要がある。また、撮像装置にとって手前に位置する顔は、奥に位置する顔よりも、撮像を行うユーザにとって主要な被写体を含む又は主要な被写体そのものである可能性（以下、「顔の重要性」と表現する）が高い。このような点において、撮像装置に対して最も近い位置にある顔に基づいて焦点を合わせる被写体や露出制御を行う対象となる被写体を決定することは有効である。
本発明の第一の態様における決定手段は、各顔について、顔の向き、顔の大きさ、画像内での位置、又は周辺の顔の密度のいずれか一つ又は複数に基づいて得点を算出するように構成されても良い。このとき、決定手段は、この算出された得点を画像情報として用いる。
このように構成された本発明の第一の態様における対象決定装置では、顔の向き、顔の大きさ、画像内での位置、又は周辺の顔の密度などによって、各顔が評価される。例えば、顔の向きが正面を向いている顔は、脇を向いている顔よりも顔の重要性が高いと評価される。また、例えば、顔の大きさが大きい顔は、小さい顔よりも顔の重要性が高いと評価される。また、例えば、画像内での位置が中央に近い顔は、中央から離れた領域に位置する顔よりも顔の重要性が高いと評価される。また、周辺の顔の密度が高い顔は、顔の密度が低い顔よりも顔の重要性が高いと評価される。ただし、この評価の高低は、設計者やユーザによってどのように設定されても良い。
このように構成された本発明の第一の態様によれば、このような評価の高低の設定に応じて、得点の高い、即ち重要性の高い顔が選択される。
本発明の第一の態様における決定手段は、顔検出手段が複数の人の顔を検出した場合に、以下のように焦点を合わせる被写体及び／又は露出制御の対象となる被写体を決定するように構成されても良い。即ち、決定手段は、顔検出手段によって検出された複数の顔の実物それぞれに対して測距された結果に従って、焦点を合わせる被写体及び／又は露出制御を行う対象となる被写体を決定する。この測距は、例えば撮像装置に備えられた測距手段や測距装置により実施されても良いし、対象決定装置に備えられる測距手段により実施されても良い。ただし、この測距は、撮像装置と顔の実物との距離を測る必要があるため、撮像装置と対象決定装置とが離れている場合には、対象決定装置に備えられた測距手段
による実施は行われない。
による実施は行われない。
測距は、例えば顔の実物に対して赤外線を射出することによって実施される（アクティブ方式）。また、測距は、このようなアクティブ方式以外の方式（例えばパッシブ方式）が適用されても良い。そして、決定手段は、その距離が最も小さい顔に基づいて焦点を合わせる被写体及び／又は露出制御を行う対象となる被写体を決定する。このように、撮像装置と顔の実物との距離が最も小さい顔に基づいて焦点を合わせる被写体や露出制御を行う対象となる被写体を決定することによる効果は、上述した通りである。
〔第二の態様〕
本発明による第二の態様は、撮像装置であって、撮像手段、顔検出手段、決定手段、情報取得手段、及び画像記憶手段を含む。
本発明による第二の態様は、撮像装置であって、撮像手段、顔検出手段、決定手段、情報取得手段、及び画像記憶手段を含む。
撮像手段は、所定の焦点情報又は情報取得手段によって取得される焦点情報及び／又は露出制御情報に基づいた画像を撮像する。所定の焦点情報とは、予め一つに定められた焦点情報であり、動的に変化する焦点情報ではない。一方、情報取得手段によって取得される焦点情報とは、予め定められた焦点情報ではなく、動的に変化する焦点情報である。より具体的には、顔検出手段、決定手段、及び情報取得手段により決定される焦点情報である。即ち、検出された顔に基づいて焦点を合わせる被写体が決定され、この決定された被写体に対して焦点を合わせるための焦点情報である。
撮像手段は、情報取得手段により出力される焦点情報が無い場合には、所定の焦点情報に基づいた画像を取得できる状態に制御される。そして、撮像の指示があった場合に、所定の焦点情報に基づいた画像を取得する。一方、撮像手段は、情報取得手段により焦点情報又は露出制御情報が出力されている場合、これらの情報に基づいた画像を取得できる状態に制御される。そして、撮像の指示があった場合に、撮像手段はこの焦点情報又は露出制御情報に基づいた画像を取得する。
顔検出手段は、所定の焦点情報に基づき処理対象の画像から、人の顔の凹凸や器官により生じる、複数の特徴領域における統計量の相対的な値に基づいて人の顔を検出する。決定手段は、顔検出手段によって検出された顔に基づいて、撮像が実施される際に焦点を合わせる被写体及び／又は露出制御を行う対象となる被写体を決定する。本発明の第二の態様における顔検出手段及び決定手段は、基本的に、本発明の第一の態様における顔検出手段及び決定手段と同様の構成や作用を有する。
情報取得手段は、決定手段によって決定された被写体に焦点を合わせるための焦点情報及び／又は決定手段によって決定された被写体を対象として露出制御を行うための露出制御情報を取得する。
画像記憶手段は、情報取得手段によって取得された焦点情報及び／又は露出制御情報に基づき撮像手段によって撮像された画像を記憶する。即ち、情報取得手段によって焦点情報や露出制御情報が取得されると、この焦点情報や露出制御情報に基づいて撮像手段が焦点制御や露出制御を実施する。この焦点制御により、決定手段によって決定された被写体に対し合焦される。また、この露出制御により、決定手段によって決定された被写体に応じた露出制御が実施される。そして、撮像手段は撮像を実行し、撮像された画像のデータを画像記憶手段が記憶する。
また、本発明の第二の態様は、撮像装置から任意の被写体までの距離を測距する測距手段をさらに備えるように構成されても良い。ただし、情報取得手段が、被写体の実物と撮像装置との距離を測距することにより焦点情報を取得するように構成される場合、情報取
得手段をもって測距手段の代替手段としても良い。即ち、この場合は、情報取得手段が測距手段として動作する。
得手段をもって測距手段の代替手段としても良い。即ち、この場合は、情報取得手段が測距手段として動作する。
このように本発明の第二の態様が構成された場合、決定手段は、顔検出手段が複数の人の顔を検出した場合に、複数の顔の実物それぞれに対して測距手段が測距した結果に従い、その距離が最も小さい顔に基づいて焦点を合わせる被写体及び／又は露出制御を行う対象となる被写体を決定するように構成される。
本発明の第二の態様では、本発明の第一の態様である対象決定装置が撮像装置に備えられる。このため、撮像装置として、本発明の第一の態様と同様の効果を得ることが可能となる。
〔第三の態様〕
本発明の第三の態様は、対象決定方法であって、以下の各ステップを含む方法である。まず、情報処理装置が、任意の焦点情報に基づいて撮像された画像から、人の顔の凹凸や器官により生じる、複数の特徴領域における統計量の相対的な値に基づいて人の顔を検出する。そして、情報処理装置が、検出された顔に基づいて、撮像が実施される際に焦点を合わせる被写体及び／又は露出制御を行う対象となる被写体を決定する。このように構成された本発明の第三の態様は、本発明の第一の態様と同様の効果を奏する。
本発明の第三の態様は、対象決定方法であって、以下の各ステップを含む方法である。まず、情報処理装置が、任意の焦点情報に基づいて撮像された画像から、人の顔の凹凸や器官により生じる、複数の特徴領域における統計量の相対的な値に基づいて人の顔を検出する。そして、情報処理装置が、検出された顔に基づいて、撮像が実施される際に焦点を合わせる被写体及び／又は露出制御を行う対象となる被写体を決定する。このように構成された本発明の第三の態様は、本発明の第一の態様と同様の効果を奏する。
〔第四の態様〕
本発明の第四の態様は、撮像方法であって、以下の各ステップを含む方法である。以下、この各ステップを列挙する。情報処理装置が、撮像装置に対し、所定の焦点情報又は情報取得手段によって取得される焦点情報に基づいた画像を撮像することを指示するステップ。情報処理装置が、所定の焦点情報に基づき撮像装置によって撮像された画像から、人の顔の凹凸や器官により生じる、複数の特徴領域における統計量の相対的な値に基づいて人の顔を検出する検出ステップ。情報処理装置が、検出された顔に基づいて、撮像が実施される際に焦点を合わせる被写体及び／又は露出制御を行う対象となる被写体を決定する決定ステップ。情報処理装置が、決定された被写体に焦点を合わせるための焦点情報及び／又は決定された被写体を対象として露出制御を行うための露出制御情報を取得するステップ。情報処理装置が、記憶装置に対し、取得された焦点情報及び／又は露出制御情報に基づき撮像装置によって撮像された画像を記憶することを指示するステップ。
本発明の第四の態様は、撮像方法であって、以下の各ステップを含む方法である。以下、この各ステップを列挙する。情報処理装置が、撮像装置に対し、所定の焦点情報又は情報取得手段によって取得される焦点情報に基づいた画像を撮像することを指示するステップ。情報処理装置が、所定の焦点情報に基づき撮像装置によって撮像された画像から、人の顔の凹凸や器官により生じる、複数の特徴領域における統計量の相対的な値に基づいて人の顔を検出する検出ステップ。情報処理装置が、検出された顔に基づいて、撮像が実施される際に焦点を合わせる被写体及び／又は露出制御を行う対象となる被写体を決定する決定ステップ。情報処理装置が、決定された被写体に焦点を合わせるための焦点情報及び／又は決定された被写体を対象として露出制御を行うための露出制御情報を取得するステップ。情報処理装置が、記憶装置に対し、取得された焦点情報及び／又は露出制御情報に基づき撮像装置によって撮像された画像を記憶することを指示するステップ。
また、本発明の第四の態様は、情報処理装置が、測距装置に対し、撮像装置から任意の被写体までの距離を測距することを指示するステップをさらに含むように構成されても良い。この場合、情報処理装置は、決定ステップにおいて、検出ステップで複数の人の顔が検出された場合に、複数の顔の実物それぞれに対して測距装置が測距した結果に従い、その距離が最も小さい顔に基づいて前記焦点を合わせる被写体及び／又は露出制御を行う対象となる被写体を決定する。
このように構成された本発明の第四の態様では、本発明の第三の態様における対象決定方法が、撮像方法に含まれるステップとして実行される。このため、本発明の第四の態様では、本発明の第三の態様と同様の効果を得ることが可能となる。
〔第五の態様〕
本発明の第五の態様は、対象決定装置であって、検出手段と決定手段とを含む。検出手段は、任意の焦点情報に基づいて撮像された画像から、人の肌の色を有する被写体を検出する。人の肌の色を有する被写体の例として、人の顔や手や体などがある。このように検出手段が構成されることにより、人物の顔を正確に検出することはできないが、検出処理に要する時間を削減することが可能となる。また、検出手段の実装に要する時間やコスト
を削減することも可能となる。
本発明の第五の態様は、対象決定装置であって、検出手段と決定手段とを含む。検出手段は、任意の焦点情報に基づいて撮像された画像から、人の肌の色を有する被写体を検出する。人の肌の色を有する被写体の例として、人の顔や手や体などがある。このように検出手段が構成されることにより、人物の顔を正確に検出することはできないが、検出処理に要する時間を削減することが可能となる。また、検出手段の実装に要する時間やコスト
を削減することも可能となる。
決定手段は、検出手段によって検出された被写体に基づいて、撮像が実施される際に焦点を合わせる被写体及び／又は露出制御を行う対象となる被写体を決定する。
第五の態様では、検出手段は、人の肌の色を有する被写体を検出する。即ち、本発明の第五の態様が含む検出手段は、本発明の第一の態様と同様に、画像中のエッジなどにより構成される形状に基づいた検出を行わない。
不鮮明に撮像された画像において、エッジなどにより構成される形状を認識することは困難である。しかし、ある特定の色を有する被写体は、例え不鮮明に撮像された画像からであっても検出することが可能である。このため、本発明の第五の態様が含む検出手段は、所定の焦点情報に基づいて撮像された画像から、人の顔である可能性がある被写体、即ち人の肌の色を有する被写体を検出することが可能となる。
〔第一の態様の変形〕
本発明の第一の態様は、任意の焦点情報に基づいて撮像された複数フレームを含む時系列画像から、所定のフレームの画像を処理対象の画像として取得するフレーム取得手段をさらに含むように構成されても良い。このように構成された場合、第一の態様における顔検出手段は、フレーム取得手段によって取得された所定のフレームの画像を処理対象とする。
本発明の第一の態様は、任意の焦点情報に基づいて撮像された複数フレームを含む時系列画像から、所定のフレームの画像を処理対象の画像として取得するフレーム取得手段をさらに含むように構成されても良い。このように構成された場合、第一の態様における顔検出手段は、フレーム取得手段によって取得された所定のフレームの画像を処理対象とする。
このように構成された本発明の第一の態様では、複数フレームを含む時系列画像について、本発明の第一の態様と同様の作用・効果を得ることができる。
また、本発明の第一の態様における決定手段は、顔検出手段で複数の人の顔が検出されたときに、当該複数の人の顔の位置に基づいて、当該複数の人の顔から、撮像が実施される際に焦点を合わせる対象となる顔及び／又は露出制御を行う対象となる顔を決定するように構成されても良い。このように構成されることにより、後述する本発明の第六の態様と同様の作用・効果を得ることができる。
また、本発明の第一の態様における決定手段は、顔検出手段で複数の人の顔が検出されたときに、検出された顔の数を基準としてその真ん中に位置する人の顔を、撮像が実施される際に焦点を合わせる対象となる顔及び／又は露出制御を行う対象となる顔として決定するように構成されても良い。このように構成されることにより、後述する本発明の第七の態様と同様の作用・効果を得ることができる。
また、本発明の第一の態様における決定手段は、顔検出手段で複数の人の顔が検出されたときに、検出された複数の人の顔を、複数の集合に分類する分類手段と、複数の集合それぞれについて、当該集合に含まれる人の顔から、撮像が実施される際に焦点を合わせる対象となる顔及び／又は露出制御を行う対象となる顔を決定する暫定決定手段と、暫定決定手段によって決定された顔の中から、対象となる顔を最終的に決定する最終決定手段とを含むように構成されても良い。このように構成されることにより、後述する本発明の第八の態様と同様の作用・効果を得ることができる。
また、本発明の第一の態様は、顔検出手段による検出結果に基づいて、撮像が実施される際に焦点を合わせる対象となる顔及び／又は露出制御を行う対象となる顔を決定するための選択ブロックを決定するブロック決定手段をさらに含むように構成されても良い。このように構成された場合、決定手段は、選択ブロックに含まれる顔から、対象となる顔を決定するように構成される。このように構成されることにより、後述する本発明の第九の
態様と同様の作用・効果を得ることができる。
態様と同様の作用・効果を得ることができる。
また、本発明の第一の態様は、顔検出手段で複数の人の顔が検出されたときに、検出された人の顔のうち最大の顔を判断する判断手段と、検出された顔から、最大の顔、及びこの最大の顔の大きさを基準とした所定の範囲内の大きさを有する顔を選択する選択手段とをさらに含むように構成されても良い。このように構成された場合、決定手段は、選択された顔の中から、撮像が実施される際に焦点を合わせる対象となる顔及び／又は露出制御を行う対象となる顔を決定するように構成される。このように構成されることにより、後述する本発明の第十の態様と同様の作用・効果を得ることができる。
また、本発明の第一の態様は、前記顔検出手段で複数の人の顔が検出されたときに、検出された複数の人の顔を、それぞれの位置に基づいて複数の集合に分類する分類手段と、複数の集合の中から、撮像が実施される際に焦点を合わせる対象となる顔及び／又は露出制御を行う対象となる顔を決定するための選択集合を決定する集合決定手段とをさらに含むように構成されても良い。このように構成された場合、決定手段は、集合決定手段によって決定された選択集合に含まれる顔から、対象となる顔を決定するように構成される。
〔第二の態様の変形〕
本発明の第二の態様は、撮像手段が、複数フレームを含む時系列画像を撮像するように構成されても良い。本発明の第二の態様は、このように構成された場合、撮像手段によって撮像された複数フレームを含む時系列画像から、所定のフレームの画像を取得するフレーム取得手段をさらに含むように構成される。また、顔検出手段は、フレーム取得手段により取得された画像から人の顔を検出するように構成される。また、画像記憶手段は、撮像手段によって撮像された時系列画像を記憶するように構成される。
本発明の第二の態様は、撮像手段が、複数フレームを含む時系列画像を撮像するように構成されても良い。本発明の第二の態様は、このように構成された場合、撮像手段によって撮像された複数フレームを含む時系列画像から、所定のフレームの画像を取得するフレーム取得手段をさらに含むように構成される。また、顔検出手段は、フレーム取得手段により取得された画像から人の顔を検出するように構成される。また、画像記憶手段は、撮像手段によって撮像された時系列画像を記憶するように構成される。
このように構成された本発明の第二の態様では、複数フレームを含む時系列画像について、本発明の第二の態様と同様の作用・効果を得ることができる。
また、本発明の第二の態様は、決定手段によって決定された人の顔を、他の顔と区別して表示する表示手段をさらに含むように構成されても良い。表示手段は、例えば決定された人の顔の周囲に枠を表示することにより、他の顔と区別して表示する。また、表示手段は、例えば決定された人の顔の周囲に、他の顔の周囲に表示される枠と異なる色や太さや形の枠を表示することにより、他の顔と区別して表示する。また、表示手段は、例えば決定された人の顔に対して他の顔と異なる画像処理を施して表示することにより、他の顔と区別して表示する。表示手段がこのような表示を行うことにより、ユーザはどの顔に基づいて合焦の対象となる被写体などが決定されているのかを容易に判断することが可能となる。
〔第六の態様〕
ところで、従来の予備撮像を行うことにより合焦や露出制御の対象を決定する技術には、以下のような問題点もあった。予備撮像における画像内において検出される人の顔の数は一つとは限らない。検出される人の顔の数が一つである場合には、無条件でこの顔に対して合焦や露出制御を行えば良かった。しかし、予備撮像における画像内において複数の人物の顔が検出された場合にいずれの顔に対して合焦や露出制御を行うべきか、これまで十分に考慮されていなかった。例えば、フレーム中央に写っている人の顔が、ユーザが被写体として望んでいる顔であるという方針の元に、フレーム中央に最も近い人の顔に対して合焦や露出制御を行う技術はあった。しかし、このような技術は、ユーザが被写体として最も望んでいる顔はフレーム内に一つであるという前提に基づいており、フレーム内に同等に被写体として望まれる顔が複数存在する場合には的確に対処できていなかった。
ところで、従来の予備撮像を行うことにより合焦や露出制御の対象を決定する技術には、以下のような問題点もあった。予備撮像における画像内において検出される人の顔の数は一つとは限らない。検出される人の顔の数が一つである場合には、無条件でこの顔に対して合焦や露出制御を行えば良かった。しかし、予備撮像における画像内において複数の人物の顔が検出された場合にいずれの顔に対して合焦や露出制御を行うべきか、これまで十分に考慮されていなかった。例えば、フレーム中央に写っている人の顔が、ユーザが被写体として望んでいる顔であるという方針の元に、フレーム中央に最も近い人の顔に対して合焦や露出制御を行う技術はあった。しかし、このような技術は、ユーザが被写体として最も望んでいる顔はフレーム内に一つであるという前提に基づいており、フレーム内に同等に被写体として望まれる顔が複数存在する場合には的確に対処できていなかった。
このような問題は、以下のような構成により解決することができる。本発明の第六の態様は対象決定装置であって検出手段と決定手段とを含む。本発明の第六の態様は、検出される顔の位置に応じて、合焦や露出制御を行うべき対象となる顔を決定する。なお、本発明の第六の態様によって決定された顔は、合焦や露出制御に限らずどのような処理の対象とされても良い。例えば、色補正（ホワイトバランスの補正）や、輪郭強調などの処理を行う対象とされても良い。
具体的には、検出手段は、入力された画像から人の顔を検出する。検出手段は、画像中から複数の人の顔を検出することが可能な技術であれば、既存のどのような顔検出技術が適用されても良い。例えば、肌の色を有する領域が顔の領域として検出されても良い。他の例として、顔や顔の部位のテンプレートを用いた検出技術や、濃淡差に基づいて顔の領域を検出する技術などがある。
決定手段は、検出手段において複数の人の顔が検出されたときに、当該複数の人の顔の位置に基づいて、当該複数の人の顔から、撮像が実施される際に焦点を合わせる対象となる顔及び／又は露出制御を行う対象となる顔を決定する。決定手段は、個々の顔の位置を独立して考慮することにより決定を行うのではなく、複数の顔の位置に基づいて決定を行う。即ち、決定手段は、少なくとも複数の顔の相対的な位置関係に基づいて決定を行う。決定手段は、顔の位置を、顔に含まれる点の位置として捉えても良いし、顔の領域の位置として捉えても良い。
なお、決定手段によって決定された顔の一部（例：目，鼻，額，口，耳）に対して合焦や露出制御が行われるように構成されても良い。
本発明の第六の態様によれば、検出された複数の顔の位置に基づいて、合焦や露出制御の対象となる顔が決定される。このため、予備撮像された画像から、合焦や露出制御の対象とすべき顔の数よりも多くの顔が検出された場合であっても、所定の数の顔を決定することが可能となる。
また、検出された各々の顔の位置について独立して考慮するのではなく、複数の顔の相対的な位置に基づいて、合焦や露出制御の対象となる顔が決定される。このため、検出された複数の顔の状況（例：顔の密集度合い，顔の密集している位置）に応じて、合焦や露出制御の対象となる顔が決定される。このため、検出された複数の顔の状況に応じた合焦処理や露出制御を行う事が可能となる。
次に、本発明の第六の態様における決定手段のより具体的な構成について説明する。本発明の第六の態様における決定手段は、中心決定手段と顔決定手段とを含むように構成されても良い。
中心決定手段は、検出手段において検出された複数の人の顔の位置に基づいて、これら複数の人の顔の位置の中心を決定する。ここで言う中心とは、概念的な中心を示す。例えば、ある３点について中心と言った場合、外心や内心や垂心や重心など複数の概念的な中心を示す。このように、ここで言う中心とは、ある概念に従って求められる真ん中を示す。
具体的には、中心決定手段は、複数の人の顔の位置に対して外接する多角形の中心を求めるように構成されても良い。このとき、多角形はあらかじめ決められた数の頂点を有する多角形であっても良い。この場合、生成される多角形は、必ずしも全ての人の顔を頂点として有する必要はない。
例えば、外接する多角形が三角形である場合、中心決定手段は、求められた三角形の外心，内心，垂心，重心のいずれかを中心として取得する。
また、例えば、外接する多角形が四角形である場合、中心決定手段は、求められた四角形の対角線の交点を中心として取得する。また、例えば、外接する多角形が四角形である場合、中心決定手段は、この四角形を二つの三角形に分割し、それぞれの三角形について外心，内心，垂心，重心のいずれかを取得し、取得された２点に基づいて中心を取得するように構成されても良い。
また、例えば、外接する多角形の頂点の数が５点以上である場合、中心決定手段は、外接する多角形を複数の三角形に分割し、各三角形について外心，内心，垂心，重心のいずれかを取得し、取得された点を用いて新たな多角形を構成し、この多角形について上記の処理を繰り返すことによって中心を取得するように構成されても良い。
また、中心決定手段は、複数の人の顔の位置の重心を中心として決定するように構成されても良い。
次に、顔決定手段の構成について説明する。顔決定手段は、中心決定手段によって求められた中心の位置に基づいて、対象となる顔を決定する。顔決定手段は、撮像が実施される際に焦点を合わせる対象となる顔及び／又は露出制御を行う対象となる顔の数に従って、対象となる顔を決定する。
具体的には、顔決定手段は、中心の最も近くに位置する人の顔を対象となる顔として決定するように構成されても良い。
また、顔決定手段は、中心から所定の距離内に位置する顔の中から所定の基準に従って対象となる顔を決定するように構成されても良い。所定の基準とは、例えば顔の大きさに基づいたもの（例：最も大きな顔を決定するという基準，中間の大きさの顔を決定するという基準，最小の顔を決定するという基準）であっても良いし、画像中における顔の位置に基づいたもの（例：画像の中央に最も近い顔という基準）であっても良いし、顔の向きに基づいたもの（例：正面を向いている顔という基準）であっても良いし、顔らしさに基づいたもの（例：顔らしさの度合いを示す量が最も大きな顔を決定するという基準）であても良いし、顔から推定される性別に基づいたもの（例：男と推定された顔を決定するという基準，女と推定された顔を決定するという基準）であっても良いし、顔から推定される年代に基づいたもの（最も若い年代と推定された顔を決定するという基準，中間の年代と推定された顔を決定するという基準）であっても良いし、その他どのような基準であっても良い。また、所定の基準とは、上記した基準を適宜複数組み合わせたものであっても良い。
このように構成された本発明の第六の態様では、複数の顔の相対的な位置の基準として、複数の顔の位置の中心に基づき、合焦や露出制御の対象となる顔が決定される。例えば、複数の顔の略中心に位置する顔が、合焦や露出制御の対象とすべき顔として決定される。集団が撮影される状況（複数の顔が密集している状況）においては、ユーザは、その集団の中央付近の顔に対して合焦や露出制御を（無意識のうちに）行う場合が多い。このため、そのようなユーザのマニュアルによる操作を自動的に実現することで、ユーザの手間を省くことが可能となる。従って、オートフォーカスや自動露出制御において、集団における複数の顔の中央付近に位置する顔に対して合焦や露出制御を行うことが一般的に望ましい。そして、上記のように構成された本発明の第六の態様によれば、上記のような望ましい制御を自動的に行うことが可能となり、ユーザの手間を省くことが可能となる。
また、本発明の第六の態様における決定手段は、複数の人の顔のうち最下方に位置する顔を前記対象となる顔として決定するように構成されても良い。なお、最下方の顔とは厳密に最下方に位置する顔である必要はなく、例えば下から２番目に位置する顔であっても、下から３番目に位置する顔であっても良い。人の顔が縦に並ぶ状態で集合写真が撮像される場合、一般的に下方に位置する顔ほど撮像装置に対する距離が近い顔となる。例えば、前列の者がかがみ、後列の者が立って写真を撮像する場合に上記の状態となる。また、例えば、ひな壇を使用して集合写真が撮像された場合に上記の状態となる。このため、最下方に位置する顔が、合焦や露出制御の対象の顔とされることにより、撮像装置に最も近い顔に対して合焦や露出制御が実行される可能性が高くなる。
本発明の第六の態様は、分類手段と集合決定手段とをさらに含むように構成されても良い。分類手段は、検出手段で複数の人の顔が検出されたときに、検出された複数の人の顔を、それぞれの位置に基づいて複数の集合に分類する。より具体的には、分類手段は、一般的なクラスタリング手法を用いることにより、画像中の位置が近い顔同士が同じ集合に含まれるように、検出された複数の顔を複数の集合に分類する。
集合決定手段は、分類手段によって分類された複数の集合の中から、合焦や露出制御の対象となる顔を決定するための集合（即ち、合焦や露出制御の対象となる顔を含む集合：「選択集合」と称する）を決定（選択）する。即ち、最終的に集合決定手段によって決定された選択集合に含まれる顔から、合焦や露出制御の対象となる顔が決定される。
集合決定手段は、どのような基準に基づいて選択集合を決定しても良い。例えば、集合決定手段は、各集合に含まれる顔の数に基づいて選択集合を決定しても良いし、各集合に含まれる複数の顔の位置の中心に基づいて選択集合を決定しても良いし、各集合に含まれる顔に基づいて取得される特徴量（例えば、顔の大きさ、顔の向き、顔の数などに基づいて取得される量，顔から推定される特定の性別の度数，顔から推定される特定の年代の度数，又は顔らしさの度合いを示す量）に基づいて選択集合を決定しても良い。
本発明の第六の態様が上記のような分類手段及び集合決定手段を含むように構成される場合、決定手段は、選択集合に含まれる人の顔に基づいて、選択集合に含まれる人の顔の中から、対象となる顔を決定するように構成される。
このように構成された本発明の第六の態様によれば、画像中の複数の顔が複数の集合に分けられ、複数の集合から処理の対象となる顔を決定するための選択集合が決定される。そして、決定された選択集合に含まれる顔から、決定手段が最終的に処理の対象となる顔を決定する。
このため、画像中に複数の顔の集合が存在する場合に、複数の集合に含まれる顔全てに基づいて処理の対象となる顔が決定されるのではなく、いずれかの集合に含まれる顔のみに基づいて処理の対象となる顔が決定される。従って、集合決定手段によって決定された選択集合に含まれる顔のみに応じた制御を行うことが可能となる。例えば、画像中に複数人の集団が離れて存在した場合、これらの集団に平均した処理ではなく、いずれかの集団に特化した合焦及び／又は露出制御を行うことが可能となる。また、例えば画像中に集団と孤立した人とが存在する場合、この孤立した人を含めることなく、集団又は孤立した人の一方のみに特化した合焦及び／又は露出制御を行うことが可能となる。
本発明の第六の態様は、決定手段によって決定された人の顔を、他の顔と区別して表示する表示手段をさらに含むように構成されても良い。表示手段は、例えば決定された人の顔の周囲に枠を表示することにより、他の顔と区別して表示する。また、表示手段は、例えば決定された人の顔の周囲に、他の顔の周囲に表示される枠と異なる色や太さや形の枠
を表示することにより、他の顔と区別して表示する。また、表示手段は、例えば決定された人の顔に対して他の顔と異なる画像処理を施して表示することにより、他の顔と区別して表示する。
を表示することにより、他の顔と区別して表示する。また、表示手段は、例えば決定された人の顔に対して他の顔と異なる画像処理を施して表示することにより、他の顔と区別して表示する。
〔第七の態様〕
本発明の第七の態様は、対象決定装置であって、検出手段及び決定手段を含む。このうち、検出手段は本発明の第六の態様と同様の構成をとる。
本発明の第七の態様は、対象決定装置であって、検出手段及び決定手段を含む。このうち、検出手段は本発明の第六の態様と同様の構成をとる。
本発明の第七の態様における決定手段は、検出手段で複数の人の顔が検出されたときに、検出された顔の数を基準としてその真ん中に位置する人の顔を、合焦や露出制御の対象となる顔として決定する。この決定手段は、検出された顔の数を計数し、計数された数の中間値に基づいて顔を決定する。例えば、この決定手段は、各顔をそのｘ座標を元にソートし、上記した中間値の順位に相当する顔を対象となる顔として決定する。この決定手段は、ｘ座標ではなくｙ座標に基づいて対象となる顔を決定しても良い。また、この決定手段は、ｘ座標及びｙ座標に基づいてそれぞれ顔を選択し、同一の顔が選択された場合にはこの顔を対象となる顔として決定し、異なる顔が選択された場合には所定の基準に基づいていずれかの顔が対象となる顔として決定されるように構成されても良い。
本発明の第七の態様によれば、複数の顔の位置の中心に基づいて対象となる顔を決定するように構成された本発明の第六の態様と同様の効果を、擬似的に得ることが可能となる。また、本発明の第七の態様によれば、複数の顔の位置の中心を取得する必要が無い。即ち、顔の計数とデータのソートとを実行すれば足り、幾何学的な計算を実行する必要がない。このため、汎用な情報処理装置を用いた場合には、本発明の第六の態様に比べて高速に処理を実行することが可能となる。
また、本発明の第七の態様は、本発明の第六の態様と同様に、分類手段及び集合決定手段をさらに含むように構成されても良い。この場合、本発明の第七の態様における決定手段は、選択集合に含まれる人の顔に基づいて、対象となる顔を決定する。
〔第八の態様〕
本発明の第八の態様は、対象決定装置であって、検出手段，分類手段，暫定決定手段，及び最終決定手段を含む。このうち、検出手段及び分類手段は、本発明の第六の態様と同様の構成をとる。
本発明の第八の態様は、対象決定装置であって、検出手段，分類手段，暫定決定手段，及び最終決定手段を含む。このうち、検出手段及び分類手段は、本発明の第六の態様と同様の構成をとる。
本発明の第八の態様における暫定決定手段は、分類手段によって生成される複数の集合それぞれにおいて、合焦や露出制御の対象となる顔を暫定的に決定する。言い換えれば、暫定決定手段は、複数の集合それぞれについて、当該集合に含まれる人の顔から、撮像が実施される際に焦点を合わせる対象となる顔及び／又は露出制御を行う対象となる顔を決定する。このとき、暫定決定手段はどのような基準に基づいて対象となる顔を決定しても良い。例えば、暫定決定手段は、本発明の第六の態様や第七の態様に示される決定手段と同様の処理によって、対象となる顔を決定しても良い。また、例えば、暫定決定手段は、本発明の第六の態様の顔決定手段における所定の基準に基づいて、対象となる顔を決定しても良い。
本発明の第八の態様における最終決定手段は、暫定決定手段によって決定された顔の中から、合焦や露出制御の対象となる顔を最終的に決定する。例えば、最終決定手段は、各集合において暫定決定手段によって決定された顔の中から、本発明の第六の態様や第七の態様に示される決定手段と同様の処理によって、対象となる顔を最終的に決定しても良い。また、例えば、最終決定手段は、各集合において暫定決定手段によって決定された顔の中から、本発明の第六の態様の顔決定手段における所定の基準に基づいて、対象となる顔
を最終的に決定しても良い。
を最終的に決定しても良い。
本発明の第八の態様によれば、分類手段と集合決定手段とをさらに含むように構成された本発明の第六の態様や第七の態様と同様の効果を得ることが可能となる。また、本発明の第八の態様によれば、分類手段と集合決定手段とを含むことによる効果を維持したまま、対象となる顔を決定する際に様々な基準に基づいてこの顔を決定することが可能となる。
〔第九の態様〕
本発明の第九の態様は、対象決定装置であって、検出手段，ブロック決定手段，及び決定手段を含む。
本発明の第九の態様は、対象決定装置であって、検出手段，ブロック決定手段，及び決定手段を含む。
本発明の第九の態様における検出手段は、入力された画像が分割された複数のブロックのそれぞれにおいて人の顔を検出する。入力された画像がどのようなブロックに分けられるかは予め定められていても良いし、動的に決定されても良い。
ブロック決定手段は、検出手段による検出結果に基づいて、撮像が実施される際に焦点を合わせる対象となる顔及び／又は露出制御を行う対象となる顔を決定するためのブロック（即ち、合焦や露出制御の対象となる顔を含むブロック：「選択ブロック」と称する）を決定する。例えば、本発明の第六の態様における集合決定手段と同様の基準に従ってブロックを決定することができる。
本発明の第九の態様における決定手段は、選択ブロックに含まれる顔から、対象となる顔を決定する。このとき、この決定手段はどのような基準に基づいて対象となる顔を決定しても良い。例えば、この決定手段は、本発明の第六の態様や第七の態様に示される決定手段と同様の処理によって、対象となる顔を決定しても良い。また、例えば、この決定手段は、本発明の第六の態様の顔決定手段における所定の基準に基づいて、対象となる顔を決定しても良い。
〔第十の態様〕
本発明の第十の態様は、対象決定装置であって、検出手段，判断手段，選択手段，及び決定手段を含む。このうち、検出手段は、本発明の第六の態様と同様の構成をとる。
本発明の第十の態様は、対象決定装置であって、検出手段，判断手段，選択手段，及び決定手段を含む。このうち、検出手段は、本発明の第六の態様と同様の構成をとる。
判断手段は、検出手段において複数の顔が検出されたときに、検出された人の顔のうち最大の顔を判断する。判断手段は、例えば、検出された人の顔における肌の色のピクセル数によって大きさを判断しても良い。また、判断手段は、例えば人の顔として検出される際に用いられる顔矩形の大きさによって顔の大きさを判断しても良い。判断手段は、その他どのような基準に従って顔の大きさを判断するように構成されても良い。なお、最大の顔とは厳密に最大である必要はなく、例えば２番目に大きな顔であっても、３番目に大きな顔であっても良い。
選択手段は、検出された顔のうち最大の顔、及びこの顔の大きさから所定の範囲内の大きさを有する他の顔を選択する。
本発明の第十の態様における決定手段は、選択手段によって選択された顔の中から、撮像が実施される際に焦点を合わせる対象となる顔及び／又は露出制御を行う対象となる顔を決定する。このように、本発明の第十の態様における決定手段は、検出手段によって検出された複数の顔全ての位置に基づいて対象となる顔を決定するのではなく、検出された顔のうち最大の顔及びこの顔の大きさから所定の範囲内の大きさを有する他の顔の中から、対象となる顔を決定する。この決定手段は、どのような基準に基づいて対象となる顔を
決定しても良い。例えば、この決定手段は、本発明の第六の態様や第七の態様に示される決定手段と同様の処理によって、対象となる顔を決定しても良い。また、例えば、この決定手段は、本発明の第六の態様の顔決定手段における所定の基準に基づいて、対象となる顔を決定しても良い。
決定しても良い。例えば、この決定手段は、本発明の第六の態様や第七の態様に示される決定手段と同様の処理によって、対象となる顔を決定しても良い。また、例えば、この決定手段は、本発明の第六の態様の顔決定手段における所定の基準に基づいて、対象となる顔を決定しても良い。
本発明の第十の態様によれば、合焦用の画像内において相対的にある程度の大きさをもった顔のみに基づいて、合焦の対象となる顔が選択される。このため、背景として写ってしまった人、即ちユーザが被写体として意識していない人の顔が処理の対象として含まれることが防止される。従って、例えばこの決定手段が本発明の第六の態様における決定手段と同様の処理を行う場合、合焦の対象となる顔を含む集合を選択する処理や、集合に含まれる顔に基づいた中心を取得する処理や、合焦の対象となる顔を選択する処理の精度が向上する。
〔第十一の態様〕
本発明の第十一の態様は、対象決定装置であって、検出手段，分類手段，集合決定手段，及び決定手段を含む。このうち、検出手段，分類手段，及び集合決定手段は、第六の態様と同様の構成をとる。
本発明の第十一の態様は、対象決定装置であって、検出手段，分類手段，集合決定手段，及び決定手段を含む。このうち、検出手段，分類手段，及び集合決定手段は、第六の態様と同様の構成をとる。
本発明の第十一の態様における決定手段は、集合決定手段によって決定された集合に含まれる顔の中から、対象となる顔を決定する。このとき、この決定手段は、どのような基準に基づいて対象となる顔を決定しても良い。例えば、この決定手段は、本発明の第六の態様や第七の態様に示される決定手段と同様の処理によって、対象となる顔を決定しても良い。また、例えば、この決定手段は、本発明の第六の態様の顔決定手段における所定の基準に基づいて、対象となる顔を決定しても良い。
本発明の第十一の態様によれば、本発明の第八の態様と同様の効果を得ることができる。
〔第十二の態様〕
本発明の第十二の態様は、対象決定装置であって、検出手段，特徴量取得手段，及び決定手段を含む。このうち、検出手段は、本発明の第六の態様と同様の構成をとる。
本発明の第十二の態様は、対象決定装置であって、検出手段，特徴量取得手段，及び決定手段を含む。このうち、検出手段は、本発明の第六の態様と同様の構成をとる。
特徴量取得手段は、検出手段において検出された複数の人の顔それぞれについて、人の顔度合いを示す特徴量を取得する。「人の顔度合い」とは、例えば、ある画像が人の顔であるか否かを分ける識別境界線からの距離によって与えられる。人の顔度合いとは、検出手段における顔検出処理の際に取得される値を用いて示されても良い。
決定手段は、特徴量に基づいて、撮像が実施される際に焦点を合わせる対象となる顔及び／又は露出制御を行う対象となる顔を決定する。
〔第六の態様から第十二の態様の変形〕
本発明の第六〜十二の態様は、入力された複数フレームを含む時系列画像から、所定のフレームの画像を処理対象の画像として取得するフレーム取得手段をさらに含むように構成されても良い。このように構成された場合、検出手段は、フレーム取得手段によって取得された所定のフレームの画像から人の顔を検出する。
本発明の第六〜十二の態様は、入力された複数フレームを含む時系列画像から、所定のフレームの画像を処理対象の画像として取得するフレーム取得手段をさらに含むように構成されても良い。このように構成された場合、検出手段は、フレーム取得手段によって取得された所定のフレームの画像から人の顔を検出する。
このように構成された本発明の第六〜十二の態様では、複数フレームを含む時系列画像について、本発明の第六〜十二の態様と同様の作用・効果を得ることができる。
〔その他〕
本発明の第一の態様から第十二の態様は、プログラムが情報処理装置によって実行されることによって実現されても良い。即ち、本発明は、上記した本発明の第一の態様から本発明の第十二の態様における各手段が実行する処理を、情報処理装置に対して実行させるためのプログラム、或いは当該プログラムを記録した記録媒体として特定することができる。
本発明の第一の態様から第十二の態様は、プログラムが情報処理装置によって実行されることによって実現されても良い。即ち、本発明は、上記した本発明の第一の態様から本発明の第十二の態様における各手段が実行する処理を、情報処理装置に対して実行させるためのプログラム、或いは当該プログラムを記録した記録媒体として特定することができる。
本発明によれば、被写体を検出する際に、予備撮像としてこの被写体に必ずしも焦点が合った画像が撮像される必要がない。このため、予備撮像において複数の焦点に合わせた画像を取得する等の焦点制御を行うことなく、所定の焦点情報に基づいて取得された画像のみによって主要被写体を高速に検出することが可能となる。
［第一実施形態］
次に、図を用いて第一実施形態である撮像装置１について説明する。なお、撮像装置１についての以下の説明は例示であり、その構成は以下の説明に限定されない。
次に、図を用いて第一実施形態である撮像装置１について説明する。なお、撮像装置１についての以下の説明は例示であり、その構成は以下の説明に限定されない。
〔システム構成〕
撮像装置１は、デジタルスチルカメラ，デジタルビデオカメラ，又はデジタルスチルカメラやデジタルビデオカメラのような撮像機能を有する情報処理装置である。撮像装置１は、ハードウェア的には、バスを介して接続されたＣＰＵ（中央演算処理装置），主記憶装置（ＲＡＭ（Read Only Memory）），補助記憶装置，及びデジタルスチルカメラやデジタルビデオカメラとして動作するための各装置（撮像レンズ，メカ機構，ＣＣＤ（Charge-Coupled Devices），操作部，モータ等）などを備える。補助記憶装置は、不揮発性記憶装置を用いて構成される。ここで言う不揮発性記憶装置とは、いわゆるＲＯＭ（Read-Only Memory：ＥＰＲＯＭ（Erasable Programmable Read-Only Memory），ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory），マスクＲＯＭ等を含む），ＦＲＡＭ（Ferroelectric RAM），ハードディスク等を指す。
撮像装置１は、デジタルスチルカメラ，デジタルビデオカメラ，又はデジタルスチルカメラやデジタルビデオカメラのような撮像機能を有する情報処理装置である。撮像装置１は、ハードウェア的には、バスを介して接続されたＣＰＵ（中央演算処理装置），主記憶装置（ＲＡＭ（Read Only Memory）），補助記憶装置，及びデジタルスチルカメラやデジタルビデオカメラとして動作するための各装置（撮像レンズ，メカ機構，ＣＣＤ（Charge-Coupled Devices），操作部，モータ等）などを備える。補助記憶装置は、不揮発性記憶装置を用いて構成される。ここで言う不揮発性記憶装置とは、いわゆるＲＯＭ（Read-Only Memory：ＥＰＲＯＭ（Erasable Programmable Read-Only Memory），ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory），マスクＲＯＭ等を含む），ＦＲＡＭ（Ferroelectric RAM），ハードディスク等を指す。
図１は、撮像装置１の機能ブロックを示す図である。撮像装置１は、補助記憶装置に記憶された各種のプログラム（ＯＳ，アプリケーションプログラム等）が主記憶装置にロードされＣＰＵにより実行されることによって、撮像部２，画像記憶部３，合焦対象決定部４，測距部７，及び入力部１１等を含む装置として機能する。合焦対象決定部４は、合焦対象決定プログラムがＣＰＵによって実行されることにより実現される。また、合焦対象決定部４は、専用のハードウェアとして実現されても良い。
以下、図１を用いて、撮像装置１に含まれる各機能部について説明する。
〔〔撮像部〕〕
撮像部２は、撮像レンズ，メカ機構，ＣＣＤ，モータ等を用いて、オートフォーカス機能を備える装置として構成される。撮像レンズは、例えばズーム機能を実現するためのズームレンズや、任意の被写体に対して焦点を合わせるためのフォーカスレンズ等を含む。メカ機構は、メカニカルシャッタや絞りやフィルタ等を含む。モータは、ズームレンズモータやフォーカスモータやシャッターモータ等を含む。
撮像部２は、撮像レンズ，メカ機構，ＣＣＤ，モータ等を用いて、オートフォーカス機能を備える装置として構成される。撮像レンズは、例えばズーム機能を実現するためのズームレンズや、任意の被写体に対して焦点を合わせるためのフォーカスレンズ等を含む。メカ機構は、メカニカルシャッタや絞りやフィルタ等を含む。モータは、ズームレンズモータやフォーカスモータやシャッターモータ等を含む。
撮像部２は、不図示の記憶部を備え、この記憶部に所定の焦点情報を記憶する。所定の焦点情報とは、予め定められた一つの焦点情報である。撮像装置１の電源がオンとなっている場合であって測距部７から焦点情報の入力が無い場合、撮像部２のフォーカスレンズは、この所定の焦点情報に基づいた状態となるように制御される。一方、測距部７から焦点情報の入力が有る場合、撮像部２のフォーカスレンズは、入力された焦点情報に基づい
た状態となるように制御される。
た状態となるように制御される。
撮像部２は、上記のように制御されたフォーカスレンズを含む撮像レンズを通して結像された被写体の画像を、ＣＣＤにより電気信号に変換することにより撮像を行う。
撮像部２は、入力部１１を介したユーザによる入力の度に１枚又は複数枚の静止画像を撮像するように構成されても良い。また、撮像部２は、入力部１１を介したユーザによる入力に従って、複数フレームにより構成される動画像（時系列画像）を撮像するように構成されても良い。また、撮像部２は、動画像を撮像するように構成された場合、複数フレームの中から一つのフレームの画像を取得し、このフレームの画像を処理対象の画像として合焦対象決定部４に渡すように構成されても良い。
〔〔画像記憶部〕〕
画像記憶部３は、いわゆるＲＡＭ等の読み書き可能な記録媒体などを用いて構成される。画像記憶部３は、撮像装置１に対して着脱可能な記録媒体を用いて構成されても良い。画像記憶部３は、撮像部２によって撮像される画像のデータを記憶する。
画像記憶部３は、いわゆるＲＡＭ等の読み書き可能な記録媒体などを用いて構成される。画像記憶部３は、撮像装置１に対して着脱可能な記録媒体を用いて構成されても良い。画像記憶部３は、撮像部２によって撮像される画像のデータを記憶する。
〔〔合焦対象決定部〕〕
合焦対象決定部４は、撮像部２によって撮像された被写体から、焦点を合わせる被写体、即ち合焦の対象となる被写体を決定する。このとき、合焦対象決定部４は、所定の焦点情報に基づいて撮像部２によって合焦用に撮像された画像を用いて処理を行う。この合焦用に撮像された画像は、撮像部２によって合焦対象決定部４に入力される。
合焦対象決定部４は、撮像部２によって撮像された被写体から、焦点を合わせる被写体、即ち合焦の対象となる被写体を決定する。このとき、合焦対象決定部４は、所定の焦点情報に基づいて撮像部２によって合焦用に撮像された画像を用いて処理を行う。この合焦用に撮像された画像は、撮像部２によって合焦対象決定部４に入力される。
合焦対象決定部４は、入力された画像から被写体となった人物の顔を検出する顔検出部５と、顔検出部５によって検出された顔に基づいて焦点を合わせる被写体を決定する決定部６とを含む。以下、合焦対象決定部４を構成する各機能部について説明する。
〈顔検出部〉
顔検出部５は、入力された画像から、複数の部分的な領域における統計量（具体的には濃淡値）に基づいて、被写体となった人物の顔を検出する。以下、顔検出部５によって実行される、人物の顔を検出する際の処理について詳細に説明する。
顔検出部５は、入力された画像から、複数の部分的な領域における統計量（具体的には濃淡値）に基づいて、被写体となった人物の顔を検出する。以下、顔検出部５によって実行される、人物の顔を検出する際の処理について詳細に説明する。
図２は、濃淡値に基づいた人物の顔の検出方法を示す図である。この検出方法では、特定の矩形（以下「顔判定矩形」と呼ぶ）８を処理対象となる画像内で移動させ、各移動先の顔判定矩形８内（以下「注目領域」と呼ぶ）に人物の顔が含まれるか否かが判断される。このとき、顔判定矩形８の大きさと処理対象となる画像の大きさとの比率や、顔判定矩形８と処理対象となる画像との角度を変えることにより、様々な大きさや角度の顔を検出することが可能となる。
顔判定矩形８は、その矩形内に複数の他の矩形（以下「第一矩形」，「第二矩形」と呼ぶ）９，１０を含む。第一矩形９と第二矩形１０とは、それぞれ顔判定矩形８内の定位置に配置される。第一矩形９と第二矩形１０とは、一つの顔判定矩形８内にそれぞれ１以上配置される。
顔の検出処理では、各注目領域において、第一矩形９及び第二矩形１０によって囲まれるそれぞれの領域（以下、それぞれ「第一特徴領域」，「第二特徴領域」と呼ぶ）の濃淡値が算出される。第一特徴領域及び第二特徴領域の濃淡差は、例えば各領域内の画素値の平均値や合計値によって示される。
次に、第一特徴領域の濃淡値Ｌａと、第二特徴領域の濃淡値Ｌｂとの差分が算出される
。そして、この差分値が、あらかじめ設定されている閾値αよりも大きいか否かに応じて、注目領域に人物の顔が含まれるか否かが判定される。
。そして、この差分値が、あらかじめ設定されている閾値αよりも大きいか否かに応じて、注目領域に人物の顔が含まれるか否かが判定される。
図３は、顔判定矩形８のパターン例を示す図である。図４は、複数のパターンの顔判定矩形８を用いた顔判定の処理を示す図である。実際の処理では、図３に示されるように顔判定矩形８が複数パターン用意される。各パターンでは、第一矩形９や第二矩形１０の数や位置がそれぞれ異なる。
次に、それぞれのパターンの顔判定矩形８について濃淡差の算出による判定が実行される。そして、それぞれの判定結果を元に注目領域毎に得点が算出され、算出された得点に基づき、この注目領域に人物の顔が含まれるか否かについて最終的な判定が行われる。算出された得点と注目領域に人物の顔が含まれるか否かとの対応付けは、例えば数多くのサンプル画像（人物の顔を含む画像とそうでない画像）を用いた学習処理によって予め得られる。
顔検出部５は、顔を検出した場合、即ちある注目領域に人物の顔が含まれるという最終的な判定を行った場合、この顔に関する画像情報を決定部６へ出力する。具体的には、顔検出部５は、検出された顔が含まれる注目領域の位置と大きさを出力する。例えば、顔検出部５は、この注目領域の中心座標と面積（領域内の画素数）とを出力する。
また、顔検出部５は、必要に応じて、検出された顔の向きを判定し出力するように構成されても良い。なお、顔検出部５は、顔の向きを判定する場合、例えば非特許文献１，２に記載の技術を用いることにより判定を行う。具体的には、顔検出部５は、例えば左向き用のパターンの顔判定矩形８と右向き用のパターンの顔判定矩形８とをさらに用いて顔の検出を実行する。そして、顔検出部５は、例えば左向き用のパターンの顔判定矩形８によって顔が検出された場合、検出された顔は左向きであると判定する。同様に、顔検出部５は、右向き用のパターンの顔判定矩形８によって顔が検出された場合、検出された顔は右向きであると判定する。正面についても同様である。顔の向きの判定は、上記された技術に限らずどのような技術の適用によって実施されても良い。
〈決定部〉
決定部６は、顔検出部５から入力される顔に関する画像情報に基づいて、焦点を合わせる被写体を決定する。このとき、決定部６は、大きく分けて二つの処理を行う。第一の処理は、顔検出部５によって検出された複数の顔の中から一つの顔を選択する処理である。第二の処理は、第一の処理によって選択された顔に基づいて、焦点を合わせる被写体を決定する処理である。なお、顔検出部５において一つの顔しか検出されなかった場合は、第一の処理は省略される。また、顔検出部５において顔が検出されなかった場合は、第一の処理及び第二の処理が省略される。
決定部６は、顔検出部５から入力される顔に関する画像情報に基づいて、焦点を合わせる被写体を決定する。このとき、決定部６は、大きく分けて二つの処理を行う。第一の処理は、顔検出部５によって検出された複数の顔の中から一つの顔を選択する処理である。第二の処理は、第一の処理によって選択された顔に基づいて、焦点を合わせる被写体を決定する処理である。なお、顔検出部５において一つの顔しか検出されなかった場合は、第一の処理は省略される。また、顔検出部５において顔が検出されなかった場合は、第一の処理及び第二の処理が省略される。
〈〈第一の処理〉〉
まず、第一の処理について説明する。第一の処理では、決定部６は、第二の処理において焦点を合わせる被写体を決定する際に、いずれの顔の画像情報を使用するかを選択する。第一の処理には、面積比較法、得点比較法、測距法と呼ぶ三つの実現方法がある。決定部６には、このうちいずれが採用されても良い。以下、各実現方法について説明する。
まず、第一の処理について説明する。第一の処理では、決定部６は、第二の処理において焦点を合わせる被写体を決定する際に、いずれの顔の画像情報を使用するかを選択する。第一の処理には、面積比較法、得点比較法、測距法と呼ぶ三つの実現方法がある。決定部６には、このうちいずれが採用されても良い。以下、各実現方法について説明する。
〈〈〈面積比較法〉〉〉
面積比較法では、決定部６は、顔検出部５において検出された複数の顔の面積について比較を行い、画像としての面積が最も大きい顔を選択する。面積比較法では、決定部６は、撮像装置１に最も近い顔を検出するために、画像としての面積が最も大きい顔を選択する。即ち、面積比較法では、決定部６は、顔画像の大きさを比較することにより被写体ま
での距離の比較を実施する。
面積比較法では、決定部６は、顔検出部５において検出された複数の顔の面積について比較を行い、画像としての面積が最も大きい顔を選択する。面積比較法では、決定部６は、撮像装置１に最も近い顔を検出するために、画像としての面積が最も大きい顔を選択する。即ち、面積比較法では、決定部６は、顔画像の大きさを比較することにより被写体ま
での距離の比較を実施する。
〈〈〈得点比較法〉〉〉
得点比較法では、決定部６は、顔検出部５において検出された複数の顔それぞれについて得点を求める。決定部６は、顔の向き、顔の大きさ（面積）、顔の画像内での位置、顔の周辺における顔密度などに基づいて得点を得る。決定部６は、上記の四つの項目全てについて得点を得ても良いし、一部の項目について得点を得ても良い。
得点比較法では、決定部６は、顔検出部５において検出された複数の顔それぞれについて得点を求める。決定部６は、顔の向き、顔の大きさ（面積）、顔の画像内での位置、顔の周辺における顔密度などに基づいて得点を得る。決定部６は、上記の四つの項目全てについて得点を得ても良いし、一部の項目について得点を得ても良い。
次に、決定部６は最も高い得点が得られた顔を選択する。顔の向きに関しては、例えば顔の向きが正面を向いているほど得点が高く設定される。顔の大きさに関しては、例えば顔の大きさが大きいほど得点が高く設定される。顔の画像内での位置に関しては、例えば画像の中央に近いほど得点が高く設定される。顔密度に関しては、例えば顔密度が高いほど得点が高く設定される。ただし、各項目（向き，大きさ，位置，顔密度）においてどのような状態を高得点とするかは、ユーザによって変更可能に設計されても良いし、設計者によってどのように設計されても良い。
〈〈〈測距法〉〉〉
測距法では、決定部６は、顔検出部５によって検出された各顔の実物に対する測距結果を取得する。そして、決定部６は、撮像装置１からの距離が最も小さい顔を選択する。
測距法では、決定部６は、顔検出部５によって検出された各顔の実物に対する測距結果を取得する。そして、決定部６は、撮像装置１からの距離が最も小さい顔を選択する。
決定部６は、いずれの測距装置による測距結果を得るように構成されても良い。例えば、撮像装置１又は合焦対象決定部４に不図示の測距装置が備えられ、この測距装置による測距結果を決定部６が得るように構成されても良い。また、例えば、測距部７が被写体までの測距を行う構成である場合、測距部７を測距装置の代替装置として使用されても良い。この場合、測距部７による測距結果を決定部６が得る（図１の破線の矢印を参照）。いずれの場合であっても、決定部６は、顔検出部５から入力された画像情報のうち、注目領域の座標を測距装置に対して与える。そして、測距装置はこの注目領域の座標を元に、検出された顔までの距離を測距する。
〈〈第二の処理〉〉
第二の処理では、決定部６は、選択された顔に基づいて、焦点を合わせる被写体を決定する。このような被写体の例として、選択された顔の部位（例えば目，鼻，口，耳，額など）がある。このとき、選択された顔の部位の位置は、顔検出部５によって改めて検出されても良いし、選択された顔の画像情報からその位置が求められても良い。例えば、決定部６は、選択された顔の中心座標から相対的に所定の方向に所定の距離だけ離れた位置を、選択された顔の部位の位置として認識する。そして、決定部６は、焦点を合わせる被写体の画像における座標（即ち二次元座標）を、測距部７に出力する。
第二の処理では、決定部６は、選択された顔に基づいて、焦点を合わせる被写体を決定する。このような被写体の例として、選択された顔の部位（例えば目，鼻，口，耳，額など）がある。このとき、選択された顔の部位の位置は、顔検出部５によって改めて検出されても良いし、選択された顔の画像情報からその位置が求められても良い。例えば、決定部６は、選択された顔の中心座標から相対的に所定の方向に所定の距離だけ離れた位置を、選択された顔の部位の位置として認識する。そして、決定部６は、焦点を合わせる被写体の画像における座標（即ち二次元座標）を、測距部７に出力する。
また、選択された顔そのものが焦点を合わせる被写体であっても良い。この場合、決定部６は、第一の処理で選択された顔の画像情報に含まれる顔の位置（即ち二次元座標）を測距部７に出力する。
〔〔測距部〕〕
測距部７は、合焦対象決定部４の決定部６によって決定された被写体に焦点を合わせるための焦点情報を取得する。このとき測距部７は、決定部６から入力される二次元座標を元に、焦点を合わせるための被写体を特定する。
測距部７は、合焦対象決定部４の決定部６によって決定された被写体に焦点を合わせるための焦点情報を取得する。このとき測距部７は、決定部６から入力される二次元座標を元に、焦点を合わせるための被写体を特定する。
例えば、測距部７は、赤外線などを被写体に対して射出することにより被写体までの距離を測距することにより焦点情報を取得するように構成される。この場合、測距部７は、決定部６から入力される二次元座標を元に、赤外線などを射出する方向を決定する。
測距部７は、焦点情報を取得すると、取得された焦点情報を撮像部２へ出力する。
〔〔入力部〕〕
入力部１１は、シャッターレリーズボタン等を用いて構成される。入力部１１は、ユーザによる命令の入力を検知すると、入力された命令に従って、撮像装置１の各部に対して命令の通知を行う。例えば、入力部１１は、ユーザによりオートフォーカスの命令の入力を検知すると、撮像部２に対し、オートフォーカスの命令を通知する。また、例えば入力部１１は、ユーザにより撮像の命令の入力を検知すると、撮像部２に対し、撮像の命令を通知する。
入力部１１は、シャッターレリーズボタン等を用いて構成される。入力部１１は、ユーザによる命令の入力を検知すると、入力された命令に従って、撮像装置１の各部に対して命令の通知を行う。例えば、入力部１１は、ユーザによりオートフォーカスの命令の入力を検知すると、撮像部２に対し、オートフォーカスの命令を通知する。また、例えば入力部１１は、ユーザにより撮像の命令の入力を検知すると、撮像部２に対し、撮像の命令を通知する。
入力部１１がシャッターレリーズボタンを用いて構成される場合、オートフォーカスの命令は、例えばこのシャッターレリーズボタンが半押しされることにより入力部１１によって検知される。また、撮像の命令は、例えばこのシャッターレリーズボタンが完全に押下されることにより入力部１１によって検知される。
〔動作例〕
図５は、撮像装置１の動作例を示すフローチャートである。以下、図５を用いて撮像装置１の動作例について説明する。
図５は、撮像装置１の動作例を示すフローチャートである。以下、図５を用いて撮像装置１の動作例について説明する。
撮像装置１に電源が投入されると、撮像部２は、フォーカスレンズを所定の焦点情報に基づいた状態となるように制御する。
入力部１１は、シャッターレリーズボタンがユーザによって半押しされたことを検知すると（Ｓ０１）、オートフォーカスの命令が入力されたことを撮像部２へ通知する。
撮像部２は、測距部７から焦点情報が入力されているか否かを判断する。焦点情報が入力されていない場合（Ｓ０２−ＮＯ）、撮像部２は、フォーカスレンズが所定の焦点情報に基づいた状態に制御されているままで撮像を行う（Ｓ０３）。撮像部２は、撮像された画像データを、合焦対象決定部４へ出力する。
合焦対象決定部４は、入力された画像のデータに基づいて、焦点を合わせる被写体を決定する（Ｓ０４）。図６は、合焦対象決定部４の動作例を示すフローチャートである。Ｓ０４の処理について、図６を用いて説明する。
まず、顔検出部５は、入力された画像から人物の顔を検出する（Ｓ１０）。顔検出部５は、検出された顔の画像情報を決定部６へ出力する。
決定部６は、顔検出部５によって検出された顔の数を調べる。顔の数が１より少ない場合（Ｓ１１：＜１）、即ち０である場合、決定部６は、画面中央の二次元座標を測距部７へ出力する。顔の数が１より多い場合（Ｓ１１：＞１）、即ち複数の顔が検出された場合、決定部６は第一の処理を実行し、検出された複数の顔から一つの顔を選択する（Ｓ１３）。
検出された顔が一つである場合（Ｓ１１：＝１）、又はＳ１３の処理の後、決定部６は、一つの顔に基づいて焦点を合わせる被写体を決定する（Ｓ１４）。ここでいう一つの顔とは、検出された顔の数が一つである場合はこの唯一検出された顔であり、Ｓ１３の処理の後である場合は選択された顔である。そして、決定部６は、決定された被写体の二次元座標を取得し、この二次元座標を測距部７へ出力する（Ｓ１５）。
図５を用いた説明に戻る。Ｓ０４の処理の後、測距部７は、合焦対象決定部４の決定部６から出力される二次元座標に基づいて、決定された被写体に対する焦点情報を取得する（Ｓ０５）。測距部７は、取得された焦点情報を撮像部２へ出力する。この処理の後、再びＳ０２以降の処理が実行される。
Ｓ０２において、撮像部２に対し測距部７から焦点情報の入力がある場合（Ｓ０２−ＹＥＳ）、撮像部２は、入力された焦点情報に基づいてフォーカスレンズを制御する（Ｓ０６）。即ち、撮像部２は、合焦対象決定部４によって決定された被写体に焦点が合うようにフォーカスレンズを制御する。
フォーカスレンズの制御の後、撮像部２は、撮像を行う（Ｓ０７）。この撮像により、合焦対象決定部４によって決定された被写体に焦点が合った画像が撮像される。そして、画像記憶部３は、撮像部２によって撮像された画像のデータを記憶する（Ｓ０８）。
〔作用／効果〕
図７は、撮像装置１により撮像される画像の例を示す図である。撮像装置１では、背景として撮像される人物の顔ではなく、主要被写体としての顔（太線の矩形で囲われている顔）が検出され、この主要被写体に対し焦点が合うように撮像が実施される。
図７は、撮像装置１により撮像される画像の例を示す図である。撮像装置１では、背景として撮像される人物の顔ではなく、主要被写体としての顔（太線の矩形で囲われている顔）が検出され、この主要被写体に対し焦点が合うように撮像が実施される。
撮像装置１では、合焦対象決定部４の顔検出部５は、合焦の対象となる被写体として人物の顔を検出する。その際に、顔検出部５は、注目領域内の第一特徴領域と第二特徴領域との濃淡差を元に顔の検出を行う。ある領域内の濃淡値を得るとき、この領域内に撮像された被写体に焦点が合っていない場合であっても、焦点が合っている場合に近い値を得ることが可能である。このため、撮像装置１では、人物の顔に焦点が合っていない画像が撮像された場合であっても、この顔を検出することが可能となる。従って、撮像装置１では、人物の顔を検出する際に使用される画像を撮像する際に、被写体への焦点制御を行う必要がない。よって、この撮像処理の際に、撮像装置１では、所定の焦点に制御された撮像部２のフォーカスレンズについて、改めて焦点の制御を行う必要が無く、高速に撮像を実行することが可能となる。
また、合焦対象決定部４は一つの画像、即ち所定の焦点に制御されて撮像された画像についてのみ顔検出を行う。このため、撮像装置１では、複数の画像に対して顔の検出を行う必要がなく、顔を高速に検出することが可能となる。
また、撮像装置１では、複数の顔が検出された場合、合焦対象決定部４がいずれか一つの顔を選択しこの顔に基づいて合焦の対象となる被写体を決定する。このため、撮像装置１によれば、ユーザはフレーム内に納まっている複数の顔からわざわざ一つの顔を選択する必要がない。
〔変形例〕
合焦対象決定部４は、撮像装置１に含まれるのではなく、撮像装置１の外部装置として独立して構成されても良い。また、このように外部装置として構成された合焦対象決定部４は、測距部７と同様の機能を有する不図示の測距部を自装置に備えるように構成されても良い。
合焦対象決定部４は、撮像装置１に含まれるのではなく、撮像装置１の外部装置として独立して構成されても良い。また、このように外部装置として構成された合焦対象決定部４は、測距部７と同様の機能を有する不図示の測距部を自装置に備えるように構成されても良い。
また、撮像装置１は測距部７により被写体までの距離を測距することにより焦点情報を取得しているが、測距以外の方法によって焦点情報を取得するように構成されても良い。
また、撮像装置１は、検出された顔に基づいて撮像が実施される際に露出制御を行う対象となる被写体を決定することにより露出制御を行うように構成されても良い。この場合
、決定部６は、露出制御を行う対象となる被写体を決定する。また、この場合、撮像装置１は、決定部６によって決定された被写体に応じて露出制御情報を取得する測光部をさらに備える。測光部は、決定部６によって決定された被写体を露光エリアとし測光を行うことにより露光量（露出制御情報）を算出する。次に、測光部は、算出された露出制御情報を撮像部２に渡す。そして、撮像部２は、絞りなどを調節することによりこの露出制御情報に基づいた露出制御を実施し、撮像を行う。
、決定部６は、露出制御を行う対象となる被写体を決定する。また、この場合、撮像装置１は、決定部６によって決定された被写体に応じて露出制御情報を取得する測光部をさらに備える。測光部は、決定部６によって決定された被写体を露光エリアとし測光を行うことにより露光量（露出制御情報）を算出する。次に、測光部は、算出された露出制御情報を撮像部２に渡す。そして、撮像部２は、絞りなどを調節することによりこの露出制御情報に基づいた露出制御を実施し、撮像を行う。
また、顔検出部５は、肌の色を有する被写体を顔として検出するように構成されても良い。このように構成されることにより、正確に人物の顔を検出することはできなくなるが、検出処理に要する時間を削減することが可能となり、顔検出部５の実装に要する時間やコストを削減することも可能となる。
また、撮像部２は、オートフォーカス機能ではなく、マニュアルフォーカスの装置として実現されても良い。この場合、例えばユーザによってフォーカスレンズが操作され、測距部７から入力される焦点情報に適合した状態になった際に、合焦したことをユーザに報知するように構成されても良い。
また、撮像装置１は、ＣＣＤを備えた撮像部２によって最終的に撮像を実施するのではなく、フィルムに撮像する銀鉛カメラとして構成されても良い。この場合、撮像装置１は、ＣＣＤを備えた撮像部２と、銀鉛カメラとしての撮像部とを備える。また、この場合、画像記憶部３は必ずしも撮像装置１にとって必要ではない。撮像部２は、合焦対象決定部４へ予備撮像された画像を入力するために撮像を実施する。そして、測距部７による焦点情報に基づいたフォーカスレンズの調節は、銀鉛カメラとしての撮像部において実施される。ただし、撮像部２と銀鉛カメラとしての撮像部とは、例えばフォーカスレンズ等、その構成の一部を共有するように構成されても良い。
［第二〜第六実施形態の概要］
以下に、図を用いて合焦対象決定部１６（１６ａ，１６ｂ，１６ｃ，１６ｄ，１６ｅ）を備える撮像装置１２（１２ａ，１２ｂ，１２ｃ，１２ｄ，１２ｅ）について説明する。この説明において、人物画像とは、少なくとも人物の顔の一部または全部の画像を含む画像である。従って、人物画像とは、人物全体の画像を含んでも良いし、人物の顔だけや上半身だけの画像を含んでも良い。また、複数の人物についての画像を含んでも良い。さらに、背景に人物以外の風景（背景：被写体として注目された物も含む）や模様などのいかなるパターンが含まれても良い。
以下に、図を用いて合焦対象決定部１６（１６ａ，１６ｂ，１６ｃ，１６ｄ，１６ｅ）を備える撮像装置１２（１２ａ，１２ｂ，１２ｃ，１２ｄ，１２ｅ）について説明する。この説明において、人物画像とは、少なくとも人物の顔の一部または全部の画像を含む画像である。従って、人物画像とは、人物全体の画像を含んでも良いし、人物の顔だけや上半身だけの画像を含んでも良い。また、複数の人物についての画像を含んでも良い。さらに、背景に人物以外の風景（背景：被写体として注目された物も含む）や模様などのいかなるパターンが含まれても良い。
なお、合焦対象決定部１６や撮像装置１２についての以下の説明は例示であり、その構成は以下の説明に限定されない。
［第二実施形態］
〔システム構成〕
まず、合焦対象決定部１６ａを備える撮像装置１２ａについて説明する。合焦対象決定部１６ａは、合焦対象決定部１６の一実施例である。
〔システム構成〕
まず、合焦対象決定部１６ａを備える撮像装置１２ａについて説明する。合焦対象決定部１６ａは、合焦対象決定部１６の一実施例である。
撮像装置１２ａは、ハードウェア的には、バスを介して接続されたＣＰＵ（中央演算処理装置），主記憶装置（ＲＡＭ（Read Only Memory）），補助記憶装置，及びデジタルスチルカメラやデジタルビデオカメラとして動作するための各装置（撮像レンズ，メカ機構，ＣＣＤ（Charge-Coupled Devices），操作部，モータ等）などを備える。補助記憶装置は、不揮発性記憶装置を用いて構成される。ここで言う不揮発性記憶装置とは、いわゆるＲＯＭ（Read-Only Memory：ＥＰＲＯＭ（Erasable Programmable Read-Only Memory），ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory），マスクＲＯ
Ｍ等を含む），ＦＲＡＭ（Ferroelectric RAM），ハードディスク等を指す。
Ｍ等を含む），ＦＲＡＭ（Ferroelectric RAM），ハードディスク等を指す。
図８は、撮像装置１２ａの機能ブロックを示す図である。撮像装置１２ａは、補助記憶装置に記憶された各種のプログラム（ＯＳ，アプリケーションプログラム等）が主記憶装置にロードされＣＰＵにより実行されることによって、入力部１３，撮像部１４，画像記憶部１５，合焦対象決定部１６ａ，及び測距部２１等を含む装置として機能する。合焦対象決定部１６ａは、合焦対象決定プログラムがＣＰＵによって実行されることにより実現される。また、合焦対象決定部１６ａは、専用のハードウェアとして実現されても良い。
以下、図８を用いて、撮像装置１２ａに含まれる各機能部について説明する。
〈入力部〉
入力部１３は、シャッターレリーズボタン等を用いて構成される。入力部１３は、ユーザによる命令の入力を検知すると、入力された命令に従って、撮像装置１２ａの各部に対して命令の通知を行う。例えば、入力部１３は、ユーザによるオートフォーカスの命令の入力を検知すると、撮像部１４に対し、オートフォーカスの命令を通知する。また、例えば入力部１３は、ユーザによる撮像の命令の入力を検知すると、撮像部１４に対し、撮像の命令を通知する。
入力部１３は、シャッターレリーズボタン等を用いて構成される。入力部１３は、ユーザによる命令の入力を検知すると、入力された命令に従って、撮像装置１２ａの各部に対して命令の通知を行う。例えば、入力部１３は、ユーザによるオートフォーカスの命令の入力を検知すると、撮像部１４に対し、オートフォーカスの命令を通知する。また、例えば入力部１３は、ユーザによる撮像の命令の入力を検知すると、撮像部１４に対し、撮像の命令を通知する。
入力部１３がシャッターレリーズボタンを用いて構成される場合、オートフォーカスの命令は、例えばこのシャッターレリーズボタンが半押しされることにより入力部１３によって検知される。また、撮像の命令は、例えばこのシャッターレリーズボタンが完全に押下されることにより入力部１３によって検知される。
〈撮像部〉
撮像部１４は、撮像レンズ，メカ機構，ＣＣＤ，モータ等を用いて、オートフォーカス機能を備える装置として構成される。撮像レンズは、例えばズーム機能を実現するためのズームレンズや、任意の被写体に対して焦点を合わせるためのフォーカスレンズ等を含む。メカ機構は、メカニカルシャッタや絞りやフィルタ等を含む。モータは、ズームレンズモータやフォーカスモータやシャッターモータ等を含む。
撮像部１４は、撮像レンズ，メカ機構，ＣＣＤ，モータ等を用いて、オートフォーカス機能を備える装置として構成される。撮像レンズは、例えばズーム機能を実現するためのズームレンズや、任意の被写体に対して焦点を合わせるためのフォーカスレンズ等を含む。メカ機構は、メカニカルシャッタや絞りやフィルタ等を含む。モータは、ズームレンズモータやフォーカスモータやシャッターモータ等を含む。
撮像部１４は、不図示の記憶部を備え、この記憶部に所定の焦点情報を記憶する。所定の焦点情報とは、予め定められた一つの焦点情報である。撮像装置１２ａの電源がオンとなっている場合であって測距部２１から焦点情報の入力が無い場合、撮像部１４のフォーカスレンズは、この所定の焦点情報に基づいた状態となるように制御される。一方、測距部２１から焦点情報の入力が有る場合、撮像部１４のフォーカスレンズは、入力された焦点情報に基づいた状態となるように制御される。
撮像部１４は、上記のように制御されたフォーカスレンズを含む撮像レンズを通して結像された被写体の画像を、ＣＣＤにより電気信号に変換することにより撮像を行う。
撮像部１４は、入力部１３を介したユーザによる入力の度に１枚又は複数枚の静止画像を撮像するように構成されても良い。また、撮像部１４は、入力部１３を介したユーザによる入力に従って、複数フレームにより構成される動画像（時系列画像）を撮像するように構成されても良い。また、撮像部１４は、動画像を撮像するように構成された場合、複数フレームの中から一つのフレームの画像を取得し、このフレームの画像を処理対象の画像として合焦対象決定部１６ａに渡すように構成されても良い。
〈画像記憶部〉
画像記憶部１５は、いわゆるＲＡＭ等の読み書き可能な記録媒体などを用いて構成され
る。画像記憶部１５は、撮像装置１２ａに対して着脱可能な記録媒体を用いて構成されても良い。画像記憶部１５は、撮像部１４によって撮像される画像のデータを記憶する。
画像記憶部１５は、いわゆるＲＡＭ等の読み書き可能な記録媒体などを用いて構成され
る。画像記憶部１５は、撮像装置１２ａに対して着脱可能な記録媒体を用いて構成されても良い。画像記憶部１５は、撮像部１４によって撮像される画像のデータを記憶する。
〈合焦対象決定部〉
合焦対象決定部１６ａは、撮像部１４によって撮像された被写体から、焦点を合わせる被写体、即ち合焦の対象となる顔を決定する。このとき、合焦対象決定部１６ａは、撮像部１４によって合焦用に撮像された画像を用いて処理を行う。この合焦用に撮像された画像は、撮像部１４によって合焦対象決定部１６ａに入力される。
合焦対象決定部１６ａは、撮像部１４によって撮像された被写体から、焦点を合わせる被写体、即ち合焦の対象となる顔を決定する。このとき、合焦対象決定部１６ａは、撮像部１４によって合焦用に撮像された画像を用いて処理を行う。この合焦用に撮像された画像は、撮像部１４によって合焦対象決定部１６ａに入力される。
合焦対象決定部１６ａは、顔検出部１７ａ及び決定部１８ａを含む。以下、合焦対象決定部１６ａを構成する各機能部について説明する。
〈顔検出部〉
顔検出部１７ａは、合焦用の画像から人物の顔を含む領域（以後「顔領域」と呼ぶ）の座標を得る。この顔矩形の座標により、合焦用の画像における人の顔領域の位置や大きさが特定される。
顔検出部１７ａは、合焦用の画像から人物の顔を含む領域（以後「顔領域」と呼ぶ）の座標を得る。この顔矩形の座標により、合焦用の画像における人の顔領域の位置や大きさが特定される。
顔領域の検出は、既存のどのような技術を適用することにより実現されても良い。例えば、顔全体の輪郭に対応した基準テンプレートを用いたテンプレートマッチングによって顔矩形の座標が得られても良い。また、顔の構成要素（目，鼻，耳など）に基づくテンプレートマッチングによって顔矩形の座標が得られても良い。また、クロマキー処理によって頭髪の頂点が検出され、この頂点に基づいて顔矩形の座標が得られても良い。また、肌の色領域の検出に基づいて顔矩形の座標が得られても良い。
〈決定部〉
決定部１８ａは、顔検出部１７ａによって検出された顔の中から、合焦の対象となる顔を決定する。決定部１８ａは、決定された顔に関する顔矩形の座標（例：顔矩形の中央を示す座標）を測距部２１に渡す。決定部１８ａは、中心決定部１９ａ及び顔決定部２０ａを含む。以下、決定部１８ａを構成する各機能部について説明する。
決定部１８ａは、顔検出部１７ａによって検出された顔の中から、合焦の対象となる顔を決定する。決定部１８ａは、決定された顔に関する顔矩形の座標（例：顔矩形の中央を示す座標）を測距部２１に渡す。決定部１８ａは、中心決定部１９ａ及び顔決定部２０ａを含む。以下、決定部１８ａを構成する各機能部について説明する。
〈中心決定部〉
中心決定部１９ａは、顔検出部１７ａによって検出された顔が複数である場合、検出された複数の顔の位置の中心を求める。ここでは、顔矩形の中央の点（以下、「顔点」と呼ぶ）が顔の位置を示すものとする。検出された顔が二つである場合は、中心決定部１９ａは、二つの顔点の中点を求める。また、検出された顔が三つ以上である場合は、中心決定部１９ａは、以下のいずれかの方法により中心を求める。
中心決定部１９ａは、顔検出部１７ａによって検出された顔が複数である場合、検出された複数の顔の位置の中心を求める。ここでは、顔矩形の中央の点（以下、「顔点」と呼ぶ）が顔の位置を示すものとする。検出された顔が二つである場合は、中心決定部１９ａは、二つの顔点の中点を求める。また、検出された顔が三つ以上である場合は、中心決定部１９ａは、以下のいずれかの方法により中心を求める。
《外接多角形法》
外接多角形法では、中心決定部１９ａは、複数の顔点に外接する多角形の中心を、複数の顔の位置の中心として求める。用いられる多角形の頂点数は、いくらであっても良く、あらかじめ定められる。ここでは、頂点数が４点である場合について説明する。
外接多角形法では、中心決定部１９ａは、複数の顔点に外接する多角形の中心を、複数の顔の位置の中心として求める。用いられる多角形の頂点数は、いくらであっても良く、あらかじめ定められる。ここでは、頂点数が４点である場合について説明する。
図９は、外接多角形法に基づいて中心決定部１９ａが中心を取得する処理を説明するための図である。中心決定部１９ａは、複数の顔点におけるｘ座標及びｙ座標それぞれについて、最大値及び最小値を判断する。中心決定部１９ａは、ｘ座標の最大値，最小値をとる顔点を含むｙ軸に平行な直線と、ｙ座標の最大値，最小値をとる顔点を含むｘ軸に平行な直線とによって生成される矩形（直交座標系において、ｘ軸、ｙ軸に平行で且つ顔点座標の各座標成分の最大値及び最小値を夫々通過する各線の交点が頂点を構成する矩形）を生成する。そして、中心決定部１９ａは、生成された矩形の対角線の交点の座標を中心の座標として取得する。
《重心法》
図１０は、重心法に基づいて中心決定部１９ａが中心を取得する処理を説明するための図である。重心法では、中心決定部１９ａは、複数の顔点の重心を取得する。具体的には、中心決定部１９ａは、各顔点の位置ベクトルの和を顔点の数で除算することにより重心の位置ベクトルを取得し、この位置ベクトルに基づいて重心の座標を取得する。そして、中心決定部１９ａは、取得された重心の座標を中心の座標として取得する。図１０には、６つの顔点に対し、或る基準点（例えば各顔点の座標成分それぞれの最小値によって示される点）からの位置ベクトルが夫々求められ、重心座標（Ｘg,Ｙg）が求められる様子が
示されている。
図１０は、重心法に基づいて中心決定部１９ａが中心を取得する処理を説明するための図である。重心法では、中心決定部１９ａは、複数の顔点の重心を取得する。具体的には、中心決定部１９ａは、各顔点の位置ベクトルの和を顔点の数で除算することにより重心の位置ベクトルを取得し、この位置ベクトルに基づいて重心の座標を取得する。そして、中心決定部１９ａは、取得された重心の座標を中心の座標として取得する。図１０には、６つの顔点に対し、或る基準点（例えば各顔点の座標成分それぞれの最小値によって示される点）からの位置ベクトルが夫々求められ、重心座標（Ｘg,Ｙg）が求められる様子が
示されている。
〈顔決定部〉
顔決定部２０ａは、中心決定部１９ａによって取得された中心の座標に基づいて、いずれの顔に基づいて合焦を行えばよいか決定する。図１１は、顔決定部２０ａによる処理を説明するための図である。顔決定部２０ａは、中心から所定の距離内に位置する顔の中から所定の基準に従って顔を選択する。このとき、顔決定部２０ａは、顔の大きさ、顔の位置、顔の向きなどどのような基準に基づいて顔を決定しても良い。例えば、顔決定部２０ａは、中心決定部１９ａによって取得された中心から所定の距離内に位置する顔の中で、画像（フレーム）の中央点（図１１でシンボル「×」により図示）に最も近い顔（太線の円で囲まれた顔点）を選択する。
顔決定部２０ａは、中心決定部１９ａによって取得された中心の座標に基づいて、いずれの顔に基づいて合焦を行えばよいか決定する。図１１は、顔決定部２０ａによる処理を説明するための図である。顔決定部２０ａは、中心から所定の距離内に位置する顔の中から所定の基準に従って顔を選択する。このとき、顔決定部２０ａは、顔の大きさ、顔の位置、顔の向きなどどのような基準に基づいて顔を決定しても良い。例えば、顔決定部２０ａは、中心決定部１９ａによって取得された中心から所定の距離内に位置する顔の中で、画像（フレーム）の中央点（図１１でシンボル「×」により図示）に最も近い顔（太線の円で囲まれた顔点）を選択する。
図１１に示す例では、顔点の中心ＦＯから所定の距離Ｒを半径とする円Ｃ１内に存する二つの顔点Ｆ１及びＦ２について、画像（フレーム）の中心点Ｏとの距離Ｌ１及びＬ２が測定される。そして、Ｌ１＜Ｌ２であることから、顔点Ｆ１が合焦対象の顔点（即ち、合焦対象の顔）として決定される。
顔決定部２０ａは、選択された顔点の座標を測距部２１へ渡す。
〈測距部〉
測距部２１は、合焦対象決定部１６ａの顔決定部２０ａによって決定された顔に焦点を合わせるための焦点情報を取得する。このとき測距部２１は、顔決定部２０ａから入力される二次元座標（顔点の座標）を元に、焦点を合わせるための被写体を特定する。測距部２１により実施される測距は、例えば顔の実物に対して赤外線を射出することによって実施される（アクティブ方式）が適用されても良いし、このようなアクティブ方式以外の方式（例えばパッシブ方式）が適用されても良い。
測距部２１は、合焦対象決定部１６ａの顔決定部２０ａによって決定された顔に焦点を合わせるための焦点情報を取得する。このとき測距部２１は、顔決定部２０ａから入力される二次元座標（顔点の座標）を元に、焦点を合わせるための被写体を特定する。測距部２１により実施される測距は、例えば顔の実物に対して赤外線を射出することによって実施される（アクティブ方式）が適用されても良いし、このようなアクティブ方式以外の方式（例えばパッシブ方式）が適用されても良い。
例えば、測距部２１は、赤外線などを被写体に対して射出することにより被写体までの距離を測距することにより焦点情報を取得するように構成される。この場合、測距部２１は、顔決定部２０ａから入力される二次元座標を元に、赤外線などを射出する方向を決定する。
測距部２１は、焦点情報を取得すると、取得された焦点情報を撮像部１４へ渡す。
〔動作例〕
図１２は、撮像装置１２ａの動作例を示すフローチャートである。以下、図１２を用いて撮像装置１２ａの動作例について説明する。
図１２は、撮像装置１２ａの動作例を示すフローチャートである。以下、図１２を用いて撮像装置１２ａの動作例について説明する。
撮像装置１２ａに電源が投入されると、撮像部１４は、フォーカスレンズを所定の焦点情報に基づいた状態となるように制御する。
入力部１３は、シャッターレリーズボタンがユーザによって半押しされたことを検知すると（Ｓ１６）、オートフォーカスの命令が入力されたことを撮像部１４へ通知する。
撮像部１４は、測距部２１から焦点情報が入力されているか否かを判断する。焦点情報が入力されていない場合（Ｓ１７−ＮＯ）、撮像部１４は、合焦用の画像を撮像する（Ｓ１８）。撮像部１４は、撮像された合焦用の画像を、合焦対象決定部１６ａへ渡す。
合焦対象決定部１６ａは、入力された合焦用の画像に基づいて、焦点を合わせる対象となる顔を決定する（Ｓ１９）。図１３は、合焦対象決定部１６ａの動作例（焦点を合わせる顔の決定処理（Ｓ１９）の例）を示すフローチャートである。Ｓ１９の処理について、図１３を用いて説明する。
まず、顔検出部１７ａは、入力された画像から人物の顔を検出する（Ｓ２４）。顔検出部１７ａは、検出された顔の画像情報を決定部１８ａの中心決定部１９ａへ渡す。
中心決定部１９ａは、顔検出部１７ａによって検出された顔の数を調べる。顔の数が１より少ない場合（Ｓ２５：＜１）、即ち０である場合、中心決定部１９ａは、顔が無いことを顔決定部２０に通知する。そして、顔決定部２０ａは、画像中央の二次元座標を測距部２１へ渡す（Ｓ２６）。
顔の数が１より多い場合（Ｓ２５：＞１）、即ち複数の顔が検出された場合、決定部１８ａは、複数の顔から一つの顔を選択する処理を実行する（Ｓ２７）。図１４は、複数の顔から一つの顔を選択する処理（Ｓ２７）の例を示すフローチャートである。図１４を用いてＳ２７の処理について説明する。
中心決定部１９ａは検出された顔の顔点の中心の座標を取得する（Ｓ２９）。中心決定部１９ａは、顔決定部２０ａへ取得された中心の座標を渡す。次に、顔決定部２０ａは、入力された中心の座標に基づいて、例えば図１１を用いて説明した手法により、一つの顔を選択する（Ｓ３０）。
図１３を用いた説明に戻る。画像から検出された顔が一つである場合（Ｓ２５：＝１）、又はＳ２７の処理の後、顔決定部２０ａは、一つの顔の顔点の二次元座標を測距部２１へ渡す（Ｓ２８）。ここでいう一つの顔とは、検出された顔の数が一つである場合はこの唯一検出された顔であり、Ｓ２７の処理の後である場合は選択された顔である。
図１２を用いた説明に戻る。Ｓ１９の処理の後、測距部２１は、合焦対象決定部１６ａの顔決定部２０ａから渡される二次元座標に基づいて焦点情報を取得する（Ｓ２０）。測距部２１は、取得された焦点情報を撮像部１４へ渡す。この処理の後、再びＳ１７以降の処理が実行される。
Ｓ１７において、撮像部１４に対し測距部２１から焦点情報の入力がある場合（Ｓ１７−ＹＥＳ）、撮像部１４は、入力された焦点情報に基づいてフォーカスレンズを制御する（Ｓ２１）。即ち、撮像部１４は、合焦対象決定部１６ａによって決定された顔に焦点が合うようにフォーカスレンズを制御する。
フォーカスレンズの制御の後、撮像部１４は撮像を行う（Ｓ２２）。この撮像により、合焦対象決定部１６ａによって決定された顔に焦点が合った画像が撮像される。そして、画像記憶部１５は、撮像部１４によって撮像された画像のデータを記憶する（Ｓ２３）。
〔作用／効果〕
本発明の第二実施形態である撮像装置１２ａによれば、画像中に存在する人の顔が検出され、検出された顔のいずれかが合焦の対象として自動的に決定される。このため、ユーザは、合焦の対象にしたい顔を、画像（フレーム）の中心に位置させる必要はない。言い換えれば、ユーザは、合焦したい顔をフレームの中心に置くようにする必要がない。
本発明の第二実施形態である撮像装置１２ａによれば、画像中に存在する人の顔が検出され、検出された顔のいずれかが合焦の対象として自動的に決定される。このため、ユーザは、合焦の対象にしたい顔を、画像（フレーム）の中心に位置させる必要はない。言い換えれば、ユーザは、合焦したい顔をフレームの中心に置くようにする必要がない。
また、本発明の第二実施形態である撮像装置１２ａによれば、画像中に複数の顔が存在する場合、画像中に存在する複数の顔の位置の中心に基づいて、合焦する対象となる顔が決定される。このため、画像中に複数の顔が存在した場合であっても、合焦の対象とすべき一つの顔を決定することが可能となる。また、集団における複数の顔の中央付近に位置する顔に対して合焦を行うことが可能となる。
〔変形例〕
顔決定部２０ａは、中心から所定の距離内に位置し、かつ正面を向いている顔の中から、所定の基準に従って顔を選択するように構成されても良い。このとき、顔決定部２０ａは、顔が正面を向いているか否かについて、例えば以下の公知文献に記載された技術によって判断する。
顔決定部２０ａは、中心から所定の距離内に位置し、かつ正面を向いている顔の中から、所定の基準に従って顔を選択するように構成されても良い。このとき、顔決定部２０ａは、顔が正面を向いているか否かについて、例えば以下の公知文献に記載された技術によって判断する。
H. Schneiderman, T. Kanade. "A Statistical Method for 3D Object Detection Applied to Faces and Cars." IEEE Conference on Computer Vision and Pattern Recognition, 2000。
また、上記の記載では中心決定部１９ａが顔の位置を点として捉える構成について説明したが、中心決定部１９ａは顔の位置を領域として捉えるように構成されても良い。
また、顔決定部２０ａにより決定された顔は、図示せぬ表示部を介して、その顔の周囲に枠が表示されるように構成されても良い。このように構成されることにより、ユーザはいずれの顔が、合焦の対象として決定されたかを知ることが可能となる。また、ユーザは、このように表示された顔に対して合焦されることに不満がある場合は、入力部１３によって命令を入力することにより、手動で他の顔に対して合焦されるように操作可能に設計されても良い。
また、顔決定部２０ａは、中心から所定の距離内に位置し、かつその中で所定の大きさ以上の顔の中から、所定の基準に従って顔を選択するように構成されても良い。
また、撮像装置１２ａは、決定部１８ａによって決定された顔に基づいて、露出制御を実行するように構成されても良い。この点は、後述する第二乃至第六実施形態においても同様である。
また、決定部１８ａは、顔検出部１７ａによって検出された各顔をそのｘ座標又はｙ座標を元にソートし、検出された顔の数の中間値の順位に相当する顔を対象となる顔として決定しても良い。
また、決定部１８ａは、顔検出部１７ａによって検出された顔の中から、所定の基準に従って顔を決定するように構成されても良い。所定の基準とは、例えば顔の大きさに基づいたもの（例：最も大きな顔を決定するという基準，中間の大きさの顔を決定するという基準，最小の顔を決定するという基準）であっても良いし、画像中における顔の位置に基づいたもの（例：画像の中央に最も近い顔という基準）であっても良いし、顔の向きに基づいたもの（例：正面を向いている顔という基準）であっても良いし、顔らしさに基づいたもの（例：顔らしさの度合いを示す量が最も大きな顔を決定するという基準）であても良いし、顔から推定される性別に基づいたもの（例：男と推定された顔を決定するという
基準，女と推定された顔を決定するという基準）であっても良いし、顔から推定される年代に基づいたもの（最も若い年代と推定された顔を決定するという基準，中間の年代と推定された顔を決定するという基準）であっても良いし、その他どのような基準であっても良い。また、所定の基準とは、上記した基準を適宜複数組み合わせたものであっても良い。
基準，女と推定された顔を決定するという基準）であっても良いし、顔から推定される年代に基づいたもの（最も若い年代と推定された顔を決定するという基準，中間の年代と推定された顔を決定するという基準）であっても良いし、その他どのような基準であっても良い。また、所定の基準とは、上記した基準を適宜複数組み合わせたものであっても良い。
また、上記の説明では、撮像部１４は一つの被写体に対して合焦を行うように構成されていることを前提としている。このため、合焦対象決定部１６ａは一つの顔の座標を測距部２１に渡している。しかし、撮像部１４が複数の被写体に対して合焦を行うように構成される場合、合焦対象決定部１６ａはこの数に応じて複数の顔の座標を測距部２１に渡すように構成されても良い。このような撮像部１４の例として、特開平１１−２９５８２６に記載される装置がある。この場合、決定部５ａの顔決定部２０ａは、所定の基準に従って顔に優先順位をつけ、この優先順位に基づいて所定の数の顔を選択する。例えば、顔決定部２０ａは、中心決定部１９ａによって決定された中心に近い順から所定の数の顔を選択するように構成できる。選択される顔の数が所定の数に達しない場合は、その他どのような方法によって、測距部２１に渡される座標が取得されても良い。
［第三実施形態］
次に、合焦対象決定部１６ｂを備える撮像装置１２ｂについて説明する。合焦対象決定部１６ｂは、合焦対象決定部１６の一実施例である。以下、撮像装置１２ｂ及び合焦対象決定部１６ｂについて、第二実施形態における撮像装置１２ａ及び合焦対象決定部１６ａと異なる点について説明する。
次に、合焦対象決定部１６ｂを備える撮像装置１２ｂについて説明する。合焦対象決定部１６ｂは、合焦対象決定部１６の一実施例である。以下、撮像装置１２ｂ及び合焦対象決定部１６ｂについて、第二実施形態における撮像装置１２ａ及び合焦対象決定部１６ａと異なる点について説明する。
〔システム構成〕
図１５は、撮像装置１２ｂの機能ブロックを示す図である。撮像装置１２ｂは、合焦対象決定部１６ａの代わりに合焦対象決定部１６ｂを備える点で、第二実施形態における撮像装置１２ａと異なる。従って、以下、撮像装置１２ｂの入力部１３，撮像部１４，画像記憶部１５，及び測距部２１についての説明は省略する。
図１５は、撮像装置１２ｂの機能ブロックを示す図である。撮像装置１２ｂは、合焦対象決定部１６ａの代わりに合焦対象決定部１６ｂを備える点で、第二実施形態における撮像装置１２ａと異なる。従って、以下、撮像装置１２ｂの入力部１３，撮像部１４，画像記憶部１５，及び測距部２１についての説明は省略する。
〈合焦対象決定部〉
合焦対象決定部１６ｂは、顔検出部１７ａ，分類部２２，集合決定部２３，及び決定部１８ｂを含む。以下、合焦対象決定部１６ｂを構成する各機能部について説明する。ただし、合焦対象決定部１６ｂに含まれる顔検出部１７ａは、第二実施形態における合焦対象決定部１６ａに含まれる顔検出部１７ａと同様の構成となるためその説明を省略する。
合焦対象決定部１６ｂは、顔検出部１７ａ，分類部２２，集合決定部２３，及び決定部１８ｂを含む。以下、合焦対象決定部１６ｂを構成する各機能部について説明する。ただし、合焦対象決定部１６ｂに含まれる顔検出部１７ａは、第二実施形態における合焦対象決定部１６ａに含まれる顔検出部１７ａと同様の構成となるためその説明を省略する。
〈分類部〉
分類部２２は、顔検出部１７ａにおいて検出された顔の顔点を、複数の集合にクラスタリングする。このクラスタリングには、最近傍法などどのような手法が用いられても良い。分類部２２は、各顔点の位置に基づいてクラスタリングを実行する。分類部２２によるクラスタリングの結果、各顔点は、画像中の位置が近い顔点同士が同じ集合に含まれるように分類される。
分類部２２は、顔検出部１７ａにおいて検出された顔の顔点を、複数の集合にクラスタリングする。このクラスタリングには、最近傍法などどのような手法が用いられても良い。分類部２２は、各顔点の位置に基づいてクラスタリングを実行する。分類部２２によるクラスタリングの結果、各顔点は、画像中の位置が近い顔点同士が同じ集合に含まれるように分類される。
図１６は、分類部２２の処理例を示す図である。図１６のように複数の顔点の集団が存在する場合、それぞれの集団毎に一つの集合として分類される。
〈集合決定部〉
集合決定部２３は、分類部２２において分類された複数の集合のうち、合焦の対象となる顔を決定するための集合（即ち、合焦の対象となる顔を含む集合：以下、「選択集合」と呼ぶ）を決定する。即ち、測距部２１に渡される顔点の座標は、集合決定部２３によって決定された選択集合に含まれる顔の顔点の座標となる。
集合決定部２３は、分類部２２において分類された複数の集合のうち、合焦の対象となる顔を決定するための集合（即ち、合焦の対象となる顔を含む集合：以下、「選択集合」と呼ぶ）を決定する。即ち、測距部２１に渡される顔点の座標は、集合決定部２３によって決定された選択集合に含まれる顔の顔点の座標となる。
集合決定部２３は、各集合に含まれる顔の数、各集合に含まれる顔に関する特徴量など、どのような基準に基づいて選択集合を決定しても良い。例えば、集合決定部２３は、各集合において最も多くの顔を含む集合を、選択集合として決定する。また、例えば、集合決定部２３は、各集合に含まれる顔に関する特徴量の和が最も大きい集合を、選択集合として決定する。顔に関する特徴量は、例えば、顔の大きさ、顔の向き、顔の数などに基づいて取得することができる。また、顔に関する特徴量は、人の顔度合いを示す値であっても良い。人の顔度合いとは、例えば、ある画像が人の顔であるか否かを分ける識別境界線からの距離によって与えられる。人の顔度合いとは、顔検出部１７ａにおける顔検出処理の際に取得される値を用いて示されても良い。
図１６を用いて、集合決定部２３の処理例を説明する。分類部２２の処理によって生成された複数の集合（図１６においては三つの集合）から、所定の基準（ここでは集合に含まれる顔点の数が多いもの）に従って、集合決定部２３により左上の集合が選択集合として選択される。
〈決定部〉
決定部１８ｂは、撮像部１４によって撮像された画像全体に含まれる顔ではなく、集合決定部２３によって決定された選択集合に含まれる顔に基づいて処理を行う（選択集合を顔の決定の母集団とする）点で、決定部１８ａと異なる。決定部１８ｂは、上記の点を除けば、決定部１８ａと同様の処理を行う。
決定部１８ｂは、撮像部１４によって撮像された画像全体に含まれる顔ではなく、集合決定部２３によって決定された選択集合に含まれる顔に基づいて処理を行う（選択集合を顔の決定の母集団とする）点で、決定部１８ａと異なる。決定部１８ｂは、上記の点を除けば、決定部１８ａと同様の処理を行う。
図１７は、決定部１８ｂによる処理例を示す図である。集合決定部２３によって選択集合において、決定部１８ｂの中心決定部１９ｂにより顔点の中心が取得される。そして、取得された中心に基づいて、顔決定部２０ｂにより、所定の基準（ここでは画像（フレーム）の中央点に近いもの）に従って、一つの顔点（太線の円で囲まれた顔点）が選択される。
〔動作例〕
次に、第三実施形態における撮像装置１２ｂの動作例について説明する。撮像装置１２ｂの動作は、第二実施形態における撮像装置１２ａの動作と、Ｓ２７の処理の内容を除けば同じである。このため、撮像装置１２ｂの動作例について、Ｓ２７の処理の内容についてのみ説明する。
次に、第三実施形態における撮像装置１２ｂの動作例について説明する。撮像装置１２ｂの動作は、第二実施形態における撮像装置１２ａの動作と、Ｓ２７の処理の内容を除けば同じである。このため、撮像装置１２ｂの動作例について、Ｓ２７の処理の内容についてのみ説明する。
図１８は、第三実施形態における合焦対象決定部１６ｂの処理の一部、即ち図１３におけるＳ２７の処理の内容を示すフローチャートである。第三実施形態では、Ｓ２７において、第二実施形態で説明した図１４の処理の代わりに、この図１８に示す処理が行われる。
Ｓ２７の処理が開始すると、分類部２２は、顔検出部１７ａによって検出された複数の顔点を複数の集合にクラスタリングする（Ｓ３１）。次に、集合決定部２３は、分類部２２によって生成された複数の集合から一つの選択集合を選択する（Ｓ３２）。
中心決定部１９ｂは、Ｓ３２において選択された選択集合に含まれる顔に基づいて、この選択集合に含まれる複数の顔点の中心を取得する（Ｓ３３）。そして、顔決定部２０ｂは、Ｓ３３において取得された中心に基づいて、合焦の対象となる顔として一つの顔を選択する（Ｓ３４）。
〔作用／効果〕
第三実施形態における撮像装置１２ｂによれば、画像中に複数の集団が存在する場合、
そのうちの一つの集団に含まれる人のみに基づいて、合焦の対象となる顔を決定することが可能となる。ユーザが或る集団を撮像する場合、その集団の人々は一箇所に集まっている場合が多い。このとき、当該集団に属しない人（単独人、単独人の点在、他の人の集団）がフレーム内に存在していても、ユーザが撮像したいと考える集団に属する人の中から合焦の対象となる被写体が選択されることが望ましい。第三実施形態における撮像装置１２ｂによれば、ユーザのこのような要望を実現することが可能となる。即ち、第三実施形態では、フレーム内に収まる最も数の多い人の集団（集合）が撮像対象の集団（選択集合）が選択され、当該集団に属する何れかの人を基準とした合焦が実現される。なお、変形例の欄に後述するように、集合決定部２３によって選択された選択集合がユーザにとって望まれる集合でない場合は、ユーザによって手動で任意の集合を選択集合として選択可能に構成されても良い。
第三実施形態における撮像装置１２ｂによれば、画像中に複数の集団が存在する場合、
そのうちの一つの集団に含まれる人のみに基づいて、合焦の対象となる顔を決定することが可能となる。ユーザが或る集団を撮像する場合、その集団の人々は一箇所に集まっている場合が多い。このとき、当該集団に属しない人（単独人、単独人の点在、他の人の集団）がフレーム内に存在していても、ユーザが撮像したいと考える集団に属する人の中から合焦の対象となる被写体が選択されることが望ましい。第三実施形態における撮像装置１２ｂによれば、ユーザのこのような要望を実現することが可能となる。即ち、第三実施形態では、フレーム内に収まる最も数の多い人の集団（集合）が撮像対象の集団（選択集合）が選択され、当該集団に属する何れかの人を基準とした合焦が実現される。なお、変形例の欄に後述するように、集合決定部２３によって選択された選択集合がユーザにとって望まれる集合でない場合は、ユーザによって手動で任意の集合を選択集合として選択可能に構成されても良い。
図１９は、撮像装置１２ｂによって奏される効果を示すための図である。図１９のように複数の集団が存在する場合であっても、例えば画像の左下に位置する集団に含まれる顔の位置のみに基づいて、その集団の中心に近い顔（太線の矩形によって囲まれた顔）が選択される。
〔変形例〕
集合決定部２３は、各集合に含まれる顔の顔点の中心に基づいて選択集合を決定するように構成されても良い。この場合、中心決定部１９ｂは、分類部２２によって生成された各集合に含まれる顔点について中心を取得する。集合決定部２３は、中心決定部１９ｂによって取得された各集合における中心に基づいて、選択集合を決定する。例えば、集合決定部２３は、集合に含まれる顔点の中心の座標が画像の中央点に最も近い集合を、選択集合として決定する。そして、顔決定部２０ｂは、選択集合の中心に基づいて、合焦の対象となる顔を決定する。
集合決定部２３は、各集合に含まれる顔の顔点の中心に基づいて選択集合を決定するように構成されても良い。この場合、中心決定部１９ｂは、分類部２２によって生成された各集合に含まれる顔点について中心を取得する。集合決定部２３は、中心決定部１９ｂによって取得された各集合における中心に基づいて、選択集合を決定する。例えば、集合決定部２３は、集合に含まれる顔点の中心の座標が画像の中央点に最も近い集合を、選択集合として決定する。そして、顔決定部２０ｂは、選択集合の中心に基づいて、合焦の対象となる顔を決定する。
また、集合決定部２３は、各集合において合焦の対象となる顔として暫定的に決定された顔の顔点に基づいて選択集合を決定するように構成されても良い。この場合、決定部１８ｂは、分類部２２によって生成された各集合について、その集合に含まれる顔のみに基づいて、合焦の対象となる顔を暫定的に決定する。そして、集合決定部２３は、決定部１８ｂによって取得された各集合における顔点に基づいて、選択集合を決定する。例えば、集合決定部２３は、集合に含まれる暫定的に決定された顔点の座標が画像の中央点に最も近い集合を、選択集合として決定する。即ち、実質的に集合決定部２３は、合焦の対象となる顔を最終的に決定する。この場合は、集合決定部２３が測距部２１に決定された顔の顔点の座標を渡すように構成されても良い。
また、このように構成される場合、集合決定部２３によって選択された集合がユーザにとって所望の集合ではなかった場合（集合の選択結果は図示せぬ表示部を介してユーザに提示される）に、入力部１３を用いてユーザによって他の集合が選択集合として選択されるように構成されても良い。この場合、ユーザによって選択される集合は、入力部１３が操作される度に、優先順位に基づいてシフトするように構成されても良い。この優先順位とは、集合決定部２３によって判断される所定の基準に基づいた順位である。
上述したように、集合毎に合焦対象の顔（「対象顔」と称することもある）を暫定的に決定し、暫定の対象顔の中から最終的な対象顔を決定し、この対象顔をユーザに提示し、ユーザの意図と一致しない場合には、対象顔を、暫定的に決定された他の対象顔のいずれかに変更できるようにすることができる。
上記構成に代えて、決定部１８ｂが暫定の対象顔から最終的な対象顔を決定する前に、暫定の対象顔がユーザに提示され、その中からユーザが最終的な対象顔を選択するように
構成しても良い。暫定の対象顔は、図示せぬ表示部を介して、その顔の周囲に枠が表示されることによりユーザに提示される。
構成しても良い。暫定の対象顔は、図示せぬ表示部を介して、その顔の周囲に枠が表示されることによりユーザに提示される。
或いは、対象顔が決定される前に、分類部２２による集合の分類結果が図示せぬ表示部を介してユーザに提示され、ユーザが選択集合を決定し、ユーザにより決定された選択集合から決定部１８ｂが対象顔を選択するようにしても良い。この場合には、集合決定部２３は選択集合の決定処理を行わず、ユーザによる選択集合の決定結果を決定部１８ｂに渡す動作を行うのみとなる。このように、集合決定部２３の決定動作がオプション操作によりオン／オフされるようにしても良い。
［第四実施形態］
次に、合焦対象決定部１６ｃを備える撮像装置１２ｃについて説明する。合焦対象決定部１６ｃは、合焦対象決定部１６の一実施例である。以下、撮像装置１２ｃ及び合焦対象決定部１６ｃについて、第三実施形態における撮像装置１２ｂ及び合焦対象決定部１６ｂと異なる点について説明する。
次に、合焦対象決定部１６ｃを備える撮像装置１２ｃについて説明する。合焦対象決定部１６ｃは、合焦対象決定部１６の一実施例である。以下、撮像装置１２ｃ及び合焦対象決定部１６ｃについて、第三実施形態における撮像装置１２ｂ及び合焦対象決定部１６ｂと異なる点について説明する。
〔システム構成〕
図２０は、撮像装置１２ｃの機能ブロックを示す図である。撮像装置１２ｃは、合焦対象決定部１６ｂの代わりに合焦対象決定部１６ｃを備える点で、第三実施形態における撮像装置１２ｂと異なる。従って、以下、撮像装置１２ｃの入力部１３，撮像部１４，画像記憶部１５，及び測距部２１についての説明は省略する。
図２０は、撮像装置１２ｃの機能ブロックを示す図である。撮像装置１２ｃは、合焦対象決定部１６ｂの代わりに合焦対象決定部１６ｃを備える点で、第三実施形態における撮像装置１２ｂと異なる。従って、以下、撮像装置１２ｃの入力部１３，撮像部１４，画像記憶部１５，及び測距部２１についての説明は省略する。
〈合焦対象決定部〉
合焦対象決定部１６ｃは、決定部１８ｂの代わりに決定部１８ｃを含む点で、第三実施形態における合焦対象決定部１６ｂと異なる。従って、顔検出部１７ａ，分類部２２，及び集合決定部２３についての説明は省略する。
合焦対象決定部１６ｃは、決定部１８ｂの代わりに決定部１８ｃを含む点で、第三実施形態における合焦対象決定部１６ｂと異なる。従って、顔検出部１７ａ，分類部２２，及び集合決定部２３についての説明は省略する。
〈決定部〉
決定部１８ｃは、集合決定部２３によって決定された集合（選択集合）に含まれる顔に基づいて処理を行う。決定部１８ｃは、その顔の大きさに基づいて、合焦の対象となる顔を決定する。決定部１８ｃは、例えば、選択集合に含まれる顔のうち最も大きな顔を、合焦の対象となる顔として決定する。或いは、決定部１８ｃは、例えば、集合決定部２３によって決定された選択集合に含まれる顔のうち中間の大きさを有する顔を、合焦の対象となる顔として決定しても良い。以下の説明では、決定部１８ｃは、最も大きな顔を合焦の対象となる顔として決定するものとして説明する。
決定部１８ｃは、集合決定部２３によって決定された集合（選択集合）に含まれる顔に基づいて処理を行う。決定部１８ｃは、その顔の大きさに基づいて、合焦の対象となる顔を決定する。決定部１８ｃは、例えば、選択集合に含まれる顔のうち最も大きな顔を、合焦の対象となる顔として決定する。或いは、決定部１８ｃは、例えば、集合決定部２３によって決定された選択集合に含まれる顔のうち中間の大きさを有する顔を、合焦の対象となる顔として決定しても良い。以下の説明では、決定部１８ｃは、最も大きな顔を合焦の対象となる顔として決定するものとして説明する。
〔動作例〕
次に、第四実施形態における撮像装置１２ｃの動作例について説明する。撮像装置１２ｃの動作は、第三実施形態における撮像装置１２ｂの動作と、Ｓ２７の処理の内容を除けば同じである。このため、撮像装置１２ｃの動作例について、Ｓ２７の処理の内容についてのみ説明する。
次に、第四実施形態における撮像装置１２ｃの動作例について説明する。撮像装置１２ｃの動作は、第三実施形態における撮像装置１２ｂの動作と、Ｓ２７の処理の内容を除けば同じである。このため、撮像装置１２ｃの動作例について、Ｓ２７の処理の内容についてのみ説明する。
図２１は、第四実施形態における合焦対象決定部１６ｃの処理の一部、即ち図１３におけるＳ２７の処理の内容を示すフローチャートである。
Ｓ２７の処理が開始すると、分類部２２は、顔検出部１７ａによって検出された複数の顔点を複数の集合にクラスタリングする（Ｓ３１）。次に、集合決定部２３は、分類部２２によって生成された複数の集合から一つの選択集合を選択する（Ｓ３２）。そして、決定部１８ｃは、Ｓ３２の処理において選択された選択集合に含まれる顔の中から、各顔の大きさに基づいて、合焦の対象となる顔として一つの顔を選択する（Ｓ３５）。
〔作用／効果〕
第四実施形態における撮像装置１２ｃによれば、第三実施形態における撮像装置１２ｂと同様に、画像中に複数の集団が存在する場合、そのうちの一つの集団に含まれる人のみに基づいて、合焦の対象となる顔を決定することが可能となる。
第四実施形態における撮像装置１２ｃによれば、第三実施形態における撮像装置１２ｂと同様に、画像中に複数の集団が存在する場合、そのうちの一つの集団に含まれる人のみに基づいて、合焦の対象となる顔を決定することが可能となる。
また、第四実施形態における撮像装置１２ｃによれば、選択された一つの集団に含まれる顔の中から、その顔の大きさに基づいて、合焦の対象となる顔が選択される。ユーザにとって、最も注目したい顔は撮像装置に最も近い顔である場合がある。また、撮像装置に最も近い顔は、撮像される際に最も大きい顔である可能性が高い。このため、撮像装置１２ｃによれば、選択された一つの集団に含まれる顔の中から、顔の大きさに基づいてユーザにとって最も注目したいと想定される顔が選択される。従って、この場合ユーザは注目したい顔に対して手動で焦点を合わせる必要がなくなる。少なくとも、従来技術のように、最も注目したい顔をフレームの中心やその付近に置く必要はない。
〔変形例〕
決定部１８ｃは、集合決定部２３によって決定された集合に含まれる各顔に関する特徴量に基づいて処理を行うように構成されても良い。決定部１８ｃは、各顔に関する特徴量を取得する。決定部１８ｃは、例えば、顔の大きさ、顔の向きなどに基づいて、各顔に関する特徴量を取得するように構成される。また、決定部１８ｃは、例えば各顔について、顔らしさの度合いを示す量を特徴量として取得するように構成される。「顔らしさの度合いを示す量」とは、例えば顔検出部１７ａにおける顔検出処理の際に取得される値を用いて示される。具体的には、顔検出部１７ａは、ある領域内に顔が含まれるか否かを判断する際に、この領域内の画像の顔らしさに関する値を算出するように構成された場合、この顔らしさに関する値が特徴量として用いられる。
決定部１８ｃは、集合決定部２３によって決定された集合に含まれる各顔に関する特徴量に基づいて処理を行うように構成されても良い。決定部１８ｃは、各顔に関する特徴量を取得する。決定部１８ｃは、例えば、顔の大きさ、顔の向きなどに基づいて、各顔に関する特徴量を取得するように構成される。また、決定部１８ｃは、例えば各顔について、顔らしさの度合いを示す量を特徴量として取得するように構成される。「顔らしさの度合いを示す量」とは、例えば顔検出部１７ａにおける顔検出処理の際に取得される値を用いて示される。具体的には、顔検出部１７ａは、ある領域内に顔が含まれるか否かを判断する際に、この領域内の画像の顔らしさに関する値を算出するように構成された場合、この顔らしさに関する値が特徴量として用いられる。
［第五実施形態］
次に、合焦対象決定部１６ｄを備える撮像装置１２ｄについて説明する。合焦対象決定部１６ｄは、合焦対象決定部１６の一実施例である。以下、撮像装置１２ｄ及び合焦対象決定部１６ｄについて、第二実施形態における撮像装置１２ａ及び合焦対象決定部１６ａと異なる点について説明する。
次に、合焦対象決定部１６ｄを備える撮像装置１２ｄについて説明する。合焦対象決定部１６ｄは、合焦対象決定部１６の一実施例である。以下、撮像装置１２ｄ及び合焦対象決定部１６ｄについて、第二実施形態における撮像装置１２ａ及び合焦対象決定部１６ａと異なる点について説明する。
〔システム構成〕
図２２は、撮像装置１２ｄの機能ブロックを示す図である。撮像装置１２ｄは、合焦対象決定部１６ａの代わりに合焦対象決定部１６ｄを備える点で、第二実施形態における撮像装置１２ａと異なる。従って、以下、撮像装置１２ｄの入力部１３，撮像部１４，画像記憶部１５，及び測距部２１についての説明は省略する。
図２２は、撮像装置１２ｄの機能ブロックを示す図である。撮像装置１２ｄは、合焦対象決定部１６ａの代わりに合焦対象決定部１６ｄを備える点で、第二実施形態における撮像装置１２ａと異なる。従って、以下、撮像装置１２ｄの入力部１３，撮像部１４，画像記憶部１５，及び測距部２１についての説明は省略する。
〈合焦対象決定部〉
合焦対象決定部１６ｄは、顔検出部１７ｄ，ブロック決定部２４，及び決定部１８ｄを含む。以下、合焦対象決定部１６ｄを構成する各機能部について説明する。
合焦対象決定部１６ｄは、顔検出部１７ｄ，ブロック決定部２４，及び決定部１８ｄを含む。以下、合焦対象決定部１６ｄを構成する各機能部について説明する。
〈顔検出部〉
顔検出部１７ｄは、合焦用の画像から顔領域を検出する際に、予め定められた複数のブロック毎に顔領域を検出する点で、第二実施形態における顔検出部１７ａと異なる。図２３は、複数のブロックに分けられた合焦用の画像の例を示す図である。図２３に示されるように、合焦用の画像は、複数のブロック（図２３では、矩形の画像（フレーム）がその縦又は横軸に平行で且つ画像の中央点を通過する二つの線分により４つのブロックに分けられているが、いくつのブロックに分けられても良い）に分けられる。合焦用の画像がどのようなブロックに分けられるかは、例えば顔検出部１７ｄが記憶している。
顔検出部１７ｄは、合焦用の画像から顔領域を検出する際に、予め定められた複数のブロック毎に顔領域を検出する点で、第二実施形態における顔検出部１７ａと異なる。図２３は、複数のブロックに分けられた合焦用の画像の例を示す図である。図２３に示されるように、合焦用の画像は、複数のブロック（図２３では、矩形の画像（フレーム）がその縦又は横軸に平行で且つ画像の中央点を通過する二つの線分により４つのブロックに分けられているが、いくつのブロックに分けられても良い）に分けられる。合焦用の画像がどのようなブロックに分けられるかは、例えば顔検出部１７ｄが記憶している。
顔検出部１７ｄは、複数の各ブロックについて顔を検出する。そして、顔検出部１７ｄは、ブロック毎に検出結果をブロック決定部２４に渡す。
〈ブロック決定部〉
ブロック決定部２４は、予め定められた複数のブロックのうち、合焦の対象となる顔を決定するためのブロック（即ち、合焦の対象となる顔を含むブロック：以下、「選択ブロック」と称する）を選択する。即ち、測距部２１に渡される座標は、ブロック決定部２４によって決定された選択ブロックにおいて検出された顔の顔点の座標となる。
ブロック決定部２４は、予め定められた複数のブロックのうち、合焦の対象となる顔を決定するためのブロック（即ち、合焦の対象となる顔を含むブロック：以下、「選択ブロック」と称する）を選択する。即ち、測距部２１に渡される座標は、ブロック決定部２４によって決定された選択ブロックにおいて検出された顔の顔点の座標となる。
ブロック決定部２４は、各ブロックにおいて検出された顔の数、ブロックにおいて検出された顔に関する特徴量など、どのような基準に基づいて選択ブロックを決定しても良い。例えば、ブロック決定部２４は、各ブロックにおいて最も多くの顔が検出されたブロックを、選択ブロックとして決定する。このようにブロック決定部２４が構成された場合、図２３に示される状況では、左上のブロックが、ブロック決定部２４により選択ブロックとして決定される。
また、例えば、ブロック決定部２４は、各ブロックに含まれる顔に関する特徴量の和が最も大きいブロックを、選択ブロックとして決定することもできる。顔に関する特徴量の算出手法として、上述した実施形態において説明した手法と同様の手法を適用することができる。
〈決定部〉
決定部１８ｄは、撮像部１４によって撮像された画像全体に含まれる顔ではなく、ブロック決定部２４によって決定された選択ブロックに含まれる顔に基づいて処理を行う点で、決定部１８ａと異なる。決定部１８ｄは、上記の点を除けば、決定部１８ａと同様の処理を行う。
決定部１８ｄは、撮像部１４によって撮像された画像全体に含まれる顔ではなく、ブロック決定部２４によって決定された選択ブロックに含まれる顔に基づいて処理を行う点で、決定部１８ａと異なる。決定部１８ｄは、上記の点を除けば、決定部１８ａと同様の処理を行う。
図２４は、決定部１８ｄによる処理例を示す図である。ブロック決定部２４によって選択された左上のブロック（選択ブロック）において、顔点の中心が取得される。そして、取得された中心に基づいて、所定の基準（ここでは画像（フレーム）の中央点に近いもの）に従って、一つの顔点（太線の円で囲まれた顔点）が選択される。
〔動作例〕
次に、第五実施形態における撮像装置１２ｄの動作例について説明する。撮像装置１２ｄの動作は、第二実施形態における撮像装置１２ａの動作と、Ｓ１９の処理の内容を除けば同じである。このため、撮像装置１２ｄの動作例について、Ｓ１９の処理の内容についてのみ説明する。
次に、第五実施形態における撮像装置１２ｄの動作例について説明する。撮像装置１２ｄの動作は、第二実施形態における撮像装置１２ａの動作と、Ｓ１９の処理の内容を除けば同じである。このため、撮像装置１２ｄの動作例について、Ｓ１９の処理の内容についてのみ説明する。
図２５は、第五実施形態における合焦対象決定部１６ｄの処理の一部、即ち図１２におけるＳ１９の処理の内容を示すフローチャートである。このように、第五実施形態では、Ｓ１９において、第二実施形態で適用される図１３に示す処理の代わりに、図２５に示す処理が実行される。
Ｓ１９の処理が開始すると、顔検出部１７ｄは、ブロック毎に顔を検出する（Ｓ３６）。次に、ブロック決定部２４は、顔が検出されたブロックの数を調べる。顔が検出されたブロックの数が１より少ない場合（Ｓ３７：＜１）、即ち０である場合、ブロック決定部２４は、顔が無いことを決定部１８ｄに通知する。そして、決定部１８ｄは、画像（フレーム）中央の二次元座標を測距部２１へ渡す（Ｓ３８）。
顔が検出されたブロックの数が１より多い場合（Ｓ３７：＞１）、ブロック決定部２４は、顔が検出された複数のブロックから一つの選択ブロックを選択する（Ｓ３９）。顔が検出されたブロックが一つである場合（Ｓ３７：＝１）、又はＳ３９の処理の後、決定部１８ｄは、ブロック決定部２４によって選択された選択ブロックに含まれる顔の数を調べる。顔の数が１より多い場合（Ｓ４０：＞１）、即ち複数の顔がこの選択ブロックにおいて検出されている場合、決定部１８ｄはこの複数の顔から一つの顔を選択する（Ｓ４１）。Ｓ４１の処理は、図１４に示されるフローチャートと同様の処理となる。但し、処理の対象が画像全体ではなく選択ブロックである点において、第二実施形態と異なる。
図２５を用いた説明に戻る。検出された顔が一つである場合（Ｓ４０：＝１）、又はＳ４１の処理の後、決定部１８ｄは、一つの顔の顔点の二次元座標を測距部２１へ渡す（Ｓ４２）。ここでいう一つの顔とは、検出された顔の数が一つである場合はこの唯一検出された顔であり、Ｓ４１の処理の後である場合は選択された顔である。この処理の後、図１２におけるＳ２０以降の処理が実施される。
〔作用／効果〕
第五実施形態における撮像装置１２ｄによれば、合焦用の画像が複数のブロックに分割され、複数のブロックの中から、合焦の対象となる顔を含む一つの選択ブロックが選択される。そして、この一つの選択ブロックの中から、合焦の対象となる顔が選択される。このため、第五実施形態における撮像装置１２ｄでは、擬似的に第三実施形態と同様の効果を得ることが可能となる。具体的には、画像中に複数の集団が存在する場合、ブロックによってこれらの集団をおおまかに分けることが可能となる。そして、所定の基準に従って選択された一つの選択ブロックに含まれる集団又は集団の一部の顔に基づいて、合焦の対象となる顔が選択される。
第五実施形態における撮像装置１２ｄによれば、合焦用の画像が複数のブロックに分割され、複数のブロックの中から、合焦の対象となる顔を含む一つの選択ブロックが選択される。そして、この一つの選択ブロックの中から、合焦の対象となる顔が選択される。このため、第五実施形態における撮像装置１２ｄでは、擬似的に第三実施形態と同様の効果を得ることが可能となる。具体的には、画像中に複数の集団が存在する場合、ブロックによってこれらの集団をおおまかに分けることが可能となる。そして、所定の基準に従って選択された一つの選択ブロックに含まれる集団又は集団の一部の顔に基づいて、合焦の対象となる顔が選択される。
また、第五実施形態における撮像装置１２ｄでは、第三実施形態における撮像装置１２ｂとは異なりクラスタリングの処理を実行しない。このため、第五実施形態における撮像装置１２ｄでは、第三実施形態における撮像装置１２ｂに比べて高速に処理を行うことが可能となる。
〔変形例〕
決定部１８ｄは、第三実施形態における決定部１８ｂと同様に構成されても良い。この場合、決定部１８ｄは、集合決定部２３によって決定された選択集合に含まれる顔ではなく、ブロック決定部２４によって決定された選択ブロックに含まれる顔に基づいて処理を行う点で、決定部１８ｂと異なるように構成される。即ち、画像全体ではなく選択ブロックを対象とした集合の分類や、選択集合の決定等が行われるように構成される。この場合、決定部１８ｄは、上記の点を除けば、決定部１８ｂと同様の処理を行うように構成される。
決定部１８ｄは、第三実施形態における決定部１８ｂと同様に構成されても良い。この場合、決定部１８ｄは、集合決定部２３によって決定された選択集合に含まれる顔ではなく、ブロック決定部２４によって決定された選択ブロックに含まれる顔に基づいて処理を行う点で、決定部１８ｂと異なるように構成される。即ち、画像全体ではなく選択ブロックを対象とした集合の分類や、選択集合の決定等が行われるように構成される。この場合、決定部１８ｄは、上記の点を除けば、決定部１８ｂと同様の処理を行うように構成される。
このように構成されることにより、画面に含まれる全ての顔を対象とするクラスタリングを行う必要が無くなる。即ち、選択されたブロックに含まれる顔についてのみクラスタリングが実行されれば良い。このため、画面に多数の集団が含まれる場合、第三実施形態における撮像装置１２ｂに比べて高速に処理を行うことが可能となる。また、通常の第五実施形態における撮像装置１２ｄに比べて、より正確に、合焦の対象となる顔を含む集合及び合焦の対象となる顔を選択することが可能となる。
［第六実施形態］
次に、合焦対象決定部１６ｅを備える撮像装置１２ｅについて説明する。合焦対象決定部１６ｅは、合焦対象決定部１６の一実施例である。以下、撮像装置１２ｅ及び合焦対象決定部１６ｅについて、第二実施形態における撮像装置１２ａ及び合焦対象決定部１
６ａと異なる点について説明する。
次に、合焦対象決定部１６ｅを備える撮像装置１２ｅについて説明する。合焦対象決定部１６ｅは、合焦対象決定部１６の一実施例である。以下、撮像装置１２ｅ及び合焦対象決定部１６ｅについて、第二実施形態における撮像装置１２ａ及び合焦対象決定部１
６ａと異なる点について説明する。
〔システム構成〕
図２６は、撮像装置１２ｅの機能ブロックを示す図である。撮像装置１２ｅは、合焦対象決定部１６ａの代わりに合焦対象決定部１６ｅを備える点で、第二実施形態における撮像装置１２ａと異なる。従って、以下、撮像装置１２ｅの入力部１３，撮像部１４，画像記憶部１５，及び測距部２１についての説明は省略する。
図２６は、撮像装置１２ｅの機能ブロックを示す図である。撮像装置１２ｅは、合焦対象決定部１６ａの代わりに合焦対象決定部１６ｅを備える点で、第二実施形態における撮像装置１２ａと異なる。従って、以下、撮像装置１２ｅの入力部１３，撮像部１４，画像記憶部１５，及び測距部２１についての説明は省略する。
〈合焦対象決定部〉
合焦対象決定部１６ｅは、顔検出部１７ａ，最大顔選択部２５，候補選択部２６，及び決定部１８ｅを含む。以下、合焦対象決定部１６ｅを構成する各機能部について説明する。ただし、合焦対象決定部１６ｅに含まれる顔検出部１７ａは、第二実施形態における合焦対象決定部１６ａに含まれる顔検出部１７ａと同様の構成となるためその説明を省略する。
合焦対象決定部１６ｅは、顔検出部１７ａ，最大顔選択部２５，候補選択部２６，及び決定部１８ｅを含む。以下、合焦対象決定部１６ｅを構成する各機能部について説明する。ただし、合焦対象決定部１６ｅに含まれる顔検出部１７ａは、第二実施形態における合焦対象決定部１６ａに含まれる顔検出部１７ａと同様の構成となるためその説明を省略する。
〈最大顔選択部〉
最大顔選択部２５は、顔検出部１７ａによって検出された複数の顔の中から、最も大きな顔（最大顔）を選択する。最大顔選択部２５は、顔検出部１７ａにおいて顔矩形が用いられる場合は、この顔矩形の大きさを元に選択を行う。また、最大顔選択部２５は、顔検出部１７ａにおいてパターンマッチングが実行される場合は、このパターンの大きさを元に選択を行う。最大顔選択部２５は、その他どのような方法によって最大顔を選択するように構成されても良い。最大顔選択部２５は、選択された最大顔についての情報（例：顔点の座標，顔の大きさ）を候補選択部２６へ渡す。
最大顔選択部２５は、顔検出部１７ａによって検出された複数の顔の中から、最も大きな顔（最大顔）を選択する。最大顔選択部２５は、顔検出部１７ａにおいて顔矩形が用いられる場合は、この顔矩形の大きさを元に選択を行う。また、最大顔選択部２５は、顔検出部１７ａにおいてパターンマッチングが実行される場合は、このパターンの大きさを元に選択を行う。最大顔選択部２５は、その他どのような方法によって最大顔を選択するように構成されても良い。最大顔選択部２５は、選択された最大顔についての情報（例：顔点の座標，顔の大きさ）を候補選択部２６へ渡す。
図２７は、最大顔選択部２５の処理例を示す図である。図２７において、各顔点の大きさは、各顔点に対応する顔の大きさを示す。最大顔選択部２５の処理によって、太枠に囲まれた顔点が最大顔選択される。
〈候補選択部〉
候補選択部２６は、最大顔選択部２５によって選択された最大顔の大きさに基づいて、合焦の対象となる顔の候補を選択する。言い換えると、候補選択部２６は、決定部１８ｅの処理対象となる顔を決定する。
候補選択部２６は、最大顔選択部２５によって選択された最大顔の大きさに基づいて、合焦の対象となる顔の候補を選択する。言い換えると、候補選択部２６は、決定部１８ｅの処理対象となる顔を決定する。
候補選択部２６は、最大顔選択部２５によって選択された最大顔と、この最大顔の大きさから所定の範囲内の大きさを有する他の顔を対象顔の候補として選択する。所定の範囲内の大きさとは、例えば数パーセント〜数十パーセント分だけ最大顔よりも小さい大きさを示す。また、所定の範囲内の大きさとは、例えば最大顔の半分以上の大きさや２／３以上の大きさを示す。
図２８は、候補選択部２６の処理例を示す図である。図２８において、小さな白抜きの円は、候補選択部２６によって選択されなかった顔点を示す。黒塗りの円は、候補選択部２６によって選択された他の顔の顔点を示す。なお、太枠によって囲まれた顔点は、決定部１８ｅによって選択された最大顔の顔点を示す。
〈決定部〉
決定部１８ｅは、撮像部１４によって撮像された画像全体に含まれる顔ではなく、候補選択部２６によって選択された候補に含まれる顔に基づいて処理を行う点で、決定部１８ａと異なる。決定部１８ｅは、上記の点を除けば、決定部１８ａと同様の処理を行う。
決定部１８ｅは、撮像部１４によって撮像された画像全体に含まれる顔ではなく、候補選択部２６によって選択された候補に含まれる顔に基づいて処理を行う点で、決定部１８ａと異なる。決定部１８ｅは、上記の点を除けば、決定部１８ａと同様の処理を行う。
図２８を用いて決定部１８ｅの処理について説明する。決定部１８ｅは、候補選択部２
６によって選択された三つの顔点に基づいて、合焦の対象となる顔を選択する。このとき、決定部１８ｅの中心決定部１９ｅは、この三つの顔点の中心（斜線の円）を取得する。そして、この中心に基づいて、所定の基準（ここでは画像（フレーム）の中心（中央点）に最も近いもの）に従って、決定部１８ｅの顔決定部２０ｅは、一つの顔点（ここでは、太枠によって囲まれた顔点（最大顔））を選択する。
６によって選択された三つの顔点に基づいて、合焦の対象となる顔を選択する。このとき、決定部１８ｅの中心決定部１９ｅは、この三つの顔点の中心（斜線の円）を取得する。そして、この中心に基づいて、所定の基準（ここでは画像（フレーム）の中心（中央点）に最も近いもの）に従って、決定部１８ｅの顔決定部２０ｅは、一つの顔点（ここでは、太枠によって囲まれた顔点（最大顔））を選択する。
〔動作例〕
次に、第六実施形態における撮像装置１２ｅの動作例について説明する。撮像装置１２ｅの動作は、第二実施形態における撮像装置１２ａの動作と、Ｓ２７の処理の内容を除けば同じである。このため、撮像装置１２ｅの動作例について、Ｓ２７の処理の内容についてのみ説明する。
次に、第六実施形態における撮像装置１２ｅの動作例について説明する。撮像装置１２ｅの動作は、第二実施形態における撮像装置１２ａの動作と、Ｓ２７の処理の内容を除けば同じである。このため、撮像装置１２ｅの動作例について、Ｓ２７の処理の内容についてのみ説明する。
図２９は、第六実施形態における合焦対象決定部１６ｅの処理の一部、即ち図１３におけるＳ２７の処理の内容を示すフローチャートである。このように、第六実施形態は、Ｓ２７において図１４に示す処理の代わりに図２９に示す処理を実行する点で、第二実施形態と異なる。
Ｓ２７の処理が開始すると、最大顔選択部２５は、顔検出部１７ａによって検出された複数の顔のうち、最大の顔を選択する（Ｓ４３）。次に、候補選択部２６は、最大顔選択部２５によって選択された顔（最大顔）の大きさに基づいて、候補となる顔を選択する（Ｓ４４）。
次に、決定部１８ｅの中心決定部１９ｅは、候補選択部２６によって選択された候補となる顔（最大顔、及びこの最大顔を基準とした所定範囲に属する大きさを持つ少なくとも一つの他の顔）に基づいて、顔点の中心を取得する（Ｓ４５）。そして、決定部１８ｅの顔決定部２０ｅは、取得された中心に基づいて、一つの顔、即ち合焦の対象となる顔を選択する（Ｓ４６）。なお、上記処理によれば、他の顔に相当する顔が検出されない場合には、最大顔が対象顔として決定される。
〔作用／効果〕
第六実施形態における撮像装置１２ｅによれば、ある程度の大きさをもった顔のみに基づいて、合焦の対象となる顔が選択される。ある程度の大きさは、最大の顔の大きさに基づいて判断される。
第六実施形態における撮像装置１２ｅによれば、ある程度の大きさをもった顔のみに基づいて、合焦の対象となる顔が選択される。ある程度の大きさは、最大の顔の大きさに基づいて判断される。
このため、背景として写ってしまった人、即ちユーザが被写体として意識していない人の顔が処理の対象として含まれることが防止される。従って、合焦の対象となる顔を含む集合を選択する処理や、集合に含まれる顔に基づいた中心を取得する処理や、合焦の対象となる顔を選択する処理の精度が向上する。
〔変形例〕
最大顔選択部２５は、検出された顔の肌の色の領域の大きさを元に選択を行うように構成されても良い。
最大顔選択部２５は、検出された顔の肌の色の領域の大きさを元に選択を行うように構成されても良い。
また、第二〜第六実施形態は、顔検出部１７ａ〜１７ｅに代えて第一実施形態における顔検出部５を備えるように構成されても良い。
１ 撮像装置
２ 撮像部
３ 画像記憶部
４ 合焦対象決定部
５ 顔検出部
６ 決定部
７ 測距部
８ 顔判定矩形
９ 第一矩形
１０ 第二矩形
１１ 入力部
１２ａ，１２ｂ，１２ｃ，１２ｄ，１２ｅ 撮像装置
１３ 入力部
１４ 撮像部
１５ 画像記憶部
１６ａ，１６ｂ，１６ｃ，１６ｄ，１６ｅ 合焦対象決定部
１７ａ，１７ｄ 顔検出部
１８ａ，１８ｂ，１８ｃ，１８ｄ，１８ｅ 決定部
１９ａ，１９ｂ，１９ｄ，１９ｅ 中心決定部
２０ａ，２０ｂ，２０ｄ，２０ｅ 顔決定部
２１ 測距部
２２ 分類部
２３ 集合決定部
２４ ブロック決定部
２５ 最大顔選択部
２６ 候補選択部
２ 撮像部
３ 画像記憶部
４ 合焦対象決定部
５ 顔検出部
６ 決定部
７ 測距部
８ 顔判定矩形
９ 第一矩形
１０ 第二矩形
１１ 入力部
１２ａ，１２ｂ，１２ｃ，１２ｄ，１２ｅ 撮像装置
１３ 入力部
１４ 撮像部
１５ 画像記憶部
１６ａ，１６ｂ，１６ｃ，１６ｄ，１６ｅ 合焦対象決定部
１７ａ，１７ｄ 顔検出部
１８ａ，１８ｂ，１８ｃ，１８ｄ，１８ｅ 決定部
１９ａ，１９ｂ，１９ｄ，１９ｅ 中心決定部
２０ａ，２０ｂ，２０ｄ，２０ｅ 顔決定部
２１ 測距部
２２ 分類部
２３ 集合決定部
２４ ブロック決定部
２５ 最大顔選択部
２６ 候補選択部
Claims (18)
- 任意の焦点情報に基づいて撮像された画像を処理対象の画像とし、前記処理対象の画像から、人の顔の凹凸や器官により生じる、複数の特徴領域における統計量の相対的な値に基づいて人の顔を検出する顔検出手段と、
前記顔検出手段によって検出された顔に基づいて、撮像が実施される際に焦点を合わせる被写体及び／又は露出制御を行う対象となる被写体を決定する決定手段と
を含む対象決定装置。 - 任意の焦点情報に基づいて撮像された複数フレームを含む時系列画像から、所定のフレームの画像を処理対象の画像として取得するフレーム取得手段と、
前記処理対象の画像から、人の顔の凹凸や器官により生じる、複数の特徴領域における統計量の相対的な値に基づいて人の顔を検出する顔検出手段と、
前記顔検出手段によって検出された顔に基づいて、撮像が実施される際に焦点を合わせる被写体及び／又は露出制御を行う対象となる被写体を決定する決定手段と
を含む対象決定装置。 - 前記顔検出手段は、前記処理対象の画像において注目領域内の特徴領域である第一の領域と第二の領域との統計量の相対的な値を求め、前記統計量の相対的な値に基づいて前記注目領域に人の顔が含まれるか否かを判断することにより人の顔を検出する請求項１又は２に記載の対象決定装置。
- 前記決定手段は、前記顔検出手段が複数の顔を検出した場合に、前記複数の顔それぞれの画像情報を元に一つの顔を決定し、この顔に基づいて前記焦点を合わせる被写体及び／又は露出制御を行う対象となる被写体を決定する請求項１〜３のいずれかに記載の対象決定装置。
- 前記決定手段は、前記複数の顔それぞれの画像の大きさを比較し、その大きさが最も大きい顔に基づいて前記焦点を合わせる被写体及び／又は露出制御を行う対象となる被写体を決定する請求項４に記載の対象決定装置。
- 前記決定手段は、前記各顔について、顔の向き、顔の大きさ、画像内での位置、又は周辺の顔の密度のいずれか一つ又は複数に基づいて得点を算出し、前記算出された得点を前記画像情報として用いる請求項４に記載の対象決定装置。
- 前記決定手段は、前記顔検出手段が複数の人の顔を検出した場合に、前記複数の顔の実物それぞれに対して測距された結果に従い、その距離が最も小さい顔に基づいて前記焦点を合わせる被写体及び／又は露出制御を行う対象となる被写体を決定する請求項１〜３のいずれかに記載の対象決定装置。
- 所定の焦点情報又は情報取得手段によって取得される焦点情報及び／又は露出制御情報に基づいた画像を撮像する撮像手段と、
前記所定の焦点情報に基づき前記撮像手段によって撮像された画像から、人の顔の凹凸や器官により生じる、複数の特徴領域における統計量の相対的な値に基づいて人の顔を検出する顔検出手段と、
前記顔検出手段によって検出された顔に基づいて、撮像が実施される際に焦点を合わせる被写体及び／又は露出制御を行う対象となる被写体を決定する決定手段と、
前記決定手段によって決定された被写体に焦点を合わせるための焦点情報及び／又は前記決定手段によって決定された被写体を対象として露出制御を行うための露出制御情報を取得する情報取得手段と、
前記情報取得手段によって取得された焦点情報及び／又は露出制御情報に基づき前記撮像手段によって撮像された画像を記憶する画像記憶手段と
を含む撮像装置。 - 所定の焦点情報又は情報取得手段によって取得される焦点情報及び／又は露出制御情報に基づき、複数フレームを含む時系列画像を撮像する撮像手段と、
前記撮像手段によって撮像された複数フレームを含む時系列画像から、所定のフレームの画像を取得するフレーム取得手段と、
前記フレーム取得手段により取得された画像から、人の顔の凹凸や器官により生じる、複数の特徴領域における統計量の相対的な値に基づいて人の顔を検出する顔検出手段と、
前記顔検出手段によって検出された顔に基づいて、撮像が実施される際に焦点を合わせる被写体及び／又は露出制御を行う対象となる被写体を決定する決定手段と、
前記決定手段によって決定された被写体に焦点を合わせるための焦点情報及び／又は前記決定手段によって決定された被写体を対象として露出制御を行うための露出制御情報を取得する情報取得手段と、
前記情報取得手段によって取得された焦点情報及び／又は露出制御情報に基づき前記撮像手段によって撮像された時系列画像を記憶する画像記憶手段と
を含む撮像装置。 - 撮像装置から任意の被写体までの距離を測距する測距手段をさらに含み、
前記決定手段は、前記顔検出手段が複数の人の顔を検出した場合に、前記複数の顔の実物それぞれに対して前記測距手段が測距した結果に従い、その距離が最も小さい顔に基づいて前記焦点を合わせる被写体及び／又は露出制御を行う対象となる被写体を決定する請求項８又は９に記載の撮像装置。 - 前記決定手段によって決定された人の顔を、他の顔と区別して表示する表示手段をさらに含む請求項８又は９に記載の撮像装置。
- 任意の焦点情報に基づいて撮像された画像を処理対象の画像とし、前記処理対象の画像から、人の顔の凹凸や器官により生じる、複数の特徴領域における統計量の相対的な値に基づいて人の顔を検出するステップと、
検出された顔に基づいて、撮像が実施される際に焦点を合わせる被写体及び／又は露出制御を行う対象となる被写体を決定するステップと
を情報処理装置に実行させるためのプログラム。 - 前記決定手段は、前記顔検出手段で複数の人の顔が検出されたときに、当該複数の人の顔の位置に基づいて、当該複数の人の顔から、撮像が実施される際に焦点を合わせる対象となる顔及び／又は露出制御を行う対象となる顔を決定する
請求項１又は２に記載の対象決定装置。 - 前記決定手段は、前記顔検出手段で複数の人の顔が検出されたときに、検出された顔の数を基準としてその真ん中に位置する人の顔を、撮像が実施される際に焦点を合わせる対象となる顔及び／又は露出制御を行う対象となる顔として決定する
請求項１又は２に記載の対象決定装置。 - 前記決定手段は、
前記顔検出手段で複数の人の顔が検出されたときに、検出された複数の人の顔を、複数の集合に分類する分類手段と、
前記複数の集合それぞれについて、当該集合に含まれる人の顔から、撮像が実施される際に焦点を合わせる対象となる顔及び／又は露出制御を行う対象となる顔を決定する暫定
決定手段と、
前記暫定決定手段によって決定された顔の中から、前記対象となる顔を最終的に決定する最終決定手段と
を含む、請求項１又は２に記載の対象決定装置。 - 前記顔検出手段による検出結果に基づいて、撮像が実施される際に焦点を合わせる対象となる顔及び／又は露出制御を行う対象となる顔を決定するための選択ブロックを決定するブロック決定手段をさらに含み、
前記決定手段は、前記選択ブロックに含まれる顔から、前記対象となる顔を決定する
請求項１又は２に記載の対象決定装置。 - 前記顔検出手段で複数の人の顔が検出されたときに、検出された人の顔のうち最大の顔を判断する判断手段と、
前記検出された顔から、前記最大の顔、及びこの最大の顔の大きさを基準とした所定の範囲内の大きさを有する顔を選択する選択手段と
をさらに含み、
前記決定手段は、前記選択された顔の中から、撮像が実施される際に焦点を合わせる対象となる顔及び／又は露出制御を行う対象となる顔を決定する
請求項１又は２に記載の対象決定装置。 - 前記顔検出手段で複数の人の顔が検出されたときに、検出された複数の人の顔を、それぞれの位置に基づいて複数の集合に分類する分類手段と、
前記複数の集合の中から、撮像が実施される際に焦点を合わせる対象となる顔及び／又は露出制御を行う対象となる顔を決定するための選択集合を決定する集合決定手段とをさらに含み、
前記決定手段は、前記集合決定手段によって決定された選択集合に含まれる顔から、前記対象となる顔を決定する
請求項１又は２に記載の対象決定装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004206947A JP4706197B2 (ja) | 2003-07-15 | 2004-07-14 | 対象決定装置及び撮像装置 |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003197404 | 2003-07-15 | ||
| JP2003197404 | 2003-07-15 | ||
| JP2004206947A JP4706197B2 (ja) | 2003-07-15 | 2004-07-14 | 対象決定装置及び撮像装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2005049854A true JP2005049854A (ja) | 2005-02-24 |
| JP4706197B2 JP4706197B2 (ja) | 2011-06-22 |
Family
ID=34277324
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2004206947A Active JP4706197B2 (ja) | 2003-07-15 | 2004-07-14 | 対象決定装置及び撮像装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4706197B2 (ja) |
Cited By (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006330800A (ja) * | 2005-05-23 | 2006-12-07 | Nippon Telegr & Teleph Corp <Ntt> | 画像合成システム、画像合成方法、この方法のプログラム |
| JP2007065940A (ja) * | 2005-08-31 | 2007-03-15 | Seiko Epson Corp | 画像選択装置および画像選択方法 |
| JP2007074673A (ja) * | 2005-09-09 | 2007-03-22 | Sony Corp | 画像処理装置および方法、並びにプログラム |
| JP2007074674A (ja) * | 2005-09-09 | 2007-03-22 | Sony Corp | 画像処理装置および方法、並びにプログラム |
| JP2007074620A (ja) * | 2005-09-09 | 2007-03-22 | Omron Corp | 撮像装置 |
| JP2007074675A (ja) * | 2005-09-09 | 2007-03-22 | Sony Corp | 画像処理装置および方法、並びにプログラム |
| WO2007105768A1 (ja) | 2006-03-15 | 2007-09-20 | Omron Corporation | 顔画像登録装置、顔画像登録方法、顔画像登録プログラム、および記録媒体 |
| JP2007280291A (ja) * | 2006-04-11 | 2007-10-25 | Nikon Corp | 電子カメラ |
| JP2009109838A (ja) * | 2007-10-31 | 2009-05-21 | Nikon Corp | 焦点検出装置、カメラ |
| WO2009090862A1 (ja) * | 2008-01-17 | 2009-07-23 | Panasonic Corporation | 撮像装置、携帯端末及びカメラ制御方法 |
| JP2010078682A (ja) * | 2008-09-24 | 2010-04-08 | Canon Inc | 焦点調節装置、焦点調節制御方法、及びプログラム |
| US7747159B2 (en) | 2007-02-09 | 2010-06-29 | Canon Kabushiki Kaisha | Focusing device and image-capturing device provided with the same |
| JP2011027846A (ja) * | 2009-07-22 | 2011-02-10 | Fujifilm Corp | Ａｆ枠自動追尾システム |
| JP2011027847A (ja) * | 2009-07-22 | 2011-02-10 | Fujifilm Corp | Ａｆ枠自動追尾システム |
| WO2011114400A1 (ja) * | 2010-03-15 | 2011-09-22 | 株式会社ニコン | 電子機器 |
| JP2015148656A (ja) * | 2014-02-05 | 2015-08-20 | パナソニックＩｐマネジメント株式会社 | 撮像装置 |
| EP1760522A3 (en) * | 2005-08-31 | 2017-04-12 | Nikon Corporation | Autofocus apparatus |
| CN107168343A (zh) * | 2017-07-14 | 2017-09-15 | 灵动科技（北京）有限公司 | 一种行李箱的控制方法及行李箱 |
| CN112971712A (zh) * | 2019-12-13 | 2021-06-18 | 夏普株式会社 | 生物体信息取得装置、终端装置、取得方法、记录介质 |
| WO2023181363A1 (ja) * | 2022-03-25 | 2023-09-28 | 日本電気株式会社 | 制御装置、制御方法及びコンピュータ可読媒体 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0738796A (ja) * | 1993-07-21 | 1995-02-07 | Mitsubishi Electric Corp | 自動合焦装置 |
| JPH09251441A (ja) * | 1996-03-15 | 1997-09-22 | Toshiba Corp | 協同作業調整装置及び協同作業調整方法 |
| JP2002207156A (ja) * | 2001-01-04 | 2002-07-26 | Olympus Optical Co Ltd | カメラの測距装置 |
| JP2002277404A (ja) * | 2000-12-20 | 2002-09-25 | Hitachi Ltd | 欠陥検査方法及びその装置 |
| JP2003107335A (ja) * | 2001-09-28 | 2003-04-09 | Ricoh Co Ltd | 撮像装置、自動合焦方法、およびその方法をコンピュータが実行するためのプログラム |
-
2004
- 2004-07-14 JP JP2004206947A patent/JP4706197B2/ja active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0738796A (ja) * | 1993-07-21 | 1995-02-07 | Mitsubishi Electric Corp | 自動合焦装置 |
| JPH09251441A (ja) * | 1996-03-15 | 1997-09-22 | Toshiba Corp | 協同作業調整装置及び協同作業調整方法 |
| JP2002277404A (ja) * | 2000-12-20 | 2002-09-25 | Hitachi Ltd | 欠陥検査方法及びその装置 |
| JP2002207156A (ja) * | 2001-01-04 | 2002-07-26 | Olympus Optical Co Ltd | カメラの測距装置 |
| JP2003107335A (ja) * | 2001-09-28 | 2003-04-09 | Ricoh Co Ltd | 撮像装置、自動合焦方法、およびその方法をコンピュータが実行するためのプログラム |
Cited By (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006330800A (ja) * | 2005-05-23 | 2006-12-07 | Nippon Telegr & Teleph Corp <Ntt> | 画像合成システム、画像合成方法、この方法のプログラム |
| JP2007065940A (ja) * | 2005-08-31 | 2007-03-15 | Seiko Epson Corp | 画像選択装置および画像選択方法 |
| EP1760522A3 (en) * | 2005-08-31 | 2017-04-12 | Nikon Corporation | Autofocus apparatus |
| US8644613B2 (en) | 2005-08-31 | 2014-02-04 | Seiko Epson Corporation | Image selection device and image selection method |
| JP2007074673A (ja) * | 2005-09-09 | 2007-03-22 | Sony Corp | 画像処理装置および方法、並びにプログラム |
| JP2007074674A (ja) * | 2005-09-09 | 2007-03-22 | Sony Corp | 画像処理装置および方法、並びにプログラム |
| JP2007074620A (ja) * | 2005-09-09 | 2007-03-22 | Omron Corp | 撮像装置 |
| JP2007074675A (ja) * | 2005-09-09 | 2007-03-22 | Sony Corp | 画像処理装置および方法、並びにプログラム |
| WO2007105768A1 (ja) | 2006-03-15 | 2007-09-20 | Omron Corporation | 顔画像登録装置、顔画像登録方法、顔画像登録プログラム、および記録媒体 |
| US8212894B2 (en) | 2006-04-11 | 2012-07-03 | Nikon Corporation | Electronic camera having a face detecting function of a subject |
| JP2007280291A (ja) * | 2006-04-11 | 2007-10-25 | Nikon Corp | 電子カメラ |
| WO2007129438A1 (ja) * | 2006-04-11 | 2007-11-15 | Nikon Corporation | 電子カメラ |
| US7747159B2 (en) | 2007-02-09 | 2010-06-29 | Canon Kabushiki Kaisha | Focusing device and image-capturing device provided with the same |
| JP2009109838A (ja) * | 2007-10-31 | 2009-05-21 | Nikon Corp | 焦点検出装置、カメラ |
| JP2009171301A (ja) * | 2008-01-17 | 2009-07-30 | Panasonic Corp | 撮像装置、携帯端末及びカメラ制御方法 |
| WO2009090862A1 (ja) * | 2008-01-17 | 2009-07-23 | Panasonic Corporation | 撮像装置、携帯端末及びカメラ制御方法 |
| JP2010078682A (ja) * | 2008-09-24 | 2010-04-08 | Canon Inc | 焦点調節装置、焦点調節制御方法、及びプログラム |
| JP2011027846A (ja) * | 2009-07-22 | 2011-02-10 | Fujifilm Corp | Ａｆ枠自動追尾システム |
| JP2011027847A (ja) * | 2009-07-22 | 2011-02-10 | Fujifilm Corp | Ａｆ枠自動追尾システム |
| JP2011193278A (ja) * | 2010-03-15 | 2011-09-29 | Nikon Corp | 電子機器 |
| WO2011114400A1 (ja) * | 2010-03-15 | 2011-09-22 | 株式会社ニコン | 電子機器 |
| JP2015148656A (ja) * | 2014-02-05 | 2015-08-20 | パナソニックＩｐマネジメント株式会社 | 撮像装置 |
| CN107168343A (zh) * | 2017-07-14 | 2017-09-15 | 灵动科技（北京）有限公司 | 一种行李箱的控制方法及行李箱 |
| CN112971712A (zh) * | 2019-12-13 | 2021-06-18 | 夏普株式会社 | 生物体信息取得装置、终端装置、取得方法、记录介质 |
| JP7443044B2 (ja) | 2019-12-13 | 2024-03-05 | シャープ株式会社 | 生体情報取得装置、端末装置、生体情報取得方法、生体情報取得プログラム、及びコンピュータ読み取り可能な記録媒体 |
| WO2023181363A1 (ja) * | 2022-03-25 | 2023-09-28 | 日本電気株式会社 | 制御装置、制御方法及びコンピュータ可読媒体 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4706197B2 (ja) | 2011-06-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4461747B2 (ja) | 対象決定装置 | |
| KR100839772B1 (ko) | 대상 결정 장치 및 촬상 장치 | |
| JP4706197B2 (ja) | 対象決定装置及び撮像装置 | |
| JP4307496B2 (ja) | 顔部位検出装置及びプログラム | |
| JP4121026B2 (ja) | 撮像装置および方法並びにプログラム | |
| JP4196714B2 (ja) | デジタルカメラ | |
| JP2004320286A (ja) | デジタルカメラ | |
| JP2004317699A (ja) | デジタルカメラ | |
| US8400532B2 (en) | Digital image capturing device providing photographing composition and method thereof | |
| US20050041111A1 (en) | Frame adjustment device and image-taking device and printing device | |
| CN111246093B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| JP2004320285A (ja) | デジタルカメラ | |
| KR20210136092A (ko) | 화상 처리 장치, 화상 처리 방법 및 화상 처리 프로그램 | |
| JP2019186791A (ja) | 撮像装置、撮像装置の制御方法、および制御プログラム | |
| JP2006074498A (ja) | 画像処理装置及び撮像装置 | |
| CN111314608B (zh) | 一种图像定焦提示方法、计算机装置及计算机可读存储介质 | |
| JP2005065265A (ja) | フレーム調節装置、撮像装置および印刷装置 | |
| JP4821881B2 (ja) | 対象決定装置 | |
| JP4629740B2 (ja) | 撮像装置および方法並びにプログラム | |
| JP6776532B2 (ja) | 画像処理装置、撮像装置、電子機器及び画像処理プログラム | |
| JP7110657B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
| JP4323559B2 (ja) | 撮像装置および方法並びにプログラム | |
| US20240031683A1 (en) | Image capturing apparatus, control method, and storage medium | |
| JP5629562B2 (ja) | 画像処理装置及びその制御方法、及びプログラム | |
| JP2024003949A (ja) | 電子機器、電子機器の制御方法、プログラム、記憶媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070216 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100405 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100518 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100713 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20101026 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101220 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110215 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110228 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4706197 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |