JP2010028720A - 撮像装置 - Google Patents

Abstract

【課題】動画像撮影時に、焦点位置が不安定に変動することを抑制する。
【解決手段】撮像装置は、撮影者によってトリガ操作がなされた時点のフレーム画像を基準フレーム画像として取り扱い、基準フレーム画像より検出された複数の顔の中からＰ個の顔（候補顔）を第１優先基準に従って選択し、そのＰ個の顔から成る基準顔グループを設定する。そして、基準フレーム画像の取得時点以降に得られる各フレーム画像に対しては、基準顔グループ内の顔と同一人物の顔のみを含む顔グループを第１優先基準に従って設定する。撮像装置は、フレーム画像ごとに、当該フレーム画像に対して設定した顔グループの中から優先顔を第２優先基準に従って選択し、優先顔にピントが合う様にオートフォーカス制御を実行する。
【選択図】図９

Description

本発明は、デジタルビデオカメラ等の、動画像を撮影可能な撮像装置に関する。

デジタルスチルカメラ又はデジタルビデオカメラにおいて、撮影画像から人物の顔を検出する処理が実用化されており、その処理結果に基づいて、人物の顔にピントが合うようにオートフォーカス制御（ＡＦ制御）を実行する方法も提案されている。

顔検出機能を備えた従来のデジタルカメラでは、１枚の撮影画像（静止画像）から複数の顔が検出された場合、撮影画像の中心位置と撮影画像上における顔の位置との距離や撮影画像上の顔の大きさに基づいて各顔に優先順位を与え、最も優先順位が高い顔に着目してＡＦ制御を行っていた（例えば、下記特許文献１及び２参照）。この種のＡＦ制御は、例えば、最も優先順位が高い顔に合焦するように、デジタルカメラ内のフォーカスレンズの位置を調整することによって実行される。

一方で、動画像の撮影時には、各顔の画像中における位置や大きさは時々刻々と変化する。従って、動画像を形成する静止画像の夫々に対して、個別に且つ単純に、顔の位置や距離に基づく優先順位付けを行うと、最も高い優先順位が与えられる顔も頻繁に変化しうる。最も高い優先順位が与えられる顔に着目してＡＦ制御を行う場合において、その顔が必要以上に頻繁に変化すると、動画像の取得条件の一種である合焦位置が安定せず、不自然な動画像が得られてしまう。尚、オートアイリス制御又はオートホワイトバランス制御を実行する際にも同様の問題が生じうる。

特開２００３−１０７３３５号公報 特開２００５−４９８５４号公報

そこで本発明は、画像から複数の顔が検出された場合における、動画像の取得条件の安定化に寄与する撮像装置を提供することを目的とする。

本発明に係る第１の撮像装置は、撮像素子を用いた順次撮影によって取得される動画像の画像データに基づき、前記動画像を形成する各被検出画像から人物の顔を、顔の同定処理を行いながら検出する顔検出手段と、前記被検出画像ごとに、当該被検出画像より検出される複数の顔の中から優先顔を選択する選択処理手段と、前記優先顔が現れる顔領域内の画像データに基づいて前記動画像の取得条件を調整する調整手段と、特定タイミングを設定するための指示を受け付ける指示受付手段と、を備えた撮像装置において、前記特定タイミングの撮影によって得られる被検出画像を基準画像と呼ぶと共に前記特定タイミング以降の撮影によって得られる被検出画像を非基準画像と呼んだ場合、前記選択処理手段は、前記基準画像より検出される複数の顔の中から所定個数以下の顔を所定の第１優先基準に基づいて選択し、その選択した顔を含む顔グループを前記基準画像に対して設定する顔グループ設定手段と、前記基準画像に対する優先顔を、前記基準画像の顔グループの中から所定の第２優先基準に基づいて選択して設定する優先顔設定手段と、を備え、前記顔グループ設定手段は、前記非基準画像ごとに、当該非基準画像より検出される顔の中から前記基準画像の顔グループに含まれる顔と同一の顔のみを選択して、その選択した顔を含む顔グループを当該非基準画像に対して設定し、前記優先顔設定手段は、前記非基準画像ごとに、当該非基準画像に対する優先顔を、当該非基準画像の顔グループの中から前記第２優先基準に基づいて選択して設定することを特徴とする。

これにより、優先顔の選択対象となる顔が限定され、優先顔が頻繁に変化して動画像の取得条件（焦点位置など）が不安定になることを回避することが可能となる。

また例えば、第１の撮像装置において、前記優先顔設定手段は、異なる被検出画像間において優先顔が変更されることを許可するか否かを判断する変更制御手段を備えて、その判断結果に従って各被検出画像に対する優先顔の設定を行い、前記変更制御手段は、予め規定された変更許可条件が充足される場合にのみ、前記優先顔の変更を許可する。

これにより、優先顔の頻繁な変更が抑制される。

具体的には例えば、第１の撮像装置において、前記優先顔設定手段は、前記被検出画像ごとに、当該被検出画像の顔グループの中から暫定優先顔を前記第２優先基準に基づいて選択して設定する暫定優先顔設定手段を更に備え、前記変更許可条件の充足又は不充足の判断及び該判断に基づく着目被検出画像に対する優先顔の設定は、前記着目被検出画像の暫定優先顔及び前記着目被検出画像よりも過去に得られた被検出画像の暫定優先顔に基づいて実行される。

更に具体的には例えば、第１の撮像装置において、ｉを２以上の整数とし且つｊを１以上の整数とし且つ（ｎ−ｉ）を１以上とした場合、前記優先顔設定手段は、前記特定タイミング以降に得られる第（ｎ−ｉ）〜第（ｎ―１）番目の被検出画像の暫定優先顔が同一の顔である場合、その暫定優先顔を第（ｎ―１）番目の被検出画像の優先顔として設定し、第（ｎ−ｉ）〜第（ｎ―１）番目の被検出画像の暫定優先顔が同一の顔であって且つその顔と第ｎ番目の被検出画像の暫定優先顔が異なる場合、第ｎ番目の被検出画像の優先顔を第（ｎ―１）番目の被検出画像の優先顔と一致させて優先顔の変更を保留する一方で、第ｎ〜（ｎ＋ｊ）番目の被検出画像の暫定優先顔が同一の顔であるか否かを監視し、第ｎ〜（ｎ＋ｊ）番目の被検出画像の暫定優先顔が同一の顔であるとき、優先顔の変更を許可して第（ｎ＋ｊ）番目の被検出画像の暫定優先顔を第（ｎ＋ｊ）番目の被検出画像の優先顔として設定する。

本発明に係る第２の撮像装置は、撮像素子を用いた順次撮影によって取得される動画像の画像データに基づき、前記動画像を形成する各被検出画像から人物の顔を、顔の同定処理を行いながら検出する顔検出手段と、前記被検出画像ごとに、当該被検出画像より検出される複数の顔の中から優先顔を選択する選択処理手段と、前記優先顔が現れる顔領域内の画像データに基づいて前記動画像の取得条件を調整する調整手段と、を備えた撮像装置において、前記選択処理手段は、前記被検出画像ごとに、当該被検出画像より検出される複数の顔の中から所定個数以下の顔を所定の第１優先基準に基づいて選択して選択した顔を含む顔グループを設定する顔グループ設定手段と、前記被検出画像ごとに、当該被検出画像に対して設定された顔グループの中から所定の第２優先基準に基づいて優先顔を選択して設定する優先顔検出手段と、を備え、前記優先顔設定手段は、異なる被検出画像間において優先顔が変更されることを許可するか否かを判断する変更制御手段を備えて、その判断結果に従って各被検出画像に対する優先顔の設定を行い、前記変更制御手段は、予め規定された変更許可条件が充足される場合にのみ、前記優先顔の変更を許可することを特徴とする。

これにより、優先顔の頻繁な変更が抑制され、優先顔が頻繁に変化して動画像の取得条件（焦点位置など）が不安定になることを回避することが可能となる。

具体的には例えば、第２の撮像装置において、前記優先顔設定手段は、前記被検出画像ごとに、当該被検出画像の顔グループの中から暫定優先顔を前記第２優先基準に基づいて選択して設定する暫定優先顔設定手段を備え、前記変更許可条件の充足又は不充足の判断及び該判断に基づく着目被検出画像に対する優先顔の設定は、前記着目被検出画像の暫定優先顔及び前記着目被検出画像よりも過去に得られた被検出画像の暫定優先顔に基づいて実行される。

本発明に係る第３の撮像装置は、撮像素子を用いた順次撮影によって取得される動画像の画像データに基づき、前記動画像を形成する各被検出画像から人物の顔を、顔の同定処理を行いながら検出する顔検出手段と、前記被検出画像ごとに、当該被検出画像より検出される複数の顔の中から優先顔を選択する選択処理手段と、前記優先顔が現れる顔領域内の画像データに基づいて前記動画像の取得条件を調整する調整手段と、を備えた撮像装置において、前記選択処理手段は、前記被検出画像ごとに、当該被検出画像より検出される複数の顔の中から所定個数以下の顔を所定の第１優先基準に基づいて選択して選択した顔を含む顔グループを設定する顔グループ設定手段と、前記被検出画像ごとに、当該被検出画像に対して設定された顔グループの中から所定の第２優先基準に基づいて優先顔を選択して設定する優先顔検出手段と、を備え、前記撮像素子から第１の被検出画像が得られた後に第２の被検出画像が得られるとした場合、前記顔グループ設定手段は、第１の被検出画像に対して設定される顔グループに存在しない顔が、第２の被検出画像に対して設定される顔グループに含まれることを、許可するか否かを判断する変更制御手段を備えて、その判断結果に従って各被検出画像に対する顔グループの設定を行い、前記変更制御手段は、予め規定された変更許可条件が充足される場合にのみ、第１の被検出画像に対して設定される顔グループに存在しない顔が、第２の被検出画像に対して設定される顔グループに含まれることを、許可することを特徴とする。

これにより、優先顔の候補を含む顔グループの頻繁な変更が抑制される。結果、優先顔が頻繁に変化して動画像の取得条件（焦点位置など）が不安定になることを回避することが可能となる。

具体的には例えば、第３の撮像装置において、前記顔グループ設定手段は、前記被検出画像ごとに、当該被検出画像より検出される複数の顔の中から所定個数以下の顔を前記第１優先基準に基づいて選択して選択した顔を含む暫定顔グループを設定する暫定顔グループ設定手段を備え、前記変更許可条件の充足又は不充足の判断及び該判断に基づく着目被検出画像に対する顔グループの設定は、前記着目被検出画像の暫定顔グループ及び前記着目被検出画像よりも過去に得られた被検出画像の暫定顔グループに基づいて実行される。

また、上記第１〜第３の撮像装置において、前記調整手段は、前記被検出画像ごとに当該被検出画像の優先顔が表れる顔領域内の画像データから評価値を導出して、順次得られる前記評価値に基づいて前記動画像の取得条件を調整し、異なる被検出画像間で優先顔が第１の優先顔から第２の優先顔に変更されたとき、その変更後に得られる複数の被検出画像に対しては、第１及び第２の優先顔の双方における顔領域内の画像データから、前記取得条件の調整に用いる評価値を導出する。

これにより、優先顔の変更に伴う、動画像の取得条件の急激なる変化を抑制することが可能となる。結果、得られる動画像の乱れが抑制される。

本発明によれば、画像から複数の顔が検出された場合における、動画像の取得条件の安定化に寄与する撮像装置を提供することが可能である。

本発明の意義ないし効果は、以下に示す実施の形態の説明により更に明らかとなろう。ただし、以下の実施の形態は、あくまでも本発明の一つの実施形態であって、本発明ないし各構成要件の用語の意義は、以下の実施の形態に記載されたものに制限されるものではない。

以下、本発明の実施の形態につき、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。後に第１〜第８実施例を説明するが、まず、各実施例に共通する事項又は各実施例にて参照される事項について説明する。

図１は、本発明の実施形態に係る撮像装置１の全体ブロック図である。撮像装置１は、例えば、デジタルビデオカメラである。撮像装置１は、動画像及び静止画像を撮影可能となっていると共に、動画像撮影中に静止画像を同時に撮影することも可能となっている。

［基本的な構成の説明］
撮像装置１は、撮像部１１と、ＡＦＥ（Analog Front End）１２と、映像信号処理部１３と、マイク１４と、音声信号処理部１５と、圧縮処理部１６と、ＤＲＡＭ（Dynamic Random Access Memory）又はＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）などの内部メモリ１７と、ＳＤ（Secure Digital）カードや磁気ディスクなどの外部メモリ１８と、伸張処理部１９と、映像出力回路２０と、音声出力回路２１と、ＴＧ（タイミングジェネレータ）２２と、ＣＰＵ（Central Processing Unit）２３と、バス２４と、バス２５と、操作部２６と、表示部２７と、スピーカ２８と、を備えている。操作部２６は、録画ボタン２６ａ、シャッタボタン２６ｂ及び操作キー２６ｃ等を有している。撮像装置１内の各部位は、バス２４又は２５を介して、各部位間の信号（データ）のやり取りを行う。

ＴＧ２２は、撮像装置１全体における各動作のタイミングを制御するためのタイミング制御信号を生成し、生成したタイミング制御信号を撮像装置１内の各部に与える。タイミング制御信号は、垂直同期信号Ｖｓｙｎｃと水平同期信号Ｈｓｙｎｃを含む。ＣＰＵ２３は、撮像装置１内の各部の動作を統括的に制御する。操作部２６は、ユーザによる操作を受け付ける。操作部２６に与えられた操作内容は、ＣＰＵ２３に伝達される。撮像装置１内の各部は、必要に応じ、信号処理時に一時的に各種のデータ（デジタル信号）を内部メモリ１７に記録する。

図２は、図１の撮像部１１の内部構成図である。撮像部１１にカラーフィルタなどを用いることにより、撮像装置１は、撮影によってカラー画像を生成可能なように構成されている。

撮像部１１は、光学系３５と、絞り３２と、撮像素子３３と、ドライバ３４を有している。光学系３５は、ズームレンズ３０及びフォーカスレンズ３１を含む複数枚のレンズを備えて構成される。ズームレンズ３０及びフォーカスレンズ３１は光軸方向に移動可能である。

ドライバ３４は、ＣＰＵ２３からの制御信号に基づいて、ズームレンズ３０及びフォーカスレンズ３１の各位置並びに絞り３２の開度を駆動制御することにより、撮像部１１の焦点距離（画角）及び焦点位置並びに撮像素子３３への入射光量を制御する。被写体からの入射光は、光学系３５を構成する各レンズ及び絞り３２を介して、撮像素子３３に入射する。光学系３５を構成する各レンズは、被写体の光学像を撮像素子３３上に結像させる。ＴＧ２２は、上記タイミング制御信号に同期した、撮像素子３３を駆動するための駆動パルスを生成し、該駆動パルスを撮像素子３３に与える。

撮像素子３３は、例えばＣＣＤ（Charge Coupled Devices）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等からなる固体撮像素子である。撮像素子３３は、光学系３５及び絞り３２を介して入射した光学像を光電変換し、該光電変換によって得られた電気信号をＡＦＥ１２に出力する。より具体的には、撮像素子３３は、マトリクス状に二次元配列された複数の受光画素を備え、各撮影において、各受光画素は露光時間に応じた電荷量の信号電荷を蓄える。蓄えた信号電荷の電荷量に比例した大きさを有する各受光画素からの電気信号は、ＴＧ２２からの駆動パルスに従って、後段のＡＦＥ１２に順次出力される。光学系３５に入射する光学像が同じであり且つ絞り３２の開度が同じである場合、撮像素子３３からの電気信号の大きさ（強度）は上記露光時間に比例して増大する。

ＡＦＥ１２は、撮像素子３３から出力されるアナログ信号を増幅し、増幅されたアナログ信号をデジタル信号に変換してから映像信号処理部１３に出力する。ＡＦＥ１２における信号増幅の増幅度はＣＰＵ２３によって制御される。映像信号処理部１３は、ＡＦＥ１２の出力信号によって表される画像に対して各種画像処理を施し、画像処理後の画像についての映像信号を生成する。映像信号は、画像の輝度を表す輝度信号Ｙと、画像の色を表す色差信号Ｕ及びＶと、から構成される。

マイク１４は撮像装置１の周辺音をアナログの音声信号に変換し、音声信号処理部１５は、このアナログの音声信号をデジタルの音声信号に変換する。

圧縮処理部１６は、映像信号処理部１３からの映像信号を、所定の圧縮方式を用いて圧縮する。動画像または静止画像の撮影及び記録時において、圧縮された映像信号は外部メモリ１８に記録される。また、圧縮処理部１６は、音声信号処理部１５からの音声信号を、所定の圧縮方式を用いて圧縮する。動画像の撮影及び記録時において、映像信号処理部１３からの映像信号と音声信号処理部１５からの音声信号は、圧縮処理部１６にて時間的に互いに関連付けられつつ圧縮され、圧縮後のそれらは外部メモリ１８に記録される。

録画ボタン２６ａは、動画像の撮影及び記録の開始／終了を指示するための押しボタンスイッチであり、シャッタボタン２６ｂは、静止画像の撮影及び記録を指示するための押しボタンスイッチである。

撮像装置１の動作モードには、動画像及び静止画像の撮影が可能な撮影モードと、外部メモリ１８に格納された動画像及び静止画像を表示部２７に再生表示する再生モードと、が含まれる。操作キー２６ｃに対する操作に応じて、各モード間の遷移は実施される。撮影モードでは、所定のフレーム周期にて順次撮影が行われ、撮像素子３３から時系列で並ぶ画像列が取得される。この画像列を形成する各画像を「フレーム画像」と呼ぶ。

撮影モードにおいて、ユーザが録画ボタン２６ａを押下すると、ＣＰＵ２３の制御の下、その押下後に得られる各フレーム画像の映像信号及びそれに対応する音声信号が、順次、圧縮処理部１６を介して外部メモリ１８に記録される。動画像撮影の開始後、再度ユーザが録画ボタン２６ａを押下すると、映像信号及び音声信号の外部メモリ１８への記録は終了し、１つの動画像の撮影は完了する。また、撮影モードにおいて、ユーザがシャッタボタン２６ｂを押下すると、静止画像の撮影及び記録が行われる。

再生モードにおいて、ユーザが操作キー２６ｃに所定の操作を施すと、外部メモリ１８に記録された動画像又は静止画像を表す圧縮された映像信号は、伸張処理部１９にて伸張されてから映像出力回路２０に送られる。尚、撮影モードにおいては、通常、録画ボタン２６ａ及びシャッタボタン２６ｂに対する操作内容に関係なく、映像信号処理部１３による映像信号の生成が逐次行われており、その映像信号は映像出力回路２０に送られる。

映像出力回路２０は、与えられたデジタルの映像信号を表示部２７で表示可能な形式の映像信号（例えば、アナログの映像信号）に変換して出力する。表示部２７は、液晶ディスプレイパネル及びそれを駆動する集積回路などを含む表示装置であり、映像出力回路２０から出力された映像信号に応じた画像を表示する。

また、再生モードにおいて動画像を再生する際、外部メモリ１８に記録された動画像に対応する圧縮された音声信号も、伸張処理部１９に送られる。伸張処理部１９は、受け取った音声信号を伸張して音声出力回路２１に送る。音声出力回路２１は、与えられたデジタルの音声信号をスピーカ２８にて出力可能な形式の音声信号（例えば、アナログの音声信号）に変換してスピーカ２８に出力する。スピーカ２８は、音声出力回路２１からの音声信号を音として外部に出力する。

尚、映像出力回路２０からの映像信号及び音声出力回路２１からの音声信号を、撮像装置１に設けられた外部出力端子（不図示）を介して外部機器（外部の表示装置など）に供給することも可能である。

［顔検出機能とそれを利用した撮影制御］
本実施形態に係る撮像装置１は、顔検出機能を備えると共に、その顔検出機能を利用して動画像撮影時の撮影パラメータを調整する機能を備える。図３に、それらの機能に特に注目した、撮像装置１の一部ブロック図を示す。特に記述しない限り、以下の説明は、撮影モードにおける動画像撮影時の動作の説明である。

図３に示される各部位は、主として、映像信号処理部１３、ＣＰＵ２３及び内部メモリ１７によって実現される。例えば、ＡＦ評価部４１、ＡＥ評価部４２、ＡＷＢ評価部４３及び顔検出部５１は、映像信号処理部１３に設けられ、優先処理部５２及び／又は撮影パラメータ調整部５５は、主としてＣＰＵ２３によって或いはＣＰＵ２３と映像信号処理部１３によって実現される。顔情報管理テーブルＴＢ１及び優先顔管理テーブルＴＢ２は、内部メモリ１７内に設けられる。尚、図１に示される他の部位も、必要に応じて、図３に示される各部位の機能の実現に関与する。

図３に示される各部位の機能を説明する。尚、或る画像に関し、該画像の画像データも該画像の映像信号も、その画像を表す情報である。従って、画像データと映像信号を等価なものと捉えることができる。また、フレーム周期が経過するごとに、フレーム画像ＦＩ［１］、ＦＩ［２］、ＦＩ［３］、・・・、ＦＩ［ｎ−１］、ＦＩ［ｎ］、ＦＩ［ｎ＋１］・・・、が、この順番で順次取得されるものとする（ｎは整数）。

フレーム画像の画像データは、顔検出部５１に対する入力画像の画像データとして顔検出部５１に与えられる。顔検出部５１は、自身に与えられた入力画像の画像データに基づき、入力画像中から人物の顔を検出し、検出された顔を含む顔領域を抽出する。画像中に含まれる顔を検出する手法として様々な手法が知られており、顔検出部５１は何れの手法をも採用可能である。例えば、特開２０００−１０５８１９号公報に記載の手法のように入力画像から肌色領域を抽出することによって顔（顔領域）を検出しても良いし、特開２００６−２１１１３９号公報又は特開２００６−７２７７０号公報に記載の手法を用いて顔（顔領域）を検出しても良い。

典型的には例えば、入力画像内に設定された着目領域の画像と所定の画像サイズを有する基準顔画像とを対比して両画像の類似度を判定し、その類似度に基づいて着目領域に顔が含まれているか否か（着目領域が顔領域であるか否か）を検出する。入力画像において着目領域は一画素ずつ左右方向又は上下方向にずらされる。そして、ずらされた後の着目領域の画像と基準顔画像とが対比されて、再度、両画像の類似度が判定され、同様の検出が行われる。このように、着目領域は、例えば入力画像の左上から右下方向に向けて１画素ずつずらされながら、更新設定される。また、入力画像を一定割合で縮小し、縮小後の画像に対して、同様の顔検出処理を行う。このような処理を繰り返すことにより、入力画像中から任意の大きさの顔を検出することができる。

顔検出部５１の顔検出結果は、顔情報管理テーブルＴＢ１（以下、単にテーブルＴＢ１ともいう）に反映される。図４に、テーブルＴＢ１のデータ構造を示す。例として、図４では、フレーム画像から８つの顔が検出された場合におけるテーブルＴＢ１のデータ構造を示す。８つの顔を互いに区別する記号として記号ＦＣ₁〜ＦＣ₈を導入し、フレーム画像から８つの顔ＦＣ₁〜ＦＣ₈が検出された場合を考える。顔ＦＣ₁〜ＦＣ₈は、互いに異なる８人の人物の顔であるとする。テーブルＴＢ１には、顔ごとに、顔の位置、大きさ、信頼度、ＡＦ評価値、ＡＥ評価値及びＡＷＢ評価値を表すデータが格納される。顔ＦＣ_iについての、位置、大きさ、信頼度、ＡＦ評価値、ＡＥ評価値及びＡＷＢ評価値を、夫々、（ｘ_i，ｙ_i）、ＳＩＺＥ_i、ＲＬ_i、ＶＡＦ_i、ＶＡＥ_i及びＶＡＷＢ_iにて表す。ｉは自然数であり、顔ＦＣ₁〜ＦＣ₈について考える場合は、１以上８以下の整数である。

尚、記号ＶＡＦ_i、ＶＡＥ_i及びＶＡＷＢ_iを用いてＡＦ評価値、ＡＥ評価値及びＡＷＢ評価値を表現する際、ＡＦ評価値、ＡＥ評価値及びＡＷＢ評価値を、単に評価値と略記することがある。また、「位置、大きさ、信頼度、ＡＦ評価値、ＡＥ評価値及びＡＷＢ評価値」を含む、顔の記号（ＦＣ₁等）に対応してテーブルＴＢ１内に格納される情報を「属性情報」と呼ぶ。

顔検出部５１によってフレーム画像から抽出される、顔ＦＣ_iについての顔領域は、矩形領域であり、フレーム画像上における該矩形領域の中心位置が位置（ｘ_i，ｙ_i）である。ｘ_i及びｙ_iは、その位置の水平方向座標値及び垂直方向座標値を表している。大きさＳＩＺＥ_iは、顔ＦＣ_iについての顔領域の大きさ（画像サイズ）であり、例えば、その顔領域に属する画素数によって表現される。尚、顔領域の形状を矩形以外とすることも可能である。

また、顔検出部５１は、常に顔検出を正確に遂行できるわけではなく、顔を含まない画像領域を顔領域として検出する場合もある。信頼度ＲＬ_iは、顔検出部５１によって検出された顔ＦＣ_iについての顔領域が本当に顔を含む画像領域であるかを表す指標であり、例えば、上記の類似度に基づいて決定される。評価値ＶＡＦ_i、ＶＡＥ_i及びＶＡＷＢ_iの意義は後述する。

顔検出部５１による、フレーム画像内の顔の位置、大きさ及び信頼度を導出する処理を顔検出処理という。顔検出部５１は、フレーム画像ごとに顔検出処理を行うと共に時間的に隣接するフレーム画像間で顔の同定処理を行い、顔検出処理及び同定処理の結果に基づいてテーブルＴＢ１内のデータを順次更新していく。顔の同定処理によって、或るフレーム画像に現れる顔と他のフレーム画像に現れる顔とが同一の人物の顔であるのか否かが判別される。

顔の同定処理は、顔の位置情報に基づいて行われる。例えば、フレーム画像ＦＩ［ｎ］に対する顔検出処理によってフレーム画像ＦＩ［ｎ］から８つの顔ＦＣ₁〜ＦＣ₈が検出され、フレーム画像ＦＩ［ｎ］上における顔ＦＣ₁〜ＦＣ₈の位置が（ｘ₁，ｙ₁）〜（ｘ₈，ｙ₈）であったとし、且つ、フレーム画像ＦＩ［ｎ＋１］に対する顔検出処理によってフレーム画像ＦＩ［ｎ＋１］から８つの顔ＦＣ₁’〜ＦＣ₈’が検出され、フレーム画像ＦＩ［ｎ＋１］上における顔ＦＣ₁’〜ＦＣ₈’の位置が（ｘ₁’，ｙ₁’）〜（ｘ₈’，ｙ₈’）であったとする。

この場合、顔検出部５１は、位置（ｘ₁’，ｙ₁’）〜（ｘ₈’，ｙ₈’）の内、最も位置（ｘ_i，ｙ_i）に近い位置に対応する、フレーム画像ＦＩ［ｎ＋１］内の顔が、顔ＦＣ_iと同じ顔であると判断する。即ち例えば、位置（ｘ₁’，ｙ₁’）〜（ｘ₈’，ｙ₈’）の内、最も位置（ｘ₁，ｙ₁）に近い位置が位置（ｘ₁’，ｙ₁’）であったならば、フレーム画像ＦＩ［ｎ＋１］内の顔ＦＣ₁’は顔ＦＣ₁と同じ顔であると判断し、位置（ｘ₁’，ｙ₁’）〜（ｘ₈’，ｙ₈’）の内、最も位置（ｘ₂，ｙ₂）に近い位置が位置（ｘ₂’，ｙ₂’）であったならば、フレーム画像ＦＩ［ｎ＋１］内の顔ＦＣ₂’は顔ＦＣ₂と同じ顔であると判断する。

このようにして、顔ＦＣ₁’〜ＦＣ₈’が夫々顔ＦＣ₁〜ＦＣ₈と同じ顔であると判断した場合は、テーブルＴＢ１内の位置（ｘ₁，ｙ₁）〜（ｘ₈，ｙ₈）は、夫々、位置（ｘ₁’，ｙ₁’）〜（ｘ₈’，ｙ₈’）によって更新される。同様に、テーブルＴＢ１内の大きさＳＩＺＥ_i及び信頼度ＲＬ_iも、顔ＦＣ_i’の大きさ及び信頼度によって更新される。

顔の位置情報に基づいて顔の同定処理を行う方法を上述したが、顔検出部５１は、公知の同定処理方法を含む、任意の同定処理方法を用いて顔の同定処理を行うことができる。例えば、フレーム画像ＦＩ［ｎ］から抽出した各顔領域内の画像をテンプレートとし、そのテンプレートを用いたテンプレートマッチングをフレーム画像ＦＩ［ｎ＋１］に対して適用することにより顔の同定処理を実現しても良い。

次に、図３のＡＦ評価部４１、ＡＥ評価部４２及びＡＷＢ評価部４３を含む評価値算出部４０の機能について説明する。各フレーム画像の映像信号は、評価値算出部４０に供給される。評価値算出部４０では、フレーム画像の全体領域に複数の小ブロックが設定される。具体的には、図５に示す如く、フレーム画像の全体領域を水平方向及び垂直方向に複数に分割することによりフレーム画像内に複数の小ブロックを設定する。今、水平方向及び垂直方向の分割数を夫々Ｍ及びＮとする（Ｍ及びＮは２以上の整数）。各小ブロックは、２次元配列された複数の画素から形成され、各小ブロックの画像サイズは同じであるとする。

図６にＡＦ評価部４１の内部ブロック図を示す。ＡＦ評価部４１は、抽出部６１、ＨＰＦ（ハイパスフィルタ）６２及び積算部６３を備える。ＡＦ評価部４１は、フレーム画像ごとに且つ小ブロックごとにブロックＡＦ値を算出する。従って、１枚のフレーム画像に対して（Ｍ×Ｎ）個のブロックＡＦ値が算出される。

抽出部６１には、フレーム画像の映像信号が与えられる。抽出部６１は、その映像信号の中から輝度信号を抽出する。ＨＰＦ６２は、抽出部６１によって抽出された輝度信号中の所定の高域周波数成分のみを抽出する。例えば、ＨＰＦ６２を所定のフィルタサイズを有するラプラシアンフィルタにて形成し、そのラプラシアンフィルタをフレーム画像の各画素に作用させる空間フィルタリングを行う。そうすると、ＨＰＦ６２からは、そのラプラシアンフィルタのフィルタ特性に応じた出力値が順次得られる。積算部６３は、ＨＰＦ６２によって抽出された高域周波数成分の大きさ（即ち、ＨＰＦ６２の出力値の絶対値）を積算する。この積算は小ブロックごとに個別に行われ、或る小ブロック内における高域周波数成分の大きさの積算値を、その小ブロックのブロックＡＦ値とする。

図３のＡＥ評価部４２は、フレーム画像ごとに且つ小ブロックごとにブロックＡＥ値を算出する。ＡＥ評価部４２は、フレーム画像ごとに且つ小ブロックごとに、小ブロック内の各画素の輝度値を積算して積算値を出力する。この積算値がブロックＡＥ値である。従って、１枚のフレーム画像に対して（Ｍ×Ｎ）個のブロックＡＥ値が算出される。尚、輝度値とは輝度信号の値を意味し、輝度値が大きいほど、その輝度値を有する画素の輝度は大きい。

図３のＡＷＢ評価部４３は、フレーム画像ごとに且つ小ブロックごとにブロックＡＷＢ値を算出する。図２に示される撮像素子３３は、単板方式の撮像素子であり、撮像素子３３の各受光画素の前面にはカラーフィルタが配列されている。カラーフィルタには、光の赤成分のみを透過させる赤フィルタと、光の緑成分のみを透過させる緑フィルタと、光の青成分のみを透過させる青フィルタと、がある。カラーフィルタの配列は、例えばベイヤー配列である。赤フィルタ、緑フィルタ、青フィルタが前面に配置された受光画素を、夫々、赤受光画素、緑受光画素及び青受光画素と呼ぶ。赤受光画素、緑受光画素及び青受光画素は、夫々、光学系３５の入射光の、赤成分、緑成分及び青成分にのみ反応する。

フレーム画像は、撮像素子３３の各受光画像の出力信号によって表されるので、撮像素子３３の撮像面にも上述したものと同様の小ブロックを設定して考える。ＡＷＢ評価部４３は、各小ブロックに着目し、着目した小ブロックに属する各赤受光画素の出力信号値の積算値を赤評価値として算出し、且つ、着目した小ブロックに属する各緑受光画素の出力信号値の積算値を緑評価値として算出し、且つ、着目した小ブロックに属する各青受光画素の出力信号値の積算値を青評価値として算出する。或る１つの小ブロックに対して算出された赤評価値、緑評価値及び青評価値は、その小ブロックに対するブロックＡＷＢ値を形成する。ブロックＡＷＢ値の算出は、フレーム画像ごとに且つ小ブロックごとに行われる。

評価値算出部４０の算出値に基づいて、フレーム画像ごとに、テーブルＴＢ１に格納されるべきＡＦ評価値、ＡＥ評価値、ＡＷＢ評価値が決定される（図４参照）。

評価値ＶＡＦ_i、ＶＡＥ_i及びＶＡＷＢ_iは、夫々、顔ＦＣ_iについての顔領域内に属する小ブロックのブロックＡＦ値、ブロックＡＥ値及びブロックＡＷＢ値から求められる。顔ＦＣ_iについての顔領域内に１つの小ブロックしか存在しない場合、その小ブロックに対するブロックＡＦ値、ブロックＡＥ値及びブロックＡＷＢ値が、夫々、評価値ＶＡＦ_i、ＶＡＥ_i及びＶＡＷＢ_iとなる。図７に示す如く、顔ＦＣ_iについての顔領域内に複数の小ブロックが存在する場合、その複数の小ブロックに対する、ブロックＡＦ値の平均値、ブロックＡＥ値の平均値及びブロックＡＷＢ値の平均値が、夫々、評価値ＶＡＦ_i、ＶＡＥ_i及びＶＡＷＢ_iとなる。

最新のフレーム画像に対する顔検出結果に基づいてテーブルＴＢ１内の位置、大きさ及び信頼度が更新されるのと同様に、最新のフレーム画像に対するブロックＡＦ値、ブロックＡＥ値及びブロックＡＷＢ値に基づいてテーブルＴＢ１内のＡＦ評価値、ＡＥ評価値及びＡＷＢ評価値は更新される。つまり、フレーム画像ＦＩ［ｎ］が撮影されて、その画像データが顔検出部５１及び評価値算出部４０に与えられると、フレーム画像ＦＩ［ｎ］に対する顔検出処理に基づいてテーブルＴＢ１内の位置、大きさ及び信頼度が更新されると共にフレーム画像ＦＩ［ｎ］に対するブロックＡＦ値、ブロックＡＥ値及びブロックＡＷＢ値に基づいてテーブルＴＢ１内のＡＦ評価値、ＡＥ評価値及びＡＷＢ評価値が更新される。

フレーム画像には多数の顔が表れうるが、図３の優先処理部５２は、その多数の顔の中から主要人物の顔であると推測される優先顔を選択し、撮影パラメータ調整部５５は、優先顔に着目して撮影条件とも言うべき撮影パラメータを調整する。

具体的には、図３の優先処理部５２は、フレーム画像から検出された複数の顔の中から所定個数以下の顔を第１優先基準に従って選択し、選択した各顔を含む顔グループを設定する顔グループ設定部５３と、その顔グループに含まれる顔の中から優先顔を第２優先基準に従って選択及び設定する優先顔設定部５４を有する。顔グループに含まれる各顔は、優先顔の候補であるため、それを候補顔と呼ぶ。

候補顔及び優先顔が、フレーム画像内の何れの顔であるかを表すデータは、優先顔管理テーブルＴＢ２（以下、単にテーブルＴＢ２ともいう）に格納される。図８に、テーブルＴＢ２のデータ構造を示す。図８には、候補顔が顔ＦＣ₁、ＦＣ₅及びＦＣ₇であって且つ優先顔が顔ＦＣ₁である場合の、テーブルＴＢ２のデータ内容が示されている。この場合、テーブルＴＢ２には、顔ＦＣ₁、ＦＣ₅及びＦＣ₇を指し示す情報（例えば、顔ＦＣ₁、ＦＣ₅及びＦＣ₇の属性情報が記憶されているメモリ内アドレス）が格納される。また、優先顔を指し示す情報（例えば、顔ＦＣ₁の属性情報が記憶されているメモリ内アドレス）は、テーブルＴＢ２内の、最上位アドレスに格納される。

撮影パラメータ調整部５５は、テーブルＴＢ２内のデータを参照して優先顔が何れの顔であるかを認識し、優先顔に着目して撮影パラメータを調整する。

例えば、優先顔についての顔領域のＡＦ評価値をＡＦ参照評価値として取り扱い、ＡＦ参照評価値が最大値（厳密には極大値）をとるように、所謂山登り制御を用いて図２のフォーカスレンズ３１の位置を制御することにより、優先顔に対するオートフォーカス制御（ＡＦ制御）を実現する。これにより、優先顔に合焦した状態でフレーム画像列（即ち、動画像）の撮影を行うことができる。

或いは例えば、優先顔についての顔領域のＡＥ評価値をＡＥ参照評価値として取り扱うと共に、図２の絞り３２の開度によって定まる絞り値、ＡＦＥ１２（図１参照）における信号増幅の増幅度及びフレーム画像撮影時における露光時間の長さを３つのＡＥ制御対象として取り扱い、ＡＥ参照評価値に基づいて各フレーム画像上における優先顔の明るさ（輝度レベル）が所望の明るさとなるように、上記３つのＡＥ制御対象の内の１以上を制御する。優先顔に着目したこの制御を、優先顔に対するオートアイリス制御（ＡＥ制御）という。優先顔に対するＡＥ制御は、例えば、優先顔についての顔領域のＡＥ評価値が所定の値又はその値近辺に保たれるように、３つのＡＥ制御対象の内の１以上を制御することにより実現される。

更に或いは例えば、優先顔についての顔領域のＡＷＢ評価値をＡＷＢ参照評価値として取り扱い、ＡＷＢ参照評価値に基づいて優先顔の顔領域におけるホワイトバランスが所望のホワイトバランスとなるように、フレーム画像全体のホワイトバランスを調整する。この調整を行う制御を、優先顔に対するオートホワイトバランス制御（ＡＷＢ制御）という。優先顔に対するＡＷＢ制御は、例えば、フレーム画像の画像データを生成する過程において、撮像素子３３の赤受光画素の出力信号値、緑受光画素の出力信号値若しくは青受光画素の出力信号値又はそれらの２以上に対し、優先顔の顔領域のＡＷＢ評価値に応じた係数を乗じることにより実現される。ＡＷＢ制御実行時における撮影パラメータの調整は、上記係数の調整を含む。

ＡＦ制御実行時に調整されるべき撮影パラメータには、フォーカスレンズ３１の位置が含まれ、ＡＥ制御実行時に調整されるべき撮影パラメータには、絞り値、ＡＦＥ１２における信号増幅の増幅度及び／又はフレーム画像撮影時における露光時間の長さが含まれ、ＡＷＢ制御実行時に調整されるべき撮影パラメータには、上記係数が含まれる。撮影パラメータに依存したフレーム画像から成る動画像が取得されるため、撮影パラメータによって動画像の取得条件が規定される。

以下、図３に示される各部位の動作及び構成又はそれらに関連する事項を詳細に説明する実施例として、第１〜第８実施例を説明する。或る実施例に記載した事項を、矛盾なき限り、他の実施例に適用することもできる。

＜＜第１実施例＞＞
まず、第１実施例を説明する。図９は、第１実施例に係る撮像装置１の動作の手順を表すフローチャートである。図９のフローチャートに沿って、第１実施例に係る動作を説明数する。

第１実施例では、撮影モードにおいて、トリガ条件が成立すると保存型処理が行われる。トリガ条件は、例えば、ユーザが操作部２６（図１参照）に対して所定操作を施すことによって成立する。保存型処理では、トリガ条件が成立すると、まず、顔グループ設定部５３によってステップＳ１１の処理が行われて顔グループが設定される。

ステップＳ１１の処理に先立ち、図３の顔検出部５１は、トリガ条件成立時に得られるフレーム画像（例えば、トリガ条件成立直前若しくは直後に得られるフレーム画像）に対して顔検出処理を実行し、その顔検出処理の結果に基づいてテーブルＴＢ１内のデータを更新する。トリガ条件成立時に得られるフレーム画像を基準フレーム画像ともいう。基準フレーム画像には、複数の顔が含まれているものとする。

ステップＳ１１において、顔グループ設定部５３は、基準フレーム画像から検出された複数の顔の中から、Ｐ個の顔を所定の第１優先基準に従って選択し、選択したＰ個の顔の夫々を候補顔と捉えて、そのＰ個の顔から成る顔グループを設定する。ここで、Ｐは２以上の整数である。基準フレーム画像から検出された顔の個数がＰ個未満である場合は、基準フレーム画像から検出された顔の全てが候補顔とされ、Ｐ個未満の候補顔から成る顔グループが設定される。

続くステップＳ１２において、優先顔設定部５４は、ステップＳ１１にて設定された顔グループの中に含まれる顔候補の中から、所定の第２優先基準に従って１つの顔を選択し、選択した顔を優先顔として設定する。続くステップＳ１３では、ステップＳ１１における候補顔の選択結果（顔グループの設定結果）及びステップＳ１２における優先顔の選択結果に従って、テーブルＴＢ２のデータが更新される。

候補顔及び優先顔の選択は、夫々、最新のテーブルＴＢ１内のデータに基づき第１及び第２優先基準に従って行われる。第１及び第２優先基準を、撮像装置１の設計段階において或いは操作部２６に対するユーザの操作に従って、予め設定しておくことができる。

基準フレーム画像の取得時点から１フレーム周期分の時間が経過するとステップＳ１３からステップＳ１４に至る。ステップＳ１４では、撮影によって新たなフレーム画像が取得される。続くステップＳ１５において、顔検出部５１は、時間的に隣接するフレーム画像間で顔の同定処理を行いつつ、ステップＳ１４にて得られたフレーム画像に対して顔検出処理を実行し、それらの処理の結果に従ってテーブルＴＢ１のデータを更新する。つまり、ステップＳ１５では、最新のフレーム画像における顔の属性情報がテーブルＴＢ１に書き込まれる。

ステップＳ１５の処理の後、ステップＳ１６において、優先処理部５２は、ステップＳ１４にて取得されたフレーム画像の中に、ステップＳ１１にて設定された候補顔と同一の顔が１つ以上存在しているか否かを、ステップＳ１５の処理結果に基づいて判断する。そして、それが存在している場合はステップＳ１７に移行する一方で、それが存在していない場合はステップＳ２０に移行する。ステップＳ２０にて実行される、「通常処理への移行処理」の内容は他の実施例にて後述する。

ステップＳ１７において、顔グループ設定部５３は、ステップＳ１４にて取得されたフレーム画像に着目し、その着目フレーム画像より検出された顔の中からステップＳ１１にて設定された候補顔と同一の顔を選択し、選択した顔から成る顔グループを設定する。ここで設定される顔グループは、ステップＳ１４にて取得されたフレーム画像に対する顔グループである。尚、この際、テーブルＴＢ２内のデータによって表される候補顔は変更されない。即ち、候補顔は、ステップＳ１１にて設定された候補顔のまま維持される。

ステップＳ１７に続くステップＳ１８において、優先顔設定部５４は、ステップＳ１７にて設定された顔グループ内の顔の中から、ステップＳ１４のフレーム画像に対する優先顔を第２優先基準に従って選択及び設定し、ステップＳ１９において、優先顔の選択結果に従ってテーブルＴＢ２を更新する。ステップＳ１９の処理の後、ステップＳ１４に戻り、ステップＳ２０に移行しない限り、新たなフレーム画像が取得されるたびにステップＳ１４〜Ｓ１９の各処理が繰り返し実行される。

図３の撮影パラメータ調整部５５は、トリガ条件の成立後、テーブルＴＢ１及びＴＢ２から優先顔の属性情報を取得し、優先顔の属性情報に基づいて、優先顔に対するＡＦ制御、ＡＥ制御若しくはＡＷＢ制御又はそれらの２以上の制御を実行する。

保存型処理の具体的な動作例を説明する。今、第１優先基準が、フレーム画像上における顔の位置とフレーム画像の中心位置との距離に基づく基準であるとする。この距離を、以下、記号ＤＤによって表す。距離ＤＤが小さいほど、顔候補として選択される優先順位が高くなるものとする。また、第２優先基準も、フレーム画像上における顔の位置とフレーム画像の中心位置との距離ＤＤに基づく基準であり、その距離ＤＤが小さいほど、優先顔として選択される優先順位が高くなるものとする。

更に、基準フレーム画像から８個の顔ＦＣ₁〜ＦＣ₈が検出されると共にＰ＝３であり、且つ、基準フレーム画像の顔ＦＣ₁〜ＦＣ₈についての距離ＤＤの内、顔ＦＣ₁、ＦＣ₅及びＦＣ₇についての距離ＤＤが、夫々、１番目、２番目、３番目に短い場合を想定する。そうすると、ステップＳ１１及びＳ１２の段階で、候補顔は顔ＦＣ₁、ＦＣ₅及びＦＣ₇となり、優先顔は顔ＦＣ₁となる。この想定下において、ステップＳ１４にてフレーム画像ＦＩ［ｎ］が取得された場合を考える。

この場合において、フレーム画像ＦＩ［ｎ］中に顔ＦＣ₁、ＦＣ₅及びＦＣ₇が存在している時には、ステップＳ１７に至って、フレーム画像ＦＩ［ｎ］に対して顔ＦＣ₁、ＦＣ₅及びＦＣ₇から成る顔グループが設定される。そして、顔ＦＣ₁、ＦＣ₅及びＦＣ₇についての距離ＤＤの内、例えば、顔ＦＣ₅の距離ＤＤが最小であれば、フレーム画像ＦＩ［ｎ］に対する優先顔は顔ＦＣ₅に設定される。
また、フレーム画像ＦＩ［ｎ］中に顔ＦＣ₁及びＦＣ₇が存在しているものの顔ＦＣ₅が存在していない時には、ステップＳ１７に至って、フレーム画像ＦＩ［ｎ］に対して２つの顔（顔ＦＣ₁及びＦＣ₇）のみを含む顔グループが設定される。そして、顔ＦＣ₁及びＦＣ₇についての距離ＤＤの内、例えば、顔ＦＣ₇の距離ＤＤが最小であれば、フレーム画像ＦＩ［ｎ］に対する優先顔は顔ＦＣ₇に設定される。
また、フレーム画像ＦＩ［ｎ］中に顔ＦＣ₁、ＦＣ₅及びＦＣ₇が存在していない場合は、ステップＳ２０に至って、通常制御への移行処理が実行される。

図１０を参照して、保存型処理の実行時における、別の具体的動作例を説明する。今、上述した例と同様、第１及び第２優先基準が距離ＤＤに基づく基準であるとする。そして、基準フレーム画像が図１０に示す画像２００であり、画像２００から２つの顔ＦＣ₁及びＦＣ₂のみが検出されたとする（また、Ｐ＝３であるとする）。そして、画像２００において、顔ＦＣ₁の距離ＤＤが顔ＦＣ₂のそれよりも短い場合を考える。この場合、候補顔は顔ＦＣ₁及びＦＣ₂となり、初期の優先顔（基準フレーム画像に対する優先顔）は顔ＦＣ₁となる。

この後、動画像の撮影が進行し、或る時点においてフレーム画像２０１が得られ、更にその後、フレーム画像２０２が得られ、更にその後、フレーム画像２０３が得られたとする。尚、図１０において、画像２００〜２０３の夫々に対して設定された優先顔を、実線四角枠で囲んでいる。

フレーム画像２０１〜２０３には、顔ＦＣ₁及びＦＣ₂に加えて新たな顔ＦＣ₃が存在しているが、保存型処理では候補顔は更新されないため、フレーム画像２０１〜２０３に対しても候補顔は顔ＦＣ₁と顔ＦＣ₂の２つである。動画像の撮影が進行するにつれ、画像上における顔ＦＣ₁及びＦＣ₂の位置は変化していくが、フレーム画像２０１が得られた時点では、まだ、顔ＦＣ₁の距離ＤＤが顔ＦＣ₂の距離ＤＤよりも短いため、優先顔の変更はない。更に動画像の撮影が進行してフレーム画像２０２が得られた時点では、距離ＤＤの大小関係が逆転しているため、この時点で優先顔が顔ＦＣ₁から顔ＦＣ₂に変更される。更に動画像の撮影が進行してフレーム画像２０３が得られた時点では、顔ＦＣ₃の距離ＤＤが顔ＦＣ₁及びＦＣ₂の距離ＤＤよりも短くなっているが、顔ＦＣ₃は候補顔ではないため、優先顔とはならない。

このように、保存型処理では、撮影パラメータの決定に関与する優先顔を最初に決定した候補顔の中から選択するようにし、トリガ条件成立時に存在していなかった顔が優先顔として選択されることを防止する。これにより、優先顔が頻繁に変化して撮影パラメータ（焦点位置など）などが不安定になることが抑制される。保存型処理を利用する撮影者は、自身が着目している人物（撮影者の家族など）を撮影範囲内に収めた状態で、トリガ条件を充足させる操作を行えばよい。

尚、第１及び第２優先基準が距離ＤＤに基づく基準である場合を例に挙げたが、それらの基準は任意に変更可能である。例えば、第１及び第２優先基準は、フレーム画像上における顔の大きさに基づく基準であってもよい（後述の他の実施例においても同様）。この場合、フレーム画像上における顔の大きさが大きいほど、顔候補として選択される優先順位が高くなると共に優先顔として選択される優先順位が高くなる。また、第１及び第２優先基準は同じ基準であっても良いし、異なる基準であってもよい（後述の他の実施例においても同様）。

＜＜第２実施例＞＞
次に、第２実施例を説明する。図１１は、第２実施例に係る撮像装置１の動作の手順を表すフローチャートである。図１１のフローチャートにそって、第２実施例に係る動作を説明数する。

第２実施例では、撮影モードにおいて、トリガ条件が成立すると更新型処理が行われる。トリガ条件は、例えば、ユーザが操作部２６（図１参照）に対して所定操作を施すことによって成立する。図３の顔検出部５１は、トリガ条件成立時に得られるフレーム画像（例えば、トリガ条件成立直前若しくは直後に得られるフレーム画像）に対して顔検出処理を実行し、その顔検出処理の結果に基づいてテーブルＴＢ１内のデータを更新する。トリガ条件成立時に得られるフレーム画像を基準フレーム画像ともいう。基準フレーム画像には、複数の顔が含まれているものとする。

更新型処理でも、トリガ条件が成立すると、ステップＳ１１〜Ｓ１３の各処理が順次実行される。ステップＳ１１〜Ｓ１３の処理内容は、第１実施例で述べたそれらと同じである。但し、更新型処理では、基準フレーム画像の取得時点から１フレーム周期分の時間が経過するとステップＳ１３からステップＳ３４に至る。

ステップＳ３４では、撮影によって新たなフレーム画像が取得される。続くステップＳ３５において、顔検出部５１は、時間的に隣接するフレーム画像間で顔の同定処理を行いつつ、ステップＳ３４にて得られたフレーム画像に対して顔検出処理を実行し、それらの処理の結果に従ってテーブルＴＢ１のデータを更新する。つまり、ステップＳ３５では、最新のフレーム画像における顔の属性情報がテーブルＴＢ１に書き込まれる。

ステップＳ３５の処理の後、ステップＳ３６において、優先処理部５２は、ステップＳ３４にて取得されたフレーム画像の中に１つ以上の顔が存在しているか否かを、ステップＳ３５の処理結果に基づいて判断する。そして、それが存在している場合はステップＳ３７に移行する一方で、それが存在していない場合はステップＳ２０に移行する。存否が確認される顔は、現在のテーブルＴＢ２内のデータによって指し示される候補顔又は優先顔であるか、それ以外の顔であるかを問わない。従って、ステップＳ３４にて取得されたフレーム画像中に、任意の顔が１つでも存在しておれば、ステップＳ３６からステップＳ３７に移行する。ステップＳ２０にて実行される「通常制御への移行処理」の内容は他の実施例にて後述する。

ステップＳ３７において、顔グループ設定部５３は、ステップＳ３４にて取得されたフレーム画像に着目し、その着目フレーム画像から検出された顔の中から、Ｐ個の顔を第１優先基準に従って選択し、選択したＰ個の顔の夫々を新たな候補顔と捉えて、そのＰ個の顔から成る顔グループを設定する。ここで設定される顔グループは、ステップＳ３４にて取得されたフレーム画像に対する顔グループである。このように、第１実施例に係る保存型処理と異なり、更新型処理では、候補顔が変更されうる。尚、着目フレーム画像から検出された顔の個数がＰ個未満である場合は、着目フレーム画像から検出された顔の全てが候補顔とされ、Ｐ個未満の候補顔から成る顔グループが設定される。

ステップＳ３７に続くステップＳ３８において、優先顔設定部５４は、ステップＳ３７にて設定された顔グループ内の顔の中から、ステップＳ３４のフレーム画像に対する優先顔を第２優先基準に従って選択して設定する。その後、ステップＳ３９において、ステップＳ３７における候補顔の選択結果及びステップＳ３８における優先顔の選択結果に従ってテーブルＴＢ２を更新する。ステップＳ３９の処理の後、ステップＳ３４に戻り、ステップＳ２０に移行しない限り、新たなフレーム画像が取得されるたびにステップＳ３４〜Ｓ３９の各処理が繰り返し実行される。

図３の撮影パラメータ調整部５５は、トリガ条件の成立後、テーブルＴＢ１及びＴＢ２から優先顔の属性情報を取得し、優先顔の属性情報に基づいて、優先顔に対するＡＦ制御、ＡＥ制御若しくはＡＷＢ制御又はそれらの２以上の制御を実行する。

図１２を参照して、更新型処理の実行時における具体的動作例を説明する。今、第１及び第２優先基準が距離ＤＤに基づく基準である場合を考える。基準フレーム画像が図１２に示す画像２１０であり、画像２１０から８つの顔ＦＣ₁〜ＦＣ₈が検出され、且つ、Ｐ＝５であるとする。また、画像２１０において、顔ＦＣ₁〜ＦＣ₈の距離ＤＤの内、１番目〜５番目に短い距離ＤＤが、夫々、顔ＦＣ₃、ＦＣ₆、ＦＣ₄、ＦＣ₅及びＦＣ₂の距離ＤＤであったとする。この場合、画像２１０に対して設定される候補顔は顔ＦＣ₂〜ＦＣ₆となり、初期の優先顔（基準フレーム画像に対する優先顔）は顔ＦＣ₃となる。

この後、動画像の撮影が進行し、或る時点においてフレーム画像２１１が得られ、更にその後、フレーム画像２１２が得られたとする。尚、図１２において、画像２１０〜２１２の夫々に対して設定された優先顔を、実線四角枠で囲んでいる。図１２は、群衆が画像の右側から左側に向かって歩いている様子を動画像として撮影した場合を想定している。

動画像の撮影が進行するにつれ、画像上における各顔の位置は変化してゆく。画像２１１からは１０個の顔ＦＣ₁〜ＦＣ₁₀が検出される。画像２１１において、顔ＦＣ₁〜ＦＣ₁₀の距離ＤＤの内、１番目〜５番目に短い距離ＤＤが、夫々、顔ＦＣ₆、ＦＣ₇、ＦＣ₅、ＦＣ₄及びＦＣ₃の距離ＤＤであったとする。そうすると、画像２１１に対して設定される候補顔は顔ＦＣ₃〜ＦＣ₇となり、画像２１１に対して設定される優先顔は顔ＦＣ₆となる。

更に動画像の撮影が進行してフレーム画像２１２が得られた時点では、撮影領域内に顔顔ＦＣ₃〜ＦＣ₁₁のみが存在しており、顔ＦＣ₁及びＦＣ₂は撮影領域内から消失している。画像２１２からは９個の顔ＦＣ₃〜ＦＣ₁₁が検出され、画像２１２において、顔ＦＣ₃〜ＦＣ₁₁の距離ＤＤの内、１番目〜５番目に短い距離ＤＤが、夫々、顔ＦＣ₈、ＦＣ₇、ＦＣ₉、ＦＣ₁₀及びＦＣ₁₁の距離ＤＤであったとする。そうすると、画像２１２に対して設定される候補顔は顔ＦＣ₇〜ＦＣ₁₁となり、画像２１２に対して設定される優先顔は顔ＦＣ₈となる。

このように、更新型処理では、トリガ条件成立時における候補顔及び優先顔に捉われず、各時点における被写体状態に応じて候補顔及び優先顔が設定される。このため、更新型処理は、特定の人物を捉え続けるのではなく、移動していく群衆を撮影する場合（例えば、祭りの風景撮影を行う場合）などに適している。

＜＜第３実施例＞＞
複数の候補顔が画像中心付近に存在していることなどに起因して、優先顔が或る顔から異なる顔へ頻繁に変化すると、撮影パラメータの安定性が損なわれる。また、優先顔に対するＡＦ制御の実行時において被写体距離を何ら考慮せずに優先顔の変更を行うと、合焦位置が不安定となる。これらは、第１実施例に係る保存型処理を行う場合にも、第２実施例に係る更新型処理を行う場合にも当てはまる。

そこで、異なるフレーム画像間において優先顔が変更されることを許可するか否かを判断する制御を実行し、その制御に従って優先顔の変更の実行可否を決定するようにしてもよい。この制御を「優先顔変更制御」という。優先顔変更制御は、優先顔設定部５４によって実行される。優先顔変更制御を説明する実施例を第３実施例とする。

優先顔設定部５４は、予め規定された変更許可条件が成立する場合にのみ、優先顔の変更を許可する。優先顔変更制御の例として、第１〜第３の優先顔変更制御を個別に説明する。第１〜第３の優先顔変更制御は、保存型処理にも更新型処理にも適用可能である。矛盾なき限り、或る優先顔変更制御を他の優先顔変更制御と組み合わせて実施することも可能である。

［第１の優先顔変更制御］
第１の優先顔変更制御を説明する。第１の優先顔変更制御を保存型処理に適用する場合、図９のステップＳ１８において、優先顔設定部５４は、ステップＳ１７にて設定された顔グループ内の顔の中から１つの顔を第２優先基準に従って選択する。但し、ここで選択する顔を直ちに優先顔として設定するのではなく、暫定的な優先顔（以下、暫定優先顔という）として設定する。第２優先基準が距離ＤＤに基づく基準であり、ステップＳ１７にて設定された顔グループが顔ＦＣ₁及びＦＣ₂のみを含み且つ顔ＦＣ₁の距離ＤＤが顔ＦＣ₂の距離ＤＤよりも短いならば、顔ＦＣ₁が暫定優先顔として設定される。そして、着目したフレーム画像に対する優先顔の設定及び該設定内容に基づくテーブルＴＢ２の更新を、その着目したフレーム画像の暫定優先顔と過去のフレーム画像の暫定優先顔に基づいて実行する。

第１の優先顔変更制御を更新型処理に適用する場合も同様である。即ち、第１の優先顔変更制御を更新型処理に適用する場合、図１１のステップＳ３８において、優先顔設定部５４は、ステップＳ３７にて設定された顔グループ内の顔の中から１つの顔を第２優先基準に従って選択し、選択した顔を暫定優先顔として設定する。そして、着目したフレーム画像に対する優先顔の設定及び該設定内容に基づくテーブルＴＢ２の更新を、その着目したフレーム画像の暫定優先顔と過去のフレーム画像の暫定優先顔に基づいて実行する。

具体的な例を挙げて第１の優先顔変更制御を説明する。図１３を参照する。今、基準フレーム画像がフレーム画像ＦＩ［１］であり、ステップＳ１４又はＳ３４にて、フレーム画像ＦＩ［２］〜ＦＩ［ｎ］が取得され、更に続いてフレーム画像ＦＩ［ｎ＋１］〜ＦＩ［ｎ＋ｋ_A］が取得された場合を考える。ｎは２以上の整数であれば良いが、今、ｎは４以上の整数であるとする。また、ｋ_Aは１以上の整数であれば良いが、今、ｋ_Aは３以上の整数であるとする。また、全フレーム画像から顔ＦＣ₁及びＦＣ₂が検出され且つ顔ＦＣ₁及びＦＣ₂が常に候補顔である場合を想定する。また、基準フレーム画像ＦＩ［１］に対して設定された優先顔が顔ＦＣ₁であるとし、フレーム画像ＦＩ［２］〜ＦＩ［ｎ−１］に対して設定された暫定優先顔が全て顔ＦＣ₁であるとし、フレーム画像ＦＩ［ｎ］〜ＦＩ［ｎ＋ｋ_A］に対して設定された暫定優先顔が全て顔ＦＣ₂であるとする。

優先顔設定部５４は、フレーム画像ＦＩ［１］の優先顔とフレーム画像ＦＩ［２］の暫定優先顔を対比する。今の例において、両者は同一の顔であるため、優先顔を変更する必要もない。従って、フレーム画像ＦＩ［２］の優先顔は顔ＦＣ₁に設定される。この後、直前のフレーム画像に対する優先顔と今回のフレーム画像に対する暫定優先顔が同じであり続けるのであれば、優先顔の変更は必要ない。このため、今の例では、フレーム画像ＦＩ［２］〜ＦＩ［ｎ−１］に対する優先顔は全て顔ＦＣ₁となる。

しかし、顔ＦＣ₁の距離ＤＤと顔ＦＣ₂の距離ＤＤとの間における大小関係逆転等に起因して、フレーム画像ＦＩ［ｎ］に対する暫定優先顔が顔ＦＣ₂となると、優先顔の変更が必要となってくる。但し、優先顔設定部５４は、直ちに優先顔の変更を実行せずに該変更を一旦保留し、暫定優先顔が顔ＦＣ₂となる状態が（ｋ_A＋１）枚のフレーム画像に亘って継続する場合にのみ、優先顔の変更を許容する。従って、今の例の場合、フレーム画像ＦＩ［ｎ］〜ＦＩ［ｎ＋ｋ_A−１］に対する優先顔は顔ＦＣ₁に設定され、フレーム画像ＦＩ［ｎ＋ｋ_A］に対する優先顔は顔ＦＣ₂に設定される。これに連動して、フレーム画像ＦＩ［ｎ］〜ＦＩ［ｎ＋ｋ_A−１］の取得時点ではテーブルＴＢ２が指し示す優先顔も顔ＦＣ₁であり、フレーム画像ＦＩ［ｎ＋ｋ_A］が取得されて初めてテーブルＴＢ２が指し示す優先顔が顔ＦＣ₂となる。フレーム画像ＦＩ［ｎ＋ｋ_A］以降に得られるフレーム画像に対して、優先顔の変更が必要となったときも、同様に処理される。

このように、第１の優先顔変更制御では、着目フレーム画像に対する優先顔の設定を、着目フレーム画像の暫定優先顔に基づきつつ、着目フレーム画像の暫定優先顔と着目フレーム画像よりも過去に得られたフレーム画像の暫定優先顔との同一性を考慮して実行する。上述の例示から明らかなように、変更許可条件が充足するか否かは、この同一性に依存する。第１の優先顔変更制御を用いれば、優先顔が頻繁に変更されることが抑制されるため、撮影パラメータが安定する。

［第２の優先顔変更制御］
次に、第２の優先顔変更制御を説明する。まず、第２の優先顔変更制御の詳細な説明の前に、フォーカスレンズ３１の位置（以下、レンズ位置ともいう）とＡＦ評価値との関係を説明する。図１４の曲線２３０は、レンズ位置と実空間上で静止している或る特定顔のＡＦ評価値との関係を示している。また、撮像装置１も静止しているものとする。優先処理部５２及び撮影パラメータ調整部５５は、レンズ位置を検出する位置検出器（不図示）の検出結果に基づいて、レンズ位置を認識可能となっている。フォーカスレンズ３１は、至近端から無限端まで移動可能である。至近端及び無限端は、フォーカスレンズ３１の全移動範囲における両端を表し、レンズ位置が至近端から無限端に向かうにつれて、ピントの合う被写体と撮像装置１との距離が大きくなる。

或る顔と撮像装置１との、実空間上における距離を、その顔の被写体距離とよぶ。曲線２３０によって表されるＡＦ評価値が最大値をとる時のレンズ位置と、そのレンズ位置に応じて定まる光学系３５（図２）の焦点距離ｆから、上記特定顔の被写体距離を求めることができる。

図１５（ａ）の曲線２４１は、レンズ位置と顔ＦＣ₁のＡＦ評価値との関係を表し、 図１５（ｂ）の曲線２４２は、レンズ位置と顔ＦＣ₂のＡＦ評価値との関係を表している。顔ＦＣ₁及びＦＣ₂の被写体距離は常に一定であるとする。レンズ位置を至近端から無限端に移動させた場合において、顔ＦＣ₁のＡＦ評価値が最大値をとる時のレンズ位置をＬＰ₁によって表し、顔ＦＣ₂のＡＦ評価値が最大値をとる時のレンズ位置をＬＰ₂によって表す。顔ＦＣ₁が優先顔として設定されている場合、撮影パラメータ調整部５５は、レンズ位置ＬＰ₁を探索した後、顔ＦＣ₁のＡＦ評価値が最大値付近に保たれるようにレンズ位置ＬＰ₁を中心にしてレンズ位置を振動させる。このレンズ位置の振動は、顔ＦＣ₁の被写体距離を中心とする被写界深度内で実行される。換言すれば、レンズ位置ＬＰ₁を中心とした焦点深度内でレンズ位置を振動させる。尚、撮像装置１は、レンズ位置と被写界深度及び焦点深度との関係を予め認識している。顔ＦＣ₁についての被写界深度及び焦点深度は、レンズ位置ＬＰ₁が決まれば一意に定まる。

被写界振動又は焦点深度を利用した第２の優先顔変更制御の方法を説明する。第２の優先顔変更制御は、優先顔に対するＡＦ制御を実行している際に有効に機能する。第２の優先顔変更制御では、優先顔が第１の顔から第２の顔へ変更されることを、第１及び第２の顔が共通の被写界深度内に存在すると判断される場合にのみ許容する。

第１及び第２の優先顔変更制御を組み合わせて実施することを想定し、第１の優先顔変更制御の説明にて示した方法に従い、図９のステップＳ１８又は図１１のステップＳ３８において、優先顔設定部５４は、トリガ条件成立時以降に得られる各フレーム画像に対して暫定優先顔を設定するものとして考える。暫定優先顔に基づき優先顔を設定する方法として、第１の優先顔変更制御の説明にて示した方法を用いることができる。今、全フレーム画像から顔ＦＣ₁及びＦＣ₂が検出され且つ顔ＦＣ₁及びＦＣ₂が常に候補顔である場合を想定し、更に、図１３に示す如く、フレーム画像ＦＩ［１］〜ＦＩ［ｎ＋ｋ_A−１］に対して設定された優先顔が全て顔ＦＣ₁であって、且つ、フレーム画像ＦＩ［２］〜ＦＩ［ｎ−１］に対して設定された暫定優先顔が全て顔ＦＣ₁であって、且つ、フレーム画像ＦＩ［ｎ］〜ＦＩ［ｎ＋ｋ_A］に対して設定された暫定優先顔が全て顔ＦＣ₂である場合を考える。

優先顔設定部５４は、トリガ条件成立時以降、優先顔及び優先顔となる可能性のある顔に対するＡＦ評価値を蓄積記憶する。今の例の場合、優先顔設定部５４は、少なくとも顔ＦＣ₁と顔ＦＣ₂のＡＦ評価値を常時監視して蓄積記憶する。優先顔設定部５４は、記憶しているＡＦ評価値に基づいて顔ＦＣ₁の被写界深度内に顔ＦＣ₂が存在しているか否かを判断し、顔ＦＣ₁の被写界深度内に顔ＦＣ₂が存在していると判断される場合にのみ優先顔が顔ＦＣ₁から顔ＦＣ₂に変更されることを許可し、顔ＦＣ₁の被写界深度内に顔ＦＣ₂が存在していると判断されない場合には該変更を禁止する。

フレーム画像ＦＩ［１］〜ＦＩ［ｎ＋ｋ_A−１］に対して設定された優先顔は全て顔ＦＣ₁であるため、フレーム画像ＦＩ［ｎ＋ｋ_A］が取得される以前まで、優先顔に対するＡＦ制御により、レンズ位置はレンズ位置ＬＰ₁を中心にして振動させられる。図１６（ａ）及び（ｂ）における実線曲線２４１ａは、この振動中に得られる顔ＦＣ₁のＡＦ評価値を表す、図１５（ａ）の曲線２４１の一部である。優先顔設定部５４は、この振動中において顔ＦＣ₂のＡＦ評価値とレンズ位置との関係を監視する。そして、この振動中において、顔ＦＣ₂のＡＦ評価値が極大値をとることが確認された場合に顔ＦＣ₁の被写界深度内に顔ＦＣ₂が存在していると判断し（変更許可条件が満たされると判断し）、その確認がなされない場合は顔ＦＣ₁の被写界深度内に顔ＦＣ₂が存在していないと判断する（変更許可条件が満たされないと判断する）。

図１６（ａ）及び（ｂ）における実線曲線２４２ａ及び２４２ｂは、夫々、図１５（ｂ）の曲線２４２の一部曲線の第１例及び第２例である。実線曲線２４２ａ及び２４２ｂは、上記の振動中に得られる顔ＦＣ₂のＡＦ評価値に基づいて描かれるものである。実線曲線２４２ａは、図１７（ａ）に示す如く、顔ＦＣ₁の被写体距離と顔ＦＣ₂の被写体距離が比較的近い場合に得られる。図１７（ａ）は、実線曲線２４２ａが得られる場合におけるフレーム画像ＦＩ［ｎ＋ｋ_A］の例を示している。実線曲線２４２ｂは、図１７（ｂ）に示す如く、顔ＦＣ₁の被写体距離と顔ＦＣ₂の被写体距離が比較的遠い場合に得られる。図１７（ｂ）は、実線曲線２４２ｂが得られる場合におけるフレーム画像ＦＩ［ｎ＋ｋ_A］の例を示している。

実線曲線２４２ａには、ＡＦ評価値に極大値が現れるが、実線曲線２４２ｂには、ＡＦ評価値に極大値が現れない。従って、実線曲線２４２ａのような顔ＦＣ₂のＡＦ評価値とレンズ位置との関係が得られた場合、優先顔設定部５４は、顔ＦＣ₁の被写界深度内に顔ＦＣ₂が存在していると判断して、優先顔を顔ＦＣ₁から顔ＦＣ₂に変更することを許可する。従って、この場合は、フレーム画像ＦＩ［ｎ＋ｋ_A］に対する優先顔は顔ＦＣ₂とされる。一方、実線曲線２４２ｂのような顔ＦＣ₂のＡＦ評価値とレンズ位置との関係が得られた場合、優先顔設定部５４は、顔ＦＣ₁の被写界深度内に顔ＦＣ₂が存在していないと判断して、優先顔を顔ＦＣ₁から顔ＦＣ₂に変更することを禁止する。従って、この場合は、フレーム画像ＦＩ［ｎ＋ｋ_A］に対する優先顔は顔ＦＣ₁とされる。

第２の優先顔変更制御を用いれば、優先顔の変更に伴う焦点位置の急激なる変化が抑制され、結果、動画像が乱れにくくなる。尚、第１及び第２の優先顔変更制御を組み合わせて実施した場合の動作例を上述したが、第１の優先顔変更制御と組み合わせることなく、第２の優先顔変更制御を単独で実施することも可能である。

［第３の優先顔変更制御］
人物の顔の大きさは概ね同じであるため、ＡＦ評価値に基づいて優先顔変更制御を行う代わりに、顔の大きさに基づいて優先顔変更制御を行うようにしてもよい。顔の大きさに基づく優先顔変更制御を第３の優先顔変更制御として説明する。第３の優先顔変更制御も、優先顔に対するＡＦ制御を実行している際に有効に機能する。

第１及び第３の優先顔変更制御を組み合わせて実施することを想定し、第１の優先顔変更制御の説明にて示した方法に従い、図９のステップＳ１８又は図１１のステップＳ３８において、優先顔設定部５４は、トリガ条件成立時以降に得られる各フレーム画像に対して暫定優先顔を設定するものとして考える。暫定優先顔に基づき優先顔を設定する方法として、第１の優先顔変更制御の説明にて示した方法を用いることができる。今、全フレーム画像から顔ＦＣ₁及びＦＣ₂が検出され且つ顔ＦＣ₁及びＦＣ₂が常に候補顔である場合を想定し、更に、図１３に示す如く、フレーム画像ＦＩ［１］〜ＦＩ［ｎ＋ｋ_A−１］に対して設定された優先顔が全て顔ＦＣ₁であって、且つ、フレーム画像ＦＩ［２］〜ＦＩ［ｎ−１］に対して設定された暫定優先顔が全て顔ＦＣ₁であって、且つ、フレーム画像ＦＩ［ｎ］〜ＦＩ［ｎ＋ｋ_A］に対して設定された暫定優先顔が全て顔ＦＣ₂である場合を考える。

この場合、優先顔設定部５４は、フレーム画像ＦＩ［ｎ＋ｋ_A］における顔ＦＣ₁の大きさＳＩＺＥ₁とフレーム画像ＦＩ［ｎ＋ｋ_A］における顔ＦＣ₂の大きさＳＩＺＥ₂との間の差を求め、その差が所定の基準大きさよりも小さい場合は、変更許可条件が満たされると判断して優先顔を顔ＦＣ₁から顔ＦＣ₂に変更することを許可する。従って、この場合は、フレーム画像ＦＩ［ｎ＋ｋ_A］に対する優先顔は顔ＦＣ₂とされる。一方、その差が所定の基準大きさ以上である場合は、変更許可条件が満たされないと判断して優先顔を顔ＦＣ₁から顔ＦＣ₂に変更することを禁止する。従って、この場合は、フレーム画像ＦＩ［ｎ＋ｋ_A］に対する優先顔は顔ＦＣ₁とされる。

第３の優先顔変更制御を用いても、第２の優先顔変更制御を用いた場合と概ね同様の効果が得られる。尚、第１及び第３の優先顔変更制御を組み合わせて実施した場合の動作例を上述したが、第１の優先顔変更制御と組み合わせることなく、第３の優先顔変更制御を単独で実施することも可能である。

＜＜第４実施例＞＞
更新型処理を採用する場合、候補顔が含まれる顔グループは順次変更されうるが、顔グループ内に含まれる候補顔が頻繁に変更されると、撮影パラメータの安定性が損なわれる。

そこで、異なるフレーム画像間において顔グループが変更されることを許可するか否かを判断する制御を実行し、その制御に従って顔グループの変更の実行可否を決定するとよい。この制御を「顔グループ変更制御」という。顔グループ変更制御は、顔グループ設定部５３によって実行される。顔グループ変更制御を説明する実施例を第４実施例とする。顔グループ変更制御は、第２実施例で述べた更新型処理に適用される。

ここにおける「顔グループの変更」の意義を、以下の第１及び第２の顔グループを想定して補足説明する。第１のフレーム画像の次に第２のフレーム画像が取得されるものとする。第１及び第２のフレーム画像に対して夫々第１及び第２の顔グループが設定される場合において、第１の顔グループを形成する候補顔群の中に存在しない候補顔が第２の顔グループに含まれる時（例えば、第１の顔グループを形成する候補顔が顔ＦＣ₁〜ＦＣ₃であって且つ第２の顔グループを形成する候補顔が顔ＦＣ₂〜ＦＣ₄である時）は、第１及び第２のフレーム画像間において顔グループの変更が生じていると考え、第１の顔グループを形成する候補顔群の中に存在する候補顔のみを第２の顔グループが含む時（例えば、第１の顔グループを形成する候補顔が顔ＦＣ₁〜ＦＣ₃であって且つ第２の顔グループを形成する候補顔が顔ＦＣ₂及びＦＣ₃である時）は、第１及び第２のフレーム画像間において顔グループの変更が生じていないと考える。

顔グループ設定部５３は、予め規定された顔グループ変更許可条件が成立する場合にのみ、顔グループの変更（換言すれば、候補顔の変更）を許可する。顔グループ変更許可条件の規定の仕方は任意であるが、第３実施例における第１の優先顔変更制御にて規定される変更許可条件に類似する顔グループ変更許可条件を、更新型処理に適用する場合を説明する。

図１１のステップＳ３７において、顔グループ設定部５３は、第２実施例で述べたように、ステップＳ３４にて取得されたフレーム画像に着目し、その着目フレーム画像から検出された顔の中から、Ｐ個の顔を第１優先基準に従って選択する。但し、ここで選択する顔を直ちに候補顔として設定するのではなく、暫定的な候補顔（以下、暫定候補顔という）として設定すると共に暫定候補顔を含む暫定顔グループを着目フレーム画像に対して設定する。例えば、第１優先基準が距離ＤＤに基づく基準であり、且つ、着目フレーム画像より検出された顔が顔ＦＣ₁〜ＦＣ₄のみを含み、且つ、着目フレーム画像における顔ＦＣ₁〜ＦＣ₄の距離ＤＤの内、顔ＦＣ₄の距離ＤＤが最大であり、且つ、Ｐ＝３であるならば、顔ＦＣ₁〜ＦＣ₃が暫定候補顔とされて顔ＦＣ₁〜ＦＣ₃のみを含む暫定顔グループが着目フレーム画像に対して設定される。尚、着目フレーム画像から検出された顔の個数がＰ個未満である場合は、着目フレーム画像から検出された顔の全てが暫定候補顔とされ、Ｐ個未満の暫定候補顔から成る暫定顔グループが設定される。

そして、着目フレーム画像に対する顔グループの設定及び該設定内容に基づくテーブルＴＢ２の更新を、その着目したフレーム画像の暫定顔グループと過去のフレーム画像の暫定顔グループに基づいて実行する。

図１８を参照して具体的を挙げる。今、基準フレーム画像がフレーム画像ＦＩ［１］であり、ステップＳ３４にて、フレーム画像ＦＩ［２］〜ＦＩ［ｎ］が取得され、更に続いてフレーム画像ＦＩ［ｎ＋１］〜ＦＩ［ｎ＋ｋ_A］が取得された場合を考える。ｎは２以上の整数であれば良いが、今、ｎは４以上の整数であるとする。また、ｋ_Aは１以上の整数であれば良いが、今、ｋ_Aは３以上の整数であるとする。また、基準フレーム画像ＦＩ［１］に対して設定された顔グループが顔グループＧＰ₁であるとし、フレーム画像ＦＩ［２］〜ＦＩ［ｎ−１］に対して設定された暫定顔グループが全て顔グループＧＰ₁であるとし、フレーム画像ＦＩ［ｎ］〜ＦＩ［ｎ＋ｋ_A］に対して設定された暫定顔グループが全て顔グループＧＰ₂であるとする。更に、１つの顔グループ及び１つの暫定顔グループが含みうる顔の最大数（即ち、図１１のステップＳ１１及びＳ３７におけるＰの値）がそれぞれ３である場合を考える。そして、全フレーム画像から顔ＦＣ₁〜ＦＣ₄が検出されたものとし、顔グループＧＰ₁は３つの顔ＦＣ₁〜ＦＣ₃から形成され、顔グループＧＰ₂は３つの顔ＦＣ₂〜ＦＣ₄から形成されるものとする。

顔グループ設定部５３は、フレーム画像ＦＩ［１］の顔グループとフレーム画像ＦＩ［２］の暫定顔グループを対比する。今の例において、両者は同じ顔のみを含むため、顔グループを変更する必要もない。従って、フレーム画像ＦＩ［２］の顔グループは顔グループＧＰ₁に設定される。この後、直前のフレーム画像に対する顔グループと今回のフレーム画像に対する暫定顔グループが同じ顔のみを含んでいる限り、顔グループの変更は必要ない。このため、今の例では、フレーム画像ＦＩ［２］〜ＦＩ［ｎ−１］に対する顔グループは全て顔グループＧＰ₁となる。

しかし、実空間上における各顔の位置変動等に起因して、フレーム画像ＦＩ［ｎ］に対する暫定顔グループが顔グループＧＰ₂となると、顔グループの変更が必要となってくる。但し、顔グループ設定部５３は、直ちに顔グループの変更を実行せずに該変更を一旦保留し、暫定顔グループが顔グループＧＰ₂となる状態が（ｋ_A＋１）枚のフレーム画像に亘って継続する場合にのみ、顔グループの変更を許容する。従って、今の例の場合、フレーム画像ＦＩ［ｎ］〜ＦＩ［ｎ＋ｋ_A−１］に対する顔グループは顔グループＧＰ₁に設定され、フレーム画像ＦＩ［ｎ＋ｋ_A］に対する顔グループは顔グループＧＰ₂に設定される。これに連動して、フレーム画像ＦＩ［ｎ］〜ＦＩ［ｎ＋ｋ_A−１］の取得時点ではテーブルＴＢ２が指し示す顔グループも顔グループＧＰ₁であり、フレーム画像ＦＩ［ｎ＋ｋ_A］が取得されて初めてテーブルＴＢ２が指し示す顔グループが顔グループＧＰ₂となる。フレーム画像ＦＩ［ｎ＋ｋ_A］以降に得られるフレーム画像に対して、顔グループの変更が必要となったときも、同様に処理される。

このように、着目フレーム画像に対する顔グループの設定を、着目フレーム画像の暫定顔グループに基づきつつ、着目フレーム画像の暫定顔グループと着目フレーム画像よりも過去に得られたフレーム画像の暫定顔グループとの同一性を考慮して実行する。上述の例示から明らかなように、顔グループ変更許可条件が充足するか否かは、この同一性に依存する。上記のような顔グループ変更制御を用いれば、優先顔の候補を含む顔グループが頻繁に変更されることが抑制されるため、撮影パラメータが安定する。

＜＜第５実施例＞＞
優先顔が或る顔から異なる顔に変更される場合に、ＡＦ制御に用いるＡＦ評価値を、変更前の優先顔についてのＡＦ評価値から変更後の優先顔についてのＡＦ評価値へと急激に切り換えると、焦点位置が急激に変化しやすくなり、結果、動画像が乱れやすくなる。ＡＥ制御を行う場合における画像の明るさの変化又はＡＷＢ制御を行う場合におけるホワイトバランスの変化についても同様のことが言える。

そこで、異なるフレーム画像間で優先顔が変更された後、一定期間は、変更前の優先顔における評価値と変更後の優先顔における評価値の双方を考慮して、ＡＦ制御、ＡＥ制御又はＡＷＢ制御を行うようにするとよい。このような処理を実施する実施例を第５実施例として説明する。第５実施例に係る処理は、保存型処理にも更新型処理にも適用可能であり、第３又は第４実施例に記載の処理と組み合わせて実施することも可能である。

優先顔に対するＡＦ制御を実行する場合を例にとり、第５実施例に係る具体的な動作内容を説明する。今、図１９に示す如く、トリガ条件の成立後に、図９のステップＳ１４又は図１１のステップＳ３４にてフレーム画像ＦＩ［ｎ−１］及びＦＩ［ｎ］が順次得られ、フレーム画像ＦＩ［ｎ−１］に対して設定された優先顔が顔ＦＣ₁であって、且つ、フレーム画像ＦＩ［ｎ］及びフレーム画像ＦＩ［ｎ］以降に得られる各フレーム画像に対する優先顔が顔ＦＣ₂であったとする。この場合、撮影パラメータ調整部５５は、フレーム画像ＦＩ［ｎ］の取得前においては、顔ＦＣ₁のＡＦ評価値（顔ＦＣ₁の顔領域についてのＡＦ評価値）をＡＦ参照評価値として取り扱う。そして、そのＡＦ参照評価値が最大値（厳密には極大値）をとるように、所謂山登り制御を用いてレンズ位置（フォーカスレンズ３１の位置）を制御することにより優先顔に対するＡＦ制御を実現する。

優先顔の変更に伴い、撮影パラメータ調整部５５は、フレーム画像ＦＩ［ｎ］の取得時点以降において、ステップＳ５１の処理から始まる、図２０のフローチャートの処理を実行する。

まず、ステップＳ５１にて変数γに初期値０．１を代入した後、続くステップＳ５２において、撮影パラメータ調整部５５は、変更前の優先顔である顔ＦＣ₁のＡＦ評価値ＶＡＦ₁と、変更後の優先顔である顔ＦＣ₂のＡＦ評価値ＶＡＦ₂とをテーブルＴＢ１から読み込む。ここで読み込まれるＡＦ評価値は、最新のフレーム画像に対するＡＦ評価値であるとする。従って、１回目のステップＳ５２の処理において読み込まれるＡＦ評価値は、フレーム画像ＦＩ［ｎ］における顔ＦＣ₁及びＦＣ₂のＡＦ評価値である。２回目のステップＳ５２の処理において読み込まれるＡＦ評価値は、フレーム画像ＦＩ［ｎ＋１］における顔ＦＣ₁及びＦＣ₂のＡＦ評価値である（３回目以降も同様）。

ステップＳ５２に続くステップＳ５３において、撮影パラメータ調整部５５は、ステップＳ５２において読み込んだＡＦ評価値ＶＡＦ₁及びＶＡＦ₂に基づき、式「Ｖ_Q＝（１−γ）・ＶＡＦ₁＋γ・ＶＡＦ₂」に従って、値Ｖ_Qを算出する。この値Ｖ_Qは、ＡＦ参照評価値として取り扱われ、ステップＳ５４において、撮影パラメータ調整部５５は、そのＡＦ参照評価値Ｖ_Qに基づいてＡＦ制御を行う。即ち、値Ｖ_Qが最大値（厳密には極大値）をとるように、所謂山登り制御を用いてレンズ位置を制御する。ステップＳ５２〜Ｓ５４から成る処理群を１回又は複数回実行した後、ステップＳ５４からステップＳ５５に移行する。ステップＳ５２〜Ｓ５４から成る処理群を複数回実行する場合は、新たなフレーム画像が取得される度に該処理群を１回実行するものとする。

ステップＳ５５では、変数γに０．１が加算され、続くステップＳ５６において、変数γが１より大きいか否かが判断される。ステップＳ５６において、変数γが１以下である場合は、ステップＳ５２に戻って上述のステップＳ５２〜Ｓ５６から成るループ処理が繰り返し実行される。一方、ステップＳ５６において、変数γが１より大きい場合には、図２０の処理を終了する。図２０の処理の終了後、撮影パラメータ調整部５５は、顔ＦＣ₂のＡＦ評価値（顔ＦＣ₂の顔領域についてのＡＦ評価値）をＡＦ参照評価値として取り扱い、そのＡＦ参照評価値が最大値（厳密には極大値）をとるようにレンズ位置を制御することにより優先顔（顔ＦＣ₂）に対するＡＦ制御を実現する。

上述の如く処理すれば、優先顔の変更に伴う焦点位置の急激なる変化が抑制され、結果、動画像が乱れにくくなる。

尚、ＡＦ制御を行うことに着目して第５実施例に係る処理内容を説明したが、ＡＥ制御又はＡＷＢ制御を行う場合も同様に処理される。ＡＥ制御（又はＡＷＢ制御）を行う場合は、上述の説明におけるＡＦをＡＥ（又はＡＷＢ）に読み替えると共に上述のＡＦ制御に関する説明をＡＥ制御（又はＡＷＢ制御）に関する説明に置き換えて考えればよい。

＜＜第６実施例＞＞
次に、第６実施例を説明する。第１実施例に係る保存型処理と第２実施例に係る更新型処理を、トリガ条件成立時に取得されたフレーム画像内の顔個数に基づいて切り換え実行するようにしてもよい。即ち、図２１のフローチャートの如く、ステップＳ７１〜Ｓ７５の処理の実行を介して保存型処理又は更新型処理を択一的に実行するようにしてもよい。

ステップＳ７１では撮影によって新たなフレーム画像が取得され、ステップＳ７２において、顔検出部５１は、時間的に隣接するフレーム画像間で顔の同定処理を行いつつ、ステップＳ７１にて得られたフレーム画像に対して顔検出処理を実行し、それらの処理の結果に従ってテーブルＴＢ１のデータを更新する。ステップＳ７３では、優先処理部５２が、トリガ条件が成立したか否かを確認する。トリガ条件が成立していない場合は、ステップＳ７１に戻ってステップＳ７１〜Ｓ７３から成るループ処理を再度実行する。一方、トリガ条件が成立している場合は、ステップＳ７４において、トリガ条件成立時に得られるフレーム画像（例えば、トリガ条件成立直前若しくは直後に得られるフレーム画像）より検出された顔の個数を顔検出処理結果に基づいてカウントする。ステップＳ７５において、優先処理部５２は、そのカウントした個数と基準個数Ｑを比較し、前者が後者（Ｑ）以下である場合は保存型処理を実行し、前者が後者（Ｑ）より大きい場合は更新型処理を実行する。

基準個数Ｑは、予め設定された値を有し、例えば４とされる。図２１の切り換え処理によれば、トリガ条件成立時に撮影領域内に収まる顔の個数が比較的少ない場合に保存型処理が実行され、それが比較的多い場合に更新型処理が実行される。

保存型処理は、例えば、撮影者の家族に着目した動画像撮影を行う場合に適している。撮影者を除く、撮影者の家族の人数は、子供も含めて３〜４人程度であることが多い。従って、家族を撮影領域内に収めた状態で撮影者がトリガ条件を成立させれば、自動的に保存型処理が実行される。第１実施例で述べたように、保存型処理ではトリガ条件成立時に設定された顔グループ内から優先顔が設定されるため、トリガ条件の成立後、特に着目していない他人の顔が撮影領域内に入ってきたとしても、その他人の顔が優先顔に設定されることはない。つまり、家族に着目した動画像を撮影し続けることができる。

更新型処理は、特定の人物を捉え続けるのではなく、移動していく群衆を撮影する場合（例えば、祭りの風景撮影を行う場合）などに適している。そのような群衆を撮影領域内に収めた状態で撮影者がトリガ条件を成立させれば、自動的に更新型処理が実行される。

上述のような切り換え処理を実行することにより、撮影シーンに適したＡＦ制御等が実行されることになる。

＜＜第７実施例＞＞
次に、第７実施例を説明する。第７実施例では、図９又は図１１のステップＳ２０にて実行される、通常制御への移行処理を説明する。

保存型処理又は更新型処理の実行時において、優先顔がフレーム画像内に存在している場合には、優先顔に対するＡＦ制御、ＡＥ制御又はＡＷＢ制御が行われるが、優先顔を設定できなくなってステップＳ２０に至ると、優先顔に対するＡＦ制御、ＡＥ制御又はＡＷＢ制御から通常のＡＦ制御、ＡＥ制御又はＡＷＢ制御に移行する。通常のＡＦ制御、ＡＥ制御又はＡＷＢ制御とは、夫々、フレーム画像の規定領域内の画像データに基づくＡＦ制御、ＡＥ制御又はＡＷＢ制御である。ここにおける規定領域とは、フレーム画像の全体画像領域、又は、顔領域の存在位置に関係なく予め規定された、フレーム画像の一部画像領域である。

優先顔に対するＡＦ制御から通常のＡＦ制御に移行する際、ＡＦ制御に用いるＡＦ評価値を、優先顔が存在していた顔領域のＡＦ評価値から、それとは無関係に設定された規定領域のＡＦ評価値へと急激に切り換えると、焦点位置が急激に変化しやすくなり、結果、動画像が乱れやすくなる。ＡＥ制御を行う場合における画像の明るさの変化又はＡＷＢ制御を行う場合におけるホワイトバランスの変化についても同様のことが言える。

そこで、図９のステップＳ１６又は図１１のステップＳ３６からステップＳ２０に至った際、一定期間は、優先顔が存在していた顔領域の評価値と上記規定領域の評価値の双方を考慮して、ＡＦ制御、ＡＥ制御又はＡＷＢ制御を行うようにするとよい。

ＡＦ制御を実行する場合を例にとり、第７実施例に係る具体的な動作内容を説明する。図２２は、ＡＦ制御を実行する場合における、ステップＳ２０の詳細フローチャートである。今、トリガ条件成立後に、図９のステップＳ１４又は図１１のステップＳ３４にてフレーム画像ＦＩ［１］〜ＦＩ［ｎ］が順次得られ、フレーム画像ＦＩ［１］〜ＦＩ［ｎ−１］に対しては優先顔が設定されていた一方で、フレーム画像ＦＩ［ｎ］に対しては優先顔が設定されずに、ステップＳ２０に至った場合を想定する。即ち、保存型処理実行時においては、ステップＳ１１にて設定された候補顔と同じ顔がフレーム画像ＦＩ［ｎ］から検出されず、更新型処理実行時においては、フレーム画像ＦＩ［ｎ］から顔が１つも検出されなかった場合を想定する。

この場合、図２２に示すステップＳ１０１〜Ｓ１０７の処理が、撮影パラメータ調整部５５により順次実行される。まず、ステップＳ１０１にて変数γに初期値０．１を代入した後、続くステップＳ１０２において、撮影パラメータ調整部５５は、通常制御への移行処理の直前に得られたフレーム画像、即ちフレーム画像ＦＩ［ｎ−１］に着目し、フレーム画像ＦＩ［ｎ−１］に対して設定されていた優先顔の顔領域の位置及び大きさと同じ位置及び大きさを有する領域を設定する。ここで設定された領域を第１移行用領域という。一方で、通常のＡＦ制御実行時における規定領域を第２移行用領域として設定する。図２３に、或るフレーム画像における第１及び第２移行用領域を夫々矩形領域３０１及び３０２によって表す。第２移行用領域として規定領域は、例えば、フレーム画像の中央付近に位置する、フレーム画像の一部画像領域である。フレーム画像内における第１及び第２移行用領域の、フレーム画像上における位置及び大きさは、異なるフレーム画像間で不変である。

第１及び第２移行用領域の設定後、ステップＳ１０３において、撮影パラメータ調整部５５は、第１移行用領域のＡＦ評価値Ｖ_A及び第２移行用領域のＡＦ評価値Ｖ_BをＡＦ評価部４１（図３参照）から取得する。ここで取得されるＡＦ評価値は、最新のフレーム画像に対するＡＦ評価値である。従って、１回目のステップＳ１０３の処理において取得されるＡＦ評価値は、フレーム画像ＦＩ［ｎ］における第１及び第２移行用領域のＡＦ評価値である。２回目のステップＳ１０３の処理において取得されるＡＦ評価値は、フレーム画像ＦＩ［ｎ＋１］における第１及び第２移行用領域のＡＦ評価値である（３回目以降も同様）。

第１移行用領域内に１つの小ブロックしか存在しない場合、その小ブロックに対するブロックＡＦ値がＡＦ評価値Ｖ_Aとなり、第１移行用領域内に複数の小ブロックが存在する場合、その複数の小ブロックに対するブロックＡＦ値の平均値がＡＦ評価値Ｖ_Aとなる。同様に、第２移行用領域内に１つの小ブロックしか存在しない場合、その小ブロックに対するブロックＡＦ値がＡＦ評価値Ｖ_Bとなり、第２移行用領域内に複数の小ブロックが存在する場合、その複数の小ブロックに対するブロックＡＦ値の平均値がＡＦ評価値Ｖ_Bとなる。

ステップＳ１０３に続くステップＳ１０４において、撮影パラメータ調整部５５は、ステップＳ１０３にて取得したＡＦ評価値Ｖ_A及びＶ_Bに基づき、式「Ｖ_Q＝（１−γ）・Ｖ_A＋γ・Ｖ_B」に従って、値Ｖ_Qを算出する。この値Ｖ_Qは、ＡＦ参照評価値として取り扱われ、ステップＳ１０５において、撮影パラメータ調整部５５は、そのＡＦ参照評価値Ｖ_Qに基づいてＡＦ制御を行う。即ち、値Ｖ_Qが最大値（厳密には極大値）をとるように、所謂山登り制御を用いてレンズ位置を制御する。ステップＳ１０３〜Ｓ１０５から成る処理群を１回又は複数回実行した後、ステップＳ１０５からステップＳ１０６に移行する。ステップＳ１０３〜Ｓ１０５から成る処理群を複数回実行する場合は、新たなフレーム画像が取得される度に該処理群を１回実行するものとする。

ステップＳ１０６では、変数γに０．１が加算され、続くステップＳ１０７において、変数γが１より大きいか否かが判断される。ステップＳ１０７において、変数γが１以下である場合は、ステップＳ１０３に戻って上述のステップＳ１０３〜Ｓ１０７から成るループ処理が繰り返し実行される。一方、ステップＳ１０７において、変数γが１より大きい場合には、図２２の処理を終了する。図２２の処理の終了後、撮影パラメータ調整部５５は、第２移行用領域（即ち規定領域）のＡＦ評価値をＡＦ参照評価値として取り扱い、そのＡＦ参照評価値が最大値（厳密には極大値）をとるようにレンズ位置を制御することにより通常のＡＦ制御を実現する。

上述の如く処理すれば、焦点位置の急激なる変化が抑制され、結果、動画像が乱れにくくなる。

また、図２４に、ＡＦ制御を実行する場合における、ステップＳ２０の他の詳細フローチャートを示す。図２２に示す処理の代わりに、図２４に示す処理をステップＳ２０にて実行するようにしてもよい。図２４に示す処理は、ステップＳ１０１〜Ｓ１０７の処理にステップＳ１１１〜Ｓ１１４の処理を追加したものである。トリガ条件成立後に、図９のステップＳ１４又は図１１のステップＳ３４にてフレーム画像ＦＩ［１］〜ＦＩ［ｎ］が順次得られ、フレーム画像ＦＩ［１］〜ＦＩ［ｎ−１］に対しては優先顔が設定されていた一方で、フレーム画像ＦＩ［ｎ］に対しては優先顔が設定されずにステップＳ２０に至った場合を想定した上で、図２４に示す処理を説明する。

まず、図２２に示すものと同じ、ステップＳ１０１及びステップＳ１０２の処理が実行される。即ち、ステップＳ１０１にて変数γに初期値０．１を代入した後、続くステップＳ１０２において、撮影パラメータ調整部５５は、通常制御への移行処理の直前に得られたフレーム画像、即ちフレーム画像ＦＩ［ｎ−１］に着目し、フレーム画像ＦＩ［ｎ−１］に対して設定されていた優先顔の顔領域の位置及び大きさと同じ位置及び大きさを有する第１移行用領域を設定する。一方で、第２移行用領域も設定する。

第１及び第２移行用領域の設定後、ステップＳ１０３に移行する前に、ステップＳ１１１に移行する。ステップＳ１１１において、撮影パラメータ調整部５５は、通常制御への移行処理の直前に得られたフレーム画像、即ちフレーム画像ＦＩ［ｎ−１］に着目し、フレーム画像ＦＩ［ｎ−１］における第１移行用領域のＡＦ評価値Ｖ_A’を取得する。Ｖ_A’は、フレーム画像ＦＩ［ｎ−１］の優先顔のＡＦ評価値に等しいため、図２４に示す処理を実行する以前に既に得られている。

その後、ステップＳ１１２において、撮影パラメータ調整部５５は、現在のフレーム画像における第１移行用領域のＡＦ評価値Ｖ_AをＡＦ評価部４１（図３参照）から取得する。ここで取得される、現在のフレーム画像についてのＡＦ評価値は、最新のフレーム画像に対するＡＦ評価値である。従って、１回目のステップＳ１１２の処理において取得されるＡＦ評価値は、フレーム画像ＦＩ［ｎ］における第１移行用領域のＡＦ評価値であり、２回目のステップＳ１１２の処理において取得されるＡＦ評価値は、フレーム画像ＦＩ［ｎ＋１］における第１移行用領域のＡＦ評価値である（３回目以降も同様）。

ステップＳ１１２に続くステップＳ１１３では、ステップＳ１１１にて得られたＡＦ評価値Ｖ_A’とステップＳ１１２にて得られたＡＦ評価値Ｖ_Aが比較され、両者間の差（Ｖ_A’−Ｖ_A）が所定の基準閾値よりも大きい場合はステップＳ１０３に移行して、ステップＳ１０３〜Ｓ１０７の処理を実行する。ステップＳ１０３〜Ｓ１０７の処理は、図２２を参照して上述したものと同じである。一方、差（Ｖ_A’−Ｖ_A）が基準閾値以下である場合は、ステップＳ１１４に移行し、Ｖ_AをＡＦ参照評価値として取り扱った上でＡＦ制御を実行し、ステップＳ１１２に戻る。即ち、Ｖ_A’とＶ_Aの差が基準閾値以下であり続ける限りは、第１移行用領域のＡＦ評価値Ｖ_Aを最大値（厳密には極大値）に保つようなＡＦ制御が実行される。

優先顔として選択されるべき顔がフレーム画像から消失したと判断される場合に、図２４に示す通常制御への移行処理が実行される訳であるが、顔消失前後で優先顔が位置していた画像領域におけるＡＦ評価値に変化が殆ど生じないのであれば（即ち、差（Ｖ_A’−Ｖ_A）が基準閾値以下であれば）、ＡＦ参照評価値導出用の画像領域を変化させる必要もない。これを考慮して、ステップＳ１１１〜Ｓ１１４の処理を導入する。これにより、ＡＦ参照評価値導出用の画像領域の変化に伴う、焦点位置の変化が抑制され、結果、動画像が乱れにくくなる。

尚、ＡＦ制御を行うことに着目して第７実施例に係る処理内容を説明したが、ＡＥ制御又はＡＷＢ制御を行う場合も同様に処理される。ＡＥ制御（又はＡＷＢ制御）を行う場合は、上述の説明におけるＡＦをＡＥ（又はＡＷＢ）に読み替えると共に上述のＡＦ制御に関する説明をＡＥ制御（又はＡＷＢ制御）に関する説明に置き換えて考えればよい。

また、優先顔として選択されるべき顔がフレーム画像から消失したと判断される場合に、図２２又は図２４にて示されるような、通常制御への移行処理が実行されると説明したが、トリガ条件の成立後、そのトリガ条件と異なる終了トリガ条件が成立した場合にも、図２２又は図２４にて示されるような、通常制御への移行処理が実行される。終了トリガ条件は、例えば、ユーザが操作部２６（図１参照）に対して所定操作を施すことによって成立する。典型的には例えば、トリガ条件は動画像の撮影開始を指示する操作によって成立し、終了トリガ条件は動画像の撮影終了を指示する操作によって成立する。

＜＜第８実施例＞＞
図４及び図８を参照して、テーブルＴＢ１とテーブルＴＢ２を別個に設ける例を上述したが、それらの代わりに、両者を統合した単一のテーブルＴＢ３を内部メモリ１７（図１参照）内に設けるようにしてもよい。図２５に、テーブルＴＢ３のデータ構造を示す。テーブルＴＢ３は、何れの顔が優先顔であるかを表す情報及び何れの顔が候補顔であるかを表す情報を、図４に示すテーブルＴＢ１に付加したものである。

テーブルＴＢ１とＴＢ２を別個に設ける場合は、テーブルＴＢ１内の限定的な範囲をアクセスするだけで優先顔又は候補顔の属性情報を認識することがきるが、情報を更新する際には、テーブルＴＢ１とＴＢ２の両者を更新する必要がある。一方、テーブルＴＢ３を利用する場合は、情報の更新をテーブルＴＢ３の更新だけで完了することができる。但し、優先顔又は候補顔の属性情報を認識するためにテーブルＴＢ３内の広範囲エリアを探索しなければならない場合が生じる。

＜＜変形等＞＞
上述した説明文中に示した具体的な数値は、単なる例示であって、当然の如く、それらを様々な数値に変更することができる。上述の実施形態の変形例または注釈事項として、以下に、注釈１〜注釈３を記す。各注釈に記載した内容は、矛盾なき限り、任意に組み合わせることが可能である。

［注釈１］
上述の実施形態では、フレームを単位として考え、フレーム画像列に対して、顔検出処理を含む各種の処理を行っているが、フィールドを単位として考え、フィールド画像列に対して、それらの処理を行うようにしてもよい。

［注釈２］
図１の撮像装置１は、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって実現可能である。特に、図３に示される各部位が実行する演算処理は、ソフトウェア、またはハードウェアとソフトウェアの組み合わせによって実現可能である。ソフトウェアを用いて撮像装置１を構成する場合、ソフトウェアにて実現される部位についてのブロック図は、その部位の機能ブロック図を表すことになる。演算処理の全部または一部を、プログラムとして記述し、該プログラムをプログラム実行装置（例えばコンピュータ）上で実行することによって、その演算処理の全部または一部を実現するようにしてもよい。

［注釈３］
例えば、以下のように考えることができる。第３実施例に係る優先顔変更制御を実行する際、図３の優先顔設定部５４は、異なるフレーム画像間において優先顔が変更されることを許可するか否かを判断する変更制御部（不図示）及び各フレーム画像に対して暫定優先顔を設定する暫定優先顔設定部（不図示）を備える。第４実施例に係る顔グループ変更制御を実行する際、図３の顔グループ設定部５３は、異なるフレーム画像間において顔グループが変更されることを許可するか否かを判断する変更制御部（不図示）及び各フレーム画像に対して暫定顔グループを設定する暫定顔グループ設定部（不図示）を備える。

本発明の実施形態に係る撮像装置の全体ブロック図である。 図１の撮像部の内部構成図である。 図１の撮像装置の一部ブロック図であって、動画像撮影時の撮影パラメータ調整に関与する部分のブロックである。 図３の顔情報管理テーブルのデータ構造を示す図である。 フレーム画像の全体領域が複数の小ブロックに分割される様子を示す図である。 図３のＡＦ評価部の内部ブロック図である。 １つの顔領域内に複数の小ブロックが属している様子を示す図である。 図３の優先顔管理テーブルのデータ構造を示す図である。 本発明の第１実施例に係り、図１の撮像装置にて実行される保存型処理の動作フローチャートである。 本発明の第１実施例に係る保存型処理を実行した際における、候補顔及び優先顔の遷移の様子を説明する図である。 本発明の第２実施例に係り、図１の撮像装置にて実行される更新型処理の動作フローチャートである。 本発明の第２実施例に係る保存型処理を実行した際における、候補顔及び優先顔の遷移の様子を説明する図である。 本発明の第３実施例に係る優先顔変更制御を説明するための図であり、各フレーム画像に対して設定された暫定候補顔及び候補顔を示す図である。 本発明の第３実施例に係り、或る特定顔のＡＦ評価値とレンズ位置（フォーカスレンズの位置）との関係を示す図である。 本発明の第３実施例に係り、或る顔のＡＦ評価値とレンズ位置との関係を示す図（ａ）と、他の顔のＡＦ評価値とレンズ位置との関係を示す図（ｂ）である。 本発明の第３実施例に係り、２つの顔のＡＦ評価値とレンズ位置との関係の第１例を示す図（ａ）と、その関係の第２例を示す図（ｂ）である。 図１６（ａ）の関係が得られる時のフレーム画像例（ａ）と、図１６（ｂ）の関係が得られる時のフレーム画像例（ｂ）とを示す図である。 本発明の第４実施例に係る顔グループ変更制御を説明するための図であり、各フレーム画像に対して設定された暫定顔グループ及び顔グループを示す図である。 本発明の第５実施例にて想定される優先顔の変更状態を示す図である。 本発明の第５実施例に係り、優先顔の変更時に一時的に実行されるＡＦ制御の動作フローチャートである。 本発明の第６実施例に係る、保存型処理と更新型処理との間の切り換え処理の手順を示すフローチャートである。 本発明の第７実施例に係り、図９又は図１１のステップＳ２０にて実行される、通常制御への移行処理の詳細な手順を示すフローチャートである。 本発明の第７実施例に係り、フレーム画像内に第１及び第２移行用領域が設定される様子を示す図である。 本発明の第７実施例に係り、図２２のフローチャートを変形したフローチャートである。 本発明の第８実施例に係り、図３の顔情報管理テーブル及び優先顔管理テーブルを統合したテーブルのデータ構造を示す図である。

符号の説明

１ 撮像装置
１１ 撮像部
１２ ＡＦＥ
１３ 映像信号処理部
３１ フォーカスレンズ
３２ 絞り
３３ 撮像素子
４０ 評価値算出部
４１ ＡＦ評価部
４２ ＡＥ評価部
４３ ＡＷＢ評価部
５１ 顔検出部
５２ 優先処理部
５３ 顔グループ設定部
５４ 優先顔設定部
５５ 撮影パラメータ調整部
ＴＢ１ 顔情報管理テーブル
ＴＢ２ 優先顔管理テーブル

Claims (9)

1. 撮像素子を用いた順次撮影によって取得される動画像の画像データに基づき、前記動画像を形成する各被検出画像から人物の顔を、顔の同定処理を行いながら検出する顔検出手段と、
   前記被検出画像ごとに、当該被検出画像より検出される複数の顔の中から優先顔を選択する選択処理手段と、
   前記優先顔が現れる顔領域内の画像データに基づいて前記動画像の取得条件を調整する調整手段と、
   特定タイミングを設定するための指示を受け付ける指示受付手段と、を備えた撮像装置において、
   前記特定タイミングの撮影によって得られる被検出画像を基準画像と呼ぶと共に前記特定タイミング以降の撮影によって得られる被検出画像を非基準画像と呼んだ場合、
   前記選択処理手段は、
   前記基準画像より検出される複数の顔の中から所定個数以下の顔を所定の第１優先基準に基づいて選択し、その選択した顔を含む顔グループを前記基準画像に対して設定する顔グループ設定手段と、
   前記基準画像に対する優先顔を、前記基準画像の顔グループの中から所定の第２優先基準に基づいて選択して設定する優先顔設定手段と、を備え、
   前記顔グループ設定手段は、前記非基準画像ごとに、当該非基準画像より検出される顔の中から前記基準画像の顔グループに含まれる顔と同一の顔のみを選択して、その選択した顔を含む顔グループを当該非基準画像に対して設定し、
   前記優先顔設定手段は、前記非基準画像ごとに、当該非基準画像に対する優先顔を、当該非基準画像の顔グループの中から前記第２優先基準に基づいて選択して設定する
   ことを特徴とする撮像装置。
2. 前記優先顔設定手段は、異なる被検出画像間において優先顔が変更されることを許可するか否かを判断する変更制御手段を備えて、その判断結果に従って各被検出画像に対する優先顔の設定を行い、
   前記変更制御手段は、予め規定された変更許可条件が充足される場合にのみ、前記優先顔の変更を許可する
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記優先顔設定手段は、前記被検出画像ごとに、当該被検出画像の顔グループの中から暫定優先顔を前記第２優先基準に基づいて選択して設定する暫定優先顔設定手段を更に備え、
   前記変更許可条件の充足又は不充足の判断及び該判断に基づく着目被検出画像に対する優先顔の設定は、前記着目被検出画像の暫定優先顔及び前記着目被検出画像よりも過去に得られた被検出画像の暫定優先顔に基づいて実行される
   ことを特徴とする請求項２に記載の撮像装置。
4. ｉを２以上の整数とし且つｊを１以上の整数とし且つ（ｎ−ｉ）を１以上とした場合、
   前記優先顔設定手段は、
   前記特定タイミング以降に得られる第（ｎ−ｉ）〜第（ｎ―１）番目の被検出画像の暫定優先顔が同一の顔である場合、その暫定優先顔を第（ｎ―１）番目の被検出画像の優先顔として設定し、
   第（ｎ−ｉ）〜第（ｎ―１）番目の被検出画像の暫定優先顔が同一の顔であって且つその顔と第ｎ番目の被検出画像の暫定優先顔が異なる場合、第ｎ番目の被検出画像の優先顔を第（ｎ―１）番目の被検出画像の優先顔と一致させて優先顔の変更を保留する一方で、第ｎ〜（ｎ＋ｊ）番目の被検出画像の暫定優先顔が同一の顔であるか否かを監視し、第ｎ〜（ｎ＋ｊ）番目の被検出画像の暫定優先顔が同一の顔であるとき、優先顔の変更を許可して第（ｎ＋ｊ）番目の被検出画像の暫定優先顔を第（ｎ＋ｊ）番目の被検出画像の優先顔として設定する
   ことを特徴とする請求項３に記載の撮像装置。
5. 撮像素子を用いた順次撮影によって取得される動画像の画像データに基づき、前記動画像を形成する各被検出画像から人物の顔を、顔の同定処理を行いながら検出する顔検出手段と、
   前記被検出画像ごとに、当該被検出画像より検出される複数の顔の中から優先顔を選択する選択処理手段と、
   前記優先顔が現れる顔領域内の画像データに基づいて前記動画像の取得条件を調整する調整手段と、を備えた撮像装置において、
   前記選択処理手段は、
   前記被検出画像ごとに、当該被検出画像より検出される複数の顔の中から所定個数以下の顔を所定の第１優先基準に基づいて選択して選択した顔を含む顔グループを設定する顔グループ設定手段と、
   前記被検出画像ごとに、当該被検出画像に対して設定された顔グループの中から所定の第２優先基準に基づいて優先顔を選択して設定する優先顔検出手段と、を備え、
   前記優先顔設定手段は、異なる被検出画像間において優先顔が変更されることを許可するか否かを判断する変更制御手段を備えて、その判断結果に従って各被検出画像に対する優先顔の設定を行い、
   前記変更制御手段は、予め規定された変更許可条件が充足される場合にのみ、前記優先顔の変更を許可する
   ことを特徴とする撮像装置。
6. 前記優先顔設定手段は、前記被検出画像ごとに、当該被検出画像の顔グループの中から暫定優先顔を前記第２優先基準に基づいて選択して設定する暫定優先顔設定手段を備え、
   前記変更許可条件の充足又は不充足の判断及び該判断に基づく着目被検出画像に対する優先顔の設定は、前記着目被検出画像の暫定優先顔及び前記着目被検出画像よりも過去に得られた被検出画像の暫定優先顔に基づいて実行される
   ことを特徴とする請求項５に記載の撮像装置。
7. 撮像素子を用いた順次撮影によって取得される動画像の画像データに基づき、前記動画像を形成する各被検出画像から人物の顔を、顔の同定処理を行いながら検出する顔検出手段と、
   前記被検出画像ごとに、当該被検出画像より検出される複数の顔の中から優先顔を選択する選択処理手段と、
   前記優先顔が現れる顔領域内の画像データに基づいて前記動画像の取得条件を調整する調整手段と、を備えた撮像装置において、
   前記選択処理手段は、
   前記被検出画像ごとに、当該被検出画像より検出される複数の顔の中から所定個数以下の顔を所定の第１優先基準に基づいて選択して選択した顔を含む顔グループを設定する顔グループ設定手段と、
   前記被検出画像ごとに、当該被検出画像に対して設定された顔グループの中から所定の第２優先基準に基づいて優先顔を選択して設定する優先顔検出手段と、を備え、
   前記撮像素子から第１の被検出画像が得られた後に第２の被検出画像が得られるとした場合、
   前記顔グループ設定手段は、第１の被検出画像に対して設定される顔グループに存在しない顔が、第２の被検出画像に対して設定される顔グループに含まれることを、許可するか否かを判断する変更制御手段を備えて、その判断結果に従って各被検出画像に対する顔グループの設定を行い、
   前記変更制御手段は、予め規定された変更許可条件が充足される場合にのみ、第１の被検出画像に対して設定される顔グループに存在しない顔が、第２の被検出画像に対して設定される顔グループに含まれることを、許可する
   ことを特徴とする撮像装置。
8. 前記顔グループ設定手段は、前記被検出画像ごとに、当該被検出画像より検出される複数の顔の中から所定個数以下の顔を前記第１優先基準に基づいて選択して選択した顔を含む暫定顔グループを設定する暫定顔グループ設定手段を備え、
   前記変更許可条件の充足又は不充足の判断及び該判断に基づく着目被検出画像に対する顔グループの設定は、前記着目被検出画像の暫定顔グループ及び前記着目被検出画像よりも過去に得られた被検出画像の暫定顔グループに基づいて実行される
   ことを特徴とする請求項７に記載の撮像装置。
9. 前記調整手段は、
   前記被検出画像ごとに当該被検出画像の優先顔が表れる顔領域内の画像データから評価値を導出して、順次得られる前記評価値に基づいて前記動画像の取得条件を調整し、
   異なる被検出画像間で優先顔が第１の優先顔から第２の優先顔に変更されたとき、その変更後に得られる複数の被検出画像に対しては、第１及び第２の優先顔の双方における顔領域内の画像データから、前記取得条件の調整に用いる評価値を導出する
   ことを特徴とする請求項１〜請求項８の何れかに記載の撮像装置。

Images