JP2010141849A - 主顔選択装置、その制御方法、撮像装置及びプログラム - Google Patents

Abstract

【課題】逐次撮像された撮像画像から顔検出が行われる際に、主顔が頻繁に切り替わることを防止し、且つ主顔とするのに好適な顔への主顔の切り替えを両立する。
【解決手段】撮像装置は、逐次撮像された撮像画像から検出された顔ごとに算出された優先度に基づいて、検出された顔の中から主顔を選択する。また、撮像装置は、直近に選択された主顔と対応する顔の優先度と、他の顔と対応する顔の優先度とを比較し、他の顔と対応する顔の優先度が主顔と対応する顔の優先度を上回る回数を、他の顔ごとにカウントしている。そして、撮像装置は、他の顔ごとの回数のうちのいずれか一の顔の回数が予め設定された閾値を越える場合に、そのいずれか一の顔に主顔を切り替える。
【選択図】図２

Description

本発明は、主顔選択装置、その制御方法、撮像装置及びプログラムに関する。

従来、被写体に自動的に焦点を合わせるＡＦ（オートフォーカス）機能や露出を自動的に決定するＡＥ（オートエクスポージャ）機能などを備える撮像装置（例えば、デジタルスチルカメラ、デジタルビデオカメラ）がある。この撮像装置には、人物の顔に合わせたＡＦやＡＥなど（以下、まとめて「ＡＦ等」と呼ぶ）をより正確に行うために、撮像した画像（以下、撮像画像と呼ぶ）から人物の顔を検出する機能を有するものがある。また、撮像画像において複数の人物の顔が検出された場合、その中から主被写体となる人物の顔（以下、「主顔」と呼ぶ）を選択する機能を備えるものもある。

上述した撮像装置では、この主顔の選択を、撮像画像に存在する人物の顔の状態に基づいて行っていた。ここでいう人物の顔の状態とは、例えば、撮像画像における顔の位置、顔の大きさなどを表すパラメータを意味する。

しかしながら、ある特定の時刻における人物の顔の状態だけでは、僅かな状態の変化によって主顔が頻繁に入れ替わることが発生する。このため、撮像画像から主顔を選択する際に、撮像画像に存在する人物の顔の状態を尊重しつつも、極端に頻繁に主顔が入れ替わることを抑制する技術が提案されている（特許文献１、２）。

その具体的な構成を以下に説明する。図４は、撮像画像に存在する人物の顔情報の一例を示す図である。複数の顔が検出された場合には、それぞれの顔に独立して顔情報が求められる。

顔情報には、撮像画像の中心座標（ｃｅｎｔｅｒ＿ｘ，ｃｅｎｔｅｒ＿ｙ）から検出された顔（Ｆａｃｅ１）の中心座標（ｘ，ｙ）までの距離がある。また、顔を正方形とした場合の一辺の長さを示す顔サイズ（ｓｉｚｅ１）、検出された顔が人物の顔である確からしさを示す信頼度値などもある。これらの顔情報は、公知の顔検出技術を用いて撮像画像から取得される。

例えば、顔サイズは、顔の大部分が肌色であることを利用して、所定のサイズの正方形に含まれる肌色領域の割合が所定の値となるようなサイズとすることができる。また、信頼度は、瞳の色が黒であることを利用して、目が２つあるか否か、２つの目の距離はどの程度であるか、２つの目の間に鼻が存在するか否かなどに基づいて決定される。ここで、信頼度は、１乃至１０の１０段階で表現され、１が人物の顔である確率が最も高いことを示すものとする。

まず、検出された顔の信頼度と、図５に示す信頼度−重み特性グラフを用いて、第１の重みを算出する。図５は、入力（ｘ軸）を検出された顔の信頼度、出力（ｙ軸）を第１の重みとしたグラフである。信頼度が１から３までは第１の重みを１とし、信頼度５において第１の重みが０となるように信頼度３から５までの重みを直線で結び、信頼度５以上の場合は第１の重みが０としている。

次に、検出された顔のサイズと、図６（ａ）に示す顔サイズ−重み特性グラフを用いて、第２の重みを算出する。図６（ａ）は、入力（ｘ軸）を検出された顔サイズ、出力（ｙ軸）を第２の重みとしたグラフである。例えば、顔サイズが０ピクセルの時に重みを０、顔サイズが２０ピクセルの時に重みが０．２となるように顔サイズ０ピクセルから２０ピクセルまでを直線で結ぶ。更に、顔サイズが３０ピクセルの時に重みが１となるように顔サイズ２０ピクセルから３０ピクセルまでを直線で結び、顔サイズ３０ピクセル以上では重みを１．０とする。

この場合、顔Ｆ１のサイズＷ１が２０ピクセル以下の場合は、最大でも重みが０．２までである。しかし、顔Ｆ２のサイズＷ２が２０ピクセルから３０ピクセルである場合は、重みが０．２から１．０まで変化することとなる。すなわち、主顔といえるに相応しい顔サイズである２０ピクセルを境に急激に重みの値が変化し、主顔に相応しい顔Ｆ２がより大きな重み値を得る。

さらに、図６（ｂ）に示すように、検出された顔Ｆ１、Ｆ２の中心座標値と撮像画像の中心Ｏの中心座標値との距離情報ｄｉｓｔを算出する。そして、算出された距離情報ｄｉｓｔと図６（ｂ）に示す距離−重み特性グラフを用いて、第３の重みを算出する。例えば、顔検出用の撮像画像のサイズが３２０ピクセル×２４０ピクセルとして、中心からの距離が１０ピクセルまでは重みを１．０とする。また、距離８０ピクセルになると重みが０になるよう距離１０ピクセルから８０ピクセルまでを直線で結び、距離８０ピクセル以上では重みを０とする。

この場合、顔Ｆ１の中心からの距離が１０ピクセル程度である場合は、重みが１．０となる。しかし、顔Ｆ２の中心からの距離が１０ピクセル以上である場合は重みが１．０未満となり、８０ピクセル以上では重みが０となる。すなわち、中心からの距離が近く、主顔といえるに相応しい顔Ｆ１が大きな重み値を得ることとなる。

これら第１から第３の重み付けを乗算した結果、最も大きな値となった顔が、そのフレームにおいて、最も主顔らしい顔であると判定することができる。

しかしながら、フレーム間における人物の構図に大きな差がない場合には、人の位置が少しずれたり人の顔の信頼度が少し変化することによって、フレーム毎に最も主顔らしいと判定された顔が入れ替わることが予想される。このような場合は、頻繁に主顔が切り替えるられてしまうため、かえって見苦しくなってしまう。そのため、一度、主顔が選択されたのであれば、不用意に主顔が入れ替わらないようにする必要があると考えられる。

具体的には、前回の顔検出時に主顔として選択された顔の座標を読み出し、この座標と、新たに検出されたそれぞれの顔との距離を、例えば三平方の定理を利用して求める。そして、その距離がもっとも近い顔に重み１．４を、それ以外の顔に重み１．０を第４の重みとして与える。

算出した第１から第３の乗算結果に加えて、第４の重みを乗算し、それぞれの顔の最終重みを算出し、その算出した最終重みが最も大きい顔を、そのタイミングにおける主顔として確定（選択）する。これにより、主顔以外の顔が、主顔よりも顔の信頼度、サイズ、位置による重み付けの乗算値が高い場合であっても、前回の顔検出時に主顔として選択された顔から距離が離れていれば、その顔が新たな主顔として選択される可能性が低くなる。よって、主顔の切り替わりに制限がかかることになり、頻繁に主顔が切り替わることを抑制することができる。
特開２００８−００５４３８号公報 特開２００８―２０５６５０号公報

しかしながら、上述した方法であっても以下に示す問題が発生しうる。図７は、初めに主顔Ｂが検出されている状態から新たに顔Ａを検出したときの主顔判定動作を例示する図である。この主顔判定では、顔の位置、顔のサイズ、以前の主顔との距離から求めた３つの重みを乗算（或いは加算）することによって最終重み値を決め、その値に従って次の主顔を決定しているものとする。

図７の例１に示すように、例えば、主被写体である主顔Ｂよりも撮像装置に近い位置において通りがかりの人の顔Ａが撮像画像に入ってしまった場合は、顔Ａの方が主顔Ｂよりも極端にサイズが大きくなる。したがって、前述した第４の重みを考慮したとしても、主顔Ｂよりも顔Ａの方が最終重み値が大きくなり、直ちに主顔が顔Ａに切り替わってしまう。ここで、顔Ａの重み値は、６０（％）×１００（％）×１．０（第４の重み）／１００＝６０（％）である。同様に、主顔Ｂの重み値は、１００（％）×４０（％）×１．４（第４の重み）／１００＝５６（％）である。

また、図７の例２に示すように、ユーザが望む主被写体は後から検出された顔Ａであるにも関わらず先に主顔Ｂが認識されてしまった場合では、顔サイズやフレーム間の位置の差が少ないと、顔Ａの最終重み値が主顔Ｂの重み値を上回ることができない。この場合は、いつまでも主顔Ｂが主被写体として選択されたままになってしまい、ユーザが望む顔Ａが主顔として選択されないという問題があった。ここで、顔Ａの重み値は、１００（％）×４０（％）×１．０（第４の重み）／１００＝４０％である。同様に、主顔Ｂの重み値は、９０（％）×４０（％）×１．４（第４の重み）／１００＝５０．４≒５０（％）である。

このように、逐次撮像された撮像画像の中央の人物の顔が主顔となることは、ユーザにとって納得できる。しかしながら、それが一瞬横切っただけの顔であり、突発的に重み値が大きくなった顔に主顔が移り、主顔が頻繁に変わることはユーザが望むことではない。一方、撮像画像の中央にない主顔が、フレーム間で動かないがためにそのまま維持されてしまうことも、ユーザが望むことではない。このような、主顔の選択は、ユーザにとって納得できるものではなく、著しい使用感の低下につながるものであった。すなわち、従来技術では、逐次撮像された撮像画像から間欠的に顔検出が行われる際に、主顔が頻繁に切り替わることを防ぎ、且つ既に検出されている主顔よりもより主顔とするのに好適な顔へ主顔を切り替えることを両立させることはできなかった。

本発明は、このような従来技術の課題を解決することを目的としてなされたものである。本発明の目的は、逐次撮像された撮像画像から顔検出が行われる際に、主顔が頻繁に切り替わることを防止し、且つ主顔とするのに好適な顔への主顔の切り替えを両立することを可能とする技術の提供である。

上記目的は、撮像手段により逐次撮像された撮像画像から人物の顔を時系列的に検出するとともに、直近に検出された顔と対応する顔を検出する顔検出手段と、前記顔検出手段により時系列的に検出された顔ごとに、前記検出された顔の大きさ及び前記撮像画像における位置の少なくとも一方に基づいて、当該検出された顔を主顔として選択する優先度を算出する算出手段と、前記検出された顔ごとに算出された優先度に基づいて、当該検出された顔の中から主顔を選択する主顔選択手段と、直近に選択された主顔と対応する顔の優先度と、他の顔と対応する顔の優先度とを比較し、前記他の顔と対応する顔の優先度が前記主顔と対応する顔の優先度を上回る回数を、前記他の顔ごとにカウントする計数手段と、を備え、前記主顔選択手段が、前記他の顔ごとの回数のうちのいずれか一の顔の回数が予め設定された閾値を越える場合に、前記直近に選択された主顔から前記いずれか一の顔に主顔を切り替えることを特徴とする本発明による主顔選択装置によって達成される。

また、上記目的は、主顔選択装置の制御方法であって、撮像手段により逐次撮像された撮像画像から人物の顔を時系列的に検出するとともに、直近に検出された顔と対応する顔を検出する顔検出工程と、前記顔検出工程により時系列的に検出された顔ごとに、前記検出された顔の大きさ及び前記撮像画像における位置の少なくとも一方に基づいて、当該検出された顔を主顔として選択する優先度を算出する算出工程と、前記検出された顔ごとに算出された優先度に基づいて、当該検出された顔の中から主顔を選択する主顔選択工程と、直近に選択された主顔と対応する顔の優先度と、他の顔と対応する顔の優先度とを比較し、前記他の顔と対応する顔の優先度が前記主顔と対応する顔の優先度を上回る回数を、前記他の顔ごとにカウントする計数工程と、を含み、前記主顔選択工程が、前記他の顔ごとの回数のうちのいずれか一の顔の回数が予め設定された閾値を越える場合に、前記直近に選択された主顔から前記いずれか一の顔に主顔を切り替えることを特徴とする本発明による主顔選択装置の制御方法によっても達成される。

本発明によれば、逐次撮像された撮像画像から顔検出が行われる際に、主顔が頻繁に切り替わることを防止し、且つ主顔とするのに好適な顔への主顔の切り替えを両立することができる。

以下、この発明の実施の形態について図を参照して説明するが、この発明は以下の実施の形態に限定されない。また、この発明の実施の形態は発明の最も好ましい形態を示すものであり、発明の範囲を限定するものではない。

図１は、本発明の実施形態に係る撮像装置１（ビデオカメラ）の構成を示している。なお、本実施形態では主顔選択装置を有する撮像装置１としてビデオカメラを例示して説明するが、本発明は、デジタルスチルカメラ等の他の撮像装置にも適用することができる。

図１に示すように、第１固定レンズ１０１及び第２固定レンズ１０４は、光軸方向に駆動することのない固定されたレンズである。変倍レンズ１０２は、ズーム駆動部１１０により光軸方向に移動して変倍を行うレンズである。フォーカスコンペレンズ１０５は、フォーカシング駆動部１１１により光軸方向に移動することで、変倍に伴う焦点面の移動を補正する機能と、フォーカシングの機能と実現するレンズである。撮像装置１では、第１固定レンズ１０１、変倍レンズ１０２、絞り１０３、第２固定レンズ１０４及びフォーカスレンズ１０５により、撮像素子１０６に被写体像を結像する撮像光学系が構成される。

撮像素子１０６は、ＣＣＤセンサやＣＭＯＳイメージセンサにより構成され、撮像光学系により結像された被写体像を光電変換により画像信号に変換して出力する。ＣＤＳ／ＡＧＣ部１０７は、撮像素子１０６の出力をサンプリングし、ゲイン調整する。なお、ＣＤＳはCorrelated Double Sampling（相関二重サンプリング）の略語であり、ＡＧＣはAutomatic Gain Control（自動利得制御）の略語である。

カメラ信号処理部１０８は、ＣＤＳ／ＡＧＣ部１０７からの出力信号に対して各種の画像処理を施し、映像信号を生成する。モニタ１０９は、ＬＣＤ等により構成され、カメラ信号処理部１０８からの映像信号を表示する。記録部１１５は、制御部１１４の制御の下でカメラ信号処理部１０８からの映像信号を磁気テープ、光ディスク、半導体メモリ等の記録媒体（図示しない）に記録する。

ズーム駆動部１１０は制御部１１４の制御の下で変倍レンズ１０２を移動させ、フォーカシング駆動部１１１は制御部１１４の制御の下でフォーカスレンズ１０５を移動させる。ズーム駆動部１１０及びフォーカシング駆動部１１１は、ステッピングモータ、ＤＣモータ、振動型モータ及びボイスコイルモータ等のアクチュエータにより構成される。

ＡＦゲート１１２は、制御部１１４の制御の下、ＣＤＳ／ＡＧＣ部１０７から出力される撮像素子１０６の全画素の出力信号のうち、焦点検出に用いられる領域の信号のみを通す。ＡＦ信号処理部１１３は、ＡＦゲート１１２を通過した信号から高周波成分や輝度成分（ＡＦゲート１１２を通過したい信号の輝度レベルの最大値と最小値の差分）等を抽出してＡＦ評価値信号を生成する。

ＡＦ信号処理部１１３により生成されたＡＦ評価値信号は制御部１１４に出力される。ＡＦ評価値信号は、撮像素子１０６からの出力信号に基づいて生成される映像の鮮鋭度（コントラスト状態）を表すものであるが、鮮鋭度は撮像光学系の焦点状態によって変化するので、結果的に撮像光学系の焦点状態を表す信号となる。

制御部１１４は、いわゆるマイクロコントローラ（又はマイクロコンピュータ）であり、撮像装置１全体の動作の制御を司る。例えば、制御部１１４は、フォーカシング駆動部１１１を制御してフォーカスレンズ１０５を移動させるフォーカス制御を行う。このフォーカス制御として、制御部１１４は、ＴＶ−ＡＦ方式でのフォーカス制御（以下、単にＴＶ−ＡＦという）を行う。また、制御部１１４は、記録部１１５を制御して、カメラ信号処理部１０８からの映像信号を各種フォーマットに合わせて記録媒体に記録させてもよい。

顔検出部１１６は、カメラ信号処理部１０８からの映像信号に対して公知の顔検出処理を施し、撮像素子１０６の撮像画像内に含まれる人物の顔領域を検出する。なお、公知の顔検出処理としては、例えば、画像データで表される各画素の階調色から、肌色領域を抽出し、予め用意する顔の輪郭プレートとのマッチング度で顔を検出する方法がある。また、周知のパターン認識技術を用いて、目、鼻、口等の顔の特徴点を抽出することで顔検出を行う方法等も開示されている。本発明は、顔検出処理の手法については、上述した手法に限るものではなく、いずれの手法でも良い。

顔検出部１１６は、顔検出処理による検出結果を制御部１１４に送信する。制御部１１４は、顔検出部１１６の検出結果に基づき、撮像画像内の顔領域を含む位置に焦点検出に用いられる領域を追加するようにＡＦゲート１１２を制御する。具体的には、制御部１１４は、焦点検出に用いられる領域を示す座標をＡＦゲート１１２に通知する。ＡＦゲート１１２は、制御部１１４より通知された座標の信号のみをＡＦ信号処理部１１３へ通す。

次に、制御部１１４で行われる主顔判定制御について、図２を参照して説明する。この主顔判定制御は、制御部１１４内のメモリ（図示しない）に格納されたコンピュータプログラムに従って実行される。また、この主顔判定制御は、撮像素子１０６において所定のフレームレートで逐次撮像された撮像画像について時系列的に順次行われる。なお、主顔判定制御が行われる間隔は、顔検出部１１６の処理能力にもよるが、数フレームに一回の割合程度であってよい。

また、制御部１１４では、主顔判定制御により決定された主顔位置に基づいて焦点検出に用いられる領域を設定し、その領域でＴＶ−ＡＦ処理を行う。すなわち、制御部１１４は、主顔への合焦を行う制御手段である。なお、所定の領域でＴＶ−ＡＦ処理を行うことについては、既知の技術であるので本説明では省略する。

図２に示すように、制御部１１４は、Ｓ２０１で処理が開始されると、Ｓ２０２で現在の撮像画像から顔検出した結果を顔検出部１１６から取り込む。なお、制御部１１４は、顔検出部１１６から取り込んだ顔検出の結果を一時的に記憶するバッファを備えてる。このバッファには、顔検出部１１６から取り込んだ顔検出の結果について、少なくとも現在の分と前回の分とを記憶する記憶領域が確保されている。

次いで、制御部１１４は、Ｓ２０３において現在の撮像画像から検出したそれぞれの顔に対して、その位置とサイズから、バッファに記憶された前回の撮像画像から検出した顔とのマッチングを行う。このマッチング結果に基づいて、制御部１１４は、前回と現在の撮像画像において、同一の人物の顔を検出していると思われる顔同士の関連付けを行い、直近に検出された顔と対応する顔を検出する。これにより、現在検出された顔のうち、前回の撮像画像で主顔だった顔を特定することができる。

ここで、顔検出部１１６で検出されたそれぞれの顔には、後述するカウンタ情報（以下、単にカウンタ）が付与されている。具体的には、このカウンタは、上述したバッファに確保された所定の記憶領域に、Ｓ２０３において検出したそれぞれの顔に対応付けて記憶される。そして、Ｓ２０３において同一の人物であることが判別できれば、前回に検出した顔に対応付けて記憶されたカウンタがそのまま引き継がれる。

このカウンタは、顔検出位置を一画面に表示できる数だけ用意（バッファに確保）されている。例えば、一度に３０人分の顔検出結果を示すことができるＵＩ（ユーザインタフェイス）であれば、このカウンタも３０個用意されることになる。なお、それまで同一人物として検出し続けれれていた顔がＳ２０３において検出できなくなった場合は、その人物に対するカウンタが解除される。反対に、今まで検出されていなかった新たな人物の顔がＳ２０３において検出された場合は、その新たな人物の顔に対して新規（値が０）のカウンタが関連付けられ、０から数え始めることとなる。

次いで、制御部１１４は、Ｓ２０４において、現在の撮像画像における主顔判定の優先度を検出されたそれぞれの顔について算出する。それぞれの顔の優先度の算出では、図６（ｂ）を参照して説明したように、画面の中央に近いほど優先度の重み付けが高くなり、画面の周辺に近いほど優先度の重み付けが低くなるように設定されている。また、図６（ａ）を参照して説明したように、顔サイズが大きいほど重み付けが高くなり、顔サイズが小さいほど重み付けが低くなるように設定されている。Ｓ２０４では、これら画面内における顔の位置に応じて重み付けされた値と、顔サイズに応じて重み付けされた値とを乗算（あるいは加算）した結果、値が大きいものから優先度が高い顔と判定する。

なお、上述した優先度は、検出された顔の大きさ及びその顔の撮像画像における位置の少なくとも一方に基づいて算出すればよい。例えば、検出された顔の大きさのみに基づいて優先度を算出する場合は、画面内における顔の位置に応じて重み付けされた値を１として、顔サイズに応じて重み付けされた値を乗算（あるいは加算）すればよい。

次いで、制御部１１４は、Ｓ２０５において、Ｓ２０３のマッチング結果に基づいて、前回の顔検出時に（直近に）主顔と判定された人物と同一人物であるとみなせる顔が、現在の撮像画像から検出された顔の中に存在するか否かを判定する。この判定において、現在の撮像画像から検出された顔の中に存在する場合、制御部１１４はＳ２０６へ処理を進める。また、前回の顔検出時に主顔と判定された人物の顔が現在の撮像画像から消えた際に、制御部１１４はＳ２１０へ処理を進める。

Ｓ２０６において、制御部１１４は、前回の顔検出時に主顔であると判定された顔の優先度と、それ以外の顔それぞれの優先度とを比較する。この比較により、制御部１１４は、主顔より優先度が高い場合にはその顔に関連付けられたカウンタ値（優先度を上回る回数）を加算し、主顔より優先度が下回る場合にはその顔に関連付けられたカウンタ値を減算する。すなわち、制御部１１４は、主顔以外の他の顔の優先度が主顔の優先度を上回る回数を、他の顔ごとにカウントする計数手段である。

次いで、制御部１１４は、Ｓ２０７において、関連付けられたカウンタ値が予め設定された所定値以上（又は閾値を越える）である顔があるか否かを判定する。カウンタ値が所定値以上である顔がある場合、制御部１１４は、Ｓ２０８へ処理を進める。Ｓ２０８において、制御部１１４は、カウンタ値が所定値以上である顔を新たに主顔とし、全ての顔のカウンタ値をクリアしてＳ２０９へ処理を進め、主顔判定に関する処理を終了する。また、カウンタ値が所定値以上である顔がない場合、制御部１１４は、そのままＳ２０９へ処理を進めて主顔判定に関する処理を終了する。なお、上述した所定値（又は閾値）は、主顔判定制御が行われる間隔などを参考にして予めメモリなどに設定されているものとする。

ここで、カウンタ値は、それぞれの顔が、その時点で主顔と判定されている顔よりも優先度が高い状況の頻度を示すものであって、どの程度優先度が高いか低いかを示すものではない。ここで、図７の例１に示すように、それまでの主顔Ｂに対して、十分に優先度の高い顔Ａが検出された場合を例示する（顔Ａ：６０％（位置）＋１００％（大きさ）＝１６０％、顔Ｂ：１００％（位置）＋４０％（大きさ）＝１４０％）。この場合、１回の検出結果に対しては、カウントは１しか加算されない。この顔Ａが通りすがりの人物の顔であって、すぐさま顔Ｂより小さくなったり、撮像画像から消えたりすれば、この顔Ａのカウント値が所定値に達するようなことはなく、顔Ａに主顔が移ることはない。

反対に、図７の例２に示すように、それまでの主顔Ｂに対してわずかに優先度の高い顔Ａが検出された場合を例示する（顔Ａ：１００％（位置）＋４０％（大きさ）＝１４０％、顔Ｂ：９０％（位置）＋４０％（大きさ）＝１３０％）。この場合でも１回の検出結果に対しては、カウントは１しか加算されない。しかしながら、顔Ａが画面中央付近に高い頻度で存在することによって、顔Ａのカウント値が所定値に達するため、主顔が顔Ａに移行することになる。

すなわち、各顔に関連付けられたカウンタ値は、すでに検出されている主顔に対して、各顔の方が主顔らしい状態であったことの頻度を示すものである。したがって、このカウンタ値が大きい場合は、その顔の方がより主顔として相応しいということになる。

また、Ｓ２０８において主顔が切り替わるときに全ての顔についてのカウンタ値をクリアするのは、主顔が切り替わった直後に他の顔のカウンタ値が加算されることで、直ぐに他の顔に主顔が切り替わってしまうことを防ぐためである。これにより、主顔の切り替わりは必ず一定間隔開いて（最低でもＳ２０１〜Ｓ２０９の処理回数が所定値を上回る）行われることとなる。なお、ごく希ではあるが、複数の顔のカウンタ値が同時に所定値を上回った場合は、現在の撮像画像の中で優先度の順位が一番高い顔を新たな主顔とする。

Ｓ２１０では、制御部１１４は、現在の撮像画像で検出した顔の中で、もっとも優先度が高い顔を新たに主顔とし、全ての顔のカウンタ値をクリア（リセット）してＳ２０９へ処理を進め、主顔判定に関する処理を終了する。

ここで、本発明を適用した例を図３に示す。図３に示す例は、図７と同様に主顔Ｂの他に顔Ａが増えていく場合であり、顔の位置や大きさの関係は図７と同じである。図３に示すように、本発明を適用することにより、どちらも顔Ａの優先度が主顔Ｂより高いので、主顔判定の処理を繰り返すことで顔Ａのカウンタ値が加算されることとなる。そして、顔Ａのカウンタ値が所定値を上回ったこところで、顔Ａが新たな主顔となる。したがって、従来は図７に例示したとおり主顔が直ぐに替わってしまったり、優先度がわずかに違う程度では主顔Ｂからの入れ替りが生じなかったものが、図３に示すように安定して顔Ａを主顔にすることが可能となる。

以上のように、同一の顔が、所定回数、現在の主顔より優先度が高い場合においてその顔を主顔に決定することで、撮像画像に存在する被写体の状態の変化を尊重しつつ、極端に頻繁に主顔が入れ替わることを抑制することができる。また、優先度は、逐次撮像された撮像画像において検出された顔サイズや顔位置に基づいて算出されるものであり、過去の顔サイズや顔位置がその算出に影響することがない。したがって、逐次撮像された撮像画像の複数で、同一の顔が現在の主顔より優先度が高く、ユーザから見て主顔が入れ替わるべき場合には、的確に主顔を入れ替えることが可能となる。

また、撮像装置１では、制御部１１４の制御の下、上述した主顔判定の処理の後、主顔と判定された顔へＴＶ−ＡＦで合焦するようにフォーカスレンズ１０５を制御することで、主顔への合焦を行うことができる。同様に、撮像装置１では、制御部１１４の制御の下で駆動する絞り駆動部（図示しない）により絞り１０３の開口具合を調整することで、主顔判定の処理の後に主顔と判定された顔への露出調整を行ってもよい。

なお、上述した実施の形態における記述は、一例を示すものであり、これに限定するものではない。上述した実施の形態における構成及び動作に関しては、適宜変更が可能である。

（他の実施形態）
上述の実施形態は、システム或は装置のコンピュータ（或いはＣＰＵ、ＭＰＵ等）によりソフトウェア的に実現することも可能である。従って、上述の実施形態をコンピュータで実現するために、該コンピュータに供給されるコンピュータプログラム自体も本発明を実現するものである。つまり、上述の実施形態の機能を実現するためのコンピュータプログラム自体も本発明の一つである。

なお、上述の実施形態を実現するためのコンピュータプログラムは、コンピュータで読み取り可能であれば、どのような形態であってもよい。例えば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等で構成することができるが、これらに限るものではない。上述の実施形態を実現するためのコンピュータプログラムは、記憶媒体又は有線／無線通信によりコンピュータに供給される。プログラムを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、磁気テープ等の磁気記憶媒体、ＭＯ、ＣＤ、ＤＶＤ等の光／光磁気記憶媒体、不揮発性の半導体メモリなどがある。

有線／無線通信を用いたコンピュータプログラムの供給方法としては、コンピュータネットワーク上のサーバを利用する方法がある。この場合、本発明を形成するコンピュータプログラムとなりうるデータファイル（プログラムファイル）をサーバに記憶しておく。プログラムファイルとしては、実行形式のものであっても、ソースコードであっても良い。そして、このサーバにアクセスしたクライアントコンピュータに、プログラムファイルをダウンロードすることによって供給する。この場合、プログラムファイルを複数のセグメントファイルに分割し、セグメントファイルを異なるサーバに分散して配置することも可能である。つまり、上述の実施形態を実現するためのプログラムファイルをクライアントコンピュータに提供するサーバ装置も本発明の一つである。

また、上述の実施形態を実現するためのコンピュータプログラムを暗号化して格納した記憶媒体を配布し、所定の条件を満たしたユーザに、暗号化を解く鍵情報を供給し、ユーザの有するコンピュータへのインストールを許可してもよい。鍵情報は、例えばインターネットを介してホームページからダウンロードさせることによって供給することができる。また、上述の実施形態を実現するためのコンピュータプログラムは、すでにコンピュータ上で稼働するＯＳの機能を利用するものであってもよい。さらに、上述の実施形態を実現するためのコンピュータプログラムは、その一部をコンピュータに装着される拡張ボード等のファームウェアで構成してもよいし、拡張ボード等が備えるＣＰＵで実行するようにしてもよい。

本発明の実施形態に係る撮像装置の構成を示すブロック図である。 本実施形態に係る主被写体の選択の手順を示すフローチャートである。 本発明を適用した例を示す図である。 従来技術において、撮像画像に存在する人物の顔情報の一例を示す図である。 従来技術において、顔情報の信頼度−重み特性を示すグラフである。 （ａ）は、従来技術において、顔情報の顔サイズ−重み特性を示すグラフと顔サイズの概要を示す図であり、（ｂ）は、従来技術において、顔情報の距離情報−重み特性を示すグラフと距離情報の概要を示す図である。 従来技術において、初めに主顔が検出されている状態から新たに顔を検出した時の主顔判定動作を例示する図である。

符号の説明

１ 撮像装置
１０１ 第１固定レンズ
１０２ 変倍レンズ
１０３ 絞り
１０４ 第２固定レンズ
１０５ フォーカスレンズ
１０６ 撮像素子
１０７ ＣＤＳ／ＡＧＣ部
１０８ カメラ信号処理部
１０９ モニタ
１１０ ズーム駆動部
１１１ フォーカシング駆動部
１１２ ＡＦゲート
１１３ ＡＦ信号処理部
１１４ 制御部
１１５ 記録部
１１６ 顔検出部

Claims (8)

1. 撮像手段により逐次撮像された撮像画像から人物の顔を時系列的に検出するとともに、直近に検出された顔と対応する顔を検出する顔検出手段と、
   前記顔検出手段により時系列的に検出された顔ごとに、前記検出された顔の大きさ及び前記撮像画像における位置の少なくとも一方に基づいて、当該検出された顔を主顔として選択する優先度を算出する算出手段と、
   前記検出された顔ごとに算出された優先度に基づいて、当該検出された顔の中から主顔を選択する主顔選択手段と、
   直近に選択された主顔と対応する顔の優先度と、他の顔と対応する顔の優先度とを比較し、前記他の顔と対応する顔の優先度が前記主顔と対応する顔の優先度を上回る回数を、前記他の顔ごとにカウントする計数手段と、
   を備え、
   前記主顔選択手段が、前記他の顔ごとの回数のうちのいずれか一の顔の回数が予め設定された閾値を越える場合に、前記直近に選択された主顔から前記いずれか一の顔に主顔を切り替えることを特徴とする主顔選択装置。
2. 前記主顔選択手段が、前記顔検出手段において前記直近に選択された主顔と対応する顔が検出できなかった場合に、前記検出された顔の中から前記優先度が最も高い顔に主顔を切り替えることを特徴とする請求項１に記載の主顔選択装置。
3. 前記主顔選択手段が、前記他の顔ごとの回数のうちの複数の顔の回数が前記閾値を越える場合に、当該複数の顔の中から前記優先度が最も高い顔に主顔を切り替えることを特徴とする請求項１に記載の主顔選択装置。
4. 前記計数手段が、前記主顔選択手段により前記いずれか一の顔に主顔を切り替えた際に、前記他の顔ごとの回数をリセットすることを特徴とする請求項１乃至３のいずれか一項に記載の主顔選択装置。
5. 前記計数手段が、前記比較により前記他の顔と対応する顔の優先度が前記主顔と対応する顔の優先度を下回る場合に、当該他の顔と対応する顔についてそれまでにカウントした回数を減らすことを特徴とする請求項１乃至４のいずれか一項に記載の主顔選択装置。
6. 撮像手段と、
   請求項１乃至５のいずれか一項に記載の主顔選択装置と、
   前記主顔選択装置に基づいて選択された主顔への合焦、又は、当該主顔への露出調整を制御する制御手段と、
   を備えることを特徴とする撮像装置。
7. 主顔選択装置の制御方法であって、
   撮像手段により逐次撮像された撮像画像から人物の顔を時系列的に検出するとともに、直近に検出された顔と対応する顔を検出する顔検出工程と、
   前記顔検出工程により時系列的に検出された顔ごとに、前記検出された顔の大きさ及び前記撮像画像における位置の少なくとも一方に基づいて、当該検出された顔を主顔として選択する優先度を算出する算出工程と、
   前記検出された顔ごとに算出された優先度に基づいて、当該検出された顔の中から主顔を選択する主顔選択工程と、
   直近に選択された主顔と対応する顔の優先度と、他の顔と対応する顔の優先度とを比較し、前記他の顔と対応する顔の優先度が前記主顔と対応する顔の優先度を上回る回数を、前記他の顔ごとにカウントする計数工程と、
   を含み、
   前記主顔選択工程が、前記他の顔ごとの回数のうちのいずれか一の顔の回数が予め設定された閾値を越える場合に、前記直近に選択された主顔から前記いずれか一の顔に主顔を切り替えることを特徴とする主顔選択装置の制御方法。
8. 請求項７に記載の主顔選択装置の制御方法の各工程をコンピュータに実行させるためのプログラム。

Images