JP2008197763A - 撮影装置および方法並びにプログラム - Google Patents

Abstract

【課題】撮影装置において、画像からの顔の検出精度をより向上させる。
【解決手段】撮影装置において、撮像系６が撮影により画像を取得し、所定サイズの検出枠と画像とのパターンマッチングを行ってマッチング度を算出し、マッチング度が第１のしきい値以上である検出枠の位置の画像を真の顔、マッチング度が第１のしきい値よりも小さい第２のしきい値以上である検出枠の位置の画像を第１の顔候補として検出する。第１の顔候補のうち真の顔として検出された顔候補以外の第２の顔候補を最終的な顔候補として、顔構成部品検出部３８が、最終的な顔候補に含まれる少なくとも１つの顔構成部品の候補を顔構成部品毎に検出する。判定部３９が顔構成部品毎に検出された顔構成部品候補の数および／または位置に基づいて、最終的な顔候補が真の顔であるか否かを判定する。
【選択図】図１

Description

本発明は、撮影により画像を取得するデジタルカメラ等の撮影装置および方法並びに撮影方法をコンピュータに実行させるためのプログラムに関するものである。

デジタルカメラによる撮影において、撮影により取得した画像から例えば顔等の対象物を検出し、その対象物の検出結果に応じて画像に施す画像処理の条件を変更したり、撮影時における撮影条件を変更したりすることが行われている。また、とくに対象物を顔とした場合において、検出した顔の数をカウントしたり、検出した顔をトリミングして記録することも行われている。

このように画像から対象物を検出して種々の処理を行うためには、画像から正確に対象物を検出する必要がある。このため、対象物を正確に検出するための各種手法が提案されている。例えば、認証対象者の顔画像を撮影し、顔画像から認証対象者の顔の特徴量を抽出し、抽出した特徴量と基準の特徴量との類似度を計算し、この計算により得られる類似度をしきい値と比較して、認証対象者が本人であるか否かを認証する際に、認証対象者の利用頻度の高い時間帯か否かに応じてしきい値を変更することにより、認証対象者の利用頻度の高い時間帯における認証率を向上させる手法が提案されている（特許文献１参照）。

また、画像から顔候補を検出し、顔候補の色の分散値が小さい場合、肌色領域の占有率が大きい場合等の所定の条件を満たさない顔候補を非顔として、検出した顔候補から排除する手法も提案されている（特許文献２参照）。
特開２００２−１８３７３４号公報 特開２００５−７８３７６号公報

上記特許文献１，２に記載された手法により、顔の認証精度または顔の検出精度を向上することができるが、さらに精度を向上させることが望まれている。

本発明は上記事情に鑑みなされたものであり、画像からの顔の検出精度をより向上させることを目的とする。

人間の顔には、目、鼻および口等の顔構成部品が含まれており、このような顔構成部品の有無が、顔候補が真の顔か非顔か否かを判定する場合に有効な手がかりとなる。本発明はこの点に鑑みなされたものである。

すなわち、本発明による撮影装置は、撮影により画像を取得する撮影手段と、
所定サイズの検出枠を前記画像上において移動させ、移動した位置毎に該検出枠内の前記画像から特徴量を算出し、該特徴量とあらかじめ定められた顔特徴量とのマッチング度を算出し、該マッチング度が第１のしきい値以上である前記検出枠の位置の画像を真の顔として検出し、該マッチング度が前記第１のしきい値よりも小さい第２のしきい値以上である前記検出枠の位置の画像を第１の顔候補として検出し、前記第１の顔候補のうち前記真の顔として検出された顔候補以外の第２の顔候補を最終的な顔候補として検出する顔検出手段と、
前記最終的な顔候補について、該顔候補に含まれる少なくとも１つの顔構成部品の候補を該顔構成部品毎に検出する顔構成部品検出手段と、
前記顔構成部品毎に検出された前記顔構成部品候補の数および位置の少なくとも一方に基づいて、前記最終的な顔候補が前記真の顔であるか否かを判定する判定手段とを備えたことを特徴とするものである。

「顔構成部品」とは、顔に含まれる構成部品のことであり、具体的には両目の目頭、両目の目尻、左右の鼻の穴の脇、左右の口元および口の中央部分等を顔構成部品とすることができる。ここで、顔候補が真の顔である場合、顔構成部品候補は、顔構成部品がある位置に１つのみ検出されるわけではなく、顔構成部品の周囲にばらつく形で複数検出されることが多い。このため、本願発明においては、１つの顔構成部品について１以上の顔構成部品候補が検出されるものである。

なお、本発明による撮影装置においては、前記判定手段を、前記位置に基づいて前記最終的な顔候補が前記真の顔であるか否かを判定するに際し、前記最終的な顔候補の領域内における前記各顔構成部品候補の、対応する前記顔構成部品に対する位置的な尤度を算出し、該位置的な尤度に基づいて前記最終的な顔候補が前記真の顔であるか否かを判定する手段としてもよい。

また、本発明による撮影装置においては、前記判定手段を、前記位置に基づいて前記最終的な顔候補が前記真の顔であるか否かを判定するに際し、前記最終的な顔候補の領域内における前記各顔構成部品候補の、対応する前記顔構成部品以外の他の顔構成部品に対する位置関係の尤度を算出し、該位置関係の尤度に基づいて前記最終的な顔候補が前記真の顔であるか否かを判定する手段でとしてもよい。

また、本発明による撮影装置においては、前記判定手段を、前記位置に基づいて前記最終的な顔候補が前記真の顔であるか否かを判定するに際し、前記最終的な顔候補の領域内において前記各顔構成部品を正規化し、該正規化した前記各顔構成部品の位置に基づいて、前記最終的な顔候補が前記真の顔であるか否かを判定する手段としてもよい。

「顔候補を正規化する」とは、顔構成部品候補を顔候補の領域内における本来あるべき位置に位置せしめることである。具体的には顔候補の領域内の画像をアフィン変換して、各顔構成部品を拡大縮小、平行移動および回転することにより、各顔構成部品候補の位置を本来あるべき位置に位置せしめることができる。

本発明による撮影方法は、撮影により画像を取得し、
所定サイズの検出枠を前記画像上において移動させ、移動した位置毎に該検出枠内の前記画像から特徴量を算出し、該特徴量とあらかじめ定められた顔特徴量とのマッチング度を算出し、該マッチング度が第１のしきい値以上である前記検出枠の位置の画像を真の顔として検出し、該マッチング度が前記第１のしきい値よりも小さい第２のしきい値以上である前記検出枠の位置の画像を第１の顔候補として検出し、前記第１の顔候補のうち前記真の顔として検出された顔候補以外の第２の顔候補を最終的な顔候補として検出し、
前記最終的な顔候補について、該顔候補に含まれる少なくとも１つの顔構成部品の候補を該顔構成部品毎に検出し、
前記顔構成部品毎に検出された前記顔構成部品候補の数および位置の少なくとも一方に基づいて、前記最終的な顔候補が前記真の顔であるか否かを判定することを特徴とするものである。

なお、本発明による撮影方法をコンピュータに実行させるためのプログラムとして提供してもよい。

本発明の撮影装置および方法によれば、所定サイズの検出枠が撮影により取得された画像上において移動され、移動された位置毎に検出枠内の画像から特徴量が算出され、特徴量とあらかじめ定められた顔特徴量とのマッチング度が算出され、マッチング度が第１のしきい値以上である検出枠の位置の画像が真の顔として検出され、マッチング度が第１のしきい値よりも小さい第２のしきい値以上である検出枠の位置の画像が顔候補として検出される。さらに、顔候補のうち真の顔として検出された顔候補以外の第２の顔候補が最終的な顔候補として検出される。そして、最終的な顔候補に含まれる少なくとも１つの顔構成部品の候補が顔構成部品毎に検出され、顔構成部品毎に検出された顔構成部品候補の数および位置の少なくとも一方に基づいて、顔候補が真の顔であるか否かが判定される。

ここで、顔には、目、鼻および口等の顔構成部品が含まれており、顔候補が真の顔である場合には、１つの顔構成部品について検出される顔構成部品候補が多くなる。また、顔候補が真の顔である場合には、顔構成部品候補は対応する顔構成部品の位置に存在することとなる。したがって、顔候補に含まれる顔構成部品毎の顔構成部品候補の数および位置の少なくとも一方に基づいて顔候補が真の顔であるか否かを判定することにより、顔候補から真の顔を精度良く検出することができる。

しかしながら、顔構成部品候補の数および／または位置に基づく真の顔であるか否かの判定は演算に長時間を要するものとなる。

本発明においては、顔構成部品候補の数および位置の少なくとも一方に基づく真の顔であるか否かの判定を、顔候補のうち真の顔として検出された顔候補以外の第２の顔候補に対して行っているため、とくに画像に複数の顔が含まれる場合において、演算量が多い判定の処理を行う顔候補の数を少なくすることができ、これにより、演算量を低減しつつも精度良く顔候補から真の顔を検出することができる。

なお、各顔構成部品候補の位置が対応する顔構成部品の位置となるように各顔候補を正規化することにより、より精度良く顔候補から真の顔を検出することができる。

以下、図面を参照して本発明の実施形態について説明する。図１は本発明の第１の実施形態による撮影装置を適用したデジタルカメラの構成を示す概略ブロック図である。図１に示すように本実施形態によるデジタルカメラ１は、動作モードスイッチ、ズームレバー、上下左右ボタン、レリーズボタンおよび電源スイッチ等の操作系２と、操作系２の操作内容をＣＰＵ４０に伝えるためのインターフェース部分である操作系制御部３とを有している。

撮像系６としては、撮影レンズ１０を構成するフォーカスレンズ１０ａおよびズームレンズ１０ｂを有している。各々のレンズは、モータとモータドライバとからなるフォーカスレンズ駆動部１１およびズームレンズ駆動部１２によって光軸方向に移動可能である。フォーカスレンズ駆動部１１はＡＦ処理部３０から出力されるフォーカス駆動量データに基づいて、ズームレンズ駆動部１２はズームレバーの操作量データに基づいて、各々のレンズの移動を制御する。

また、絞り１４は、モータとモータドライバとからなる絞り駆動部１５によって駆動される。この絞り駆動部１５は、ＡＥ／ＡＷＢ処理部３１から出力される絞り値データに基づいて絞り径の調整を行う。

シャッタ１６は、メカニカルシャッタであり、モータとモータドライバとからなるシャッタ駆動部１７によって駆動される。シャッタ駆動部１７は、レリーズボタンの押下により発生する信号と、ＡＥ／ＡＷＢ処理部３１から出力されるシャッタスピードデータとに応じて、シャッタ１６の開閉の制御を行う。

光学系の後方には撮像素子であるＣＣＤ１８を有している。ＣＣＤ１８は、多数の受光素子を２次元的に配列した光電面を有しており、光学系を通過した被写体光がこの光電面に結像し、光電変換される。光電面の前方には、各画素に光を集光するためのマイクロレンズアレイと、Ｒ，Ｇ，Ｂ各色のフィルタが規則的に配列されたカラーフィルタアレイとが配置されている。ＣＣＤ１８は、ＣＣＤ制御部１９から供給される垂直転送クロックおよび水平転送クロックに同期して、画素毎に蓄積された電荷を１ラインずつシリアルなアナログ撮影信号として出力する。各画素において電荷を蓄積する時間、すなわち、露光時間は、ＣＣＤ制御部１９から与えられる電子シャッタ駆動信号によって決定される。また、ＣＣＤ１８はＣＣＤ制御部１９により、あらかじめ定められた大きさのアナログ撮像信号が得られるようにゲインが調整されている。

なお、撮影レンズ１０、絞り１４、シャッタ１６およびＣＣＤ１８が撮像系６を構成する。

ＣＣＤ１８から取り込まれたアナログ撮影信号は、アナログ信号処理部２０に入力される。アナログ信号処理部２０は、アナログ信号のノイズを除去する相関２重サンプリング回路（ＣＤＳ）と、アナログ信号のゲインを調節するオートゲインコントローラ（ＡＧＣ）と、アナログ信号をデジタル信号に変換するＡ／Ｄコンバータ（ＡＤＣ）とからなる。なお、アナログ信号処理部２０が行う処理をアナログ信号処理とする。このデジタル信号に変換された画像データは、画素毎にＲ，Ｇ，Ｂの濃度値を持つＣＣＤ−ＲＡＷデータである。

タイミングジェネレータ２１は、タイミング信号を発生させるものであり、このタイミング信号をシャッタ駆動部１７、ＣＣＤ制御部１９、およびアナログ信号処理部２０に供給することにより、レリーズボタンの操作、シャッタ１６の開閉、ＣＣＤ１８の電荷の取込み、およびアナログ信号処理部２０の処理の同期をとっている。

フラッシュ制御部２３は、撮影時にフラッシュ２４を発光させる。

画像入力コントローラ２５は、アナログ信号処理部２０から入力されたＣＣＤ−ＲＡＷデータをフレームメモリ２６に書き込む。

フレームメモリ２６は、画像データに対して後述の各種画像処理（信号処理）を行う際に使用する作業用メモリであり、例えば、一定周期のバスクロック信号に同期してデータ転送を行うＳＤＲＡＭ(Synchronous Dynamic Random Access Memory)が使用される。

表示制御部２７は、フレームメモリ２６に格納された画像データをスルー画像としてモニタ２８に表示させたり、再生モード時に記録メディア３５に保存されている画像データをモニタ２８に表示させたりするためのものである。なお、スルー画像は、撮影モードが選択されている間、所定時間間隔でＣＣＤ１８により連続して撮影される。

ＡＦ処理部３０およびＡＥ／ＡＷＢ処理部３１は、プレ画像に基づいて撮影条件を決定する。このプレ画像とは、レリーズボタンが半押しされることによって発生する半押し信号を検出したＣＰＵ４０がＣＣＤ１８にプレ撮影を実行させた結果、フレームメモリ２６に格納された画像データにより表される画像である。

ＡＦ処理部３０は、プレ画像に基づいて焦点位置を検出し、フォーカス駆動量データを出力する（ＡＦ処理）。焦点位置の検出方式としては、例えば、所望とする被写体にピントが合った状態では画像のコントラストが高くなるという特徴を利用して合焦位置を検出するパッシブ方式が考えられる。

ＡＥ／ＡＷＢ処理部３１は、プレ画像に基づいて被写体輝度を測定し、測定した被写体輝度に基づいてＩＳＯ感度、絞り値およびシャッタスピード等を決定し、ＩＳＯ感度データ、絞り値データおよびシャッタスピードデータを露出設定値として決定するとともに（ＡＥ処理）、撮影時のホワイトバランスを自動調整する（ＡＷＢ処理）。なお、露出およびホワイトバランスについては、撮影モードがマニュアルモードに設定されている場合には、デジタルカメラ１の撮影者がマニュアル操作により設定可能である。また、露出およびホワイトバランスが自動で設定された場合にも、撮影者が操作系２から指示を行うことにより、露出およびホワイトバランスをマニュアル調整することが可能である。

画像処理部３２は、本画像の画像データに対して、階調補正、シャープネス補正、色補正等の画質補正処理、ＣＣＤ−ＲＡＷデータを輝度信号であるＹデータと、青色色差信号であるＣｂデータおよび赤色色差信号であるＣｒデータとからなるＹＣデータに変換するＹＣ処理を行う。この本画像とは、レリーズボタンが全押しされることによって実行される本撮影によりＣＣＤ１８から取り込まれ、アナログ信号処理部２０、画像入力コントローラ２５経由でフレームメモリ２６に格納された画像データによる画像である。本画像の画素数の上限は、ＣＣＤ１８の画素数によって決定されるが、例えば、ファイン、ノーマル等の設定により、記録画素数を変更することができる。一方、スルー画像およびプレ画像の画像数は、本画像よりも少なく、例えば、本画像の１／１６程度の画素数で取り込まれる。

圧縮／伸長処理部３３は、画像処理部３２によって補正・変換処理が行われた本画像の画像データに対して、例えば、ＪＰＥＧ等の圧縮形式で圧縮処理を行い、画像ファイルを生成する。この画像ファイルには、Ｅｘｉｆフォーマット等に基づいて、撮影日時等の付帯情報が格納されたタグが付加される。また、圧縮／伸長処理部３３は、再生モードの場合には、記録メディア３５から圧縮された画像ファイルを読み出し、伸長処理を行う。伸長後の画像データはモニタ２８に出力され、画像データの画像が表示される。

メディア制御部３４は、記録メディア３５にアクセスして画像ファイルの書き込みと読み込みの制御を行う。

内部メモリ３６は、デジタルカメラ１において設定される各種定数、およびＣＰＵ４０が実行するプログラム等を記憶する。

顔検出部３７は、撮影により取得された画像から真の顔および顔候補を検出する。なお、画像は、スルー画像、プレ画像および本画像のいずれであってもよいが、本実施形態においてはスルー画像から真の顔および顔候補を検出するものとする。ここで、真の顔を検出する手法としては、あるサイズを有する検出枠を画像上少しずつ移動させ、移動した位置毎に検出枠内の画像から特徴量を算出し、あらかじめ定められていた顔特徴量とのマッチング度を算出し、マッチング度がしきい値Ｔｈ０以上となる検出枠の位置を真の顔として検出する手法を用いる。なお、検出枠の大きさを変更することにより異なる大きさの真の顔の検出が可能となる。ここで、この検出の処理を第１の検出処理と称する。

また、顔候補を検出する処理としては、真の顔の検出時と同様にマッチング度を算出し、マッチング度がしきい値Ｔｈ０よりも小さいしきい値Ｔｈ０′以上となる検出枠の位置を顔候補として検出する手法を用いる。なお、この検出の処理を第２の検出処理と称する。

そして上記第１の検出処理により、図２（ａ）に示すように画像Ｇ１から矩形の検出枠により囲まれる真の顔Ｆ１，Ｆ２を検出することができる。なお、図２（ａ）においては右端の顔も真の顔として検出されるべきであるが、上記しきい値Ｔｈ０を用いた第１の検出処理によっては検出されなかったものである。一方、第２の検出処理により、図２（ｂ）に示すように画像Ｇ１から矩形の検出枠により囲まれる顔候補Ｆ１〜Ｆ５を検出することができる。なお、図２においては、検出されるのは顔の候補であるため、顔が存在しない部分においても検出枠により囲まれる領域が含まれている。

さらに、顔検出部３７は、上記顔候補（第１の顔候補とする）のうち、真の顔として検出された顔候補以外の第２の顔候補を最終的な顔候補として検出する。したがって、図２に示す顔候補Ｆ１〜Ｆ５のうち、真の顔Ｆ１，Ｆ２以外の顔候補Ｆ３〜Ｆ５が最終的な顔候補として検出される。

顔構成部品検出部３８は、最終的な顔候補に含まれる複数の顔構成部品についての候補である顔構成部品候補を検出する。本実施形態においては、両目の目尻Ｋ１，Ｋ２、両目の目頭Ｋ３，Ｋ４、左右の鼻の穴の脇Ｋ５，Ｋ６、左右の口元Ｋ７，Ｋ８および口の中央部分Ｋ９の９個の顔構成部品Ｋ１〜Ｋ９についての顔構成部品候補を検出するものとする。具体的には、矩形の各顔構成部品のパターンを、処理対象の顔候補の領域内の画像上を少しずつ移動させ、移動した位置毎にマッチング度を算出し、マッチング度があらかじめ定められたしきい値Ｔｈ１以上となったパターンの位置の座標を顔構成部品候補として検出する。なお、座標は顔候補内の領域の左上隅を原点とした場合の顔候補内における座標である。

ここで、顔候補が真の顔である場合、マッチング度がしきい値Ｔｈ１以上となるパターンの位置を顔構成部品候補として検出すると、顔構成部品候補は対応する顔構成部品Ｋ１〜Ｋ９の位置において１つのみ検出されるものではなく、対応する顔構成部品Ｋ１〜Ｋ９の周囲に複数分布して検出されることが多い。このため、顔構成部品検出部３８は、各顔構成部品毎に１以上の顔構成部品候補を検出する。

ここで、顔候補に９つの顔構成部品Ｋ１〜Ｋ９のすべてが含まれている場合、図３（ａ）に示すように両目の目尻Ｋ１，Ｋ２、両目の目頭Ｋ３，Ｋ４、左右の鼻の穴の脇Ｋ５，Ｋ６、左右の口元Ｋ７，Ｋ８および口の中央部分Ｋ９の９個の顔構成部品のそれぞれに対応する顔構成部品候補が検出される。また、例えば左目の目頭について、図３（ｂ）の×印で示すように複数の顔構成部品候補が検出される。

なお、マッチング度がしきい値Ｔｈ１以上となる顔構成部品候補が検出されない場合には、対応する顔構成部品の候補は検出されなかったものとする。

判定部３９は、顔検出部３７が検出した最終的な顔候補について、顔構成部品検出部３８が検出した顔構成部品毎の顔構成部品候補の数に基づいて真の顔であるか否かを判定して、真の顔と判定された顔候補を真の顔として検出する。具体的には、すべての顔候補のうちの処理対象の顔候補について、上記９個の顔構成部品Ｋ１〜Ｋ９のそれぞれについての顔構成部品候補の総数Ｎ１〜Ｎ９を算出し、さらに総数Ｎ１〜Ｎ９の加算値であるＮｓｕｍを算出する。そして加算値Ｎｓｕｍがしきい値Ｔｈ２以上である場合に、処理対象の顔候補を真の顔であると判定し、その顔候補を真の顔として検出する。なお、加算値Ｎｓｕｍがしきい値Ｔｈ２未満の場合は処理対象の顔候補を非顔と判定する。

なお、上記９個の顔構成部品Ｋ１〜Ｋ９のそれぞれについての顔構成部品候補の総数Ｎ１〜Ｎ９を９次元空間にプロットし、９次元空間においてしきい値を定める超平面または超曲面を設定し、プロットした総数Ｎ１〜Ｎ９がしきい値を定める超平面または超曲面のいずれの側にあるかに応じて、処理対象の顔候補が真の顔であるか否かを判定するようにしてもよい。ここで、簡単のために、判定に使用する顔構成部品を左右の口元Ｋ７，Ｋ８および口の中央部分Ｋ９のみとした場合、総数Ｎ７〜Ｎ９は３次元空間にプロットされる。図４は総数Ｎ７〜Ｎ９を３次元空間にプロットした状態を示す図である。まず、総数Ｎ７〜Ｎ９が図４（ａ）に示すようにプロットされたとすると、そのプロットの位置Ｘ１（Ｎ７，Ｎ８，Ｎ９）は、しきい値を設定する超平面Ａ１よりも上側（すなわち値が大きい側）にある。したがって、図４（ａ）に示すようにプロットがなされた場合は、処理対象の顔候補を真の顔と判定する。

一方、総数Ｎ７〜Ｎ９が図４（ｂ）に示すようにプロットされたとすると、そのプロットの位置Ｘ２（Ｎ７，Ｎ８，Ｎ９）は、しきい値を設定する超平面Ａ１よりも下側（すなわち値が小さい側）にある。したがって、図４（ｂ）に示すようにプロットがなされた場合は、処理対象の顔候補を真の顔でないと判定する。

なお、総数Ｎ１〜Ｎ９のそれぞれについてしきい値Ｔｈ３を超えるか否かを判定し、しきい値Ｔｈ３を超えた総数の数がさらにしきい値Ｔｈ４を超えたときに、処理対象の顔候補を真の顔であると判定してもよい。

ＣＰＵ４０は、操作系２およびＡＦ処理部３０等の各種処理部からの信号に応じてデジタルカメラ１の本体各部を制御する。また、ＣＰＵ４０は、スルー画像の撮影中に、各スルー画像から真の顔を検出するように、顔検出部３７、顔構成部品検出部３８および判定部３９を制御する。なお、判定部３９が真の顔を検出すると、ＣＰＵ４０は、図５に示すように、顔検出部３７が検出した真の顔および判定部３９が検出した真の顔を矩形の領域Ａ１〜Ａ３で囲んでスルー画像を表示するように表示制御部２７に指示を行う。なお、矩形の領域は顔検出部３７が検出した顔候補の検出枠に相当するものである。

データバス４１は、各種処理部、フレームメモリ２６およびＣＰＵ４０等に接続されており、デジタル画像データおよび各種指示等のやり取りを行う。

次いで、第１の実施形態において行われる処理について説明する。図６は第１の実施形態において行われる処理を示すフローチャートである。デジタルカメラ１の動作モードが撮影モードに設定されることによりＣＰＵ４０が処理を開始し、スルー画像の撮影を行う（ステップＳＴ１）。続いて、顔検出部３７がスルー画像に対して第１の検出処理を施すとともに（ステップＳＴ２）、第２の検出処理を施して最終的な顔候補を検出する（ステップＳＴ３）。

次いで、顔構成部品検出部３８が、ｉ番目の最終的な顔候補を処理対象の顔候補として、処理対象の顔候補から顔構成部品毎の顔構成部品候補を検出する（ステップＳＴ４）。なお、ｉの初期値は１である。また、処理の順序は、例えばスルー画像上における向かって左側に存在する顔候補から右側に向かって順に行うようにすればよい。

そして、判定部３９が、顔構成部品検出部３８が検出した顔構成部品毎の顔構成部品候補の総数の加算値Ｎｓｕｍがしきい値Ｔｈ２以上であるか否かを判定し（ステップＳＴ５）、ステップＳＴ５が肯定されると、処理対象の顔候補を真の顔と判定して検出する（ステップＳＴ６）。一方、ステップＳＴ５が否定されると、処理対象の顔候補を非顔と判定する（ステップＳＴ７）。

ステップＳＴ６，７に続いて、ＣＰＵ４０がすべての顔候補について判定部３９が判定を終了したか否かを判定し（ステップＳＴ８）、ステップＳＴ８が否定されると、ｉに１を加算し（ステップＳＴ９）、ステップＳＴ４に戻る。ステップＳＴ８が肯定されると、顔検出部３７が検出した真の顔および判定部３９が検出した真の顔を矩形領域で囲んだスルー画像をモニタ２８に表示し（ステップＳＴ１０）、ステップＳＴ１にリターンする。

このように、第１の実施形態においては、検出された顔構成部品候補の数に基づいて、最終的な顔候補から真の顔を検出するようにしたものである。ここで、顔には、目、鼻および口等の顔構成部品が含まれており、最終的な顔候補が真の顔である場合には、１つの顔構成部品について検出される顔構成部品候補が多くなる。したがって、最終的な顔候補に含まれる顔構成部品毎の顔構成部品候補の数に基づいて顔候補が真の顔であるか否かを判定することにより、最終的な顔候補から真の顔を精度良く検出することができる。

しかしながら、顔構成部品候補の数に基づく真の顔であるか否かの判定は演算に長時間を要するものとなる。第１の実施形態においては、顔構成部品候補の数に基づく真の顔であるか否かの判定を、顔検出部３７が第２の検出処理により検出した顔候補のうち、第１の検出処理により検出した真の顔として検出された顔候補以外の最終的な顔候補に対して行っているため、とくに画像に複数の顔が含まれる場合において、演算量が多い判定の処理を行う顔候補の数を少なくすることができ、これにより、演算量を低減しつつも精度良く顔候補から真の顔を検出することができる。

なお、上記第１の実施形態においては、両目の目尻Ｋ１，Ｋ２、両目の目頭Ｋ３，Ｋ４、左右の鼻の穴の脇Ｋ５，Ｋ６、左右の口元Ｋ７，Ｋ８および口の中央部分Ｋ９の９個の顔構成部品を検出しているが、これらをすべて検出する必要はなく、これらの顔構成部品のうちの１以上の顔構成部品の候補を検出するようにしてもよい。この場合、総数の加算値Ｎｓｕｍと比較するしきい値Ｔｈ２は、検出する顔構成部品の数に応じて変更すればよい。なお、検出する顔構成部品が１つのみの場合は、両目の目尻および両目の目頭のうちのいずれか１つを検出することが好ましい。また、検出する顔構成部品は、両目の目尻、両目の目頭、左右の鼻の穴の脇、左右の口元および口の中央部分に限定されるものではなく、眉毛、両目の黒目部分等、顔を構成する部品であれば、任意の構成部品を用いることができる。

次いで、本発明の第２の実施形態について説明する。なお、第２の実施形態においては、判定部３９が行う処理が第１の実施形態と異なるのみであるため、構成についての詳細な説明はここでは省略する。

第２の実施形態においては、判定部（第１の実施形態と異なるため３９Ａとする）が、顔構成部品検出部３８が検出した顔構成部品毎の顔構成部品候補の位置的な尤度を算出し、位置的な尤度に基づいて最終的な顔候補が真の顔であるか否かを判定する。ここで、位置的な尤度とは、顔候補の領域内において、検出された顔構成部品候補がどの程度対応する本来あるべき顔構成部品の位置に位置しているかを表す確率である。

ここで、本実施形態においては、９種類の顔構成部品について各顔構成部品の顔候補内における存在確率を表した確率分布があらかじめ求められている。

図７は顔構成部品の存在確率を表す確率分布を示す図である。図７に示す確率分布は、顔候補を検出した検出枠をあらかじめ定められた一定のサイズに正規化した場合における、検出枠内での両目の目尻Ｋ１，Ｋ２、両目の目頭Ｋ３，Ｋ４、左右の鼻の穴の脇Ｋ５，Ｋ６、左右の口元Ｋ７，Ｋ８および口の中央部分Ｋ９の９個の顔構成部品の存在確率の確率分布を表すものである。なお、図７における丸印Ｂ１〜Ｂ９は、それぞれ顔候補の両目の目尻Ｋ１，Ｋ２、両目の目頭Ｋ３，Ｋ４、左右の鼻の穴の脇Ｋ５，Ｋ６、左右の口元Ｋ７，Ｋ８および口の中央部分Ｋ９の存在確率を表す確率分布であり、図７における紙面をＸＹ平面とし、紙面に垂直な方向をＺ方向とした場合、図８の確率分布のプロファイルに示すようにＺ方向が各顔構成部品の存在確率を示すものとなる。したがって、図７における各丸印の中心に近いほど各顔構成部品の存在確率が高いものとなる。

なお、確率分布は多数の顔のサンプル画像を用いてあらかじめ求めておけばよい。

判定部３９Ａは、顔検出部３７が検出した最終的な顔候補を上記一定のサイズに正規化し、正規化した顔候補内の各顔構成部品毎の顔構成部品候補について、対応する顔構成部品の確率分布を参照して存在確率を位置的な尤度として算出する。具体的には、各顔構成部品候補について、対応する顔構成部品の存在確率を表す確率分布付近の位置を求め、その位置における存在確率を位置的な尤度として算出する。これにより、例えば左目目尻の候補１〜４が、図９に示す確率分布Ｂ１付近の位置Ｃ１〜Ｃ４にある場合には、図１０に示すように、位置Ｃ１にある左目目尻候補１の尤度０％、位置Ｃ２にある左目目尻候補２の尤度２％、位置Ｃ３にある左目目尻候補３の尤度９％、位置Ｃ４にある左目目尻候補４の尤度１７％というように、各顔構成部品候補の位置的な尤度が求められる。

さらに判定部３９Ａは、顔構成部品毎に顔構成部品候補の位置的な尤度の平均値を算出する。図１１は２つの顔候補についての顔構成部品毎の顔構成部品候補の位置的な尤度の平均値を示す図である。そして、処理対象の顔候補について、位置的な尤度の平均値がしきい値Ｔｈ５以上となる顔構成部品の数がしきい値Ｔｈ６以上であるか否かを判定し、この判定が肯定された場合に処理対象の顔候補を真の顔であると判定して検出する。例えば、しきい値Ｔｈ５として１３％を、本実施形態においては９個の顔構成部品を用いているためしきい値Ｔｈ６として５を用いるとすると、図１１に示す顔候補１について、位置的な尤度の平均値がしきい値Ｔｈ５以上となる顔構成部品は、左目目尻、左目目頭、右目目頭、左鼻脇、右鼻脇および右口元の６個となり、その数がしきい値Ｔｈ６以上となるため、処理対象の顔候補１は真の顔と判定されて検出される。一方、顔候補２は尤度の平均値がしきい値Ｔｈ５以上となる顔構成部品は０個であるため、顔候補２は真の顔とは判定されない。

次いで、第２の実施形態において行われる処理について説明する。図１２は第２の実施形態において行われる処理を示すフローチャートである。デジタルカメラ１の動作モードが撮影モードに設定されることによりＣＰＵ４０が処理を開始し、スルー画像の撮影を行う（ステップＳＴ１１）。続いて、顔検出部３７がスルー画像に対して第１の検出処理を施すとともに（ステップＳＴ１２）、第２の検出処理を施して最終的な顔候補を検出する（ステップＳＴ１３）。次いで、顔構成部品検出部３８が、ｉ番目の最終的な顔候補を処理対象の顔候補として、処理対象の顔候補から顔構成部品毎の顔構成部品候補を検出する（ステップＳＴ１４）。

そして、判定部３９Ａが、顔構成部品毎に顔構成部品候補の位置的な尤度を算出し（ステップＳＴ１５）、位置的な尤度の平均値がしきい値Ｔｈ５以上となる顔構成部品の数がしきい値Ｔｈ６以上であるか否かを判定する（ステップＳＴ１６）。ステップＳＴ１６が肯定されると、処理対象の顔候補を真の顔と判定して検出する（ステップＳＴ１７）。一方、ステップＳＴ１６が否定されると、処理対象の顔候補を非顔と判定する（ステップＳＴ１８）。

ステップＳＴ１７，１８に続いて、ＣＰＵ４０がすべての顔候補について判定部３９Ａが判定を終了したか否かを判定し（ステップＳＴ１９）、ステップＳＴ１９が否定されると、ｉに１を加算し（ステップＳＴ２０）、ステップＳＴ１４に戻る。ステップＳＴ１９が肯定されると、顔検出部３７が検出した真の顔および判定部３９Ａが検出した真の顔を矩形領域で囲んだスルー画像をモニタ２８に表示し（ステップＳＴ２１）、ステップＳＴ１１にリターンする。

このように、第２の実施形態においては、検出された顔構成部品候補の位置、とくに位置的な尤度に基づいて、最終的な顔候補から真の顔を検出するようにしたものである。ここで、顔には、目、鼻および口等の顔構成部品が含まれており、最終的な顔候補が真の顔である場合には、顔構成部品候補は対応する顔構成部品の位置に存在することとなる。したがって、最終的な顔候補に含まれる顔構成部品候補の位置に基づいて顔候補が真の顔であるか否かを判定することにより、精度良く最終的な顔候補から真の顔を検出することができる。

なお、上記第２の実施形態においては、判定部３９Ａが顔構成部品毎の顔構成部品候補の位置的な尤度を算出し、これに基づいて最終的な顔候補が真の顔であるか否かを判定しているが、顔構成部品毎の顔構成部品候補の位置関係の尤度を算出し、位置関係の尤度に基づいて最終的な顔候補が真の顔であるか否かを判定してもよい。以下、これを第３の実施形態として説明する。

第３の実施形態においては、判定部（第１の実施形態湖となるため３９Ｂとする）は、顔構成部品検出部３８が検出した顔構成部品毎の顔構成部品候補について、顔構成部品候補毎に他の顔構成部品の位置に対する存在確率を位置関係の尤度として算出し、算出した位置関係の尤度に基づいて最終的な顔候補が真の顔であるか否かを判定する。

図１３は右目の目頭の、両目の目尻、左目の目頭、左右の鼻の穴の脇、左右の口元および口の中央部分の他の８個の顔構成部品に対する存在確率の確率分布を示す図である。なお、図１３において確率分布Ｂ１１〜Ｂ１８は、それぞれ右目の目頭の、左目の目尻、右目の目尻、左目の目頭、左の鼻の穴の脇、右の鼻の穴の脇、左の口元、右の口元および口の中央部分に対する存在確率の確率分布を示す。

ここで、位置関係の尤度を算出する対象を右目目頭とした場合、第３の実施形態においては、判定部３９Ｂは、顔検出部３７が検出した最終的な顔候補を第２の実施形態と同様に一定のサイズに正規化し、正規化した顔候補内において顔構成部品検出部３８が検出した右目目頭候補毎に、確率分布Ｂ１１〜Ｂ１８を参照して存在確率を仮の位置関係の尤度として算出する。例えば、右目の目頭の、左目の目尻に対する仮の位置関係の尤度１５％、右目の目尻に対する仮の位置関係の尤度１２％、左目の目頭に対する仮の位置関係の尤度１３％、左の鼻の穴の脇に対する仮の位置関係の尤度１０％、右の鼻の穴の脇に対する仮の位置関係の尤度１９％、左の口元に対する仮の位置関係の尤度１３％、右の口元に対する仮の位置関係の尤度１７％および口の中央部分に対する仮の位置関係の尤度１５％というように仮の位置関係の尤度を算出する。

そして判定部３９Ｂは、算出した８個の仮の位置関係の尤度の平均値を算出し、さらにこの平均値のすべての顔構成部品候補についての平均値を、その顔構成部品候補の最終的な位置関係の尤度として算出する。

なお、第３の実施形態においては、右目の目頭のみならず、左目の目尻、右目の目尻、左目の目頭、左の鼻の穴の脇、右の鼻の穴の脇、左の口元、右の口元および口の中央部分についても、それぞれ他の顔構成部品に対する存在確率の確率分布が求められており、判定部３９Ｂは、９個すべての顔構成部品の顔構成部品候補について位置関係の尤度を算出する。そして、判定部３９Ｂは顔構成部品毎に算出した９個の顔構成部品候補の位置関係の尤度がしきい値Ｔｈ７以上となる顔構成部品の数がしきい値Ｔｈ８以上であるか否かを判定し、この判定が肯定された場合に処理対象の顔候補を真の顔であると判定して検出する。

次いで、第３の実施形態において行われる処理について説明する。図１４は第３の実施形態において行われる処理を示すフローチャートである。デジタルカメラ１の動作モードが撮影モードに設定されることによりＣＰＵ４０が処理を開始し、スルー画像の撮影を行う（ステップＳＴ３１）。続いて、顔検出部３７がスルー画像に対して第１の検出処理を施すとともに（ステップＳＴ３２）、第２の検出処理を施して最終的な顔候補を検出する（ステップＳＴ３３）。次いで、顔構成部品検出部３８が、ｉ番目の最終的な顔候補を処理対象の顔候補として、処理対象の顔候補から顔構成部品毎の顔構成部品候補を検出する（ステップＳＴ３４）。なお、ｉの初期値は１である。

そして、判定部３９Ｂが、顔構成部品毎に顔構成部品候補の位置関係の尤度を算出し（ステップＳＴ３５）、位置関係の尤度がしきい値Ｔｈ７以上となる顔構成部品の数がしきい値Ｔｈ８以上であるか否かを判定する（ステップＳＴ３６）。ステップＳＴ３６が肯定されると、処理対象の顔候補を真の顔と判定して検出する（ステップＳＴ３７）。一方、ステップＳＴ３６が否定されると、処理対象の顔候補を非顔と判定する（ステップＳＴ３８）。

ステップＳＴ３７，３８に続いて、ＣＰＵ４０がすべての顔候補について判定部３９Ｂが判定を終了したか否かを判定し（ステップＳＴ３９）、ステップＳＴ３９が否定されると、ｉに１を加算し（ステップＳＴ４０）、ステップＳＴ３４に戻る。ステップＳＴ３９が肯定されると、顔検出部３７が検出した真の顔および判定部３９Ｂが検出した真の顔を矩形領域で囲んだスルー画像をモニタ２８に表示し（ステップＳＴ４１）、ステップＳＴ３１にリターンする。

このように、第３の実施形態においては、検出された顔構成部品の位置、とくに位置関係の尤度に基づいて、最終的な顔候補から真の顔を検出するようにしたものである。ここで、顔には、目、鼻および口等の顔構成部品が含まれており、最終的な顔候補が真の顔である場合には、顔構成部品候補は対応する顔構成部品の位置に存在することとなり、さらに顔構成部品間の位置関係は略決まっている。したがって、最終的な顔候補に含まれる顔構成部品候補の位置関係に基づいて最終的な顔候補が真の顔であるか否かを判定することにより、最終的な顔候補から真の顔を精度良く検出することができる。

なお、上記第３の実施形態においては、９種類の顔構成部品のすべての位置関係の尤度を算出し、位置関係の尤度がしきい値Ｔｈ７以上となる顔構成部品がしきい値Ｔｈ８以上であるか否かに基づいて最終的な顔候補が真の顔か否かを判定しているが、９種類の顔構成部品のすべてを用いる必要はなく、少なくとも１つの顔構成部品についての位置関係の尤度に基づいて最終的な顔候補が真の顔か否かを判定するようにしてもよい。

また、上記第２および第３の実施形態においては、検出した顔候補の顔構成部品候補が、対応する各顔構成部品の確率分布上に位置していれば、精度よく位置的な尤度および位置関係の尤度を算出することができるが、図１５に示すように顔候補の各顔構成部品候補の位置（図中×で示す）が本来あるべき顔構成部品の位置の確率分布とずれていると、尤度を精度よく算出することができず、その結果、最終的な顔候補が真の顔であるか否かを精度よく判定することができない。このため、検出した顔構成部品候補が確率分布内に位置するように、最終的な顔候補を正規化することが好ましい。以下、これを第４の実施形態として説明する。

第４の実施形態において、顔候補を正規化するためには、顔候補内の顔構成部品候補のうちのいずれかの顔構成部品候補を対応する顔構成部品の確率分布の中心（すなわち最も確率が高い位置）と一致させるように、顔候補の画像をアフィン変換する。アフィン変換は、平面上の任意の３点を拡大縮小、平行移動および回転することにより任意の３点に移動させる変換であり、具体的には下記の式（１）により表される。

ｘ′＝ａ１・ｘ＋ｂ１・ｙ＋ｄ１
ｙ′＝ａ２・ｘ＋ｂ２・ｙ＋ｄ２ （１）
式（１）より、アフィン変換の係数ａ１，ａ２，ｂ１，ｂ２，ｄ１，ｄ２を算出するためには、顔候補内および顔構成部品の確率分布内においてそれぞれ対応する３点の座標が必要となる。ここで、顔候補および顔構成部品の確率分布において、図１５に示すように左下隅を原点とするＸＹ座標系を考えると、顔構成部品候補Ｐ１〜Ｐ９が確率分布Ｂ１〜Ｂ９の中心に位置するようにアフィン変換の係数を設定する必要がある。第４の実施形態においては、顔構成部品毎に顔構成部品検出部３８が検出した少なくとも１つの顔構成部品候補のうち、マッチング度が最も高い顔構成部品候補を顔構成部品候補を代表する顔構成部品候補Ｐ１〜Ｐ９として選択し、選択した９個の顔構成部品候補Ｐ１〜Ｐ９のうちマッチング度が大きい上位３個の顔構成部品候補を、対応する顔構成部品の確率分布の中心と一致させるようにアフィン変換の係数ａ１，ａ２，ｂ１，ｂ２，ｄ１，ｄ２を算出すればよい。

例えば、図１５に示す顔構成部品候補Ｐ１〜Ｐ９のマッチング度がＰ１＞Ｐ２＞Ｐ３＞Ｐ４＞Ｐ５…である場合には、顔構成部品候補Ｐ１，Ｐ２，Ｐ３を、対応する顔構成部品の確率分布Ｂ１，Ｂ２，Ｂ３の中心とそれぞれ一致させるようにアフィン変換の係数ａ１，ａ２，ｂ１，ｂ２，ｄ１，ｄ２を算出する。

なお、アフィン変換の係数を算出するためには３点の座標を用いるのみならず、４点以上の座標を用いてもよい。例えば、９個の顔構成部品候補Ｐ１〜Ｐ９のすべてを対応する顔構成部品の確率分布Ｂ１〜Ｂ９の中心と一致させるようにアフィン変換の係数を算出してもよい。この場合、変換後の９個の顔構成部品候補Ｐ１〜Ｐ９の座標と、確率分布Ｂ１〜Ｂ９の中心位置の座標との誤差が最小となるように、最小二乗法を用いてアフィン変換の係数を算出すればよい。

次いで、第４の実施形態において行われる処理について説明する。図１６は第４の実施形態において行われる処理を示すフローチャートである。なお、ここでは、第４の実施形態を第２の実施形態に適用した場合の処理について説明するが、第３の実施形態に対しても同様に適用できるものである。

デジタルカメラ１の動作モードが撮影モードに設定されることによりＣＰＵ４０が処理を開始し、スルー画像の撮影を行う（ステップＳＴ４１）。続いて、顔検出部３７がスルー画像に対して第１の検出処理を施すとともに（ステップＳＴ４２）、第２の検出処理を施して最終的な顔候補を検出する（ステップＳＴ４３）。次いで、顔構成部品検出部３８が、ｉ番目の最終的な顔候補を処理対象の顔候補として、処理対象の顔候補から顔構成部品毎の顔構成部品候補を検出する（ステップＳＴ４４）。なお、ｉの初期値は１である。

そして、判定部３９Ａが処理対象の顔候補を正規化し（ステップＳＴ４５）、正規化の後、顔構成部品毎に顔構成部品候補の位置的な尤度を算出し（ステップＳＴ４６）、位置的な尤度の平均値がしきい値Ｔｈ５以上となる顔構成部品の数がしきい値Ｔｈ６以上であるか否かを判定する（ステップＳＴ４７）。ステップＳＴ４７が肯定されると、処理対象の顔候補を真の顔と判定して検出する（ステップＳＴ４８）。一方、ステップＳＴ４７が否定されると、処理対象の顔候補を非顔と判定する（ステップＳＴ４９）。

ステップＳＴ４８，４９に続いて、ＣＰＵ４０がすべての顔候補について判定部３９Ａが判定を終了したか否かを判定し（ステップＳＴ５０）、ステップＳＴ５０が否定されると、ｉに１を加算し（ステップＳＴ５１）、ステップＳＴ４４に戻る。ステップＳＴ５０が肯定されると、顔検出部３７が検出した真の顔および判定部３９Ａが検出した真の顔を矩形領域で囲んだスルー画像をモニタ２８に表示し（ステップＳＴ５２）、ステップＳＴ４１にリターンする。

このように、第４の実施形態においては、顔候補の領域内において各顔構成部品候補の位置が対応する顔構成部品の位置に位置するように最終的な顔候補をアフィン変換して正規化するようにしたため、より精度良く最終的な顔候補から真の顔を検出することができる。

なお、上記第４の実施形態においては、顔候補毎にアフィン変換の係数を算出してアフィン変換を行っているが、すべての顔候補について、各顔構成部品について選択した顔構成部品候補の平均位置を算出し、算出した平均位置が確率分布の中心と一致するようにアフィン変換の係数を算出してもよい。この場合においても、９個の顔構成部品から選択した顔構成部品候補のうちの３つの顔構成部品候補からアフィン変換の係数を算出してもよく、４以上の顔構成部品候補からアフィン変換の係数を算出してもよい。

また、上記第４の実施形態においては、正規化前に顔構成部品毎の顔構成部品候補について仮の位置的な尤度または仮の位置関係の尤度を算出し、仮の位置的な尤度または仮の位置関係の尤度が最も高い上位所定数の顔構成部品候補が、対応する顔構成部品の位置（すなわち存在確率がピークとなる位置）と一致するように、最終的な顔候補に対してアフィン変換を施すことにより正規化を行うようにしてもよい。

次いで、本発明の第５の実施形態について説明する。なお、第５の実施形態においては、判定部３９が行う処理が第１の実施形態と異なるのみであるため、構成についての詳細な説明はここでは省略する。

第５の実施形態においては、判定部（第１の実施形態と異なるため３９Ｃとする）が、顔構成部品検出部３８が検出した顔構成部品毎の顔構成部品候補の数に基づいて、最終的な顔候補が真の顔、非顔および曖昧顔のいずれかであるかを判定することにより真の顔を検出する第１の判定処理を行い、第１の判定処理により曖昧顔と判定された最終的な顔候補について、第２、第３または第４の実施形態と同様に、顔構成部品候補の位置に基づいて最終的な顔候補が真の顔であるか否かを判定することにより真の顔を検出する第２の判定処理を行うようにした点が第１の実施形態と異なる。

第５の実施形態における判定部３９Ｃは、第１の判定処理においては、第１の実施形態における判定部３９と同様に９個の顔構成部品Ｋ１〜Ｋ９のそれぞれについての顔構成部品候補の総数Ｎ１〜Ｎ９を算出し、さらに総数Ｎ１〜Ｎ９の加算値であるＮｓｕｍを算出する。そして加算値Ｎｓｕｍがしきい値Ｔｈ９以上である場合に処理対象の顔候補を真の顔であると判定し、その顔候補を真の顔として検出する。また、加算値Ｎｓｕｍがしきい値Ｔｈ１０以上しきい値Ｔｈ９未満である場合に処理対象の顔候補を曖昧顔と判定し、加算値Ｎｓｕｍがしきい値Ｔｈ１０未満である場合に処理対象の顔候補を非顔であると判定する。また、曖昧顔と判定された顔候補に対する上記第２、第３または第４の実施形態のいずれかの処理を第２の判定処理として行う。

次いで、第５の実施形態において行われる処理について説明する。図１７は第５の実施形態において行われる処理を示すフローチャートである。デジタルカメラ１の動作モードが撮影モードに設定されることによりＣＰＵ４０が処理を開始し、スルー画像の撮影を行う（ステップＳＴ６１）。続いて、顔検出部３７がスルー画像に対して第１の検出処理を施すとともに（ステップＳＴ６２）、第２の検出処理を施して最終的な顔候補を検出する（ステップＳＴ６３）。次いで、顔構成部品検出部３８が、ｉ番目の最終的な顔候補を処理対象の顔候補として、処理対象の顔候補から顔構成部品毎の顔構成部品候補を検出する（ステップＳＴ６４）。なお、ｉの初期値は１である。

そして、判定部３９Ｃが第１の判定処理を行う（ステップＳＴ６５）。まず、顔構成部品検出部３８が検出した顔構成部品毎の顔構成部品候補の総数の加算値Ｎｓｕｍがしきい値Ｔｈ９以上であるか否かを判定し（ステップＳＴ６６）、ステップＳＴ６６が肯定されると、処理対象の顔候補を真の顔と判定して検出する（ステップＳＴ６７）。一方、ステップＳＴ６６が否定されると、加算値Ｎｓｕｍがしきい値Ｔｈ１０以上しきい値Ｔｈ９未満であるか否かを判定し（ステップＳＴ６８）、ステップＳＴ６８が否定されると、処理対象の顔候補を非顔と判定する（ステップＳＴ６９）。ステップＳＴ６８が肯定されると、処理対象の顔候補が曖昧顔であるとして、第２の判定処理を行う（ステップＳＴ７０）。

まず、第２の実施形態と同様に、判定部３９Ｃが、顔構成部品毎に顔構成部品候補の位置的な尤度を算出し（ステップＳＴ７１）、顔構成部品毎に尤度の平均値がしきい値Ｔｈ５以上となる顔構成部品の数がしきい値Ｔｈ６以上であるか否かを判定する（ステップＳＴ７２）。なお、ステップＳＴ７１の前に第４の実施形態と同様に処理対象の顔候補を正規化してもよい。また、ステップＳＴ７１，７２の処理を第３の実施形態のステップＳＴ３５，３６の処理と同様に位置関係の尤度を用いて行ってもよい。ステップＳＴ７２が肯定されると、処理対象の顔候補を真の顔と判定して検出する（ステップＳＴ７３）。一方、ステップＳＴ７２が否定されると、処理対象の顔候補を非顔と判定する（ステップＳＴ７４）。

ステップＳＴ６７，６９，７３，７４に続いて、ＣＰＵ４０がすべての顔候補について判定部３９Ｃが判定を終了したか否かを判定し（ステップＳＴ７５）、ステップＳＴ７５が否定されると、ｉに１を加算し（ステップＳＴ７６）、ステップＳＴ６４に戻る。ステップＳＴ７５が肯定されると、顔検出部３７が検出した真の顔および判定部３９が検出した真の顔を矩形領域で囲んだスルー画像をモニタ２８に表示し（ステップＳＴ７７）、ステップＳＴ６１にリターンする。

ここで、顔構成部品候補の数に基づいて顔候補が真の顔であるか否かを判定する場合と、顔構成部品候補の位置に基づいて顔候補が真の顔であるか否かを判定する場合とでは、前者の方が演算量が少ない。また、暗いシーンや逆光の撮影時においては顔候補が暗くなるため、その顔候補が真の顔であっても検出される顔構成部品候補の数が少なくなり、その結果、第１の実施形態の処理を行うのみでは、真の顔を非顔と判定してしまうおそれがある。このため、第５の実施形態のように、顔構成部品候補の数に基づいて曖昧顔と判定された最終的な顔候補についてのみ、顔構成部品候補の位置に基づいて顔候補が真の顔であるか否かを判定することにより、演算量を低減でき、かつ精度良く最終的な顔候補から真の顔を検出することができる。

なお、上記第５の実施形態においては、第１の判定処理として、上記９個の顔構成部品Ｋ１〜Ｋ９のそれぞれについての顔構成部品候補の総数Ｎ１〜Ｎ９を９次元空間にプロットし、９次元空間においてしきい値を定める超平面または超曲面を設定し、プロットした総数Ｎ１〜Ｎ９がしきい値を定める超平面または超曲面のいずれの側にあるかに応じて、最終的な顔候補が真の顔、曖昧顔および非顔のいずれであるかを判定するようにしてもよい。

また、上記第５の実施形態においては、第１の判定処理および第２の判定処理を同一の判定部３９Ｃにおいて行っているが、第１および第２の判定処理をそれぞれ行う２つの判定部を設けるようにしてもよい。

以上、本発明の実施形態に係るデジタルカメラについて説明したが、コンピュータを、上記の顔検出部３７、顔構成部品検出部３８、および判定部３９，３９Ａ〜３９Ｃに対応する手段として機能させ、図６，１２，１４，１６，１７に示すような処理を行わせるプログラムも本発明の実施形態の１つである。また、そのようなプログラムを記録したコンピュータ読取り可能な記録媒体も、本発明の実施形態の１つである。

本発明の第１の実施形態による撮影装置を適用したデジタルカメラの構成を示す概略ブロック図 真の顔および顔候補の検出を説明するための図 顔構成部品候補の検出を説明するための図 顔候補が真の顔であるか否かの判定を説明するための図 真の顔が矩形で囲まれたスルー画像を示す図 第１の実施形態において行われる処理を示すフローチャート 顔構成部品の存在確率の確率分布を示す図 確率分布のプロファイルを示す図 確率分布付近における顔構成部品候補の位置の例を示す図 各顔構成部品候補について算出した位置的な尤度を示す図 ２つの顔候補についての顔構成部品毎の顔構成部品候補の位置的な尤度の平均値を示す図 第２の実施形態において行われる処理を示すフローチャート 右目の目頭の、両目の目尻、左目の目頭、左右の鼻の穴の脇、左右の口元および口の中央部分の他の８個の顔構成部品に対する存在確率の確率分布を示す図 第３の実施形態において行われる処理を示すフローチャート 顔構成部品の位置のずれを説明するための図 第４の実施形態において行われる処理を示すフローチャート 第５の実施形態において行われる処理を示すフローチャート

符号の説明

１ デジタルカメラ
２ 操作系
３ 操作系制御部
６ 撮像系
２８ モニタ
３５ 記録メディア
３７ 顔検出部
３８ 顔構成部品検出部
３９ 判定部
４０ ＣＰＵ

Claims (6)

1. 撮影により画像を取得する撮影手段と、
   所定サイズの検出枠を前記画像上において移動させ、移動した位置毎に該検出枠内の前記画像から特徴量を算出し、該特徴量とあらかじめ定められた顔特徴量とのマッチング度を算出し、該マッチング度が第１のしきい値以上である前記検出枠の位置の画像を真の顔として検出し、該マッチング度が前記第１のしきい値よりも小さい第２のしきい値以上である前記検出枠の位置の画像を第１の顔候補として検出し、前記第１の顔候補のうち前記真の顔として検出された顔候補以外の第２の顔候補を最終的な顔候補として検出する顔検出手段と、
   前記最終的な顔候補について、該顔候補に含まれる少なくとも１つの顔構成部品の候補を該顔構成部品毎に検出する顔構成部品検出手段と、
   前記顔構成部品毎に検出された前記顔構成部品候補の数および位置の少なくとも一方に基づいて、前記最終的な顔候補が前記真の顔であるか否かを判定する判定手段とを備えたことを特徴とする撮影装置。
2. 前記判定手段は、前記位置に基づいて前記最終的な顔候補が前記真の顔であるか否かを判定するに際し、前記最終的な顔候補の領域内における前記各顔構成部品候補の、対応する前記顔構成部品に対する位置的な尤度を算出し、該位置的な尤度に基づいて前記最終的な顔候補が前記真の顔であるか否かを判定する手段であることを特徴とする請求項１記載の撮影装置。
3. 前記判定手段は、前記位置に基づいて前記最終的な顔候補が前記真の顔であるか否かを判定するに際し、前記最終的な顔候補の領域内における前記各顔構成部品候補の、対応する前記顔構成部品以外の他の顔構成部品に対する位置関係の尤度を算出し、該位置関係の尤度に基づいて前記最終的な顔候補が前記真の顔であるか否かを判定する手段であることを特徴とする請求項１記載の撮影装置。
4. 前記判定手段は、前記位置に基づいて前記最終的な顔候補が前記真の顔であるか否かを判定するに際し、前記最終的な顔候補の領域内において前記各顔構成部品を正規化し、該正規化した前記各顔構成部品の位置に基づいて、前記最終的な顔候補が前記真の顔であるか否かを判定する手段であることを特徴とする請求項１から３のいずれか１項記載の撮影装置。
5. 撮影により画像を取得し、
   所定サイズの検出枠を前記画像上において移動させ、移動した位置毎に該検出枠内の前記画像から特徴量を算出し、該特徴量とあらかじめ定められた顔特徴量とのマッチング度を算出し、該マッチング度が第１のしきい値以上である前記検出枠の位置の画像を真の顔として検出し、該マッチング度が前記第１のしきい値よりも小さい第２のしきい値以上である前記検出枠の位置の画像を第１の顔候補として検出し、前記第１の顔候補のうち前記真の顔として検出された顔候補以外の第２の顔候補を最終的な顔候補として検出し、
   前記最終的な顔候補について、該顔候補に含まれる少なくとも１つの顔構成部品の候補を該顔構成部品毎に検出し、
   前記顔構成部品毎に検出された前記顔構成部品候補の数および位置の少なくとも一方に基づいて、前記最終的な顔候補が前記真の顔であるか否かを判定することを特徴とする撮影方法。
6. 撮影により画像を取得する手順と、
   所定サイズの検出枠を前記画像上において移動させ、移動した位置毎に該検出枠内の前記画像から特徴量を算出し、該特徴量とあらかじめ定められた顔特徴量とのマッチング度を算出し、該マッチング度が第１のしきい値以上である前記検出枠の位置の画像を真の顔として検出し、該マッチング度が前記第１のしきい値よりも小さい第２のしきい値以上である前記検出枠の位置の画像を第１の顔候補として検出し、前記第１の顔候補のうち前記真の顔として検出された顔候補以外の第２の顔候補を最終的な顔候補として検出する手順と、
   前記最終的な顔候補について、該顔候補に含まれる少なくとも１つの顔構成部品の候補を該顔構成部品毎に検出する手順と、
   前記顔構成部品毎に検出された前記顔構成部品候補の数および位置の少なくとも一方に基づいて、前記最終的な顔候補が前記真の顔であるか否かを判定する手順とを有することを特徴とする撮影方法をコンピュータに実行させるためのプログラム。

Images