JP2014102713A - 顔構成部抽出装置、顔構成部抽出方法及びプログラム - Google Patents

Abstract

【課題】画像からの顔構成部の抽出を適正に行う。
【解決手段】撮像装置１００であって、画像の顔領域から一対の目に対応する一対の目領域を複数検出する目検出部５ｃと、検出された複数の一対の目領域について、目らしさに係る第１評価値をそれぞれ算出する第１評価値算出部５ｄと、算出された第１評価値が所定値以上の所定数の一対の目領域に基づいて、複数の顔構成部を抽出するための複数の抽出用モデルを画像内で適合させるモデル適合部５ｅと、複数の抽出用モデルの適合状態に係る第２評価値を所定数の一対の目領域毎に算出する第２評価値算出部５ｆと、所定数の第２評価値の算出結果に基づいて、複数の抽出用モデルの適合態様を決定する適合態様決定部５ｇと、を備えている。
【選択図】図１

Description

本発明は、顔構成部抽出装置、顔構成部抽出方法及びプログラムに関する。

従来、目、鼻、口、耳、顔の輪郭等の顔構成部の特徴点を用いて似顔絵を作成する似顔絵作成装置が知られている（例えば、特許文献１参照）。

特開２００４−１４５６２５号公報

ところで、画像内から目や口などの顔構成部を抽出するための抽出用モデルを当該画像内で適合させる場合、当該抽出用モデルを適正に適合させるために画像の顔領域の目の位置を基準として行うのが好ましい。しかしながら、画像内のヒトが黒縁眼鏡などの太い縁で濃い色の眼鏡などをかけていると、目の検出を適正に行うことができず、結果として、抽出用モデルの適合を適正に行うことができない虞がある。

そこで、本発明の課題は、画像からの顔構成部の抽出を適正に行うことができる顔構成部抽出装置、顔構成部抽出方法及びプログラムを提供することである。

上記課題を解決するため、本発明に係る顔構成部抽出装置は、
画像を取得する取得手段と、前記取得手段により取得された画像の顔領域から一対の目に対応する一対の目領域を複数検出する目検出手段と、前記目検出手段により検出された前記複数の一対の目領域について、目らしさに係る第１評価値をそれぞれ算出する第１算出手段と、前記第１算出手段により算出された第１評価値が所定値以上の所定数の一対の目領域に基づいて、顔を構成する複数の顔構成部を抽出するための複数の抽出用モデルを前記画像内で適合させる適合手段と、前記適合手段による前記複数の抽出用モデルの適合状態に係る第２評価値を、前記所定数の一対の目領域毎に算出する第２算出手段と、前記第２算出手段による所定数の第２評価値の算出結果に基づいて、前記適合手段による前記複数の抽出用モデルの適合態様を決定する決定手段と、を備えたことを特徴としている。

また、本発明に係る顔構成部抽出方法は、
顔構成部抽出装置を用いた顔構成部抽出方法であって、画像を取得する処理と、取得された画像の顔領域から一対の目に対応する一対の目領域を複数検出する処理と、検出された前記複数の一対の目領域について、目らしさに係る第１評価値をそれぞれ算出する処理と、算出された第１評価値が所定値以上の所定数の一対の目領域に基づいて、顔を構成する複数の顔構成部を抽出するための複数の抽出用モデルを前記画像内で適合させる処理と、前記複数の抽出用モデルの適合状態に係る第２評価値を、前記所定数の一対の目領域毎に算出する処理と、所定数の第２評価値の算出結果に基づいて、前記複数の抽出用モデルの適合態様を決定する処理と、を含むことを特徴としている。

また、本発明に係るプログラムは、
顔構成部抽出装置のコンピュータを、画像を取得する取得手段、前記取得手段により取得された画像の顔領域から一対の目に対応する一対の目領域を複数検出する目検出手段、前記目検出手段により検出された前記複数の一対の目領域について、目らしさに係る第１評価値をそれぞれ算出する第１算出手段、前記第１算出手段により算出された第１評価値が所定値以上の所定数の一対の目領域に基づいて、顔を構成する複数の顔構成部を抽出するための複数の抽出用モデルを前記画像内で適合させる適合手段、前記適合手段による前記複数の抽出用モデルの適合状態に係る第２評価値を、前記所定数の一対の目領域毎に算出する第２算出手段、前記第２算出手段による所定数の第２評価値の算出結果に基づいて、前記適合手段による前記複数の抽出用モデルの適合態様を決定する決定手段、として機能させることを特徴としている。

本発明によれば、画像からの顔構成部の抽出を適正に行うことができる。

本発明を適用した一実施形態の撮像装置の概略構成を示すブロック図である。 図１の撮像装置による似顔絵画像生成処理に係る動作の一例を示すフローチャートである。 図２の似顔絵画像生成処理に係る画像の一例を模式的に示す図である。 図２の似顔絵画像生成処理に係る画像の一例を模式的に示す図である。 図２の似顔絵画像生成処理に係る画像の一例を模式的に示す図である。 図２の似顔絵画像生成処理に係る画像の一例を模式的に示す図である。

以下に、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲は、図示例に限定されない。

図１は、本発明を適用した一実施形態の撮像装置１００の概略構成を示すブロック図である。
図１に示すように、本実施形態の撮像装置１００は、具体的には、撮像部１と、撮像制御部２と、画像データ生成部３と、メモリ４と、画像処理部５と、記録媒体制御部６と、表示制御部７と、表示部８と、操作入力部９と、中央制御部１０とを備えている。
また、撮像部１、撮像制御部２、画像データ生成部３、メモリ４、画像処理部５、記録媒体制御部６、表示制御部７及び中央制御部１０は、バスライン１１を介して接続されている。

撮像部１は、特定の被写体を撮像してフレーム画像を生成する。
具体的には、撮像部１は、レンズ部１ａと、電子撮像部１ｂと、レンズ駆動部１ｃとを備えている。

レンズ部１ａは、例えば、ズームレンズやフォーカスレンズ等の複数のレンズから構成されている。
電子撮像部１ｂは、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-oxide Semiconductor）等のイメージセンサ（撮像素子）から構成されている。そして、電子撮像部１ｂは、レンズ部１ａの各種レンズを通過した光学像を二次元の画像信号に変換する。
レンズ駆動部１ｃは、例えば、図示は省略するが、ズームレンズを光軸方向に移動させるズーム駆動部、フォーカスレンズを光軸方向に移動させる合焦駆動部等を備えている。
なお、撮像部１は、レンズ部１ａ、電子撮像部１ｂ及びレンズ駆動部１ｃに加えて、レンズ部１ａを通過する光の量を調整する絞り（図示略）を備えても良い。

撮像制御部２は、撮像部１による特定の被写体の撮像を制御する。即ち、撮像制御部２は、図示は省略するが、タイミング発生器、ドライバなどを備えている。そして、撮像制御部２は、タイミング発生器、ドライバにより電子撮像部１ｂを走査駆動して、レンズ部１ａを通過した光学像を電子撮像部１ｂにより所定周期毎に二次元の画像信号に変換させ、当該電子撮像部１ｂの撮像領域から１画面分ずつフレーム画像を読み出して画像データ生成部３に出力させる。

なお、撮像制御部２は、レンズ部１ａのフォーカスレンズに代えて、電子撮像部１ｂを光軸方向に移動させてレンズ部１ａの合焦位置を調整するようにしても良い。
また、撮像制御部２は、ＡＦ（自動合焦処理）、ＡＥ（自動露出処理）、ＡＷＢ（自動ホワイトバランス）等の特定の被写体を撮像する際の条件の調整制御を行っても良い。

画像データ生成部３は、電子撮像部１ｂから転送されたフレーム画像のアナログ値の信号に対してＲＧＢの各色成分毎に適宜ゲイン調整した後に、サンプルホールド回路（図示略）でサンプルホールドしてＡ／Ｄ変換器（図示略）でデジタルデータに変換し、カラープロセス回路（図示略）で画素補間処理及びγ補正処理を含むカラープロセス処理を行った後、デジタル値の輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒ（ＹＵＶデータ）を生成する。
カラープロセス回路から出力される輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒは、図示しないＤＭＡコントローラを介して、バッファメモリとして使用されるメモリ４にＤＭＡ転送される。

メモリ４は、例えば、ＤＲＡＭ（Dynamic Random Access Memory）等により構成され、画像処理部５や中央制御部１０等によって処理されるデータ等を一時的に格納する。

画像処理部５は、画像取得部５ａと、顔検出部５ｂと、目検出部５ｃと、第１評価値算出部５ｄと、モデル適合部５ｅと、第２評価値算出部５ｆと、適合態様決定部５ｇと、構成部画像生成部５ｈと、似顔絵画像生成部５ｉとを具備している。
なお、画像処理部５の各部は、例えば、所定のロジック回路から構成されているが、当該構成は一例であってこれに限られるものではない。

画像取得部５ａは、顔構成部抽出処理の処理対象となる画像を取得する。
即ち、画像取得部（取得手段）５ａは、元画像となる画像（例えば、写真画像等）Ｐ１の画像データを取得する。具体的には、画像取得部５ａは、撮像部１及び撮像制御部２による特定の被写体（例えば、ヒトの顔）の撮像によって画像データ生成部３により生成された画像Ｐ１の画像データ（ＲＧＢデータやＹＵＶデータ）の複製をメモリ４から取得したり、記録媒体Ｃに記録されている画像Ｐ１の画像データの複製を取得する（図３参照）。
なお、後述する画像処理部５による各処理は、画像Ｐ１の画像データ自体に対して行われても良いし、必要に応じて画像Ｐ１の画像データを所定の比率で縮小した所定サイズ（例えば、ＶＧＡサイズ等）の画像データに対して行われても良い。
また、以下の説明では、画像Ｐ１の画像データは、各画素の画素値（例えば、輝度値）を8bit（256階調）で表した画像データとして説明する。

顔検出部５ｂは、画像Ｐ１から顔領域Ｆを検出する。
即ち、顔検出部（顔検出手段）５ｂは、画像取得部５ａにより取得された画像Ｐ１から顔領域Ｆを検出する。具体的には、顔検出部５ｂは、画像Ｐ１に対して所定のアルゴリズムを用いた顔検出処理を施す。例えば、顔検出部５ｂは、画像Ｐ１を処理対象として、顔領域Ｆの候補領域として所定サイズ（例えば、24×24［画素］）の検出候補領域を複数生成する。そして、顔検出部５ｂは、例えば、各検出候補領域の画像データと所定の基準画像の画像データとの類似度をadaboost（アダブースト）出力計算を用いて算出し、算出された類似度が所定の閾値以上である検出候補領域の画像データを顔領域Ｆの画像データとして特定する（図４（ａ）等参照）。
なお、顔検出部５ｂによる顔検出処理の内容は、一例であってこれに限られるものではなく、適宜任意に変更可能である。

目検出部５ｃは、画像Ｐ１から目に対応する目領域Ｅを検出する。
即ち、目検出部（目検出手段）５ｃは、画像取得部５ａにより取得された画像Ｐ１の顔領域から一対の目に対応する一対の目領域Ｅ、Ｅを複数検出する。具体的には、目検出部５ｃは、顔検出部５ｂにより検出された顔領域Ｆに対して目検出処理を施して、一対の目領域Ｅ、Ｅを検出する。

この目検出処理では、例えば、目検出部５ｃは、顔検出処理により検出された顔領域Ｆに対応する矩形枠部分を切り出した画像を処理対象画像として、256階調のグレースケール画像に変換する。また、目検出部５ｃは、グレースケール画像を水平（ｘ軸）及び垂直（ｙ軸）ともに所定の比率で縮小した所定サイズ（例えば、80×80、72×72、64×64、56×56、48×48画素等）の縮小画像を逐次生成する。
そして、目検出部５ｃは、所定サイズの縮小画像の各々を処理対象として、目検出用フィルタ（例えば、リング状のリングフィルタ等）を用いて目の候補点を検出する。具体的には、目検出部５ｃは、例えば、処理対象画像内で、リングフィルタの中心の輝度値が当該リングの全ての縁部分の輝度値よりも低い（即ち、暗い）場合に目の候補点の一部とみなし、該当する座標の輝度画像「リングイメージ」を出力する。そして、目検出部５ｃは、所定サイズの縮小画像の各々から出力された輝度画像「リングイメージ」を同一の所定サイズ（例えば、80×80画素等）となるように変形し、これらをまとめた一枚の合成画像を生成する。
また、目検出部５ｃは、合成画像中の複数の輝度画像「リングイメージ」の各々の重心（図中、「＋」印で表す）の位置座標を算出して目候補点として特定する。このとき、目検出部５ｃは、輝度画像「リングイメージ」の各々の最大輝度値も算出して、目候補点と対応付けて所定の格納手段に記憶する。
そして、目検出部５ｃは、複数の目候補点のうちの何れか２点を選択して、一対の目領域Ｅ、Ｅとみなす。また、目候補点が３点以上特定されている場合には、目検出部５ｃは、取り得る組み合わせ全てについて一対の目領域Ｅ、Ｅとみなす。

なお、目検出部５ｃによる目検出処理の内容は、一例であってこれに限られるものではなく、適宜任意に変更可能である。

第１評価値算出部５ｄは、目らしさに係る第１評価値を算出する。
即ち、第１評価値算出部（第１算出手段）５ｄは、目検出部５ｃにより検出された複数の一対の目領域Ｅ、Ｅについて、目らしさに係る第１評価値をそれぞれ算出する。
具体的には、第１評価値算出部５ｄは、目検出部５ｃにより検出された複数の一対の目領域Ｅ、Ｅの各々について、目らしさを表す第１評価値を所定の演算式を用いて算出する。例えば、第１評価値算出部５ｄは、基準となる平均的な目の位置に対する距離が大きいほど低下し、また、目候補点に対応する最大輝度値が大きいほど高くなるような演算式に従って第１評価値をそれぞれ算出する。そして、第１評価値算出部５ｄは、算出された第１評価値が高い方から順に所定数（例えば、３つ）特定して、これらの第１評価値と一対の目領域Ｅ、Ｅの位置座標とをそれぞれ対応付けて所定の格納手段に記憶する。
なお、第１評価値算出部５ｄによる第１評価値の算出処理の内容は、一例であってこれに限られるものではなく、適宜任意に変更可能である。

モデル適合部５ｅは、複数の抽出用モデルＭ、…を画像Ｐ１内で適合させる。
即ち、モデル適合部（適合手段）５ｅは、第１評価値算出部５ｄにより算出された第１評価値が所定値以上の所定数の一対の目領域Ｅ、Ｅに基づいて、顔を構成する複数の顔構成部を抽出するための複数の抽出用モデルＭ、…を画像Ｐ１内で適合させる。このとき、モデル適合部５ｅは、目検出部５ｃによる目領域Ｅの検出結果に加えて、顔検出部５ｂによる顔領域Ｆの検出結果に基づいて、複数の抽出用モデルＭ、…を画像Ｐ１内で適合させても良い。

具体的には、モデル適合部５ｅは、第１評価値算出部５ｄにより算出された複数の第１評価値のうちの最も評価値が高い第１評価値を基準として、評価値が所定値以上の所定数の一対の目領域Ｅ、Ｅを特定する。
例えば、モデル適合部５ｅは、第１評価値算出部５ｄにより算出された所定数の第１評価値を比較して、これらの中で最も評価値が高い第１評価値を特定する。そして、モデル適合部５ｅは、最も評価値が高い第１評価値と対応付けられている一対の目領域Ｅ、Ｅに基づいて、複数の抽出用モデルＭ、…を画像Ｐ１内で適合させる。
また、モデル適合部５ｅは、第１評価値算出部５ｄにより算出された所定数の第１評価値の中で、評価値が最も高い第１評価値の次に高い第１評価値を特定し、特定された第１評価値が最も高い評価値に対して所定の割合（例えば、８０％等）以上であるか否かを判定する。そして、モデル適合部５ｅは、所定の割合以上であると判定された第１評価値と対応付けられている一対の目領域Ｅ、Ｅに基づいて、複数の抽出用モデルＭ、…を画像Ｐ１内で適合させる。
モデル適合部５ｅは、複数の抽出用モデルＭ、…の適合態様が所定数（例えば、３つ等）となるように、上記の処理を繰り返し行う。

ここで、モデル適合部５ｅによる画像Ｐ１内での複数の抽出用モデルＭ、…の適合処理について説明する。
具体的には、後述するように、画像処理部５は、例えば、ＡＡＭ（Active Appearance Model）を用いた微細部抽出処理により画像Ｐ１から顔構成部を抽出し、モデル適合部５ｅは、当該ＡＡＭにて画像Ｐ１の顔領域Ｆ内に配置される複数の抽出用モデルＭ、…が当該画像Ｐ１内で合致（適合）する箇所を探索する。
ここで、ＡＡＭとは、視覚的事象のモデル化の一手法であり、任意の顔領域Ｆの画像のモデル化を行う処理である。例えば、後述するように画像処理部５の構成部画像生成部５ｈは、複数のサンプル顔画像における所定の特徴部位（例えば、目じりや鼻頭やフェイスライン等）の位置や画素値（例えば、輝度値）の統計的分析結果を所定の登録手段に登録しておく。そして、構成部画像生成部５ｈは、上記の特徴部位の位置を基準として設定された各種のモデル、即ち、顔構成部の形状を表す形状モデル（抽出用モデルＭ）や平均的な形状における「Appearance」を表すテクスチャーモデルを用いて、顔領域Ｆの画像をモデル化する。
このとき、モデル適合部５ｅは、複数の顔構成部に対応する複数の抽出用モデルＭ、…、即ち、一対の目や眉や鼻や口や顔（特に、顎）の輪郭等に対応する抽出用モデルＭの画像Ｐ１内における初期配置を設定する。具体的には、モデル適合部５ｅは、目検出部５ｃにより検出された一対の目領域Ｅ、Ｅの画像Ｐ１における位置に、一対の目を抽出するための一対の目抽出用モデルＭ１、Ｍ１が重なるように複数の抽出用モデルＭ、…の初期配置を設定する。即ち、複数の顔構成部に対応する複数の抽出用モデルＭ、…は、基準状態にて相対的な位置関係や間隔が予め設定されているため、モデル適合部５ｅは、複数の抽出用モデルＭ、…を一体として相似変形させることでこれら複数の抽出用モデルＭ、…の相対的な位置関係を変化させないように、一対の目抽出用モデルＭ１、Ｍ１の位置（初期配置）を決定する。また、モデル適合部５ｅは、目検出部５ｃにより検出された一対の目領域Ｅ、Ｅの画像Ｐ１における位置に加えて、これら一対の目領域Ｅ、Ｅの重心の中点を通り、当該一対の目領域Ｅ、Ｅの重心どうしを結ぶ直線に対して直交する直線が顔領域Ｆの矩形枠の顎側の辺と交わる交点の位置を基準として、一対の目抽出用モデルＭ１、Ｍ１の位置（初期配置）を決定するようにしても良い。
これにより、画像Ｐ１内で他の顔構成部（例えば、口等）に対応する複数の抽出用モデルＭ、…が適合する位置（初期配置）も決定される（図４（ｂ）等参照）。
そして、モデル適合部５ｅは、複数の抽出用モデルＭ、…の各々の形状や大きさ等を個別に変形させて当該抽出用モデルＭの各々が最も合致する領域を画像Ｐ１の顔領域Ｆ内で探索して、その適合結果を第２評価値算出部５ｆに出力する（図４（ｃ）等参照）。

なお、各抽出用モデルＭのデータは、形状や色に関する情報を含むデータであるが、図４（ｂ）等には、抽出用モデルＭの外形やその輪郭部分のみを模式的に表している。

第２評価値算出部５ｆは、複数の抽出用モデルＭ、…の適合状態に係る第２評価値を算出する。
即ち、第２評価値算出部（第２算出手段）５ｆは、所定数の一対の目領域Ｅ、Ｅ毎に、モデル適合部５ｅによる複数の抽出用モデルＭ、…の適合状態に係る第２評価値を所定の演算式に従って算出する。具体的には、第２評価値算出部５ｆは、例えば、モデル適合部５ｅにより所定数の一対の目領域Ｅ、Ｅの各々を基準として画像Ｐ１内に複数の抽出用モデルＭ、…が適合される毎に、各抽出用モデルＭと対応する合致領域との画素値や位置座標のずれ量等を基準として当該複数の抽出用モデルＭ、…の適合状態に係る第２評価値を算出する。そして、第２評価値算出部５ｆは、算出された第２評価値を一対の目領域Ｅ、Ｅと対応付けて所定の格納手段に記憶する。
なお、ここでの第２評価値算出部５ｆによる第２評価値の算出手法は、公知の技術であるので詳細な説明は省略する。また、第２評価値の算出処理の内容は、一例であってこれに限られるものではなく、適宜任意に変更可能である。

適合態様決定部５ｇは、複数の抽出用モデルＭ、…の適合態様を決定する。
即ち、適合態様決定部（決定手段）５ｈは、第２評価値算出部５ｆによる所定数の第２評価値の算出結果に基づいて、モデル適合部５ｅによる複数の抽出用モデルＭ、…の適合態様を決定する。具体的には、適合態様決定部５ｇは、例えば、第２評価値算出部５ｆにより算出された所定数の第２評価値を比較して評価値が最も高い第２評価値を特定し、当該第２評価値に対応する複数の抽出用モデルＭ、…の適合態様を微細部抽出処理（ＡＡＭ）用の適合態様として特定する。
なお、複数の抽出用モデルＭ、…の適合態様の決定手法は、一例であってこれに限られるものではなく、適宜任意に変更可能である。例えば、適合態様決定部５ｇは、第２評価値が算出された所定数の一対の目領域Ｅ、Ｅに対応する複数の抽出用モデルＭ、…の適合態様の中で、ユーザによる操作入力部９の所定操作に基づいてユーザ所望の適合態様が選択指定されることで、当該複数の抽出用モデルＭ、…の適合態様を決定するようにしても良い。

構成部画像生成部５ｈは、顔の主要な顔構成部を表した顔構成部画像を生成する。
即ち、構成部画像生成部（第１生成手段）５ｈは、適合態様決定部５ｇにより決定された複数の抽出用モデルＭ、…の適合態様に基づいて、画像Ｐ１内の顔の主要な構成部に係る顔構成部画像（図示略）を生成する。具体的には、構成部画像生成部５ｈは、例えば、適合態様決定部５ｇにより決定された複数の抽出用モデルＭ、…を用いた微細部抽出処理（ＡＡＭ）により顔領域Ｆの画像をモデル化する。そして、構成部画像生成部５ｈは、画像Ｐ１内の主要な構成を抽出して線で表した顔微細部画像（図示略）を生成する。
また、構成部画像生成部５ｈは、顔領域Ｆ内の顔の輪郭内に存する顔構成部及び当該輪郭と接する顔構成部を線で表した顔構成部画像を生成する。具体的には、構成部画像生成部５ｈは、顔微細部画像内で顔の輪郭と接する画素を特定し、当該画素と連続する画素のうち、顔の輪郭よりも外側に存する画素集合を消去する。つまり、構成部画像生成部５ｈは、顔微細部画像のうち、顔の輪郭よりも外側に存する部分を消去するとともに、顔の輪郭よりも内側に存し、且つ、当該輪郭と接する部分を残して、例えば、目、鼻、口、眉等の主要な顔構成部のパーツ画像を含む顔構成部画像を生成する。

なお、微細部抽出処理として、ＡＡＭを用いた処理を例示したが、一例であってこれに限られるものではなく、適宜任意に変更可能である。

似顔絵画像生成部５ｉは、顔構成部画像を用いて似顔絵画像を生成する。
即ち、似顔絵画像生成部（第２生成手段）５ｉは、構成部画像生成部５ｈにより生成された顔構成部画像を用いて画像Ｐ１の似顔絵画像（図示略）を生成する。具体的には、似顔絵画像生成部５ｉは、所定の髪型画像の顔の輪郭よりも内側にて、例えば、目、鼻、口、眉等の各顔構成部のパーツ画像を重畳させる位置を特定し、当該位置に各顔構成部のパーツ画像を重畳させて、画像Ｐ１を似顔絵で表した似顔絵画像の画像データを生成する。
また、似顔絵画像生成部５ｉは、似顔絵画像の所定の部分（例えば、目、口、眉等の顔構成部等）に所定の色を付けて表した画像を生成しても良い。

記録媒体制御部６は、記録媒体Ｃが着脱自在に構成され、装着された記録媒体Ｃからのデータの読み出しや記録媒体Ｃに対するデータの書き込みを制御する。
即ち、記録媒体制御部６は、画像処理部５の符号化部（図示略）により所定の圧縮形式（例えば、ＪＰＥＧ形式等）で符号化された記録用の画像データを記録媒体Ｃに記録させる。
なお、記録媒体Ｃは、例えば、不揮発性メモリ（フラッシュメモリ）等により構成されるが、一例であってこれに限られるものではなく、適宜任意に変更可能である。

表示制御部７は、メモリ４に一時的に格納されている表示用の画像データを読み出して表示部８に表示させる制御を行う。
具体的には、表示制御部７は、ＶＲＡＭ（Video Random Access Memory）、ＶＲＡＭコントローラ、デジタルビデオエンコーダなどを備えている。そして、デジタルビデオエンコーダは、中央制御部１０の制御下にてメモリ４から読み出されてＶＲＡＭ（図示略）に格納されている輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒを、ＶＲＡＭコントローラを介してＶＲＡＭから定期的に読み出して、これらのデータを元にビデオ信号を発生して表示部８に出力する。

表示部８は、例えば、液晶表示パネルであり、表示制御部７からのビデオ信号に基づいて撮像部１により撮像された画像などを表示画面に表示する。具体的には、表示部８は、静止画撮像モードや動画撮像モードにて、撮像部１及び撮像制御部２による特定の被写体の撮像により生成された複数のフレーム画像を所定のフレームレートで逐次更新しながらライブビュー画像を表示する。また、表示部８は、静止画として記録される画像（レックビュー画像）を表示したり、動画として記録中の画像を表示する。

操作入力部９は、当該撮像装置１００の所定操作を行うためのものである。具体的には、操作入力部９は、被写体の撮像指示に係るシャッタボタン、撮像モードや機能等の選択指示に係る選択決定ボタン、ズーム量の調整指示に係るズームボタン等（何れも図示略）の操作部を備え、当該操作部の各ボタンの操作に応じて所定の操作信号を中央制御部１０に出力する。

中央制御部１０は、撮像装置１００の各部を制御するものである。具体的には、中央制御部１０は、図示は省略するが、ＣＰＵ（Central Processing Unit）等を備え、撮像装置１００用の各種処理プログラム（図示略）に従って各種の制御動作を行う。

次に、撮像装置１００による似顔絵画像生成処理について、図２〜図６を参照して説明する。
図２は、似顔絵画像生成処理に係る動作の一例を示すフローチャートである。

似顔絵画像生成処理は、ユーザによる操作入力部９の選択決定ボタンの所定操作に基づいて、メニュー画面に表示された複数の動作モードの中から似顔絵画像生成モードが選択指示された場合に、中央制御部１０の制御下にて当該撮像装置１００の各部、特に画像処理部５により実行される処理である。
また、似顔絵画像生成処理の処理対象となる画像Ｐ１の画像データは、予め記録媒体Ｃに記録されているものとする。

図２に示すように、先ず、記録媒体制御部６は、記録媒体Ｃに記録されている画像データの中で、ユーザによる操作入力部９の所定操作に基づいて指定された画像Ｐ１（図３参照）の画像データを読み出し、画像処理部５の画像取得部５ａは、読み出された画像データを当該似顔絵画像生成処理の処理対象として取得する（ステップＳ１）。

次に、顔検出部５ｂは、画像取得部５ａにより取得された画像Ｐ１の画像データに対して所定のアルゴリズム（例えば、adaboost等）を用いた顔検出処理を施し、顔領域Ｆの画像データを特定する（ステップＳ２；図４（ａ）等参照）。続けて、目検出部５ｃは、顔検出部５ｂにより検出された顔領域Ｆの画像データに対して、一対の目に対応する一対の目領域Ｅ、Ｅを検出する目検出処理を施す（ステップＳ３）。これにより、目検出部５ｃは、画像Ｐ１の顔領域Ｆから一対の目領域Ｅ、Ｅを候補領域として複数検出する（図４（ａ）、図５（ａ）、図６（ａ）参照）。
なお、図４（ａ）は、一対の目領域Ｅ、Ｅのうち、一方の目領域Ｅの重心が眼鏡の縁から検出されている誤検出状態を模式的に表し、図６（ａ）は、一対の目領域Ｅ、Ｅの両方の目領域Ｅの重心が眼鏡の縁から検出されている誤検出状態を模式的に表している。

そして、第１評価値算出部５ｄは、目検出部５ｃにより検出された複数の一対の目領域Ｅ、Ｅの各々について、目らしさを表す第１評価値を所定の演算式を用いて算出する（ステップＳ４）。その後、第１評価値算出部５ｄは、算出された第１評価値が高い方から順に所定数（例えば、３つ）特定して、これらの第１評価値と一対の目領域Ｅ、Ｅの位置座標とをそれぞれ対応付けて所定の格納手段に記憶する（ステップＳ５）。
なお、一対の目領域Ｅ、Ｅについて算出された第１評価値は、例えば、図４（ａ）に示されているものが最も高く、図５（ａ）に示されているものがその次に高く、図６（ａ）に示されているものがその次に高くなっている。

次に、モデル適合部５ｅは、第１評価値算出部５ｄにより算出された複数の第１評価値のうちの最も評価値が高い第１評価値と対応付けられている一対の目領域Ｅ、Ｅ（図４（ａ）参照）に基づいて、複数の抽出用モデルＭ、…を画像Ｐ１内で適合させる（ステップＳ６）。具体的には、モデル適合部５ｅは、画像Ｐ１における一対の目領域Ｅ、Ｅの位置に一対の目抽出用モデルＭ１、Ｍ１が重なるように複数の抽出用モデルＭ、…の初期配置を設定する（図４（ｂ）参照）。そして、モデル適合部５ｅは、複数の抽出用モデルＭ、…の各々の形状や大きさ等を個別に変形させて当該抽出用モデルＭの各々が最も合致する領域を画像Ｐ１の顔領域Ｆ内で探索して、その適合結果を第２評価値算出部５ｆに出力する（図４（ｃ）参照）。

続けて、第２評価値算出部５ｆは、モデル適合部５ｅによる複数の抽出用モデルＭ、…の適合状態に係る第２評価値を所定の演算式に従って算出して、算出された第２評価値を一対の目領域Ｅ、Ｅと対応付けて所定の格納手段に記憶する（ステップＳ７）。

次に、モデル適合部５ｅは、評価値が最も高い第１評価値の次に評価値が高い第１評価値を特定し、特定された第１評価値が最も高い評価値に対して所定の割合（例えば、８０％等）以上であるか否かを判定する（ステップＳ８）。
ステップＳ８にて、第１評価値が所定の割合以上であると判定されると（ステップＳ８；ＹＥＳ）、モデル適合部５ｅは、当該第１評価値と対応付けられている一対の目領域Ｅ、Ｅ（図５（ａ）参照）に基づいて、複数の抽出用モデルＭ、…を画像Ｐ１内で適合させる（ステップＳ９）。
ここでの複数の抽出用モデルＭ、…を適合させる処理は、上記のステップＳ６の処理と略同様である。具体的には、モデル適合部５ｅは、複数の抽出用モデルＭ、…の初期配置を設定した後（図５（ｂ）参照）、複数の抽出用モデルＭ、…の各々の形状や大きさ等を個別に変形させて当該抽出用モデルＭの各々が最も合致する領域を画像Ｐ１の顔領域Ｆ内で探索する（図５（ｃ）参照）。
そして、上記のステップＳ７の処理と略同様に、第２評価値算出部５ｆは、複数の抽出用モデルＭ、…の適合状態に係る第２評価値を所定の演算式に従って算出して、算出された第２評価値を一対の目領域Ｅ、Ｅと対応付けて所定の格納手段に記憶する（ステップＳ１０）。

次に、モデル適合部５ｅは、次に評価値が高い第１評価値を特定し、特定された第１評価値が最も高い評価値に対して所定の割合（例えば、８０％等）以上であるか否かを判定する（ステップＳ１１）。
ステップＳ１１にて、第１評価値が所定の割合以上であると判定されると（ステップＳ１１；ＹＥＳ）、モデル適合部５ｅは、当該第１評価値と対応付けられている一対の目領域Ｅ、Ｅ（図６（ａ）参照）に基づいて、複数の抽出用モデルＭ、…を画像Ｐ１内で適合させる（ステップＳ１２）。
ここでの複数の抽出用モデルＭ、…を適合させる処理は、上記のステップＳ６、Ｓ９の各処理と略同様である。具体的には、モデル適合部５ｅは、複数の抽出用モデルＭ、…の初期配置を設定した後（図６（ｂ）参照）、複数の抽出用モデルＭ、…の各々の形状や大きさ等を個別に変形させて当該抽出用モデルＭの各々が最も合致する領域を画像Ｐ１の顔領域Ｆ内で探索する（図６（ｃ）参照）。
そして、上記のステップＳ７、Ｓ１０の各処理と略同様に、第２評価値算出部５ｆは、複数の抽出用モデルＭ、…の適合状態に係る第２評価値を所定の演算式に従って算出して、算出された第２評価値を一対の目領域Ｅ、Ｅと対応付けて所定の格納手段に記憶する（ステップＳ１３）。

その後、適合態様決定部５ｇは、所定の格納手段から算出済みの３つの第２評価値を取得して、これらの第２評価値を比較して評価値が最も高い第２評価値を特定し、当該第２評価値に対応する複数の抽出用モデルＭ、…の適合態様（例えば、図５（ｃ）に係る複数の抽出用モデルＭ、…の適合態様等）を特定する（ステップＳ１４）。
また、ステップＳ１１にて、第１評価値が所定の割合以上でないと判定された場合にも（ステップＳ１１；ＮＯ）、適合態様決定部５ｇは、所定の格納手段から算出済みの２つの第２評価値を取得して、これらの第２評価値を比較して評価値が最も高い第２評価値を特定し、当該第２評価値に対応する複数の抽出用モデルＭ、…の適合態様を特定する（ステップＳ１４）。

そして、構成部画像生成部５ｈは、適合態様決定部５ｇにより決定された複数の抽出用モデルＭ、…の適合態様に基づいて微細部抽出処理（ＡＡＭ）を行って、画像Ｐ１内の顔の主要な構成部に係る顔構成部画像（図示略）を生成する（ステップＳ１５）。これにより、構成部画像生成部５ｈは、顔構成部（例えば、目、鼻、口、眉、髪の毛、顔の輪郭等）を線で表した顔微細部画像を生成する。
また、ステップＳ８にて、第１評価値が所定の割合以上でないと判定された場合（ステップＳ８；ＮＯ）、構成部画像生成部５ｈは、最も評価値が高い第１評価値と対応付けられている一対の目領域Ｅ、Ｅ（図４（ａ）参照）に対応する複数の抽出用モデルＭ、…の適合態様（図４（ｃ）参照）に基づいて微細部抽出処理（ＡＡＭ）を行って、画像Ｐ１内の顔の主要な構成部に係る顔構成部画像を生成する（ステップＳ１５）。

続けて、構成部画像生成部５ｈは、微細部抽出処理により顔領域Ｆ内の顔の輪郭を特定して、顔の輪郭内に存する顔構成部及び当該輪郭と接する顔構成部、即ち、例えば、目、鼻、口、眉等の主要な顔構成部のパーツ画像を含む顔構成部画像を生成する（ステップＳ１６）。
その後、似顔絵画像生成部５ｉは、顔構成部画像を用いて画像Ｐ１の似顔絵画像を生成する（ステップＳ１７）。具体的には、似顔絵画像生成部５ｉは、所定の髪型画像を取得して、当該髪型画像の顔の輪郭よりも内側にて、例えば、目、鼻、口、眉等の各顔構成部のパーツ画像を重畳させる位置を特定し、当該位置に各顔構成部のパーツ画像を重畳させて、画像Ｐ１を似顔絵で表した似顔絵画像の画像データを生成する。
そして、記録媒体制御部６は、似顔絵画像生成部５ｉにより生成された似顔絵画像の画像データ（ＹＵＶデータ）を取得して記録する。
これにより、似顔絵画像生成処理を終了する。

以上のように、本実施形態の撮像装置１００によれば、目検出部５ｃにより検出された複数の一対の目領域Ｅ、Ｅについて算出された目らしさに係る第１評価値が所定値以上の所定数の一対の目領域Ｅ、Ｅに基づいて、複数の顔構成部を抽出するための複数の抽出用モデルＭ、…を画像Ｐ１内で適合させ、複数の抽出用モデルＭ、…の適合状態に係る第２評価値を所定数の一対の目領域Ｅ、Ｅ毎に算出して、所定数の第２評価値の算出結果に基づいて、複数の抽出用モデルＭ、…の適合態様を決定するので、例えば、画像Ｐ１内のヒトが黒縁眼鏡などの太い縁で濃い色の眼鏡などをかけている場合であっても、所定数の一対の目領域Ｅ、Ｅに対応する複数の抽出用モデルＭ、…の適合状態に係る第２評価値を考慮して、複数の抽出用モデルＭ、…の適正な適合態様を決定することができる。即ち、例えば、黒縁眼鏡などは黒目の部分と輝度値が近似しているため目領域Ｅの誤検出が生じ易くなり、当該目領域Ｅを基準とする複数の抽出用モデルＭ、…の初期配置を適正に行うことができない虞がある（図４（ｂ）、図６（ｂ）等参照）。そこで、画像Ｐ１の顔領域Ｆから検出された最も評価値が高い（最も目らしいと判断された）一対の目領域Ｅ、Ｅだけでなく、当該最も評価値が高い第１評価値を基準として特定された評価値が所定値以上の所定数の一対の目領域Ｅ、Ｅも用いて、複数の抽出用モデルＭ、…の適合を行い、それらの適合状態に係る所定数の第２評価値の中で評価値が最も高い第２評価値を特定する。そして、当該第２評価値に対応する複数の抽出用モデルＭ、…の適合態様を顔構成部の抽出用の適合態様として決定することで、当該複数の抽出用モデルＭ、…を画像Ｐ１内で適正に適合させることができる。
従って、画像Ｐ１から複数の顔構成部を適正に抽出することができる。

また、画像Ｐ１から顔領域Ｆを検出し、検出された顔領域Ｆから一対の目に対応する一対の目領域Ｅ、Ｅを検出するので、所定数の一対の目領域Ｅ、Ｅの検出を適正に行うことができ、当該所定数の一対の目領域Ｅ、Ｅに基づいて、画像Ｐ１内で複数の顔構成部に対応する複数の抽出用モデルＭ、…を適正に適合させることができる。特に、顔領域Ｆの検出結果に基づいて、複数の抽出用モデルＭ、…を画像Ｐ１内で適合させるので、所定数の一対の目領域Ｅ、Ｅの検出結果だけでなく、顔領域Ｆの検出結果を考慮して、複数の抽出用モデルＭ、…の画像Ｐ１内での適合をより適正に行うことができる。

さらに、決定された複数の抽出用モデルＭ、…の適合態様に基づいて、画像Ｐ１内の顔の主要な構成部に係る顔構成部画像を生成して、当該顔構成部画像を用いて画像Ｐ１の似顔絵画像を生成するので、画像Ｐ１内に適正に適合させた複数の抽出用モデルＭ、…を用いて複数の顔構成部を抽出して顔構成部画像を生成することができ、結果として、似顔絵画像の生成を適正に行うことができる。

なお、本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。
例えば、上記実施形態にあっては、画像Ｐ１内の顔の主要な構成部に係る顔構成部画像を生成し、当該顔構成部画像を用いて似顔絵画像を生成するようにしたが、必ずしも顔構成部画像や似顔絵画像を生成する必要はなく、当該顔構成部画像や似顔絵画像を生成するか否かは適宜任意に変更可能である。

また、画像Ｐ１を記録する記録媒体制御部６を備える構成としたが、これに限られず、例えば、当該装置本体と所定の通信ネットワークを介して接続可能な所定のサーバに画像Ｐ１を記録しておく構成とし、図示しない通信処理部から通信ネットワークを介して所定のサーバにアクセスして、画像取得部５ａは、当該サーバから画像Ｐ１を取得する構成としても良い。

さらに、撮像装置１００の構成は、上記実施形態に例示したものは一例であり、これに限られるものではない。また、顔構成部抽出装置として、撮像装置１００を例示したが、これに限られるものではなく、本発明に係る顔構成部抽出処理を実行可能なものであれば如何なる構成であっても良い。

加えて、上記実施形態にあっては、取得手段、目検出手段、第１算出手段、適合手段、第２算出手段、決定手段としての機能を、中央制御部１０の制御下にて、画像取得部５ａ、目検出部５ｃ、第１評価値算出部５ｄ、モデル適合部５ｅ、第２評価値算出部５ｆ、適合態様決定部５ｇが駆動することにより実現される構成としたが、これに限られるものではなく、中央制御部１０によって所定のプログラム等が実行されることにより実現される構成としても良い。
即ち、プログラムを記憶するプログラムメモリ（図示略）に、目検出処理ルーチン、第１算出処理ルーチン、適合処理ルーチン、第２算出処理ルーチン、決定処理ルーチンを含むプログラムを記憶しておく。そして、取得処理ルーチンにより中央制御部１０のＣＰＵを、画像Ｐ１を取得する手段として機能させるようにしても良い。また、目検出処理ルーチンにより中央制御部１０のＣＰＵを、取得された画像Ｐ１の顔領域Ｆから一対の目に対応する一対の目領域Ｅ、Ｅを複数検出する手段として機能させるようにしても良い。また、第１算出処理ルーチンにより中央制御部１０のＣＰＵを、検出された複数の一対の目領域Ｅ、Ｅについて、目らしさに係る第１評価値をそれぞれ算出する手段として機能させるようにしても良い。また、適合処理ルーチンにより中央制御部１０のＣＰＵを、算出された第１評価値が所定値以上の所定数の一対の目領域Ｅ、Ｅに基づいて、顔を構成する複数の顔構成部を抽出するための複数の抽出用モデルＭ、…を画像Ｐ１内で適合させる手段として機能させるようにしても良い。また、第２算出処理ルーチンにより中央制御部１０のＣＰＵを、複数の抽出用モデルＭ、…の適合状態に係る第２評価値を、所定数の一対の目領域Ｅ、Ｅ毎に算出する手段として機能させるようにしても良い。また、決定処理ルーチンにより中央制御部１０のＣＰＵを、所定数の第２評価値の算出結果に基づいて、複数の抽出用モデルＭ、…の適合態様を決定する手段として機能させるようにしても良い。

同様に、顔検出手段、第１生成手段、第２生成手段についても、中央制御部１０のＣＰＵによって所定のプログラム等が実行されることにより実現される構成としても良い。

さらに、上記の各処理を実行するためのプログラムを格納したコンピュータ読み取り可能な媒体として、ＲＯＭやハードディスク等の他、フラッシュメモリ等の不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬型記録媒体を適用することも可能である。また、プログラムのデータを所定の通信回線を介して提供する媒体としては、キャリアウェーブ（搬送波）も適用される。

本発明のいくつかの実施形態を説明したが、本発明の範囲は、上述の実施の形態に限定するものではなく、特許請求の範囲に記載された発明の範囲とその均等の範囲を含む。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
〔付記〕
＜請求項１＞
画像を取得する取得手段と、
前記取得手段により取得された画像の顔領域から一対の目に対応する一対の目領域を複数検出する目検出手段と、
前記目検出手段により検出された前記複数の一対の目領域について、目らしさに係る第１評価値をそれぞれ算出する第１算出手段と、
前記第１算出手段により算出された第１評価値が所定値以上の所定数の一対の目領域に基づいて、顔を構成する複数の顔構成部を抽出するための複数の抽出用モデルを前記画像内で適合させる適合手段と、
前記適合手段による前記複数の抽出用モデルの適合状態に係る第２評価値を、前記所定数の一対の目領域毎に算出する第２算出手段と、
前記第２算出手段による所定数の第２評価値の算出結果に基づいて、前記適合手段による前記複数の抽出用モデルの適合態様を決定する決定手段と、
を備えたことを特徴とする顔構成部抽出装置。
＜請求項２＞
前記決定手段は、前記第２算出手段により算出された所定数の第２評価値の中で評価値が最も高い第２評価値を特定し、当該第２評価値に対応する前記複数の抽出用モデルの適合態様を決定することを特徴とする請求項１に記載の顔構成部抽出装置。
＜請求項３＞
前記適合手段は、前記第１算出手段により算出された複数の第１評価値のうちの最も評価値が高い第１評価値を基準として評価値が所定値以上の所定数の一対の目領域を特定して、当該一対の目領域の各々に基づいて、前記複数の抽出用モデルを前記画像内で適合させることを特徴とする請求項１又は２に記載の顔構成部抽出装置。
＜請求項４＞
前記取得手段により取得された画像から顔領域を検出する顔検出手段を更に備え、
前記目検出手段は、前記顔検出手段により検出された顔領域から前記一対の目に対応する一対の目領域を検出することを特徴とする請求項１〜３の何れか一項に記載の顔構成部抽出装置。
＜請求項５＞
前記適合手段は、更に、前記顔検出手段による顔領域の検出結果に基づいて、前記複数の抽出用モデルを前記画像内で適合させることを特徴とする請求項４に記載の顔構成部抽出装置。
＜請求項６＞
前記決定手段により決定された前記複数の抽出用モデルの適合態様に基づいて、前記複数の顔構成部に係る顔構成部画像を生成する第１生成手段と、
前記第１生成手段により生成された顔構成部画像を用いて前記画像の似顔絵画像を生成する第２生成手段と、を更に備えることを特徴とする請求項１〜５の何れか一項に記載の顔構成部抽出装置。
＜請求項７＞
顔構成部抽出装置を用いた顔構成部抽出方法であって、
画像を取得する処理と、
取得された画像の顔領域から一対の目に対応する一対の目領域を複数検出する処理と、
検出された前記複数の一対の目領域について、目らしさに係る第１評価値をそれぞれ算出する処理と、
算出された第１評価値が所定値以上の所定数の一対の目領域に基づいて、顔を構成する複数の顔構成部を抽出するための複数の抽出用モデルを前記画像内で適合させる処理と、
前記複数の抽出用モデルの適合状態に係る第２評価値を、前記所定数の一対の目領域毎に算出する処理と、
所定数の第２評価値の算出結果に基づいて、前記複数の抽出用モデルの適合態様を決定する処理と、
を含むことを特徴とする顔構成部抽出方法。
＜請求項８＞
顔構成部抽出装置のコンピュータを、
画像を取得する取得手段、
前記取得手段により取得された画像の顔領域から一対の目に対応する一対の目領域を複数検出する目検出手段、
前記目検出手段により検出された前記複数の一対の目領域について、目らしさに係る第１評価値をそれぞれ算出する第１算出手段、
前記第１算出手段により算出された第１評価値が所定値以上の所定数の一対の目領域に基づいて、顔を構成する複数の顔構成部を抽出するための複数の抽出用モデルを前記画像内で適合させる適合手段、
前記適合手段による前記複数の抽出用モデルの適合状態に係る第２評価値を、前記所定数の一対の目領域毎に算出する第２算出手段、
前記第２算出手段による所定数の第２評価値の算出結果に基づいて、前記適合手段による前記複数の抽出用モデルの適合態様を決定する決定手段、
として機能させることを特徴とするプログラム。

１００ 撮像装置
５ 画像処理部
５ａ 画像取得部
５ｂ 顔検出部
５ｃ 目検出部
５ｄ 第１評価値算出部
５ｅ モデル適合部
５ｆ 第２評価値算出部
５ｇ 適合態様決定部
５ｈ 構成部画像生成部
５ｉ 似顔絵画像生成部
１０ 中央制御部

Claims (8)

1. 画像を取得する取得手段と、
   前記取得手段により取得された画像の顔領域から一対の目に対応する一対の目領域を複数検出する目検出手段と、
   前記目検出手段により検出された前記複数の一対の目領域について、目らしさに係る第１評価値をそれぞれ算出する第１算出手段と、
   前記第１算出手段により算出された第１評価値が所定値以上の所定数の一対の目領域に基づいて、顔を構成する複数の顔構成部を抽出するための複数の抽出用モデルを前記画像内で適合させる適合手段と、
   前記適合手段による前記複数の抽出用モデルの適合状態に係る第２評価値を、前記所定数の一対の目領域毎に算出する第２算出手段と、
   前記第２算出手段による所定数の第２評価値の算出結果に基づいて、前記適合手段による前記複数の抽出用モデルの適合態様を決定する決定手段と、
   を備えたことを特徴とする顔構成部抽出装置。
2. 前記決定手段は、前記第２算出手段により算出された所定数の第２評価値の中で評価値が最も高い第２評価値を特定し、当該第２評価値に対応する前記複数の抽出用モデルの適合態様を決定することを特徴とする請求項１に記載の顔構成部抽出装置。
3. 前記適合手段は、前記第１算出手段により算出された複数の第１評価値のうちの最も評価値が高い第１評価値を基準として評価値が所定値以上の所定数の一対の目領域を特定して、当該一対の目領域の各々に基づいて、前記複数の抽出用モデルを前記画像内で適合させることを特徴とする請求項１又は２に記載の顔構成部抽出装置。
4. 前記取得手段により取得された画像から顔領域を検出する顔検出手段を更に備え、
   前記目検出手段は、前記顔検出手段により検出された顔領域から前記一対の目に対応する一対の目領域を検出することを特徴とする請求項１〜３の何れか一項に記載の顔構成部抽出装置。
5. 前記適合手段は、更に、前記顔検出手段による顔領域の検出結果に基づいて、前記複数の抽出用モデルを前記画像内で適合させることを特徴とする請求項４に記載の顔構成部抽出装置。
6. 前記決定手段により決定された前記複数の抽出用モデルの適合態様に基づいて、前記複数の顔構成部に係る顔構成部画像を生成する第１生成手段と、
   前記第１生成手段により生成された顔構成部画像を用いて前記画像の似顔絵画像を生成する第２生成手段と、を更に備えることを特徴とする請求項１〜５の何れか一項に記載の顔構成部抽出装置。
7. 顔構成部抽出装置を用いた顔構成部抽出方法であって、
   画像を取得する処理と、
   取得された画像の顔領域から一対の目に対応する一対の目領域を複数検出する処理と、
   検出された前記複数の一対の目領域について、目らしさに係る第１評価値をそれぞれ算出する処理と、
   算出された第１評価値が所定値以上の所定数の一対の目領域に基づいて、顔を構成する複数の顔構成部を抽出するための複数の抽出用モデルを前記画像内で適合させる処理と、
   前記複数の抽出用モデルの適合状態に係る第２評価値を、前記所定数の一対の目領域毎に算出する処理と、
   所定数の第２評価値の算出結果に基づいて、前記複数の抽出用モデルの適合態様を決定する処理と、
   を含むことを特徴とする顔構成部抽出方法。
8. 顔構成部抽出装置のコンピュータを、
   画像を取得する取得手段、
   前記取得手段により取得された画像の顔領域から一対の目に対応する一対の目領域を複数検出する目検出手段、
   前記目検出手段により検出された前記複数の一対の目領域について、目らしさに係る第１評価値をそれぞれ算出する第１算出手段、
   前記第１算出手段により算出された第１評価値が所定値以上の所定数の一対の目領域に基づいて、顔を構成する複数の顔構成部を抽出するための複数の抽出用モデルを前記画像内で適合させる適合手段、
   前記適合手段による前記複数の抽出用モデルの適合状態に係る第２評価値を、前記所定数の一対の目領域毎に算出する第２算出手段、
   前記第２算出手段による所定数の第２評価値の算出結果に基づいて、前記適合手段による前記複数の抽出用モデルの適合態様を決定する決定手段、
   として機能させることを特徴とするプログラム。