JP2010244318A - 顔画像における特徴部位の位置を特定する画像処理 - Google Patents

Abstract

【課題】顔画像における特徴部位の位置を特定する画像処理における信頼度の算出精度を向上させる。
【解決手段】画像処理装置は、複数のサンプル顔画像を対象とした統計的分析に基づき設定される顔モデルであって、顔形状を基準形状と形状特徴量とにより表す形状モデルと、顔テクスチャーを基準テクスチャーとテクスチャー特徴量とにより表すテクスチャーモデルと、を含む顔モデルを用いて、対象顔画像における特徴部位の配置を特定する特徴位置特定部と、基準顔画像と対象顔画像との顔テクスチャーを互いに近づけるように基準顔画像と対象顔画像との少なくとも一方に対してテクスチャー補正を行うテクスチャー補正部と、テクスチャー補正後の基準顔画像と対象顔画像とに基づき特定された特徴部位の配置の確からしさを表す特徴部位信頼度を算出する特徴部位信頼度算出部と、を備える。
【選択図】図１

Description

本発明は、顔画像における特徴部位の位置を特定する画像処理に関する。

視覚的事象のモデル化手法として、アクティブアピアランスモデル（Ａｃｔｉｖｅ Ａｐｐｅａｒａｎｃｅ Ｍｏｄｅｌ、略して「ＡＡＭ」とも呼ばれる）が知られている。ＡＡＭでは、例えば、複数のサンプル顔画像における所定の特徴部位（例えば目尻や鼻頭やフェイスライン）の位置（座標）や画素値（例えば輝度値）の統計的分析を通じて、上記特徴部位の位置により特定される顔の形状を表す形状モデルや、平均的な形状における「見え（Ａｐｐｅａｒａｎｃｅ）」を表すテクスチャーモデルが設定され、これらのモデルを用いて顔画像がモデル化される。ＡＡＭによれば、任意の顔画像のモデル化（合成）が可能であり、顔画像における上記特徴部位の位置の特定（検出）が可能である（例えば特許文献１参照）。

特開２００７−１４１１０７号公報

顔画像における特徴部位の位置を特定する画像処理において、特定された特徴部位の位置の確からしさを表す信頼度が算出される場合がある。従来、特徴部位の位置の信頼度の算出精度に向上の余地があった。

なお、このような問題は、ＡＡＭを利用する場合に限らず、顔画像における特徴部位の位置を特定する画像処理を行う際に共通の問題であった。

本発明は、上記の課題を解決するためになされたものであり、顔画像における特徴部位の位置を特定する画像処理における信頼度の算出精度を向上させることを目的とする。

上記課題の少なくとも一部を解決するために、本発明は、以下の形態または適用例として実現することが可能である。

［適用例１］対象顔画像における特徴部位の位置を特定する画像処理装置であって、
複数のサンプル顔画像を対象とした統計的分析に基づき設定される顔モデルであって、複数の前記特徴部位の配置により規定される顔形状を基準形状と少なくとも１つの形状特徴量とにより表す形状モデルと、前記基準形状を有する顔画像の画素値により規定される顔テクスチャーを基準テクスチャーと少なくとも１つのテクスチャー特徴量とにより表すテクスチャーモデルと、を含む顔モデルを用いて、前記対象顔画像における複数の前記特徴部位の配置を特定する特徴位置特定部と、
前記基準形状および前記基準テクスチャーにより規定される基準顔画像と前記対象顔画像との顔テクスチャーを互いに近づけるように前記基準顔画像と前記対象顔画像との少なくとも一方に対してテクスチャー補正を行うテクスチャー補正部と、
前記テクスチャー補正後の前記基準顔画像と前記対象顔画像とに基づき、前記対象顔画像において特定された前記特徴部位の配置の確からしさを表す特徴部位信頼度を算出する特徴部位信頼度算出部と、を備える、画像処理装置。

この画像処理装置では、基準顔画像と対象顔画像との顔テクスチャーを互いに近づけるように基準顔画像と対象顔画像との少なくとも一方に対してテクスチャー補正が行われ、テクスチャー補正後の基準顔画像と対象顔画像とに基づき特徴部位信頼度が算出されるため、特徴部位信頼度の算出精度を向上させることができる。

［適用例２］適用例１に記載の画像処理装置であって、さらに、
前記対象顔画像において特定された前記特徴部位の配置が前記基準顔画像における前記特徴部位の配置に等しくなるように前記基準顔画像と前記対象顔画像との少なくとも一方に対して画像変換を行う画像変換部を備え、
前記特徴部位信頼度算出部は、前記画像変換後の前記基準顔画像と前記対象顔画像との差分値に基づき、前記特徴部位信頼度を算出する、画像処理装置。

この画像処理装置では、画像変換後の基準顔画像と対象顔画像との差分値に基づき特徴部位信頼度を算出する場合において、信頼度の算出精度を向上させることができる。

［適用例３］適用例２に記載の画像処理装置であって、さらに、
前記画像変換後の前記基準顔画像と前記対象顔画像との少なくとも一方に対して、前記基準顔画像と前記対象顔画像との画素値分布を表す指標値を互いに近づける正規化処理を行う正規化部を備え、
前記特徴部位信頼度算出部は、前記正規化処理後の前記基準顔画像と前記対象顔画像との差分値に基づき、前記特徴部位信頼度を算出する、画像処理装置。

この画像処理装置では、基準顔画像と対象顔画像との画素値分布を表す指標値を互いに近づける正規化処理後の基準顔画像と対象顔画像との差分値に基づき特徴部位信頼度が算出されるため、個々の対象顔画像の画素値分布の特徴が特徴部位信頼度に与える影響が抑制され、特徴部位信頼度の算出精度をさらに向上させることができる。

［適用例４］適用例３に記載の画像処理装置であって、
前記指標値は、画素値の平均値と分散値との少なくとも一方を含む、画像処理装置。

この画像処理装置では、基準顔画像と対象顔画像との画素値の平均値と分散値との少なくとも一方を互いに近づける正規化処理を行うことができる。

［適用例５］適用例１ないし適用例４のいずれかに記載の画像処理装置であって、
前記テクスチャー補正部は、前記テクスチャーモデルを用いて前記対象顔画像における所定の前記テクスチャー特徴量を算出し、算出された前記テクスチャー特徴量の前記基準顔画像への付加と算出された前記テクスチャー特徴量の前記対象顔画像からの減算との一方を行うことにより、前記テクスチャー補正を行う、画像処理装置。

この画像処理装置では、基準顔画像と対象顔画像との顔テクスチャーを互いに近づけるようなテクスチャー補正を実現することができる。

［適用例６］適用例５に記載の画像処理装置であって、
前記所定の前記テクスチャー特徴量は、影成分の変化に実質的に対応する前記テクスチャー特徴量である、画像処理装置。

この画像処理装置では、影成分の変化に実質的に対応するテクスチャー特徴量による特徴部位信頼度への影響を抑制することができるため、特徴部位信頼度の算出精度を向上させることができる。

［適用例７］適用例１ないし適用例６のいずれかに記載の画像処理装置であって、
前記特徴位置特定部は、前記基準顔画像における前記特徴点の配置に基づき前記対象顔画像における前記特徴点の初期配置を決定し、前記基準顔画像と前記対象顔画像とにおける前記特徴点の配置が互いに等しくなるように前記基準顔画像と前記対象顔画像との少なくとも一方に対して画像変換を行い、前記基準顔画像と前記対象顔画像との差分値に基づき前記対象顔画像における前記特徴点の配置を更新することにより、前記対象顔画像における前記特徴部位の位置を特定する、画像処理装置。

この画像処理装置では、対象顔画像における特徴部位の位置を特定することができる。

［適用例８］適用例１ないし適用例７のいずれかに記載の画像処理装置であって、
前記基準形状は、前記複数のサンプル顔画像における前記特徴部位の平均位置を表す平均形状であり、
前記基準テクスチャーは、前記平均形状に形状変換された前記複数のサンプル顔画像の画素値の平均を表す平均テクスチャーである、画像処理装置。

この画像処理装置では、対象顔画像一般における特徴部位の位置を特定することができる。

［適用例９］適用例１ないし適用例８のいずれかに記載の画像処理装置であって、さらに、
前記対象顔画像における顔の画像の少なくとも一部を含む画像領域を顔領域として検出する顔領域検出部を備え、
前記特徴位置特定部は、前記対象顔画像における前記顔領域の位置と大きさと傾きとの少なくとも１つを参照して、前記対象顔画像における前記特徴部位の位置を特定する、画像処理装置。

この画像処理装置では、効率的に対象顔画像における特徴部位の位置を特定することができる。

［適用例１０］対象顔画像における特徴部位の位置を特定する画像処理方法であって、
（ａ）複数のサンプル顔画像を対象とした統計的分析に基づき設定される顔モデルであって、複数の前記特徴部位の配置により規定される顔形状を基準形状と少なくとも１つの形状特徴量とにより表す形状モデルと、前記基準形状を有する顔画像の画素値により規定される顔テクスチャーを基準テクスチャーと少なくとも１つのテクスチャー特徴量とにより表すテクスチャーモデルと、を含む顔モデルを用いて、前記対象顔画像における複数の前記特徴部位の配置を特定する工程と、
（ｂ）前記基準形状および前記基準テクスチャーにより規定される基準顔画像と前記対象顔画像との顔テクスチャーを互いに近づけるように前記基準顔画像と前記対象顔画像との少なくとも一方に対してテクスチャー補正を行う工程と、
（ｃ）前記テクスチャー補正後の前記基準顔画像と前記対象顔画像とに基づき、前記対象顔画像において特定された前記特徴部位の配置の確からしさを表す特徴部位信頼度を算出する工程と、を備える、画像処理方法。

［適用例１１］対象顔画像における特徴部位の位置を特定する画像処理のためのコンピュータープログラムであって、
複数のサンプル顔画像を対象とした統計的分析に基づき設定される顔モデルであって、複数の前記特徴部位の配置により規定される顔形状を基準形状と少なくとも１つの形状特徴量とにより表す形状モデルと、前記基準形状を有する顔画像の画素値により規定される顔テクスチャーを基準テクスチャーと少なくとも１つのテクスチャー特徴量とにより表すテクスチャーモデルと、を含む顔モデルを用いて、前記対象顔画像における複数の前記特徴部位の配置を特定する特徴位置特定機能と、
前記基準形状および前記基準テクスチャーにより規定される基準顔画像と前記対象顔画像との顔テクスチャーを互いに近づけるように前記基準顔画像と前記対象顔画像との少なくとも一方に対してテクスチャー補正を行うテクスチャー補正機能と、
前記テクスチャー補正後の前記基準顔画像と前記対象顔画像とに基づき、前記対象顔画像において特定された前記特徴部位の配置の確からしさを表す特徴部位信頼度を算出する特徴部位信頼度算出機能と、を、コンピューターに実現させる、コンピュータープログラム。

［適用例１２］印刷装置であって、
複数のサンプル顔画像を対象とした統計的分析に基づき設定される顔モデルであって、複数の特徴部位の配置により規定される顔形状を基準形状と少なくとも１つの形状特徴量とにより表す形状モデルと、前記基準形状を有する顔画像の画素値により規定される顔テクスチャーを基準テクスチャーと少なくとも１つのテクスチャー特徴量とにより表すテクスチャーモデルと、を含む顔モデルを用いて、対象顔画像における複数の前記特徴部位の配置を特定する特徴位置特定部と、
前記基準形状および前記基準テクスチャーにより規定される基準顔画像と前記対象顔画像との顔テクスチャーを互いに近づけるように前記基準顔画像と前記対象顔画像との少なくとも一方に対してテクスチャー補正を行うテクスチャー補正部と、
前記テクスチャー補正後の前記基準顔画像と前記対象顔画像とに基づき、前記対象顔画像において特定された前記特徴部位の配置の確からしさを表す特徴部位信頼度を算出する特徴部位信頼度算出部と、
前記対象顔画像を印刷する印刷部と、を備える、印刷装置。

なお、本発明は、種々の態様で実現することが可能であり、例えば、画像処理方法および装置、特徴部位位置特定方法および装置、信頼度算出方法および装置、印刷方法および装置、これらの方法または装置の機能を実現するためのコンピュータープログラム、そのコンピュータープログラムを記録した記録媒体、そのコンピュータープログラムを含み搬送波内に具現化されたデータ信号、等の形態で実現することができる。

本発明の実施例における画像処理装置としてのプリンター１００の構成を概略的に示す説明図である。 本実施例におけるＡＡＭ設定処理の流れを示すフローチャートである。 サンプル顔画像ＳＩの一例を示す説明図である。 サンプル顔画像ＳＩにおける特徴点ＣＰの設定方法の一例を示す説明図である。 サンプル顔画像ＳＩに設定された特徴点ＣＰの座標の一例を示す説明図である。 平均形状ｓ₀の一例を示す説明図である。 サンプル顔画像ＳＩのワープＷの方法の一例を示す説明図である。 平均顔画像Ａ₀（ｘ）の一例を示す説明図である。 本実施例における顔特徴位置特定処理の流れを示すフローチャートである。 対象画像ＯＩにおける顔領域ＦＡの検出結果の一例を示す説明図である。 本実施例における特徴点ＣＰの初期配置決定処理の流れを示すフローチャートである。 対象画像ＯＩにおける特徴点ＣＰの仮配置の一例を示す説明図である。 平均形状画像Ｉ（Ｗ（ｘ；ｐ））の一例を示す説明図である。 対象画像ＯＩにおける特徴点ＣＰの初期配置の一例を示す説明図である。 本実施例における特徴点ＣＰ配置更新処理の流れを示すフローチャートである。 顔特徴位置特定処理の結果の一例を示す説明図である。 第１実施例における特徴部位信頼度算出処理の流れを示すフローチャートである。 特徴部位信頼度の算出方法の一例を示す説明図である。 第２実施例における特徴部位信頼度算出処理の流れを示すフローチャートである。 第３実施例における画像処理装置としてのプリンター１００ａの構成を概略的に示す説明図である。 第３実施例におけるＡＡＭ設定処理の流れを示すフローチャートである。 影特徴モデル設定処理の流れを示すフローチャートである。

次に、本発明の実施の形態を実施例に基づいて以下の順序で説明する。
Ａ．第１実施例：
Ａ−１．画像処理装置の構成：
Ａ−２．ＡＡＭ設定処理：
Ａ−３．顔特徴位置特定処理：
Ｂ．第２実施例：
Ｃ．第３実施例：
Ｄ．変形例：

Ａ．第１実施例：
Ａ−１．画像処理装置の構成：
図１は、本発明の第１実施例における画像処理装置としてのプリンター１００の構成を概略的に示す説明図である。本実施例のプリンター１００は、メモリーカードＭＣ等から取得した画像データに基づき画像を印刷する、いわゆるダイレクトプリントに対応したインクジェット式カラープリンターである。プリンター１００は、プリンター１００の各部を制御するＣＰＵ１１０と、ＲＯＭやＲＡＭによって構成された内部メモリー１２０と、ボタンやタッチパネルにより構成された操作部１４０と、液晶ディスプレイにより構成された表示部１５０と、プリンターエンジン１６０と、カードインターフェース（カードＩ／Ｆ）１７０と、を備えている。プリンター１００は、さらに、他の機器（例えばデジタルスチルカメラやパーソナルコンピューター）とのデータ通信を行うためのインターフェースを備えているとしてもよい。プリンター１００の各構成要素は、バスを介して互いに接続されている。

プリンターエンジン１６０は、印刷データに基づき印刷を行う印刷機構である。カードインターフェース１７０は、カードスロット１７２に挿入されたメモリーカードＭＣとの間でデータのやり取りを行うためのインターフェースである。なお、本実施例では、メモリーカードＭＣに画像データを含む画像ファイルが格納されている。

内部メモリー１２０には、画像処理部２００と、表示処理部３１０と、印刷処理部３２０と、が格納されている。画像処理部２００は、所定のオペレーティングシステムの下で、顔特徴位置特定処理を実行するためのコンピュータープログラムである。本実施例の顔特徴位置特定処理は、顔画像における所定の特徴部位（例えば目尻や鼻頭やフェイスライン）の位置を特定（検出）する処理である。顔特徴位置特定処理については、後に詳述する。

画像処理部２００は、プログラムモジュールとして、顔特徴位置特定部２１０と、顔領域検出部２３０と、を含んでいる。顔特徴位置特定部２１０は、初期配置部２１１と、画像変換部２１２と、判定部２１３と、更新部２１４と、正規化部２１５と、テクスチャー補正部２１６と、信頼度算出部２１７と、を含んでいる。これら各部の機能については、後述の顔特徴位置特定処理の説明において詳述する。

表示処理部３１０は、表示部１５０を制御して、表示部１５０上に処理メニューやメッセージ、画像等を表示させるディスプレイドライバである。印刷処理部３２０は、画像データから印刷データを生成し、プリンターエンジン１６０を制御して、印刷データに基づく画像の印刷を実行するためのコンピュータープログラムである。ＣＰＵ１１０は、内部メモリー１２０から、これらのプログラム（画像処理部２００、表示処理部３１０、印刷処理部３２０）を読み出して実行することにより、これら各部の機能を実現する。

内部メモリー１２０には、また、ＡＡＭ情報ＡＭＩが格納されている。ＡＡＭ情報ＡＭＩは、後述のＡＡＭ設定処理によって設定される情報であり、後述の顔特徴位置特定処理において参照される。ＡＡＭ情報ＡＭＩの内容については、後に詳述する。

Ａ−２．ＡＡＭ設定処理：
図２は、第１実施例におけるＡＡＭ設定処理の流れを示すフローチャートである。ＡＡＭ設定処理は、ＡＡＭ（アクティブアピアランスモデル（Ａｃｔｉｖｅ Ａｐｐｅａｒａｎｃｅ Ｍｏｄｅｌ））と呼ばれる画像のモデル化に用いられる形状モデルおよびテクスチャーモデルを設定する処理である。ＡＡＭ設定処理は、例えばコンピューターを用いて予め実行される。

ステップＳ１１０では、人物の顔を表す複数の画像がサンプル顔画像ＳＩとして設定される。図３は、サンプル顔画像ＳＩの一例を示す説明図である。図３に示すように、サンプル顔画像ＳＩは、個性、人種・性別、表情（怒り、笑い、困り、驚き等）、向き（正面向き、上向き、下向き、右向き、左向き等）といった種々の属性に関して互いに相違する画像が含まれるように設定される。サンプル顔画像ＳＩがそのように設定されれば、ＡＡＭによってあらゆる顔画像を精度良くモデル化することが可能となり、あらゆる顔画像を対象とした精度の良い顔特徴位置特定処理（後述）の実行が可能となる。なお、サンプル顔画像ＳＩは、学習顔画像とも呼ばれる。

ステップＳ１２０（図２）では、サンプル顔画像ＳＩのそれぞれにおいて、特徴点ＣＰが設定される。図４は、サンプル顔画像ＳＩにおける特徴点ＣＰの設定方法の一例を示す説明図である。特徴点ＣＰは、顔画像における所定の特徴部位の位置を示す点である。本実施例では、所定の特徴部位として、人物の顔における眉毛上の所定位置（例えば端点や４分割点等、以下同じ）、目の輪郭上の所定位置、鼻筋および小鼻の輪郭上の所定位置、上下唇の輪郭上の所定位置、顔の輪郭（フェイスライン）上の所定位置といった６８箇所の部位が設定されている。すなわち、本実施例では、人物の顔に共通して含まれる顔の器官（眉毛、目、鼻、口）および顔の輪郭における所定位置が、特徴部位として設定されている。図４に示すように、特徴点ＣＰは、各サンプル顔画像ＳＩにおいてオペレーターにより指定された６８個の特徴部位を表す位置に設定（配置）される。このように設定された各特徴点ＣＰは各特徴部位に対応しているため、顔画像における特徴点ＣＰの配置は顔の形状を規定していると表現することができる。

サンプル顔画像ＳＩにおける特徴点ＣＰの位置は、座標により特定される。図５は、サンプル顔画像ＳＩに設定された特徴点ＣＰの座標の一例を示す説明図である。図５において、ＳＩ（ｊ）（ｊ＝１，２，３・・・）は各サンプル顔画像ＳＩを示しており、ＣＰ（ｋ）（ｋ＝０，１，・・・，６７）は各特徴点ＣＰを示している。また、ＣＰ（ｋ）−Ｘは、特徴点ＣＰ（ｋ）のＸ座標を示しており、ＣＰ（ｋ）−Ｙは、特徴点ＣＰ（ｋ）のＹ座標を示している。特徴点ＣＰの座標としては、顔の大きさと顔の傾き（画像面内の傾き）と顔のＸ方向およびＹ方向の位置とのそれぞれについて正規化されたサンプル顔画像ＳＩにおける所定の基準点（例えば画像の左下の点）を原点とした座標が用いられる。また、本実施例では、１つのサンプル顔画像ＳＩに複数の人物の顔が含まれる場合が許容されており（例えばサンプル顔画像ＳＩ（２）には２人の顔が含まれている）、１つのサンプル顔画像ＳＩにおける各人物は人物ＩＤによって特定される。

ステップＳ１３０（図２）では、ＡＡＭの形状モデルが設定される。具体的には、各サンプル顔画像ＳＩにおける６８個の特徴点ＣＰの座標（Ｘ座標およびＹ座標）により構成される座標ベクトル（図５参照）に対する主成分分析が行われ、特徴点ＣＰの位置により特定される顔の形状ｓが下記の式（１）によりモデル化される。なお、形状モデルは、特徴点ＣＰの配置モデルとも呼ばれる。

上記式（１）において、ｓ₀は平均形状である。図６は、平均形状ｓ₀の一例を示す説明図である。図６（ａ）および（ｂ）に示すように、平均形状ｓ₀は、サンプル顔画像ＳＩの各特徴点ＣＰについての平均位置（平均座標）により特定される平均的な顔の形状を表すモデルである。なお、本実施例では、平均形状ｓ₀において、外周に位置する特徴点ＣＰ（フェイスラインおよび眉毛、眉間に対応する特徴点ＣＰ、図４参照）を結ぶ直線により囲まれた領域（図６（ｂ）においてハッチングを付して示す）を「平均形状領域ＢＳＡ」と呼ぶ。平均形状ｓ₀においては、図６（ａ）に示すように、特徴点ＣＰを頂点とする複数の三角形領域ＴＡが、平均形状領域ＢＳＡをメッシュ状に分割するように設定されている。

形状モデルを表す上記式（１）において、ｓ_iは形状ベクトルであり、ｐ_iは形状ベクトルｓ_iの重みを表す形状パラメーターである。形状ベクトルｓ_iは、顔の形状ｓの特性を表すベクトルであり、具体的には、主成分分析により得られる第ｉ主成分に対応する固有ベクトルである。すなわち、分散のより大きい主成分に対応する固有ベクトルから順に、累積寄与率に基づき設定された個数ｎの固有ベクトルが、形状ベクトルｓ_iとして採用される。本実施例では、最も分散の大きい第１主成分に対応する第１形状ベクトルｓ₁は顔の左右振りにほぼ相関するベクトルとなっており、２番目に分散の大きい第２主成分に対応する第２形状ベクトルｓ₂は顔の上下振りにほぼ相関するベクトルとなっている。また、３番目に分散の大きい第３主成分に対応する第３形状ベクトルｓ₃は顔の形状の縦横比にほぼ相関するベクトルとなっており、４番目に分散の大きい第４主成分に対応する第４形状ベクトルｓ₄は口の開きの程度にほぼ相関するベクトルとなっている。

上記式（１）に示すように、本実施例における形状モデルでは、特徴点ＣＰの配置を表す顔形状ｓが、平均形状ｓ₀とｎ個の形状ベクトルｓ_iの線形結合との和としてモデル化される。形状モデルにおいて形状パラメーターｐ_iを適切に設定することにより、あらゆる画像における顔の形状ｓを再現することが可能である。なお、形状モデルにおいて、形状ベクトルｓ_iと形状パラメーターｐ_iとの積は、形状ベクトルｓ_iに対応する顔の形状の特徴についての特徴量を表している。形状モデル設定ステップ（図２のステップＳ１３０）において設定された平均形状ｓ₀および形状ベクトルｓ_iは、ＡＡＭ情報ＡＭＩ（図１）として内部メモリー１２０に格納される。平均形状ｓ₀は、本発明における基準形状に相当し、形状ベクトルｓ_iと形状パラメーターｐ_iとの積は、本発明における形状特徴量に相当する。

ステップＳ１４０（図２）では、ＡＡＭのテクスチャーモデルが設定される。具体的には、まず、各サンプル顔画像ＳＩに対して、サンプル顔画像ＳＩにおける特徴点ＣＰの配置が平均形状ｓ₀における特徴点ＣＰの配置と等しくなるように、画像変換（以下、「ワープＷ」とも呼ぶ）が行われる。

図７は、サンプル顔画像ＳＩのワープＷの方法の一例を示す説明図である。各サンプル顔画像ＳＩにおいては、平均形状ｓ₀と同様に、外周に位置する特徴点ＣＰにより囲まれた領域をメッシュ状に分割する複数の三角形領域ＴＡが設定されている。ワープＷは、複数の三角形領域ＴＡのそれぞれについてのアフィン変換の集合である。すなわち、ワープＷにおいては、サンプル顔画像ＳＩにおけるある三角形領域ＴＡの画像は、平均形状ｓ₀における対応する三角形領域ＴＡの画像へとアフィン変換される。ワープＷにより、特徴点ＣＰの配置が平均形状ｓ₀における特徴点ＣＰの配置と等しいサンプル顔画像ＳＩ（以下「サンプル顔画像ＳＩｗ」と表す）が生成される。

なお、各サンプル顔画像ＳＩｗは、平均形状領域ＢＳＡ（図７においてハッチングを付して示す）を内包する矩形枠を外周とし、平均形状領域ＢＳＡ以外の領域（以下「マスク領域ＭＡ」とも呼ぶ）がマスクされた画像として生成される。平均形状領域ＢＳＡとマスク領域ＭＡとを併せた画像領域を基準領域ＢＡと呼ぶ。また、各サンプル顔画像ＳＩｗは、例えば５６画素×５６画素のサイズの画像として正規化される。

次に、各サンプル顔画像ＳＩｗの画素群ｘのそれぞれにおける輝度値により構成される輝度値ベクトルに対する主成分分析が行われ、顔のテクスチャー（「見え」とも呼ぶ）Ａ（ｘ）が下記の式（２）によりモデル化される。なお、画素群ｘは、平均形状領域ＢＳＡに位置する画素の集合である。

上記式（２）において、Ａ₀（ｘ）は平均顔画像である。図８は、平均顔画像Ａ₀（ｘ）の一例を示す説明図である。平均顔画像Ａ₀（ｘ）は、ワープＷの後のサンプル顔画像ＳＩｗ（図７参照）の平均の画像である。すなわち、平均顔画像Ａ₀（ｘ）は、サンプル顔画像ＳＩｗの平均形状領域ＢＳＡ内の画素群ｘのそれぞれについて画素値（輝度値）の平均をとることにより算出される画像である。従って、平均顔画像Ａ₀（ｘ）は、平均的な顔の形状における平均的な顔のテクスチャー（見え）を表すモデルである。なお、平均顔画像Ａ₀（ｘ）は、サンプル顔画像ＳＩｗと同様に、平均形状領域ＢＳＡとマスク領域ＭＡとで構成される。また、平均顔画像Ａ₀（ｘ）においても、平均形状領域ＢＳＡとマスク領域ＭＡとを併せた画像領域を基準領域ＢＡと呼ぶ。

テクスチャーモデルを表す上記式（２）において、Ａ_i（ｘ）はテクスチャーベクトルであり、λ_iはテクスチャーベクトルＡ_i（ｘ）の重みを表すテクスチャーパラメーターである。テクスチャーベクトルＡ_i（ｘ）は、顔のテクスチャーＡ（ｘ）の特性を表すベクトルであり、具体的には、主成分分析により得られる第ｉ主成分に対応する固有ベクトルである。すなわち、分散のより大きい主成分に対応する固有ベクトルから順に、累積寄与率に基づき設定された個数ｍの固有ベクトルが、テクスチャーベクトルＡ_i（ｘ）として採用される。本実施例では、最も分散の大きい第１主成分に対応する第１テクスチャーベクトルＡ₁（ｘ）は、顔色の変化（性別の差とも捉えられる）にほぼ相関するベクトルとなっており、２番目に分散の大きい第２主成分に対応する第２テクスチャーベクトルＡ₂（ｘ）は、影成分の変化（光源位置の変化とも捉えられる）にほぼ相関するベクトルとなっている。

上記式（２）に示すように、本実施例におけるテクスチャーモデルでは、顔の見えを表す顔のテクスチャーＡ（ｘ）が、平均顔画像Ａ₀（ｘ）とｍ個のテクスチャーベクトルＡ_i（ｘ）の線形結合との和としてモデル化される。テクスチャーモデルにおいてテクスチャーパラメーターλ_iを適切に設定することにより、あらゆる画像における顔のテクスチャーＡ（ｘ）を再現することが可能である。なお、テクスチャーモデルにおいて、テクスチャーベクトルＡ_i（ｘ）とテクスチャーパラメーターλ_iとの積は、テクスチャーベクトルＡ_i（ｘ）に対応する顔のテクスチャーの特徴についての特徴量を表している。テクスチャーモデル設定ステップ（図２のステップＳ１４０）において設定された平均顔画像Ａ₀（ｘ）およびテクスチャーベクトルＡ_i（ｘ）は、ＡＡＭ情報ＡＭＩ（図１）として内部メモリー１２０に格納される。平均顔画像Ａ₀（ｘ）は、本発明における基準テクスチャーに相当し、テクスチャーベクトルＡ_i（ｘ）とテクスチャーパラメーターλ_iとの積は、本発明におけるテクスチャー特徴量に相当する。

以上説明したＡＡＭ設定処理（図２）により、顔の形状をモデル化する形状モデルと、顔のテクスチャーをモデル化するテクスチャーモデルと、を含む顔モデル（ＡＡＭ）が設定される。設定された形状モデルとテクスチャーモデルとを組み合わせることにより、すなわち合成されたテクスチャーＡ（ｘ）に対して平均形状ｓ₀から形状ｓへの変換（図７に示したワープＷの逆変換）を行うことにより、あらゆる顔画像の形状およびテクスチャーを再現することが可能である。

Ａ−３．顔特徴位置特定処理：
図９は、第１実施例における顔特徴位置特定処理の流れを示すフローチャートである。本実施例における顔特徴位置特定処理は、ＡＡＭを利用して対象画像における特徴点ＣＰの配置を決定することにより、対象画像における顔の特徴部位の位置を特定する処理である。上述したように、本実施例では、ＡＡＭ設定処理（図２）において、人物の顔の器官（眉毛、目、鼻、口）および顔の輪郭における計６８箇所の所定位置が、特徴部位として設定されている（図４参照）。そのため、本実施例の顔特徴位置特定処理では、人物の顔の器官および顔の輪郭における所定位置を示す６８個の特徴点ＣＰの配置が決定される。

なお、顔特徴位置特定処理によって対象画像における特徴点ＣＰの配置が決定されると、対象画像における人物の顔の器官の形状・位置や顔の輪郭形状の特定が可能となる。従って、顔特徴位置特定処理の処理結果は、特定の表情（例えば笑顔や目を閉じた顔）の顔画像を検出するための表情判定や、特定の向き（例えば右向きや下向き）の顔画像を検出するための顔向き推定、顔の形状を変形する顔変形等に利用可能である。

ステップＳ２１０（図９）では、画像処理部２００（図１）が、顔特徴位置特定処理の対象となる対象画像を表す画像データを取得する。本実施例のプリンター１００では、カードスロット１７２にメモリーカードＭＣが挿入されると、メモリーカードＭＣに格納された画像ファイルのサムネイル画像が表示部１５０に表示される。ユーザーは、表示されたサムネイル画像を参照しつつ、操作部１４０を介して処理の対象となる１つまたは複数の画像を選択する。画像処理部２００は、選択された１つまたは複数の画像に対応する画像データを含む画像ファイルをメモリーカードＭＣより取得して内部メモリー１２０の所定の領域に格納する。なお、取得された画像データを対象画像データと呼び、対象画像データの表す画像を対象画像ＯＩと呼ぶものとする。

ステップＳ２２０（図９）では、顔領域検出部２３０（図１）が、対象画像ＯＩにおける顔の画像の少なくとも一部を含む画像領域を顔領域ＦＡとして検出する。顔領域ＦＡの検出は、公知の顔検出手法を用いて行うことができる。公知の顔検出手法としては、例えば、パターンマッチングによる手法や肌色領域抽出による手法、サンプル顔画像を用いた学習（例えばニューラルネットワークを用いた学習や、ブースティングを用いた学習、サポートベクターマシーンを用いた学習等）により設定される学習データを用いる手法等がある。

図１０は、対象画像ＯＩにおける顔領域ＦＡの検出結果の一例を示す説明図である。図１０には、対象画像ＯＩにおいて検出された顔領域ＦＡが示されている。本実施例では、おおよそ、顔の上下方向は額から顎まで、左右方向は両耳の外側まで含む矩形の領域が顔領域ＦＡとして検出されるような顔検出手法が用いられている。

なお、図１０に示した想定基準領域ＡＢＡは、平均顔画像Ａ₀（ｘ）の全体領域である基準領域ＢＡ（図８参照）に対応すると想定される領域である。想定基準領域ＡＢＡは、検出された顔領域ＦＡに基づき、大きさ・傾き・上下および左右方向の位置のそれぞれについて顔領域ＦＡと所定の関係を有する領域に設定される。顔領域ＦＡと想定基準領域ＡＢＡとの所定の関係は、顔領域ＦＡに表された顔が平均的な顔である場合には想定基準領域ＡＢＡが基準領域ＢＡに対応することとなるように、顔領域ＦＡの検出に採用する顔検出手法の特性（どのような顔の範囲を顔領域ＦＡとして検出するか）を考慮して予め設定される。

なお、ステップＳ２２０（図９）において対象画像ＯＩから顔領域ＦＡが検出されなかった場合には、対象画像ＯＩに顔の画像が含まれていないとして顔特徴位置特定処理が終了されるか、あるいは顔領域ＦＡの検出処理が再度実行される。

ステップＳ２３０（図９）では、顔特徴位置特定部２１０（図１）が、対象画像ＯＩにおける特徴点ＣＰの初期配置を決定する。図１１は、本実施例における特徴点ＣＰの初期配置決定処理の流れを示すフローチャートである。特徴点ＣＰ初期配置決定処理のステップＳ３１０では、初期配置部２１１（図１）が、グローバルパラメーターとしての大きさ、傾き、位置（上下方向の位置および左右方向の位置）の値を種々変更して、対象画像ＯＩ上に特徴点ＣＰの仮配置を設定する。

図１２は、対象画像ＯＩにおける特徴点ＣＰの仮配置の一例を示す説明図である。図１２（ａ）および図１２（ｂ）には、対象画像ＯＩにおける特徴点ＣＰの仮配置をメッシュによって示している。すなわち、メッシュの各交点が特徴点ＣＰである。初期配置部２１１は、図１２（ａ）および図１２（ｂ）の中央に示すように、対象画像ＯＩの想定基準領域ＡＢＡ（図１０参照）に平均顔画像Ａ₀（ｘ）（図８参照）を重ねた場合における平均顔画像Ａ₀（ｘ）の特徴点ＣＰにより特定される仮配置（以下、「基準仮配置」とも呼ぶ）を設定する。

初期配置部２１１は、また、基準仮配置に対して、グローバルパラメーターの値を種々変更した仮配置を設定する。グローバルパラメーター（大きさ、傾き、上下方向の位置および左右方向の位置）を変更することは、特徴点ＣＰの仮配置を特定するメッシュに対して拡大・縮小、傾きの変更、並行移動を行うことに相当する。従って、初期配置部２１１は、図１２（ａ）に示すように、基準仮配置のメッシュに対して所定倍率で拡大または縮小したメッシュにより特定される仮配置（基準仮配置の下および上に示す）や、所定角度だけ時計回りまたは半時計回りに傾きを変更したメッシュにより特定される仮配置（基準仮配置の右および左に示す）を設定する。また、初期配置部２１１は、基準仮配置のメッシュに対して拡大・縮小および傾きの変更を組み合わせた変換を行ったメッシュにより特定される仮配置（基準仮配置の左上、左下、右上、右下に示す）も設定する。

また、図１２（ｂ）に示すように、初期配置部２１１は、基準仮配置のメッシュを所定量だけ上または下に並行移動したメッシュにより特定される仮配置（基準仮配置の上および下に示す）や、左または右に並行移動したメッシュにより特定される仮配置（基準仮配置の左および右に示す）を設定する。また、初期配置部２１１は、基準仮配置のメッシュに対して、上下および左右の並行移動を組み合わせた変換を行ったメッシュにより特定される仮配置（基準仮配置の左上、左下、右上、右下に示す）も設定する。

さらに、初期配置部２１１は、図１２（ａ）に示す基準仮配置以外の８つの仮配置のそれぞれにおけるメッシュに対して図１２（ｂ）に示す上下左右の並行移動が実行されたメッシュにより特定される仮配置も設定する。従って、本実施例では、基準仮配置と、基準仮配置におけるメッシュに対して４つのグローバルパラメーター（大きさ、傾き、上下方向の位置、左右方向の位置）のそれぞれについての３段階の値の組み合わせに対応する合計８０種類（＝３×３×３×３―１）の変換を行うことにより設定される８０種類の仮配置と、の合計８１種類の仮配置が設定される。

なお、本実施例において、基準仮配置における平均顔画像Ａ₀（ｘ）と対象画像ＯＩの想定基準領域ＡＢＡとの対応関係を「基準対応関係」と呼ぶものとする。仮配置の設定は、基準対応関係を基準として平均顔画像Ａ₀（ｘ）と対象画像ＯＩとの一方に対する上述の合計８０種類の変換が行われた後の平均顔画像Ａ₀（ｘ）と対象画像ＯＩとの対応関係（以下、「変換対応関係」とも呼ぶ）が設定され、基準対応関係および変換対応関係における平均顔画像Ａ₀（ｘ）の特徴点ＣＰの配置を対象画像ＯＩにおける特徴点ＣＰの仮配置とすることにより実現されると表現できる。

ステップＳ３２０（図１１）では、画像変換部２１２（図１）が、設定された各仮配置に対応する平均形状画像Ｉ（Ｗ（ｘ；ｐ））を算出する。図１３は、平均形状画像Ｉ（Ｗ（ｘ；ｐ））の一例を示す説明図である。平均形状画像Ｉ（Ｗ（ｘ；ｐ））は、平均形状ｓ₀を有する顔画像である。平均形状画像Ｉ（Ｗ（ｘ；ｐ））は、入力画像における特徴点ＣＰの配置が平均形状ｓ₀における特徴点ＣＰの配置と等しくなるような変換によって算出される。

平均形状画像Ｉ（Ｗ（ｘ；ｐ））を算出するための変換は、サンプル顔画像ＳＩｗ算出のための変換（図７参照）と同様に、三角形領域ＴＡ毎のアフィン変換の集合であるワープＷにより行われる。具体的には、対象画像ＯＩに配置された特徴点ＣＰ（図１２参照）によって対象画像ＯＩにおける平均形状領域ＢＳＡ（外周に位置する特徴点ＣＰにより囲まれた領域、図６参照）が特定され、平均形状領域ＢＳＡに対して三角形領域ＴＡ毎のアフィン変換が行われることにより、平均形状画像Ｉ（Ｗ（ｘ；ｐ））が算出される。本実施例では、平均形状画像Ｉ（Ｗ（ｘ；ｐ））は、平均顔画像Ａ₀（ｘ）と同様に平均形状領域ＢＳＡおよびマスク領域ＭＡにより構成され、平均顔画像Ａ₀（ｘ）と同サイズの画像として算出される。図１３には、図１２（ａ）に示した９個の仮配置に対応する９個の平均形状画像Ｉ（Ｗ（ｘ；ｐ））の例を示している。

なお、上述したように、画素群ｘは、平均形状ｓ₀における平均形状領域ＢＳＡに位置する画素の集合である。ワープＷ実行後の画像（平均形状ｓ₀を有する顔画像）における画素群ｘに対応するワープＷ実行前の画像（対象画像ＯＩの平均形状領域ＢＳＡ）における画素群をＷ（ｘ；ｐ）と表す。平均形状画像は、対象画像ＯＩの平均形状領域ＢＳＡにおける画素群Ｗ（ｘ；ｐ）のそれぞれにおける輝度値により構成される画像であるため、Ｉ（Ｗ（ｘ；ｐ））と表される。

ステップＳ３３０（図１１）では、初期配置部２１１（図１）が、各平均形状画像Ｉ（Ｗ（ｘ；ｐ））と平均顔画像Ａ₀（ｘ）との差分画像Ｉｅを算出する。特徴点ＣＰの仮配置は８１種類設定され、平均形状画像Ｉ（Ｗ（ｘ；ｐ））は８１個設定されているため、初期配置部２１１は８１個の差分画像Ｉｅを算出することとなる。

ステップＳ３４０（図１１）では、初期配置部２１１（図１）が、各差分画像Ｉｅのノルムを算出し、ノルムの値が最も小さい差分画像Ｉｅに対応する仮配置（以下「ノルム最小仮配置」とも呼ぶ）を、対象画像ＯＩにおける特徴点ＣＰの初期配置として設定する。ノルム最小仮配置は、平均顔画像Ａ₀（ｘ）との相違の程度が最も小さい（最も近い、最も似ている）平均形状画像Ｉ（Ｗ（ｘ；ｐ））に対応する仮配置である。なお、ノルム最小仮配置を選択することは、上述した基準対応関係および８０種類の変換対応関係の中から、正規化処理後の平均形状画像Ｉ（Ｗ（ｘ；ｐ））と平均顔画像Ａ₀（ｘ）との相違の程度が最も小さい対応関係を選択し、選択された対応関係における仮配置を選択することと同義である。特徴点ＣＰの初期配置処理により、対象画像ＯＩにおいて、特徴点ＣＰの配置の全体的な大きさ、傾き、位置（上下方向の位置および左右方向の位置）を規定するグローバルパラメーターの概略値が設定されたこととなる。

図１４は、対象画像ＯＩにおける特徴点ＣＰの初期配置の一例を示す説明図である。図１４では、対象画像ＯＩにおいて決定された特徴点ＣＰの初期配置をメッシュによって表現している。すなわち、メッシュの各交点が特徴点ＣＰである。

特徴点ＣＰ初期配置決定処理（図９のステップＳ２３０）が完了すると、顔特徴位置特定部２１０（図１）は、対象画像ＯＩにおける特徴点ＣＰの配置更新を行う（ステップＳ２４０）。図１５は、本実施例における特徴点ＣＰ配置更新処理の流れを示すフローチャートである。

特徴点ＣＰ配置更新処理（図１５）のステップＳ４１０では、画像変換部２１２（図１）が、対象画像ＯＩから平均形状画像Ｉ（Ｗ（ｘ；ｐ））を算出する。平均形状画像Ｉ（Ｗ（ｘ；ｐ））は、平均形状ｓ₀を有する顔画像である。平均形状画像Ｉ（Ｗ（ｘ；ｐ））は、入力画像における特徴点ＣＰの配置が平均形状ｓ₀における特徴点ＣＰの配置（図６参照）と等しくなるような変換によって算出される。

平均形状画像Ｉ（Ｗ（ｘ；ｐ））を算出するための変換は、サンプル顔画像ＳＩｗ算出のための変換（図７参照）と同様に、三角形領域ＴＡ毎のアフィン変換の集合であるワープＷにより行われる。具体的には、対象画像ＯＩに配置された特徴点ＣＰ（図１４参照）によって対象画像ＯＩにおける平均形状領域ＢＳＡ（外周に位置する特徴点ＣＰにより囲まれた領域、図６参照）が特定され、平均形状領域ＢＳＡに対して三角形領域ＴＡ毎のアフィン変換が行われることにより、平均形状画像Ｉ（Ｗ（ｘ；ｐ））が算出される。本実施例では、平均形状画像Ｉ（Ｗ（ｘ；ｐ））は、平均顔画像Ａ₀（ｘ）と同様に平均形状領域ＢＳＡおよびマスク領域ＭＡにより構成され、平均顔画像Ａ₀（ｘ）と同サイズの画像として算出される。

ステップＳ４１２（図１５）では、正規化部２１５（図１）が、平均顔画像Ａ₀（ｘ）の輝度値分布を表す指標値を参照して、平均形状画像Ｉ（Ｗ（ｘ；ｐ））を正規化する。本実施例では、平均顔画像Ａ₀（ｘ）の平均形状領域ＢＳＡ（図８参照）における輝度値分布を表す指標値としての平均値および分散値を示す情報が、ＡＡＭ情報ＡＭＩに含まれている。正規化部２１５は、平均形状画像Ｉ（Ｗ（ｘ；ｐ））の平均形状領域ＢＳＡにおける輝度値の平均値および分散値を算出し、算出された平均値および分散値が平均顔画像Ａ₀（ｘ）の輝度値の平均値および分散値に等しくなるように、平均形状画像Ｉ（Ｗ（ｘ；ｐ））の平均形状領域ＢＳＡに対する画像変換（正規化処理）を行う。

ステップＳ４２０（図１５）では、顔特徴位置特定部２１０（図１）が、正規化処理後の平均形状画像Ｉ（Ｗ（ｘ；ｐ））と平均顔画像Ａ₀（ｘ）との差分画像Ｉｅを算出する。ステップＳ４３０では、判定部２１３（図１）が、差分画像Ｉｅに基づき、特徴点ＣＰの配置更新処理が収束したか否かを判定する。判定部２１３は、差分画像Ｉｅのノルムを算出し、ノルムの値が予め設定された閾値より小さい場合には収束したと判定し、ノルムの値が閾値以上の場合には未だ収束していないと判定する。差分画像Ｉｅのノルムは、平均形状画像Ｉ（Ｗ（ｘ；ｐ））と平均顔画像Ａ₀（ｘ）との相違の程度を表す指標値である。

なお、ステップＳ４３０の収束判定において、判定部２１３は、算出された差分画像Ｉｅのノルムの値が前回のステップＳ４３０において算出された値よりも小さい場合には収束したと判定し、前回値以上である場合には未だ収束していないと判定するものとしてもよい。あるいは、判定部２１３は、閾値による判定と前回値との比較による判定とを組み合わせて収束判定を行うものとしてもよい。例えば、判定部２１３は、算出されたノルムの値が、閾値より小さく、かつ、前回値より小さい場合にのみ収束したと判定し、それ以外の場合には未だ収束していないと判定するものとしてもよい。

ステップＳ４３０の収束判定において未だ収束していないと判定された場合には、更新部２１４（図１）が、パラメーター更新量ΔＰを算出する（ステップＳ４４０）。パラメーター更新量ΔＰは、４個のグローバルパラメーター（全体としての大きさ、傾き、Ｘ方向位置、Ｙ方向位置）およびｎ個の形状パラメーターｐ_i（式（１）参照）の値の変更量を意味している。なお、特徴点ＣＰの初期配置直後においては、グローバルパラメーターは、特徴点ＣＰ初期配置決定処理（図１１）において決定された値が設定されている。また、このときの特徴点ＣＰの初期配置と平均形状ｓ₀の特徴点ＣＰの配置との相違は、全体としての大きさ、傾き、位置の相違に限られるため、形状モデルにおける形状パラメーターｐ_iの値はすべてゼロである。

パラメーター更新量ΔＰは、下記の式（３）により算出される。すなわち、パラメーター更新量ΔＰは、アップデートマトリックスＲと差分画像Ｉｅとの積である。

式（３）におけるアップデートマトリックスＲは、差分画像Ｉｅに基づきパラメーター更新量ΔＰを算出するために予め学習により設定されたＭ行Ｎ列のマトリックスであり、ＡＡＭ情報ＡＭＩ（図１）として内部メモリー１２０に格納されている。本実施例では、アップデートマトリックスＲの行数Ｍは、グローバルパラメーターの数（４個）と形状パラメーターｐ_iの数（ｎ個）との和（（４＋ｎ）個）に等しく、列数Ｎは、平均顔画像Ａ₀（ｘ）（図８）の平均形状領域ＢＳＡ内の画素数に等しい。アップデートマトリックスＲは、下記の式（４）および（５）により算出される。

ステップＳ４５０（図１５）では、更新部２１４（図１）が、算出されたパラメーター更新量ΔＰに基づきパラメーター（４個のグローバルパラメーターおよびｎ個の形状パラメーターｐ_i）を更新する。これにより、対象画像ＯＩにおける特徴点ＣＰの配置が更新される。ステップＳ４５０のパラメーター更新の後には、再度、特徴点ＣＰの配置が更新された対象画像ＯＩからの平均形状画像Ｉ（Ｗ（ｘ；ｐ））の算出（ステップＳ４１０）、差分画像Ｉｅの算出（ステップＳ４２０）、差分画像Ｉｅに基づく収束判定（ステップＳ４３０）が行われる。再度の収束判定においても収束していないと判定された場合には、さらに、差分画像Ｉｅに基づくパラメーター更新量ΔＰの算出（ステップＳ４４０）、パラメーター更新による特徴点ＣＰの配置更新（ステップＳ４５０）が行われる。

図１５のステップＳ４１０からＳ４５０までの処理が繰り返し実行されると、対象画像ＯＩにおける各特徴部位に対応する特徴点ＣＰの位置は実際の特徴部位の位置（正解位置）に全体として近づいていき、ある時点で収束判定（ステップＳ４３０）において収束したと判定される。収束判定において収束したと判定されると、顔特徴位置特定処理が完了する（ステップＳ４６０）。このとき設定されているグローバルパラメーターおよび形状パラメーターｐ_iの値により特定される特徴点ＣＰの配置が、最終的な対象画像ＯＩにおける特徴点ＣＰの配置として決定される。

図１６は、顔特徴位置特定処理の結果の一例を示す説明図である。図１６には、対象画像ＯＩにおいて最終的に決定された特徴点ＣＰの配置が示されている。特徴点ＣＰの配置により、対象画像ＯＩにおける特徴部位（人物の顔の器官（眉毛、目、鼻、口）および顔の輪郭における所定位置）の位置が特定され、対象画像ＯＩにおける人物の顔の器官の形状・位置や顔の輪郭形状の特定が可能となる。

顔特徴位置特定処理（図９）のステップＳ２５０では、特徴部位信頼度算出処理が行われる。図１７は、第１実施例における特徴部位信頼度算出処理の流れを示すフローチャートである。特徴部位信頼度算出処理は、顔特徴位置特定処理のステップＳ２１０からＳ２４０において特定された対象画像ＯＩにおける特徴部位の位置（特徴点ＣＰの配置）の確からしさを表す特徴部位信頼度を算出する処理である。すなわち、特徴部位信頼度は、対象画像ＯＩにおいて特定された特徴部位の位置が、全体として、対象画像ＯＩにおける実際の特徴部位の位置にどれだけ近いかを表す指標値である。

特徴部位信頼度算出処理のステップＳ５１０（図１７）では、テクスチャー補正部２１６（図１）が、平均形状ｓ₀に変換された対象画像ＯＩ（平均形状画像Ｉ（Ｗ（ｘ；ｐ）））の平均形状領域ＢＳＡ（図８参照）の部分を、テクスチャーモデルにおける第２テクスチャーベクトルＡ₂（ｘ）に射影して、第２テクスチャーベクトルＡ₂（ｘ）に対応する特徴量を取得する。具体的には、テクスチャー補正部２１６は、特徴点ＣＰ配置更新処理（図１５）の収束判定（ステップＳ４３０）で収束したと判定される直前のステップＳ４１０において算出された平均形状画像Ｉ（Ｗ（ｘ；ｐ））のテクスチャーベクトルと第２テクスチャーベクトルＡ₂（ｘ）との内積値を、特徴量として算出する。上述したように、テクスチャーモデルにおける第２テクスチャーベクトルＡ₂（ｘ）は、影成分の変化にほぼ相関するベクトルであるため、算出された特徴量は影成分の変化に実質的に対応する特徴量となる。以下では、第２テクスチャーベクトルＡ₂（ｘ）に対応する特徴量を影成分特徴量とも呼ぶものとする。なお、特徴部位信頼度算出処理のステップＳ５１０において、あらためて画像変換部２１２による対象画像ＯＩからの平均形状画像Ｉ（Ｗ（ｘ；ｐ））の算出が行われ、算出された平均形状画像Ｉ（Ｗ（ｘ；ｐ））を用いて影成分特徴量の算出が行われるとしてもよい。

ステップＳ５２０（図１７）では、テクスチャー補正部２１６（図１）が、ステップＳ５１０において算出された影成分特徴量を平均顔画像Ａ₀（ｘ）に付加するテクスチャー補正を行う。すなわち、ステップＳ５１０で算出された内積値が平均顔画像Ａ₀（ｘ）のテクスチャーＡに付加される。平均顔画像Ａ₀（ｘ）のテクスチャーＡにおけるテクスチャーパラメーターλ_iの値はすべてゼロであるため、影成分特徴量を平均顔画像Ａ₀（ｘ）に付加するテクスチャー補正により、対象画像ＯＩ（平均形状ｓ₀に変換された対象画像ＯＩ）のテクスチャーＡと平均顔画像Ａ₀（ｘ）のテクスチャーＡとが互いに近づくこととなる。

ステップＳ５３０（図１７）では、信頼度算出部２１７（図１）が、テクスチャー補正後の平均顔画像Ａ₀（ｘ）と対象画像ＯＩとに基づき、特徴部位信頼度を算出する。図１８は、特徴部位信頼度の算出方法の一例を示す説明図である。まず、信頼度算出部２１７は、平均形状ｓ₀に変換された対象画像ＯＩ（平均形状画像Ｉ（Ｗ（ｘ；ｐ）））からテクスチャー補正後の平均顔画像Ａ₀（ｘ）を減算して差分画像Ｉｅを算出する。次に、信頼度算出部２１７は、予め設定された図１８に示す対応関係を用いて、差分画像Ｉｅのノルムに基づき特徴部位信頼度を算出する。

図１８に示すように、差分画像Ｉｅのノルムが小さいほど対象画像ＯＩから算出された平均形状画像Ｉ（Ｗ（ｘ；ｐ））と平均顔画像Ａ₀（ｘ）とが近いことを意味するため、特徴部位信頼度は大きい（高い）値となり、逆に、差分画像Ｉｅのノルムが大きいほど平均形状画像Ｉ（Ｗ（ｘ；ｐ））と平均顔画像Ａ₀（ｘ）とが近くない（離れている）ことを意味するため、特徴部位信頼度は小さい（低い）値となる。本実施例では、差分画像Ｉｅのノルムが第１の閾値Ｒ１以下の場合には特徴部位信頼度の値は最高値１００とされ、差分画像Ｉｅのノルムが第２の閾値Ｒ２以上の場合には特徴部位信頼度の値は最低値０とされる。また、差分画像Ｉｅのノルムが第１の閾値Ｒ１より大きく第２の閾値Ｒ２より小さい場合には、差分画像Ｉｅのノルムが大きいほど特徴部位信頼度の値が小さくなるような線形の関係に従い、特徴部位信頼度の値が決定される。

以上説明したように、本実施例の顔特徴位置特定処理（図９）では、対象画像ＯＩにおける顔領域ＦＡが検出され、対象画像ＯＩにおける特徴部位の位置（特徴点ＣＰの配置）が特定され、特徴部位信頼度が算出される。ここで、本実施例では、平均顔画像Ａ₀（ｘ）と対象画像ＯＩ（平均形状ｓ₀に変換された対象画像ＯＩ（平均形状画像Ｉ（Ｗ（ｘ；ｐ））））とのテクスチャーＡが互いに近づくように、平均顔画像Ａ₀（ｘ）に対象画像ＯＩの影成分特徴量を付加するテクスチャー補正が行われ、その後、平均形状画像Ｉ（Ｗ（ｘ；ｐ））と平均顔画像Ａ₀（ｘ）との差分画像Ｉｅに基づく特徴部位信頼度の算出が行われる。そのため、本実施例では、対象画像ＯＩの影成分特徴量による特徴部位信頼度への影響を抑制することができる。例えば、ＡＡＭ設定処理におけるサンプル顔画像ＳＩの選択方法によっては、対象画像ＯＩの撮像時の照明条件が逆光や斜光であった場合には、正面光であった場合と比較して、特徴部位信頼度が低い値となる傾向になるものと考えられる。本実施例では、テクスチャー補正により、対象画像ＯＩの影成分特徴量による特徴部位信頼度への影響を抑制することができるため、特徴部位信頼度の算出精度を向上させることができる。

Ｂ．第２実施例：
図１９は、第２実施例における特徴部位信頼度算出処理の流れを示すフローチャートである。第２実施例では、ステップＳ５２０とＳ５３０との間に正規化処理（ステップＳ５２２）が行われる点が、図１７に示した第１実施例とは異なっている。第２実施例の特徴部位信頼度算出処理のその他の内容は、第１実施例と同じである。

特徴部位信頼度算出処理のステップＳ５２２では、正規化部２１５（図１）が、平均顔画像Ａ₀（ｘ）の輝度値分布を表す指標値を参照して、平均形状画像Ｉ（Ｗ（ｘ；ｐ））を正規化する。この正規化処理は、特徴点ＣＰ配置更新処理（図１５）のステップＳ４１２における正規化処理と同様に実行される。すなわち、正規化部２１５は、平均形状ｓ₀に変換された対象画像ＯＩ（平均形状画像Ｉ（Ｗ（ｘ；ｐ）））における輝度値の平均値および分散値を算出し、算出された平均値および分散値が平均顔画像Ａ₀（ｘ）の輝度値の平均値および分散値に等しくなるように、平均形状画像Ｉ（Ｗ（ｘ；ｐ））に対する画像変換（正規化処理）を行う。ステップＳ５２２の正規化処理の後は、第１実施例と同様に、正規化処理後の平均形状画像Ｉ（Ｗ（ｘ；ｐ））から平均顔画像Ａ₀（ｘ）を減算して差分画像Ｉｅが算出され、差分画像Ｉｅのノルムに基づき特徴部位信頼度が算出される（ステップＳ５３０）。

以上説明したように、第２実施例の特徴部位信頼度算出処理（図１９）においても、第１実施例と同様に、平均顔画像Ａ₀（ｘ）と平均形状ｓ₀に変換された対象画像ＯＩ（平均形状画像Ｉ（Ｗ（ｘ；ｐ）））とのテクスチャーＡが互いに近づくように、平均顔画像Ａ₀（ｘ）に対象画像ＯＩの影成分特徴量を付加するテクスチャー補正が行われる（ステップＳ５２０）。そのため、第２実施例では、テクスチャー補正により、対象画像ＯＩの影成分特徴量による特徴部位信頼度への影響を抑制することができるため、特徴部位信頼度の算出精度を向上させることができる。

さらに、第２実施例では、平均形状画像Ｉ（Ｗ（ｘ；ｐ））における輝度値の平均値および分散値が平均顔画像Ａ₀（ｘ）の輝度値の平均値および分散値に等しくなるように平均形状画像Ｉ（Ｗ（ｘ；ｐ））に対する画像変換（正規化処理）が行われた後に、平均形状画像Ｉ（Ｗ（ｘ；ｐ））と平均顔画像Ａ₀（ｘ）との差分画像Ｉｅのノルムに基づき特徴部位信頼度が算出される。そのため、第２実施例では、個々の対象画像ＯＩの輝度値分布の特徴が特徴部位信頼度に与える影響が抑制され、特徴部位信頼度の算出精度をさらに向上させることができる。

なお、第２実施例では、影成分についてのテクスチャー補正と輝度値の平均値および分散値についての正規化処理とが独立して実行されている。これは、影成分についてのテクスチャー補正がテクスチャーの主成分分析の結果としてのベクトルを用いて実行されるのに対して、輝度値の平均値および分散値はスカラー値であり、２つの処理を同時に実行することはできないからである。また、影成分についてのテクスチャー補正と輝度値の平均値および分散値についての正規化処理との処理順は、影成分についてのテクスチャー補正によって輝度値の平均値および分散値が変動することから、テクスチャー補正が先で正規化処理が後としている。

Ｃ．第３実施例：
図２０は、第３実施例における画像処理装置としてのプリンター１００ａの構成を概略的に示す説明図である。第３実施例のプリンター１００ａは、画像処理部２００がＡＡＭ設定部２４０を含む点が図１に示した第１実施例のプリンター１００と異なっている。第３実施例のプリンター１００ａのその他の構成は、第１実施例のプリンター１００と同じである。

ＡＡＭ設定部２４０は、ＡＡＭ設定処理を実行するためのコンピュータープログラムである。ＡＡＭ設定処理は、上述した第１実施例のＡＡＭ設定処理と同様に、ＡＡＭと呼ばれる画像のモデル化に用いられる形状モデルおよびテクスチャーモデルを設定する処理である。ＡＡＭ設定部２４０は、形状モデル設定部２４１と、テクスチャーモデル設定部２４２と、を含んでおり、テクスチャーモデル設定部２４２は、影特徴モデル設定部２４４と、補正モデル設定部２４５と、を含んでいる。これら各部の機能については、後述する。

図２１は、第３実施例におけるＡＡＭ設定処理の流れを示すフローチャートである。第３実施例におけるＡＡＭ設定処理のステップＳ１１０からＳ１３０までの処理の内容は、図２に示した第１実施例と同じである。すなわち、サンプル顔画像ＳＩが設定され、各サンプル顔画像ＳＩにおける特徴点ＣＰが設定され、特徴点ＣＰの座標の主成分分析により形状モデルが設定される。

ステップＳ１３２（図２１）では、ＡＡＭ設定部２４０（図２０）が、影特徴モデル設定処理を実行する。影特徴モデル設定処理は、顔テクスチャーにおける影成分を表す影特徴モデルを設定する処理であり、より具体的には、影成分の変化（光源位置の変化とも捉えられる）にほぼ相関するベクトル（以下、「影ベクトル」とも呼ぶ）を設定する処理である。なお、影成分は、本発明における特定の特徴に相当し、影特徴モデルは、本発明における特定特徴モデルに相当する。

図２２は、影特徴モデル設定処理の流れを示すフローチャートである。ステップＳ６１０では、ステップＳ１１０（図２１）で設定された複数のサンプル顔画像ＳＩ（以下「基本サンプル顔画像群」とも呼ぶ）の中から、影特徴モデル設定用の複数のサンプル顔画像ＳＩ（以下「影用サンプル顔画像群」とも呼ぶ）が選択される。影用サンプル顔画像群は、基本サンプル顔画像群と比較して、影成分に関する分散が大きくなるように選択される。本実施例では、影用サンプル顔画像群として、光源の位置が互いに異なる同一人物の複数のサンプル顔画像ＳＩが選択される。また、影用サンプル顔画像群は、各サンプル顔画像ＳＩにおける影成分の平均値がほぼゼロ、すなわち顔にほとんど影がかかっていない状態に対応する値となるように、設定される。なお、影用サンプル顔画像群は、基本サンプル顔画像群の中から選択される必要はなく、基本サンプル顔画像群とは別に準備されるとしてもよい。

ステップＳ６２０（図２２）では、テクスチャーモデル設定部２４２（図２０）が、影用サンプル顔画像群を平均形状ｓ₀（図６参照）に変換する。すなわち、影用サンプル顔画像群を構成するサンプル顔画像ＳＩのそれぞれに対して、サンプル顔画像ＳＩにおける特徴点ＣＰの配置が平均形状ｓ₀における特徴点ＣＰの配置と等しくなるように、画像変換（ワープＷ）が行われる。上述したように、ワープＷは、複数の三角形領域ＴＡのそれぞれについてのアフィン変換の集合によって実現される。

ステップＳ６３０（図２２）では、影特徴モデル設定部２４４（図２０）が、影用サンプル顔画像群を構成するサンプル顔画像ＳＩのそれぞれにおける輝度値により構成される輝度値ベクトルに対する主成分分析を行い、影ベクトルを設定する。具体的には、影特徴モデル設定部２４４は、平均顔画像Ａ₀（ｘ）と、テクスチャー特徴量（テクスチャーベクトルＡ_i（ｘ）とテクスチャーパラメーターλ_iとの積）と、の合計として表される影用のテクスチャーモデルを設定する（上記式（２）参照）。上述したように、本実施例では、影用サンプル顔画像群における影成分に関する分散が大きくなるように、光源の位置が互いに異なる同一人物の複数のサンプル顔画像ＳＩが影用サンプル顔画像群として選択される。また、影用サンプル顔画像群は、各サンプル顔画像ＳＩにおける影成分の平均値がほぼゼロとなるように設定される。そのため、設定された影用のテクスチャーモデルにおける平均顔画像Ａ₀（ｘ）は、影成分をほとんど含まない顔画像となる。また、影用のテクスチャーモデルにおける分散の大きい主成分に対応するテクスチャーベクトルＡ_i（ｘ）は、影成分の変化にほぼ相関するベクトル、すなわち影ベクトルとなる。本実施例では、影用のテクスチャーモデルにおける最も分散の大きい第１主成分に対応する第１テクスチャーベクトルＡ₁（ｘ）を、影ベクトルとして設定する。

ＡＡＭ設定処理（図２１）のステップＳ１３４では、テクスチャーモデル設定部２４２（図２０）が、基本サンプル顔画像群に含まれる各サンプル顔画像ＳＩの影特徴を補正して、補正サンプル顔画像群を生成する。具体的には、まず、基本サンプル顔画像群に含まれるサンプル顔画像ＳＩのそれぞれに対して、平均形状ｓ₀への画像変換が行われる。この画像変換は、複数の三角形領域ＴＡのそれぞれについてのアフィン変換の集合により実現される。次に、平均形状ｓ₀に変換されたサンプル顔画像ＳＩの顔テクスチャーが上述した影用のテクスチャーモデルによりモデル化され、顔テクスチャーにおける影ベクトル（第１テクスチャーベクトルＡ₁（ｘ））のテクスチャーパラメーター値をゼロにすることにより、サンプル顔画像ＳＩから影成分が除去される。影成分除去後のサンプル顔画像ＳＩにより構成される画像群が、補正サンプル顔画像群とされる。

ステップＳ１４２（図２１）では、補正モデル設定部２４５（図２０）が、補正サンプル顔画像群を用いて補正テクスチャーモデルを設定する。具体的には、補正モデル設定部２４５は、補正サンプル顔画像群に含まれるサンプル顔画像ＳＩの輝度値により構成される輝度値ベクトルに対する主成分分析を行い、補正テクスチャーモデルを設定する。補正テクスチャーモデルは、平均顔画像Ａ₀（ｘ）と、テクスチャー特徴量（テクスチャーベクトルＡ_i（ｘ）とテクスチャーパラメーターλ_iとの積）と、の合計として表される（上記式（２）参照）。ここで、本実施例では、影成分が除去されたサンプル顔画像ＳＩにより構成される補正サンプル顔画像群の主成分分析に基づき補正テクスチャーモデルが設定されるため、補正テクスチャーモデルは影成分の変化にほぼ相関するテクスチャーベクトルを含まないものとして設定される。

ステップＳ１５０（図２１）では、テクスチャーモデル設定部２４２（図２０）が、設定された影特徴モデルと補正テクスチャーモデルとを合成して、テクスチャーモデルの設定を行う。具体的には、ステップＳ１４２で設定された補正テクスチャーモデルに、ステップＳ１３２で設定された影特徴モデルにおける影成分に対応するテクスチャー特徴量（テクスチャーベクトルＡ₁（ｘ）とテクスチャーパラメーターλ₁との積）が付加されて、テクスチャーモデルが設定される。設定されたテクスチャーモデルにおける平均顔画像Ａ₀（ｘ）およびテクスチャーベクトルＡ_i（ｘ）は、ＡＡＭ情報ＡＭＩ（図２０）として内部メモリー１２０に格納される。

なお、第３実施例においても、第１実施例および第２実施例と同様に、顔特徴位置特定処理（図９）が実行されるとしてもよい。

以上説明したように、第３実施例におけるＡＡＭ設定処理（図２１）により、顔画像における顔の形状を表す形状モデルと、顔のテクスチャーを表すテクスチャーモデルと、を含む顔モデルが設定される。ここで、第３実施例のＡＡＭ設定処理では、影用サンプル顔画像群の輝度値ベクトルに対する主成分分析により影特徴モデル（影ベクトル）が設定されると共に、影特徴モデルを用いて影特徴の補正（影成分の除去）が行われた補正サンプル顔画像群の輝度値ベクトルに対する主成分分析により補正テクスチャーモデルが設定され、影特徴モデルと補正テクスチャーモデルとを合成することによりテクスチャーモデルが設定される。そのため、第３実施例のＡＡＭ設定処理では、影成分のような外的要因と顔本来のテクスチャーとを分離してテクスチャーモデルを設定することができ、テクスチャーモデルを効率的に、かつ精度良く設定することができる。また、第３実施例のＡＡＭ設定処理では、光源の位置が互いに異なる同一人物の複数のサンプル顔画像ＳＩが影用サンプル顔画像群として選択されるため、テクスチャーモデルを用いて顔画像をモデル化した場合における影ベクトルのパラメーターに基づき、顔画像におけるおおよその光源の位置の推定を実現することができる。なお、顔画像において推定された光源位置は、種々の画像処理に利用可能である。例えば、顔画像に基づき似顔絵を生成する画像処理において、推定された光源位置に基づき似顔絵に影を付加する補正処理を行うことができる。また、顔特徴位置特定処理（図９）が実行される場合には、精度良く設定された影特徴モデル（影ベクトル）を用いてテクスチャー補正（図１７のステップＳ５１０およびＳ５２０）を行うことができるため、特徴部位信頼度の算出精度を向上させることができる。

Ｄ．変形例：
なお、この発明は上記の実施例や実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば次のような変形も可能である。

Ｄ１．変形例１：
上記各実施例では、特徴部位信頼度算出処理（図１７）において、テクスチャー補正として、平均顔画像Ａ₀（ｘ）への影成分特徴量の付加が行われているが、テクスチャー補正の態様は、対象画像ＯＩ（平均形状ｓ₀に変換された対象画像ＯＩ）のテクスチャーと平均顔画像Ａ₀（ｘ）のテクスチャーとが互いに近づくような補正態様であれば他の態様であってもよい。例えば、テクスチャー補正として、対象画像ＯＩからの影成分特徴量の減算が行われるとしてもよい。また、テクスチャー補正として、対象画像ＯＩと平均顔画像Ａ₀との影成分以外のテクスチャー特徴（例えば化粧成分）についての特徴量を互いに近づけるような補正が行われるとしてもよい。また、テクスチャー補正は、複数のテクスチャー特徴について実行されるとしてもよく、例えば、テクスチャー補正として、対象画像ＯＩの影成分および化粧成分についての特徴量を平均顔画像Ａ₀（ｘ）に付加する補正が行われるとしてもよいし、対象画像ＯＩのすべてのテクスチャー特徴についての特徴量を平均顔画像Ａ₀（ｘ）に付加する補正が行われるとしてもよい。

また、上記各実施例では、特徴部位信頼度の算出（図１７のステップＳ５３０）に用いられる差分画像Ｉｅは、平均形状ｓ₀に変換された対象画像ＯＩ（平均形状画像Ｉ（Ｗ（ｘ；ｐ）））と平均顔画像Ａ₀（ｘ）との差分であるとしているが、差分画像Ｉｅは、対象画像ＯＩと対象画像ＯＩの顔形状に変換された平均顔画像Ａ₀（ｘ）との差分であるとしてもよい。

また、上記各実施例における差分画像Ｉｅに基づく特徴部位信頼度の算出方法は、あくまで一例であり、他の算出方法を採用可能である。例えば、上記各実施例では、差分画像Ｉｅのノルムの値がＲ１とＲ２との間である場合には、差分画像Ｉｅのノルムの値と特徴部位信頼度の値は線形の対応関係となっているが（図１８参照）、両者の対応関係が非線形であるとしてもよい。

Ｄ２．変形例２：
上記第３実施例では、影特徴モデル設定処理（図２２）において、影用のテクスチャーモデルにおける第１主成分に対応する第１テクスチャーベクトルＡ₁（ｘ）が影ベクトルとして設定されるとしているが、複数のテクスチャーベクトルが影ベクトルとして設定されるとしてもよい。例えば、影用サンプル顔画像群の設定の仕方によっては、影用のテクスチャーモデルにおける第１主成分に対応する第１テクスチャーベクトルＡ₁（ｘ）が光源の水平方向の位置の変化にほぼ相関するベクトルとなり、第２主成分に対応する第２テクスチャーベクトルＡ₂（ｘ）が光源の垂直方向の位置の変化にほぼ相関するベクトルとなる。このような場合に、第１テクスチャーベクトルＡ₁（ｘ）と第２テクスチャーベクトルＡ₂（ｘ）との２つのテクスチャーベクトルが影ベクトルとして設定されるとしてもよい。

また、上記第３実施例では、ＡＡＭ設定処理（図２１）において、まず独立して影特徴モデル（影ベクトル）の設定（ステップＳ１３２）が行われているが、影特徴モデルの設定の代わりに他の特定のテクスチャーの特徴を表すモデルが設定されるとしてもよい。例えば、特定のテクスチャーとして化粧成分が採用されるとしてもよい。この場合にも、例えば化粧された顔の画像と化粧無しの顔の画像とを含む化粧特徴量の分散が大きい化粧用サンプル顔画像群を設定し、化粧用サンプル顔画像群を対象とした主成分分析により化粧特徴モデルが設定され、化粧特徴についての特徴量が補正された補正サンプル顔画像群を対象とした主成分分析により補正テクスチャーモデルが設定され、化粧特徴モデルと補正テクスチャーモデルとが合成されてテクスチャーモデルが設定される。

また、上記第３実施例のＡＡＭ設定処理（図２１）において、影特徴モデルの設定に加えて、１つ以上の他の特定のテクスチャーの特徴を表すモデル（例えば化粧特徴モデル）の設定が行われるとしてもよい。例えば、影特徴モデルの設定に加えて化粧特徴モデルの設定が行われる場合には、影特徴および化粧特徴についての特徴量が補正された補正サンプル顔画像群を対象とした主成分分析により補正テクスチャーモデルが設定され、影特徴モデルと化粧特徴モデルと補正テクスチャーモデルとが合成されてテクスチャーモデルが設定される。

なお、上記第３実施例では、顔特徴位置特定部２１０や顔領域検出部２３０を含むプリンター１００ａ（図２０）によりＡＡＭ設定処理が行われるとしているが、第３実施例のＡＡＭ設定処理を実行する装置はＡＡＭ設定部２４０を含んでいればよく、必ずしも顔特徴位置特定部２１０や顔領域検出部２３０を含んでいる必要はない。例えば、第３実施例のプリンター１００ａによりＡＡＭ設定処理が実行され、設定されたＡＡＭ情報ＡＭＩが、顔特徴位置特定部２１０や顔領域検出部２３０を有する他の装置による顔特徴位置特定処理に用いられるとしてもよい。

Ｄ３．変形例３：
上記各実施例では、ＡＡＭを利用して顔特徴位置特定処理（図９）が実行されるとしているが、顔特徴位置特定処理は必ずしもＡＡＭを利用して実行される必要はなく、他の方法により実行されるとしてもよい。

また、特徴点ＣＰ配置更新処理（図１５）において正規化処理（ステップＳ４１２）が実行されるとしているが、正規化処理は必ずしも実行される必要はない。

Ｄ４．変形例４：
上記各実施例では、特徴点ＣＰ初期配置決定処理（図９のステップＳ２３０）において、平均顔画像群のそれぞれと対象画像ＯＩとの差分画像Ｉｅや、平均顔画像Ａ₀（ｘ）と複数の平均形状画像Ｉ（Ｗ（ｘ；ｐ））のそれぞれとの差分画像Ｉｅが算出され、差分画像Ｉｅに基づいて平特徴点ＣＰの配置全体の変動が大きい（分散が大きい）グローバルパラメーターの概略値が決定されるものとしているが、対象画像ＯＩにおける特徴点ＣＰの初期配置の決定の際には、必ずしも差分画像Ｉｅの算出やグローバルパラメーターの概略値の決定を行う必要はなく、予め定められた特徴点ＣＰの配置（例えば上述の基準対応関係における配置）を初期配置として決定するものとしてもよい。

Ｄ５．変形例５：
上記各実施例では、特徴点ＣＰ配置更新処理（図１５）の収束判定（ステップＳ４３０）における判定指標値として、平均形状画像Ｉ（Ｗ（ｘ；ｐ））と平均顔画像Ａ₀（ｘ）との差分画像Ｉｅのノルムが用いられているが、判定指標値として、平均形状画像Ｉ（Ｗ（ｘ；ｐ））と平均顔画像Ａ₀（ｘ）との相違の程度を表す他の指標値が用いられるとしてもよい。

Ｄ６．変形例６：
上記各実施例の特徴点ＣＰ配置更新処理（図１５）では、対象画像ＯＩに基づき平均形状画像Ｉ（Ｗ（ｘ；ｐ））を算出することにより対象画像ＯＩの特徴点ＣＰの配置を平均顔画像Ａ₀（ｘ）の特徴点ＣＰの配置に整合させているが、平均顔画像Ａ₀（ｘ）に対して画像変換を行うことにより両者の特徴点ＣＰの配置を整合させるものとしてもよい。

Ｄ７．変形例７：
上記各実施例では、顔領域ＦＡの検出が行われ、顔領域ＦＡに基づき想定基準領域ＡＢＡが設定されるとしているが、顔領域ＦＡの検出は必ずしも実行される必要はない。例えば、ユーザーによる指定に従い直接、想定基準領域ＡＢＡが設定されるとしてもよい。

Ｄ８．変形例８：
上記各実施例におけるサンプル顔画像ＳＩ（図３）はあくまで一例であり、サンプル顔画像ＳＩとして採用する画像の数、種類は任意に設定可能である。また、上記各実施例において、特徴点ＣＰの位置で示される顔の所定の特徴部位（図４参照）はあくまで一例であり、実施例において設定されている特徴部位の一部を省略したり、特徴部位として他の部位を採用したりしてもよい。

また、上記各実施例では、サンプル顔画像ＳＩｗの画素群ｘのそれぞれにおける輝度値により構成される輝度値ベクトルに対する主成分分析によってテクスチャーモデルが設定されているが、顔画像のテクスチャー（見え）を表す輝度値以外の指標値（例えばＲＧＢ値）に対する主成分分析によってテクスチャーモデルが設定されるものとしてもよい。

また、上記各実施例において、平均顔画像Ａ₀（ｘ）のサイズは種々のサイズであってよい。また、平均顔画像Ａ₀（ｘ）は、マスク領域ＭＡ（図８）を含む必要はなく、平均形状領域ＢＳＡのみによって構成されるとしてもよい。また、平均顔画像Ａ₀（ｘ）の代わりに、サンプル顔画像ＳＩの統計的分析に基づき設定される他の基準顔画像が用いられるとしてもよい。

また、上記各実施例では、ＡＡＭを用いた形状モデルおよびテクスチャーモデルの設定が行われているが、他のモデル化手法（例えばＭｏｒｐｈａｂｌｅ Ｍｏｄｅｌと呼ばれる手法やＡｃｔｉｖｅ Ｂｌｏｂと呼ばれる手法）を用いて形状モデルおよびテクスチャーモデルの設定が行われるとしてもよい。

また、上記各実施例では、メモリーカードＭＣに格納された画像が対象画像ＯＩに設定されているが、対象画像ＯＩは例えばネットワークを介して取得された画像であってもよい。

また、上記各実施例における画像処理装置としてのプリンター１００の構成はあくまで一例であり、プリンター１００の構成は種々変更可能である。また、上記各実施例では、画像処理装置としてのプリンター１００による画像処理（ＡＡＭ設定処理、顔特徴位置特定処理）を説明したが、処理の一部または全部がパーソナルコンピューターやデジタルスチルカメラ、デジタルビデオカメラ等の他の種類の画像処理装置により実行されるものとしてもよい。また、プリンター１００はインクジェットプリンターに限らず、他の方式のプリンター、例えばレーザプリンターや昇華型プリンターであるとしてもよい。

上記各実施例において、ハードウェアによって実現されていた構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されていた構成の一部をハードウェアに置き換えるようにしてもよい。

また、本発明の機能の一部または全部がソフトウェアで実現される場合には、そのソフトウェア（コンピュータープログラム）は、コンピューター読み取り可能な記録媒体に格納された形で提供することができる。この発明において、「コンピューター読み取り可能な記録媒体」とは、フレキシブルディスクやＣＤ−ＲＯＭのような携帯型の記録媒体に限らず、各種のＲＡＭやＲＯＭ等のコンピューター内の内部記憶装置や、ハードディスク等のコンピューターに固定されている外部記憶装置も含んでいる。

１００…プリンター
１１０…ＣＰＵ
１２０…内部メモリー
１４０…操作部
１５０…表示部
１６０…プリンターエンジン
１７０…カードインターフェース
１７２…カードスロット
２００…画像処理部
２１０…顔特徴位置特定部
２１１…初期配置部
２１２…画像変換部
２１３…判定部
２１４…更新部
２１５…正規化部
２１６…テクスチャー補正部
２１７…信頼度算出部
２３０…顔領域検出部
２４０…ＡＡＭ設定部
２４１…形状モデル設定部
２４２…テクスチャーモデル設定部
２４４…影特徴モデル設定部
２４５…補正モデル設定部
３１０…表示処理部
３２０…印刷処理部

Claims (12)

1. 対象顔画像における特徴部位の位置を特定する画像処理装置であって、
   複数のサンプル顔画像を対象とした統計的分析に基づき設定される顔モデルであって、複数の前記特徴部位の配置により規定される顔形状を基準形状と少なくとも１つの形状特徴量とにより表す形状モデルと、前記基準形状を有する顔画像の画素値により規定される顔テクスチャーを基準テクスチャーと少なくとも１つのテクスチャー特徴量とにより表すテクスチャーモデルと、を含む顔モデルを用いて、前記対象顔画像における複数の前記特徴部位の配置を特定する特徴位置特定部と、
   前記基準形状および前記基準テクスチャーにより規定される基準顔画像と前記対象顔画像との顔テクスチャーを互いに近づけるように前記基準顔画像と前記対象顔画像との少なくとも一方に対してテクスチャー補正を行うテクスチャー補正部と、
   前記テクスチャー補正後の前記基準顔画像と前記対象顔画像とに基づき、前記対象顔画像において特定された前記特徴部位の配置の確からしさを表す特徴部位信頼度を算出する特徴部位信頼度算出部と、を備える、画像処理装置。
2. 請求項１に記載の画像処理装置であって、さらに、
   前記対象顔画像において特定された前記特徴部位の配置が前記基準顔画像における前記特徴部位の配置に等しくなるように前記基準顔画像と前記対象顔画像との少なくとも一方に対して画像変換を行う画像変換部を備え、
   前記特徴部位信頼度算出部は、前記画像変換後の前記基準顔画像と前記対象顔画像との差分値に基づき、前記特徴部位信頼度を算出する、画像処理装置。
3. 請求項２に記載の画像処理装置であって、さらに、
   前記画像変換後の前記基準顔画像と前記対象顔画像との少なくとも一方に対して、前記基準顔画像と前記対象顔画像との画素値分布を表す指標値を互いに近づける正規化処理を行う正規化部を備え、
   前記特徴部位信頼度算出部は、前記正規化処理後の前記基準顔画像と前記対象顔画像との差分値に基づき、前記特徴部位信頼度を算出する、画像処理装置。
4. 請求項３に記載の画像処理装置であって、
   前記指標値は、画素値の平均値と分散値との少なくとも一方を含む、画像処理装置。
5. 請求項１ないし請求項４のいずれかに記載の画像処理装置であって、
   前記テクスチャー補正部は、前記テクスチャーモデルを用いて前記対象顔画像における所定の前記テクスチャー特徴量を算出し、算出された前記テクスチャー特徴量の前記基準顔画像への付加と算出された前記テクスチャー特徴量の前記対象顔画像からの減算との一方を行うことにより、前記テクスチャー補正を行う、画像処理装置。
6. 請求項５に記載の画像処理装置であって、
   前記所定の前記テクスチャー特徴量は、影成分の変化に実質的に対応する前記テクスチャー特徴量である、画像処理装置。
7. 請求項１ないし請求項６のいずれかに記載の画像処理装置であって、
   前記特徴位置特定部は、前記基準顔画像における前記特徴点の配置に基づき前記対象顔画像における前記特徴点の初期配置を決定し、前記基準顔画像と前記対象顔画像とにおける前記特徴点の配置が互いに等しくなるように前記基準顔画像と前記対象顔画像との少なくとも一方に対して画像変換を行い、前記基準顔画像と前記対象顔画像との差分値に基づき前記対象顔画像における前記特徴点の配置を更新することにより、前記対象顔画像における前記特徴部位の位置を特定する、画像処理装置。
8. 請求項１ないし請求項７のいずれかに記載の画像処理装置であって、
   前記基準形状は、前記複数のサンプル顔画像における前記特徴部位の平均位置を表す平均形状であり、
   前記基準テクスチャーは、前記平均形状に形状変換された前記複数のサンプル顔画像の画素値の平均を表す平均テクスチャーである、画像処理装置。
9. 請求項１ないし請求項８のいずれかに記載の画像処理装置であって、さらに、
   前記対象顔画像における顔の画像の少なくとも一部を含む画像領域を顔領域として検出する顔領域検出部を備え、
   前記特徴位置特定部は、前記対象顔画像における前記顔領域の位置と大きさと傾きとの少なくとも１つを参照して、前記対象顔画像における前記特徴部位の位置を特定する、画像処理装置。
10. 対象顔画像における特徴部位の位置を特定する画像処理方法であって、
    （ａ）複数のサンプル顔画像を対象とした統計的分析に基づき設定される顔モデルであって、複数の前記特徴部位の配置により規定される顔形状を基準形状と少なくとも１つの形状特徴量とにより表す形状モデルと、前記基準形状を有する顔画像の画素値により規定される顔テクスチャーを基準テクスチャーと少なくとも１つのテクスチャー特徴量とにより表すテクスチャーモデルと、を含む顔モデルを用いて、前記対象顔画像における複数の前記特徴部位の配置を特定する工程と、
    （ｂ）前記基準形状および前記基準テクスチャーにより規定される基準顔画像と前記対象顔画像との顔テクスチャーを互いに近づけるように前記基準顔画像と前記対象顔画像との少なくとも一方に対してテクスチャー補正を行う工程と、
    （ｃ）前記テクスチャー補正後の前記基準顔画像と前記対象顔画像とに基づき、前記対象顔画像において特定された前記特徴部位の配置の確からしさを表す特徴部位信頼度を算出する工程と、を備える、画像処理方法。
11. 対象顔画像における特徴部位の位置を特定する画像処理のためのコンピュータープログラムであって、
    複数のサンプル顔画像を対象とした統計的分析に基づき設定される顔モデルであって、複数の前記特徴部位の配置により規定される顔形状を基準形状と少なくとも１つの形状特徴量とにより表す形状モデルと、前記基準形状を有する顔画像の画素値により規定される顔テクスチャーを基準テクスチャーと少なくとも１つのテクスチャー特徴量とにより表すテクスチャーモデルと、を含む顔モデルを用いて、前記対象顔画像における複数の前記特徴部位の配置を特定する特徴位置特定機能と、
    前記基準形状および前記基準テクスチャーにより規定される基準顔画像と前記対象顔画像との顔テクスチャーを互いに近づけるように前記基準顔画像と前記対象顔画像との少なくとも一方に対してテクスチャー補正を行うテクスチャー補正機能と、
    前記テクスチャー補正後の前記基準顔画像と前記対象顔画像とに基づき、前記対象顔画像において特定された前記特徴部位の配置の確からしさを表す特徴部位信頼度を算出する特徴部位信頼度算出機能と、を、コンピューターに実現させる、コンピュータープログラム。
12. 印刷装置であって、
    複数のサンプル顔画像を対象とした統計的分析に基づき設定される顔モデルであって、複数の特徴部位の配置により規定される顔形状を基準形状と少なくとも１つの形状特徴量とにより表す形状モデルと、前記基準形状を有する顔画像の画素値により規定される顔テクスチャーを基準テクスチャーと少なくとも１つのテクスチャー特徴量とにより表すテクスチャーモデルと、を含む顔モデルを用いて、対象顔画像における複数の前記特徴部位の配置を特定する特徴位置特定部と、
    前記基準形状および前記基準テクスチャーにより規定される基準顔画像と前記対象顔画像との顔テクスチャーを互いに近づけるように前記基準顔画像と前記対象顔画像との少なくとも一方に対してテクスチャー補正を行うテクスチャー補正部と、
    前記テクスチャー補正後の前記基準顔画像と前記対象顔画像とに基づき、前記対象顔画像において特定された前記特徴部位の配置の確からしさを表す特徴部位信頼度を算出する特徴部位信頼度算出部と、
    前記対象顔画像を印刷する印刷部と、を備える、印刷装置。

Images