JP2011060038A - 画像処理装置 - Google Patents

Abstract

【課題】顔画像に重なっている遮蔽領域を正確に検出することが困難であった。また、遮蔽領域を正確に検出できないために、各種処理において遮蔽領域の影響を受けた不適切な処理結果が生じていた。
【解決手段】注目画像に含まれる顔の少なくとも一部を含む領域の画像を顔画像として取得する顔画像取得部と、遮蔽領域の検出のための基準画像として用いられる基準顔画像を取得する基準顔画像取得部と、上記顔画像と基準顔画像とを比較することにより、上記顔画像内において、顔を構成する要素以外の要素によって遮蔽された遮蔽領域を検出する遮蔽領域検出部とを備える構成とした。
【選択図】図１０

Description

本発明は、画像処理装置に関する。

視覚的事象のモデル化手法として、アクティブアピアランスモデル（Ａｃｔｉｖｅ Ａｐｐｅａｒａｎｃｅ Ｍｏｄｅｌ、略して「ＡＡＭ」とも呼ばれる）が知られている。ＡＡＭでは、例えば、複数のサンプル画像に含まれる顔の特徴部位（例えば目尻や鼻頭やフェイスライン）の位置（座標）や画素値（例えば輝度値）の統計的分析を通じて、上記特徴部位の位置により特定される顔の形状を表す形状モデルや、平均的な顔の形状における「見え（Ａｐｐｅａｒａｎｃｅ）」を表すテクスチャーモデルが設定され、これらのモデルを用いて顔画像がモデル化される。ＡＡＭによれば、任意の顔画像のモデル化（合成）が可能であり、また、画像に含まれる顔の特徴部位の位置の検出が可能である（特許文献１参照。）。

特開２００７‐１４１１０７号公報

ここで、デジタルスチルカメラ等で撮影された人顔を含む写真画像においては、顔の領域に遮蔽領域が重なっているものがある。遮蔽領域とは、顔を構成する要素（肌や顔器官など）以外の要素（遮蔽物）で覆われた領域を言う。遮蔽物とは、例えば、顔の手前に写っている植物や人工物、当該人物が装着しているマスクなどが挙げられる。このような遮蔽領域が画像内に存在していると、画像内の顔に対する種々の処理（変形処理や、画像補正処理や、表情判定処理や、顔認証処理など）を行なう際に、顔の一部ではない遮蔽領域の形や色に影響を受けて、これら各処理を適切に実行できない（ユーザーが望む適切な処理結果が得られない）ことがあった。これは、画像内において、顔に遮蔽領域が重なっている状況を正確に検出できないことが一つの要因であった。

本発明は上記課題の少なくとも一つを解決するためになされたものであり、画像内において顔に重なっている遮蔽領域を正確に検出することができ、また、遮蔽領域の有無に応じて適切な処理を実行可能な画像処理装置を提供することを目的とする。

本発明の態様の一つは、画像処理装置は、注目画像に含まれる顔の少なくとも一部を含む領域の画像を顔画像として取得する顔画像取得部と、遮蔽領域の検出のための基準画像として用いられる基準顔画像を取得する基準顔画像取得部と、上記顔画像と基準顔画像とを比較することにより、上記顔画像内において、顔を構成する要素以外の要素によって遮蔽された遮蔽領域を検出する遮蔽領域検出部とを備える構成としてある。
本発明によれば、上記顔画像と基準顔画像との比較結果に応じて遮蔽領域を検出するので、遮蔽領域が存在する場合には正確にそれを検出することができる。

上記基準顔画像取得部は、顔の複数のサンプル画像に対する主成分分析により得られたテクスチャーモデルによって表される上記顔画像のテクスチャーを取得し、当該取得したテクスチャーを構成する固有ベクトルの重みを表したパラメーターを算出し、当該算出したパラメーターおよび上記テクスチャーモデルに基づいて上記顔画像に近似した顔の見えを表現するテクスチャーを生成し、当該生成したテクスチャーを上記基準顔画像とするとしてもよい。当該構成によれば、生成される基準顔画像としてのテクスチャーは、上記顔画像に近似した画像であってかつ遮蔽領域の要素が欠落した画像である。そのため、当該基準顔画像と上記顔画像とを比較することで、顔画像内に遮蔽領域が存在する場合には正確にそれを検出できる。

上記基準顔画像取得部は、顔の複数のサンプル画像を平均化することにより生成された画像である平均顔画像を上記基準顔画像として取得するとしてもよい。当該構成によっても、基準顔画像と上記顔画像とを比較することで、顔画像内に遮蔽領域が存在する場合には正確にそれを検出できる。なお、顔画像と基準顔画像との比較とは、顔画像と基準顔画像との差分を算出することを意味し、この差分の大きさに応じて、顔画像内に遮蔽領域が存在しているか否かを判定できる。

画像処理装置は、上記注目画像に含まれる顔の特徴部位の座標位置を特徴点として検出する特徴位置検出部を備え、上記顔画像取得部は、上記検出された特徴点によって規定される領域の画像を上記顔画像として取得するとともに、当該特徴点の配置が、上記基準顔画像における特徴部位の位置を表す特徴点の配置と等しくなるように上記顔画像を変換した画像である平均形状画像を生成し、上記遮蔽領域検出部は、上記平均形状画像と基準顔画像とを比較することにより上記顔画像内の遮蔽領域を検出するとしてもよい。当該構成によれば、上記顔画像を基準顔画像の形状と同じ形状に整えた上で比較を行なうため、遮蔽領域の検出を正確に行なうことができる。

上記遮蔽領域検出部は、上記平均形状画像における特徴点を頂点とする複数の小領域と、上記基準顔画像における特徴点を頂点とする複数の小領域との間で、位置が対応する小領域の組み合わせ毎に画像の比較を行なうとしてもよい。当該構成によれば、小領域単位で、遮蔽領域に該当するか否かを判定することができるため、上記顔画像におけるいずれの範囲が遮蔽領域に覆われているかを正確に検出できる。

画像処理装置は、上記顔画像の少なくとも一部を変形可能な変形処理部を備え、上記変形処理部は、上記遮蔽領域検出部による検出の成功、不成功に応じて、変形処理の実行態様を異ならせるとしてもよい。当該構成によれば、遮蔽領域が検出された場合には、例えば、変形処理を不実行としたり、検出された遮蔽領域の位置に応じて変形処理の態様を変えたりすることができる。

画像処理装置は、上記注目画像から所定の特徴量を抽出可能な抽出部を備え、上記抽出部は、顔の色に関する特徴量を抽出する際に、上記遮蔽領域検出部によって検出された遮蔽領域を避けて特徴量を抽出するとしてもよい。当該構成によれば、特徴量の抽出対象として相応しくない遮蔽領域から特徴量を抽出してしまうことが防止され、抽出される特徴量の質が向上する。また、当該抽出された特徴量に基づく処理（例えば、顔色の補正）においては、適切な結果が得られる。

画像処理装置は、上記注目画像に含まれる顔の表情判定を実行可能な表情判定部を備え、上記表情判定部は、上記遮蔽領域検出部によって検出された遮蔽領域の上記顔画像内における位置に応じて、表情判定の実行態様を異ならせるとしてもよい。当該構成によれば、遮蔽領域が検出された場合には、その位置に応じて（表情判定の結果に強い影響を与えるような位置に遮蔽領域が存在しているか否かに応じて）、表情判定を不実行としたり、実行したりすることができる。

本発明の技術的思想は、画像処理装置以外によっても実現可能である。例えば、画像処理装置の各部が実行する処理工程を有する画像処理方法の発明や、画像処理装置の各部が実行する機能をコンピューターに実行させるコンピューター読取可能なプログラムの発明をも把握可能である。

画像処理装置としてのプリンターの構成を概略的に示す説明図である。 ＡＡＭ設定処理を示すフローチャートである。 サンプル画像ＳＩの一例を示す説明図である。 サンプル画像ＳＩにおける特徴点ＣＰの設定方法の一例を示す説明図である。 サンプル画像ＳＩに設定された特徴点ＣＰの座標の一例を示す説明図である。 平均形状ｓ_０の一例を示す説明図である。 形状ベクトルｓ_ｉおよび形状パラメーターｐ_ｉと顔の形状ｓとの関係を例示した説明図である。 サンプル画像ＳＩのワープＷの方法の一例を示す説明図である。 平均顔画像Ａ_０（ｘ）の一例を示す説明図である。 画像処理を示すフローチャートである。 注目画像ＯＩにおける顔領域ＦＡの検出結果の一例を示す説明図である。 特徴点ＣＰの初期位置設定処理（Ｉｎｉｔ処理）を示すフローチャートである。 グローバルパラメーターの値を変更することによる特徴点ＣＰの仮設定位置の一例を示す説明図である。 平均形状画像Ｉ（Ｗ（ｘ；ｐ））の一例を示す説明図である。 特徴点ＣＰ設定位置補正処理（Ｆｉｔ処理）を示すフローチャートである。 特徴位置検出処理の結果の一例を示す説明図である。 遮蔽領域検出処理の結果の一例を示す説明図である。 変形処理の一例を示すフローチャートである。 輪郭点ＯＰの周囲に設定された変形領域ＣＡの一例を示す図である。 特徴点ＣＰの中から選択された選択特徴点ＳＣＰ等の一例を示す図である。 特徴点移動テーブルの一例を示す図である。 変形領域ＣＡ内の画像が変形される様子の一例を示す図である。 変形処理の他の例を示すフローチャートである。 テクスチャー検出処理を示すフローチャートである。 基準顔画像生成処理を示すフローチャートである。 画像補正処理を示すフローチャートである。 表情判定処理を示すフローチャートである。

以下、本発明の実施例を図面を参照しながら説明する。
１．第１実施例
１‐１．画像処理装置の構成
図１は、本実施形態にかかる画像処理装置としてのプリンター１００の構成を概略的に示す説明図である。プリンター１００は、メモリーカードＭＣ等から取得した画像データに基づき画像を印刷する、いわゆるダイレクトプリントに対応したインクジェット式カラープリンターである。プリンター１００は、プリンター１００の各部を制御するＣＰＵ１１０と、ＲＯＭやＲＡＭによって構成された内部メモリー１２０と、ボタンやタッチパネルにより構成された操作部１４０と、液晶ディスプレイにより構成された表示部１５０と、印刷機構１６０と、カードインターフェイス（カードＩ／Ｆ）１７０と、を備えている。プリンター１００は、さらに、他の機器（例えばデジタルスチルカメラやコンピューター３００）とのデータ通信を行うためのインターフェイス（Ｉ／Ｆ）１８０を備える。プリンター１００の各構成要素は、バスを介して双方向通信可能に接続されている。

印刷機構１６０は、印刷データに基づき印刷を行う。カードインターフェイス１７０は、カードスロット１７２に挿入されたメモリーカードＭＣとの間でデータのやり取りを行うためのインターフェイスである。なお、本実施例では、メモリーカードＭＣに画像データを含む画像ファイルが格納されている。

内部メモリー１２０には、画像処理部２００と、表示処理部３１０と、印刷処理部３２０と、が格納されている。画像処理部２００は、コンピュータープログラムであり、所定のオペレーティングシステムの下で、ＣＰＵ１１０により実行されることで遮蔽領域検出処理や、遮蔽領域検出処理の結果に応じた各種処理を実現する。画像処理部２００による処理内容については後に詳述する。表示処理部３１０、および、印刷処理部３２０についてもＣＰＵ１１０により実行されることでぞれぞれの機能を実現する。

画像処理部２００は、遮蔽領域検出処理を実現するためのプログラムモジュールとして、顔領域検出部２１０と、特徴位置検出部２２０と、顔画像取得部２３０と、基準顔画像取得部２４０と、遮蔽領域検出部２５０と、を含んでいる。さらに、画像処理部２００は、遮蔽領域検出処理の結果に応じた各種処理を実現するためのプログラムモジュールとして、変形処理部２６０と、補正処理部（抽出部）２７０と、表情判定部２８０と、を含んでいる。

表示処理部３１０は、表示部１５０を制御して、表示部１５０上に処理メニューやメッセージ、画像等を表示させるディスプレイドライバーである。印刷処理部３２０は、画像データから印刷データを生成し、印刷機構１６０を制御して、印刷データに基づく画像の印刷を実行するためのコンピュータープログラムである。ＣＰＵ１１０は、内部メモリー１２０から、これらのプログラム（画像処理部２００、表示処理部３１０、印刷処理部３２０）を読み出して実行することにより、これら各部の機能を実現する。

内部メモリー１２０には、ＡＡＭ情報ＡＭＩが格納されている。ＡＡＭ情報ＡＭＩは、後述のＡＡＭ設定処理によって予め設定される情報であり、顔の特徴部位の座標位置検出において参照される。ＡＡＭ情報ＡＭＩの内容については、後述のＡＡＭ設定処理の説明において詳述する。また、内部メモリー１２０には、特徴点移動テーブル４２０も格納されている。特徴点移動テーブル４２０は、上記変形処理の際に参照される（後述）。

１‐２．ＡＡＭ設定処理
図２は、本実施例におけるＡＡＭ設定処理の流れを示すフローチャートである。ＡＡＭ設定処理は、ＡＡＭ（アクティブアピアランスモデル（Ａｃｔｉｖｅ Ａｐｐｅａｒａｎｃｅ Ｍｏｄｅｌ））と呼ばれる画像のモデル化に用いられる形状モデルおよびテクスチャーモデルを設定する処理である。本実施例において、ＡＡＭ設定処理は、ユーザーがＡＡＭ設定用に用意されたコンピューター３００を操作することにより行なわれる。コンピューター３００は、ＣＰＵとＲＡＭとＲＯＭとＨＤＤとディスプレイと入力装置等を有しており、これらがバスによって接続されている。ＣＰＵはＨＤＤに記録されたプログラムを読み出し、該プログラムに従った演算処理を実行することにより、コンピューター３００が後述するＡＡＭ設定処理を実行する。

はじめに、ユーザーは、人物の顔を含んだ複数の画像をサンプル画像ＳＩとしてコンピューター３００のメモリー（ＨＤＤ）上に用意する（ステップＳ１１０）。
図３は、サンプル画像ＳＩの一例を示す説明図である。図３に示すように、サンプル画像ＳＩは、個性、人種・性別、表情（怒り、笑い、困り、驚き等）、向き（正面向き、上向き、下向き、右向き、左向き等）といった種々の属性に関して互いに相違する顔画像が含まれるように用意される。サンプル画像ＳＩがそのように用意されれば、ＡＡＭによってあらゆる顔画像を精度良くモデル化することが可能となり、あらゆる顔画像を対象とした精度の良い輪郭点検出処理（後述）の実行が可能となる。なお、サンプル画像ＳＩは、学習用画像とも呼ばれる。

次に、ユーザーの所定の操作によって、コンピューター３００は、それぞれのサンプル画像ＳＩに含まれる顔画像に、特徴点ＣＰを設定する（ステップＳ１２０）。
図４は、サンプル画像ＳＩにおける特徴点ＣＰの設定方法の一例を示す説明図である。特徴点ＣＰは、顔画像における所定の特徴部位の位置を示す点である。本実施例では、所定の特徴部位として、人物の顔における眉毛上の所定位置（例えば端点や４分割点等、以下同じ）、目の輪郭上の所定位置、鼻筋および小鼻の輪郭上の所定位置、上下唇の輪郭上の所定位置、顎や頬やこめかみの輪郭（フェイスライン）上の所定位置、といった６８箇所の部位が設定されている。すなわち、本実施例では、人物の顔に共通して含まれる顔の器官（眉毛、目、鼻、口）およびフェイスラインにおける所定位置を、特徴部位として設定する。図４に示すように、特徴点ＣＰは、コンピューター３００がディスプレイに表示したサンプル画像ＳＩにおいてユーザーの操作により画面上で指定された６８個の特徴部位を表す位置に設定（配置）される。このように設定された各特徴点ＣＰは各特徴部位に対応しているため、顔画像における特徴点ＣＰの配置は顔の形状を特定していると表現することができる。サンプル画像ＳＩにおける特徴点ＣＰの位置は、座標により特定される。

図５は、サンプル画像ＳＩに設定された特徴点ＣＰの座標の一例を示す説明図である。図５において、ＳＩ（ｊ）（ｊ＝１，２，３・・・）は各サンプル画像ＳＩを示しており、ＣＰ（ｋ）（ｋ＝０，１，・・・，６７）は、対応するサンプル画像ＳＩにおける人物の各特徴点ＣＰを示している。つまり特徴点ＣＰには０〜６７までの番号ｋが付されており、一つ一つの番号はそれぞれに決められた特徴部位に対応している。また、ＣＰ（ｋ）‐Ｘは、特徴点ＣＰ（ｋ）のＸ座標を示しており、ＣＰ（ｋ）‐Ｙは、特徴点ＣＰ（ｋ）のＹ座標を示している。特徴点ＣＰの座標としては、顔の大きさと顔の傾き（画像面内の傾き）と顔のＸ方向およびＹ方向の位置とのそれぞれについて正規化されたサンプル画像ＳＩにおける所定の基準点（例えば画像の左下の点）を原点とした座標が用いられる。また、本実施例では、１つのサンプル画像ＳＩに複数の人物の顔画像が含まれる場合が許容されており（例えばサンプル画像ＳＩ（２）には２人の顔画像が含まれている）、１つのサンプル画像ＳＩにおける各人物は人物ＩＤによって特定される。

つづいて、コンピューター３００は、ＡＡＭの形状モデルの設定をおこなう（ステップＳ１３０）。具体的には、各サンプル画像ＳＩにおける６８個の特徴点ＣＰの座標（Ｘ座標およびＹ座標）により構成される座標ベクトル（図５参照）に対する主成分分析をおこない、特徴点ＣＰの位置により特定される顔の形状ｓを下記の式（１）によりモデル化する。なお、式（１）で表した形状モデルは、特徴点ＣＰの配置モデルとも呼ぶ。

上記式（１）において、ｓ_０は平均形状である。
図６は、平均形状ｓ_０の一例を示す説明図である。図６（ａ）および（ｂ）に示すように、平均形状ｓ_０は、サンプル画像ＳＩの各特徴点ＣＰについての平均位置（平均座標）により特定される平均的な顔の形状を表すモデルである。なお、本実施例では、平均形状ｓ_０において、外周に位置する特徴点ＣＰ（フェイスラインおよび眉毛に対応する特徴点ＣＰ、図４参照）を結ぶ直線により囲まれた領域（図６（ｂ）においてハッチングを付して示す）を「平均形状領域ＢＳＡ」と呼ぶ。平均形状ｓ_０においては、図６（ａ）に示すように、特徴点ＣＰを頂点とする複数の三角形領域ＴＡが、平均形状領域ＢＳＡをメッシュ状に分割するように設定される。

形状モデルを表す上記式（１）において、ｓ_ｉは形状ベクトルであり、ｐ_ｉは形状ベクトルｓ_ｉの重みを表す形状パラメーターである。形状ベクトルｓ_ｉは、顔の形状ｓの特性を表すベクトルであり、主成分分析により得られる第ｉ主成分に対応する固有ベクトルである。上記式（１）に示すように、本実施例における形状モデルでは、特徴点ＣＰの配置を表す顔形状ｓが、平均形状ｓ_０とｎ個の形状ベクトルｓ_ｉの線形結合との和としてモデル化される。形状モデルにおいて形状パラメーターｐ_ｉを適切に設定することにより、あらゆる画像における顔の形状ｓを再現することが可能である。

図７は、形状ベクトルｓ_ｉおよび形状パラメーターｐ_ｉと、顔の形状ｓとの関係を例示した説明図である。図７（ａ）に示すように、顔の形状ｓを特定するために、寄与率のより大きい主成分に対応する固有ベクトルから順に、累積寄与率に基づき設定された個数ｎ（図７ではｎ＝４）の固有ベクトルが、形状ベクトルｓ_ｉとして採用される。形状ベクトルｓ_ｉのそれぞれは、図７（ａ）の矢印に示すように、各特徴点ＣＰの移動方向・移動量と対応している。本実施例では、最も寄与率の大きい第１主成分に対応する第１形状ベクトルｓ_１は顔の左右振りにほぼ相関するベクトルとなっており、形状パラメーターｐ_１を大小させることにより、図７（ｂ）に示すように、顔の形状ｓの横方向の顔向きが変化する。２番目に寄与率の大きい第２主成分に対応する第２形状ベクトルｓ_２は顔の上下振りにほぼ相関するベクトルとなっており、形状パラメーターｐ_２を大小させることにより、図７（ｃ）に示すように、顔の形状ｓの縦方向の顔向きが変化する。また、３番目に寄与率の大きい第３主成分に対応する第３形状ベクトルｓ_３は顔の形状の縦横比にほぼ相関するベクトルとなっており、４番目に寄与率の大きい第４主成分に対応する第４形状ベクトルｓ_４は口の開きの程度にほぼ相関するベクトルとなっている。

このように、形状パラメーターの値は、顔の表情や、顔向きや、形状など顔画像の特徴を表す。形状パラメーターは、特徴部位の座標が既知の顔画像を含む複数のサンプル画像に基づいて算出された特徴量である。また形状モデルは、複数の特徴量に基づいて、顔の輪郭を複数の特徴点ＣＰ（フェイスラインおよび眉毛に対応する特徴点ＣＰ）の位置によって表現するモデルとも言える。なお、コンピューター３００は、形状モデル設定ステップ（ステップＳ１３０）において設定した平均形状ｓ_０および形状ベクトルｓ_ｉを、プリンター１００に送信する。プリンター１００は、送信されたこれらの平均形状ｓ_０および形状ベクトルｓ_ｉの情報を、ＡＡＭ情報ＡＭＩ（図１）として内部メモリー１２０に格納する。

つづいて、コンピューター３００は、ＡＡＭのテクスチャーモデルの設定をおこなう（ステップＳ１４０）。具体的には、まず、各サンプル画像ＳＩに対して、サンプル画像ＳＩにおける特徴点ＣＰの設定位置が平均形状ｓ_０における特徴点ＣＰの設定位置と等しくなるように、画像変換（以下、「ワープＷ」とも呼ぶ）を行う。

図８は、サンプル画像ＳＩのワープＷの方法の一例を示す説明図である。各サンプル画像ＳＩにおいては、平均形状ｓ_０と同様に、外周に位置する特徴点ＣＰにより囲まれた領域をメッシュ状に分割する複数の三角形領域ＴＡが設定される。ワープＷは、複数の三角形領域ＴＡのそれぞれについてのアフィン変換の集合である。すなわち、ワープＷにおいては、サンプル画像ＳＩにおけるある三角形領域ＴＡの画像は、平均形状ｓ_０における対応する三角形領域ＴＡの画像へとアフィン変換される。ワープＷにより、特徴点ＣＰの設定位置が平均形状ｓ_０における特徴点ＣＰの設定位置と等しいサンプル画像ＳＩ（以下「サンプル画像ＳＩｗ」と表す）が生成される。

なお、各サンプル画像ＳＩｗは、平均形状領域ＢＳＡ（図８においてハッチングを付して示す）を内包する矩形枠を外周とし、平均形状領域ＢＳＡ以外の領域（以下「マスク領域ＭＡ」とも呼ぶ）がマスクされた画像として生成される。平均形状領域ＢＳＡとマスク領域ＭＡとを併せた画像領域を基準領域ＢＡと呼ぶ。また、各サンプル画像ＳＩｗは、例えば、縦横５６画素×５６画素のサイズの画像として正規化される。

次に、各サンプル画像ＳＩｗの画素群ｘのそれぞれにおける輝度値により構成される輝度値ベクトルに対する主成分分析が行われ、顔のテクスチャー（「見え」とも呼ぶ）Ａ（ｘ）が下記の式（２）によりモデル化される。なお、画素群ｘは、平均形状領域ＢＳＡに位置する画素の集合である。

上記式（２）において、Ａ_０（ｘ）は平均顔画像である。
図９は、平均顔画像Ａ_０（ｘ）の一例を示す説明図である。平均顔画像Ａ_０（ｘ）は、ワープＷの後のサンプル画像ＳＩｗ（図８参照）の平均の顔が表された画像である。すなわち、平均顔画像Ａ_０（ｘ）は、サンプル画像ＳＩｗの平均形状領域ＢＳＡ内の画素群ｘの画素値（輝度値）の平均をとることにより算出される画像である。従って、平均顔画像Ａ_０（ｘ）は、平均的な顔の形状における平均的な顔のテクスチャー（見え）を表すモデルである。なお、平均顔画像Ａ_０（ｘ）は、サンプル画像ＳＩｗと同様に、平均形状領域ＢＳＡとマスク領域ＭＡとで構成され、例えば、縦横５６画素×５６画素のサイズの画像として算出される。

テクスチャーモデルを表す上記式（２）において、Ａ_ｉ（ｘ）はテクスチャーベクトルであり、λ_ｉはテクスチャーベクトルＡ_ｉ（ｘ）の重みを表すテクスチャーパラメーターである。テクスチャーベクトルＡ_ｉ（ｘ）は、顔のテクスチャーＡ（ｘ）の特性を表すベクトルであり、具体的には、主成分分析により得られる第ｉ主成分に対応する固有ベクトルである。すなわち、寄与率のより大きい主成分に対応する固有ベクトルから順に、累積寄与率に基づき設定された個数ｍの固有ベクトルが、テクスチャーベクトルＡ_ｉ（ｘ）として採用される。本実施例では、最も寄与率の大きい第１主成分に対応する第１テクスチャーベクトルＡ_１（ｘ）は、顔色の変化（性別の差とも捉えられる）にほぼ相関するベクトルとなっている。

上記式（２）に示すように、本実施例におけるテクスチャーモデルでは、顔の見えを表す顔のテクスチャーＡ（ｘ）が、平均顔画像Ａ_０（ｘ）とｍ個のテクスチャーベクトルＡ_ｉ（ｘ）の線形結合との和としてモデル化される。テクスチャーモデルにおいてテクスチャーパラメーターλ_ｉを適切に設定することにより、あらゆる画像における顔のテクスチャーＡ（ｘ）を再現することが可能である。
なお、コンピューター３００は、テクスチャーモデル設定ステップ（ステップＳ１４０）において設定した平均顔画像Ａ_０（ｘ）およびテクスチャーベクトルＡ_ｉ（ｘ）を、プリンター１００に送信する。プリンター１００は、送信されたこれらの平均顔画像Ａ_０（ｘ）およびテクスチャーベクトルＡ_ｉ（ｘ）の情報を、ＡＡＭ情報ＡＭＩ（図１）として内部メモリー１２０に格納する。

以上説明したＡＡＭ設定処理（図２）により、顔の形状をモデル化する形状モデルと、顔のテクスチャーをモデル化するテクスチャーモデルが設定される。設定された形状モデルとテクスチャーモデルとを組み合わせることにより、すなわち合成されたテクスチャーＡ（ｘ）に対して平均形状ｓ_０から形状ｓへの変換（図８に示したワープＷの逆変換）を行うことにより、あらゆる顔画像の形状およびテクスチャーを再現することが可能である。

１‐３．遮蔽領域検出処理を含む画像処理
図１０は、本実施例における画像処理を示すフローチャートである。当該処理は、遮蔽領域検出処理と、遮蔽領域検出処理後の処理の一例としての画像変形処理とを含む。
はじめに、画像処理部２００（図１）は、処理対象となる注目画像を表す画像データを取得する（ステップＳ２１０）。本実施例のプリンター１００では、カードスロット１７２にメモリーカードＭＣが挿入されると、メモリーカードＭＣに格納された画像ファイルのサムネイル画像が表示部１５０に表示される。処理の対象となる１つまたは複数の画像は、操作部１４０を介してユーザーにより選択される。画像処理部２００は、選択された１つまたは複数の画像に対応する画像データを含む画像ファイルをメモリーカードＭＣより取得して内部メモリー１２０の所定の領域に格納する。なお、取得された画像データを注目画像データと呼び、注目画像データの表す画像を注目画像ＯＩと呼ぶ。

次に、画像処理部２００は、変形処理のタイプや変形度合い等（変形態様）を設定する（ステップＳ２２０）。この場合、画像処理部２００は、変形態様を設定するためのユーザーインターフェイスを表示部１５０に表示するように表示処理部３１０に指示し、当該ユーザーインターフェイスを通じてユーザーにより指定された変形処理のタイプや変形度合いを選択し、処理に用いる変形処理のタイプや変形度合いとして設定する。当該ユーザーインターフェイスを介して設定され得る変形処理のタイプとしては、例えば、顔の形状を全体的に小さくする「小顔化」、顔の形状を細く（シャープに）する「シャープ化」、顔を特定の俳優や歌手等の有名人に似せるように変形する「有名人化」等がある。また、ユーザーは、当該ユーザーインターフェイスを介して変形処理の変形度合い（変形量）を、例えば、「強」、「中」、「弱」の３段階の中から選択して指示することができる。
本実施例では、遮蔽領域検出処理後の処理の一例として画像変形処理を実行する場合を説明しているため、当該ステップＳ２２０を組み込んでいるが、遮蔽領域検出処理後に画像変形処理以外の処理を行なう場合には、当該ステップＳ２２０は不要である。

顔領域検出部２１０（図１）は、注目画像ＯＩに含まれる顔の少なくとも一部を含む画像領域を顔領域ＦＡとして検出する（ステップＳ２３０）。顔領域ＦＡの検出は、公知の顔検出手法を用いて行うことができる。公知の顔検出手法としては、例えば、パターンマッチングによる手法や肌色領域抽出による手法、サンプル画像を用いた学習（例えばニューラルネットワークを用いた学習や、ブースティングを用いた学習、サポートベクターマシーンを用いた学習等）により設定される学習データを用いる手法等がある。

図１１は、注目画像ＯＩにおける顔領域ＦＡの検出結果の一例を示す説明図である。図１１には、注目画像ＯＩにおいて検出された顔領域ＦＡが示されている。本実施例では、おおよそ、顔の上下方向は額から顎まで、左右方向は両耳の外側まで含む矩形の領域が顔領域ＦＡとして検出されるような顔検出手法が用いられている。

特徴位置検出部２２０（図１）は、注目画像ＯＩに含まれる顔の特徴部位の座標位置を検出する特徴位置検出処理を行なう（ステップＳ２４０）。この特徴位置検出処理は、大きく分けて、第一段階としての特徴点ＣＰの初期位置設定処理（Ｉｎｉｔ処理と呼ぶ）と、第二段階としての特徴点ＣＰの設定位置補正処理（Ｆｉｔ処理と呼ぶ）とによって構成される。
図１２は、本実施例におけるＩｎｉｔ処理を示すフローチャートである。Ｉｎｉｔ処理では、まず、特徴位置検出部２２０は、顔領域ＦＡに対する顔画像の大きさ、傾き、上下方向の位置および左右方向の位置を表すグローバルパラメーターの値を種々変更して、特徴点ＣＰ（番号ｋ＝０〜６７までの６８個の特徴点ＣＰ）を注目画像ＯＩ上の仮設定位置に設定する（ステップＳ３１０）。

図１３は、グローバルパラメーターの値を変更することによる特徴点ＣＰの仮設定位置の一例を示す説明図である。図１３（ａ）および図１３（ｂ）には、注目画像ＯＩにおける特徴点ＣＰおよび特徴点ＣＰをつないで形成されるメッシュを示している。特徴点ＣＰをつないで形成されるメッシュは、上述したように特徴点ＣＰを頂点とする複数の三角形領域ＴＡの集合である（図６（ａ）等参照）。特徴位置検出部２２０は、図１３（ａ）および図１３（ｂ）の中央に示すように、平均形状ｓ_０における特徴点ＣＰの配置と等しい特徴点ＣＰの配置を持ったメッシュであって、最も平均的なグローバルパラメーターの組み合わせに応じて顔領域ＦＡに対する大きさ、傾き、位置を調整したメッシュを設定する。例えば、顔領域ＦＡに対する大きさを表す３段階（大きい、標準、小さい）のグローバルパラメーターと、顔領域ＦＡに対する上下方向の位置を表す３段階（上、中央、下）のグローバルパラメーターと、顔領域ＦＡに対する左右方向の位置を表す３段階（左、中央、右）のグローバルパラメーターと、顔領域ＦＡに対する傾きを表す３段階（反時計回り（−）に１５度、０度、時計回り（＋）に１５度）のグローバルパラメーターとが存在するとする。この場合、最も平均的なグローバルパラメーターの組み合わせとは、顔領域ＦＡに対する大きさは「標準」、顔領域ＦＡに対する上下方向の位置および左右方向の位置はそれぞれ「中央」、かつ顔領域ＦＡに対する傾きは「０度」を示すグローバルパラメーターの組み合わせを言う。本実施例では、図１３（ａ）および図１３（ｂ）の中央に示すようなメッシュを構成する特徴点ＣＰの設定位置（仮設定位置）を、「基準仮設定位置」とも呼ぶ。

特徴位置検出部２２０は、また、基準仮設定位置に対して、グローバルパラメーターの値を種々変更させた複数の仮設定位置を設定する。グローバルパラメーター（大きさ、傾き、上下方向の位置および左右方向の位置）を変更することは、注目画像ＯＩにおいて特徴点ＣＰにより形成されるメッシュが拡大・縮小、傾きを変更、並行移動することに相当する。従って、特徴位置検出部２２０は、図１３（ａ）に示すように、基準仮設定位置のメッシュを所定倍率で拡大または縮小したメッシュを形成するような仮設定位置（基準仮設定位置の図の下および上に示す）や、所定角度だけ時計回りまたは半時計回りに傾きを変更したメッシュを形成するような仮設定位置（基準仮設定位置の図の右および左に示す）を設定する。また、特徴位置検出部２２０は、基準仮設定位置のメッシュに対して、拡大・縮小および傾きの変更を組み合わせた変換を行ったメッシュを形成するような仮設定位置（基準仮設定位置の図の左上、左下、右上、右下に示す）も設定する。

また、図１３（ｂ）に示すように、特徴位置検出部２２０は、基準仮設定位置のメッシュを所定量だけ上または下に並行移動したメッシュを形成するような仮設定位置（基準仮設定位置の図の上および下に示す）や、左または右に並行移動したメッシュを形成するような仮設定位置（基準仮設定位置の図の左および右に示す）を設定する。また、特徴位置検出部２２０は、基準仮設定位置のメッシュに対して、上下および左右の並行移動を組み合わせた変換を行ったメッシュを形成するような仮設定位置（基準仮設定位置の図の左上、左下、右上、右下に示す）も設定する。

特徴位置検出部２２０は、図１３（ａ）に示す基準仮設定位置以外の８つの仮設定位置のそれぞれにおけるメッシュに対して図１３（ｂ）に示す上下左右の並行移動が実行される仮設定位置も設定する。従って、本実施例では、上述したように夫々に３段階の値を持つ４つのグローバルパラメーター（大きさ、傾き、上下方向の位置、左右方向の位置）を組み合わせたことにより設定される８０通り（＝３×３×３×３−１）の仮設定位置と基準仮設定位置との、合計８１通りの仮設定位置が設定される。

特徴位置検出部２２０は、設定された各仮設定位置に対応する平均形状画像Ｉ（Ｗ（ｘ；ｐ））を生成する（ステップＳ３２０）。
図１４は、平均形状画像Ｉ（Ｗ（ｘ；ｐ））の一例を示す説明図である。平均形状画像Ｉ（Ｗ（ｘ；ｐ））は、注目画像ＯＩにおける特徴点ＣＰの配置が平均形状ｓ_０における特徴点ＣＰの配置と等しくなるような変換によって算出される。

平均形状画像Ｉ（Ｗ（ｘ；ｐ））を算出するための変換は、サンプル画像ＳＩｗ算出のための変換（図８参照）と同様に、三角形領域ＴＡ毎のアフィン変換の集合であるワープＷにより行われる。具体的には、注目画像ＯＩに仮設定された特徴点ＣＰ（図１３参照）によって変換対象領域（メッシュの外周に位置する特徴点ＣＰにより囲まれた領域）が特定され、この変換対象領域に対して三角形領域ＴＡ毎のアフィン変換が行われることにより、平均形状画像Ｉ（Ｗ（ｘ；ｐ））が算出される。本実施例では、平均形状画像Ｉ（Ｗ（ｘ；ｐ））は、平均顔画像Ａ_０（ｘ）と同様に平均形状領域ＢＳＡおよびマスク領域ＭＡにより構成され、平均顔画像Ａ_０（ｘ）と同一サイズ（例えば、縦横５６画素×５６画素）の画像として算出される。

なお上述したように、画素群ｘは、平均形状ｓ_０における平均形状領域ＢＳＡに位置する画素の集合である。本実施例では、平均形状画像は、形状パラメーターｐによるワープＷ（ｘ；ｐ）によって生成された画像（画素群）Ｉという意味で、平均形状画像Ｉ（Ｗ（ｘ；ｐ））と表現している。図１４には、図１３（ａ）に示した９個の仮設定位置に対応する９個の平均形状画像Ｉ（Ｗ（ｘ；ｐ））を示している。

特徴位置検出部２２０は、各仮設定位置に対応する平均形状画像Ｉ（Ｗ（ｘ；ｐ））と平均顔画像Ａ_０（ｘ）との差分画像Ｉｅを算出する（ステップＳ３３０）。特徴点ＣＰの仮設定位置は８１種類設定されているため、特徴位置検出部２２０は、８１個の差分画像Ｉｅを算出する。

特徴位置検出部２２０は、各差分画像Ｉｅの画素値からノルム（ユークリッド距離）を算出し、ノルムの値が最も小さい差分画像Ｉｅに対応する仮設置位置（以下「ノルム最小仮設定位置」とも呼ぶ）を、注目画像ＯＩにおける特徴点ＣＰの初期位置として設定する（ステップＳ３４０）。ノルムを算出するための差分画像Ｉｅの画素値は輝度値であってもよいしＲＧＢ値であってもよい。以上により、Ｉｎｉｔ処理が完了する。Ｉｎｉｔ処理後、特徴位置検出部２２０はＦｉｔ処理を実行する。Ｆｉｔ処理では、特徴位置検出部２２０は、Ｉｎｉｔ処理で初期位置として設定された特徴点ＣＰの設定位置の補正を行う。

図１５は、Ｆｉｔ処理を示すフローチャートである。
特徴位置検出部２２０は、注目画像ＯＩに設定されている特徴点ＣＰに基づいて平均形状画像Ｉ（Ｗ（ｘ；ｐ））を算出する（ステップＳ４１０）。平均形状画像Ｉ（Ｗ（ｘ；ｐ））の算出方法は、Ｉｎｉｔ処理におけるステップＳ３２０と同様である。

特徴位置検出部２２０は、ステップＳ４１０で生成された平均形状画像Ｉ（Ｗ（ｘ；ｐ））と平均顔画像Ａ_０（ｘ）との差分画像Ｉｅを算出する（ステップＳ４２０）。特徴位置検出部２２０は、ステップＳ４２０で算出された差分画像Ｉｅに基づき、Ｆｉｔ処理が収束したか否かを判定する（ステップＳ４３０）。特徴位置検出部２２０は、差分画像Ｉｅのノルムを算出し、ノルムの値が予め設定されたしきい値より小さい場合には収束したと判定し、ノルムの値がしきい値以上の場合には未だ収束していないと判定する。なお、特徴位置検出部２２０は、算出された差分画像Ｉｅのノルムの値が前回のステップＳ４３０において算出されたノルムの値よりも小さい場合には収束したと判定し、前回値以上である場合には未だ収束していないと判定してもよい。あるいは、特徴位置検出部２２０は、しきい値による判定と前回値との比較による判定とを組み合わせて収束判定を行うとしてもよい。例えば、特徴位置検出部２２０は、算出されたノルムの値が、しきい値より小さく、かつ、前回値より小さい場合にのみ収束したと判定し、それ以外の場合には未だ収束していないと判定するとしてもよい。

ステップＳ４３０の収束判定において未だ収束していないと判定した場合、特徴位置検出部２２０はパラメーター更新量ΔＰを算出する（ステップＳ４４０）。パラメーター更新量ΔＰは、４個のグローバルパラメーター（全体としての大きさ、傾き、Ｘ方向位置、Ｙ方向位置）、および、特徴量であるｎ個の形状パラメーターｐ_ｉ（ｉ＝１〜ｎの整数。）の値の変更量を意味している。なお、特徴点ＣＰを初期位置に設定した直後においては、グローバルパラメーターは、Ｉｎｉｔ処理（図１２）において決定された値が設定されている。また、このときの特徴点ＣＰの初期位置と平均形状ｓ_０の特徴点ＣＰの設定位置との相違は、全体としての大きさ、傾き、位置の相違に限られるため、形状モデルにおける形状パラメーターｐ_ｉの値はすべてゼロである。

パラメーター更新量ΔＰは、下記の式（３）により算出される。すなわち、パラメーター更新量ΔＰは、アップデートマトリックスＲと差分画像Ｉｅとの積である。

式（３）におけるアップデートマトリックスＲは、差分画像Ｉｅに基づきパラメーター更新量ΔＰを算出するために予め学習により設定されたＭ行Ｎ列のマトリックスであり、ＡＡＭ情報ＡＭＩ（図１）として内部メモリー１２０に格納されている。本実施例では、アップデートマトリックスＲの行数Ｍは、グローバルパラメーターの数（４個）と、形状パラメーターｐ_ｉの数（ｎ個）との和（（４＋ｎ）個）に等しく、列数Ｎは、平均顔画像Ａ_０（ｘ）の平均形状領域ＢＳＡ内の画素数（５６画素×５６画素−マスク領域ＭＡの画素数）に等しい。アップデートマトリックスＲは、下記の式（４）および（５）により算出される。

式（４）および（５）における関数Ｗは、ワープＷ（ｘ；ｐ）を指し、変数Ｐは、形状パラメーターｐ_ｉを指し、Ｔは転置行列を意味する。

特徴位置検出部２２０は、算出したパラメーター更新量ΔＰに基づきパラメーター（４個のグローバルパラメーターおよびｎ個の形状パラメーター）を更新する（ステップＳ４５０）。これにより、注目画像ＯＩにおける特徴点ＣＰの設定位置が補正（更新）される。特徴位置検出部２２０は、差分画像Ｉｅのノルムが小さくなるように特徴点ＣＰの設定位置を補正する。すなわち、上記ｎ個の形状パラメーターをパラメーター更新量ΔＰで更新することで、形状モデルの上記式（１）に従って新たな形状ｓが生成されるため、特徴位置検出部２２０は、当該生成された形状ｓにおける特徴点ＣＰを注目画像ＯＩに設定する。このとき、特徴位置検出部２２０は、当該生成された形状ｓの大きさ、傾き、位置を、上記パラメーター更新量ΔＰで更新した４個のグローバルパラメーターに応じて調整した上で、特徴点ＣＰを注目画像ＯＩに設定する。このようにパラメーターの更新に応じて注目画像ＯＩに設定された特徴点ＣＰの位置が、補正後の特徴点ＣＰの設定位置である。

パラメーターの更新の後には、再度、特徴点ＣＰの設置位置が補正された注目画像ＯＩからの平均形状画像Ｉ（Ｗ（ｘ；ｐ））の算出（ステップＳ４１０）、差分画像Ｉｅの算出（ステップＳ４２０）、差分画像Ｉｅに基づく収束判定（ステップＳ４３０）が行われる。再度の収束判定においても収束していないと判定された場合には、さらに、差分画像Ｉｅに基づくパラメーター更新量ΔＰの算出（ステップＳ４４０）、パラメーターの更新による特徴点ＣＰの設定位置補正（ステップＳ４５０）が行われる。

図１５のステップＳ４１０からＳ４５０までの処理が繰り返し実行されると、注目画像ＯＩにおける各特徴部位に対応する特徴点ＣＰの位置は実際の特徴部位の位置に全体として近づいていき、ある時点で収束判定（ステップＳ４３０）において収束したと判定される。収束判定において収束したと判定されると、特徴位置検出処理が完了する（ステップＳ４６０）。特徴位置検出部２２０は、このとき設定されているグローバルパラメーターおよび形状パラメーターの値により特定される特徴点ＣＰの設定位置を、最終的な注目画像ＯＩにおける特徴点ＣＰの設定位置として検出する。

図１６は、特徴位置検出処理の結果の一例を示す説明図である。図１６には、注目画像ＯＩにおいて最終的に検出された特徴点ＣＰ（番号ｋ＝０〜６７までの６８個の特徴点ＣＰ）の設定位置が示されている。特徴点ＣＰの設定位置により、注目画像ＯＩに含まれる顔の特徴部位（人物の顔の器官（眉毛、目、鼻、口）およびフェイスラインにおける所定位置）の座標位置が特定される。つまり、特徴位置検出部２２０は、収束判定（ステップＳ４３０）において収束したと判定した時に、そのときの特徴点ＣＰの設定位置を取得することで、注目画像ＯＩに含まれる顔の特徴部位の座標位置を検出することができる。

次に、顔画像取得部２３０（図１）は、注目画像ＯＩに含まれる顔の少なくとも一部を含む領域の画像を顔画像ＦＩとして取得する（ステップＳ２５０）。本実施例において、“顔画像ＦＩ”と言った場合は、注目画像ＯＩにおいて上記最終的に検出された特徴点ＣＰの設定位置によって規定される領域の画像を意味する。具体的には、上記最終的に検出された特徴点ＣＰのうち、外周に位置する特徴点ＣＰ（フェイスラインおよび眉毛に対応する特徴点ＣＰ）を直線で結んで得られる領域が顔画像ＦＩとなる。顔画像ＦＩは、遮蔽領域が存在するか否かの判定対象となる画像である。

本実施例では、顔画像取得部２３０は、顔画像ＦＩを更に平均形状画像Ｉ（Ｗ（ｘ；ｐ））に変換する。つまり、顔画像取得部２３０は、上記最終的に検出された特徴点ＣＰの配置が平均形状ｓ_０における特徴点ＣＰの配置と等しくなるように、上記ステップＳ３２０等の処理と同様に、三角形領域ＴＡ毎のアフィン変換の集合であるワープＷを行い、平均形状画像Ｉ（Ｗ（ｘ；ｐ））を生成する。
基準顔画像取得部２４０（図１）は、遮蔽領域検出のための基準画像として用いられる基準顔画像を取得する（ステップＳ２６０）。本実施例では、基準顔画像として、平均顔画像Ａ_０（ｘ）を内部メモリー１２０から取得する。

遮蔽領域検出部２５０（図１）は、顔画像ＦＩと基準顔画像とを比較することにより、顔画像ＦＩ内において、顔を構成する要素以外の要素によって遮蔽された（遮蔽されたと推定される）遮蔽領域ＳＡを検出する（ステップＳ２７０）。具体的には、遮蔽領域検出部２５０は、顔画像ＦＩから変換された平均形状画像Ｉ（Ｗ（ｘ；ｐ））と、基準顔画像としての平均顔画像Ａ_０（ｘ）とを、位置が対応する三角形領域ＴＡ（小領域）の組み合わせ毎に比較し、三角形領域ＴＡ間の差分に基づいて平均形状画像Ｉ（Ｗ（ｘ；ｐ））側の三角形領域ＴＡが遮蔽領域ＳＡに該当するか否か判定する。例えば、平均形状画像Ｉ（Ｗ（ｘ；ｐ））側の三角形領域ＴＡと、平均顔画像Ａ_０（ｘ）側の三角形領域ＴＡとの間で、位置が対応し合う画素間の輝度差を算出し、かかる輝度差の総和を三角形領域ＴＡ内の画素数で除して得た値を、三角形領域ＴＡ間の差分とする。

そして、当該差分と所定のしきい値とを比較し、差分がしきい値以上であれば、そのとき比較に用いている平均形状画像Ｉ（Ｗ（ｘ；ｐ））側の三角形領域ＴＡを遮蔽領域ＳＡと判定し、一方、当該差分がしきい値より小さければ、その三角形領域ＴＡは遮蔽領域ＳＡではないと判定する。遮蔽領域検出部２５０は、このような平均形状画像Ｉ（Ｗ（ｘ；ｐ））の三角形領域ＴＡ毎の判定結果に基づいて、顔画像ＦＩにおいて遮蔽領域ＳＡの検出を行なう。つまり、平均形状画像Ｉ（Ｗ（ｘ；ｐ））の各三角形領域ＴＡと顔画像ＦＩの各三角形領域ＴＡとは一対一で対応しているため、平均形状画像Ｉ（Ｗ（ｘ；ｐ））において遮蔽領域ＳＡと判定された三角形領域ＴＡに対応する顔画像ＦＩ側の三角形領域ＴＡを、遮蔽領域ＳＡとして検出する。このような検出結果を、遮蔽領域検出部２５０は顔画像ＦＩ毎に内部メモリー１２０に記録しておく。

図１７は、遮蔽領域検出部２５０が顔画像ＦＩから遮蔽領域ＳＡを検出した結果の一例を示している。なお、顔画像ＦＩは、実際には上記外周に位置する特徴点ＣＰに囲まれた範囲における人顔の画像そのものであるが、図１７では、説明容易のため、各特徴点ＣＰおよび特徴点ＣＰを頂点とする各三角形領域ＴＡだけで顔画像ＦＩを表現している。図１７においては、顔の正面に向かって左側の頬から顎にかけての範囲に対応する複数の三角形領域ＴＡがそれぞれ遮蔽領域ＳＡとして検出されている。図１７では便宜的に、遮蔽領域ＳＡにハッチングを付している。つまり、このときの注目画像ＯＩに含まれている顔は、顔の正面に向かって左側の頬から顎にかけての範囲が、何らかの遮蔽物によって覆われた状態で撮影された顔であることが推定される。

変形処理部２６０（図１）は、遮蔽領域検出部２５０による検出結果に応じて、注目画像ＯＩにおける顔画像ＦＩに対する変形処理を行なう（ステップＳ２８０）。この場合、変形処理部２６０は、遮蔽領域検出部２５０による遮蔽領域ＳＡの検出の成功、不成功に応じて、変形処理の実行態様を異ならせる。

図１８は、ステップＳ２８０における変形処理の一例を示したフローチャートである。まず、ステップＳ５１０では、変形処理部２６０は、上記ステップＳ２７０（遮蔽領域検出処理）において顔画像ＦＩから遮蔽領域ＳＡが検出されたか否かを判定する。変形処理部２６０は、顔画像ＦＩから遮蔽領域ＳＡが検出されていないと判定した場合は、次のステップＳ５２０に進み、一方、顔画像ＦＩから遮蔽領域ＳＡが一つでも検出されていると判定した場合には、当該変形処理のフローチャートを終了させる（顔画像ＦＩに対する変形処理を行なわない）。つまり、遮蔽領域ＳＡを含む顔画像ＦＩに対して変形処理を施すと、遮蔽領域ＳＡの画像も変形される等、不適切な変形結果（見栄えの悪い変形結果）が得られる虞があるため、変形処理を行なわないようにする。

ステップＳ５２０では、変形処理部２６０は、顔画像ＦＩの外周における特徴点ＣＰ（上記最終的に検出された特徴点ＣＰのうち、外周に位置する特徴点ＣＰ。以下、輪郭点ＯＰとも呼ぶ。）の位置に基づいて、当該輪郭点ＯＰで囲まれた領域よりも広い領域であって顔の少なくとも一部を含む領域を、変形処理の対象領域として設定する。以下では、ステップＳ５２０で設定する対象領域を、変形領域ＣＡと呼ぶ。

図１９は、当該ステップＳ５２０の処理によって注目画像ＯＩに設定される変形領域ＣＡを例示している。変形処理部２６０は、注目画像ＯＩにおいて、輪郭点ＯＰに囲まれた領域内に基準点ＳＰを設定する。基準点ＳＰとは、輪郭点ＯＰに囲まれた領域のほぼ中心に相当する点である。本実施例では、顔領域ＦＡの重心を基準点ＳＰとして設定する。ただし変形処理部２６０は、注目画像ＯＩにおいて設定された特徴点ＣＰのうち、例えば、鼻の所定位置に該当する特徴点ＣＰの位置を、基準点ＳＰとしてもよい。

次に、変形処理部２６０は、基準点ＳＰと各輪郭点ＯＰとを結ぶ各線分Ｌを生成するとともに、各線分Ｌを、各輪郭点ＯＰから外側へ所定距離だけ延長する。ここで言う所定距離とは、例えば、顔領域ＦＡのサイズの１０％程度の長さを言う。顔領域ＦＡのサイズとは、例えば、顔領域ＦＡの縦幅と横幅との平均値である。なお、顔領域ＦＡの縦幅とは、顔の高さ方向（上下方向）における顔領域ＦＡの幅であり、顔領域ＦＡの横幅とは、顔の横方向（左右方向）における顔領域ＦＡの幅である。変形処理部２６０は、上記延長した各線分Ｌの端部（基準点ＳＰではない端部）に、外枠点ＰＰを設定する。

ただし、各輪郭点ＯＰに対応する各外枠点ＰＰの設定方法は、上述した手法に限られない。つまり、各外枠点ＰＰは、各輪郭点ＯＰとの所定の位置関係に基づいて各輪郭点ＯＰの外側に設定される点である。変形処理部２６０は、隣接する外枠点ＰＰ同士を線分で結ぶことにより、外枠点ＰＰで囲まれた領域を設定し、かかる領域を変形領域ＣＡとする。

図１９では、黒丸で表した各輪郭点ＯＰの外側に、白丸で各外枠点ＰＰを示している。このように外枠点ＰＰで囲まれた変形領域ＣＡの形状は、輪郭点ＯＰで囲まれた領域の形状に沿った形状となっている。つまり変形領域ＣＡは、注目画像ＯＩに含まれている顔の形状を詳細に反映した形となっている。

次に、変形処理部２６０は、変形領域ＣＡ内の画像に対する変形処理の際に移動対象とする特徴点ＣＰを、上記最終的に検出された特徴点ＣＰ（輪郭点ＯＰを含む特徴点ＣＰ）の中から、上記ステップＳ２２０（図１０）で設定された変形処理のタイプに応じて選択する（ステップＳ５３０）。上述したように、変形処理のタイプは、「小顔化」、「シャープ化」、「有名人化」等の中からユーザーが入力操作により任意に設定可能であり、変形処理のタイプと移動対象として選択すべき特徴点ＣＰとの対応関係は、予め決められているものとする。例えば、「小顔化」が設定されている場合には、変形処理部２６０は、「小顔化」のために移動対象とする特徴点ＣＰを選択する。変形処理部２６０は、「小顔化」のための移動対象の特徴点ＣＰとして、例えば、顎から頬にかけてのフェイスラインに対応する所定の番号にかかる複数の特徴点ＣＰ（輪郭点ＯＰ）を選択する。以下では、ステップＳ５３０において選択した特徴点ＣＰを、選択特徴点ＳＣＰと呼ぶ。ステップＳ５３０においては外枠点ＰＰは選択されない。

なお、図２０に示すように、「小顔化」のための選択特徴点ＳＣＰを、便宜上、ＳＣＰ０〜ＳＣＰ１０と表現する。図２０（後述の図２２も同様）では、特徴点ＣＰ（輪郭点ＯＰを含む特徴点ＣＰ）を黒丸で表し、上記外枠点ＰＰを図１９と同様に白丸で表している。

次に、変形処理部２６０は、内部メモリー１２０に格納された特徴点移動テーブル４２０に規定された移動量（あるいは、計算により設定された移動量）に従い、選択特徴点ＳＣＰの位置を移動して小領域（三角形領域）を変形することにより、変形領域ＣＡを変形させる（ステップＳ５４０）。ここで言う三角形領域とは、変形領域ＣＡを構成する複数の三角形領域であって、外枠点ＰＰまたは特徴点ＣＰを頂点として分割される三角形領域を意味している。特徴点移動テーブル４２０は、上述した変形処理のタイプ別、かつ、変形度合い（上述の例では、「強」、「中」、「弱」）別に予め用意されている。従って、当該Ｓ６２０では、変形処理部４２０は、上記ステップＳ２２０で設定された変形処理のタイプおよび変形度合いに対応する特徴点移動テーブル４２０を用いる。なお上記移動量は、画像の変形量とも呼べる。

図２１は、特徴点移動テーブル４２０（変形処理のタイプが「小顔化」かつ、変形度合いが「中」、に対応する特徴点移動テーブル４２０）の一例を示している。特徴点移動テーブル４２０では、その変形処理のタイプに対応する選択特徴点ＳＣＰ毎に、基準線ＲＬと直交する方向（Ｈ方向と呼ぶ。）に沿った移動量及び基準線ＲＬと平行な方向（Ｖ方向と呼ぶ。）に沿った移動量を定義している。基準線ＲＬとは、顔領域ＦＡの重心を通り、顔領域ＦＡの高さ方向に沿った辺に平行な直線である（図１９参照）。従って、Ｈ方向は顔の横方向に略相等し、Ｖ方向は顔の上下方向に略相等する。この移動量は、例えば、注目画像ＯＩの画素ピッチを単位として表されたり、所定のサイズを１００としたときの比率などで表される。当該所定のサイズとは、例えば、Ｈ方向に対する所定のサイズであれば、顔領域ＦＡの横幅や、輪郭点ＯＰによって囲まれた領域の横幅などが該当し、Ｖ方向に対する所定のサイズであれば、顔領域ＦＡの縦幅や、輪郭点ＯＰによって囲まれた領域の縦幅などが該当する。

また、Ｈ方向については、注目画像ＯＩに向かって右側への移動量が正の値として表され、向かって左側への移動量が負の値として表され、Ｖ方向については、注目画像ＯＩに向かって上方への移動量が正の値として表され、下方への移動量が負の値として表される。このような移動量は、特徴点移動テーブル４２０が対応している変形度合いのレベルに応じて、異なる値に設定されている。

図２２は、特徴点移動テーブル４２０に従った選択特徴点ＳＣＰの位置の移動の一例を示す説明図である。図２２の例では、変形領域ＣＡ内において、上記選択特徴点ＳＣＰ０〜ＳＣＰ１０の位置を移動させて変形する際の具体的な変形態様（小顔化）を示している。変形処理部２６０は、変形領域ＣＡを構成する各三角形領域について、選択特徴点ＳＣＰの位置移動前の状態における領域の画像が選択特徴点ＣＰの位置移動により新たに定義された領域の画像となるように、画像の変形処理を行う。図２２では、理解容易のために、上段（変形前の図）において、各選択特徴点ＳＣＰの移動方向を矢印で例示しており、下段（変形後の図）において、選択特徴点ＳＣＰの移動に伴って変形した各三角形領域にハッチングを付している。つまり、３つの頂点の中に１つでも選択特徴点ＳＣＰを含んでいる三角形領域は全て変形の対象となる。三角形領域毎の画像の変形処理は、上述したようにアフィン変換によって実現してもよいし、特開２００９‐１０４６７２号公報に記載された方法によって行ってもよい。

図２２に示すように、ステップＳ５４０における選択特徴点ＳＣＰの移動の結果、Ｖ方向に関しては、選択特徴点ＳＣＰ０〜ＳＣＰ１０のうち、左右の頬の最も高い位置に対応する選択特徴点ＳＣＰ０，ＳＣＰ１０を除く選択特徴点ＳＣＰ１〜ＳＣＰ９の位置が上方に移動される。また、Ｈ方向に関しては、顎の先端に対応する選択特徴点ＳＣＰ５を除いて、向かって左側の選択特徴点ＳＣＰ０〜ＳＣＰ４の位置が右方向に移動され、向かって右側の選択特徴点ＳＣＰ６〜ＳＣＰ１０の位置が左方向に移動される。そのため、注目画像ＯＩにおける顔は、フェイスライン内側の顎や頬を含む領域（顔画像ＦＩの一部の領域）が全体的に顔の略中心方向に向かって縮小するように変形され、フェイスライン外側の領域（特に、首の領域）が全体的に顔の略中心方向に向かって延びるように変形される。この結果、小顔化が実現される。本実施例では、変形領域ＣＡの内外の画像間の境界が不自然とならないように、変形領域ＣＡの外枠上に位置する外枠点ＰＰの位置は移動されないものとしている。

図２３は、ステップＳ２８０における変形処理の他の例を示したフローチャートである。なお、図２３の処理は、ステップＳ６１５の判定が含まれる点においてのみ、図１８の処理と異なり、ステップＳ６１０，Ｓ６２０〜Ｓ６４０は、ステップＳ５１０〜Ｓ５４０と同じである。変形処理部２６０は、顔画像ＦＩから遮蔽領域ＳＡが一つでも検出されていると判定した場合（ステップＳ６１０において“Ｙｅｓ”）には、その検出された遮蔽領域ＳＡが、後のステップＳ６４０の際に変形対象となる三角形領域に該当するか否か判定する（ステップＳ６１５）。ステップＳ６４０では、上述のＳ５４０と同様に、変形領域ＣＡ内の三角形領域のうち、３つの頂点の中に１つでも選択特徴点ＳＣＰを含む領域はすべて変形対象となる。そのため、変形処理部２６０は、このような変形対象となる三角形領域をＳ６１５の時点で特定する（ただし、顔画像ＦＩ内の三角形領域のみ特定する）とともに、当該特定した三角形領域の中に遮蔽領域ＳＡに該当するものが一つでもあるか判定し、該当するものがある場合には、当該変形処理のフローチャートを終了させる。

一方、変形処理部２６０は、検出された遮蔽領域ＳＡの全てが、後のステップＳ６４０の際に変形対象となる三角形領域に該当しない場合は、ステップＳ６２０の処理に進む。すなわち、変形処理部２６０は、顔画像ＦＩから遮蔽領域ＳＡが検出されている場合であっても、その遮蔽領域ＳＡが、変形処理の際に変形の対象となる三角形領域ではない場合は、変形処理に対する遮蔽領域ＳＡの影響は無いと判断し、変形処理を実行するとしてもよい。さらなる例（図１８，図２３の処理とは異なる例）として、変形処理部２６０は、変形領域ＣＡ内の変形対象となる三角形領域のうち、上記検出された遮蔽領域ＳＡに該当する領域については変形させず、上記検出された遮蔽領域ＳＡに該当しない領域については上記選択特徴点ＳＣＰの移動による変形を行なうとしてもよい。

さらに変形処理部２６０は、上記ステップＳ５１０あるいは、ステップＳ６１０やＳ６１５において“Ｙｅｓ”の判定をしたとき、遮蔽領域ＳＡが顔画像ＦＩ内に存在すること、あるいは変形対象となる画像領域に遮蔽物が重なっていること等を警告する所定の表示を、表示部１５０に表示するように表示処理部３１０に指示するとしてもよい。そして、表示部１５０に表示された当該警告を見たユーザーからの、変形処理の実行・不実行の指示に応じて、ステップＳ５２０あるいはステップＳ６２０以降の処理の実行・不実行を分岐するとしてもよい。

このように本実施例によれば、顔領域ＦＡの検出および上記特徴位置検出処理を行なうことにより、注目画像ＯＩに含まれる顔の特徴部位の座標位置に高精度に一致する特徴点ＣＰを検出し、特徴点ＣＰの設定位置によって規定される領域の画像を顔画像ＦＩとし、顔画像ＦＩ（顔画像ＦＩから変換された平均形状画像）と基準顔画像（例えば、平均顔画像Ａ_０（ｘ））とを比較することにより、顔画像ＦＩ内において遮蔽領域ＳＡを高い精度で検出できるようになった。つまり、顔画像ＦＩと平均的な顔の見えを持つ基準顔画像とを小領域単位で比較して差分を評価することにより、顔画像ＦＩ内の小領域毎に、顔の要素ではない要素に覆われた領域であるか否か（遮蔽領域ＳＡであるか否か）を正確に判定することができる。

また、本実施例によれば、このように注目画像ＯＩ内の顔に遮蔽領域ＳＡが存在するか否かや、顔のどの領域に遮蔽領域ＳＡが存在するかについての正確な検出結果を用いることにより、種々の画像処理、例えば顔の変形処理等において、最適な処理の選択を行なうことができる。つまり、遮蔽領域ＳＡの影響による変形処理等における不適切な処理結果の発生を、確実に防止することができる。

本発明は第１実施例に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、以下のような各実施例も可能である。むろん、第１実施例や各実施例を適宜組み合わせた構成も、本発明の範囲となる。以下において特に言及しない部分については、第１実施例で説明した内容が適用されるものとする。

２．第２実施例
上記では、遮蔽領域検出処理（図１０のステップＳ２７０）の際に顔画像ＦＩと比較する基準顔画像として、平均顔画像Ａ_０（ｘ）を用いたが、基準顔画像は平均顔画像Ａ_０（ｘ）以外の画像でもよい。平均顔画像Ａ_０（ｘ）は、個性、人種・性別、表情、向き、といった各特性が互いに異なる複数のサンプル画像（顔）の形状および見えを平均化したものである。そのため、どのような顔画像ＦＩとの比較にも用いることができ、かつその比較結果に基づいて、一定以上の精度で遮蔽領域ＳＡの有無を判定することができる。つまり、利便性や効率性を考えた場合、平均顔画像Ａ_０（ｘ）は基準顔画像として相応しい。

一方、遮蔽領域ＳＡの検出精度を最優先する場合は、平均顔画像Ａ_０（ｘ）以上に顔画像ＦＩの比較対象として相応しい画像を、別途用意することも可能である。例えば、顔画像ＦＩが白人男性の顔である場合、これと比較する基準顔画像も、白人男性の顔の基準となるような画像であれば、顔画像ＦＩと基準顔画像との差分に応じて、顔画像ＦＩ内の遮蔽領域ＳＡを極めて高精度に検出することができる。そこで本実施例では、顔画像ＦＩの特徴に応じた基準顔画像を生成し、このように生成した基準顔画像を遮蔽領域検出処理に用いる場合について説明する。

本実施例では、画像処理部２００は、顔画像ＦＩの特徴に応じた基準顔画像を生成するに先立って、テクスチャー検出処理を実行する。テクスチャー検出処理は、特徴位置検出処理（ステップＳ２４０）よりも後に実行する。
図２４は、テクスチャー検出処理を示すフローチャートである。画像処理部２００は、特徴位置検出処理が完了した時点で注目画像ＯＩに設定されている特徴点ＣＰに基づいて、注目画像ＯＩから平均形状画像Ｉ（Ｗ（ｘ；ｐ））を算出する（ステップＳ７１０）。当該ステップＳ７１０の処理は、顔画像ＦＩを平均形状画像Ｉ（Ｗ（ｘ；ｐ））に変換することと全く同じ処理である。

さらに、画像処理部２００は、平均形状画像Ｉ（Ｗ（ｘ；ｐ））に基づく平均テクスチャー画像Ｊ（Ｑ（ｘ；λ））を算出する（ステップＳ７１５）。平均テクスチャー画像Ｊ（Ｑ（ｘ；λ））は、以下の式（６）によって算出される。

式（６）は、式（２）における顔のテクスチャーＡ（ｘ）に平均形状画像Ｉ（Ｗ（ｘ；ｐ））を代入したものであり、テクスチャーパラメーターλ_ｉが適切に設定されれば、Ｊ（Ｑ（ｘ；λ））が平均顔画像Ａ_０（ｘ）と等しくなる。なお、初めてステップＳ７１５において平均テクスチャー画像Ｊ（Ｑ（ｘ；λ））を算出する場合、画像処理部２００は、適当なテクスチャーパラメーターλ_ｉ（例えば、デフォルト値として予め決められたテクスチャーパラメーターλ_ｉ）を用いて算出する。本実施例では、平均テクスチャー画像は、テクスチャーパラメーターλの変更による上記式（６）の変換Ｑ（ｘ；λ）によって生成された画像（画素群）Ｊという意味で、平均テクスチャー画像Ｊ（Ｑ（ｘ；λ））と表現している。

画像処理部２００は、平均テクスチャー画像Ｊ（Ｑ（ｘ；λ））と平均顔画像Ａ_０（ｘ）との差分画像Ｉｅを算出する（ステップＳ７２０）。画像処理部２００は、差分画像Ｉｅに基づき、テクスチャー検出処理が収束したか否かを判定する（ステップＳ７３０）。画像処理部２００は、差分画像Ｉｅのノルムを算出し、ノルムの値が予め設定されたしきい値より小さい場合には収束したと判定し、ノルムの値がしきい値以上の場合には未だ収束していないと判定する。なお、画像処理部２００は、算出された差分画像Ｉｅのノルムの値が前回のステップＳ７３０において算出された値よりも小さい場合には収束したと判定し、前回値以上である場合には未だ収束していないと判定するものとしてもよい。ここにおける収束の判定は、上述したＦｉｔ処理における収束判定と同様の手法により行うことができる。

ステップＳ７３０の収束判定において未だ収束していないと判定された場合には、画像処理部２００は、パラメーター更新量ΔΛを算出する（ステップＳ７４０）。パラメーター更新量ΔΛは、特徴量であるｍ個のテクスチャーパラメーターλ_ｉ（ｉ＝１〜ｍの整数。）の値の変更量を意味している。パラメーター更新量ΔΛは、下記の式（９）により算出される。すなわち、パラメーター更新量ΔΛは、アップデートマトリックスＵと差分画像Ｉｅとの積である。

式（７）におけるアップデートマトリックスＵは、差分画像Ｉｅに基づきパラメーター更新量ΔΛを算出するために予め学習により設定されたＭ行Ｎ列のマトリックスであり、ＡＡＭ情報ＡＭＩ（図１）として内部メモリー１２０に格納されている。本実施例では、アップデートマトリックスＵの行数Ｍは、テクスチャーパラメーターλ_ｉの数（ｍ個）に等しく、列数Ｎは、平均形状領域ＢＳＡ内の画素数（５６画素×５６画素−マスク領域ＭＡの画素数）に等しい。アップデートマトリックスＵは、下記の式（８），（９）により算出される。


式（８）および（９）における関数Ｑは、上記式（６）による変換を指し、変数Λは、テクスチャーパラメーターλ_ｉを指し、Ｔは転置行列を意味する。

画像処理部２００は、算出したパラメーター更新量ΔΛに基づきテクスチャーパラメーターλ_ｉを更新する（ステップＳ７５０）。これにより、顔のテクスチャーＡ（ｘ）が補正される。すなわち、画像処理部２００は、差分画像Ｉｅのノルムが小さくなるように補正する。パラメーターの更新の後には、再度、補正されたテクスチャーパラメーターλ_ｉに基づいて平均テクスチャー画像Ｊ（Ｑ（ｘ；λ））の算出（ステップＳ７１５）、差分画像Ｉｅの算出（ステップＳ７２０）、差分画像Ｉｅに基づく収束判定（ステップＳ７３０）が行われる。再度の収束判定においても収束していないと判定された場合には、さらに、差分画像Ｉｅに基づくパラメーター更新量ΔΛの算出（ステップＳ７４０）、パラメーターの更新によるテクスチャーの補正（ステップＳ７５０）が行われる。

図２４のステップＳ７１０からＳ７５０までの処理が繰り返し実行されると、上記式（２）で計算される顔のテクスチャーＡ（ｘ）の各画素の輝度値（色彩値）が、実際の顔画像ＦＩの輝度値に全体として近づいていき、ある時点で収束判定（ステップＳ７３０）において収束したと判定される。収束判定において収束したと判定されると、テクスチャー検出処理が完了する（ステップＳ７６０）。テクスチャー検出処理完了のとき設定されているテクスチャーパラメーターλ_ｉの値は、対応するテクスチャーベクトルＡ_ｉ（ｘ）が表す顔の特性に関して、注目画像ＯＩにおける実際の顔の見えと平均顔画像Ａ_０（ｘ）見えとがどれぐらい異なっているかを示している。従って、画像処理部２００は、このとき設定されているテクスチャーパラメーターλ_ｉの値により特定される顔のテクスチャーＡ（ｘ）を、顔画像ＦＩの最終的な見えとして特定する。
このようにテクスチャー検出処理が行なわれたことを前提として、基準顔画像取得部２４０（図１）は、上記ステップＳ２６０（図１０）において、基準顔画像を生成し取得する。

図２５は、基準顔画像取得部２４０による基準顔画像の生成処理を示したフローチャートである。基準顔画像取得部２４０は、まず、上記テクスチャー検出処理によって特定された顔画像ＦＩのテクスチャーＡ（ｘ）を取得する。（ステップＳ８１０）。
次に、基準顔画像取得部２４０は、上記ステップＳ８１０で取得したテクスチャーＡ（ｘ）に基づいて、下記式（１０）により、パラメーターＥを求める（ステップＳ８２０）。

式（１０）および下記式（１１）においては、Ｅ＝（ｅ_１，ｅ_２，…ｅ_ｍ）であり、Ａ_ｉ（ｘ）＝（Ａ_１（ｘ），Ａ_２（ｘ），…Ａ_ｍ（ｘ））である。つまり、式（１０）によって、顔画像ＦＩのテクスチャーＡ（ｘ）における各固有ベクトル（各テクスチャーベクトル）の内積値が、パラメーターＥとして算出される。このようなパラメーターＥは、顔画像ＦＩのテクスチャーＡ（ｘ）がＰＣＡ（主成分分析）で定義された空間において、どの主成分をどの程度含んでいるかを示していると言える。

基準顔画像取得部２４０は、上記ステップＳ８２０で算出したパラメーターＥ＝（ｅ_１，ｅ_２，…ｅ_ｍ）を下記式（１１）に代入することにより、新たなテクスチャーＡ（ｘ）´を算出する（ステップＳ８３０）。下記式（１１）は、式（２）と同様に、顔のテクスチャーＡ（ｘ）´を、平均顔画像Ａ_０（ｘ）と各テクスチャーベクトルＡ_ｉ（ｘ）の線形結合との和により表している。

ここで、顔画像ＦＩが仮に遮蔽領域ＳＡを含むものであったとしても、遮蔽領域ＳＡに該当する画像が持つ成分は、顔のテクスチャーを構成するいずれの固有ベクトルによっても表されない成分である。従って、上記のように算出されるパラメーターＥは、顔画像ＦＩに含まれる遮蔽領域ＳＡを表す成分についての重みを欠いたパラメーターである。よって、かかるパラメーターＥに基づいて生成したテクスチャーＡ（ｘ）´は、顔画像ＦＩの見えの特性と非常に近似した特性を持つ顔であって、かつ、遮蔽領域ＳＡが欠落した（遮蔽領域ＳＡを表し得ない）顔を表現していると言える。

本実施例では、基準顔画像取得部２４０は、上記のように算出したテクスチャーＡ（ｘ）´を、基準顔画像として取得する。つまり基準顔画像取得部２４０は、図２５の処理によって、顔画像ＦＩのテクスチャーを構成する固有ベクトルの重みを表したパラメーターＥを算出し、当該算出したパラメーターＥおよびテクスチャーモデルに基づいて顔画像ＦＩに近似した顔の見えを表現するテクスチャーを生成し、当該生成したテクスチャーを基準顔画像とする。

基準顔画像としてテクスチャーＡ（ｘ）´が取得された場合、遮蔽領域検出部２５０は、顔画像ＦＩ（顔画像ＦＩから変換された平均形状画像）と、テクスチャーＡ（ｘ）´とを比較することにより、顔画像ＦＩ内において遮蔽領域ＳＡを検出する（図１０のステップＳ２７０）。比較の手法は第１実施例で述べた通りである。
このように本実施例によれば、遮蔽領域検出の対象となる顔画像ＦＩの見えの特性と近似した特性を持つ顔であって遮蔽領域ＳＡが欠落した顔を表現するテクスチャーを生成し、当該生成したテクスチャーと顔画像ＦＩとを比較することにより遮蔽領域ＳＡを検出する。そのため、仮に、顔画像ＦＩに遮蔽領域ＳＡが含まれている場合には、当該比較結果において遮蔽領域ＳＡの存在が端的に表れることとなり、よって、極めて正確に遮蔽領域ＳＡの有無を判定することができる。

３．第３実施例
遮蔽領域検出部２５０による検出結果に応じて行なう処理としては、第１実施例のような変形処理（図１０のステップＳ２８０）だけに限られず、これに加えてあるいは替えて、種々の処理が挙げられる。
図２６は、補正処理部（抽出部）２７０（図１）が、遮蔽領域検出処理（ステップＳ２７０）よりも後に実行する画像補正処理の一例を示したフローチャートである。補正処理部２７０は、特徴量の抽出対象となる領域を注目画像ＯＩ上において特定する（ステップＳ９１０）。ここでは、顔の色を補正するために、顔の色（肌色）に関する特徴量を抽出することを目的とし、例えば、顔領域ＦＡや、そのときの顔画像ＦＩの範囲を、特徴量の抽出対象の領域として特定する。

次に、補正処理部２７０は、上記ステップＳ２７０において遮蔽領域ＳＡが検出されている否かを判定する（ステップＳ９２０）。補正処理部２７０は、遮蔽領域ＳＡが検出されている場合にはステップＳ９３０に進み、遮蔽領域ＳＡが検出されていない場合には、ステップＳ９３０をスキップしてステップＳ９４０に進む。
ステップＳ９３０では、補正処理部２７０は、上記ステップＳ９１０で特定した領域のうち、上記検出された遮蔽領域ＳＡに該当する部分については特徴量の抽出対象の領域から除外した上で、特徴量の抽出対象の領域を特定し直す。

補正処理部２７０は、その時点で特定されている（ステップＳ９１０またはステップＳ９３０で特定された）抽出対象の領域内から、肌色画素（所定の表色系における肌色に該当する座標範囲に含まれる画素値を持った画素）をサンプリングする（ステップＳ９４０）。
補正処理部２７０は、上記サンプリングした肌色画素の画素値を解析することにより、所定の統計値を特徴量として抽出する（ステップＳ９５０）。ここでは、例えば、輝度値や各色要素ＲＧＢ等の、平均値、最大・最小値、メジアン、最頻値等、種々の統計値を特徴量として取得可能である。

補正処理部２７０は、上記抽出した特徴量に応じた補正処理を実行する（ステップＳ９６０）。本実施例では、当該補正処理の具体的内容は特に問わない。例えば、補正処理部２７０は、肌色画素の輝度平均値に基づいて、注目画像ＯＩにおける顔の明るさ（肌色画素の明るさ）を補正したり、肌色画素のＲＧＢ毎の特徴量の比率に応じて、注目画像ＯＩにおける顔のカラーバランス（肌色画素のカラーバランス）を補正したりする。なお、上記遮蔽領域ＳＡが検出されている場合には、当該補正を行う際にも、補正処理部２７０は、遮蔽領域ＳＡについては補正の対象としないようにする。

このように本実施例によれば、画像補正（例えば、顔の色補正）のために画素をサンプリングして特徴量を抽出する際に、遮蔽領域ＳＡが存在する場合には、遮蔽領域ＳＡを避けて画素をサンプリングして特徴量を抽出するようにした。そのため、このようにして得られる特徴量は、補正すべき画像の特徴（顔の肌の輝度や色等）を正確に表したものとなり、結果、適切な画像補正が実行される。

４．第４実施例
図２７は、表情判定部２８０（図１）が、遮蔽領域検出処理（ステップＳ２７０）よりも後に実行する表情判定処理の一例を示したフローチャートである。表情判定部２８０は、注目画像ＯＩに含まれる顔の表情判定を実行可能であり、本実施例では、遮蔽領域ＳＡの顔画像ＦＩ内における位置に応じて表情判定の実行態様を異ならせる。
表情判定部２８０は、上記ステップＳ２７０において遮蔽領域ＳＡが検出されている否かを判定する（ステップＳ１０１０）。表情判定部２８０は、遮蔽領域ＳＡが検出されている場合にはステップＳ１０２０に進み、遮蔽領域ＳＡが検出されていない場合には、ステップＳ１０４０に進む。

ステップＳ１０２０では、表情判定部２８０は、そのときの顔画像ＦＩ内の領域のうち、表情判定に必要な顔器官（例えば、口や左右の目など。）に該当する領域が、上記検出された遮蔽領域ＳＡに該当するか否か判定する。顔画像ＦＩ内における口に該当する領域や、左右の目に該当する領域等は、口や目等の位置に対応する特徴点ＣＰを頂点とする各三角形領域の位置によって特定する。表情判定部２８０は、これら表情判定に必要な顔器官に該当する領域のいずれか一つでも遮蔽領域ＳＡに該当する場合には、ステップＳ１０３０に進み、表情判定に必要な顔器官に該当する領域の全てが遮蔽領域ＳＡに該当しない場合には、ステップＳ１０４０に進む。

ステップＳ１０３０では、表情判定部２８０は、適切な表情判定が実行不能であると判断し、表情判定処理を中止し、当該フローチャートを終える。あるいは、表情判定部２８０は当該ステップＳ１０３０において、表示処理部３１０に指示することにより、遮蔽領域ＳＡが顔画像ＦＩ内に存在するために表情判定を実行不能である旨の警告を、表示部１５０に表示させるとしてもよい。一方、ステップＳ１０４０では、表情判定部２８０は、上記表情判定に必要な顔器官に該当する領域の形状や特徴点ＣＰの位置等に基づき、公知の表情判定手法によって表情判定を実行する。むろん、表情判定の結果は、表示部１５０に表示させる等することができる。

なお、表情判定部２８０は、表情判定に必要な顔器官に該当する領域の全てが遮蔽領域ＳＡに該当しない場合にのみ表情判定を実行する構成ではなく、表情判定に必要な顔器官に該当する領域の一部についてのみ遮蔽領域ＳＡに該当する場合にも、表情判定を実行するとしてもよい。このように本実施例によれば、注目画像ＯＩに含まれる顔の表情判定を実行しようとする際に、遮蔽領域ＳＡが存在する場合には、遮蔽領域ＳＡの位置と、表情判定に必要な顔器官の位置との関係に応じて、表情判定の実行・不実行を分岐する。そのため、遮蔽領域ＳＡの影響による不正確な表情判定結果が得られてしまうことを防止できる。

５．変形例
上記のような遮蔽領域ＳＡの検出結果は、上述した各処理以外にも適用可能である。
例えば、画像処理部２００は、注目画像ＯＩに含まれている顔について認証（顔の個人認証）を実行しようとする際、当該顔内に遮蔽領域ＳＡが存在する場合には、遮蔽領域ＳＡに該当する領域を避けた領域から、認証に必要な情報（特徴量）を取得して認証を実行するとしてもよい。

また、デジタルスチルカメラを本実施形態にかかる画像処理装置とした場合、デジタルスチルカメラ内のメモリーに画像処理部２００としてのコンピュータープログラムやＡＡＭ情報ＡＭＩを格納しておく。そして、ユーザーによる任意の撮影時に、デジタルスチルカメラ（画像処理部２００）は、レンズから入力した画像に対して、上記ステップＳ２３０〜Ｓ２７０等の処理を行なうことにより、当該画像から遮蔽領域ＳＡの検出を試みるとしてもよい。そして、画像処理部２００は、当該画像に含まれる顔画像ＦＩにおいて遮蔽領域ＳＡが検出された場合には、例えば、デジタルスチルカメラの液晶ディスプレイに、ユーザーに対する警告を表示させたり、顔画像ＦＩの範囲から遮蔽領域ＳＡが検出されなくなるまでカメラのシャッターボタンの押下げを無効としたりする。

上述した特徴点ＣＰの初期位置設定処理（Ｉｎｉｔ処理）や設定位置補正処理（Ｆｉｔ処理）では、注目画像ＯＩに基づき平均形状画像Ｉ（Ｗ（ｘ；ｐ））を算出することにより、注目画像ＯＩの特徴点ＣＰの設定位置を平均顔画像Ａ_０（ｘ）の特徴点ＣＰの設定位置に整合させている。しかし逆に、平均顔画像Ａ_０（ｘ）に対して画像変換を行うことにより、注目画像ＯＩの特徴点ＣＰと平均顔画像Ａ_０（ｘ）の特徴点ＣＰとの配置を整合させるとしてもよい。

また、Ｉｎｉｔ処理において、４つのグローバルパラメーター（大きさ、傾き、上下方向の位置、左右方向の位置）のそれぞれについての３段階の値の組み合わせに対応する仮設定位置が予め設定されているが、仮設定位置の設定に用いるパラメーターの種類および数やパラメーター値の段階数は変更可能である。
また上記では、サンプル画像ＳＩｗの画素群ｘのそれぞれにおける輝度値により構成される輝度値ベクトルに対する主成分分析によってテクスチャーモデルが設定されているが、顔画像のテクスチャー（見え）を表す輝度値以外の指標値（例えばＲＧＢ値）に対する主成分分析によってテクスチャーモデルが設定されるものとしてもよい。

また、平均顔画像Ａ_０（ｘ）のサイズは５６画素×５６画素に限られず他のサイズであってもよい。また、平均顔画像Ａ_０（ｘ）は、マスク領域ＭＡ（図８）を含む必要はなく、平均形状領域ＢＳＡのみによって構成されるとしてもよい。また、平均顔画像Ａ_０（ｘ）の代わりに、サンプル画像ＳＩの統計的分析に基づき設定される他の基準顔画像が用いられるとしてもよい。
また上記では、ＡＡＭを用いた形状モデルおよびテクスチャーモデルの設定が行われているが、他のモデル化手法（例えばＭｏｒｐｈａｂｌｅ Ｍｏｄｅｌと呼ばれる手法やＡｃｔｉｖｅ Ｂｌｏｂと呼ばれる手法）を用いて形状モデルおよびテクスチャーモデルの設定が行われるとしてもよい。

また上記では、メモリーカードＭＣに格納された画像が注目画像ＯＩに設定されているが、注目画像ＯＩは例えばネットワークを介して取得された画像であってもよい。
また上記では、主に画像処理装置としてのプリンター１００による画像処理を説明したが、処理の一部または全部がコンピューター３００や、デジタルビデオカメラ等の他の種類の画像処理装置により実行されるものとしてもよい。また、プリンター１００はインクジェットプリンターに限らず、他の方式のプリンター、例えばレーザプリンターや昇華型プリンターであるとしてもよい。

１００…プリンター、１１０…ＣＰＵ、１２０…内部メモリー、１４０…操作部、１５０…表示部、１６０…印刷機構、１７０…カードインターフェイス、１７２…カードスロット、２００…画像処理部、２１０…顔領域検出部、２２０…特徴位置検出部、２３０…顔画像取得部、２４０…基準顔画像取得部、２５０…遮蔽領域検出部、２６０…変形処理部、２７０…補正処理部（抽出部）、２８０…表情判定部、３００…コンピューター、３１０…表示処理部、３２０…印刷処理部、４２０…特徴点移動テーブル

Claims (8)

1. 注目画像に含まれる顔の少なくとも一部を含む領域の画像を顔画像として取得する顔画像取得部と、
   遮蔽領域の検出のための基準画像として用いられる基準顔画像を取得する基準顔画像取得部と、
   上記顔画像と基準顔画像とを比較することにより、上記顔画像内において、顔を構成する要素以外の要素によって遮蔽された遮蔽領域を検出する遮蔽領域検出部とを備えることを特徴とする画像処理装置。
2. 上記基準顔画像取得部は、顔の複数のサンプル画像に対する主成分分析により得られたテクスチャーモデルによって表される上記顔画像のテクスチャーを取得し、当該取得したテクスチャーを構成する固有ベクトルの重みを表したパラメーターを算出し、当該算出したパラメーターおよび上記テクスチャーモデルに基づいて上記顔画像に近似した顔の見えを表現するテクスチャーを生成し、当該生成したテクスチャーを上記基準顔画像とすることを特徴とする請求項１に記載の画像処理装置。
3. 上記基準顔画像取得部は、顔の複数のサンプル画像を平均化することにより生成された画像である平均顔画像を上記基準顔画像として取得することを特徴とする請求項１に記載の画像処理装置。
4. 上記注目画像に含まれる顔の特徴部位の座標位置を特徴点として検出する特徴位置検出部を備え、
   上記顔画像取得部は、上記検出された特徴点によって規定される領域の画像を上記顔画像として取得するとともに、当該特徴点の配置が、上記基準顔画像における特徴部位の位置を表す特徴点の配置と等しくなるように上記顔画像を変換した画像である平均形状画像を生成し、
   上記遮蔽領域検出部は、上記平均形状画像と基準顔画像とを比較することにより上記顔画像内の遮蔽領域を検出することを特徴とする請求項１〜請求項３のいずれかに記載の画像処理装置。
5. 上記遮蔽領域検出部は、上記平均形状画像における特徴点を頂点とする複数の小領域と、上記基準顔画像における特徴点を頂点とする複数の小領域との間で、位置が対応する小領域の組み合わせ毎に画像の比較を行なうことを特徴とする請求項４に記載の画像処理装置。
6. 上記顔画像の少なくとも一部を変形可能な変形処理部を備え、
   上記変形処理部は、上記遮蔽領域検出部による検出の成功、不成功に応じて、変形処理の実行態様を異ならせることを特徴とする請求項１〜請求項５のいずれかに記載の画像処理装置。
7. 上記注目画像から所定の特徴量を抽出可能な抽出部を備え、
   上記抽出部は、顔の色に関する特徴量を抽出する際に、上記遮蔽領域検出部によって検出された遮蔽領域を避けて特徴量を抽出することを特徴とする請求項１〜請求項６のいずれかに記載の画像処理装置。
8. 上記注目画像に含まれる顔の表情判定を実行可能な表情判定部を備え、
   上記表情判定部は、上記遮蔽領域検出部によって検出された遮蔽領域の上記顔画像内における位置に応じて、表情判定の実行態様を異ならせることを特徴とする請求項１〜請求項７のいずれかに記載の画像処理装置。