JP2008046864A - 顔画像認識装置及び顔画像認識プログラム - Google Patents

Abstract

【課題】高速に高精度な顔画像認識を実現する。
【解決手段】予め登録される登録顔画像と該登録顔画像の表情の異なる複数の画像とを用いて、入力画像に含まれる人物を特定する顔画像認識装置において、前記登録顔画像の特徴点配置情報と人物識別情報とを、前記登録顔画像に対応付けて顔テンプレートとして登録する顔画像登録部と、前記顔画像登録部により登録された人物の表情の異なる複数の顔画像と、前記人物識別情報とから顔変形データを抽出する顔変形データ抽出部と、前記顔テンプレートと前記顔変形データとに基づいて、顔認識に用いられる所定のパラメータの確率分布を逐次モンテカルロ法を用いて更新しながら、前記入力画像に含まれる顔画像の人物を特定する顔画像認識部とを有し、前記顔画像認識部は、予め設定された条件に基づいて前記パラメータのサンプルと該サンプルの重みとを含む粒子の総数を調整しつつ粒子の再抽出を行う。
【選択図】図１

Description

本発明は、顔画像認識装置及び顔画像認識プログラムに係り、特に高速に高精度な顔画像認識を実現するための顔画像認識装置及び顔画像認識プログラムに関する。

従来より、映像等に映っている顔の認識手法としては、音声認識や動作認識、顔表情認識、対象物認識、又はそれらを組み合わせた技術が有効な手段であることが知られており、そのための顔画像認識システムが用いられている。

ところで、顔画像認識が困難である大きな理由の一つは、認識対象可変性が多いことであり、特に顔の表情による可変性が挙げられる。そこで、従来の技術では、顔の変形等の変動要素に対して頑健な顔画像認識を行う技術として、Ｂａｙｅｓ（ベイズ）推定に基づいた認識手法がある（例えば、非特許文献１、特許文献１参照。）。

非特許文献１に記載された技術は、今まで登場人物の追加・削除、照明や背景等の撮影条件の変化が生じた場合、その都度パラメータの調整を行う必要あったが、そのシステムのパラメータを確率変数とみなし、顔テンプレートに付随するパラメータの事後確率分布を、階層的Ｂａｙｅｓ推定の枠組みから捉えて、その確率分布のサンプルをハミルトニアモンテカルロ法（ＨＭＣ法）で採取する。その上で、尤度を事後確率分布に関して周辺化（積分）することで、顔画像認識を行うものであった。
松井淳 他，"ハミルトニアモンテカルロ法によるＢａｙｅｓ的画像認識"，映像情報メディア学会誌 Ｖｏｌ．５９，Ｎｏ．８，ｐｐ．１１８３〜１１９０，２００５年． 特開２００５−２０８８５０号公報

しかしながら、上述した従来手法である一括学習型のＢａｙｅｓ推定による方法は、映像等のように時々刻々と変化する入力画像上の顔の状態を、事前に与えられた学習データから抽出した普遍的なパラメータのサンプルの分布として表している。したがって、例えば、映像に含まれている顔の表情変化等による顔モデルの変動に対しては、ある程度頑健な顔画像認識が実現できているが、直前の時刻までに与えられた入力画像を考慮していないため、高精度な画像認識を実現できているとはいえない。

また、従来手法で顔画像認識精度を向上させるためには、個々の人物についての多数の学習データを用意し、それら学習データに含まれる顔の多様な変化（パラメータの分布）を、より多くのサンプルで表現する必要があるが、その場合、抽出するサンプルの総数の増加に伴い、個々のサンプルについて繰り返し行われる計算の回数が増えるため、顔画像認識プログラム全体の処理コストが増大する問題を抱えていた。

本発明は、上述した問題点に鑑みなされたものであり、高速に高精度な顔画像認識を実現するための顔画像認識装置及び顔画像認識プログラムを提供することを目的とする。

上記課題を解決するために、本件発明は、以下の特徴を有する課題を解決するための手段を採用している。

請求項１に記載された発明は、予め登録される登録顔画像と該登録顔画像の表情の異なる複数の画像とを用いて、入力画像に含まれる顔画像の人物を特定するための顔画像認識装置において、前記登録顔画像の特徴点配置情報と人物識別情報とを、前記登録顔画像に対応付けて顔テンプレートとして登録する顔画像登録部と、前記顔画像登録部により登録された人物の表情の異なる複数の顔画像と、前記人物識別情報とから顔変形データを抽出する顔変形データ抽出部と、前記顔テンプレートと前記顔変形データとに基づいて、顔認識に用いられる所定のパラメータの確率分布を逐次モンテカルロ法を用いて更新しながら、前記入力画像に含まれる顔画像の人物を特定する顔画像認識部とを有し、前記顔画像認識部は、予め設定された条件に基づいて前記パラメータのサンプルと該サンプルの重みとを含む粒子の総数を調整しつつ粒子の再抽出を行うことを特徴とする。

請求項１記載の発明によれば、高速に高精度な顔画像認識を実現することができる。また、計算コストを左右する粒子の総数を動的に制御することによって、装置全体の処理時間を短縮することができる。また、逐次モンテカルロ法を適用することで、高精度に確率分布の更新処理を実現することができる。

請求項２に記載された発明は、前記顔画像認識部は、前記逐次モンテカルロ法における粒子の再抽出において、前記顔テンプレートのモデル周辺尤度を利用して、事後確率分布の最大値を与えるモデルに割り当てる粒子の数を一定とする条件のもとで前記粒子の再抽出を行うことを特徴とする。

請求項２記載の発明によれば、最終的な認識精度への影響を最小限にして、計算コストを効果的に削減することができる。

請求項３に記載された発明は、前記顔画像認識部は、前記入力画像が入力される毎時刻あるいは予め設定された時間間隔毎に粒子の再抽出を行うことを特徴とする。

請求項３記載の発明によれば、必要に応じて粒子の再抽出を行うことで効率的かつ高速に確率分布の更新処理を実現することができる。したがって、高精度な顔画像認識を実現することができる。

請求項４に記載された発明は、前記顔画像認識部は、同一人物を連続して撮影した入力画像の顔画像認識を行う際、前記入力画像毎に前記パラメータの確率分布を逐次学習することを特徴とする。

請求項４記載の発明によれば、動画像や連続静止画像（映像を含む）等では、直前の顔の変形との関連性が強いため、連続する入力画像の顔画像認識を行う際、その直前の入力画像によりパラメータの確率分布を逐次学習させることで、より高精度に顔画像認識を行うことができる。

請求項５に記載された発明は、前記入力画像から顔の中心位置及び大きさを含む顔領域情報を検出する顔画像検出部を有し、前記顔画像認識部は、前記顔領域情報に基づいて顔画像認識を行うことを特徴とする。

請求項５記載の発明によれば、顔領域情報も認識判定に用いることにより、より高精度な顔画像認識を行うことができる。

請求項６に記載された発明は、予め登録される登録顔画像と該登録顔画像の表情の異なる複数の画像とを用いて、入力画像に含まれる顔画像の人物を特定するための顔画像認識処理をコンピュータに実行させるための顔画像認識プログラムにおいて、前記登録顔画像の特徴点配置情報と人物識別情報とを、前記登録顔画像に対応付けて顔テンプレートとして登録する顔画像登録処理と、前記顔画像登録処理により登録された人物の表情の異なる複数の顔画像と、前記人物識別情報とから顔変形データを抽出する顔変形データ抽出処理と、前記顔テンプレートと前記顔変形データとに基づいて、顔認識に用いられる所定のパラメータの確率分布を逐次モンテカルロ法を用いて更新しながら、前記入力画像に含まれる顔画像の人物を特定する顔画像認識処理とを有し、前記顔画像認識処理時に予め設定された条件に基づいて前記パラメータのサンプルと該サンプルの重みとを含む粒子の総数を調整しつつ粒子の再抽出を行う再抽出処理をコンピュータに実行させる。

請求項６記載の発明によれば、高速に高精度な顔画像認識を実現することができる。また、実行プログラムをコンピュータにインストールすることにより、容易に顔画像認識を実現することができる。

本発明によれば、高速に高精度な顔画像認識を実現することができる。

＜本発明の特徴＞
本発明は、例えば動画像又は連続静止画像（映像を含む）等のように、ある人物の顔を連続的に撮影した画像の組（以下、「入力画像」という）が、撮影時刻の順に一枚ずつ与えられる場合において、予め与えられた複数の人物の顔画像（以下、「登録顔画像」という）の中から入力画像に含まれる顔と最も類似するものを探し、その結果として、例えばその人物を特定する人物識別情報としてのラベル（以下、「人物ＩＤ」という）を逐次出力する。

また、連続静止画像を入力とする顔画像認識を実現する技術は幾つか提案されているが、本発明では、特に個々の登録顔画像について、顔の物理モデル（以下、「顔テンプレート」という）を作成し、それに付随するパラメータΘ_ｎの事後確率分布、及び登録した人物（顔テンプレート）の総数Ｎ_{ｐｅｒｓｏｎｓ}個の各々の顔テンプレートの事後確率分布をベイズ（Ｂａｙｅｓ）推定に基づいて直接計算し、計算した結果に基づいて比較する手法を用いる。つまり、表情変化や発話動作に伴って時々刻々と変化する顔の状態（画像平面上での歪み）に追従するため、各時刻における顔モデルの確率分布を与えられた入力画像そのものを用いて逐次的に推定（学習）する。

ここで、例えば（１）式に示されるある過去の時刻から現時刻ｎまでの入力画像列：ｙ_１：ｎ=(ｙ_１，ｙ_２，…，ｙ_ｎ)が与えられたときのｊ番目の顔テンプレートＨ_ｊの事後確率分布Ｐ（Ｈ_ｊ｜ｙ_１：ｎ）について考える。

上述した（１）式の右辺、分子の第１項は時刻ｎにおける顔テンプレートＨ_ｊのモデル周辺尤度Ｐ（ｙ_ｎ｜ｙ_{１：ｎ−１}，Ｈ_ｊ）を示しており、以下の（２）式に示す更新式で定義される。

ここで、上述した（２）式のうち、Ｐ（ｙ_ｎ｜Θ_ｎ，Ｈ_ｊ）は、パラメータΘ_ｎの尤度であり、顔テンプレートＨ_ｊの構造と入力画像ｙ_ｎから抽出する特徴量の生成モデル（観測モデル）によって定まる関数である。また、Ｐ（Θ_ｎ｜ｙ_{１：ｎ−１}，Ｈ_ｊ）は、パラメータΘ_ｎの予測確率分布であり、以下に示す（３）式、（４）式で定義される。

また、顔テンプレートの初期分布は、予め事前知識（例えば、ある特定の人物が、他のどの人物よりも多く出現する可能性が高い等の情報）を有している等の特別な理由がない限り等確率であるため以下の（５）式が成り立つ。

顔画像認識を行う際には、上述した（１）式にしたがって、顔テンプレートの事後確立分布を逐次更新し、例えば各時刻ｎにおける事後確率が最大を与える顔テンプレートの人物ＩＤを認識結果として出力する。つまり、以下に示す（６）式が成り立つ。

また、顔テンプレートの事後確率分布を求めるには、（２）式及び（３）式の計算を実行する必要があるが、この多次元連続空間上の積分値を解析的に求めることは非常に困難である。

そこで、本発明では、被積分関数の一部であるパラメータΘ_ｎの事後確率分布を、（７）式に示すＮ_ｊ個のサンプルの粗密と（８）式に示す各々のサンプルの重みで表現する。

ここで、ｗ_ｎ ^（ｉ）｜Ｈ_ｊは、ｊ番目のモデルＨ_ｊに属するｉ番目のサンプルΘ（ｉ）についての、提案分布（ｐｒｏｐｏｓａｌ ｄｉｓｔｒｉｂｕｔｉｏｎ）π（Θ_ｎ）と事後確率分布Ｐ（Θ_ｎ｜ｙ_１：ｎ，Ｈ_ｊ）との間の誤差を補正するサンプル重み（ｉｍｐｏｒｔａｎｃｅ ｗｅｉｇｈｔ）であり、ｗ^〜 _ｎ ^（ｉ）｜Ｈ_ｊは、その全ての和が１となるように大きさを正規化した正規サンプル重み（ｎｏｒｍａｌｉｚｅｄ ｉｍｐｏｒｔａｎｃｅ ｗｅｉｇｈｔ）である。

なお、提案分布とは、注目する確率分布から直接サンプル（標本値）を得ることが困難なときに直接的にサンプルを得ることが可能な、該確率分布と形状が類似した別の分布を用いてサンプルを抽出する場合の分布関数を表す。このとき、パラメータの事後確率分布は、提案分布から抽出したサンプルの疎密と、提案分布と事後確率分布との誤差を補正する正規サンプル重みの対の集合によって表現される。

本発明では、上述したサンプルとその正規サンプル重みの対、及びそれらの対の有限子の集合を「粒子」として扱う。このとき、上述した（３）式の積分は、粒子、すなわち、サンプルと正規サンプル重みの集合を用いて以下に示す（９）式で近似される。

なお、上述の（９）式においてδ（ｘ）は、クロネッカーのデルタ関数を表す。このクロネッカーのデルタ関数は、入力値ｘが０のときに１を返し、入力値ｘが０以外のときに０を返すものである。このとき、（２）式の積分は以下に示す（１０）式で表される。

このように、問題となる確率分布を逐次的に抽出した有限個の粒子の集合で表現し、興味の対象となる積分をその有限和で近似する手法は、逐次モンテカルロ（Ｓｅｑｕｅｎｔｉａｌ Ｍｏｎｔｅ Ｃａｒｌｏ，ＳＭＣ）法に用いられている（詳細は、例えば伊庭幸人他、統計科学フロンティア１２「計算統計ＩＩ−マルコフ連鎖モンテカルロ法とその周辺−」、岩波書店、ｐｐ．２９３−３２４等を参照。）。

ここで、逐次モンテカルロ法の近似誤差は、抽出する粒子の数が多い程減少するが、その一方でモンテカルロ近似の計算コストは粒子の総数に比例して増大してしまう欠点を有する。したがって、本発明では、比較すべきモデル（顔テンプレート）が複数存在する問題において、粒子の総数を統計的指標に基づいて動的に制御することにより、逐次モンテカルロ法の計算コストを効果的に削減し、高速に高精度な顔画像認識を実現する。

＜＜モデル周辺尤度に基づく粒子数の動的制御＞＞
次に、本発明におけるモデル周辺尤度に基づく粒子数の動的制御について説明する。本発明における逐次モンテカルロ法では、粒子の重みの分散が時間の経過と共に発散することを防止するため、毎時刻あるいは一定の時間間隔等の予め設定された条件による所定のタイミングで、粒子をその重みの大きさに応じて複製又は消滅する操作（再抽出処理）を行う。

なお、再抽出の具体的な方法については様々な手法が提案されているが、一般には再抽出の前後で粒子の総数を一定とする条件が課せられることが多い。再抽出の結果、重みが大きい粒子はその大きさに応じて分割され、確率の高いサンプル値の周辺により多くの粒子が割り当てられる。

本発明が扱う問題のように、それぞれの粒子が複数の異なるモデル（顔テンプレート）に属する場合、粒子の再抽出の操作は、それぞれの粒子が属するモデルと関連性を持って行われる。その結果、より大きな重みを持つ粒子が多数属しているモデル、すなわち、上述した（１０）式で計算したモデルの尤度がより大きなモデルに粒子が集中する。これは、与えられた情報（入力画像）が増える共に、モデルの事後確率分布のピークが徐々に鋭くなることを意味する。

本発明は、上述した再抽出の処理の結果、特定のモデルに粒子が徐々に集中する一般的な傾向を利用して、最終的な興味の対象である事後確率が最大を与えるモデルとそのモデルの事後確率に近い事後確率を持つモデル（対立候補）との確率値の大小関係を保持したまま、粒子の総数を制御することで、全体の計算コストを効率的に削減することを目的とする。

つまり、本発明では、ベイズ推定の枠組みにおけるモデル周辺尤度を利用して、最終的な興味の対象であるモデル事後確率分布の最大値を与えるモデルに割り当てる粒子の数を一定とする新たな再抽出手法を用いる。

具体的には、粒子を再抽出する際に、各々のモデルに割り当てた粒子の総数Ｎ_{ｔｏｔａｌ}を一定とする一般的な条件を、モデル周辺尤度の最大値を与えるモデルＨ_ｊ＊に属する粒子数Ｎ_ｊ＊のみを一定とする条件に変更する。なお、この変更の結果、再抽出の前後で全粒子の総数Ｎ_{ｔｏｔａｌ}は変化するが、最終的な興味の対象である事後確率分布の最大値を与えるモデルＨ_ｊ＊に割り当てられる粒子の数Ｎ_ｊ＊は、略一定に保たれ、かつ、Ｈ_ｊ＊の対立候補となるその他のモデルとの事後確率の比率（大小関係）は、粒子の総数Ｎ_{ｔｏｔａｌ}を一定とした場合と変わらないため、認識精度への影響は理論的にない。

ここで、抽出後の粒子の総数Ｎ_{ｔｏｔａｌ}は、以下に示す(１１)式で与えられる。

なお、上述したＮ_ｊ＊を決定するモデル周辺尤度の最大値を与えるモデルＨ_ｊ＊は、以下に示す（１２）式となる。

このように、本発明では、顔画像の様々な変動要素に対応した顔画像認識を行うにあたり、特に顔のモデルに付随するパラメータの確率分布を逐次モンテカルロ法を用いて逐次学習する際、最も出現の可能性が高い顔モデルを安定して判定するために必要十分な粒子の総数を動的に決定し調整することで、高速に高精度な顔画像認識を実現することができる。

＜実施の形態＞
次に、上述した特徴を有する本発明における顔画像認識装置及び顔画像認識プログラムを好適に実施した形態について、図面を用いて説明する。

図１は、顔画像認識装置の一構成例を示す図である。図１に示す顔画像認識装置１は、顔データ作成装置１０と、顔画像認識特定装置２０とを有するよう構成されている。また、顔データ作成装置１０は、顔画像登録部１１と、顔変形データ抽出部１２と、記録部１３とを有するよう構成されている。また、顔画像認識特定装置２０は、顔画像検出部２１と、顔画像認識部２２とを有するよう構成されている。

＜顔データ作成装置１０＞
顔データ作成装置１０は、予め入力画像に出現することが予想される人物の顔画像（登録顔画像）と、個々の人物を区別するための人物識別情報としての人物ＩＤ、個々の人物の顔の変形の統計的性質を表現する表情サンプル画像と、登録顔画像及び表情サンプル画像のそれぞれの顔の各器官（目、鼻、口）の位置を記録した特徴点配置情報とから、個々の顔の静的な情報を記録した顔テンプレートと、個々の顔の動的な情報を記録した顔変形データを作成する。また、顔データ作成装置１０は、作成した顔テンプレート及び顔変形データを記録する。

具体的には、顔画像登録部１１は、予め入力される登録顔画像と、各登録顔画像について特徴点が配置された特徴点配置情報x_Ａと、各登録画像に対応する人物ＩＤｊとから、特徴点における登録画像の情報から特徴量ｃ^Ａを計算し、個々の顔テンプレートＨ_ｊ＝（x_Ａ，ｃ^Ａ，ｊ）を生成する。また、顔画像登録部１１は、生成した顔テンプレートを記録部１３に出力する。

ここで、本実施形態において、登録顔画像は、顔画像認識装置１に予め登録される人物の顔の画像データであり、また特徴点配置情報は、顔の各器官（目、鼻、口等）に配置された点の画像平面上での位置ｘであり、上述したパラメータΘ_ｎに相当している。また、人物ＩＤは、登録顔画像に対応する人物を特定するためのラベル又は番号ｎ等からなる識別情報であり、人名や性別、年齢、顔画像の向き、ユニークＩＤ等により表される。更に、顔テンプレートは、登録顔画像の個々の顔の静的な特徴を予め設定された特徴点の配置と、それらの近傍の画像特徴量との組で表したモデルである。

また、顔変形データ抽出部１２は、予め設定された個々の人物の表情サンプル画像と、各サンプル画像に対応する特徴点配置情報を用いて、特徴点配置の変動に関する統計量（例えば、特徴点配置の変分の共分散行列等）を計算し、計算した結果を顔変形データとして記録部１３に出力する。

ここで、本実施形態において、表情サンプル画像は、個々の人物の表情変化に伴う顔の変形の様子を撮影した画像の集合を表す。また、特徴点配置の変動に関する統計量は、例えば特徴点配置の提案分布π（ｘ_ｎ）を決定する統計量である。

また、本実施形態において、顔変形データは、表情の変化等の一時的な変形に関する個々の顔の動的な特徴を、特徴点配置情報の共分散行列で表した統計モデルである。具体的には、顔変形データは、入力した変形サンプル画像に基づいて画像中の全ての特徴点が移動方向や移動距離等の移動情報を特徴付けたものであり、例えばある特徴点がどの程度動いたら、他の特徴点がどの向きにどの程度動くか等、特徴点毎に対応付けられた移動情報を統計的に求めたものである。

記録部１３は、個々の人物の顔に関するデータ（特徴点の座標と特徴量）と、人物ＩＤから構成される顔テンプレート及び個々の人物の顔変形データが記録される。

ここで、図２は、登録画像の特徴点配置の具体例を示したものである。図２に示すように、登録画像の特徴点は、例えば顔画像の両目元や目尻、鼻の頂点、口の端点の合計９点に特徴点３０−０〜３０−８を配置する。なお、特徴点配置の位置や数についてはこの限りではない。

ここで、上述した顔データ作成装置１０における処理は、後述する顔画像認識特定装置２０との処理と連動させる必要はなく、例えば顔画像認識特定装置２０に入力画像が与えられる前に実行されていればよい。

＜顔画像認識特定装置２０＞
顔画像認識特定装置２０は、顔データ作成装置１０が事前に作成し保存した顔テンプレートと顔変形データを利用して、逐次的に与えられる連続した入力画像から顔認識結果を出力する。つまり、顔画像認識装置２０は、記録部１３に保存されている顔テンプレートと顔変形データから決定される提案分布π（ｘ_ｎ）を用いて、特徴点配置のサンプル｛ｘ_ｎ ^（ｉ）｝_ｉ＝１ ^Ｎｊを抽出する。

次に、抽出されたサンプルを用いて、（７）式〜（１０）式の計算、及び（１１）式、（１２）式の条件に基づいて、所定のタイミングで粒子の再抽出を実行し、例えば（６）式で定義した事後確率が最大となる顔テンプレートに対応する人物ＩＤ等を顔認識結果として出力する。

具体的には、顔画像検出部２１は、現時点において与えられた認識対象である入力画像を読み込み、入力画像に含まれる顔の領域を検出する。また、顔画像検出部２１は、検出した顔の領域の中心位置と大きさを特定して、中心位置と大きさ等からなる顔領域情報を顔画像認識部２２に出力する。

なお、顔画像検出手法については、例えば上述した特許文献１や「Ｐ．Ｖｉｏｌａ、Ｐ．，ａｎｄＭ．Ｊｏｎｅｓ，”Ｒａｐｉｄ Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ ｕｓｉｎｇ ａ Ｂｏｏｓｔｅｄ Ｃａｓｃａｄｅ ｏｆ Ｓｉｍｐｌｅ Ｆｅａｔｕｒｅｓ，”Ｐｒｏｃ． ＣＶＰＲ２００１，Ｖｏｌ．１，ｐｐ．５１１−５１８．」に記載されるような単純かつ多様な画像判別器の集合からなる顔検出装置を多段に接続する手法等を用いることができる。

また、本実施形態において、上述した入力画像は、顔認識処理対象として例えば人物ＩＤ等が知られていない人物の顔を撮影した動画像又は連続静止画像等である。また、本実施形態において出力される顔認識結果は、動画像又は連続静止画像等の各画像に対応する各々の時刻において事後確率が最大となる顔テンプレートが表すＩＤであるが、本発明において出力される顔認識結果はこれに限定されるものではない。

顔画像認識部２２は、記録部１３に予め記録された顔テンプレート、顔変形データを入力し、更に顔画像検出部２１により現時刻において与えられた１枚の入力画像と、それに対応する顔領域情報に基づいて、上述した（７）式〜（１２）式による計算及び上述した（６）式に対応する最大値探索を実行する。また、顔画像認識部２２は、現時刻における事後確率が最大となる顔テンプレートの人物ＩＤ等を認識結果として出力する。

なお、顔画像認識部２２は、逐次モンテカルロ法において時間の経過と共に増大する上述した粒子の分散を抑制させるため、予め設定された条件に基づき、所定のタイミングで粒子の再抽出（リサンプル）を行う。このとき、リサンプル後に最も多くの粒子が割り当てられているモデル、すなわち、リサンプルを行う時点でモデル周辺尤度が最大となるモデルに属する粒子の数Ｎ_ｊが一定となるように、粒子の総数を統計的指標に基づいて動的に制御する。これにより、最終的な認識精度への影響を最小限にして、計算コストを効果的に削減することができる。

更に、顔画像認識部２２は、連続して入力される画像を用いて顔認識に用いられる所定のパラメータの確率分布を逐次更新する。具体的には、顔画像認識部２２は、連続した入力画像の顔画像認識を行う際、直前に入力された画像を用いてパラメータの確率分布を上述したベイズ推定による逐次学習則に基づいて逐次学習する。これにより、認識対象の個々の人物に固有の情報（顔変形データ）と動画像等が予め備えている入力画像の連続性とを利用して、表情変化や発話動作に付随する顔の変形等に対応可能な高精度の顔画像認識を実現することができる。

＜顔画像認識＞
ここで、本実施形態における顔画像認識について具体的に説明する。上述したように、顔データ作成装置１０にて作成された顔テンプレートは、登録顔画像上に定義したＮ個の特徴点（上述した図２ではＮ＝９）の配置ｘ_Ａ∈Ｒ^２×Ｎ、各特徴点におけるＫ個の方位、Ｒ段階の解像度のガボール・ウェーブレット係数ｃ^Ａ∈Ｃ^{Ｎ×Ｋ×Ｒ}、及び人物ＩＤから構成される。

ここで、連続した入力画像列ｙ_１：ｎ＝｛ｙ１，ｙ２，・・・，ｙ_ｎ｝が逐次的に与えられる場合について考える。ｎ番目の入力画像上の特徴点配置をｘ_ｎ∈Ｒ^２×Ｎ
とおき、各特徴点の位置ｘ_ｎで計算したガボール・ウェーブレット係数をｃ^Ｂ∈Ｃ^{Ｎ×Ｋ×Ｒ}とおく。ここで、従来手法としては、ｃ^Ａ，ｃ^Ｂの間の類似度を各々の解像度ｒに関する成分ベクトルｃ_ｒ ^Ａ，ｃ_ｒ ^Ｂ毎に定義し、各々のノルム（例えば、ユークリッドノルム等）で正規化したもとでの内積で評価しているが、これは各解像度ｒについてのベクトルｃ_ｒ ^Ｂを指向性データとみなすことを意味する。

そこで、本実施形態では、一例として指向性データの自然な生成モデルとして知られているｖｏｎ Ｍｉｓｅｓ−Ｆｉｓｈｅｒ分布（詳細は、例えばＩ．Ｓ．Ｄｈｉｌｌｏｎ ａｎｄ Ｓ．Ｓｒａ，”Ｍｏｄｅｌｉｎｇ Ｄａｔａ ｕｓｉｎｇ Ｄｉｒｅｃｔｉｏｎａｌ Ｄｉｓｔｒｉｂｕｔｉｏｎｓ，”ＴＲ−０３−０６，Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｔｅｘａｓ ａｔ Ａｕｓｔｉｎ（２００３）．等を参照。）を用いてｎ枚目の入力画像ｙ_ｎの尤度を以下に示す（１３）式で定義する。

ここで、Ｈ_ｊは仮定したｊ番目の顔テンプレートであり、β_{ｎ，１：Ｒ}＝｛β_ｎ，１，β_ｎ，２，・・・，β_ｎ，Ｒ｝は、時刻ｎにおける尤度関数の鋭さを決定するハイパーパラメータである。また、Ｚ_ｂは、ｖｏｎ Ｍｉｓｅｓ−Ｆｉｓｈｅｒ分布の規格化定数である。

また、入力画像ｙが与えられる前のｘ_ｎの予測確率分布は以下に示す（１４）式で定義する。

上述した（１４）式において、Λ_ｊは正規特徴点配置空間上での特徴点配置の共分散行列を表す。また、αは、事前分布の鋭さを決定するハイパーパラメータであり、規格化定数Ｚ_αは規格化定数である。また、Ｔ_ｎは、顔テンプレートの特徴点配置ｘ_ｊ ^Ａが張る空間（以下、正規特徴点配置空間という）から入力画像上の特徴点配置ｘ_ｎが張る空間への写像を表す。以下、表記の簡略化のため、Ｔ_ｎを決定する４つのパラメータの組（ｒ_ｎ、θ_ｎ、ｕ_ｎ，ｖ_ｎ）を記号Ｔ_ｎによって代表して表す。Ｔ_ｎの各パラメータは、入力画像上の顔の中心位置と大きさ、画像平面内の回転を決定する。

本発明では、顔全体の動きが極端に激しくない場合を想定してＴ_ｎの逐次更新則Ｐ（Ｔ_ｎ｜Ｔ_ｎ−１）として、以下に示す（１５）式のような確率的ダイナミカルシステムを考える。

なお、上述した（１５）式において、変数ｒ，θ，ｕ，ｖは、推定対象の一部として扱う顔領域の中心位置座標（ｕ，ｖ）、大きさｒ、頭部の傾きの角度θを表す。また、それぞれの変数は、学習アルゴリズム（逐次モンテカルロ法）を用いて、時刻ｎと共に更新される。

つまり、上述した（１５）式は、各々のパラメータの確率が、直前の時刻での値の周りになだらかに分布している場合（言い換えると、あまり激しく動かない場合）の具体的な更新規則を示している。上述した（１５）式では、直前の時刻における実現値ｒ_ｎ−１，θ_ｎ−１，ｕ_ｎ−１，ｖ_ｎ−１に正規分布に従う４つの乱数ｖ_ｒ，ｖ_θ，ｖ_ｕ，ｖ_ｖの値を各々加算して、現在の時刻の予測値ｒ_ｎ，θ_ｎ，ｕ_ｎ，ｖ_ｎとしている。

また、同様に、尤度関数及び事前確率の分布の鋭さを決定するハイパーパラメータについて、次のような予測モデルＰ（α_ｎ，β_{ｎ，１：Ｒ}｜α_ｎ−１，β_{ｎ−１，１：Ｒ}）を仮定すると以下に示す（１６）式のようになる。

ここで、データｙ_１：ｎが与えられたときｊ番目のモデルＨ_ｊの事後確率は、Ｂａｙｅｓの定理より上述した（１）式によって再帰的に与えられる。本発明における画像認識においては、これまでに観測された入力画像集合ｙ_１：ｎについての事後確率が最大となるモデルＨ_ＭＰを時刻ｎにおける認識結果として出力する。なお、この関係式は、以下に示す（１７）式にて表される。

ここで、モデルの初期分布Ｐ（Ｈ_ｊ｜ｙ_０）は、上述した（５）式に示すようにＮ_{ｐｅｒｓｏｎｓ}個の顔モデルについて等確率であるとすると、上述した（１）に示されているＨ_ｊの尤度は以下に示す（１８）式で与えられる。

ここで、上述した（１８）式の計算は、多次元連続空間に関する積分であり、解析的に計算を実行すること不可能であることが多い。そのため、本発明では、この積分を上述した逐次モンテカルロ法（ＳＭＣ法）による近似計算で実現する。

まず、時刻ｎにおける各パラメータの予測分布を独立同一なサンプルで表現するため、以下に示す（１９）式のような提案分布πを考える。

ここで、提案分布π（ｘ_ｎ，α_ｎ，β_ｎ，Ｔ_ｎ）に従うＮ_ｊ個のサンプルが抽出されたとき、上述した（１８）式の積分は以下に示す（２０）式で近似的に計算することができる。

ここで、抽出したサンプルにおける提案分布と事後確率分布との誤差を補正する正規サンプル重みｗ^〜 _ｎ ^（ｉ）｜Ｈ_ｊは、上述した（１９）式の提案分布を用いた場合、以下に示す（２１）式、（２２）式で計算される。

＜粒子の再抽出＞
次に、本実施形態における粒子の再抽出例について具体的に説明する。逐次モンテカルロ法では、上述した時間の経過と共に増大する補正用の重みの分散を抑制するために、画像が入力される毎時刻あるいは予め設定された一定の時間間隔等の予め設定された条件に基づく所定のタイミングで粒子の再抽出（リサンプル）が行われる。

粒子の総数Ｎ_{ｔｏｔａｌ}は、モンテカルロ近似の精度を決定する一つの重要な要素であり、多くの場合、リサンプルのアルゴリズムはＮ_{ｔｏｔａｌ}が不変となるように設計される。本発明では、このリサンプルの処理において、粒子の総数を統計的指標に基づいて動的に制御することで、最終的な認識精度への影響を最小限にして計算コストを効果的に削減する。

以下、表記を簡略化させるため、各々のパラメータについてのｉ番目のサンプルを纏めてＳ^（ｉ）で表し、その正規サンプル重みをｗ^〜 _ｊ ^（ｉ）で表す。ただし、正規サンプル重みの添字ｊは、該正規サンプル重みと対応するサンプルが属するモデルの番号を表す。

リサンプルの具体的な実現方法は幾つか提案されているが、本発明では、Ｎ_{ｔｏｔａｌ}が不変である一般的な手法の一つであるＲｅｓｉｄｕａｌ Ｒｅｓａｍｐｌｉｎｇについて考える。このアルゴリズムは、以下の手順にしたがってリサンプルを行う。

まず、各々のサンプルＳ^（ｉ）からｋ^（ｉ）＝［Ｎ_{ｔｏｔａｌ}×ｗ^〜 _ｊ ^（ｉ）］個のサンプルを複製する（［ｘ］はｘの整数部）。次に、以下の（２３）式に示す残りのサンプルＲを（Ｎ_{ｔｏｔａｌ}×ｗ^〜 _ｊ ^（ｉ））−ｋ^（ｉ）に応じた確率で抽出する。また、上述の手法で抽出した各々のサンプルの正規サンプル重み全てを、以下に示す（２４）式の値に設定する。

このアルゴリズムは、再抽出する粒子の総数Ｎ_{ｔｏｔａｌ}が不変で、かつ個々の粒子が正規サンプル重みの大小に応じた確率で抽出される。このとき、リサンプル後の個々のモデルに属する粒子の数の比率は、リサンプル前のそれらの正規サンプル重みの和の比率と同じである。

本発明では、各時刻におけるモデル事後確率分布のピークを求めればよく、例えば確率値の低い分布の裾で発生する推定誤差は最終的な認識性能に影響はない。そこで、リサンプル後に最も多くの粒子が割り当てられるモデル、すなわち、リサンプルを行う時点でモデル周辺尤度最大となるモデルに属する粒子数Ｎ_ｊ＾が一定となる処理を行う。リサンプルによって各モデルに割り当てられる粒子の数は、リサンプル前の正規サンプル重みの和に比例することから、リサンプル後の粒子の総数Ｎ_{ｔｏｔａｌ}は以下に示す（２５）式で計算される。

このとき，モデル周辺尤度最大のｊ＾番目以外のモデルについては、リサンプルの前後で割り当てられる粒子の数は同一又は減少する。したがって、本実施形態におけるリサンプルのアルゴリズムは、モデル事後確率分布のピークから離れたモデル、すなわち、最終的な認識結果として選ばれる可能性の低いモデルを統計的な指標にもとづいて枝狩り（Ｐｒｕｎｉｎｇ）することができる。

上述したように、本発明では、顔画像の様々な変動要素に対応した顔画像認識を実現する装置において、特に顔のモデルに付随するパラメータの確率分布を逐次モンテカルロ方法を用いて逐次学習する際に、最も出現の可能性が高い顔モデルを安定して判定するために必要十分な粒子の総数を動的に決定し調整する。具体的には、ベイズ推定の枠組みにおけるモデル周辺尤度を利用して、最終的な興味の対象であるモデル事後確率分布の最大値を与えるモデルに割り当てる粒子の数を一定とする再抽出手法を用いることにより、高速に高精度な顔画像認識を実現することができる。

また、本発明では逐次モンテカルロ手法を用いて複数の顔画像を用いたパラメータの学習に係る時間を逐次的な更新則を適用することで、従来の一括学習型のアルゴリズムでの処理時間と比較して飛躍的に削減することができる。また、直前の時刻までに与えられた入力画像を用いて逐次学習を行うことで、表情変化等による顔画像の変動に対して頑健な顔画像認識を実現することができる。

＜実行プログラム＞
ここで、上述した顔画像認識装置１は、上述した専用の装置構成等を用いて本発明における顔画像認識処理を行うこともできるが、各構成における処理をコンピュータに実行させるための実行プログラムを生成し、例えば汎用のパーソナルコンピュータ、サーバ等にそのプログラムをインストールすることにより、本発明に係る顔画像認識処理を実現することができる。

＜ハードウェア構成＞
ここで、本発明における顔画像認識処理が実行可能なコンピュータのハードウェア構成例について図を用いて説明する。図３は、本発明における顔画像認識処理が実現可能なハードウェア構成の一例を示す図である。

図３におけるコンピュータ本体には、入力装置４１と、出力装置４２と、ドライブ装置４３と、補助記憶装置４４と、メモリ装置４５と、各種制御を行うＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）４６と、ネットワーク接続装置４７とを有するよう構成されており、これらはシステムバスＢで相互に接続されている。

入力装置４１は、ユーザが操作するキーボード及びマウス等のポインティングデバイスや音声入力デバイス等を有しており、ユーザからのプログラムの実行指示等、各種操作信号、音声信号を入力する。出力装置４２は、本発明における処理を行うためのコンピュータ本体を操作するのに必要な各種ウィンドウやデータ等を表示するディスプレイやスピーカ等を有し、ＣＰＵ４６が有する制御プログラムにより実行経過や結果等を表示又は音声出力することができる。

ここで、本発明において、コンピュータ本体にインストールされる実行プログラムは、例えばＣＤ−ＲＯＭ等の記録媒体４８等により提供される。プログラムを記録した記録媒体４８は、ドライブ装置４３にセット可能であり、記録媒体４８に含まれる実行プログラムが、記録媒体４８からドライブ装置４３を介して補助記憶装置４４にインストールされる。

また、ドライブ装置４３は、本発明に係る実行プログラムを記録媒体４８に記録することができる。これにより、その記録媒体４８を用いて、他の複数のコンピュータに容易にインストールすることができ、容易に顔画像認識処理を実現することができる。

補助記憶装置４４は、ハードディスク等のストレージ手段であり、本発明における実行プログラムや、コンピュータに設けられた制御プログラム等を蓄積し必要に応じて入出力を行うことができる。また、補助記憶装置４４は、上述した登録顔画像や特徴点配置情報、人物ＩＤ、表情サンプル画像、顔テンプレート、顔変形データ、入力画像（動画像、連続静止画像等）、顔領域情報、粒子の再抽出を行うための条件等の各種設定情報、顔認識結果等を記録する記録部として用いることもできる。

メモリ装置４５は、ＣＰＵ４６により補助記憶装置４４から読み出された実行プログラム等を格納する。なお、メモリ装置４５は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等からなる。

ＣＰＵ４６は、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）等の制御プログラム、及び補助記憶装置４４から読み出されメモリ装置４５に格納されている実行プログラムに基づいて、各種演算や各ハードウェア構成部とのデータの入出力等、コンピュータ全体の処理を制御して、顔画像認識処理における各処理を実現することができる。また、プログラムの実行中に必要な各種情報等は、補助記憶装置４４から取得することができ、また格納することもできる。

ネットワーク接続装置４７は、電話回線やＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）ケーブル等の通信ネットワーク等と接続することにより、実行プログラムを通信ネットワークに接続されている他の端末等から取得したり、プログラムを実行することで得られた実行結果又は本発明における実行プログラムを他の端末等に提供することができる。

上述したようなハードウェア構成により、特別な装置構成を必要とせず、低コストで上述した顔画像認識処理を実現することができる。また、プログラムをインストールすることにより、容易に顔画像認識処理を実現することができる。

＜顔画像認識処理手順＞
次に、本発明における実行プログラム（顔画像認識プログラム）を用いた顔画像認識処理手順についてフローチャートを用いて説明する。図４は、顔画像認識処理手順の一例を示すフローチャートである。

図４において、登録顔画像、特徴点配置情報、及び人物ＩＤを読み込み（Ｓ０１）、特徴量を計算して、個々の登録顔に対応する顔テンプレートを出力する（Ｓ０２）。また、表情サンプル画像及び特徴点配置情報を読み込み（Ｓ０３）、特徴点配置の提案分布を決定する統計量を顔変形データとして出力する（Ｓ０４）。なお、上述したＳ０１〜Ｓ０４の処理は、予め実行され、記録部等に記録されていてもよい。

次に、顔認識を行うため、動画像又は連続静止画像等における各画像毎に対応して付与されている時刻情報を基準として、現時刻において与えられた１枚の入力画像を読み込み（Ｓ０５）、読み込んだ入力画像に含まれている人の顔の領域を検出する（Ｓ０６）。具体的には、顔領域の中心位置及び大きさを検出して顔領域情報を生成する。また、顔テンプレート、顔変形データ、顔領域情報、及び入力画像から、現時刻における事後確率が最大となる顔テンプレートの人物ＩＤを人物識別情報として出力する（Ｓ０７）。

ここで、次の画像を入力するか否かを判断し（Ｓ０８）、次の画像を入力する場合（Ｓ０８において、ＹＥＳ）、上述した逐次モンテカルロ法において抽出された事後確率分布を模したパラメータのサンプルとその重みからなる粒子の再抽出が必要であるか否かを判断する（Ｓ０９）。なお、粒子の再抽出が必要であるか否かの判断は、予め設定された再抽出条件により処理の要否が判断され、具体的には、画像が入力される毎時刻や予め設定された時間間隔等により再抽出が行われる。

ここで、Ｓ０９の処理において、粒子の再抽出が必要である場合（Ｓ０９において、ＹＥＳ）、上述した手法を用いて抽出の再抽出を行う（Ｓ１０）。また、粒子の再抽出が必要でない場合（Ｓ０９において、ＮＯ）、又はＳ１０の処理が終了後、逐次モンテカルロ法により、各パラメータである各時刻における確率分布を更新する（Ｓ１１）。具体的には、各時刻におけるパラメータの確率分布を直前の時刻における予測分布と、現時刻の入力画像から得られる情報（尤度）を用いて逐次的に推定し、パラメータの確率分布に逐次更新を行う。また、Ｓ１１の処理が終了後、Ｓ０５に戻り連続する次の画像を入力して顔認識処理を継続して行う。また、Ｓ０８において、入力画像がない場合等、次の画像を入力しない場合（Ｓ０８において、ＮＯ）、顔認識処理を終了する。

上述したように、顔画像認識プログラムを用いた顔画像認識処理により、高速に高精度な顔認識を実現することができる。具体的には、顔画像の様々な変動要素に対応した顔画像認識を実現する装置において、特に顔のモデルに付随するパラメータの確率分布を逐次モンテカルロ方法を用いて逐次学習する際に、最も出現の可能性が高い顔モデルを安定して判定するために必要十分な粒子の総数を動的に決定し調整する。更に、ベイズ推定の枠組みにおけるモデル周辺尤度を利用して、最終的な興味の対象であるモデル事後確率分布の最大値を与えるモデルに割り当てる粒子の数を一定とする再抽出手法を用いることにより、高速に高精度な顔画像認識を実現することができる。また、プログラムをインストールすることにより、容易に顔画像認識処理を実現することができる。

＜顔認識の評価結果＞
次に、本発明を用いた顔認識の評価結果について説明する。本発明における顔認識手法（以下、Ｐｒｕｎｅｄ Ｒｅｓａｍｐｌｉｎｇという）の有効性を検証するため、従来手法である（Ｒｅｓｉｄｕａｌ Ｒｅｓａｍｐｌｉｎｇ）を比較対象とした認識実験を行った。

＜＜実験条件＞＞
ここで、実験に用いるデータとして、評価データ、登録データ、学習データの３種類を用意した。なお、本装置（システム）に逐次的に与える入力データｙ_１：ｎとして用いる評価データとして、１０人の被験者それぞれについての発話時の顔の連続画像（１秒間）を用意した。

また、各々の画像は、スタジオ照明・単色背景（ブルーバック）の条件で撮影した正面顔の動画像から、縦２４０画素×横３６０画素のサイズで３０フレーム／秒のフレームレートで取得した。また、各人物の顔テンプレートＨ_ｊ＝（ｘ_Ａ，ｃ^Ａ，ｊ）の作成に用いる登録データは、評価データと同じ条件で撮影した無表情・正面の顔画像１枚／人を用意した。

また、顔の位置情報の初期値Ｔ_０＝（ｒ_０，θ_０，ｕ_０，ｖ_０）は、予め手動で抽出した結果を用いた。予測モデルの分散とハイパーパラメータの初期値は、σ_ｕ ^２＝σ_ｖ ^２＝１．０、σ_ｒ ^２＝０．１、σ_θ ^２＝０．０００１、σ_α ^２＝σ_β ^２＝０．０１、α_０ ^２＝１０．０、β_０ ^２＝１．０とした。更に、本手法及び従来手法において、モンテカルロ近似の精度を決定するサンプルの総数は、それぞれ一つの顔テンプレートあたりＮ_ｊ＝３６００個に統一した。

＜＜実験結果＞＞
ここで、図５は、本手法と従来手法のリサンプルアルゴリズムによる比較結果の一例を示す図である。図５に示すように、本手法（Ｐｒｕｎｅｄ Ｒｅｓａｍｐｌｉｎｇ）が従来手法（Ｒｅｓｉｄｕａｌ Ｒｅｓａｍｐｌｉｎｇ）のリサンプルアルゴリズム（Ｒｅｓａｍｐｌｅ ａｌｇｏｒｉｔｈｍ）において、顔画像認識結果として出力される人物ＩＤの不正解率は共に２．３％である。また、図５に示すように本手法では、同じ認識性能（ＩＤ Ｅｒｒｏｒ Ｒａｔｅ）を約半分の処理時間（従来手法：２３２９ｓｅｃ、本手法：１１３５ｓｅｃ）で実現することができる。

ここで、図６は、各モデルに属する粒子数のヒストグラムの推移の様子をグラフ化した一例を示す図である。なお、図６（ａ）は従来手法による粒子数のヒストグラムの推移をグラフ化した図を示し、図６（ｂ）は本手法による粒子数のヒストグラムの推移をグラフ化した図を示している。

図６に示すグラフでは、入力されるフレーム（ｆｒａｍｅ ｎｕｍｂｅｒ１〜３０）毎に粒子の再抽出を行っており、１０人の被験者（Ｉｄｅｎｔｉｔｙｎｕｍｂｅｒｏｆｆａｃｅｍｏｄｅｌ：１〜１０）における各々のモデルＨ_ｊに属する粒子の数（Ｎ_ｊ：ｎｕｍｂｅｒ ｏｆ ｐａｒｔｉｃｌｅｓ）が示されている。

図６（ａ）と図６（ｂ）を比較すると、各々の時刻ｎ（ｆｒａｍｅ ｎｕｍｂｅｒ）におけるヒストグラムの高さの比、すなわち、モデル間の粒子数の比率は略同じであるが、各時刻ｎにおけるヒストグラムの高さの合計が示す粒子の総数Ｎ_{ｔｏｔａｌ}は、本手法では時間の経過と共に指数関数的に減少する様子がわかる。

その一方、周辺尤度最大となるモデル（図６（ｂ）のｊ＝１０のモデル）については、粒子の総数が略一定に保たれていることから、モンテカルロ近似の精度が最尤モデルについて一定の水準に保たれているとみなすことができる。

上述したように、逐次モンテカルロ法によるモデル比較の問題において、モデル周辺尤度に基づく粒子数の動的制御を行い、各時刻における最尤モデルに属する粒子の数が一定となるようにリサンプルの段階で粒子の総数を調整することで、モデル事後確率分布の推定への影響を最小限にしたまま、計算コストの効率的な削減を行うことができる。

これにより、発話時の連続顔画像を用いた顔画像認識における比較実験の結果、サンプルの総数を固定した従来の手法に比べて新たな顔認識誤りを生じることなく、処理時間を削減することができる。

なお、上述した実施形態では、顔画像認識部において、粒子の総数を調整しつつ粒子の再抽出を行っているが、本発明における粒子は、上述したようにパラメータのサンプルとサンプルの重みとの対に限定されることはなく、少なくともサンプルとそのサンプルの重みを含んでいればよく、その数や他の要素が含まれていてもよい。

上述したように本発明によれば、高速に高精度な顔画像認識を実現することができる。具体的には、顔画像の様々な変動要素に対応した顔画像認識を実現する装置において、特に顔のモデルに付随するパラメータの確率分布を逐次モンテカルロ方法を用いて逐次学習する際に、最も出現の可能性が高い顔モデルを安定して判定するために必要十分な粒子の総数を動的に決定し調整する。更に、ベイズ推定の枠組みにおけるモデル周辺尤度を利用して、最終的な興味の対象であるモデル事後確率分布の最大値を与えるモデルに割り当てる粒子の数を一定とする再抽出手法を用いることにより、高速に高精度な顔画像認識を実現することができる。

したがって、計算コストを左右する粒子の総数を動的に制御することによって、システム全体の処理時間を短縮することができる。また、粒子の総数を逐次制御（削減）することにより、一部の確率値が高いモデルに粒子が局在する状況を早期に把握することができる。すなわち、モデル事後確率分布が急峻である場合、十分に時間が経過した時点において、システム全体の計算コストを予め登録されるモデルの数によらず一定に抑えることが可能である。

以上本発明の好ましい実施の形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。

顔画像認識装置の一構成例を示す図である。 登録画像の特徴点配置の具体例を示したものである。 本発明における顔画像認識処理が実現可能なハードウェア構成の一例を示す図である。 顔画像認識処理手順の一例を示すフローチャートである。 本手法と従来手法のリサンプルアルゴリズムによる比較結果の一例を示す図である。 各モデルに属する粒子数のヒストグラムの推移の様子をグラフ化した一例を示す図である。

符号の説明

１ 顔画像認識装置
１０ 顔データ作成装置
１１ 顔画像登録部
１２ 顔変形データ抽出部
１３ 記録部
２０ 顔画像認識特定装置
２１ 顔画像検出部
２２ 顔画像認識部
３０ 特徴点
４１ 入力装置
４２ 出力装置
４３ ドライブ装置
４４ 補助記憶装置
４５ メモリ装置
４６ ＣＰＵ
４７ ネットワーク接続装置
４８ 記録媒体

Claims (6)

1. 予め登録される登録顔画像と該登録顔画像の表情の異なる複数の画像とを用いて、入力画像に含まれる顔画像の人物を特定するための顔画像認識装置において、
   前記登録顔画像の特徴点配置情報と人物識別情報とを、前記登録顔画像に対応付けて顔テンプレートとして登録する顔画像登録部と、
   前記顔画像登録部により登録された人物の表情の異なる複数の顔画像と、前記人物識別情報とから顔変形データを抽出する顔変形データ抽出部と、
   前記顔テンプレートと前記顔変形データとに基づいて、顔認識に用いられる所定のパラメータの確率分布を逐次モンテカルロ法を用いて更新しながら、前記入力画像に含まれる顔画像の人物を特定する顔画像認識部とを有し、
   前記顔画像認識部は、予め設定された条件に基づいて前記パラメータのサンプルと該サンプルの重みとを含む粒子の総数を調整しつつ粒子の再抽出を行うことを特徴とする顔画像認識装置。
2. 前記顔画像認識部は、
   前記逐次モンテカルロ法における粒子の再抽出において、前記顔テンプレートのモデル周辺尤度を利用して、事後確率分布の最大値を与えるモデルに割り当てる粒子の数を一定とする条件のもとで前記粒子の再抽出を行うことを特徴とする請求項１に記載の顔画像認識装置。
3. 前記顔画像認識部は、
   前記入力画像が入力される毎時刻あるいは予め設定された時間間隔毎に粒子の再抽出を行うことを特徴とする請求項１又は２に記載の顔画像認識装置。
4. 前記顔画像認識部は、
   同一人物を連続して撮影した入力画像の顔画像認識を行う際、前記入力画像毎に前記パラメータの確率分布を逐次学習することを特徴とする請求項１乃至３の何れか１項に記載の顔画像認識装置。
5. 前記入力画像から顔の中心位置及び大きさを含む顔領域情報を検出する顔画像検出部を有し、
   前記顔画像認識部は、前記顔領域情報に基づいて顔画像認識を行うことを特徴とする請求項１乃至４の何れか１項に記載の顔画像認識装置。
6. 予め登録される登録顔画像と該登録顔画像の表情の異なる複数の画像とを用いて、入力画像に含まれる顔画像の人物を特定するための顔画像認識処理をコンピュータに実行させるための顔画像認識プログラムにおいて、
   前記登録顔画像の特徴点配置情報と人物識別情報とを、前記登録顔画像に対応付けて顔テンプレートとして登録する顔画像登録処理と、
   前記顔画像登録処理により登録された人物の表情の異なる複数の顔画像と、前記人物識別情報とから顔変形データを抽出する顔変形データ抽出処理と、
   前記顔テンプレートと前記顔変形データとに基づいて、顔認識に用いられる所定のパラメータの確率分布を逐次モンテカルロ法を用いて更新しながら、前記入力画像に含まれる顔画像の人物を特定する顔画像認識処理とを有し、
   前記顔画像認識処理時に予め設定された条件に基づいて前記パラメータのサンプルと該サンプルの重みとを含む粒子の総数を調整しつつ粒子の再抽出を行う再抽出処理をコンピュータに実行させるための顔画像認識プログラム。