JP2009157767A - 顔画像認識装置、顔画像認識方法、顔画像認識プログラムおよびそのプログラムを記録した記録媒体 - Google Patents

Abstract

【課題】顔の向きにロバストな顔画像認識装置を提供する。
【解決手段】登録用のデジタル顔画像と認識用のデジタル顔画像を入力し、入力画像から顔のある領域を検出し、該顔領域をもとに顔の姿勢を表すパラメータ値を推定し、該推定された姿勢パラメータに基づいて顔領域を再度正確に切り出し、顔形状再構成部１５が、前記切出された顔の各器官の位置を表す特徴点を抽出して３次元顔形状情報を得、該３次元顔形状情報を保存し、登録顔回転部２１が、顔姿勢推定部１９で推定された顔姿勢と同じ姿勢になるように、登録顔記憶部１６に保存された登録顔を回転させて画像を得、顔識別部２２が、顔再切出し部２０の顔画像と登録顔回転部２１の画像群より各々抽出した特徴の類似度を算出し、最も類似度の大きい人物顔を求め、その結果を結果出力部２３から出力する。
【選択図】図１

Description

本発明は、自然画像・映像中に含まれる顔領域を検出した後、高速かつ精度良く個人識別するための顔画像認識装置、顔画像認識方法、顔画像認識プログラムおよびそのプログラムを記録した記録媒体に関するものである。

近年、画像や映像から顔を検出した後、その顔があらかじめ登録したどの人物のものかを識別する技術がさかんに研究されている。人物の顔は３次元的な物体であるため、カメラに対し相対的な顔向きが異なると、画像上での明度パターンが大きく変動する。そのため、識別の精度が低下する問題がある。

顔の向きにロバストな識別を実現するために、相互部分空間法（非特許文献１参照）を利用した顔識別手法が知られている。ここでは、あらかじめさまざまな方向からの顔パターンを撮影し、それらのパターンを主成分分析することで個人の顔の部分空間を作成し登録する。そして識別時には、やはりさまざまな方向からの顔パターンより算出される部分空間と、前述の登録部分空間との相互部分空間距離を類似度とすることで識別を行う。

この方法は、識別時に正面顔だけでなくさまざまな方向からの顔画像を複数利用するため、顔の向きにロバストな手法であると言える。しかし、識別時に複数の顔向きの画像を得られるという前提ではアプリケーションが限定されてしまう問題がある。例えば、監視映像から登録人物の顔が映ったシーンを検索するような場合には相応しくない。

一方、検出された顔パターンから顔の向きを推定する過程を設け、その推定結果をもとに正面顔とマッチングをしやすいようにパラメータ補正する手法も提案されている（非特許文献２参照）。この手法では、正面向き顔画像１枚のみを登録すればよく、識別時の処理時間も比較的小さくて済むメリットがある。

尚、本発明に関連する技術としては非特許文献３〜８に記載のものがある。
前田賢一，渡辺貞一，"局所的構造を導入したパターンマッチング法"，電子情報通信学会論文誌 Ｄ−ＩＩ，Ｖｏｌ．Ｊ６８−Ｄ，Ｎｏ．３，ｐｐ．３４５−３５２，１９８５． 井尻善久，柳川由紀子，勞世≡，川出雅人，"顔向き推定結果を利用した顔認識"，第１０回 画像の認識・理解シンポジウム（ＭＩＲＵ２００７）論文集，ｐｐ．１２４７−１２５２，２００７． 安藤慎吾，草地良規，鈴木章，荒川賢一，"サポートベクトル回帰を用いた三次元物体の姿勢推定法"，電子情報通信学会論文誌 Ｄ−ＩＩ，Ｖｏｌ．Ｊ８９−Ｄ Ｎｏ．８，ｐｐ．１８４０−１８４７，２００６． 三田雄志，金子敏充，堀修，"個体差のある対象の画像照合に適した確率的増分符号相関"，電子情報通信学会論文誌Ｄ−ＩＩ，Ｖｏｌ．Ｊ８８−Ｄ−ＩＩ，Ｎｏ．８，ｐｐ．１６１４−１６２３，２００５． 金出武雄，コンラッド ポールマン，森田俊彦，"因子分解法による物体形状とカメラ運動の復元"，電子情報通信学会論文誌Ｄ−ＩＩ，Ｖｏｌ．Ｊ７６−Ｄ−ＩＩ，Ｎｏ．８，ｐｐ．１４９７−１５０５，１９９３． Ｔｉｍｏｔｈｙ Ｆ．Ｃｏｏｔｅｓ，Ｇａｒｅｔｈ Ｊ．Ｅｄｗａｒｄｓ，ａｎｄ Ｃｈｒｉｓｔｐｈｅｒ Ｊ．Ｔａｙｌｏｒ，"Ａｃｔｉｖｅ Ａｐｐｅａｒａｎｃｅ Ｍｏｄｅｌｓ"，ＩＥＥＥ Ｔｒａｎｓ．ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ，Ｖｏｌ．２３，Ｎｏ．６，ｐｐ．６８１−６８５，２００１． 斉藤文彦，"ブロック照合投票処理を用いた遮へいに強い画像マッチング"，電子情報通信学会論文誌 Ｄ−ＩＩ，Ｖｏｌ．Ｊ８８−Ｄ−ＩＩ，Ｎｏ．８，ｐｐ．１６１４−１６２３，２００５． 赤松 茂，"コンピュータによる顔の認識−サーベイ−"，電子情報通信学会論文誌Ｄ−ＩＩ，Ｖｏｌ．Ｊ８０−Ｄ−ＩＩ，Ｎｏ．８ ｐｐ．２０３１−２０４６，１９９７．

しかし、顔の向きに応じたパラメータ補正だけでは、目や口など、識別に必要な顔器官が一部欠けてしまう所を復元できないため、根本的な精度向上を果たすことはできない。一方、登録時においてはユーザーに対してある程度のオリエンテーションが可能なため、複数の顔向きを登録することは比較的容易である。そこで最も単純な方法として、複数顔向き画像を登録しておき、識別時にそれらとの類似度を全て計算し、その結果をもとに識別する方法が考えられる。しかしこの場合は、考えられる全ての顔の向きを登録する必要がある。これにはユーザーに大きな負担がかかる。

本発明は上記の問題点に鑑みてなされたものであり、複数方向から撮影され登録された顔画像を利用することを前提に、入力された１枚の顔画像から顔領域を検出し、個人を識別するまでの一連の処理を高速に行うことで、顔の向きにロバストな顔識別手法、すなわち顔画像認識装置、顔画像認識方法、顔画像認識プログラムおよびそのプログラムを記録した記録媒体を提供することを目的とする。

上記目的を達成するために、本発明では、顔登録時に撮影された複数顔向き画像から、顔形状の３次元的な復元を行う。そして、顔識別時の処理としては、まず顔領域検出後に顔向き推定処理を行う。次に、その顔向き推定結果と同じ向きになるように、登録された３次元顔情報を回転させる。回転後の登録顔情報から得られた２次元画像より顔の特徴量を抽出し、顔の類似度を計算することで識別を行う。顔の向き推定には、例えばサポートベクトル回帰を利用した姿勢推定法（非特許文献３参照）を利用する。この手法により、学習していない向きを含めた連続的な顔向き推定が可能となる。一方、登録時に３次元顔情報を得ることができるため、推定されたあらゆる向きの登録顔画像を生成することが可能である。したがって、これらの手法を併用することにより、顔の向きに非常にロバストな識別が可能となる。

また、顔の識別においては、顔向きと同様に、画像上での顔の大きさや回転角を正確に合わせることで精度が向上することが知られている。そこで、顔向き推定処理においてｙａｗ角、ｐｉｔｃｈ角と同時にｒｏｌｌ角とスケール値についても推定し、その値をもとに入力画像から再度切出し直すことで高速かつ高精度な識別を実現できる。

すなわち、請求項１に記載の顔画像認識装置は、画像データに含まれる人物顔を検出し、個人を識別する顔画像認識装置であって、さまざまな方向から撮影された登録用のデジタル顔画像データを入力する登録用画像入力手段と、認識用のデジタル顔画像データを入力する認識用画像入力手段と、前記入力画像から顔のある領域を検出する顔検出手段と、前記検出された顔領域をもとに顔の姿勢を表すパラメータ値を推定する顔姿勢推定手段と、前記推定された姿勢パラメータ値より前記入力画像から顔領域を再度正確に切り出し直す顔再切出し手段と、前記顔再切出し手段により切出された顔領域から、顔の各器官の位置を表す特徴点を抽出し、複数の顔向き画像から得られた各特徴点の位置関係から３次元位置情報を算出し、それらの特徴点を結んだポリゴンに画像を投影して３次元顔形状情報を得る顔形状再構成手段と、前記３次元顔形状情報を保存する登録顔記録手段と、前記顔姿勢推定手段において、認識用の入力画像から検出された顔領域をもとに推定された顔姿勢と同じ姿勢になるように、前記登録顔記録手段に保存された全ての登録顔を回転させて画像を得る登録顔回転手段と、前記顔再切出し手段において認識用の入力画像より切出された顔画像から第１の特徴を抽出し、前記登録顔回転手段において得られた画像群から第２の特徴を抽出し、該第２の特徴と前記第１の特徴の類似度を算出し、最も類似度の大きい人物顔を求める顔識別手段と、前記顔識別手段の識別結果を出力する出力手段とを備えることを特徴としている。

また請求項５に記載の顔画像認識方法は、画像データに含まれる人物顔を検出し、個人を識別する顔画像認識方法であって、登録用画像入力手段が、さまざまな方向から撮影された登録用のデジタル顔画像データを入力する登録用画像入力ステップと、顔検出手段が、前記登録用画像入力ステップにより入力された入力画像から顔のある領域を検出する第１の顔検出ステップと、顔姿勢推定手段が、前記第１の顔検出ステップにより検出された顔領域をもとに顔の姿勢を表すパラメータ値を推定する第１の顔姿勢推定ステップと、顔再切出し手段が、前記第１の顔姿勢推定ステップにより推定された姿勢パラメータ値より前記入力画像から顔領域を再度正確に切り出し直す第１の顔再切出しステップと、顔形状再構成手段が、前記第１の顔再切出しステップにより切出された顔領域から、顔の各器官の位置を表す特徴点を抽出し、複数の顔向き画像から得られた各特徴点の位置関係から３次元位置情報を算出し、それらの特徴点を結んだポリゴンに画像を投影して３次元顔形状情報を得る顔形状再構成ステップと、登録顔記録手段が、前記３次元顔形状情報を保存する登録顔記録ステップと、認識用画像入力手段が、認識用のデジタル顔画像データを入力する認識用画像入力ステップと、顔検出手段が、前記認識用画像入力ステップにより入力された入力画像から顔のある領域を検出する第２の顔検出ステップと、顔姿勢推定手段が、前記第２の顔検出ステップにより検出された顔領域をもとに顔の姿勢を表すパラメータ値を推定する第２の顔姿勢推定ステップと、顔再切出し手段が、前記第２の顔姿勢推定ステップにより推定された姿勢パラメータ値より前記認識用の入力画像から顔領域を再度正確に切り出し直す第２の顔再切出しステップと、登録顔回転手段が、前記第２の顔姿勢推定ステップにより推定された顔姿勢と同じ姿勢になるように、前記登録顔記録手段に保存された全ての登録顔を回転させて画像を得る登録顔回転ステップと、顔識別手段が、前記第２の顔再切出しステップにより切出された顔画像から第１の特徴を抽出し、前記登録顔回転ステップにより得られた画像群から第２の特徴を抽出し、該第２の特徴と前記第１の特徴の類似度を算出し、最も類似度の大きい人物顔を求める顔識別ステップと、出力手段が、前記顔識別ステップの識別結果を出力する出力ステップとを備えることを特徴としている。

上記構成によれば、高速且つ精度良く個人を識別することができる。

また請求項２に記載の顔画像認識装置は、前記顔姿勢推定手段において、顔姿勢を表すパラメータをＹａｗ角、Ｐｉｔｃｈ角、ｒｏｌｌ角およびスケール値とし、スケール値として基準スケールからの相対的な拡大値を用いることを特徴としている。

また請求項６に記載の顔画像認識方法は、前記第１および第２の顔姿勢推定ステップは、顔姿勢を表すパラメータをＹａｗ角、Ｐｉｔｃｈ角、ｒｏｌｌ角およびスケール値とし、スケール値として基準スケールからの相対的な拡大値を用いることを特徴としている。

上記構成によれば、前記パラメータのｒｏｌｌ角およびスケール値がそれぞれ０°および１になるように正規化した状態で、顔画像を再切出しすることにより、回転や大きさの微妙なぶれを補正することができ、精度がより向上する。

また請求項３に記載の顔画像認識装置は、前記顔姿勢推定手段において、主成分分析とサポートベクトル回帰を利用したパラメータ推定法を用いることを特徴としている。

また請求項７に記載の顔画像認識方法は、前記第１および第２の顔姿勢推定ステップは、主成分分析とサポートベクトル回帰を利用したパラメータ推定法を用いることを特徴としている。

上記構成によれば、姿勢推定において、少ない記憶容量と高い推定精度を両立させることができる。

また請求項４に記載の顔画像認識装置は、前記顔形状再構成手段において、Ａｃｔｉｖｅ Ａｐｐｅａｒａｎｃｅ Ｍｏｄｅｌを利用して顔器官の特徴点を抽出し、因子分解法によって各特徴点の３次元位置情報を算出することを特徴としている。

また請求項８に記載の顔画像認識方法は、前記顔形状再構成ステップは、Ａｃｔｉｖｅ Ａｐｐｅａｒａｎｃｅ Ｍｏｄｅｌを利用して顔器官の特徴点を抽出し、因子分解法によって各特徴点の３次元位置情報を算出することを特徴としている。

上記構成によれば、Ａｃｔｉｖｅ Ａｐｐｅａｒａｎｃｅ Ｍｏｄｅｌと顔姿勢推定を併用して顔器官の特徴点を抽出しているので、ローカルミニマムによる誤抽出のリスクを低減することができる。

また請求項９に記載の顔画像認識プログラムは、コンピュータを請求項１ないし４のいずれか１項に記載の各手段として機能させるための顔画像認識プログラムであることを特徴としている。

また請求項１０に記載の記録媒体は、コンピュータを請求項１ないし４のいずれか１項に記載の各手段として機能させるための顔画像認識プログラムを記録したコンピュータ読み取り可能な記録媒体であることを特徴としている。

（１）請求項１〜１０に記載の発明によれば、高速且つ精度良く個人を識別することができ、顔の向きにロバストな識別手法を提供することができる。
（２）請求項２、６に記載の発明によれば、前記パラメータのｒｏｌｌ角およびスケール値がそれぞれ０°および１になるように正規化した状態で、顔画像を再切出しすることにより、回転や大きさの微妙なぶれを補正することができ、精度がより向上する。
（３）請求項３、７に記載の発明によれば、姿勢推定において、少ない記憶容量と高い推定精度を両立させることができる。
（４）請求項４、８に記載の発明によれば、Ａｃｔｉｖｅ Ａｐｐｅａｒａｎｃｅ Ｍｏｄｅｌと顔姿勢推定を併用して顔器官の特徴点を抽出しているので、ローカルミニマムによる誤抽出のリスクを低減することができる。

以下、図面を参照しながら本発明の実施の形態を説明するが、本発明は下記の実施形態例に限定されるものではない。図１は、本発明に係る実施形態の顔画像認識装置の構成を示すブロック図であり、図２は、本発明に係る実施形態の顔画像認識方法のフローチャートである。

図１において、本実施形態例における顔画像認識装置は、登録用画像入力手段としての登録用画像入力部１１と、顔検出手段としての顔検出部１２，１８と、顔姿勢推定手段としての顔姿勢推定部１３，１９と、顔再切出し手段としての顔再切出し部１４，２０と、顔形状再構成手段としての顔形状再構成部１５と、登録顔記録手段としての登録顔記憶部１６と、認識用画像入力手段としての認識用画像入力部１７と、登録顔回転手段としての登録顔回転部２１と、顔識別手段としての顔識別部２２と、出力手段としての結果出力部２３とを備えている。これら図１の各部は例えばコンピュータにより構成される。

図１および図２において、登録用画像入力部１１（ステップＳ１１）は認識対象の顔画像登録に用いるため、さまざまな方向から撮像された顔画像データを入力し、顔検出部１２に伝送する。ここで、カメラが複数あり、同期撮影が可能な場合は一度に複数方向からの顔画像を撮影することができる。一方、カメラが一台しかない場合は、顔をさまざまな方向に向かせるよう指示しつつ時系列的に撮影する方法で複数視点からの画像を得ることができる。

顔検出部１２（ステップＳ１２）では、登録用画像入力部１１から伝送された各画像から顔のある領域を検出する。この処理は、たとえば確率的増分符号相関（非特許文献４参照）などの統計的手法を利用して高速に検出することが可能である。

顔姿勢推定部１３（ステップＳ１３）では、検出された顔領域の明度パターンを入力として、顔の姿勢を高精度に推定する。具体的には、主成分分析とサポートベクトル回帰を組み合わせたパラメータ推定法（非特許文献３参照）などが適用可能である。

この主成分分析とサポートベクトル回帰を組み合わせたパラメータ推定法は、固有空間に射影した学習サンプルを用いて回帰推定式を算出し、姿勢推定においては、入力画像を固有空間に射影した後、回帰推定式で姿勢パラメータを求めるものである。

すなわち、学習過程とパラメータ推定過程よりなる。学習過程では、顔の方向や照明の角度などを様々に変えた画像を入力として、固有空間を構成し、そして、固有空間上に射影された学習画像サンプルにより、サポートベクトル回帰を利用してパラメータ推定関数を導出する。一方、パラメータ推定過程では、入力画像を固有空間に射影し、その射影ベクトルを前記パラメータ推定関数に入力することで顔の姿勢を表すパラメータの値が出力される。

ここで、顔の姿勢を表すパラメータはｙａｗ角、ｐｉｔｃｈ角、ｒｏｌｌ角、さらに顔のスケールである。スケールとは、顔領域として検出される方形枠に対し、顔がどのくらいの大きさで含まれるかを定量的に求めたものであり、ある大きさを基準とした相対値で表す（基準スケールからの相対的な拡大値を用いる）こととする。

顔再切出し部１４（ステップＳ１４）では、図３に示すように、顔姿勢推定部１３で推定されたパラメータのうちｒｏｌｌ角θとスケール値Ｓを用いて、入力画像から再切出しを行う。ｒｏｌｌ角θとスケール値Ｓがそれぞれ０°および１になるように正規化された状態で切出すことで、回転や大きさの微妙なぶれを補正することができる。切出された顔画像は顔形状再構成部１５に伝送される。

顔形状再構成部１５（ステップＳ１５）では、目、鼻等の顔の器官の特徴点を抽出し、因子分解法（非特許文献５参照）等を用いることによって、複数の顔向き画像から特徴点の３次元的な位置情報を求める。そして、特徴点を結んで得られた３次元ポリゴンに画像を貼り付け、３次元顔形状情報を得る。

ここで、前述の顔姿勢推定結果や再切出し結果を利用することで、より正確な特徴点の抽出が可能となる。以下では、顔特徴点抽出にＡｃｔｉｖｅ Ａｐｐｅａｒａｎｃｅ Ｍｏｄｅｌ（非特許文献６参照）を利用した方法を例に挙げて、図５、図６の処理フローとともに説明する。

図５は特定向き顔モデルを全方向に対し生成しメモリに蓄積する手順（以下、トレーニング過程と称する）を示し、図６はそれらの顔モデルを使って自動的に顔特徴点を抽出する手順（以下、特徴点抽出過程と称する）を示している。

トレーニング過程では、まず図５のステップＳ３１において、全ての向きのさまざまな人物の顔画像（以下、顔モデルトレーニング用画像と称する）を用意しておき、特定方向の顔向きのものにグループ分けする。

例えば、顔の向きを（１）ｙａｗ＝−４５〜−１５度かつｐｉｔｃｈ＝０〜１５度、（２）ｙａｗ＝−１５〜１５度かつｐｉｔｃｈ＝０〜１５度、（３）ｙａｗ＝１５〜４５度かつｐｉｔｃｈ＝０〜１５度、（４）ｙａｗ＝−４５〜−１５度かつｐｉｔｃｈ＝１５〜３０度、（５）ｙａｗ＝−１５〜１５度かつｐｉｔｃｈ＝１５〜３０度、（６）ｙａｗ＝１５〜４５度かつｐｉｔｃｈ＝１５〜３０度の６種類（正面向きをｙａｗ＝０度、ｐｉｔｃｈ＝０度とする）にグループ分けして、各グループで独立に顔モデルを生成することにする。ここで、グループの数は多い方が良く、メモリ容量とのトレードオフで決定される。

また、ステップＳ３２において、手入力により、全ての顔モデルトレーニング用画像に対する顔特徴点の位置を入力する。さらに、ステップＳ３３において顔検出部１２と同様の方法で顔領域の位置を特定し、ステップＳ３４において顔領域の中での各特徴点の相対的な位置をテーブル化する（以下、顔特徴点相対位置テーブルと称する）。

この顔特徴点相対位置テーブルは、顔の向きのラベルが付与されているため、顔の姿勢パラメータから該当するテーブルを参照できるようになっている。

次に、ステップＳ３５において、手入力された特徴点位置と顔モデルトレーニング用画像を入力としてＡｃｔｉｖｅ Ａｐｐｅａｒａｎｃｅ Ｍｏｄｅｌのトレーニング方法で特定向きの顔モデルを生成する。生成された顔モデルも、顔の向きのラベルを付与して全てメモリ（以下、顔モデル・顔特徴点相対位置テーブルと称する）に蓄積する（ステップＳ３６，Ｓ３７）。

一方、特徴点抽出過程では、まず図６のステップＳ４１，Ｓ４２において、顔再切出し部１４で切出された登録用切出し顔画像と、顔姿勢推定部１３で推定された顔の姿勢パラメータを入力する。

次にステップＳ４３において、前記姿勢パラメータより、前記顔特徴点相対位置テーブルから顔特徴点位置を求め、その位置を初期値とする。また、使用する顔モデルも、姿勢パラメータに基づいて前記顔モデル・顔特徴点相対位置テーブルから自動的に選択される。

Ａｃｔｉｖｅ Ａｐｐｅａｒａｎｃｅ Ｍｏｄｅｌでは、初期値からより類似性が大きくなるように逐次的にパラメータ更新する（モデルフィッティング）ことで、最も確からしい特徴点の位置を決定する（ステップＳ４４）。最終的に、ステップＳ４５において収束した特徴点位置を出力する。前記モデルフィッティングの精度は初期値およびトレーニングに使用した画像群の種類に影響されるが、このような方法で顔特徴点を抽出することでローカルミニマムによる誤抽出のリスクを低減できる。

図１（図２）の登録顔記録部１６（ステップＳ１６）では、顔形状再構成部１５にて得られた３次元顔形状情報を、登録者情報とともにメモリかＨＤＤに記録する。

認識用画像入力部１７（ステップＳ１７）では、認識したい人物を撮像した画像データを入力し顔検出部１８に伝送する。

顔検出部１８（ステップＳ１８）では、前記顔検出部１２と同様の動作により、認識用画像入力部１７から伝送された画像から顔のある領域を検出する。

顔姿勢推定部１９（ステップＳ１９）では、前記顔姿勢推定部１３と同様の動作により、前記検出された顔領域の明度パターンを入力として顔の姿勢を高精度に推定する。

顔再切出し部２０（ステップＳ２０）では、前記顔再切出し部１４と同様の動作により、入力画像から再切出しを行う。

登録顔回転部２１（ステップＳ２１）では、顔姿勢推定部１９にて推定された顔向きパラメータであるｙａｗ角、Ｐｉｔｃｈ角をもとに、前記登録顔記憶部１６に登録された全ての３次元顔形状情報を、前記顔姿勢推定部１９により推定された顔姿勢と同じ姿勢になるように３次元的に回転させる。そして、回転後の顔画像を生成し、顔識別部２２に伝送する。

顔識別部２２（ステップＳ２２）では、図４に示すように、登録顔回転部２１にて生成された画像群と、顔再切出し部２０にて切出された画像との間で類似度を算出する。図４において、ａは顔検出の方形枠の大きさ、Ｓは推定されたスケール値、θは推定されたｒｏｌｌ角を示している。

この時利用できる類似度算出法は、例えば正規化相関や局所正規化相関（非特許文献７参照）、多数の顔画像を主成分分析して得られた固有空間上でのユークリッド距離（非特許文献８参照）などが考えられる。また、顔識別に必要な特徴量はＧａｂｏｒ特徴、Ｈａａｒ特徴、微分特徴などさまざまなものが考えられる。最終的に、類似度の最も大きい登録画像にラベル付けされた個人名を識別結果とする。また、その類似度がしきい値Ｔｈ２より小さければ、該当者なしとする。

結果出力部２３（ステップＳ２３）では、顔識別部２２で得られた識別結果を出力する。

尚、前記実施例に限らず、前記顔検出部１２，１８は共通の１個として構成しても良く、前記顔姿勢推定部１３、１９は共通の１個として構成しても良く、前記顔再切出し部１４，２０は共通の１個として構成しても良い。このように構成した場合も前記と同様の作用、効果を奏する。

また、本実施形態の顔画像認識装置における各手段の一部もしくは全部の機能をコンピュータのプログラムで構成し、そのプログラムをコンピュータを用いて実行して本発明を実現することができること、本実施形態の顔画像認識方法における手順をコンピュータのプログラムで構成し、そのプログラムをコンピュータに実行させることができることは言うまでもない。

前述した実施形態の機能を実現するソフトウェアのプログラムを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のＣＰＵ（ＭＰＵ）が記録媒体に格納されたプログラムを読み出し実行することによっても、実現できる。この場合、記録媒体から読み出されたプログラム自体が上記実施形態の機能を実現することになり、このプログラムを記録した記録媒体、例えば、ＣＤ−ＲＯＭ，ＤＶＤ−ＲＯＭ，ＣＤ−Ｒ，ＣＤ−ＲＷ，ＭＯ及びＨＤＤ等は本発明を構成する。

本発明の顔画像認識装置の実施形態例を示すブロック図。 本発明の顔画像認識方法の実施形態例を示すフローチャート。 本発明の顔再切出し手段の動作を示す説明図。 本発明の顔識別手段の動作を示す説明図。 本発明の顔形状再構成手段におけるトレーニング過程のフローチャート。 本発明の顔形状再構成手段における特徴点抽出過程のフローチャート。

符号の説明

１１…登録用画像入力部、１２，１８…顔検出部、１３、１９…顔姿勢推定部、１４、２０…顔再切出し部、１５…顔形状再構成部、１６…登録顔記憶部、１７…認識用画像入力部、２１…登録顔回転部、２２…顔識別部、２３…結果出力部。

Claims (10)

1. 画像データに含まれる人物顔を検出し、個人を識別する顔画像認識装置であって、
   さまざまな方向から撮影された登録用のデジタル顔画像データを入力する登録用画像入力手段と、
   認識用のデジタル顔画像データを入力する認識用画像入力手段と、
   前記入力画像から顔のある領域を検出する顔検出手段と、
   前記検出された顔領域をもとに顔の姿勢を表すパラメータ値を推定する顔姿勢推定手段と、
   前記推定された姿勢パラメータ値より前記入力画像から顔領域を再度正確に切り出し直す顔再切出し手段と、
   前記顔再切出し手段により切出された顔領域から、顔の各器官の位置を表す特徴点を抽出し、複数の顔向き画像から得られた各特徴点の位置関係から３次元位置情報を算出し、それらの特徴点を結んだポリゴンに画像を投影して３次元顔形状情報を得る顔形状再構成手段と、
   前記３次元顔形状情報を保存する登録顔記録手段と、
   前記顔姿勢推定手段において、認識用の入力画像から検出された顔領域をもとに推定された顔姿勢と同じ姿勢になるように、前記登録顔記録手段に保存された全ての登録顔を回転させて画像を得る登録顔回転手段と、
   前記顔再切出し手段において認識用の入力画像より切出された顔画像から第１の特徴を抽出し、前記登録顔回転手段において得られた画像群から第２の特徴を抽出し、該第２の特徴と前記第１の特徴の類似度を算出し、最も類似度の大きい人物顔を求める顔識別手段と、
   前記顔識別手段の識別結果を出力する出力手段とを備えることを特徴とする顔画像認識装置。
2. 前記顔姿勢推定手段において、顔姿勢を表すパラメータをＹａｗ角、Ｐｉｔｃｈ角、ｒｏｌｌ角およびスケール値とし、スケール値として基準スケールからの相対的な拡大値を用いることを特徴とする請求項１に記載の顔画像認識装置。
3. 前記顔姿勢推定手段において、主成分分析とサポートベクトル回帰を利用したパラメータ推定法を用いることを特徴とする請求項１又は２に記載の顔画像認識装置。
4. 前記顔形状再構成手段において、Ａｃｔｉｖｅ Ａｐｐｅａｒａｎｃｅ Ｍｏｄｅｌを利用して顔器官の特徴点を抽出し、因子分解法によって各特徴点の３次元位置情報を算出することを特徴とする請求項１ないし３のいずれか１項に記載の顔画像認識装置。
5. 画像データに含まれる人物顔を検出し、個人を識別する顔画像認識方法であって、
   登録用画像入力手段が、さまざまな方向から撮影された登録用のデジタル顔画像データを入力する登録用画像入力ステップと、
   顔検出手段が、前記登録用画像入力ステップにより入力された入力画像から顔のある領域を検出する第１の顔検出ステップと、
   顔姿勢推定手段が、前記第１の顔検出ステップにより検出された顔領域をもとに顔の姿勢を表すパラメータ値を推定する第１の顔姿勢推定ステップと、
   顔再切出し手段が、前記第１の顔姿勢推定ステップにより推定された姿勢パラメータ値より前記入力画像から顔領域を再度正確に切り出し直す第１の顔再切出しステップと、
   顔形状再構成手段が、前記第１の顔再切出しステップにより切出された顔領域から、顔の各器官の位置を表す特徴点を抽出し、複数の顔向き画像から得られた各特徴点の位置関係から３次元位置情報を算出し、それらの特徴点を結んだポリゴンに画像を投影して３次元顔形状情報を得る顔形状再構成ステップと、
   登録顔記録手段が、前記３次元顔形状情報を保存する登録顔記録ステップと、
   認識用画像入力手段が、認識用のデジタル顔画像データを入力する認識用画像入力ステップと、
   顔検出手段が、前記認識用画像入力ステップにより入力された入力画像から顔のある領域を検出する第２の顔検出ステップと、
   顔姿勢推定手段が、前記第２の顔検出ステップにより検出された顔領域をもとに顔の姿勢を表すパラメータ値を推定する第２の顔姿勢推定ステップと、
   顔再切出し手段が、前記第２の顔姿勢推定ステップにより推定された姿勢パラメータ値より前記認識用の入力画像から顔領域を再度正確に切り出し直す第２の顔再切出しステップと、
   登録顔回転手段が、前記第２の顔姿勢推定ステップにより推定された顔姿勢と同じ姿勢になるように、前記登録顔記録手段に保存された全ての登録顔を回転させて画像を得る登録顔回転ステップと、
   顔識別手段が、前記第２の顔再切出しステップにより切出された顔画像から第１の特徴を抽出し、前記登録顔回転ステップにより得られた画像群から第２の特徴を抽出し、該第２の特徴と前記第１の特徴の類似度を算出し、最も類似度の大きい人物顔を求める顔識別ステップと、
   出力手段が、前記顔識別ステップの識別結果を出力する出力ステップとを備えることを特徴とする顔画像認識方法。
6. 前記第１および第２の顔姿勢推定ステップは、顔姿勢を表すパラメータをＹａｗ角、Ｐｉｔｃｈ角、ｒｏｌｌ角およびスケール値とし、スケール値として基準スケールからの相対的な拡大値を用いることを特徴とする請求項５に記載の顔画像認識方法。
7. 前記第１および第２の顔姿勢推定ステップは、主成分分析とサポートベクトル回帰を利用したパラメータ推定法を用いることを特徴とする請求項５又は６に記載の顔画像認識方法。
8. 前記顔形状再構成ステップは、Ａｃｔｉｖｅ Ａｐｐｅａｒａｎｃｅ Ｍｏｄｅｌを利用して顔器官の特徴点を抽出し、因子分解法によって各特徴点の３次元位置情報を算出することを特徴とする請求項５ないし７のいずれか１項に記載の顔画像認識方法。
9. コンピュータを請求項１ないし４のいずれか１項に記載の各手段として機能させるための顔画像認識プログラム。
10. コンピュータを請求項１ないし４のいずれか１項に記載の各手段として機能させるための顔画像認識プログラムを記録したコンピュータ読み取り可能な記録媒体。

Images