JP2004005622A

JP2004005622A - 顔要素に基づく顔記述子を用いた顔認識方法及びその装置

Info

Publication number: JP2004005622A
Application number: JP2003123954A
Authority: JP
Inventors: Hyun-Woo Kim; 金　鉉　優; Tae Kyun Kim; 金　泰　均; Won-Jun Hwang; 黄　元　俊; Seok-Cheol Kee; 奇　錫　哲
Original assignee: Samsung Electronics Co Ltd
Current assignee: Samsung Electronics Co Ltd
Priority date: 2002-04-27
Filing date: 2003-04-28
Publication date: 2004-01-08
Anticipated expiration: 2023-04-28
Also published as: EP1359536A3; US20030215115A1; JP4708683B2; EP1359536A2; US7203346B2

Abstract

【課題】顔映像を顔要素に分割して顔を認識する装置及びその方法を提供する。
【解決手段】入力顔映像を複数の顔要素映像に分割する要素分割部と、各顔要素に対応する変換マトリックスを用いて各顔要素映像を表現する固有ベクトルである顔記述子を生成する顔記述子生成部と、登録する顔記述子を記憶する登録顔記述子ＤＢと、顔記述子生成部から入力された入力顔映像の顔記述子と登録顔記述子とを比較し、各顔要素の比較結果に顔要素に対応する所定の加重値を各々与えて入力顔映像を認証する認証部と、を含んだ顔認識装置及びその装置を解決手段とする。
【選択図】　図６

Description

【０００１】
【発明の属する技術分野】
本発明は顔認識方法及びその装置に係り、殊に顔の要素に基づく、線形判別分析（Ｌｉｎｅａｒ　Ｄｉｓｃｒｉｍｉｎａｎｔ　Ａｎａｌｙｓｉｓ；以下、ＬＤＡと略す）顔記述子を用いた顔認識方法及び装置に関する。
【０００２】
【従来の技術】
顔認識のために従来技術では、ＰＣＡ（Ｐｒｉｎｃｉｐａｌ　Ｃｏｍｐｏｎｅｎｔ　Ａｎａｌｙｓｉｓ）及びＩＣＡ（Ｉｎｄｅｐｅｎｄｅｎｔ　Ｃｏｍｐｏｎｅｎｔ　Ａｎａｌｙｓｉｓ）方式が主に用いられてきた。この他にも顔記述子を用いた顔認識方法が、「Ｍ．Ａｂｄｅｌ−Ｍｏｔｔａｌｅｂ、Ｊ．Ｈ．Ｃｏｎｎｅｌｌ、Ｒ．Ｍ．Ｂｏｌｌｅ、ａｎｄ　Ｒ．Ｃｈｅｌｌａｐｐａ、“Ｆａｃｅ　ｄｅｓｃｒｉｐｔｏｒ　ｓｙｎｔｅｘ”、Ｍｅｒｇｉｎｇ　ｐｒｏｐｏｓａｌｓ　Ｐ１８１、Ｐ５５１、ａｎｄ　Ｐ６５０、ＩＳＯ／ＭＰＥＧ　ｍ５２０７、Ｍｅｌｂｏｕｒｎｅ、１９９９」に開示されている。
【０００３】
一枚の認識対象映像から、ポーズや照明が違う顔映像ＤＢを用いて、特徴を抽出して同じ身元や類似度を有する顔映像を検索することは困難である。特に、既存の顔認識アルゴリズムでは、複数枚の認識対象映像を必要とするため、一枚又は少数の映像だけが与えられた場合では、急激な性能の低下がみられた。
【０００４】
また、ＭＰＥＧ−７より提案された顔記述子は、前記した従来技術と同程度の速度と効率でしか、同じ身元の顔イメージの認識対象映像を復元することができなかった。しかも、この顔記述子を用いると、大幅な照明変化及びポーズ変化を有するイメージの集合に対しては復元が制限されるという問題点があった。
【０００５】
一方、従来の２次元的な方法は、所定のベクトルで渡された部分空間に置かれたイメージの要素を除去することによって、照明の変化による影響を除去していた。しかし、これら映像に含まれた人物の身元情報は処理過程で消失されて正確な顔認識は困難であった。
【０００６】
【発明が解決しようとする課題】
本発明の目的は、前記した従来技術の問題点を解決するために、ポーズを複数の代表的なクラスに分類して、顔映像をこのクラスを基準に分類して、ポーズを補償した、ＬＤＡを用いた顔認識方法及び装置を提供することである。
【０００７】
さらに、顔認識の効率を高めるために、顔映像を顔要素別（例えば、目、鼻、口、額など）に分離して、要素別に顔認識方法を適用することで、複雑なマッチングやワーピングを用いることなく、単に変形によるオフセットだけを補正することでポーズ変化を補償でき、各顔要素別に、トレーニングＤＢに２枚以上の同じ身元の顔要素映像を記憶して、各顔要素が分類された映像を含む場合には、ＬＤＡを適用して照明変化まで補償できる顔認識方法及びその装置を提供することである。
【０００８】
【課題を解決するための手段】
前記技術的な課題を達成する本発明に係る顔認識装置は、入力顔映像を複数の顔要素映像に分割する要素分割部と、顔要素映像に対応する変換マトリックスを用いて、顔要素映像を表す固有ベクトルである顔記述子を生成する顔記述子生成部と、登録する顔記述子を記憶する登録顔記述子ＤＢと、顔記述子生成部から入力された入力顔映像の顔記述子と登録顔記述子とを比較し、各顔要素の比較結果に顔要素に対応する所定の加重値を与えて入力顔映像を認証する認証部を含む。
【０００９】
また、本発明の顔認識装置は、変換マトリックスを生成して前記顔記述子生成部に出力する変換マトリックス生成部をさらに含むことが望ましく、この変換マトリックス生成部はトレーニング顔映像を記憶するトレーニング映像ＤＢと、トレーニング顔映像を複数の顔要素映像に分割するトレーニング要素分割部と、同じ身元の顔映像間の分散に対する他の身元の顔映像間の分散比を最大にする線形変換マトリックスを顔要素映像の各々に対して生成する変換マトリックス生成部と、を含むことが望ましい。
【００１０】
また、本発明の顔認識装置は、認識対象映像を所定数のポーズを代表する固有顔に投影して認識対象映像のポーズを予測し、ポーズ情報と共に認識対象映像を要素分割部に出力するポーズ予測部をさらに含み、要素分割部はポーズ予測部から入力された顔映像のポーズを考慮して顔映像を分割することが望ましい。
【００１１】
また、本発明の顔認識装置の前記認証部は、認識対象映像の各顔要素の顔記述子と前記登録顔記述子間の相互相関を計算することによって各顔要素の類似度を計算し、この計算された類似度に顔要素別加重値を与えて合算し、この合算結果が最も大きい顔映像を前記入力顔映像と同じ身元の顔映像として認証することが望ましい。
【００１２】
また、前記した技術的課題を達成するための本発明の顔認識方法は、（ａ）入力顔映像を複数の顔要素映像に分割するステップと、（ｂ）顔要素に対応する変換マトリックスを用いて、顔要素映像を表す固有ベクトルである顔記述子を生成するステップと、（ｃ）入力顔映像の顔記述子と登録された顔記述子とを比較し、各顔要素の比較結果に前記顔要素に対応する所定の加重値を与えて入力顔映像を認証するステップと、を含む。
【００１３】
また、本発明の顔認識方法は、ステップ（ａ）以前に変換マトリックスを生成するステップをさらに含むことが望ましく、変換マトリックスを生成するステップは、トレーニング顔映像を記憶するトレーニング映像ＤＢを用意するステップと、トレーニング顔映像を複数の顔要素映像に分割するステップと、同じ身元の顔映像間の分散に対する他の身元の顔映像間の分散比を最大にする変換マトリックスを顔要素映像の各々に対して生成するステップと、を含むことが望ましい。
【００１４】
また、本発明の顔認識方法は、ステップ（ａ）以前に、入力顔映像を所定数のポーズを代表する固有顔に投影して入力顔映像のポーズを予測するステップをさらに含むことが望ましく、ステップ（ａ）は予測されたポーズを考慮して顔要素を分割することが望ましい。また、本発明の顔認識方法のステップ（ｃ）は、認識対象映像の顔要素の顔記述子と登録顔記述子間の相互相関を計算することによって顔要素の類似度を測定し、測定された類似度に顔要素別加重値を与えて合算し、この合算結果が最も大きい顔映像を認識対象顔映像と同じ身元の顔映像として認証することが望ましい。
【００１５】
【発明の実施の形態】
以下、添付した図面を参照して、本発明の望ましい実施の形態を説明する。図１は、本発明が適用される映像データグループを説明する図面であって、データ転換によって、ＩＣＡ方式からＬＤＡ方式への又はＬＤＡ方式からＩＣＡ方式への変更が可能であることを例示している。図１に示したデータグループは同じ身元の人に対する多数の映像を示すものであって、図中のＩＤＥＮＴＩＴＹ＃１ないしＩＤＥＮＴＩＴＹ＃ｍは同じ身元の人物のｍ個の映像を表している。本実施の形態の顔認識方法は、データベースに少なくとも２枚の分類された映像が存在すれば適用可能である。
【００１６】
また、図２ないし図４は、本実施の形態における顔映像を顔要素に分割する方法の例を示す図面である。本実施の形態では、初めに、トレーニングのために入力される映像を、所定数の顔部分を含む領域に分割する。本実施の形態において用いられる顔記述子は分割された顔の要素に基づいて顔を表現する。例えば、図２では入力された顔映像を、額、目、鼻及び口と対応する所定の顔要素に分割し、図３では入力された顔映像を、分割される顔映像の一部が相互に重複した１４個の部分に分割する。ここで、１４個以上に分割することも可能である。なお、本実施の形態の顔認識方法は、図２及び図３に示すように目、鼻、口のような顔の要素に対して分割する方法に適用されるだけでなく、例えば、図４に示すように顔が検出された領域を所定数の四角形の領域に分割する方法であっても適用可能である。
【００１７】
次に、各要素別に分割された映像は、映像を全体として表現する時より、映像の符号化時に照明及びポーズ変化により耐性があり、類似性のマッチング及び配置の調整に柔軟に対応できる。すなわち、各分割された領域でのポーズ及び照明の変化による映像変化は全体映像でのポーズ及び照明の変化による映像変化より少ない。したがって、要素に基づく顔記述子はより小さな分割領域内で単純化された統計値を用いて前処理及び顔表現方式を単純化することができる。
【００１８】
従来の、ＰＣＡ、ＩＣＡ及びＬＤＡに基づく顔認識方法は、統計的に全ての画素位置間の階調相関を符号化する。また、照明位置とカメラ位置による元の顔映像の変化は、顔の表情の大幅な変化をもたらす。しかし、本発明の要素に基づく方法によると、顔要素ごとに作用するので、映像変化は各要素部分のみに限定される。したがって、本発明の顔識別方法において、顔映像の統計値は、顔要素に単純化される。何よりも、小さく分割された顔映像領域での前処理は、全体の顔映像領域での前処理より容易であり、顔要素映像は全体の顔映像より統計的な複雑性を有しないため、全体顔領域より表現が容易である。すなわち、顔要素映像は、ＰＣＡ／ＩＣＡ／ＬＤＡに基づく線形仮定に、より適している。
【００１９】
また、分割された顔要素が、隣接する他の顔要素と相互に重複している場合には、重複した部分は、他の顔要素との関係性を表している。したがって、識別のための重要な特徴が含まれている。
【００２０】
また、各顔要素に分割された映像を用いる本実施の形態において、大きな変化を有する顔要素（例えば、口など）は顔認証時に行われる類似度マッチングにおいて比重を少なくすることもできる。このように、マッチングのステップにおいて、判別度及び事前知識によって顔要素ごとに重み付けを考慮することが可能である。また、これによって、サングラスやマスク等で顔の一部が隠された場合でも識別が可能となる。また、顔要素映像が顔の構成要素の検知およびデンスマッチングによって適切に整えられる場合には、ポーズ変化を補償できる。このようなポーズ補償により、顔認識の精度をさらに向上させることができる。
【００２１】
また、ポーズ差が補償されると、全体の顔映像に対する顔認識は、要素に基づく認識技術では、デンスオプティカルフロー変換または大域投影変換／アフィン変換が必要であり、一方、変形によるオフセットを計算することによって顔要素の配置が近似される。
【００２２】
以下では、大規模データセット及び小規模データセットが適用される時のクラス分布を各々示す図５（ａ）及び図５（ｂ）を参照して、ポーズの推定方法及び要素の配置方法について説明する。前記したように、要素配置が、要素の検知またはデンスマッチングによってうまく配置されていれば、ポーズ変化は補償でき、これは顔認識の精度をさらに向上させる。しかし、デンスマッチングまたは完全な要素の検知は非常に困難であり膨大な計算が必要とされる。このような作業において、本実施の形態の顔認識方法は、ポーズ推定技法及び要素分離を結合してポーズ変化を効率よく補償することができる。
【００２３】
ここで、まず、ポーズの推定について説明する。ここで、トレーニング用の映像は正面、左、右、上、下の５つのポーズのクラスに手動または自動で分類される。本実施の形態では、５方向について分類しているが、５方向以外にも３０度左側、３０度右側のように、多様な方向のポーズに分類することも可能である。これによって、各ポーズのクラスに基づいて固有顔が抽出される。テスト用のデータセットにおいて、テスト映像は各ポーズのクラスに対応する５個の異なる固有顔に投影されて、最小の投影誤差を有するクラスに分類される。
【００２４】
次に、ポーズの補償が行われる。一般に、割当てられたポーズのクラスによって、正面顔に対応するイメージが基準に選択され、他のポーズのイメージはアフィン／投影変換を用いて基準イメージに関連付けされる。この関連付けには膨大な計算量が必要であり、トレーニング映像の分類の誤差は、精度の低下をもたらす。しかし、顔要素分割の領域を用いる場合では、分類の誤差が顔全体の領域を用いる場合より少なく、また、変形によるオフセットはアフィン／投影変換で近似できる。変形によるオフセットはトレーニング用のデータセットの顔での標準点の平均的な位置を関連付けることによって計算される。したがって、デンスマッチング及び関連付けなしでも、顔要素は配置され、ポーズ変化による映像変化は大幅に抑えられる。なお、顔要素分割の領域の大きさ及びその数と、記述子の大きさとの間にはトレードオフが存在している。
【００２５】
顔要素の配置によるポーズ変化の除去によって、相互対応する顔要素映像は顔記述子として使われ、さらに類似度の計算に用いられる。結果として、顔認識の精度が向上する。
【００２６】
以下、本実施の形態におけるＬＤＡ方法について説明する。ＭＰＥＧ−７の全てのデータグループは分類されているため、ＬＤＡのような説明に基づく学習が適用される。ＬＤＡのような説明に基づく学習を適用すれば照明の変化及びポーズの変化を除去することができる。さらに、ＬＤＡは、身元学習の例として２つ以上の映像が登録された場合の人物認識の一連の作業を効率よく処理することができる。
【００２７】
ＬＤＡ及びフィッシャーの線形判別子（Ｆｉｓｈｅｒ’ｓ　Ｌｉｎｅａｒ　Ｄｉｓｃｒｉｍｉｎａｎｔ；ＦＬＤ）は、容易にデータグループに分類されるデータを示すことができるため、クラス特定の方法といえる。例えば、Ｃ個のクラス｛Ｘ_１、Ｘ_２、．．．Ｘ_Ｃ｝のうち何れか１つに属するＮ個の映像集合｛ｘ_１、ｘ_２、．．．ｘ_Ｎ｝が与えられれば、ＬＤＡはクラス内分散間に対するクラス間分散の比が最大になるように線形変換マトリックスを選択する。数学的に、クラス間分散マトリックスＳ_Ｂ及びクラス内分散マトリックスＳ_ｗは次式で定義される。
【００２８】
【数１】

【００２９】
ここで、μ_ｉはクラスＸ_ｉの平均映像を、Ｎ_ｉはクラスＸ_ｉに属する映像の数を示している。クラス内分散マトリックスＳ_ｗが唯一でなければ、ＬＤＡはクラス間分散マトリックスの行列式に対するクラス内分散マトリックスの行列式の比を最大にする正規直行マトリックスＷ_ｏｐｔを求める。これにより、ＬＤＡ投影マトリックスは次式で表せる。
【００３０】
【数２】

【００３１】
ここで、解集合｛Ｗ_ｉ｜ｉ＝１、２、．．．ｍ｝はｍ個の最も大きい固有値｛λ_ｉ｜ｉ＝１、２、．．．ｍ｝に対応する一般化された固有ベクトルＳ_Ｂ及びＳ_Ｗの解である。すなわち、ｉ＝１、２、．．．ｍである時、Ｓ_ＢＷ_ｉ＝λ_ｉＳ_ＷＷ_ｉである。
【００３２】
一般に、固有ベクトルＳ_Ｗが単一の値を持たないように、ＰＣＡではベクトルの次元をＬＤＡを適用する前の値に下げる。各ＬＤＡの固有ベクトルは、ｋ＝１，２、．．．Ｎである時、ベクトル投影ｙ_ｋ＝Ｗ_ｏｐｔ ^Ｔｘ_ｋとして表現される。したがって、顔映像ｘはＬＤＡ変換マトリックスをＷ^ｏ≡Ｗ_ｏｐｔとする時、ＬＤＡ固有ベクトルｙ^０＝（Ｗ^０）^Ｔｘによって簡潔に表現することができる。
【００３３】
以下、本実施の形態における顔要素に基づくＬＤＡ顔記述子について説明する。本実施の形態では、ＬＤＡは、映像変化に対する線形性及び強じん性によって要素に基づく手法と結びつけられている。ＬＤＡは、分割された顔要素に個別に適用され、このような適用により精度が向上する。本発明において、元の顔映像に適用されるＬＤＡを全体ＬＤＡ方法と称し、顔要素映像に適用されるＬＤＡを要素に基づくＬＤＡ方法と称する。また、本発明は両方法を組み合わせた方法を、結合ＬＤＡ方法と称する。
【００３４】
初めに、トレーニング用のデータセットに基づいて、ＬＤＡ変換マトリックスが抽出される。Ｎ個のトレーニング映像｛ｘ_１、ｘ_２、．．．ｘ_Ｎ｝が与えられると、全ての映像は所定の顔要素分割方式によってＬ個の顔要素映像に分割される。全ての分割された顔要素映像は結合されて、例えば、ｋ番目の顔要素映像について｛ｚ_１ ^ｋ、ｚ_２ ^ｋ、．．．ｚ_Ｎ ^ｋ｝のようにベクトル形式で表現される。次に、各顔要素の集合に対してＬＤＡ変換マトリックスを算出する。例えば、ｋ番目の顔要素映像に対応するＬＤＡマトリックスＷ^ｋが計算される。そして、ＬＤＡ変換マトリックスの集合｛Ｗ^１、Ｗ^２、．．．Ｗ^Ｌ｝は、顔認識及び検証のために記憶される。
【００３５】
次に、テスト用のデータセットの顔映像Ｘから、顔要素映像に対応するＬ個のベクトル｛ｚ^１、ｚ^２、．．．ｚ^Ｌ｝が抽出される。ＬＤＡ固有ベクトルの集合ｙ＝｛ｙ^１、ｙ^２、．．．ｙ^Ｌ｝は顔要素ベクトルを対応するＬＤＡ変換マトリックスによって変換することで求められる。この固有ベクトルはｙ^ｋ＝（Ｗ^ｋ）^Ｔｚ^ｋ、ｋ＝１、２、．．．Ｌによって計算される。したがって、要素に基づくＬＤＡ方法の場合に顔映像ＸはＬＤＡ固有ベクトル｛ｙ^１、ｙ^２、．．．ｙ^Ｌ｝によって簡潔に表現され、また、結合ＬＤＡ法の場合には、ＬＤＡ固有ベクトル｛ｙ^０、ｙ^１、ｙ^２、．．．ｙ^Ｌ｝によって簡潔に表現される。全体ＬＤＡ方法においては、全体顔映像ｘに対するＬＤＡ固有ベクトルはｙ^０で表現される。
【００３６】
次に、顔記述子を用いて類似度をマッチングさせる方法について説明する。２つの顔映像ｘ_１、ｘ_２が、ＬＤＡ固有ベクトル集合ｙ_１、ｙ_２を持つとき、要素に基づくＬＤＡ方法において２顔イメージ間の類似度ｄ（ｙ_１、ｙ_２）は対応する要素間の相互相関を次式のように計算することによって測定できる。
【００３７】
【数３】

【００３８】
ここで、ｙ_１ ^ｋ、ｙ_２ ^ｋは顔映像ｘ_１、ｘ_２のｋ番目の顔要素映像のＬＤＡ固有ベクトルを示し、ｗ_ｋはｋ番目の顔要素映像の重み要素を示す。結合ＬＤＡ方法を用いる場合には、固有ベクトル集合は顔映像ｘ_１、ｘ_２に対するＬＤＡ固有ベクトルｙ^０を含むため、ｋは１ではなく０から始まる。
【００３９】
前記説明した内容を踏まえて、図６及び図７を参照して本実施の形態における要素に基づくＬＤＡ顔記述子を用いた顔認識装置を説明する。図６は、本実施の形態における顔認識装置の構成例を示すブロック図であり、図７は、本実施の形態における顔認識方法を説明するフローチャートである。図６を参照すると、本実施の形態における顔認識装置は、認識対象映像のポーズを予測して分類するポーズ予測部４１０と、入力映像の固有ベクトルで表現された入力顔映像を、顔の各要素別に分割する要素分割部４２０と、各顔要素のＬＤＡ変換マトリックスを入力され、入力された変換マトリックスを用いて要素分割部４２０から入力された認識対象映像の各顔要素の顔記述子を生成する顔記述子生成部４３０と、登録顔記述子を記憶する登録顔記述子ＤＢ４５０と、顔記述子生成部４３０から入力された認識対象顔映像の顔記述子及び登録顔記述子を比較して入力映像を認証する認証部４４０とを含んで構成される。
【００４０】
次に、図７を参照して本実施の形態における顔認識装置で行われる顔認識方法の過程を説明する。初めに、認識対象映像が顔認識装置のポーズ予測部４１０に認識対象の顔映像が入力されると（ステップＳ４６０）、ポーズ予測部４１０はまず入力顔映像の目の位置を検出し、検出された目の位置によって入力顔映像を正規化する。そして、ポーズ予測部４１０は入力顔映像のポーズを予測するために、正規化された入力顔映像を予め用意されたポーズクラスの固有顔に投影し、投影誤差が最小となる固有顔が属するクラスに入力顔映像を分類する（ステップＳ４６５）。本実施の形態では、入力映像のポーズを正面、上、下、左３０度、右３０度のように分類し、前記した変形によるオフセットまたはアフィン／投影変換によってポーズを補償する。要素分割部４２０はポーズ予測部４１０から入力顔映像のポーズに対する相対的な位置を考慮して、入力顔映像を目、鼻、耳、口、額の各顔要素に分割し、それぞれの顔要素映像は顔記述子生成部４３０に出力される（ステップＳ４７０）。または、ステップＳ４７０において、要素分割部４２０は、前記したように入力顔映像を所定の四角形に分割して出力することも可能である。
【００４１】
次に、顔記述子生成部４３０は、後記して説明する変換マトリックス生成装置から入力されたＬＤＡ変換マトリックスを用いて、要素分割部４２０から入力された各顔要素映像に対して顔記述子を生成する（ステップＳ４７５）。ここで、顔記述子生成方法について説明すると、顔記述子生成部４３０は、要素分割部４２０から入力されたｋ番目の顔要素映像ベクトルをＸ^ｋとすると、外部からｋ番目の顔要素に対するＬＤＡ変換マトリックスＷ^ｋを入力され、ｋ番目の顔要素に対する顔記述子ｙ^ｋを、次式に示すベクトル投影によって求める。
【００４２】
【数４】
ｙ^ｋ＝（ｗ^ｋ）^ＴＸ^ｋ
【００４３】
次に、顔記述子生成部４３０は全ての顔要素映像について数式４によって顔記述子を生成し、生成された顔記述子を認証部４４０に出力する。そして、認証部４４０は、顔記述子生成部４３０から入力された認識対象映像の顔記述子と、登録顔記述子ＤＢ４５０に記憶された登録顔記述子との間の類似度を、前記した数式３を用いて算出する。この認証部４４０は、数式３によって算出された類似度が所定の値を超えれば、認識対象顔映像を登録された顔映像として認証し、境界値以下であれば登録されていない顔映像であると判断する（ステップＳ４８０）。
【００４４】
また、本実施の形態における顔認識装置において、顔記述子生成部４３０は、入力顔映像の配置を分類するために、顔記述子生成の前処理段階として入力された顔要素映像に対してＰＣＡ変換のような所定の変換を行ってもよい。
【００４５】
次に、図８及び図９に基づいて、ＬＤＡ変換マトリックス生成装置及びその方法について説明する。ここで、本実施の形態におけるＬＤＡ変換マトリックスは、トレーニング映像ＤＢに記憶されたトレーニング映像データを用いて生成される。図８は、本実施の形態における変換マトリックス生成装置の構成図の例であり、図８を参照すると、変換マトリックス生成装置は、変換マトリックス生成のためのトレーニング映像を記憶するトレーニング映像ＤＢ５１０と、トレーニング映像ＤＢ５１０に記憶された映像をポーズ別に分類するポーズ分類部５２０と、各ポーズの入力顔映像を、顔要素に分割する要素分割部５３０と、各顔要素映像に対するＬＤＡ変換マトリックスを生成する変換マトリックス生成部５４０とを含んで構成される。
【００４６】
次に、図９は、本実施の形態における変換マトリックス生成方法を説明するフローチャートであり、図９を参照すると、変換マトリックス生成装置は、初めに、各々分類されたトレーニング映像を含むトレーニング映像ＤＢ５１０を用意する（ステップＳ５５０）。次に、ポーズ分類部５２０は、顔認識装置に入力されたトレーニング顔映像の目の位置を検出し、検出された目の位置に基づいてトレーニング映像ＤＢ５１０に記憶されたトレーニング顔映像を正規化する。この正規化において、形態の特徴となる点は、目以外の他の顔要素であってもよい。ポーズ分類部５２０は、前記したように入力顔映像を正面、左、右、上、下のような所定のポーズクラスに手動または自動で分類し、ポーズを補償して記憶し、記憶された各クラスの固有顔を抽出する（ステップＳ５６０）。抽出された固有顔は、図６に示した顔認識装置の認識対象顔のポーズを予測するのに用いられる。
【００４７】
次に、要素分割部５３０は、各ポーズの入力顔映像を顔認識装置の要素分割部４２０と同じ方式で分割し、分割された各入力顔映像をＬＤＡ変換マトリックス生成部５４０に出力する（ステップＳ５７０）。ＬＤＡ変換マトリックス生成部５４０は前記した数式１及び数式２によって各顔要素クラスに対して、クラス間スカッターマトリックスの行列式：クラス内分散マトリックスの行列式の比を最大にするＬＤＡ変換マトリックスを生成する（ステップＳ５８０）。
【００４８】
以上、本発明の望ましい実施の形態における顔認識装置及び顔認識方法について説明したが、本発明に係る顔認識装置は、登録された顔映像だけを認証するため用いられるだけでなく、類似した顔映像が同じ身元の顔映像であるか否かを判定するにも利用することができる。この場合には、２枚の顔映像を前記した過程を通じて顔記述子に変換し、前記した認証部で２つの入力顔映像の顔記述子の類似度を測定することによって２枚の顔映像の身元が同一か否かを判定できる。
【００４９】
また、本発明によると、顔映像の一部による類似度測定が可能なので、認識対象映像の一部が隠れた場合であっても、以外の顔要素の類似度を測定することによって顔認証が可能である。また、本発明に係る顔認識装置及びその方法は、顔映像を検索する場合にも利用できる。この場合、顔認識装置の認証部は顔記述子生成部から入力された顔記述子と顔記述子登録ＤＢに記憶された顔記述子間の類似度を比較し、所定の値以上の類似度を有する顔映像に対して類似度の高い順に出力する。合わせて、本発明に係る顔認識方法は、各顔要素別に類似度を測定可能なので、検索対象顔映像の一部が類似した顔映像の検索も可能である。
【００５０】
ここで、６３５人に対して顔認識の性能実験を行った結果を図１０に示した。この実験では、６３５人の各５枚の顔映像に対して、トレーニング映像：テスト映像の比を２：８及び５：５にした時の性能を計測したが、これによれば本発明に係る顔認識方法は、従来例に比べ、はるかに認識性能が改善されていることが分かる。
【００５１】
また、本発明に係る顔認識方法は、コンピュータが読取れる記録媒体に、コンピュータが読取れるプログラムコードとして具現することができる。コンピュータが読取れる記録媒体には、コンピュータが読取り可能なデータが記憶される全ての記録装置を含む。コンピュータが読取れる記録媒体の例としては、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄａｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＣＤ（Ｃｏｍｐａｃｔ　Ｄｉｓｃ）−ＲＯＭ、磁気テープ、フロッピーディスク、光データ記憶装置などがあり、またキャリア波（例えばインターネットを通じた伝送）による伝送であってもよい。またコンピュータにて読取れる記録媒体は、ネットワークに連結されたコンピュータシステムに分散され、分散方式でコンピュータにて読取れるコードが記憶されて実行されてもよい。
【００５２】
以上、本発明の望ましい実施の形態を中心に説明した。本発明が属する技術分野の当業者であれば、本発明を、本発明の本質的な特性から外れない範囲で、変形させて具現化できると予想される。したがって、上記説明した実施の形態は、本発明を限定するものではなく、説明のために記載されたものであり、本発明の範囲は前記した実施の形態でなく、特許請求の範囲に示されており、それと同等な範囲内にあるものについては、本発明に含まれることはもちろんである。
【００５３】
【発明の効果】
以上述べたように、本発明によれば、全体の顔映像にＬＤＡを適用できるだけでなく、顔要素を分割し、各顔要素映像に対してもＬＤＡを適用可能なので、照明及びポーズの変化による顔認識率の低下を防ぐことができる。したがって、顔認識性能を向上させ、かつ各顔要素別に類似度を検索できて顔の一部を隠した場合であっても顔認識が可能となる。合わせて、顔の検索時にも、顔要素に係る加重値を適切に調整することによって、顔が全体として類似した人だけでなく、顔の一部分だけ類似した人の顔も検索できる。
【図面の簡単な説明】
【図１】本発明が適用されるための環境を示す図面である。
【図２】本発明の顔映像を顔要素に分割する方法を例示する図面である。
【図３】本発明の顔映像を顔要素に分割する方法を例示する図面である。
【図４】本発明の顔映像を顔要素に分割する方法を例示する図面である。
【図５】（ａ）大規模データ集合の適用時のクラス分布を示す図面である。（ｂ）小規模データ集合の適用時のクラス分布を示す図面である。
【図６】本発明の顔認識装置を示すブロック図である。
【図７】本発明の望ましい実施例に係る顔認識方法を説明するフローチャートである。
【図８】変換マトリックスの生成装置の構成を示すブロック図である。
【図９】変換マトリックス生成方法を説明するフローチャートである。
【図１０】本発明に係る性能向上の結果を示す図面である。
【符号の説明】
４１０　　ポーズ予測部
４２０　　要素分割部
４３０　　顔記述子生成部
４４０　　認証部
４５０　　登録顔記述子ＤＢ

Claims

入力顔映像を複数の顔要素映像に分割する要素分割部と、
前記顔要素映像に対応する変換マトリックスを用いて、前記顔要素映像を表現する固有ベクトルである顔記述子を生成する顔記述子生成部と、
登録する顔記述子を記憶する登録顔記述子ＤＢと、
前記顔記述子生成部から入力された入力顔映像の顔記述子と登録顔記述子とを比較し、前記顔要素の比較結果に前記顔要素に対応する所定の加重値を与えて入力顔映像を認証する認証部と、を含むことを特徴とする顔認識装置。
前記変換マトリックスは、
同じ身元の顔映像ベクトル間の分散は減少し、他の身元の顔映像ベクトル間の分散は増加するように顔映像ベクトルを変換することを特徴とする請求項１に記載の顔認識装置。
前記変換マトリックスを生成して前記顔記述子生成部に出力する変換マトリックス生成部をさらに含み、
前記変換マトリックス生成部は、
トレーニング顔映像を記憶するトレーニング映像ＤＢと、
前記トレーニング顔映像を複数の顔要素映像に分割するトレーニング要素分割部と、
同じ身元の顔映像間の分散に対する他の身元の顔映像間の分散比を最大にする線形変換マトリックスを前記顔要素映像に対して生成する変換マトリックス生成部と、を含むことを特徴とする請求項１に記載の顔認識装置。
前記要素分割部は、
前記顔要素映像の一部が、相互に重複されるように前記顔映像を分割することを特徴とする請求項１に記載の顔認識装置。
前記要素分割部は、
前記入力顔映像を所定数の四角形映像に分割することを特徴とする請求項１に記載の顔認識装置。
前記顔記述子生成部は、
前記要素分割部から入力された顔要素映像に対してＰＣＡ分析法を行って次元を下げた顔要素ベクトルを、前記変換マトリックスによって変換して顔記述子を生成することを特徴とする請求項１に記載の顔認識装置。
前記認証部は、
前記認識対象映像の顔記述子と前記登録顔記述子間の相互相関を計算することによって顔要素の類似度を測定し、前記類似度に顔要素別加重値を与えて合算し、この合算結果が最大である顔映像を、前記入力顔映像と同じ身元の顔映像として認証することを特徴とする請求項１に記載の顔認識装置。
前記認証部は、
前記認識対象映像の顔要素の顔記述子と前記登録顔記述子間の類似度を測定し、前記類似度に顔要素別加重値を与えて合算し、この合算結果の大きい順に登録顔映像を出力することを特徴とする請求項１に記載の顔認識装置。
認識対象映像を、所定数のポーズを代表する固有顔に投影して前記認識対象映像のポーズを予測し、ポーズ情報と共に認識対象映像を前記要素分割部に出力するポーズ予測部をさらに含み、
前記要素分割部は前記ポーズ予測部から入力された顔映像のポーズを考慮して顔映像を分割することを特徴とする請求項１に記載の顔認識装置。
（ａ）入力顔映像を複数の顔要素映像に分割するステップと、
（ｂ）前記顔要素に対応する変換マトリックスを用いて、前記顔要素映像を表す固有ベクトルである顔記述子を生成するステップと、
（ｃ）前記入力顔映像の顔要素の顔記述子と登録された顔記述子とを比較し、前記顔要素の比較結果に前記顔要素に対応する所定の加重値を与えて入力顔映像を認証するステップと、
を含むことを特徴とする顔認識方法。
前記変換マトリックスは、
同じ身元の顔映像ベクトル間の分散は減少し、他の身元の顔映像ベクトル間の分散は増加するように、顔映像ベクトルを変換することを特徴とする請求項１０に記載の顔認識方法。
前記ステップ（ａ）以前に前記変換マトリックスを生成するステップをさらに含み、前記変換マトリックスを生成するステップは、
トレーニング顔映像を記憶したトレーニング映像ＤＢを用意するステップと、
前記トレーニング顔映像を複数の顔要素映像に分割するステップと、
同じ身元の顔映像間の分散に対する他の身元の顔映像間の分散比を最大にする変換マトリックスを前記顔要素映像の各々に対して生成するステップと、を含むことを特徴とする請求項１０に記載の顔認識方法。
前記ステップ（ａ）は、
前記入力顔映像の一部が相互に重複されるように顔映像を分割することを特徴とする請求項１０に記載の顔認識方法。
前記ステップ（ａ）は、
前記入力顔映像を所定数の四角形映像に分割することを特徴とする請求項１０に記載の顔認識方法。
前記ステップ（ｂ）は、
分割された顔要素映像に対してＰＣＡ分析法を行って次元を下げた顔要素ベクトルを前記変換マトリックスによって変換して顔記述子を生成することを特徴とする請求項１０に記載の顔認識方法。
前記ステップ（ｃ）は、
前記認識対象映像の顔要素の顔記述子と前記登録顔記述子間の相互相関を計算することによって各顔要素の類似度を測定し、前記類似度に顔要素別加重値を与えて合算し、この合算結果が最も大きい顔映像を前記入力顔映像と同じ身元の顔映像として認証することを特徴とする請求項１０に記載の顔認識方法。
前記ステップ（ｃ）は、
前記認識対象映像の各顔要素の顔記述子と前記登録顔記述子間の類似度を測定し、前記類似度に顔要素別加重値を与えて合算し、この合算結果の大きい順に登録顔映像を出力することを特徴とする請求項１０に記載の顔認識方法。
前記ステップ（ａ）以前に、
入力顔映像を、所定数のポーズを代表する固有顔に投影して前記入力顔映像のポーズを予測するステップをさらに含み、
前記ステップ（ａ）は予測されたポーズを考慮して顔要素を分割することを特徴とする請求項１０に記載の顔認識方法。
請求項１０ないし１８のうち何れか１項に記載の顔認識方法をコンピュータで判読でき、実行可能なプログラムコードに記録した記録媒体。