JP3903783B2

JP3903783B2 - 顔メタデータ生成方法および装置、並びに顔類似度算出方法および装置

Info

Publication number: JP3903783B2
Application number: JP2001381530A
Authority: JP
Inventors: 俊男亀井
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2001-12-14
Filing date: 2001-12-14
Publication date: 2007-04-11
Anticipated expiration: 2021-12-14
Also published as: EP2017770A3; US7593551B2; EP1460580B1; DE60232365D1; CN100367311C; JP2003187229A; CN100492397C; EP1460580A4; WO2003052690A1; CN1912891A; CN1552041A; US20040197013A1; EP2017770A2; CN1912890A; EP2017770B1; CN100492398C; EP1460580A1

Description

【０００１】
【発明の属する技術分野】
本発明は、顔同定や顔識別、顔の表情認識、顔による男女識別、顔による年齢判別等に利用可能な技術に係り、特に静止画像や動画像に映されている顔情報に関するメタデータを生成するメタデータ生成、顔類似度算出およびメタデータのマッチング技術に関する。
【０００２】
【従来の技術】
メタデータとは、一般に、データの意味を記述あるいは代表するデータのことであり、顔認識の場合には、主に静止顔画像や動画像などの顔データに関するデータを意味する。
【０００３】
映像・画像や音声などのマルチメディアコンテンツに対するメタデータの標準化活動として、MPEG-7（MPEG(Moving Pictures Experts Group) によって標準化されたマルチメディアコンテンツ記述インタフェースの国際標準規格 ,ISO/IEC 15938）の活動が広く知られている。この中で顔認識に関するメタデータの記述子として、顔認識記述子が提案されている(A. Yamada他編, "MPEG-7 Visual part of eXperimental Model Version 9.0," ISO/IEC JTC1/SC29/WG11 N3914, 2001)。
【０００４】
この顔認識記述子では、切り出して正規化した顔画像に対して、一般的に固有顔と呼ばれる部分空間法の一種を用いて、顔画像の特徴量を抽出するための基底行列を求め、この基底行列によって画像中から顔特徴量を抽出し、これをメタデータとする。また、この顔特徴量に対する類似度として重み付け絶対値距離を用いることを提案している。
【０００５】
また、顔認識に関する技術には様々な方法があることが知られており、例えば、
主成分分析(Moghaddam他,"Probalilistic Visual Learning for Object Detection",IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 17, No. 7, pp. 696-710, 1997)、あるいは、
判別分析(W. Zhao他, "Discriminant Analysis of Principal Components for Face Recognition," Proceedings of the IEEE Third International Conference on Automatic Face and Gesture Recognition, pp. 336-341, 1998)
に基づく固有顔による方法などが知られている。
【０００６】
また、指紋画像から得られた特徴量に対して部分空間法を適用する際に、品質指標を導入し適応的にパターン間の距離を測る方法がある (T. Kamei and M. Mizoguchi, “Fingerprint Preselection Using Eigenfeatures,” Proceedings of the 1998 IEEE Computer Society Conference on Computer Vision and Pattern Recognition, pp.918-923, 1998, 特開平10-177650号公報)。
【０００７】
【発明が解決しようとする課題】
しかしながら、上記従来の技術では、十分な顔認識の精度を得られなかった。そこで、本発明の目的は、顔認識の精度を向上させることが可能な顔メタデータ生成技術および顔類似度算出技術を提供し、さらに実用的な顔のマッチングシステムを構築するための技術を提供することにある。
【０００８】
【課題を解決するための手段】
本発明によれば、顔画像から信頼性を抽出して、その信頼性に応じて適応的にパターン間の類似度を算出することで、顔認識の精度を向上させることができる。
【０００９】
本発明によれば、顔画像から顔特徴量を抽出する顔特徴抽出手段と、前記顔特徴量を用いた顔認識結果の信頼性を表す信頼性指標を抽出する信頼性指標抽出手段と、を備え、前記顔特徴量および前記信頼性指標を顔メタデータとして出力し、前記顔特徴抽出手段は、画像から得られた特徴ベクトルをΛとしたときに、特徴ベクトルΛの部分基底ベクトルによって特定される基底行列Ｕと特徴ベクトルΛの平均ベクトルΨとを用いて特徴ベクトルｖ＝Ｕ^T(Λ−Ψ)を算出し、当該特徴ベクトルｖを顔特徴量として抽出し、前記信頼性指標抽出手段は、前記顔画像内の画素値を標本とする統計量を前記顔特徴量の顔認識精度の信頼性を表す信頼性指標として抽出することを特徴とする。
【００１０】
前記信頼性指標抽出手段は、前記信頼性指標として、前記画像のコントラスト指標を抽出することができる。画像のコントラスト指標としては、前記画像中の画素値の最大値と最小値との差を抽出することを特徴とする。あるいは、画像のコントラスト指標として、前記画像中の画素値の分散あるいは標準偏差を抽出することを特徴とする。
【００１１】
さらに、信頼性指標として、前記画像の非対称性指標を抽出することができる。画像の非対称性指標としては、前記画像と該画像を左右反転した画像(以下、反転画像という。)との間の差分の最大値を抽出することを特徴とする。あるいは、画像の非対称性指標として、前記画像と反転画像との間の差分画像の画素値のべき乗の和および平均のいずれかを抽出することを特徴とする。
【００１２】
信頼性指標抽出手段は、前記画像のコントラスト指標を抽出する第１信頼性指標抽出手段と、前記画像の非対称性指標を抽出する第２信頼性指標抽出手段と、を備えることを特徴とする。前記第１信頼性指標抽出手段は、画像のコントラスト指標として、画像中の画素値の最大値と最小値の差を抽出し、前記第２信頼性指標抽出手段は、画像の非対称性指標として、画像と反転画像との間の差分の最大値を抽出することを特徴とする。あるいは、前記第１信頼性指標抽出手段は、画像のコントラスト指標として、画像中の画素値の分散および標準偏差の一方を抽出し、前記第２信頼性指標抽出手段は、画像の非対称性指標として、画像と反転画像との間の差分画像の画素値のべき乗の和および平均の一方を抽出してもよい。
【００１３】
前記基底行列Ｕは、顔画像サンプル集合[Λ]の主成分分析によって得られる基底ベクトルの中から選択した部分基底ベクトルによって特定される、ことを特徴とする。基底行列Ｕは、顔画像サンプルにおける特徴ベクトル集合[Λ]の主成分分析によって得られる基底ベクトルの中から選択した部分基底ベクトルによって特定される基底行列と、顔画像を左右反転する画素値の変換と対応するように前記基底ベクトルの要素を入れ換えた反転部分基底ベクトルによって特定される基底行列と、の線形和によって得ることもできる。前記特徴ベクトルΛは、画像中の各画素値を要素とするベクトルであるか、あるいは、画像をフーリエ変換し、得られる複素フーリエ成分の各成分の大きさを要素とするベクトルであってもよい。
【００１４】
画像の顔情報に関するメタデータ間の類似度を算出する顔類似度算出装置は、前記画像から抽出された顔特徴量と当該顔特徴量に対する信頼性を表す信頼性指標とに基づいて前記類似度を算出する。
【００１５】
上記顔類似度算出装置は、比較する顔特徴量に対する信頼性指標を用いて、顔特徴量間の差ベクトルの事後分布に関するパラメータ情報を推定する分布推定手段と、事後分布の対数尤度から導かれる顔特徴間の距離を類似度として算出する距離算出手段と、を有することを特徴とする。
【００１６】
前記距離算出手段は、顔特徴量間の差ベクトルの事後分布が正規分布であるとして、前記信頼性指標における正規分布の対数尤度から導かれる適応的マハラノビス距離を類似度として算出することを特徴とする。
【００１７】
前記分布推定手段は信頼性指標[θ_i]に対する差ベクトルｓの各要素kの分散σ_s,k([θ_i])²を推定し、前記距離算出手段は、前記各要素kの分散σ_s,k([θ_i])²を用いて適応的マハラノビス距離を計算する、ことを特徴とする。
【００１８】
前記分布推定手段は、信頼性指標[θ_i]に対する差ベクトルｓの各要素kの分散σ_s,k([θ_i])²をあらかじめ記憶する分散値テーブルを備え、信頼性指標[θ_i]によって前記分散値テーブルを参照することによって適応的マハラノビス距離の計算で必要となる分散値を出力する、ことを特徴とする。
【００１９】
顔特徴量間の差ベクトルの事後分布が混合分布であるとして、前記距離算出手段は、前記信頼性指標における混合分布の対数尤度から導かれる適応的混合マハラノビス距離を類似度として算出する、ことを特徴とする。
【００２０】
比較する顔特徴量に対する信頼性指標を用いて、一致と見倣すべきクラス内における顔特徴量間の差ベクトルの事後分布(クラス内分布)と、不一致と見倣すべきクラス間における顔特徴量間の差ベクトルの事後分布(クラス間分布)とに関するパラメータ情報を推定し、前記クラス内分布および前記クラス間分布の比の対数尤度から導かれる顔特徴量間の距離を類似度として算出する、ことを特徴とする。
【００２１】
前記クラス内分布および前記クラス間分布がそれぞれ正規分布であるとして、前記信頼性指標におけるそれぞれの分布の比の対数尤度から導かれる適応的判別距離を類似度として算出することを特徴とする。
【００２２】
信頼性指標[θ_i]に対する差ベクトルｓの各要素kのクラス内分散σ_W,k([θ_i])²およびクラス間分散σ_B,k([θ_i])² を推定することで、適応的判別距離を類似度として算出することを特徴とする。
【００２３】
信頼性指標[θ_i]に対する差ベクトルｓの各要素kのクラス内分散σ_W,k([θ_i])²およびクラス間分散σ_{B, k}([θ_i])²の推定のために、クラス内分散σ_W,k([θ_i])²をあらかじめ記憶する第１分散値テーブルと、クラス間分散σ_B,k([θ_i])²をあらかじめ記憶する第２分散値テーブルとを備え、信頼性指標[θ_i]によって第１および第２分散値テーブルをそれぞれ参照することで、適応的判別距離において必要となる分散値を推定することを特徴とする。
【００２４】
前記クラス内分布および前記クラス間分布がそれぞれ混合分布であるとして、前記信頼性指標におけるそれぞれの混合分布の比の対数尤度から導かれる適応的混合判別距離を類似度として算出することを特徴とする。
【００２５】
画像を入力する画像入力部と、顔画像を蓄積する顔画像データベース部と、を有する顔認識システムは、前記画像から抽出された顔特徴量と当該顔特徴量に対する信頼性を表す信頼性指標顔とを顔メタデータとして生成する顔メタデータ生成部と、前記顔メタデータ生成部によって生成された顔メタデータを蓄積する顔メタデータ蓄積部と、顔特徴量と当該顔特徴量に対する信頼性を表す信頼性指標とに基づいて顔類似度を算出する顔類似度算出部と、入力された指令に応じて、前記顔メタデータ生成部、前記顔メタデータ蓄積部および前記顔類似度算出部を制御し、顔画像のマッチングを実行する制御部と、を備える。
【００２６】
上述した顔メタデータ生成部および顔類似度算出部を用いることにより、高精度の顔画像マッチングを達成することができる。
【発明の実施の形態】
（発明の原理）
はじめに本発明の原理について説明する。一般に、パターン認識を行う際、認識を行いたいクラスに対する学習データを大量に用意することが可能であるならば、その学習データに対する統計解析に基づいてパターンの分布関数を推定し、パターン認識機構を構築することができる。しかしながら、顔認識応用の場合、個人毎には１枚だけの登録画像しか得られず、ごく少数の登録画像しか許されないことが多い。
【００２７】
このような場合であっても、顔の特徴ベクトルに対して信頼性指標という指標を与え、その指標に基づくクラスを考えることで、その信頼性指標に対するクラスの統計解析を行いパターンの分布関数を推定することで、一枚の登録画像しか得られないような顔認識応用に対しても信頼性指標を通じた分布関数に基づくパターン認識機構を構築することができる。
【００２８】
以下、誤差分布に基づく場合のマハラノビス距離とクラス内分布やクラス間分布に基づく判別距離についての顔認識の原理について説明する。
【００２９】
いま、ある一人の顔を観測する場合を考える。誤差がない場合に顔画像から得られる特徴ベクトルをｖ₀とし、実際に観測される観測ベクトルｖは、誤差ベクトルεが重畳しているとする(数１)。
【００３０】
【数１】

ここで、特徴ベクトルｖ₀を２回観測するとすれば、二つの観測ベクトルｖ₁とｖ₂が得られる（数２）。
【００３１】
【数２】

いま、誤差ベクトルε₁、誤差ベクトルε₂に対して相関を持つ信頼性指標θ₁、信頼性指標θ₂がそれぞれ得られ、その事後分布がｐ(ε|θ₁)、ｐ(ε|θ₂)であるとする。
【００３２】
このような分布が得られたときのｖ₁とｖ₂の差ベクトルｓの事後分布がｐ(ｓ|θ₁,θ₂)と表されるとすれば、パターン間の類似度ｄ(ｖ₁,ｖ₂)として、次の対数尤度を用いることができる。
【００３３】
【数３】

事後分布ｐ(ε|θ₁)、ｐ(ε|θ₂)がそれぞれ正規分布であるとすると、差ベクトルｓの分布ｐ(ｓ|θ₁, θ₂)も正規分布となる。ここで、誤差ベクトルの事後分布ｐ(ε|θ_i) (i=1,2)として平均０で共分散行列Σε(θ_i)の正規分布を考えると、差ベクトルｓの分布は、平均０で、共分散行列Σ_s(θ₁, θ₂)は次式（数４）となる。
【００３４】
【数４】

つまり、事後分布ｐ(ｓ|θ₁, θ₂)は次式（数５）で表される。
【００３５】
【数５】

従って、（数３）は、次式（数６）に示すように、共分散行列Σε(θ₁)やΣε(θ₂)を用いて、信頼性指標θ₁,やθ₂に対して適応的なマハラノビス距離に書き表すことができる。
【００３６】
【数６】

誤差ベクトルの各要素間における独立性を仮定すれば、（数５）は次式（数７）となる。
【００３７】
【数７】

ここで、σ_s,k(θ₁, θ₂)²は共分散行列Σ_s(θ₁, θ₂)のｋ番目の対角要素であり、つまり、観測誤差の分散である。また、σε_,k(θ₁)²、σε_,k(θ₂)²は、それぞれ共分散行列Σε(θ₁)、Σε(θ₂)のｋ番目の対角要素である。ｓ_kは差ベクトルｓのｋ番目の要素である。
【００３８】
このように正規分布を仮定することで、（数３）は、次式（数８）のように各特徴ベクトルの要素毎の分散σε_,k(θ₁)、σε_,k(θ₂)を用いて、信頼性指標θ₁やθ₂に対して適応的なマハラノビス距離によって類似度を定義することができる。
【００３９】
【数８】

ここで、ｖ_1,k、ｖ_2,kはそれぞれ特徴ベクトルｖ₁、ｖ₂のｋ番目の要素である。
【００４０】
上記説明では事後分布ｐ(ｓ|θ₁, θ₂)として正規分布を仮定したが、以下、混合正規分布を仮定する。さて、事後分布ｐ(ｓ|θ₁, θ₂)として、次式（数９）によって示すように、正規分布ｐ(ｓ|θ₁, θ₂, j) (j=1,2,...,M)の和によって事後分布ｐ(ｓ|θ₁, θ₂)が表現できると仮定する。
【００４１】
【数９】

従って、次式（数１０）により適応的混合マハラノビス距離を定義することができる。
【００４２】
【数１０】

事後分布ｐ(ｓ|θ₁, θ₂, j)の共分散行列Σ_s(θ₁, θ₂, j)およびP(j)の推定については、一般的な推定方法である最尤推定法やＥＭアルゴリズムを用いて推定することができる (C.M. Bishop, "Neural Networks for Pattern Recognition", Oxford University Express, 1995)。
【００４３】
混合正規分布を仮定することで、分布をより正確に近似でき、マッチング性能が向上するが、大量の学習データが必要になるとともに演算量もまた大幅に増加する。
【００４４】
前述の誤差分布に基づくマハラノビス距離は、検索する顔が他の登録されている顔データの中でどれに最も近いかを調べる顔同定(face identification)のような問題に対して優れている距離である。
【００４５】
一方、顔識別(face verification)の問題では、入力された顔が登録された画像との同一性を判定する上で、受け入れるか、棄却するかが重要な問題である。以下で説明する「判別距離」と名付ける距離は、この顔識別問題に対しては前述のマハラノビス距離を用いる場合よりも、優れた類似度尺度となっている。
【００４６】
いま、顔の二つの特徴ベクトルｖが、一致すると判定すべき、つまり、二つの特徴ベクトルが同一クラス内に属している(例えば、二つの特徴ベクトルが同じ人物の顔データである)ならば、それらの特徴ベクトルの組み合わせはクラスＷに属しているとする。また、二つの特徴ベクトルｖが不一致と判定すべき、つまり、クラス間の特徴ベクトルである(例えば、二つの特徴ベクトルが異なった人物の顔データである)ならば、それらの組み合わせはクラスＢに属しているとする。
【００４７】
二つの特徴ベクトルｖ₁、ｖ₂に対して信頼性指標θ₁、θ₂が得られるとする。差ベクトルｓと二つの信頼性指標θ₁、θ₂(以下、二つの信頼性指標のセットを[θ_i]と表記する。)が観測されたときに一致していると見倣すクラスＷと不一致と見倣すべきクラスＢとの判別問題を考えると、次式（数１１）の判別則(decision rule)が得られる。
【００４８】
【数１１】

上記（数１１）の左辺は、ベイズ定理(Bayes Theorem)によって次式（数１２）のように書き直すことができる。
【００４９】
【数１２】

ここで、Ｗ、Ｂと[θ_i]の生じる確率は独立であると仮定して、P(Ｗ,[θ_i])=P(Ｗ)P([θ_i])、P(Ｂ,[θi])=P(Ｂ)P([θ_i])としている。
【００５０】
パターン間の距離ｄ(ｖ₁,ｖ₂)として（数１２）の対数尤度を計算することで、次式（数１３）のように、顔識別問題に適した類似度を求めることができる。
【００５１】
【数１３】

個別のマッチング毎に事前確率Ｐ(Ｗ)、Ｐ(Ｂ)が異なり、且つ、それを知ることができるならば、（数１３）の第２項を計算することが望ましい。しかし、多くの場合、個別のマッチング毎に事前確率を知ることができないので、事前確率は一定と仮定することで、第２項を一定と見倣し、類似度の計算からは除外する。
【００５２】
事後確率Ｐ(ｓ|Ｗ,[θ_i])、Ｐ(ｓ|Ｂ,[θ_i])を、それぞれクラス内分布ｐ_W(ｓ|[θ_i])、クラス間分布ｐ_B(ｓ|[θ_i])と書き代えると、次式（数１４）となる。
【００５３】
【数１４】

次に、クラス内分布ｐ_W(ｓ|[θ_i])、クラス間分布ｐ_B(ｓ|[θ_i])がそれぞれ正規分布であると仮定し、その平均がそれぞれ０、共分散行列がそれぞれΣ_W([θ_i])、Σ_B([θ_i])とすれば、事後分布はそれぞれ次式（数１５）で書き表すことができる。
【００５４】
【数１５】

上式を（数１４）に代入すると(但し、（数１４）の第２項は省略)、次式（数１６）で示す距離を得ることができる。これを「適応的判別距離」と呼ぶことにする。
【００５５】
【数１６】

差ベクトルｓの各要素間における独立性を仮定すれば、（数１５）は、次式となる。
【００５６】
【数１７】

ここで、σ_W,k(θ_i)²、σ_B,k(θ_i)²は、それぞれ共分散行列Σ_W(θ_i)、Σ_B(θ_i)のｋ番目の対角要素であり、つまり、クラス内分散とクラス間分散に相当する。ｓ_kは差ベクトルｓのｋ番目の要素である。
【００５７】
このように正規分布を仮定することで（数１６）は、次式（数１８）のように、各特徴ベクトルの要素毎のクラス内分散σ_W,k(θ_i)²、クラス間分散σ_B,k(θ_i)²を用いて、信頼性指標[θ_i]に対して適応的な判別距離による類似度を定義することができる。
【００５８】
【数１８】

上記までの説明ではクラス内分散σ_W,k(θ_i)²、クラス間分散σ_B,k(θ_i)²として正規分布を仮定したが、以下では混合分布を仮定する。
【００５９】
次式（数１９）のように、クラス内分布ｐ_W(ｓ|[θ_i])、クラス間分布ｐ_B(ｓ|[θ_i])として、それぞれ正規分布ｐ_W(ｓ|[θ_i], j_W) (j_W=1,2,...,M_W)、ｐ_B(ｓ|[θ_i], j_B) (j_B=1,2,...,M_B)の和によって事後分布が表現できると仮定する。
【００６０】
【数１９】

従って、この対数尤度を用いて次式（数２０）の適応的混合マハラノビス距離を導くことができる。
【００６１】
【数２０】

クラス内分布ｐ_W(ｓ|[θ_i], j_W)、クラス間分布ｐ_B(ｓ|[θ_i], j_B)の共分散行列Σ_W(s|[θ_i], j_W)、Σ_B(s|[θ_i], j_B)および P(j_W)、P(j_B)の推定については、最尤推定法やＥＭアルゴリズムを用いて推定することができる。
【００６２】
混合分布を仮定することで、分布をより正確に近似でき、マッチング性能を向上させることができるが、同時に大量の学習データが必要になるとともに、演算量も大幅に増加する。
【００６３】
このように顔特徴量に対してさらに信頼性指標を抽出することによって、信頼性指標に対して適応的な距離規範を導くことができ、高精度な顔認識機構を構築することができる。なお、上記では、特徴ベクトルに対する信頼性指標をスカラー量(一つの成分のみ)か、ベクトル量(複数の成分をもつ)か特定していないが、どちらの場合でも成立する議論であり、複数の要素を用いることで、性能の向上が期待できる。
【００６４】
具体的な信頼性指標については、実験的に有効な信頼性指標を発見することが必要であり、顔認識の場合では、画像のコントラストを表すコントラスト指標や、正面顔の認識では、照明変動や姿勢変動によって生じる顔画像の左右の対称性の歪みからの量を表す非対称指標を用いると高い効果が得られ、それらの信頼性指標を組み合わせてベクトル量とすることで、より精度の向上が期待できる。
【００６５】
（実施の形態）
図１は、本発明の一実施形態による顔画像マッチングシステムを示すブロック図である。以下、顔画像マッチングシステムについて詳細に説明する。
【００６６】
図１に示すように、本発明による顔画像マッチングシステムには、顔画像を入力する顔画像入力部１１と、入力された顔画像からそれらの顔特徴量、信頼性指標の顔メタデータを生成する顔メタデータ生成部１２と、抽出された顔メタデータを蓄積する顔メタデータ蓄積部１３と、顔メタデータから顔の類似度を算出する顔類似度算出部１４と、顔画像を蓄積する顔画像データベース１５と、画像の登録要求・検索要求に応じて、画像の入力・メタデータの生成・メタデータの蓄積・顔類似度の算出の制御を行う制御部１６と、顔画像や他の情報を表示するディスプレイの表示部１７と、が設けられている。
【００６７】
また、顔メタデータ生成部１２は、入力された顔画像から顔特徴を抽出する顔特徴抽出部１２１と、信頼性指標を抽出する信頼性指標抽出部１２２とから構成され、顔類似度算出部１４は、信頼性指標から事後分布に関するパラメータ情報を推定する分布推定部１４１と顔特徴量と分布推定部１４１からの事後分布情報から顔特徴量間の距離を算出する距離算出部１４２によって構成される。
【００６８】
登録時には、画像入力部１１では、スキャナあるいはビデオカメラなどで顔写真等を顔の大きさや位置を合わせた上で入力する。あるいは、人物の顔を直接ビデオカメラなどから入力しても構わない。この場合には、前述のMoghaddamの文献に示されているような顔検出技術を用いて、入力された画像の顔位置を検出し、顔画像の大きさ等を自動的に正規化する方がよいであろう。
【００６９】
また、入力された顔画像は必要に応じて顔画像データベース１５に登録する。顔画像登録と同時に、顔メタデータ生成部１２によって顔メタデータを生成し、顔メタデータ蓄積部１３に蓄積する。
【００７０】
検索時には同様に顔画像入力部１１によって顔画像を入力し、顔メタデータ生成部１２にて顔メタデータを生成する。生成された顔メタデータは、一旦顔メタデータ蓄積部１３に登録するか、または、直接に顔類似度算出部１４へ送られる。検索では、予め入力された顔画像がデータベース中にあるかどうかを確認する場合(顔同定)には、顔メタデータ蓄積部１３に登録されたデータの一つ一つとの類似度を算出する。最も類似度が高い(距離値が小さい)結果に基づいて制御部１６では、顔画像データベース１５から、顔画像を選び、表示部１７等に顔画像の表示を行い、検索画像と登録画像における顔の同一性を作業者が確認する。
【００７１】
一方、予めＩＤ番号等で特定された顔画像と検索の顔画像が一致するかどうかを確認する場合(顔識別)では、特定されたＩＤ番号の顔画像と一致するか否かを顔類似度算出部１４にて計算し、予め決められた類似度よりも類似度が低い(距離値が大きい)場合には一致しないと判定し、類似度が高い場合には一致すると判定し、その結果を表示部１７に表示する。このシステムを入室管理用に用いるならば、表示する代わりに、制御部１６から自動ドアに対して、その開閉制御信号を送ることで、自動ドアの制御によって入室管理を行うことができる。
【００７２】
上記のように、顔画像マッチングシステムは動作するが、このような動作はコンピュータシステム上で実現することもできる。たとえば、次に詳述するようなメタデータ生成を実行するメタデータ生成プログラムおよび類似度算出を実行する類似度算出プログラムをそれぞれメモリに格納しておき、これらをプログラム制御プロセッサによってそれぞれ実行することで顔画像マッチングを実現することができる。
【００７３】
次に、この顔画像マッチングシステムの動作、特に顔メタデータ生成部１２と顔類似度算出部１４について詳細に説明する。
【００７４】
（１）顔メタデータ生成
顔メタデータ生成部１２では、位置と大きさを正規化した画像I(x, y)を用いて、顔特徴量を抽出する。位置と大きさの正規化は、例えば、目位置が(16, 24)、(31, 24)、サイズが46×56画素となるように画像を正規化しておくとよい。以下では、このサイズに画像が正規化されている場合について説明する。
【００７５】
顔特徴量として、所謂、固有顔の手法(前述Moghaddamの論文)を用いて特徴抽出する。つまり、画像中の画素値を要素とする特徴ベクトルΛに対して、顔画像サンプル集合[Λ]の主成分分析によって得られた基底ベクトルの中から選択した部分基底ベクトルによって特定される基底行列Ｕと、顔画像サンプル集合[Λ]における平均ベクトルである平均顔Ψとを用いて、特徴ベクトルｖ＝Ｕ^T(Λ−Ψ)を算出し特徴ベクトルとする。このように、入力画像ではなく、部分基底ベクトルを用いることで、入力画像のデータ量を削減することができる。このようにデータ量を削減することは、メタデータベースにおける蓄積量を少なくするだけではなく、高速なマッチングを実現するためには重要な要素である。この特徴ベクトルの次元数としては、例えば、４８次元の特徴量を用いればよい。
【００７６】
このように一般的に用いられる固有顔による手法の他に、主成分分析に対して判別分析を組み合わせた手法(前述、W. Zhaoの論文)等を用いて部分基底ベクトルを規定しても構わない。
【００７７】
また、前述したような顔画像サンプルにおける特徴ベクトル集合[Λ]の主成分分析や判別分析によって得られる基底ベクトルの中から選択した部分基底ベクトルによって特定される基底行列Ｕnと、顔画像を左右反転される画素値の変換と対応するように基底ベクトルの要素を入れ換えた反転部分基底ベクトルによって特定される基底行列Ｕmの線形和によって得られる行列Ｕ(＝ aＵn + bＵm)を基底行列として、顔特徴ベクトルを抽出してもよい。例えばa=b=1とすると、得られる顔特徴ベクトルは、入力画像空間で左右の変換に対して対称な成分のみを抽出することができる。顔は本来左右対称であるので、照明の影響で非対称となった画像成分や顔の向きが正面に向いていないために生じる非対称成分が本来ノイズに相当するものであるので、これを除去し、対称な成分のみを抽出することで、照明や姿勢の変動に対して安定な顔特徴量を抽出することが可能となる。
【００７８】
また、画像をフーリエ変換し、得られた複素フーリエ成分の各成分の大きさを要素とするベクトルを特徴ベクトルΛとして算出し、上記のような主成分分析や判別分析によって次元圧縮を行い顔特徴量を抽出してもよい。このように画像をフーリエ変換することで、位置ずれに対して強い顔特徴量を抽出することができる。このようにして、顔特徴抽出部１２１では、顔特徴量ｖを抽出する。
【００７９】
信頼性指標抽出部１２２では、顔特徴量ｖの信頼性指標として有効なコントラスト指標θ_contrastと非対称性指標θ_asymmetricを抽出する。コントラスト指標θ_contrastとして、顔画像 I(x,y)の画素値の標準偏差を次式（数２１）によって計算する。
【００８０】
【数２１】

ここでround()は数値の丸め処理を意味する。このように抽出された信頼性指標θ_contrastを[0,1,2,...,15]の4 bitの範囲に収まるように、値域を越えるものは値を制限する。なお、上記ではコントラスト指標として、画像の標準偏差を計算したが、分散や画像中の画素値の最大値と最小値の差を抽出してもよい。画像中の画素値の最大値と最小値によるコントラスト指標は、標準偏差や分散による場合よりも演算量が少ないが、効果は相対的に小さい。
【００８１】
非対称性指標θ_asymmetricとして、顔画像 I(x,y)とその反転画像との間の差分の絶対値(１乗)の平均を次式（数２２）により抽出する。
【００８２】
【数２２】

このように抽出された信頼性指標θ_asymmetricを[0,1,2,...,15]の4 bitの範囲に収まるように値域を越えるものは値を制限する。なお、上記では非対称指標として、絶対値による値(１乗)を用いたが差分の２乗等を用いてもよい。また、平均の代わりに、和等の値を用いても同等の効果を得ることができる。また、差分の最大値を検出して、その値を非対称指標として用いれば演算量が少なくて済む。
【００８３】
信頼性指標抽出部１２２では、顔画像に対して、特徴ベクトルｖと信頼性指標θ_contrastと信頼性指標θ_asymmetricを抽出し、顔メタデータとして出力する。前述したように、上記顔メタデータ生成手順をコンピュータプログラムによってコンピュータに実行させることもできる。
【００８４】
（２）顔類似度算出
次に、顔類似度算出部１４の動作について説明する。顔類似度算出部１４では、二つの顔メタデータの信頼性指標θ_contrast,1、θ_constrast,2とθ_asymmetri _c,1、θ_asymmetric,2を用いて、分布推定部１４１が事後分布に関するパラメータ情報を推定し、二つの顔メタデータの二つの特徴ベクトルｖ₁、ｖ ₂と事後分布に関するパラメータ情報とを用いて距離算出部１４２が顔特徴間の類似度ｄを算出する。
【００８５】
ここでは、（数８）あるいは（数１８）によって顔の類似度を計算する場合について説明する。
【００８６】
（数８）あるいは（数１８）にて表記されている信頼性指標θ₁、θ₂は本実施形態ではベクトルであり、それぞれの要素はθ₁= (θ_contrast,1, θ_asymmetric,1)^T、θ₂ = (θ_contrast,2, θ_asymmetric,2)^Tとなる。コントラスト指標、非対称性指標はそれぞれ4bitで表現されているので、θ_iのとり得る状態は256個の状態となる。与えられた信頼性指標θ_iによって、２５６個の状態の中の一つの状態が特定できる。
【００８７】
分布推定部１４１では、後述するように、予め求めておいた信頼性指標θ(256個の状態がある)に対する差ベクトルの分散値σε_{, k}(θ)や分散値σ_W,k(θ)、分散値σ_B,k (θ)をテーブルに記憶しておき、信頼性指標θ₁およびθ₂を用いて、それぞれの分散値テーブルの値を参照し、得られた分散値を事後分布情報として、距離算出部１４２に引き渡す。なお、顔同定の場合には、（数８）で必要な分散値σε_,k(θ₁)、分散値σε_,k (θ₂)の値を距離算出部１４２に出力すればよく、顔識別の場合には、（数１８）に必要な分散値σ_W,k(θ)、分散値σ_B,k(θ)を出力する。
【００８８】
距離算出部１４２では、（数８）あるいは（数１８）に従って適応的マハラノビス距離あるいは適応的判別距離を算出し、類似度ｄとして出力する。
【００８９】
前述した分散値テーブルの分散値は、予め用意した顔画像データサンプルを用いて計算しておく。顔画像サンプルにおける特徴ベクトル集合[ｖ_i]とその信頼性指標[θ_i]から、それぞれの分散値は次のように計算できる。
【００９０】
【数２３】

【００９１】
【数２４】

ここで、"(i, j)がクラスＷに属する"とは、データiとデータjが同一クラス(同一人物)から得られたデータである(クラス内である)ことを意味し、"(i, j)がクラスＢに属する"とは、データiとデータjが異なるクラス(異なる人物)から得られたデータである(クラス間である)ことを意味する。また、Ｎε(θ)、Ｎ_W(θ)、Ｎ_B(θ)はそれぞれのクラスに属するデータの組み合わせの数である。このようにθのビン毎に分散値を計算する際に、そのデータ数が少な過ぎる場合には、近傍のビンのデータを併合するようにして、サンプル数を確保するようにする(これは、分布推定におけるk近傍法(前述Bishop の文献,pp.53)によってbinを併合するのと同様な手法である)。
【００９２】
ここで、（数１８）の場合、（数４）と同様に、σ_W,k([θ_i])² = σ_W,k(θ₁)² + σ_W,k(θ₂)²、および、σ_B,k([θ_i])² = σ_B,k(θ₁)² +σ_B,k(θ₂)²となることに注意されたい。
【００９３】
なお、誤差分散σε_,k(θ)²とクラス内分散σ_W,k(θ)²が同じになるので、顔画像マッチングシステムで（数８）と（数１８）の両方の距離を計算する場合には、これらの分散値テーブルを共有して構わない。
【００９４】
また、誤差分布とクラス間分布は強い相関がある場合が多いので、誤差分散σε_,k(θ)²の代わりにクラス間分散σ_B,k(θ)²を用いても、信頼性指標を用いない場合よりは精度が向上する(しかし、誤差分散を用いた方が精度が良い)。
【００９５】
このように顔メタデータ間の類似度を信頼性指標θ_contrastや信頼性指標θ_asymmetricを介した事後分布情報を用いて算出することで、精度のよい顔認識を行うことが可能である。前述したように、上記顔類似度算出手順をコンピュータプログラムによってコンピュータに実行させることもできる。
【００９６】
なお、ここでは（数８）と（数１８）を用いて、類似度を計算しているが、次のような様々な計算方法によって近似的に計算し、高速化等を図ることもできる。
【００９７】
【数２５】

【００９８】
【数２６】

上記各式の右辺第二項(lnの部分)を計算しないことで、さらなる高速演算を図ることができる。
【００９９】
また、（数６）や（数１６）によって類似度を計算する場合も、基本的には同様に予め用意した顔画像データサンプルから、それぞれの計算に必要な差ベクトルの誤差の共分散行列Σε(θ)や差ベクトルのクラス内の共分散行列Σ_W(θ)、クラス間の共分散行列Σ_B(θ)を算出して、共分散テーブルとして用意しておき、類似度計算の際にその共分散テーブルを参照するようにすればよい。この方法は共分散行列を用いて距離を計算するために演算量が増加するが、十分な学習サンプルがある場合には類似度計算の精度を向上させることができる。
【０１００】
（数３）の事後分布や（数１４）のクラス間分布、クラス間分布に対して混合正規分布を仮定して、分布関数を推定することで、それぞれ（数１０）や（数２０）の適応的混合マハラノビス距離や適応的混合判別距離を計算してもよい。この場合も、分散や共分散行列を用いて、事後分布情報を計算するのと同様に顔画像データサンプルから、混合正規分布を表す共分散行列Σ_s(θ₁, j)、P(j)等の混合分布を特定するパラメータを求めておき、テーブルとして記憶しておけばよい。なお、この推定については、一般的な推定方法である最尤推定法やＥＭアルゴリズムを用いて推定すればよい。
【０１０１】
ここまでの説明では、一枚の顔画像が登録され、一枚の顔画像を用いて検索する場合について説明したが、一人の顔に対して複数の画像が登録され、一枚の顔画像を用いて検索する場合には、例えば、次のようにすればよい。
【０１０２】
検索側の特徴ベクトルをｖ_queとし、登録側の特徴ベクトルをｖ_reg,kとし、複数画像登録の場合の類似度d_multi(ｖ_que, [ｖ_reg,1, ｖ_reg,2, ... ,ｖ_reg,n])として、次式（数２７、数２８）に示す計算式に基づき類似度を計算すればよい。
【０１０３】
【数２７】

あるいは、
【０１０４】
【数２８】

同様に１つの顔当たりの複数枚の画像登録と複数画像による検索の場合も、各組み合わせの類似度の平均や最小値を求め類似度を算出することで、一つの顔データに対する類似度を算出することができる。これは、動画像を複数画像と見倣すことで、本発明のマッチングシステムを動画像における顔認識に対しても適用できることを意味する。
【０１０５】
また、上記説明では、同一人物の顔の同定や顔の識別を中心に説明したが、例えば、男性の顔を一つのカテゴリー、女性の顔を一つのカテゴリーと考えて、それぞれの分布に関する情報を求め、男女の顔を識別する性別識別を行ったり、笑った顔、怒った顔、悲しい顔などの表情のカテゴリーを考えて、顔の表情を認識する表情認識に適用することも可能である。１０代、２０代、３０代、４０代というようにカテゴリーを設定し、そのカテゴリー毎に誤差分布、クラス内分布やクラス間分布を求めることで、年齢判別を行うことも可能であり、様々な顔認識に対して本発明を適用することが可能である。
【０１０６】
【発明の効果】
以上詳細に説明したように、本発明によれば、顔特徴量に対してその信頼性を表現するための信頼性指標を加えて顔メタデータとして生成することで、信頼性指標を通じた適応的な距離を導くことができ、その距離を用いて精度の高い顔認識を行うことが可能となる。
【図面の簡単な説明】
【図１】本発明の一実施形態による顔画像マッチングシステムの構成を示すブロック図である。
【符号の説明】
11: 顔画像入力部
12: 顔メタデータ生成部
13: 顔メタデータ蓄積部
14: 顔類似度算出部
15: 顔画像データベース
16: 制御部
17: 表示部
121: 顔特徴抽出部
122: 信頼性指標抽出部
141: 分布推定部
142: 距離算出部

Claims

顔画像から顔特徴量を抽出する顔特徴抽出手段と、前記顔特徴量を用いた顔認識結果の信頼性を表す信頼性指標を抽出する信頼性指標抽出手段とを備え、前記顔特徴量および前記信頼性指標を顔メタデータとして出力する顔メタデータ生成装置において、
前記顔特徴抽出手段は、前記顔画像から得られた特徴ベクトルをΛとしたときに、特徴ベクトルΛの部分基底ベクトルによって特定される基底行列Ｕと特徴ベクトルΛの平均ベクトルΨとを用いて特徴ベクトルｖ＝Ｕ^T(Λ−Ψ)を算出し、当該特徴ベクトルｖを顔特徴量として抽出し、
前記信頼性指標抽出手段は、前記顔画像内の画素値を標本とする統計量を前記顔特徴量の顔認識精度の信頼性を表す信頼性指標として抽出することを特徴とする顔メタデータ生成装置。
前記基底行列Ｕは、顔画像サンプル集合[Λ]の主成分分析によって得られる基底ベクトルの中から選択した部分基底ベクトルによって特定される、ことを特徴とする請求項１に記載の顔メタデータ生成装置。
前記基底行列Ｕは、顔画像サンプルにおける特徴ベクトル集合[Λ]の主成分分析によって得られる基底ベクトルの中から選択した部分基底ベクトルによって特定される基底行列と、顔画像を左右反転する画素値の変換と対応するように前記基底ベクトルの要素を入れ換えた反転部分基底ベクトルによって特定される基底行列と、の線形和によって得られる、ことを特徴とする請求項１に記載の顔メタデータ生成装置。
前記特徴ベクトルΛは画像中の各画素値を要素とするベクトルであることを特徴とする請求項１ないし３のいずれかに記載の顔メタデータ生成装置。
前記特徴ベクトルΛは、画像をフーリエ変換し、得られる複素フーリエ成分の各成分の大きさを要素とするベクトルであることを特徴とする請求項１ないし３のいずれかに記載の顔メタデータ生成装置。
顔画像から抽出する顔特徴量と前記顔特徴量を用いた顔認識結果の信頼性を表す信頼性指標とを顔メタデータとして出力する顔メタデータ生成方法において、
前記顔画像から得られた特徴ベクトルをΛとしたときに、特徴ベクトルΛの部分基底ベクトルによって特定される基底行列Ｕと特徴ベクトルΛの平均ベクトルΨとを用いて特徴ベクトルｖ＝Ｕ ^T ( Λ−Ψ ) を算出し、当該特徴ベクトルｖを前記顔特徴量として抽出し、
前記顔画像内の画素値を標本とする統計量を前記顔特徴量の顔認識精度の信頼性を表す信頼性指標として抽出する、
ことを特徴とする顔メタデータ生成方法。
前記基底行列Ｕは、顔画像サンプル集合 [ Λ ] の主成分分析によって得られる基底ベクトルの中から選択した部分基底ベクトルによって特定される、ことを特徴とする請求項６に記載の顔メタデータ生成方法。
前記基底行列Ｕは、顔画像サンプルにおける特徴ベクトル集合 [ Λ ] の主成分分析によって得られる基底ベクトルの中から選択した部分基底ベクトルによって特定される基底行列と、顔画像を左右反転する画素値の変換と対応するように前記基底ベクトルの要素を入れ換えた反転部分基底ベクトルによって特定される基底行列と、の線形和によって得られる、ことを特徴とする請求項６に記載の顔メタデータ生成方法。
前記特徴ベクトルΛは画像中の各画素値を要素とするベクトルであることを特徴とする請求項６ないし８のいずれかに記載の顔メタデータ生成方法。
前記特徴ベクトルΛは、画像をフーリエ変換し、得られる複素フーリエ成分の各成分の大きさを要素とするベクトルであることを特徴とする請求項６ないし８のいずれかに記載の顔メタデータ生成方法。