JP2007109234A - 画像中の顔を認識する方法 - Google Patents

Abstract

【課題】照明、姿勢の変動による悪影響を受けない実用的な顔の認識方法を得る。
【解決手段】形状パラメータ及び姿勢パラメータを有するモーフィング可能なモデルが、画像中の顔に当てはめられて、顔の３次元モデルが構成される。この３次元モデルを用いて画像中の顔からテクスチャが抽出される。形状及びテクスチャは、バイリニア照明モデル内に投影されて、画像中の顔の照明基底が生成される。この画像中の顔の照明基底は、既知の顔の複数のバイリニア照明モデルの各々の照明基底と比較されて、画像中の顔が特定される。
【選択図】図１

Description

［発明の分野］
本発明は、包括的にはコンピュータビジョンに関し、特に画像中の顔の認識に関する。

［発明の背景］
顔認識システムの性能は、照明及び姿勢の変動による顔の外観の変化に悪影響を受ける。１つの支配的な傾向は、人間の顔の３Ｄ形状情報を利用して、従来の２Ｄ画像の制限を克服することである。３Ｄ形状情報は、レンジスキャナから直接得るか、又は１枚若しくは複数の画像から推定することができる。３Ｄ幾何形状データを取得する費用は減ってきているが、ほとんどの既存の顔データベースは１枚の２Ｄ画像しか含まない。したがって、複数の画像データ又はレンジデータからよりも、１枚の２Ｄ画像から３Ｄ形状を得るほうが実用的である。

現在、顔認識に３Ｄ形状情報を使用する３つの異なる技法がある。１つ目は、３Ｄ形状を直接、姿勢／照明に依存しない署名として用いる。２つ目は、２Ｄ画像空間において姿勢／照明により変化しない（pose/illumination invariant）表現を生成するために、３Ｄデータを用いて様々な視点及び照明条件下で合成イメージを生成する。３つ目は、３Ｄ形状を用いて、球面調和関数によりランバート物体の分析照明部分空間を導出する。

例えば、１つ目の手法はモーフィング可能なモデルに象徴される（Ｖ．ブランツ（Blanz）及びＴ．フェッター（Vetter）著「Face recognition based on fitting a 3D morphable model」（IEEE Transactions on Pattern Analysis and Machine Intelligence, 25(9): 1063-1074, 2003））。ブランツ他は、１枚の画像から顔の３Ｄ形状及び２Ｄテクスチャを得てモデルを構成する。プローブ画像及びギャラリー画像のモデルは、それぞれの主成分分析（ＰＣＡ）係数に基づいて直接照合される。この技法は、変動する姿勢及び照明に対処する。しかし、この技法は、顔のランドマークの慎重な手動での初期化を必要とするとともに、反復的な非線形最適化技法を当てはめに使用し、これは、収束したとしても数分かかる可能性があり、その上、極小値にしか収束しない。したがって、この顔の取り込み／モデリング手法をリアルタイムの顔認識に使用できるかどうかは定かでない。

２つ目の技法及び３つ目の技法は定性的に異なり、２Ｄの外観に基づくモデリングに関する初期の研究を起源とする「或る部分空間からの距離」という一般的な認識パラダイムに関連する。これら２つの手法もまた３Ｄのモーフィング可能なモデルを使用することができるが、それはほとんどの場合に、認識のための表現の最終的な選択ではなく、後の変化しないモデリング及び部分空間の生成のためのツールの形態をとる。

線形部分空間を生成して顔の照明の変動を取得するためのいくつかの方法が既知である。１つの方法は、照度差ステレオ画像を用いて、異なる照明下の７枚の正面画像から顔の３Ｄ幾何形状及び反射係数を再構成する（Ａ．Ｓ．ゲオルギアデス（Georghiades）、Ｐ．Ｎ．ベルミュール（Belhumeur）、及びＤ．Ｊ．クリーグマン（Kriegman）著「From few to many: Illumination cone models for face recognition under variable lighting and pose」（IEEE Transactions on Pattern Analysis and Machine Intelligence, 23(6):643-660, 2001））。その後、推定した３Ｄの顔を用いて、様々な姿勢及び照明条件から合成画像を描画し、人物特有の照明錐を訓練することができる。

別の方法は同様の「ショートカット」を使用する（Ｒ．バスリ（Basri）及びＤ．ジェイコブズ（Jacobs）著「Lambertian reflectance and linear subspace」（IEEE Transaction on Pattern Analysis and Machine Intelligence, 25(2):218-233, 2003））。バスリ他は、９枚の高調波画像が張る低次元線形部分空間によって凸ランバート３Ｄ物体の任意の照明が近似されるはずであると記している。９枚の高調波画像は、面法線及び反射係数が与えられれば分析により求めることができる。

より実用的な変形が、Ｋ．リー、Ｊ．ホー（Ho）、及びＤ．クリーグマン著「Nine points of light: Acquiring subspaces for face recognition under variable lighting」（Proc. of Computer Vision & Pattern Recognition, volume. 1, pages. 519-526, 2001）に記載されている。リー他は、９枚の高調波画像の張る空間（span）を近似するための点光源の９つの方向を経験的に求める。これらの９枚の画像は顔認識に適しており、３Ｄ形状、例えば、面法線及び反射係数を必要としない。しかし、実際の動作環境では、全ての顔について９枚の画像を取得することが常に実用的であるとは限らない。

別の方法は、１枚の画像から９枚の高調波画像を推定する（Ｌ．チャン（Zhang）及びＤ．サマラス（Samaras）著「Face recognition under variable lighting using harmonic image exemplars」（Proc. Computer Vision & Pattern Recognition, pages I:19-25, 2003））。しかし、顔は正確にランバートでも完全に凸面でもない。したがって、球面調和関数には本質的に、特に球面反射率、影、相互反射及び表面下散乱を扱う場合に制限がある。球面調和関数はまた、「ブートストラップ」データセットを必要とする。

［発明の概要］
本発明は、多数の被写体から変動する照明条件下で測定された照明の統計量に基づいて任意の３Ｄの顔の照明部分空間を生成する。高次特異値分解（ＳＶＤ）に基づくバイリニアモデルを用いて、パラメトリック３Ｄ顔モデルからの任意の形状パラメータが与えられた状態でコンパクトな照明部分空間を生成する。

入力画像から動的に変化する照明部分空間への距離の最小化に基づく当てはめ手順を用いて、１枚の写真から形状に特有の照明部分空間が再構成される。この再構成された照明部分空間は顔認識に用いられる。

本発明は、１枚の画像から３Ｄ形状を抽出することによって照明部分空間を構成する新規の方法を提案する。人間の顔の複雑な反射率特性を処理するために、３Ｄ表面の点と、様々な照明条件下での正確に整合された照明サンプルとの結合統計量から導出されるコンパクトな照明モデルを利用する。実験結果は、このモデルが、関連する分析モデルよりも優れた再構成及び認識性能を有することを示す。このモデルはさらに、姿勢間の外挿に優れている。Yale Face Database Bを用いたところ、本発明の方法は、１枚の画像から照明により変化しない顔表現を得るための計算が遥かに単純であるにもかかわらず、従来技術に（少なくとも）匹敵した。最後に、本発明の方法は、回復された３Ｄ形状と整合される再構成された照明基底を用いて、姿勢により変化しない認識を行う。

［好適な実施形態の詳細な説明］
図１及び図２は、本発明の１つの実施の形態による、顔のバイリニア照明モデルを生成する方法及びシステムを示す。複数のカメラ１０１が、顔１０５の多数の２Ｄ反射率画像１０２を取得１１０する。顔毎に、その顔の複数の画像を様々な姿勢又は視点、及び様々な方向の照明で取得する。顔毎に、スキャナ１０３が顔の３Ｄ形状１０４を取得１２０する。

図２に示すように、人物がジオデシックドーム２０２の形態の筒状フレーム内の椅子２０１に座る。デジタルカメラ１０１がフレームに取り付けられて、様々な視点から顔に向けられる。このドームは平行光源２０３も含む。本発明では、ドーム２０２に椅子２０１に面して半球状に取り付けられる１６台のカメラ及び１５０個の光ＬＥＤを用いる。カメラ１０１及びスキャナ１０３の出力は、画像及び３Ｄ形状データを処理するプロセッサ２００に接続される。

動作中、システムは、各ライトを順次オンにし、その一方で、カメラ１０１により２Ｄ画像１０２を同時に取得１１０する。本発明では、取得シーケンスを異なる露出設定で繰り返すことによって、高ダイナミックレンジ（ＨＤＲ）画像も取得することができる。

ドーム内に取り付けられる顔スキャナ１０３は、２つの構造化された投光機及び４台のカメラを含む。このスキャナの出力は、約４０，０００個の三角形を含むポリゴンメッシュである。このメッシュは、１ｍｍもの小さな特徴を分解する。このメッシュは、顔以外の領域を除去し三角形を縮退させるためにクロッピングする（cropping：画像の切り抜き）。

次に、ループ再分割を用いてメッシュを精緻化する（ループ（Loop）著「Smooth Subdivision Surfaces based on Triangles」（Master's thesis, Department of Mathematics, University of Utah, 1987））。その結果、５００，０００個〜１００万個の頂点を有する高解像度メッシュが得られる。この再分割は暗示的にノイズを除去する。

本発明では、高解像度メッシュを点サンプル、すなわち接続性のないサーフェルの非構造化リストに変換する（フィスター（Pfister）他に対し２００２年１月２９日付で発行された米国特許第６，３４２，８８６号「Method for interactively modeling graphical objects with linked and unlinked surface elements」（参照により本明細書中に援用される））。各サーフェルは、ＥＷＡスプラッティング（ツビッカー（Zwicker）他、２００２年）を用いた画像の再構成に必要な情報を格納する。

全てのカメラの内部パラメータ及び外部パラメータを較正し、３Ｄ−２Ｄ整合プロセスにより顔の３Ｄ点を各画像１０２中の対応する２Ｄ点に投影する。

バイリニア照明モデル
本発明では先ず、画像及び３Ｄ形状を用いて、全ての顔１０５について３Ｄの点間対応１３１を得る１３０。各反射率画像１０２からの照明サンプル、すなわち画素強度を顔上の３Ｄサンプル点から投影し、整合された、よって３Ｄ形状１０４と位置合わせされた２Ｄサンプルを得る。

本発明ではまた、顔毎の拡散テクスチャ１４１を、その顔の全ての画像から求める１４０。顔のテクスチャは形状及び反射率とつながっていないものと仮定して、本発明では、次式に従って拡散テクスチャを照明サンプルから除外する。

ここで、ベクトルｔ_ｋハットは照明サンプルであり、ｔ_ｋは、Ｎ個の点を有するメッシュ中の３Ｄ点ｐ_ｋにおける拡散テクスチャである。テクスチャのない照明成分はｗであり、これは影も含むため、単なる反射率とは異なる。本発明の表記において、変数の上のベクトル記号「＾（ハット）」及び推定記号「〜（チルダ）」はしばしば省略される。また、数式における太字の変数は、全般的に、ベクトル及び行列である。

顔毎の結果として、顔１０５の３Ｄ形状点（ｘ，ｙ，ｚ）、及び特定の視点又は姿勢からの照明条件（ｊ）毎のテクスチャのない照明成分（ｗ）が得られる。

図３に示すように、本発明では、全ての顔の３Ｄの点間対応（ｘ，ｙ，ｚ）及びテクスチャ成分ｗを強度軸３０１、照明軸３０２、及び形状軸３０３に沿って次のベクトル１５１に位置合わせ１５０する。
ａ_ｉ，ｊ＝（ｘ_１，・・・，ｘ_Ｎ，ｙ_１，・・・，ｙ_Ｎ，ｚ_１，・・・，ｚ_Ｎ，ｗ_１，・・・，ｗ_Ｎ）

図４に示すように、本発明では次に、３モード（three-mode）高次特異値分解（ＳＶＤ）をベクトル１５１に適用４１０して、形状及び照明の両方の結合変動を求める。結果として得られるデータ配列は、次のような積として表されるテンソルＤ４１１である。
Ｄ＝Ｃ×_１Ｕ_１×_２Ｕ_２×_３Ｕ_３
ここで、モード行列Ｕ_１、Ｕ_２、及びＵ_３はそれぞれ形状軸、照明軸、及びデータ軸に沿った変動を表す。コアテンソルＣはモード行列間の相互作用を支配する。モードｋの積演算子×_ｋに関する詳細については、Ｌ．Ｄ．ラソワー（L.D. Lathauwer）、Ｂ．Ｄ．ムーア（B.D. Moor）、及びＪ．バンデワーレ（J. Vandewalle）著「A Multilinear Singular Value Decomposition」（SIAM Journal of Matrix Analysis and Applications, vol. 21, no. 4, 2000）を参照のこと。

モードｋの積の結合的特性を用いて、モード行列Ｕ_３をＺ＝Ｃ×_３Ｕ_３に組み込み、結果として、次のような簡略化された２モード式を得ることができる。
Ｄ＝Ｚ×_１Ｕ_１×_２Ｕ_２

次に、本発明では、形状基底ベクトル及び照明基底ベクトル４３１を次のように求める４３０。よりコンパクトな表現を得るために、本発明では、最高次の特異ベクトルを削除するか又は切り捨て、縮小された低次元部分空間を保持する。

形状データの冗長性、すなわち照明軸３０２に沿った（ｘ，ｙ，ｚ）の組を利用するために、本発明では、推定コアテンソルＺチルダを２つの部分に分割する。したがって、ｉ番目の形状条件及びｊ番目の照明条件を有するデータベクトルｄチルダ４２１は次式によって推定４２０される。

基礎となる形状１０４は照明条件（ｊ）に無関係であるため、本発明では、あらゆるｊの推定Ｚ_ｘｙｚチルダｘ_２ｕ^j _２を事前に決め、シングルトン次元（singleton dimension）を除去し、形状基底行ベクトルＺ_Ｓを得る。また、Ｚ_ｗチルダｘ_１ｕ^ｉ _１を推定するとともにシングルトン次元を除去することによって形状特有の照明基底Ｒ_ｉを得る。したがって、式１は次のようになる。

ここで、ｕ^ｉ _１ハット及びｕ^ｊ _２ハットの推定値はそれぞれｄ_ｉ，ｊチルダの形状係数及び照明係数である。

形状基底ベクトルＺ_Ｓ及び照明基底ベクトルＺ_ｗチルダ４３１、並びに、形状パラメータα４４２の一次結合を用いて、本発明では、対応する形状基底及び照明基底４４１を次のように再構成４４０することができる。

ここで、ｓは形状ベクトル（ｘ，ｙ，ｚ）であり、照明基底Ｒの行は特定の形状パラメータα４４２の照明基底ベクトルである。

形状パラメータαは式５によって説明することができるが、任意の形状ｓを３Ｄ形状１０４以外の外部供給源から供給できる場合がある。このような場合、以下の線形系を解くことによって、形状ｓを当てはめて、本発明の形状に最も近い形状パラメータαを求めることができる。

本発明では、この技法を用いて、後述のように、モーフィング可能なモデルのような標準的な外部形状から照明部分空間を推定する。

９つの球面調和関数との比較
１つの正面に近いカメラ視点から取得したデータを用いて本発明のバイリニア照明モデル４４１を生成することにより、本発明では、このバイリニア照明モデルの部分空間が元データをどれだけ正確に再構成できるかを判断する。本発明ではまた、本発明の精度を、９つの球面調和関数を基底画像として用いること（上記のバスリ他を参照）によって得られる精度と比較する。

本発明では、多数の顔について複数の照明条件及び視点からの３Ｄ形状サンプル及び３Ｄ照明サンプルのグランドトルース（ground truth）を有するため、各方法について異なる数の基底から再構成誤差を測定する。

顔ｉ毎に、全ての照明条件ｊ及びカメラ視点ｋについて３Ｄ形状ｓ_ｉ、拡散テクスチャｔ_ｉ、及び照明サンプルｔ_{ｉ，ｊ，ｋ}ハットを有する。照明サンプルのいくつかは、遮蔽のために各視点について取得できない。したがって、本発明では、有効なサンプルのみを含むあらゆるベクトルに表記ｔチルダを用いる。

ベクトルｓ及びｔチルダが与えられ、指数を省略した状態で、先ず本発明の方法を用いて、次に９枚の高調波画像を用いて照明基底Ｒを求める。次に、拡散テクスチャｔに行列Ｒ^Ｔの各列を成分毎に掛ける。これにより、テクスチャにより重み付けされた照明基底Ｂを構成し、ｔチルダの再構成誤差は、

となる。ここで、ＢハットはＢチルダのＱＲ分解であり、ｔチルダに対応するＢの有効な行のみを含む。本発明では、各方法について、被写体、照明条件、カメラ視点、及び再構成に使用された基底の数の全ての組み合わせの再構成誤差を求め、照明部分空間を生成する。

図５は、異なる数の基底の再構成誤差を比較し、図６は異なる数のカメラ視点の再構成誤差を比較する。

１枚の画像からの推定
次に、顔の１枚の入力画像が与えられた状態で顔特有の照明部分空間、すなわち照明基底を得る方法を説明する。モーフィング可能なモデルを入力画像に当てはめた後で、本発明のバイリニア照明モデルから照明基底を導出する。これは、当てはめたモデルの３次元形状と、入力画像から抽出したテクスチャとをバイリニア照明モデル内に投影して、顔特有の照明基底を生成することによって達成される。

形状特有の照明部分空間
本発明では、各顔形状毎にベクトルｓを、各対応するテクスチャ毎にベクトルｔを構成する。形状ベクトルＳ及びテクスチャベクトルＴに対して主成分分析（ＰＣＡ）を別々に行う。次に、最初のＭ個の固有ベクトル並びにモデルパラメータα及びβを用いて、次式に従って任意の形状及びテクスチャを再構成することができる。

ここで、平均形状はＳバーであり、平均テクスチャはＴバーであり、形状のｉ番目の固有ベクトルはｅ^Ｓ _ｉであり、テクスチャの固有ベクトルはｅ^ｔ _ｉである。

最適化パラメータはα、β、及びγを含む。パラメータγは６次元姿勢パラメータであり、そのうち３次元は平行移動、３次元は回転を示す。各反復中、本発明では、パラメータα及びβ、並びにγから形状（ｓ）及び拡散テクスチャ（ｔ）を生成する。また、ｓを所与の姿勢γの入力画像に投影することによってテクスチャｔハットを抽出する。式７と同様の誤差関数を最小化することによって最適パラメータを求める。

本発明では、テクスチャベクトルｔハットの代わりに、抽出されたテクスチャの可視点のみを含む推定テクスチャｔチルダを用いる。本発明では、滑降シンプレックス法を用いて以下の最適化を解く。

よく知られた滑降シンプレックス法は、勾配を求めることなく費用関数を評価することができる非線形最適化プロセスである。

本発明のモデルは、最適化中に適応的な照明部分空間を使用するため、最終的に再構成される形状及びテクスチャは、両方法で同じである必要はない。この最適化フレームワークによって推定される形状パラメータ、テクスチャパラメータ、及び姿勢パラメータは再構成において重要であるが、本発明の主な関心は、照明基底Ｂ_ｏｐｔの最適な特徴づけである。これらの基底は、形状ｓ（α_ｏｐｔ）及び拡散テクスチャｔ（β_ｏｐｔ）を有する人物の照明部分空間を張る。

しかし、合成テクスチャでは、元の入力画像中の顔の細部の全てを取り込むことができない。顔認識の目的では、実際のテクスチャにより重み付けされた照明基底を得ることが重要である。

本発明では、以下の論考において下記の表記を用いる。
ｔ_ｓ：合成の拡散テクスチャ（既知）
ｔ_ｓハット：合成の照明されたテクスチャ（既知）
ｔ_ｒ：実際の拡散テクスチャ（未知）
ｔ_ｒハット：実際の照明されたテクスチャ（既知）

をベクトルｂとＡの全ての列ベクトルとの成分毎の乗算として、

をベクトルｂの、Ａの全ての列ベクトルでの成分毎の除算として定義する。

各反復中、照明基底が先ず

によって求められ、ｔ_ｓをｔ_ｒで置き換えることによって、次のような新たな基底が得られる。

本発明により推定される照明が元の照明を近似すると仮定すると、次式が得られる。

最後に、式１２を式１１に代入することによって次式が得られる。

顔認識のための照明基底
図７は、本発明による、入力プローブ画像７０１中の顔を認識する方法７００を示す。プローブ画像にモーフィング可能なモデル７１２を当てはめて７１０、プローブ画像７０１中の顔の３次元モデル７１１を構成する。この３次元モデルは形状パラメータ及び姿勢パラメータを有する。３次元モデルを用いて、３次元形状ｓを所与の姿勢γの入力画像に投影することによって、プローブ画像７０１からテクスチャを抽出７２０する。３次元形状及び抽出したテクスチャ７２１を、バイリニア照明モデル（ＢＩＭ）７２５内に投影７３０して、プローブ画像中の顔の、実際のテクスチャにより重み付けされた照明基底７３１を生成する。これらの照明基底７３１を既知の顔のバイリニア照明モデルのギャラリー７３５の各々の照明基底と比較７４０して、入力画像中の顔との一致７４１を特定する。この一致７４１は、ギャラリーからの、プローブ画像中の顔の照明基底７３１への距離が最小である照明基底を有するバイリニア照明モデルに対応する既知の顔である。任意で、投影された３次元形状を、ギャラリー中の既知の顔のバイリニア照明モデルの各々の再構成された形状と比較して、プローブ画像中の顔を特定することもできる。

一般的なベクトル空間の照明基底は、姿勢により変化しない顔認識に有用であるが、１つの欠点がある。抽出されるテクスチャは全て、形状のないベクトル空間において整合されるため、照合のための形状情報を全て失ってしまう。テクスチャが重要な同一性の手掛かりであることは一般的に認められているが、３Ｄ形状は極端な照明条件において重要性を増す。

ほとんどの顔認識システムにおいて、プローブ画像及びギャラリー画像は、目の位置のみを用いて位置合わせされることが多く、それに応じて他の顔領域が変換される。形状情報は、暗黙的に又は明示的に利用される。したがって、形状のない３Ｄ空間ではなく２Ｄ画像空間に照明基底を有するほうが実用的であることが多い。

先ず、３Ｄ形状と整合された基底を、対応する再構成された照明サンプルで割り

、画像の当てはめを行う画像平面に投影する。投影した画像データを、画像平面においてプッシュプル補間を用いて密に計算し、元の画像を掛ける。この手順は再構成された基底毎に行われる。

［発明の効果］
本発明は、１枚の画像から３Ｄ形状を抽出することによって照明部分空間を構成する新規の方法を提案する。人間の顔の複雑な反射率特性を処理するために、３Ｄ表面の点と、様々な照明条件下での正確に整合された照明サンプルとの結合統計量から導出されるコンパクトな照明モデルを利用する。実験結果は、このモデルが、関連する分析モデルよりも優れた再構成及び認識性能を有することを示す。このモデルはさらに、姿勢間の外挿に優れている。Yale Face Database Bを用いたところ、本発明の方法は、１枚の画像から照明により変化しない顔表現を得るための計算が遥かに単純であるにもかかわらず、従来技術に（少なくとも）匹敵した。最後に、本発明の方法は、回復された３Ｄ形状と整合される再構成された照明基底を用いて、姿勢により変化しない認識を行う。

本発明の精神及び範囲内で様々な他の適応及び修正を行ってもよいことが理解される。したがって、添付の特許請求の範囲の目的は、本発明の真の精神及び範囲に入るそのような変形及び修正をすべて網羅することである。

顔のバイリニアモデルを生成する方法のフロー図である。 顔の形状データ及び画像データを取得するシステムのブロック図である。 位置合わせされた形状点、及びベクトルとしてのテクスチャ成分のブロック図である。 図３のベクトルからバイリニアモデルを生成するフロー図である。 異なる数の基底の再構成誤差を比較するグラフである。 異なる数のカメラ視点の再構成誤差を比較するグラフである。 バイリニア照明モデルを用いて入力画像中の顔を認識するフロー図である。

Claims (1)

1. 画像中の顔を認識する方法であって、
   形状パラメータ及び姿勢パラメータを有するモーフィング可能なモデルを画像中の顔に当てはめて、前記顔の３次元モデルを構成すること、
   前記３次元モデルを用いて前記画像中の前記顔からテクスチャを抽出すること、
   前記形状及び前記テクスチャをバイリニア照明モデル内に投影して、前記画像中の前記顔の照明基底を生成すること、及び、
   前記画像中の前記顔の前記照明基底を既知の顔の複数のバイリニア照明モデルの各々の照明基底と比較して、前記画像中の前記顔を特定すること
   を備えた、画像中の顔を認識する方法。

Images