JP2006502478A - 三次元顔認識 - Google Patents

Abstract

マッチング、特に顔マッチングのための幾何学体の三次元データを処理するための装置であって、前記幾何学体の三次元トポグラフィデータを得るための三次元スキャナ（１２）と、所望により前記データを受け取り又は前記データを三角形分割多様体に形成するためのトライアンギュレータ（１４）と、前記三角形分割多様体を前記多様体の点対間の一連の測地線距離に変換するための測地線変換器（２０）と、前記一連の測地線距離の低次元ユークリッド表現を形成し、前記幾何学体の湾曲不変量表現を与えるように構成された多次元スケーラ（２２）を含むもの。一変形例では、マッチングは前記表現から原理的固有値をとり特徴空間の座標としてプロットすることによって実行される。同じ顔の傾斜した又は異なった表現はマッチングを可能にする特徴空間のクラスタを形成する傾向を有する。装置は好ましくは三角形分割領域の高速マーチング法を使用して測地線距離を得る。

Description

本発明は、三次元顔認識のための方法および装置に関し、さらに詳しくは、両方とも顔の３Ｄ表現を得て、その表現をマッチング目的に使用する、そのような方法および装置に関するが、それらに限定されない。

顔認識は最近コンピュータビジョンの重要なタスクになってきており、広範囲のバイオメトリクスおよびセキュリティ分野で必要とされている。しかし、ほとんどの既存の顔認識システムは、頭部位置、照明等のような画像取得条件に影響され易いことが報告されており、したがって不正確であり、容易に欺くことができる。ｈｔｔｐ：／／ｗｗｗ．ａｃｌｕｆｌ．ｏｒｇ．ｐｂｆａｃｅｉｔｒｅｓｕｌｔｓ０５１４０２．ｈｔｍｌから入手可能なフロリダ州米国自由人権協会（Ａｍｅｒｉｃａｎ Ｃｉｖｉｌ Ｌｉｂｅｒｔｉｅｓ Ｕｎｉｏｎ（ＡＣＬＵ）ｏｆ Ｆｌｏｒｉｄａ）の２００２年５月１４日広報を参照されたい。

一般的に、最近の顔認識手法は、大まかに二つのカテゴリ、すなわち画像情報のみを使用する２Ｄ手法（グレースケールまたはカラーのいずれかとすることができる）と、三次元情報をも組み込んだ３Ｄ手法とに分けることができる。

データ取得の点ではより単純である（公的な場所におけるビデオテープ化された群集からの顔認識のように実時間監視の適用が可能である）が、２Ｄ手法は照明条件および頭部の回転に影響されやすいことが難点である。画像は単一の観察角度における顔の表面から反射する光を表わすので、異なる照明条件は結果的に異なる画像を生じる。それは異なる被写体と認識される可能性が高い（図３参照）。古典的な２Ｄ顔認識アルゴリズムとして、タークおよびペントランドの固有顔アルゴリズムがある。完全な考察については、Ｍ．ＴｕｒｋおよびＡ．Ｐｅｎｔｌａｎｄ、「Ｆａｃｅ ｒｅｃｏｇｎｉｔｉｏｎ ｕｓｉｎｇ ｅｉｇｅｎｆａｃｅｓ」、ＣＶＰＲ、１９９１年５月、ｐｐ５８６−５９１、ならびにＭ．ＴｕｒｋおよびＡ．Ｐｅｎｔｌａｎｄ「Ｆａｃｅ ｒｅｃｏｇｎｉｔｉｏｎ ｓｙｓｔｅｍ」、米国特許第５１６４９９２号、１９９０年１１月１７日を参照されたい。固有顔アルゴリズムは次のように働く。すなわち、ある統計的分布から現れた一組の顔を前提として、この分布の主成分は、顔間の差異を特徴付ける一組の特徴を形成する。「固有顔」とは、「全て」の顔の組の固有ベクトルである。固有顔手法は、照明条件および頭部の回転から生じる画像の顕著な相違を考慮することなく、２Ｄ分類の問題として顔認識を処理する。この理由から、固有顔は、実験室条件ではなく実生活に直面したときに、通常、中途半端な結果をもたらす。

３Ｄ手法は顔の幾何学情報を提供し、顔の幾何学情報は視点および照明条件とは無関係である。したがって、そのような情報は２Ｄ画像を補完する。しかし、３Ｄ情報は実際の顔の幾何学形状を運ぶだけでなく、深度情報をも含み、それは背景からの顔の容易な切分けを可能にする。

Ｇｏｒｄｏｎは、正面像および側面像を組み合わせることで、認識精度を改善できることを示した。Ｇ．Ｇｏｒｄｏｎ、「Ｆａｃｅ ｒｅｃｏｇｎｉｔｉｏｎ ｆｒｏｍ ｆｒｏｎｔａｌ ａｎｄ ｐｒｏｆｉｌｅ ｖｉｅｗｓ」、スイス国チューリッヒ、顔および身振り認識に関する国際ワークショップ会議録ｐｐ４７−５２、１９９５年６月を参照されたい。

ＢｅｕｍｉｅｒおよびＡｃｈｅｒｏｙは、３Ｄ取得のために構造化された照明を使用するシステムにおいて、被写体の識別のために不動顔プロファイルの幾何学情報を使用することの適切さを示している。Ｃ．ＢｅｕｍｉｅｒおよびＭ．Ｐ．Ａｃｈｅｒｏｙ、「Ａｕｔｏｍａｔｉｃ Ｆａｃｅ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ、Ａｐｐｌｉｃａｔｉｏｎｓ ｏｆ Ｄｉｇｉｔａｌ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ ＸＶＩＩＩ」 ＳＰＩＥ、ｖｏｌ．２５６４、ｐｐ３１１−３２３、１９９５年７月を参照されたい。

上述の手法は、表面全体に一般化することができる。グローバル表面マッチングを使用するそのような一般化について記述した、Ｃ．ＢｅｕｍｉｅｒおよびＭ．Ｐ．Ａｃｈｅｒｏｙ、「Ａｕｔｏｍａｔｉｃ Ｆａｃｅ Ａｕｔｈｅｎｔｉｃａｔｉｏｎ ｆｒｏｍ ３Ｄ Ｓｕｒｆａｃｅ」、英国マシンビジョン会議ＢＭＶＣ ９８、英国サウサンプトン大学、１９９８年９月１４−１７日、ｐｐ４４９−４５８、１９９８年を参照されたい。しかし、表面マッチングは顔の表情の影響を受けやすく、包括的な解決策とみなすことはできない。

したがって、三次元情報を使用するが、顔の表情、被写体の照明、または角度に影響され易いなどの上記の限界を持たない顔認識システムを持つ必要性が幅広く認識されており、かつそれを持つことは非常に好都合である。

発明の概要
本発明は、３Ｄ顔データの正準形表現を得、その正準表現を使用して他の顔と比較する。

本発明の一つの局面では、マッチングのための幾何学体の三次元データを処理するための装置であって、
前記幾何学体の三次元トポグラフィデータを、一実施形態では生データとして、別の実施形態では三角形分割多様体として受け取り、かつ前記データまたは前記三角形分割多様体を、データまたは多様体の点対間の一連の測地線距離に変換するための測地線変換器と、
その後前記測地線変換器に接続され、前記一連の測地線距離の低次元ユークリッド表現を形成するための多次元スケーラであって、前記低次元ユークリッド表現が他の幾何学形状とのマッチングに適した前記幾何学体の湾曲不変量表現を提供するように構成された多次元スケーラと、
を備えた装置を提供する。

該装置は、前記測地線変換器の前に配置され、前記三角形分割多様体をサブサンプリングし、かつサブサンプリングされた三角形分割多様体を前記測地線変換器に提供するように構成された、サブサンプラを備えることが好ましい。

前記多様体は複数の頂点を備え、前記サブサンプラは第一頂点を選択し、かつ、予め定められた個数の頂点が選択されるまで、すでに選択された頂点からの最大測地線距離を有する次の頂点を繰返し選択するように動作可能であることが好ましい。

前記サブサンプラは、三角形分割領域の高速マーチング法を使用して、前記繰返し選択のために頂点間の測地線距離を算出するように動作可能であることが好ましい。

好ましくは、前記幾何学体は顔であり、短期の幾何学的変化を受け易い前記顔の領域であるソフトな幾何学的領域と、前記短期の幾何学的変化を実質的に受け難い領域であるハードな幾何学的領域とを有し、前記装置は、前記サブサンプラの前に配置された、前記顔から前記ソフトな幾何学的領域を除去するためのプリプロセッサを備える。

前記プリプロセッサは、前記顔上の標定点の識別によって、前記ソフトな領域を識別するように動作可能であることが好ましい。

前記標定点は、鼻尖、一対の眼球中心、および口の中心のうちの少なくとも一つであることが好ましい。

前記プリプロセッサはさらに、前記顔を中心に合わせるように動作可能であることが好ましい。

前記プリプロセッサはさらに、前記顔をクロッピングするように動作可能であることが好ましい。

前記プリプロセッサは、測地線マスクの適用によって、前記ソフトな幾何学的な領域の除去を実行するように動作可能であることが好ましい。

前記測地線変換器は、三角形分割領域の高速マーチング法を使用して、前記測地線距離を算出するように動作可能であることが好ましい。

装置は、幾何学体のスキャンデータから前記三角形分割多様体を形成するためのトライアンギュレータ（ｔｒｉａｎｇｕｌａｔｏｒ）を備えることが好ましい。

装置はさらに、二次元より高次の空間内に前記三角形分割多様体を埋め込み、それによって追加情報と前記トポグラフィ情報を含めるように動作可能とすることができる。

前記追加情報は、テクスチャ情報、アルベド情報、グレースケール情報、および色情報から成る群のいずれか一つであることが好ましい。テクスチャ情報の場合、テクスチャは初期スキャンから抽出し、その後、低次元ユークリッド表現にマッピングすることができる。その後、トポグラフィおよびテクスチャ情報のための別個の係数を使用して、マッチングプロセスにおける別の表面までの重み付き距離に寄与することができる。

前記サブサンプラは、計算量と表現精度との間のトレードオフを定義することによって、使用者に最適なサブサンプリングレベルを選択させるための最適化装置を備えることが好ましい。

前記多次元スケーラは、前記ユークリッド表現が特徴空間における座標として使用するために抽出可能な予め定められた個数の固有値を備えるように構成されることが好ましい。

固有値の前記予め定められた個数は少なくとも３であり、前記特徴空間は、前記予め定められた個数に対応する次元数を持つことが好ましい。

本発明の第二の局面では、三次元データに基づく幾何学体間のマッチングのための装置において、
幾何学体の表現を、三角形分割多様体のサンプリング点間の測地線距離の組のユークリッド表現として受け取るための入力であって、前記ユークリッド表現が実質的に湾曲不変量表現であるように構成された入力と、
前記ユークリッド表現に基づいてそれぞれの幾何学体間の距離を算出するための距離算出器と、
算出された距離を二値化して、合致の有無を決定するためのスレショルダと、
を備えた装置を提供する。

好ましくは、前記距離算出器は、
予め定められた個数の固有値を前記ユークリッド表現から抽出するための固有値抽出器と、
前記予め定められた個数の固有値を、前記予め定められた個数の固有値の各々に対し一次元を有する特徴空間上の点としてプロットするためのプロッタと、
を備え、
前記スレショルダは前記特徴空間内のクラスタリングに感応するように構成され、それによって前記合致の有無を決定する。

前記予め定められた個数は３であることが好ましい。

前記ユークリッド表現は、前記三角形分割多様体のサブサンプリング点間の測地線距離に基づくことが好ましい。

好ましくは、前記幾何学体は顔であり、短期の幾何学的変化を受け易い前記顔の領域であるソフトな幾何学的領域と、短期の幾何学的変化を実質的に受け難い領域であるハードな幾何学的領域とを有し、前記ユークリッド表現は実質的に前記ハードな幾何学的領域に限定される。

前記距離算出器は、ハウスドルフ計量を使用するように構成することが好ましい。

本発明の第三の局面では、マッチングのための幾何学体の三次元データを得、かつ前記データを使用して異なる体間のマッチングを実行するための装置であって、
前記体の三次元トポグラフィデータを得るための三次元スキャナと、
前記幾何学体の前記三次元トポグラフィデータを受け取り、かつ前記データを三角形分割多様体に形成するためのトライアンギュレータと、
その後前記トライアンギュレータに接続され、前記三角形分割多様体を前記多様体の点対間の一連の測地線距離に変換するための測地線変換器と、
その後前記測地線変換器に接続され、前記一連の測地線距離の低次元ユークリッド表現を形成するための多次元スケーラであって、前記低次元ユークリッド表現が前記幾何学体の湾曲不変量表現を提供するように構成された多次元スケーラと、
その後前記多次元スケーラに接続され、前記ユークリッド表現に基づき幾何学体間の距離を算出するための距離算出器と、
その後前記距離算出器に接続され、算出された距離を二値化して合致の有無を決定するためのスレショルダと、
を備えた装置を提供する。

好ましくは、前記距離算出器は、
予め定められた個数の固有値を前記ユークリッド表現から抽出するための固有値抽出器と、
前記予め定められた個数の固有値を、前記予め定められた個数の固有値の各々に対し一次元を有する特徴空間上の点としてプロットするためのプロッタと、
を備え、
前記スレショルダは前記特徴空間内のクラスタリングに感応するように構成され、それによって前記合致の有無を決定する。

前記予め定められた個数は３であることが好ましい。

代替的に、前記予め定められた個数は４以上である。

該装置は、前記トライアンギュレータと前記測地線変換器との間に配置され、前記三角形分割多様体をサブサンプリングし、かつサブサンプリングされた三角形分割多様体を前記測地線変換器に提供するように構成された、サブサンプラを備えることが好ましい。

前記サブサンプラは、前記サブサンプリングされた三角形分割多様体に含めるために、前記三角形分割多様体から点を選択する際に、測地線距離を使用するように動作可能であることが好ましい。

前記サブサンプラは、初期点を取り、次いで、すでに選択された点からの測地線距離に関して最も遠く離れた点を取ることによって点を繰返し選択するように構成されることが好ましい。

好ましくは、前記幾何学体は、ソフトな幾何学的領域とハードな幾何学的領域とを有する顔であり、前記装置は、前記トライアンギュレータと前記サブサンプラとの間に配置された、前記ソフトな幾何学的領域を前記顔から除去するためのプリプロセッサを備える。

好ましくは、前記幾何学体は、ソフトな幾何学的領域とハードな幾何学的領域とを有する顔であり、前記装置は、前記トライアンギュレータと前記測地線変換器との間に配置された、前記ソフトな幾何学的領域を前記顔から除去するためのプリプロセッサを備える。

前記プリプロセッサは、前記顔上の標定点の識別によって前記ソフトな領域を識別するように動作可能であることが好ましい。

前記標定点は鼻尖であることが好ましい。

前記プリプロセッサはさらに、前記顔を中心に合わせるように動作可能であることが好ましい。

前記プリプロセッサはさらに、前記顔をクロッピングするように動作可能であることが好ましい。

前記プリプロセッサは、測地線マスクの適用によって前記ソフトな領域の除去を実行するように動作可能であることが好ましい。

前記測地線変換器は、三角形分割領域の高速マーチング法を使用して、前記測地線距離を算出するように動作可能であることが好ましい。

前記サブサンプラは、計算量と表現精度との間のトレードオフを定義することによって、使用者に最適なサブサンプリングレベルを選択させるための最適化装置を備えることが好ましい。

前記距離算出器は、ハウスドルフ計量を使用するように構成することが好ましい。

本発明の第四の局面では、三次元トポグラフィデータをその後の分類のために画像前処理する方法であって、
前記三次元トポグラフィデータを三次元三角形分割多様体として提供するステップと、
前記多様体の選択された頂点までの測地線距離のマトリックスを生成するステップと、
多次元スケーリングを使用して前記マトリックスを低次元ユークリッド空間の正準表現に変換し、それによってその後の分類に適した表現を提供するステップと、
を含む方法を提供する。

該方法は、予め定められた個数の頂点が選択されるまで、すでに選択された頂点からの最大測地線距離を有する次の頂点を繰返し選択することを含む手順によって、測地線距離の前記マトリックスを生成するために前記頂点を選択するステップをさらに含むことができる。

該方法は、三角形分割領域の高速マーチング法を使用して、前記手順のために測地線距離を決定するステップをさらに含むことができる。

前記三次元トポグラフィデータは顔の表現であり、前記顔の短期変化を受け易い部分を除外するために前記顔をクロッピングするステップをさらに含み、それによって前記その後の分類を前記短期変化に対し実質的に不変にすることが好ましい。

本発明の第五の局面では、三次元体の画像を分類する方法であって、
前記三次元体の表現を、前記体の表面から取った選択標本点間の測地線距離から導出される正準形表現として得るステップと、
前記各表現から特徴空間の座標を導出するステップと、
前記特徴空間のクラスタリングに従って前記体を分類するステップと、
を含む方法を提供する。

好ましくは、前記座標の導出は、それぞれの正準形表現から最初のｍ個の固有値を導出するステップと、前記ｍ個の固有値を使用して前記座標を提供するステップとを含み、ここでｍは予め定められた数であり、前記特徴空間はｍ次元を持つように構成される。

ｍは少なくとも３であることが好ましい。

特に定義しない限り、本書で使用する技術および科学用語は全て、本発明が属する技術の通常の熟練者が一般的に理解するのと同じ意味を持つ。本書で提示する材料、方法、および実施例は単なる例証であって、限定を意図するものではない。

本発明の方法およびシステムの実現は、手動的に、自動的に、もしくはそれらの組合せとして、選択されたタスクまたはステップを実行または完遂することを含む。さらに、本発明の方法およびシステムの好適な実施形態の実際の装備および装具によると、一つまたはそれ以上のステップをハードウェアによって、または任意のファームウェアの任意のオペレーティングシステム上のソフトウェアによって、またはそれらの組合せによって、実現することができる。例えば、ハードウェアとしては、本発明の選択されたステップはチップまたは回路として実現することができる。ソフトウェアとしては、本発明の選択されたステップは、任意の適切なオペレーティングシステムを使用してコンピュータによって実行される複数のソフトウェア命令として実現することができる。いずれの場合も、本発明の方法およびシステムの選択されたステップは、複数の命令を実行するためのコンピューティングプラットフォームのような、データプロセッサによって実行されるものとして記述することができる。

図面の簡略な記述
本発明をここで、単なる例として、添付の図面を参照しながら説明する。今、特に図面を詳細に検討するに当たり、図示する細部は例示であって、単に本発明の好適な実施形態の実証的な説明を目的とするものであり、本発明の原理および概念的態様のもっとも有用かつ理解し易い説明であると信じられるものを提供するために提示することを強調しておく。これに関連して、発明の基本的理解に必要である以上に詳細に本発明の構造上の細部を示そうとはせず、図面に即して行なう説明は、本発明の幾つかの形態をいかに実際に具現することができるかを当業者に明らかにするものである。
図１は本発明の第一の好適な実施形態に従って、体の３Ｄトポグラフィデータを収集し、かつ該データを処理して効果的なマッチングのための正準形表現にするための装置の好適な実施形態を示す簡易ブロック図である。
図２は本発明の第二の好適な実施形態に従って、正準形表現の３Ｄトポグラフィデータを受け取り、かつマッチングまたは分類を実行するための装置の簡易図である。
図３は各々異なる照明条件下で撮影した単一の顔の一連の２Ｄ表現である。顔は人間の観察者にとっては明らかに同一であるが、従来の画像解析技術を使用して合致させることは非常に難しい。
図４ａは深度符号化照明を使用した３Ｄデータ収集の第一段階を示す簡易模式図である。
図４ｂは深度符号化照明を使用した３Ｄデータ収集の第二段階を示す簡易模式図である。
図５はビデオカメラおよび移動レーザプロジェクタを備えた３Ｄスキャナ装置を示す写真である。
図６はフォトメトリックステレオ取得方式を示す簡易模式図である。
図７は顔の３Ｄスキャンによって収集したデータ点を使用した三角形分割多様体表現である。
図８はサブサンプリング後の図７の多様体を示す簡易図である。
図９は図１のサブサンプラをより詳細に示す簡易ブロック図である。
図１０は図１の測地線変換器をより詳細に示す簡易ブロック図である。
図１１は本発明の好適な実施形態の動作を示す簡易フローチャートである。
図１２は図１１のサブサンプリング段階をより詳細に示す簡易フローチャートである。
図１３は第一実験の被写体として使用された六つの顔のデータベースである。
図１４は図１の顔の一つ、表情の変化をシミュレートするための顔のバリエーション、および主要特徴の変化を示すためのさらなるバリエーションを示す。
図１５は三次元特徴空間にプロットされた第一実験の結果を示すグラフである。表情の変化のみによって異なる顔は特徴空間でクラスタを形成する一方、主要特徴の変化によって異なる顔は離れる。
図１６は所定の顔の九種類の照明、およびフォトメトリックステレオを使用しポアソン方程式を解くことによる多様体へのそれらの再構成を示す。
図１７は第二実験用の異なる被写体の九つの顔の照明から最小二乗を使用して各々再構成された一組１０個の顔である。
図１８は実験ＩＩ用の各々異なるポーズの単一の被写体の一組の画像である。
図１９は三次元特徴空間にプロットされた第二実験の結果を示すグラフである。同一被写体の異なるポーズはクラスタを形成する。
図２０は二つの顔表面の位置合わせプロセスを示す模式図である。
図２１は三次元特徴空間にプロットされた位置合わせ無しの第三実験の結果を示すグラフである。認識できるクラスタは現れない。
図２２は三次元特徴空間にプロットされた最適位置合わせ実行後の第三実験の結果を示すグラフである。クラスタリングが存在するが不明瞭である。
図２３は第四実験用の被写体として使用された、さらなるデータベースからの一組三個の顔である。
図２４は第四実験用でもある図２３の顔の一組三個のポーズである。
図２５は前処理の一部としてマスクを適用する前の顔のテクスチャマップを示す。
図２６は測地線マスクを適用した後の図２５のテクスチャマップを示す。
図２７は前処理の一部としてマスクを適用する前の顔の深度マップを示す。
図２８は測地線マスクを適用した後の図２７の深度マップを示す。
図２９は３Ｄトポグラフィ画像データから直接得た三角形分割多様体を示す。
図３０はサブサンプリング後の図２９の多様体を示す。
図３１は正準形に変換された図２９の多様体を示す。
図３２は３Ｄデータ取得のための観察および照明角度を示す簡易図である。
図３３は表面勾配と局所的ストライプ方向との間の関係を示す簡易図である。
図３４は三次元多様体へのデカルト座標のマッピングを示す簡易図である。
図３５は測地線距離を測定するための起点となる追加頂点の選択のプロセスを示す簡易図である。
図３６は様々な角度から照明された一連の同じ顔を示す。
図３７Ａは本発明の好適な実施形態に従って、顔の３Ｄ表現を処理し、かつ中間ステップとして３Ｄ表面を形成することなく処理結果のマッチングを実行するための装置を示す簡易ブロック図である。
図３７Ｂは図３７Ａの装置の使用に関わる一連の動作を示す簡易フローチャートである。
図３８は収集した顔情報の処理における三つの段階、最初のデータ収集、３Ｄ表現の抽出、および顔の不変領域に集中するための前処理を示す簡易図である。
図３９は図３７Ａの実施形態を使用して得た結果を示す。
図４０および４１はテクスチャ情報を図１の実施形態のマッチングプロセスに組み込むための手順を示す単一のフローチャートである。
図４２は図４０および４１の実施形態に係るテクスチャデータの分離、およびその後の正準形式へのマッピングを示す簡易図である。

好適な実施形態の説明
本発明の実施形態は、３Ｄ幾何学またはトポグラフィ情報に基づく顔認識手法を示す。３Ｄ顔表面が与えられると、表面をサンプリングし、その上の点間の測地線距離を（高速マーチング法を使用して）算出し、かつ多次元スケーリング（ＭＤＳ）を適用することによって、幾何学湾曲不変量正準形を得ることができる。ＭＤＳは低次元ユークリッド空間における表面の表現、つまり湾曲不変量正準形を可能にし、該正準形は、分類一般、および特にマッチングに使用することのできる表現である。

一実施形態では、顔表面の三角形分割多様体が形成され、そこから測地線距離が算出される。別の実施形態では、測地線距離は、多様体を形成することなく、表面勾配データから得られる。

３Ｄ幾何学を使用する顔認識は、単独で、または従来の２Ｄ撮像を補強するために、使用することができる。一実施形態では、２Ｄまたはテクスチャデータを３Ｄ範囲または幾何学データと一緒に処理し、次いでテクスチャおよび範囲データの両方を使用して、重み付きユークリッド距離に基づいてマッチングを実行する。３Ｄ幾何学は視点および照明条件に依存しないので、正確な顔分類を達成することができる。

本発明の少なくとも一実施形態を詳細に説明する前に、本発明はその適用を、以下の説明に記載しあるいは図面に示す構造の詳細および構成要素の配列に限定されないことを理解すべきである。本発明は他の実施形態が可能であり、あるいは異なる方法で実施または実行することができる。また、ここで使用する語法および用語は説明を目的としたものであって、限定とみなすべきではないことを理解されたい。

今、図面を参照すると、図１は、本発明の好適な実施形態に係る、マッチングを含む分類のために幾何学体の三次元データを得るための装置を示す簡易図である。好適な実施形態は、特に顔のマッチングに関するが、本発明の原理は、三次元構造を有するどんな幾何学体にも適用可能であることを、当業者は認識されるであろう。

装置１０は、体の三次元トポグラフィデータを得るための三次元スキャナ１２を備える。以下で幾つかの型のスキャナについて記述すると共に、そこからのデータを処理する方法について、幾つかの事例で簡単に説明する。

三次元スキャナ１２からのデータはトライアンギュレータ１４に渡される。トライアンギュレータは、体のトポロジ的特徴を表わす三次元三角形分割多様体を生成するために、スキャナから受け取ったデータに三角形分割を実行することができる。多様体を導出するトライアンギュレータの厳密な動作は、３Ｄ情報が収集される方法によって変化する。特定の場合、多様体は、介在する処理段階を必要とすることなく、収集されたデータから直接形成することができる。多様体は体の三次元トポロジの全てを表現することが好ましく、したがって、理論的には、マッチングを可能にするのに充分である。しかし、実際には、三角形分割多様体を使用する直接比較は、下述する実施例３に実証するように、多数の不利点を有する。それらは大量の計算を必要とする。マッチングは異なる顔を確実に区別しない。さらに、同じ顔が異なる表情を持つ場合、マッチングは一般的に失敗し、かつ同じ顔が異なる角度を向いた場合でさえも、マッチングは信頼できない。

したがって、本発明の実施形態は、四つの追加処理段階を含むことが好ましく、その第一段階はプリプロセッサ１６である。プリプロセッサ１６は、多様体の周りの方位を決定するために、基準点を取る。基準点は、顔の多様体から自動的に見つけることが比較的容易であることを前提として、顔上の任意の点とすることできる。好適な実施形態で使用するのに適した基準点は、鼻尖である。他の可能な基準点として、眼球の中心、および口の中心がある。ひとたびプリプロセッサが鼻尖を見出すと、顔の残りに対するそれ自体の位置を確認することができ、次いで、以下でソフト領域と呼ぶ、その幾何学が表情に特に影響され易い顔の部分は無視することができる。以下でハード領域と呼ぶ、表情等の変化により変化しない顔の部分を保持し、あるいは強調することさえできる。以下でさらに詳述するように、ソフト領域の定義は一定していない。一部の方法の場合、および一部の状況においては、除外されるソフト領域は、口を中心とする顔の下部領域の全てを含むことができる。他の場合には、それほど極端ではない除外を考慮することができる。以下でさらに詳述する、一つの実施形態では、ソフト領域は、測地線マスクを使用して除去される。マスクは、顔のテクスチャマップおよび顔の深度マップに別個に適用することができる。

プリプロセッサの後にサブサンプラ１８が続く。サブサンプラ１８は前処理された多様体を受け取り、定義の精細度は低下するがマッチングしようとする顔の基本的幾何学を依然として定義する多様体を生成するために、点を除去する。好適な実施形態では、使用者は、正確なマッチングつまり多数の点と、より高速の処理つまり少数の点との間で妥協を図り、点の個数を選択することができる。以下でさらに詳述するように、サブサンプラの好適な実施形態は、多様体の初期点または初期頂点から開始され、次いでそこから最大距離を有する点または頂点を追加するボロノイ（Ｖｏｒｏｎｏｉ）サブサンプリング技術を使用する。該手順は、選択された個数の点が含まれるまで繰返し反復される。該技術は測地線距離を使用することが好ましく、それは下述するように三角形分割領域（ＦＭＭ−ＴＤ）の高速マーチング法を使用して得ることができる。

サブサンプラの後に測地線変換器２０が続く。測地線変換器２０は、サブサンプリングされた多様体の点のリストを受け取り、各点対のベクトルを算出する。ベクトルは測地線距離として表わされ、可能な限り効果的に測地線距離を得るために、三角形分割領域の高速マーチングアルゴリズムが再び使用される。

測地線変換器の後に多次元スケーラ２２が続き、これは、測地線変換器２０によって算出された、以下で距離マトリックスと呼ぶ測地線距離のマトリックスを受け取り、多次元スケーリングを使用して一連の測地線距離の低次元ユークリッド表現を形成する。多次元スケーリングについては以下で詳述する。低次元ユークリッド表現は、以下で多次元スケーリングの考察時に説明するように、幾何学体の湾曲不変量表現を提供する。そのような湾曲不変量表現の使用は、マッチングプロセスが例えば異なる角度の頭のスキャンによって欺かれないことを確実にする。

多次元スケーラの出力２４は、以下で正準形表現と呼ぶ表面点間のユークリッド距離による３Ｄ顔の表現である。

今、図２を参照すると、それは、上述したように正準形の出力を使用して、二つの顔のマッチングを行うためのマッチング装置の簡易図である。整合器３０は装置１０の延長とすることができ、あるいは別個のユニットとして供給することができる。整合器３０は距離算出器３２を備え、それは二つの正準形表現３４および３６を入力として受け取り、それらの間の距離を算出する。距離の算出は、マッチング対象の顔の各々の正準形の比較に適した任意の方法を使用することができる。単純な手法は、例えばハウスドルフ計量を使用して、二組の点間の距離を測定することである。しかし、ハウスドルフ計量に基づく方法は計算量が膨大である。

本発明の実施形態で使用される代替的手法は、ＭＤＳ手順から得られた最初のｍ個の固有値を取り、低次元特徴空間の座標を提供する。支配的な固有値は正準形を完全には記述しないが、同様の顔が同様の固有値を有する（したがって特徴空間でクラスタを形成する）ことは合理的である。幾何学体間で距離が算出され、あるいは下述するように、特徴空間のグラフにプロットされ、その後距離算出器に接続されるスレショルダ３８が、算出された距離を二値化して、特徴空間におけるクラスタの有無を決定する。クラスタは合致を示すものである。本書で詳述する実施形態では、最初の三個の固有値が取られ、三次元特徴空間にプロットされる。

今、一連の３つの二次元画像を示す図３を参照する。三つの画像が同一の顔のものであることは、どんな人間の観察者にも明らかであろう。しかし、従来の自動マッチング技術は一般的に、３つの画像の間に非常に大きい距離を見出し、したがってそれらを合致させることができない。したがって、二次元顔マッチングは、照明方向のような単純な変量によってを導入されるエラーを引き起こす傾向がある。実際、目のような反射率の高い顔の領域は、照明の非常に微小な変化に対してかなり変化することがある。

今、図１に戻ると、上に示したように、装置１０は三次元スキャナ１２を備えることが好ましい。本発明の実施形態で記述する顔認識は、顔を三次元表面として処理する。したがって、まず第一に、認識したい被写体の顔表面を得ることが必要である。以下は、顔をスキャンして三次元データを得ることのできる、現在利用可能な測距技術の短い概観である。

レーザレンジカメラ（Ｚｃａｍ）
今、図４ａおよび４ｂを参照すると、それは、深度符号化照明を使用するレーザレンジカメラの動作の連続的段階を示す簡易図である。現在、最速かつ最も正確であるが、同時に最も高価なレンジカメラが、深度符号化照明に基づくものである。

深度符号化照明は、視野に沿って移動する光の壁４０の生成に基づく。光が場面内の物体４２に衝突すると、それはカメラ４４に向かって反射する。光の有限速度のため、反射は物体深度のインプリントを伝え、それは適切な電子工学を使用して解読することができる。照明は一般的にＩＲレーザダイオードを使用して生成される。

この型の３Ｄ取得装置は、２００１年３月１５日のＷＯ特許０１／１８５６３号から公知であり、その内容をここに参照によって組み込む。そのような技術は約３０ｆｐｓのフレームレートの実時間データ取得を可能にする。深度分解能は、時間的にフレームを平均化することによって大幅に改善することができる。一般的な価格は２千〜５万米ドルの範囲である。

３Ｄスキャナ
より遅く、より安価なバージョンの３Ｄスキャナは、１９９８年１月のインド国ボンベイのコンピュータビジョン国際会議の議事録におけるＪ．−Ｙ．ＢｏｕｇｕｅｔおよびＰ．Ｐｅｒｏｎａの「３Ｄ ｐｈｏｔｏｇｒａｐｈｙ ｏｎ ｙｏｕｒ ｄｅｓｋ」に基づく。該スキャナは、机の上に一直線状の陰を形成するランプと鉛筆に基づくものであり、ＺｉｇｅｌｍａｎおよびＫｉｍｍｅｌは、影の代わりに細いレーザビームを使用している。Ｇ．ＺｉｇｅｌｍａｎおよびＲ．Ｋｉｍｍｅｌ、「Ｆａｓｔ ３Ｄ ｌａｓｅｒ ｓｃａｎｎｅｒ」、イスラエル工科大学Ｔｅｃｈｎｉｏｎ、コンピュータサイエンス学部、Ｔｅｃｈ．Ｒｅｐ．ＣＩＳ−２０００−０７、２０００年を参照されたい。典型的な装置を図５に示し、それはビデオカメラ４６および移動式レーザプロジェクタ４８を備える。図５の装置を使用して、物体に照射したときのレーザｃの変形を解析することによって、深度の再構成が実行される。関連手法は、見出し「構造光」の下で下述する。

そのようなスキャナは、５０〜２００米ドルの間の価格を有する安価な材料から組み立てることができる。そのような装置で達成可能な顔に対する典型的なスキャン速度は１５〜３０秒の範囲内であり、低いスキャン速度は、該手法を実験室および類似の制御された条件に限定する。

構造光
構造光の概念は、既知のパターン（例えば平行なストライプ）を物体に投射し、その後パターンの変形から深度情報を捕捉することに関係する。さらなる詳細は、Ｃ．Ｒｏｃｃｈｉｎｉ、Ｐ．Ｃｉｇｎｏｎｉ、Ｃ．Ｍｏｎｔａｎｉ、Ｐ．Ｐｉｎｇｉ、およびＲ．Ｓｃｏｐｉｇｎｏ「Ａ ｌｏｗ ｃｏｓｔ ３Ｄ ｓｃａｎｎｅｒ ｂａｓｅｄ ｏｎ ｓｔｒｕｃｔｕｒｅｄ ｌｉｇｈｔ」、ＥＵＲＯＧＲＡＰＨＩＣＳ ２００１、Ａ．ＣｈａｌｍｅｒｓおよびＴ．−Ｍ．Ｒｈｙｎｅ（ゲスト編集者）、第２０巻（２００１年）第３号を参照されたい。その内容をここに参照によって組み込む。

典型的なデータ取得セットアップは、ＣＣＤカメラおよびプロジェクタを含み、現在の価格は１千〜５千米ドルの領域にあり、比較的安価である。そのようなデータ取得装置は３Ｄ顔認識のためにＢｅｕｍｉｅｒおよびＡｃｈｅｒｏｙによって使用された。Ｃ．ＢｅｕｍｉｅｒおよびＭ．Ｐ．Ａｃｈｅｒｏｙ、「Ａｕｔｏｍａｔｉｃ Ｆａｃｅ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ，Ａｐｐｌｉｃａｔｉｏｎｓ ｏｆ Ｄｉｇｉｔａｌ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ ＸＶＩＩＩ」、ＳＰＩＥ、第２５６４巻、ｐｐ３１１−３２３、１９９５年７月、ならびにＣ．ＢｅｕｍｉｅｒおよびＭ．Ｐ．Ａｃｈｅｒｏｙ、「Ａｕｔｏｍａｔｉｃ Ｆａｃｅ Ａｕｔｈｅｎｔｉｃａｔｉｏｎ ｆｒｏｍ ３Ｄ Ｓｕｒｆａｃｅ」、英国マシンビジョン会議ＢＭＶＣ ９８、英国サウサンプトン大学、１９９８年９月１４−１７日、ｐｐ４４９−４５８、１９９８年を参照されたい。その内容をここに参照によって組み込む。

構造光方法の不利点は、制御された照明条件が必要であり、再び該方法を多くの実生活用途に適用不能にしていることである。

フォトメトリックステレオ
専用のハードウェアを必要としない顔表面取得の代替的方法は、フォトメトリックステレオからの表面再構成である。フォトメトリックステレオは、異なる照明条件で同一被写体の幾つかの画像を取得し、ランベルト反射モデルを想定することによって画像から３Ｄ幾何学を抽出することを必要とする。表面は、それがつや消し表面またはマットな表面として挙動する場合、ランベルト反射を呈すると言われる。つまり、どの方向からの入射光に対しても、反射は完全に拡散する。つまり、光は全ての方向に均等な強さで反射する。任意の表面に対し、明るさは照明源と面法線との間の角度のみに依存する。

今、図６を参照すると、これはＺ軸上の所定の位置５２から見て、関数として表わされた顔の表面５０を示す簡易図である。物体は、ｌ^ｉに沿って向けられた平行光線源５４によって照明される。

以下では、ランベルト反射を想定し、したがって観察された写真は次式によって与えられる。
Ｉ^ｉ（ｘ，ｙ）＝ρ（ｘ，ｙ）〈ｎ（ｘ，ｙ），ｌ^ｉ〉 （１）
ここで、ρ（ｘ，ｙ）は物体のアルベドまたは反射率であり、ｎ（ｘ、ｙ）は物体表面の法線であり、次のように表わされる。

マトリックス−ベクトル表記を使用すると、方程式（１）は次のように書き直すことができる。
Ｉ（ｘ，ｙ）＝Ｌν （３）
ここで、
であり、かつ
である。

勾配∇ｚを持つと、次の関数の最小化によって表面５０を再構成することができる。

フォトメトリックステレオ手法による表面再構成における明らかな問題の一つは、実際の顔にランベルトモデルからの逸脱から発生することである。顔認識のアプリケーションでは、一部の顔の特徴（例えば目、髪、ひげ等）が強い非ランバート性を有する。

再構成表面における非正則性を低減するために、表面の非平滑性のペナルティ項を例えば最小二乗解に加えて、全変動を出すことができる。

幾何学顔認識方式
本発明の実施形態の顔認識方式は、三次元顔表面の幾何学的特徴に基づく。幾何学的特徴は３Ｄスキャンから直接得るか、図７に示した種類の三角形分割多様体に点または頂点として組み込むことができ、あるいは頂点をフォトメトリックステレオから導出し、次いで三角形分割多様体を形成するように配列することができる。

認識の前に、センタリングおよびクロッピングのような予備処理を多様体に実行することが好ましい。センタリングおよびクロッピング動作は、単純なパターンマッチングによって実行することができ、それは人間の顔の最も認識可能な特徴として、目または鼻尖６０を使用することができる。顔自体に属する表面に処理を限定し、こうして眼鏡および類似物のような前景項目を除外するために、顔の輪郭を抽出することもできる。そのようなタスクは、上述したプリプロセッサ１６によって実行することが好ましい。

前処理は、眼窩の上部輪郭、人の頬骨の周囲の領域、および口の側部をはじめ、あまり変化しない顔の部分、いわゆるハード領域を重視することが好ましい。他方、容易に変化することができる部分（例えば髪）、つまりソフト領域は、認識プロセスから除外することが好ましい。下述するように、表情によって著しく変化する領域もソフト領域に含まれ、除外することができ、特定の実施形態では、処理は顔の上方部分だけに限定することができる。

プリプロセッサによる処理の後、多様体は、典型的には依然として、効果的な処理のためには多すぎる点、および基礎を成す顔の幾何学を伝えるために実際に必要であるより多くの点を含む。したがって、図８のサブサンプリングされた多様体を形成するために、サブサンプラ１８を使用してサブサンプリングが実行される。

今、図９を参照すると、それはサブサンプラ１８をより詳細に示す簡易ブロック図である。サブサンプラはイニシャライザ７０およびボロノイサンプラ７２を備え、入力として前処理された全多様体および所望の個数の点、または精度と計算効率との間のトレードオフを定義する他の利用し易い方法を取る。

サブサンプリング手順では、ｎ個の均等に分布する頂点の部分集合が、顔の輪郭内の三角形分割表面から選択される。サブサンプリングは、反復ボロノイサンプリング手順を使用して実行され、反復のたびに、すでに選択された頂点から最大の測地線距離を持つ頂点が選択される。該手順は、イニシャライザによって選択された一定の頂点によって初期化され、必要な測地線距離はＦＭＭ−ＴＤを使用して算出することが好ましく、その数学については下で詳述する。ボロノイサンプリングに関するさらなる情報については、ＣＩＳＭ Ｊｏｕｒｎａｌ ＡＣＳＧＣ第４５巻第１号１９９１年春ｐｐ６５−８０「Ｐｒｏｂｌｅｍｓ ｗｉｔｈ ｈａｎｄｌｉｎｇ ｓｐａｔｉａｌ ｄａｔａ，ｔｈｅ Ｖｏｒｏｎｏｉ ａｐｐｒｏａｃｈ」、Ｃｈｒｉｓｔｏｐｈｅｒ Ｍ．Ｇｏｌｄを参照されたい。ＦＭＭ−ＴＤについては以下で詳述する。

今、図１０を参照すると、それは図１の測地線変換器２０をより詳細に示す簡易ブロック図である。測地線変換器２０では、サブサンプラ１８から点８０の集合を受け取る。次いで、ｎ個の選択された頂点の各々から相互に他の頂点にＦＭＭ−ＴＤを適用することによって、ｎ×ｎの測地線距離の距離マトリックスが形成される。低計算量のＦＭＭ−ＴＤを確実にする原理の一つは、ボロノイサンプリングからすでに算出された距離を、測地距離マトリックスの計算のようなその後の計算で再使用することができることである。

ｎ×ｎの距離マトリックスを使用して、多次元スケーリング（ＭＤＳ）を適用して、相違度マトリックス、低次元ユークリッド空間で顔の正準表現を提供する類似性または非類似性のマップが生成される。等長変換は測地線距離に影響を及ぼさないので、そのような変換を受ける顔は、元の顔のそれと同じ正準形を生じることが予想される。発明者らが実行した研究は、実際わずかに非等長の変換で、元の正準形からの小さいが些細な逸脱が生じることを示している。ＭＤＳについては以下で詳述する。

顔のマッチング演算の最後の段階は、マッチングまたは分類、つまり正準形の比較から構成される。簡単な手法は、例えばハウスドルフ計量を使用して二組の点間の距離を測定するものである。しかし、ハウスドルフ計量に基づく方法は計算量が膨大であり、したがって避けるべきである。

本発明の実施形態で使用する代替的手法は、ＭＤＳ手順から得た最初のｍ個の固有値を取り、低次元特徴空間の座標を提供するものである。支配的固有値は正準形を完全には記述しないが、同様の顔が同様の固有値を有する（したがって特徴空間でクラスタを形成する）ことは合理的である。下述する実験は、記載する比較が充分に正確であり、かつ計算量が低いことを示している。本発明の実施形態では、最初の三個の固有値を取り、三次元特徴空間にプロットする。

三角形分割多様体における高速マーチング
本発明の実施形態に係る顔認識は、サブサンプリングのため、およびサブサンプリングされた点から距離マトリックスを形成するための両方に、顔表面上の点間の測地線距離を使用する。最初に、顔の表面を表わす三角形分割多様体上の点対間の距離を算出し、次いでそこから測地線距離を得るために効率的な数値法が必要である。

高速マーチング法（ＦＭＭ）として知られる方法が、Ｊ．Ａ．Ｓｅｔｈｉａｎ、「Ａ ｆａｓｔ ｍａｒｃｈｉｎｇ ｌｅｖｅｌ ｓｅｔ ｍｅｔｈｏｄ ｆｏｒ ｍｏｎｏｔｏｎｉｃａｌｌｙ ａｄｖａｎｃｉｎｇ ｆｒｏｎｔｓ」、Ｐｒｏｃ．Ｎａｔ．Ａｃａｄ．Ｓｃｉ．、９３、４、１９９６年によって開示されており、その内容をこれにより参照によって組み込む。高速マーチング法は、Ｒ．ＫｉｍｍｅｌおよびＪ．Ａ．Ｓｅｔｈｉａｎ、「Ｃｏｍｐｕｔｉｎｇ ｇｅｏｄｅｓｉｃ ｐａｔｈｓ ｏｎ ｍａｎｉｆｏｌｄｓ」に開示されているように、三角形分割領域（ＦＭＭ−ＴＤ）に実質的に延長された。その内容を同様に参照によって組み込む。ＦＭＭ−ＴＤは、測地線距離の一次近似を算出するための効率的な数値法である。

図７のような多様体上で一組のソース点｛ｓ_ｉ｝が与えられると、これらの点から多様体上の他の点までの距離マップＴ（ｘ，ｙ）が、アイコナール方程式
‖▽Ｔ‖＝１；Ｔ（ｓ_ｉ）＝０ （９）
の解として得られる。

ＦＭＭ−ＴＤは、Ｏ（ＮｌｏｇＮ）の複雑度の距離マップの算出を可能にする。ここでＮは、多様体上の点の個数である。

フォトメトリックステレオから顔の幾何学が得られる場合、追加的効率を次のように達成することができる。上記の方程式（８）から表面自体を算出することは実際には必要ない。勾配∇ｚを見出し、その値を使用して、ＦＭＭによって使用される計量を構成すれば充分である。

多次元スケーリング
多次元スケーリング（ＭＤＳ）は、一組の物体間の測定された類似性または非類似性を低次元ユークリッド空間における近接度のパターンの表現にマッピングする方法であり、この文脈で、ＩＥＥＥ Ｔｒａｎｓ．ｏｎ Ｖｉｓｕａｌｉｚａｔｉｏｎ ａｎｄ Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ，２００１に受理されたＧ．Ｚｉｇｅｌｍａｎ、Ｒ．ＫｉｍｍｅｌおよびＮ．Ｋｉｒｙａｔｉの「Ｔｅｘｔｕｒｅ ｍａｐｐｉｎｇ ｕｓｉｎｇ ｓｕｒｆａｃｅ ｆｌａｔｔｅｎｉｎｇ ｖｉａ ｍｕｌｔｉ−ｄｉｍｅｎｓｉｏｎａｌ ｓｃａｌｉｎｇ」ならびにＩＥＥＥ Ｔｒａｎｓ．ｏｎ ＰＡＭＩ，２００１に受理されたＲ．Ｇｒｏｓｓｍａｎｎ、Ｎ．ＫｉｒｙａｔｉおよびＲ．Ｋｉｍｍｅｌの「Ｃｏｍｐｕｔａｔｉｏｎａｌ ｓｕｒｆａｃｅ ｆｌａｔｔｅｎｉｎｇ：Ａ ｖｏｘｅｌ−ｂａｓｅｄ ａｐｐｒｏａｃｈ」を参照されたい。これらの文書の両方の内容をこれにより参照によって本書に組み込む。

本発明の実施形態では、ＦＭＭ−ＴＤ方法を使用して顔表面上の点間の測地線距離を測定することによって、近接度値が得られる。Ａ．ＥｌａｄおよびＲ．Ｋｉｍｍｅｌの「Ｂｅｎｄｉｎｇ ｉｎｖａｒｉａｎｔ ｒｅｐｒｅｓｅｎｔａｔｉｏｎ ｆｏｒ ｓｕｒｆａｃｅｓ」、Ｐｒｏｃ．ｏｆ ＣＶＰＲ’０１、ハワイ２００１年１２月は、多様体上の測地線距離にＭＤＳを適用することで湾曲不変量正準形が生成されることを示した。その内容をこれにより参照によって本書に組み込む。

ＭＤＳ問題を解くための多種多様なアルゴリズムが存在する。それらの各々において、計算量とアルゴリズムの精度との間のトレードオフが行われる。本発明の実施形態は、Ｙｏｕｎｇらによって紹介された古典的スケーリングアルゴリズムを利用するが、他の方法の適用可能性を当業者は理解されるであろう。

（１０）にあるような要素の二乗距離マトリックスＤが与えられると、内積マトリックスを構成することができる。
ここで、ｌ＝［１，…，ｌ］^Ｔであり、Ｘ＝［ｘ_１，…，ｘ_ｎ］^Ｔである。Ｂは、最大でもｋ個の正の固有値を持つ正の半定値マトリックスであり、それは次のように表わすことができる。
Ｂ＝ＵΛＵ^Ｔ （１２）

したがって、座標マトリックスＸは、Ｂの二乗根マトリックスを算出することによって得られる。

統計の観点から、上述した手法は、基底ベクトルに投射される所定のｎ個のベクトルの分散を最大にする直交基底を見出す主成分分析（ＰＣＡ）と同等であることが注目される。

経験的観察は、平滑表面で測定される測地線距離に含まれるほとんどの幾何学構造の表現のためには、三次元で通常充分であることを示している。

今、図１１を参照すると、それは、本発明の実施形態のプロセスの流れを示し、かつ上述した様々な手順および機能をいかに協働させることができるかを示す、簡易フローチャートである。第一段階Ｓ１で、マッチングを希望する物体から３Ｄデータが照合される。照合は、上述したスキャン方法のいずれか、または体の３Ｄトポロジ情報を収集するいずれかの他の適切な方法を使用することができる。任意選択的段階Ｓ２では、アルベドまたは反射力情報を収集することができる。アルベド情報を組み込む可能性の一つは、二次元顔多様体を４Ｄまたは６Ｄ空間に埋め込み、組合せ計量を使用して多様体上の距離を測定することによるものであり、したがって４Ｄ埋込みにおける第四座標および６Ｄ埋込みにおける第四〜第六座標は、アルベド情報のグレーレベルまたはＲＧＢチャネルをそれぞれ表わす。

収集されたデータは次いで、図６のような三角形分割多様体上の一連の点として、段階Ｓ３に提示される。多様体は３Ｄデータから直接構成することができ、あるいは使用されるデータ収集方法によっては、補助計算を必要とすることがある。

段階Ｓ４は前処理段階である。前処理段階は、ソフトつまり顔の幾何学のしばしば変化する領域を除去し、ハード領域つまり一定に維持される領域を残す。前処理はまた、画像のクロッピングおよび類似の操作をも含むことができる。前処理は、顔上の基準点を位置付け、次いで一般的顔形を使用して、無視すべきソフト領域の位置を決定することを含むことが好ましい。

段階Ｓ５はサブサンプリング段階である。前処理された多様体は、幾何学情報を保持するためにもっとも重要な点だけを選択することによって、簡約される。上述の通り、ボロノイサンプリングのような効率的な技術を使用することができる。段階Ｓ５を図１２により詳細に示す。ここで段階Ｓ５．１は前処理された多様体の入力を含む。選択段階Ｓ５．２は、精度と計算量との間のトレードオフにおいて、サブサンプリングのための点の所望の個数を使用者に設定させる。最後に、段階５．３は、最大限のトポロジ情報を有する最小限の個数の点を探すボロノイサンプリングを含む。上述の通り、初期点が取られ、次いで、所望の個数の点に達するまで、そこから最も遠い点が追加される。測地線距離は、最も遠い点を決定するために使用され、ＦＭＭ−ＴＤを使用して測地線距離を探すことができる。

段階Ｓ６では、サブサンプリングされた各頂点と相互に他の点との間の測地線距離の距離マトリックスが算出される。上で説明したように、測地線距離を計算する効率的な方法として、ＦＭＭ−ＴＤを使用することが好ましい。

段階Ｓ７では、ＭＤＳを使用して距離マトリックスの相違度が測定され、よって低次元ユークリッド表現で測地線距離が表わされる。最後に、段階Ｓ８で、低次元ユークリッド表現で表わされた顔を、様々な距離計算技術によって他の顔と比較することができる。上述の通り、好適な方法は、ＭＤＳ手順から得た最初のｍ個の固有値を使用して、低次元特徴空間の座標を提供する。本発明の実施形態では、最初の三個の固有値が取られ、三次元特徴空間にプロットされる。支配的固有値は正準形を完全には記述しないが、それでもなお同様の顔は特徴空間で認識可能なクラスタを形成し、したがってマッチングが可能である。

実験結果
該手法を評価し、本発明の実施形態を検証するために、四つの実験を実行した。次の三つのデータベースを使用した。
Ｉ．上述しかつ図１３に示す種類の簡単な３Ｄスキャナによって得られた３Ｄ顔表面のデータベース^１。該データベースは、一つの人工顔（被写体ｂ）および五人の人間の顔を含む六つの被写体ａ．．．ｆから構成される。
脚注^１ 該データベースはＧｉｌ Ｚｉｇｅｌｍａｎの好意によりｈｔｔｐ：／／ｗｗｗ．ｃｓ．ｔｅｈｎｉｏｎ．ａｃ．ｉｌ／〜ｚｇｉｌから入手可能である。
ＩＩ．Ｙａｌｅ顔データベースＢ^２。該データベースは、制御された照明条件で撮影された、白人およびアジア型の両方の１０の被写体の高解像度グレースケール画像から構成される。各被写体が幾つかのポーズで示された（わずかな頭の回転）。フォトメトリックステレオを使用して、３Ｄ表面再構成が実行された。
脚注^２ 該データベースは、ｈｔｔｐ：／／ｃｖｃ．ｙａｌｅ．ｅｄｕ／ｐｒｏｊｅｃｔｓ／ｙａｌｅｆａｃｅｓＢ／ｙａｌｅｆａｃｅｓＢ．ｈｔｍｌから入手可能である。
ＩＩＩ．３Ｄスキャナを使用して得られた、異なる顔の表情を持つ人間の被写体の高解像度の顔表面およびテクスチャのデータベース。

擬似的な顔の表情のスキャン表面
第一の実験はデータベースＩ（図１３）に対して実行され、擬似的な顔の表情に対するアルゴリズムの感度を試験するように意図したものであった。

今、図１４を参照すると、それは図１３の顔の一つをいかに変形して顔の表情をシミュレートしたかを示している。顔ａは図１３の未変形顔ｄであり、顔ｂおよびｃはそれに適用された異なる変形である。ｂでは、被写体ｄの額、頬、および顎が変形され、同一被写体の異なる顔の表情をシミュレートしている。ｃでは、特徴、つまり鼻が異なる顔のものと置換されている。後者は大きな特徴の変化に対するアルゴリズムの感度を試験するために適用された。これらの変形は等長的ではなかったことが重要である。

表面をサイズ６０×９５にスケーリングし、ボロノイサンプリングを使用して４００点にダウンサンプリングした。その後、ＦＭＭ−ＴＤを使用して各点からの測位線距離を算出し、多次元スケーリングを距離マトリックスに適用した。

今、図１５を参照すると、それはマッチングのための三次元特徴空間のグラフである。さらに詳しくは、図１５のグラフは、ＭＤＳによって得られた最初の三個の固有値をプロットすることができる特徴空間表現を示す。特徴空間内の各点は、図１３および１４の顔つまりＡ（点）、Ｂ（丸）、Ｃ（×）、Ｄ（五角形）、Ｅ（三角形）、およびＦ（六角形）の一つに対応する。顔の変形は純粋に等長ではないが、近接して配置された点を生成し、クラスタを形成することが分かる。他方、特徴の置換によって得られた顔は被写体Ｄの元の顔から遠い。

フォトメトリックステレオ
第二の実験はデータベースＩＩに対して実行された。実験の目的は、３Ｄ表面取得のためにフォトメトリックステレオを使用する実現可能性、および頭部の回転に対するアルゴリズムの感度を決定することであった。

フォトメトリックステレオからの忠実な表面再構成は、多数の異なる照明方向を必要とするようである。理由は主として、ランバートモデルからの事実上の逸脱（特に額、髪、および目で目立つ）、および画像取得中のわずかな被験者の変位（例えばまばたき）のためである。今、図１６を参照すると、それは同一の顔の九種類の照明、および九つの画像全部から表面再構成によって行われた最小二乗表面の再構成を示す。９という数は、効率的な個数であることが経験的に明らかになった数にすぎない。より少数の画像は結果的に、より低い精度の表面を生じ、したがってより低い精度の認識となる。

今、図１７を参照すると、それは、それぞれの顔の９つの画像からフォトメトリックステレオから各々再構成された、一連の１０個の顔表面ａ〜ｊを示す。フォトメトリックステレオから３Ｄ幾何学を再構成したときに、比較的高いノイズが避けられないようであることが注目される。

今、図１８を参照すると、それはいくつかのポーズで撮影された図１７の被写体Ｇを示す。一部の被写体に対して、小さい頭部の回転に対する認識感度を試験するために、いくつかのポーズを撮影した。アルゴリズムは湾曲不変量であるので、回転の影響（等長変換）は無視できるほど小さく、見出された可能な全ての変位は主として不正確な表面認識のためであるように思われた。

実験では、顔を目および唇の配置によって手動的に中心に合わせ、顔の輪郭によって囲まれる領域で処理を実行した。表面はサイズ５６×８０にスケーリングし、ボロノイサンプリングを使用して４００点でサンプリングした。その後、高速マーチングを使用して各点からの距離を算出し、多次元スケーリングを距離マトリックスに適用した。

今、図１９を参照すると、それは、一部が図１８によって例示するように幾つかのポーズを取った、図１７の顔の特異値分解によって得た最初の三個の固有値を使用して特徴空間表現を示す簡易グラフである。Ａ（点）、Ｂ（丸）、Ｃ（バツ印）、Ｄ（プラス）、Ｅ（星印）、Ｆ（五角形）、Ｇ（六角形）、Ｈ（菱形）、Ｉ（方形）およびＪ（三角形）。被写体Ａ、Ｂ、Ｄ、ＥおよびＧの異なるポーズはクラスタを形成する。第二の実験の結果から、異なるポーズが結果的に比較的狭いクラスタを生じることは明らかである。

表面マッチング
第三の実験はデータベースＩに対して実行され、その目的は幾何学的手法を単純な表面比較と比較することである。

実験は、表面類似性に対し簡単なＬ_２ノルムに基づく測度（Ｌ_２−ｎｏｒｍ−ｂａｓｅｄ ｍｅａｓｕｒｅ）を使用する。今、図２０を参照すると、それは二対の表面９０および９２を示す。各表面は、二つの眼球中心および口の中心によって画定される平面９４、９４’を有する。表面９０の対は位置合わせされず、表面９２の対は９０の場合と同じであるが、位置合わせの後である。実験では、表面を次の二通りの方法で位置合わせした。
（ａ）図２０に示すように、二つの表面の二つの眼球中心および口の中心によって形成される平面９４、９４’を一致させた。
（ｂ）二つの面上の点間のユークリッド距離の和が最小になるように、ユークリッド変換
を求めることによる。ここでＲは回転マトリックスであり、ｂは並進ベクトルである。つまり、表面の非類似性（この場合、二つの位置合わせされた表面間のギャップの近似体積）を最小にする回転を選択する。最適位置合わせは、勾配降下アルゴリズムと数値勾配計算によって求めた。

最適位置合わせを得た後、二つの表面間のギャップの体積を積分することによって、表面の近接性を計算する。そのような手法は、Ｃ．ＢｅｕｍｉｅｒおよびＭ．Ｐ．Ａｃｈｅｒｏｙ、「Ａｕｔｏｍａｔｉｃ Ｆａｃｅ Ａｕｔｈｅｎｔｉｃａｔｉｏｎ ｆｒｏｍ ３Ｄ Ｓｕｒｆａｃｅ」、英国マシンビジョン会議ＢＭＶＣ ９８、英国サウサンプトン大学、１９９８年９月１４−１７日、ｐｐ４４９−４５８、１９９８年に開示されたグローバル表面マッチングの概念に従うものである。その内容をこれにより参照によって組み込む。

今、図２１および２２を参照すると、それらはこの第三の実験の結果を要約した二つのグラフである。位置合わせ後の多様体の単純な比較は顔の表情に影響され易く、一方で同一被写体の異なる表情を、他方で異なる被験者を区別できないことが明らかである。

さらに詳しくは、図２１および２２は、測地線距離とは異なり、表面間のＬ_２距離では、たとえ最適表面位置合わせを使用しても顔が区別されないことを示す。同一被写体の異なる表情および頭のポーズは、認識可能なクラスタを形成しない。理由は、単純な比較が顔表面の幾何学を考慮に入れていないことである。

図２１は、図１７の顔の組および異なる表情を示すそれらの顔の幾つか、つまりＡ（点）、Ｂ（丸）、Ｃ（バツ印）、Ｄ（プラス）、Ｅ（星印）、Ｆ（五角形）、Ｇ（六角形）、Ｈ（菱形）、Ｉ（方形）およびＪ（三角形）について、三点による位置合わせのためのＬ_２に基づくアルゴリズムの結果を示す。クラスタは認識不能である。

図２２は、同じ組の顔、つまりＡ（点）、Ｂ（丸）、Ｃ（バツ印）、Ｄ（プラス）、Ｅ（星印）、Ｆ（五角形）、Ｇ（六角形）、Ｈ（菱形）、Ｉ（方形）およびＪ（三角形）について、最適位置合わせと共にＬ２に基づくアルゴリズムを使用している。再び、明確なクラスタは現れない。

リアルな表情の人間被写体
第四の実験は、今回、データベースＩＩＩを使用して実行された。主な目標は、リアルな顔の表情の被写体に対し現場条件でアルゴリズムを試験することであった。データベースＩＩＩから三人の被写体を図２３に示し、図２４は三つの異なる表情の単一の被写体を示す。

今、図２５〜２８を参照すると、それらは関連のある特徴だけを抽出する顔の前処理を示す。関連のある特徴だけを抽出するために、顔を処理した。テクスチャおよび深度マップの両方に測地線マスクを適用した。マスクは、鼻尖を中心に測地線的な意味で一定半径の玉を算出することによって得た。実験では、鼻の位置を手動的に見出した。図２５および２６はテクスチャマップであり、図２７および２８は深度マップである。図２５および２７はマスクの適用前のテクスチャおよび深度マップをそれぞれ示し、図２６および２８はマスクの適用後のテクスチャおよび深度マップをそれぞれ示す。

今、図２９、３０、および３１を参照すると、それらは本発明の実施形態のメッシュ処理段階をそれぞれ示す。図２９は高解像度の三角形分割多様体を示し、図３０は多様体のダウンサンプリングバージョンを示し、図３１は表面を正準形で示す。

最小平均二乗距離測度は、元の多様体より正準形表面に適用する方が、ずっと良い結果を生み出した。現在、最小平均二乗距離測度は、計算量上膨大である。計算がずっと単純な中心積率に基づく正準形の比較は、最小二乗距離よりわずかに低い精度結果を生じるが、それでも顔の類似性について優れた尺度を提供する。

正準形を作成するために、古典的なスケーリングアルゴリズムを使用した。本発明は、最小二乗ＭＤＳアルゴリズムの使用に、古典的スケーリングアルゴリズムを超える顕著な改善を見出さなかった。２５０〜５００のサブサンプルが、計算量を比較的低く維持しながら、十分な精度をもたらすことが分かった。

本発明の実施形態は、頬を膨らましたり口を開けるなどの顔野表面の強い非等長的な変形を考慮したときに、結果が悪かったことが注目される。前処理段階でハード領域であって実質的に剛性の特徴を含む顔の上方部分に関心領域を制限すると、上記の条件下でかなり良い結果が得られる。

計量テンソルを使用する測地線距離計算
上述の実施形態は、幾何学的不変特徴に基づく３Ｄ顔認識手法を記載している。実施形態の重要な概念は、顔の表情から結果的に生じるような等長変形に対し不変の顔表面の表現である。幾何学的不変量の構成における段階の一つは、三角形分割された表面の測地線距離の測定であり、それは上述したように、三角形分割領域に対する高速マーチング（ＦＭＴＤ）によって実行される。下述する実施形態は、測地線距離計算に表面の計量テンソルだけを使用する。顔表面取得のためのフォトメトリックステレオと組み合わせたときに、該実施形態は、３Ｄ表面を再構成することなく、顔の湾曲不変量表現を構成することが可能である。

本実施形態では、三角形分割領域に対する上述した高速マーチング（ＦＭＴＤ）のバリエーションを提供する。前段落で示したように、バリエーションは、表面の計量テンソルだけを前提として測地線距離を計算することができ、顔表面の実際の３Ｄ再構成を必要とせず、したがって方法が簡素化され、エラーの傾向が低下する。該実施形態は、顔表面取得のためのフォトメトリックステレオ法と組み合わせることが好ましい。フォトメトリックステレオは安価かつ単純な手法であり、表面を再構成することなく計量テンソルを生成する。その結果、単純かつ高速の顔認識方法が得られる。

表面取得
本実施形態の顔認識アルゴリズムは、顔を三次元表面として処理する。したがって最初に、認識しようとする被写体の顔表面を得る必要がある。本実施形態は表面勾配を再生する方法に重点を置く。以下で示すように、実際の表面再構成は必要なく、計算の手間が省け、数値誤差が低減する。

Ａ．フォトメトリックステレオ
今、図３２を参照すると、それは顔１００、視点１０２、および照明源１０４を示す。フォトメトリックステレオ技術は、異なる照明状態の同一被写体の幾つかの画像を得ること、およびランバート反射モデルを想定することによって３Ｄ幾何学を抽出することから構成される。関数として表現される顔表面を、ｚ軸に沿って所定の視点１０２から観察すると想定する。物体は、１０４から_ｉｌに沿って向けられた平行光線源によって照明される。

以下で、方程式の番号付けは再び１から始まる。

本発明者らはランバート反射モデルを想定する。つまり、観察画像は次式によって与えられる。
Ｉ^ｉ（ｘ，ｙ）＝ρ（ｘ，ｙ）ｎ（ｘ，ｙ）・ｌ^ｉ （１）
ここで、ρ（ｘ，ｙ）は物体のアルベドであり、ｎ（ｘ、ｙ）は物体表面の法線であり、次のように表わされる。

マトリックス−ベクトル表記を使用すると、（１）は次のように書き直すことができる。
Ｉ（ｘ，ｙ）＝Ｌν （３）
ここで、
であり、かつ
である。

Ｂ．構造光
Ｍ．Ｐｒｏｅｓｍａｎｓ、Ｌ．Ｖａｎ Ｇｏｏｌ、およびＡ．Ｏｏｓｔｅｒｌｉｎｃｋ、「Ｏｎｅ−Ｓｈｏｔ Ａｃｔｉｖｅ Ｓｈａｐｅ Ａｃｑｕｉｓｉｔｉｏｎ」、パターン認識国際会議会報、ウィーン、Ｃ巻、３３６−３４０頁、１９９６年、ならびにＳ．ＷｉｎｋｅｌｂａｃｈおよびＦ．Ｍ．Ｗａｈｌ、「Ｓｈａｐｅ ｆｒｏｍ ２Ｄ Ｅｄｇｅ Ｇｒａｄｉｅｎｔｓ」、Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ Ｌｅｃｔｕｒｅ Ｎｏｔｅｓ ｉｎ Ｃｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅｓ ２１９１、３７７−３８４頁、Ｓｐｒｉｎｇｅｒ、２００１年は、物体上に投射した二つのストライプパターンから表面法線（勾配）の再構成を可能にする、２Ｄエッジ勾配再構成技術に基づく形状を提唱した。これらの文書の内容全体をこれにより参照によってそっくりそのまま組み込む。該再構成技術は、撮像２Ｄ画像の投射ストライプの方向が、３Ｄの表面の局所的な方向付けに依存することに基づく。Ｓｏｂｅｌ、Ｃａｎｎｙ等のような古典的エッジ検出オペレータを使用して、ストライプエッジの方向を求めることができる。

今、図３３を参照すると、それは表面勾配と局所的ストライプ方向との間の関係を示す簡易図である。像平面内の画素は観察ベクトルｓを画定する。ストライプ方向は、像平面内および観察平面内の両方にあるストライプ方向ベクトルν′を決定する。投射ストライプν_１の実際の接線ベクトルは、観察平面の法線ν＝ｓ′×ｃ、およびストライプ投射平面の法線ｐに直交する。平行な投射を想定すると、次式
ν_１＝ｃ×ｐ （８）
が得られる。

第二ストライプ照明を第一画像に対して回転して、場面の第二画像を取得すると、第二接線ベクトルν_２を算出することができる。次に表面法線は、次式
ｎ＝ν_１×ν_２ （９）
に従って算出される。

Ｓ．ＷｉｎｋｅｌｂａｃｈおよびＦ．Ｍ．Ｗａｈｌ、「Ｓｈａｐｅ ｆｒｏｍ Ｓｉｎｇｌｅ Ｓｔｒｉｐｅ Ｐａｔｔｅｒｎ Ｉｌｌｕｍｉｎａｔｉｏｎ」、Ｌ．Ｖａｎ Ｇｏｏｌ（編集）：「Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ（ＤＡＧＭ２００２）」、Ｌｅｃｔｕｒｅ Ｎｏｔｅｓ ｉｎ Ｃｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅ２４４９、２４０−２４７頁、Ｓｐｒｉｎｇｅｒ、２００２年において、著者らは単一の照明パターンを使用して、局所的方向からの表面法線および投射ストライプの幅を推定している。その内容をこれにより参照によって組み込む。

湾曲不変量表現
ある形状類似性基準を最大にする二つの表面のユークリッド変換を求めることに基づく古典的表面マッチング方法は、主として剛性物体に適している。そのような方法の使用は、Ｏ．Ｄ．ＦａｕｇｅｒａｓおよびＭ．Ｈｅｂｅｒｔ、「Ａ ３Ｄ ｒｅｃｏｇｎｉｔｉｏｎ ａｎｄ ｐｏｓｉｔｉｏｎｉｎｇ ａｌｇｏｒｉｔｈｍ ｕｓｉｎｇ ｇｅｏｍｅｔｒｉｃａｌ ｍａｔｃｈｉｎｇ ｂｅｔｗｅｅｎ ｐｒｉｍｉｔｉｖｅ ｓｕｒｆａｃｅｓ」、人工知能に関する第７回国際合同会議会報９９６−１００２頁、１９８３年、さらにＰ．Ｊ．Ｂｅｓｌ、「Ｔｈｅ ｆｒｅｅ ｆｏｒｍ ｍａｔｃｈｉｎｇ ｐｒｏｂｌｅｍ」、Ｍａｃｈｉｎｅ ｖｉｓｉｏｎ ｆｏｒ ｔｈｒｅｅｄｉｍｅｎｓｉｏｎａｌ ｓｃｅｎｅ、Ｆｒｅｅｍａｎ，Ｈ．（編集）、Ｎｅｗ Ｙｏｒｋ Ａｃａｄｅｍｉｃ、１９９０年、ならびにＧ．ＢａｒｅｑｕｅｔおよびＭ．Ｓｈａｒｉｒ、「Ｒｅｃｏｖｅｒｉｎｇ ｔｈｅ ｐｏｓｉｔｉｏｎ ａｎｄ ｏｒｉｅｎｔａｔｉｏｎ ｏｆ ｆｒｅｅ−ｆｏｒｍ ｏｂｊｅｃｔｓ ｆｒｏｍ ｉｍａｇｅ ｃｏｎｔｏｕｒｓ ｕｓｉｎｇ ３Ｄ ｄｉｓｔａｎｃｅ ｍａｐ」、ＩＥＥＥ Ｔｒａｎｓ．ＰＡＭＩ、１９（９）、９２９−９４８頁、１９９７年にも詳述されている。これらの三つの文書の内容をこれにより参照によって本書に組み込む。

本発明の開示から明らかなように、人間の顔は、顔の表情の結果生じる変形を受けるので、決して剛性物体とみなすことはできない。他方、顔表面が受ける変形の分類は無原則ではなく、実験観察は、顔の表情が等長的な（つまり長さが維持される）変形としてモデル化することができることを示している。そのような変形は延伸されず、それらが顔を引き裂くこともない。さらに厳密には、人間の顔が受ける変形は表面の計量を維持すると言うことができる。そのような変形の結果生じる表面は、等長表面と呼ばれる。変形可能な表面マッチングアルゴリズムの要件は、すべての等長表面に対して同一である表現を見つけることである。

Ｅ．Ｌ．Ｓｃｈｗａｒｔｚ、Ａ．Ｓｈａｗ、およびＥ．Ｗｏｌｆｓｏｎ、「Ａ ｎｕｍｅｒｉｃａｌ ｓｏｌｕｔｉｏｎ ｔｏ ｔｈｅ ｇｅｎｅｒａｌｉｚｅｄ ｍａｐｍａｋｅｒ’ｓ ｐｒｏｂｌｅｍ：ｆｌａｔｔｅｎｉｎｇ ｎｏｎ−ｃｏｎｖｅｘ ｐｏｌｙｈｅｄｒａｌ ｓｕｒｆａｃｅｓ」、ＩＥＥＥ Ｔｒａｎｓ．ＰＡＭＩ、１１、１００５−１００８頁、１９８９年は、平面モデルによって湾曲表面を研究するためのツールとしての多次元スケーリング（ＭＤＳ）の使用を初めて紹介した。その内容を参照によって本書に組み込む。Ｇ．Ｚｉｇｅｌｍａｎ、Ｒ．Ｋｉｍｍｅｌ、およびＮ．Ｋｉｒｙａｔｉ、「Ｔｅｘｔｕｒｅ ｍａｐｐｉｎｇ ｕｓｉｎｇ ｓｕｒｆａｃｅ ｆｌａｔｔｅｎｉｎｇ ｖｉａ ｍｕｌｔ−ｄｉｍｅｎｓｉｏｎａｌ ｓｃａｌｉｎｇ」、ＩＥＥＥ Ｔｒａｎｓ． Ｖｉｓｕａｌｉｚａｔｉｏｎ ａｎｄ Ｃｏｍｐ． Ｇｒａｐｈｉｓ、８、１９８−２０７頁、２００２年、ならびにＲ．Ｇｒｏｓｓｍａｎ、Ｎ．Ｋｉｒｙａｔｉ、およびＲ．Ｋｉｍｍｅｌ、「Ｃｏｍｐｕｔａｔｉｏｎａｌ ｓｕｒｆａｃｅ ｆｌａｔｔｅｎｉｎｇ：ａ ｖｏｘｅｌ−ｂａｓｅｄ ａｐｐｒｏａｃｈ」、ＩＥＥＥ Ｔｒａｎｓ．ＰＡＭＩ、２４、４３３−４４１頁、２００２年は、これらの概念の一部をテクスチャマッピングおよびボクセルを利用した皮質平坦化の問題に拡大した。これらの最後の二つの引用文献の内容もまたここで参照によって本書に組み込む。

この手法の一般化は、Ａ．Ｅｌａｄ、Ｒ．Ｋｉｍｍｅｌ、「Ｂｅｎｄｉｎｇ ｉｎｖａｒｉａｎｔ ｒｅｐｒｅｓｅｎｔａｔｉｏｎｓ ｆｏｒ ｓｕｒｆａｃｅｓ」、Ｐｒｏｃ．ＣＶＰＲ、１６８−１７４頁、２００１年に紹介された。その内容を、物体認識のための枠組として、これにより参照によって組み込む。彼らは、等長変形下で不変の表面の表現を構成するための効率的なアルゴリズムを示した。湾曲不変量正準形としてそこに記載された方法を、本実施形態で簡便な表現として利用する。

顔表面Ｓの多面体近似を前提として、そのような近似は、有限組の点ｐ_ｉ（ｉ＝１，．．．，ｎ）で基礎を成す連続表面をサンプリングし、かつ表面
δ（ｐ_ｉ，ｐ_ｊ）＝δ_ｉｊ （１０）
に関連する計量δを打ち切ることによって、得たものと考えることができる。

δ_ｉｊの値をマトリックス形で書くと、表面点間の相互距離のマトリックスが得られる。便宜上、本発明者らは二乗相互距離
（△）_ｉｊ＝δ^２ _ｉｊ （１１）
を定義する。

マトリックスΔは等長表面変形下では不変であるが、それは任意の順序付けおよび表面点の選択に依存するので、等長表面の一意表現ではない。本発明者らは、一方では等長表面に対し一意の幾何学的不変量であって、他方では簡単な剛性表面マッチングアルゴリズムを使用してそのような不変量を比較することを可能にする、幾何学的不変量を得たいと思っている。二乗相互距離を非類似性の特定の事例として扱うことにより、表面を低次元ユークリッド空間Ｒ_ｍに埋め込むために、前の実施形態に関連して示した、多次元スケーリング（ＭＤＳ）と呼ばれる次元数削減技術を適用することができる。これは、二つの計量空間間のマッピングを求めることに等しい。
φ：（Ｓ，δ）→（Ｒ^ｍ，ｄ）；φ（ｐ_ｉ）＝ｘ_ｉ （１２）
これは、一部の単調関数ｆの場合、埋込み誤差
ε＝ｆ（｜δ_ｉｊ−ｄ_ｉｊ｜）；ｄ_ｉｊ＝‖ｘ_ｉ−ｘ_ｊ‖_２ （１３）
を最小化する。

得られたｍ次元表現は、表面点ｐ_ｉに対応する一組の点ｘ_ｉ∈Ｒｍ（ｉ＝１，．．．，ｎ）である。

測地線距離の測定
所与の表面の正準形の構成の重要なステップの一つは、表面の測地線距離つまりδ_ｉｊの計算のための効率的なアルゴリズムである。以下で三角形分割領域の高速マーチング（ＦＭＤＴ）と呼ぶ、三角形分割領域に対する距離計算のための数値的に一環したアルゴリズムは、ＥｌａｄおよびＫｉｍｍｅｌによって使用されたものであり、前の実施形態に関連して上述した。ＦＭＴＤはＫｉｍｍｅｌおよびＳｅｔｈｉａｎによって高速マーチング方法の一般化として提唱された。

ＦＭＴＤを使用して、表面頂点とｎ個の表面頂点の残りとの間の測地線距離は、Ｏ（ｎ）演算で計算することができる。ＳＩＡＭ Ｊｏｕｒｎａｌ ｏｎ Ｎｕｍｅｒｉｃａｌ Ａｎａｌｙｓｉｓ ２００１年７月に出版のために提出されたＪ．ＳｅｔｈｉａｎおよびＡ．Ｖｌａｄｉｍｉｒｓｋｙ、「Ｏｒｄｅｒｅｄ ｕｐｗｉｎｄ ｍｅｔｈｏｄｓ ｆｏｒ ｓｔａｔｉｃ Ｈａｍｉｌｔｏｎ−Ｊａｃｏｂｉ ｅｑｕａｔｉｏｎｓ： ｔｈｅｏｒｙ ａｎｄ ａｐｐｌｉｃａｔｉｏｎｓ」、Ｔｅｃｈｎｉｃａｌ Ｒｅｐｏｒｔ ＰＡＭ ７９２（ＵＣＢ）、Ｃｅｎｔｅｒ ｆｏｒ Ｐｕｒｅ ａｎｄ Ａｐｐｌｉｅｄ Ｍａｔｈｅｍａｔｉｃｓ ２００１、ならびにＦ．Ｍ’ｍｏｌｉおよびＧ．Ｓａｐｉｒｏ、「Ｆａｓｔ ｃｏｍｐｕｔａｔｉｏｎ ｏｆ ｗｅｉｇｈｔｅｄ ｄｉｓｔａｎｃｅ ｆｕｎｃｔｉｏｎｓ ａｎｄ ｇｅｏｄｅｓｉｃｓ ｏｎ ｉｍｐｌｉｃｉｔ ｈｙｐｅｒ−ｓｕｒｆａｃｅｓ」、Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔａｔｉｏｎａｌ Ｐｈｙｓｉｃｓ，１７３（２）、７３０−７６４頁、２００１年にも論じられているように、多様体の距離の測定は、関数および陰的多様体のグラフのために、前に実行されている。上記引用文献の両方の内容を参照によって本書に組み込む。

しかし、上記の引用文献とは対照的に、本実施形態の焦点は表面再構成の実行を回避することである。したがって、本実施形態は、表面勾配▽ｚの値だけを使用して表面上の測地線距離を算出する、ＦＭＴＤの変更バージョンを利用する。表面勾配値は例えばフォトメトリックステレオまたは構造光から得ることができる。

今、図３４を参照すると、それは直交格子Ｕ１２０が変換Ｘを介して多様体１２２上に投影されて、非直交格子Ｘ（Ｕ）１２４が形成されることを示す簡易図である。

顔表面は、パラメータ表示面Ｕ＝（ｕ^１，ｕ^２）＝（ｘ，ｙ）から媒介変数多様体へのマッピング_２３Ｘ：→ＲＲによって表わされる媒介変数多様体と考えることができる。
Ｘ（Ｕ）＝（ｘ^１（ｕ^１，ｕ^２），ｘ^２（ｕ^１，ｕ^２），ｘ^３（ｕ^１，ｕ^２）） （１６）
これは次に
Ｘ（Ｕ）＝（ｘ，ｙ，ｚ（ｘ，ｙ）） （１７）
と書くことができる。

ｕ_ｉに関するＸの導関数は、
と定義され、それらは図示するように多様体上の非直交座標系１２４を構成する。上記方程式（１７）の特定の事例では、次の通りである。
Ｘ_ｉ＝（１，０，ｚ_ｘ），Ｘ_２＝（１，０，ｚ_ｙ） （１８）

多様体上の距離要素は、
であり、ここで本発明者らはアインシュタインの総和規約を使用し、多様体の計量テンソルｇ_ｉｊを次式によって求めた。

Ｊ．Ａ．Ｓｅｔｈｉａｎ、「Ａ ｒｅｖｉｅｗ ｏｆ ｔｈｅ ｔｈｅｏｒｙ， ａｌｇｏｒｉｔｈｍｓ， ａｎｄ ａｐｐｌｉｃａｔｉｏｎｓ ｏｆ ｌｅｖｅｌ ｓｅｔ ｍｅｔｈｏｄ ｆｏｒ ｐｒｏｐａｇａｔｉｎｇ ｓｕｒｆａｃｅｓ」、Ａｃｔａ ｎｕｍｅｒｉｃａ、３０３−３９５頁、１９９６年に論じられた古典的高速マッチング方法は、直交座標系の距離を計算する。その内容をこれにより参照によって組み込む。格子点の更新のための数値ステンシルは、直角三角形の頂点から成る。本事例では、ｇ１２≠Ｕであり、結果的に得られる三角形は必ずしも直角ではない。格子点が鈍角三角形であるステンシルによって更新される場合、したがって問題が発生するかもしれない。ステンシルの点の一つの値は、時間内にセットされないかもしれず、使用することができない。鈍角三角形を含む三角形分割領域の高速マーチングには、同様の問題がある。該問題および可能な解決策がさらに、Ｒ．ＫｉｍｍｅｌおよびＪ．Ａ．Ｓｅｔｈｉａｎ、「Ｃｏｍｐｕｔｉｎｇ ｇｅｏｄｅｓｉｃ ｏｎ ｍａｎｉｆｏｌｄｓ」、Ｐｒｏｃ．ＵＳ Ｎａｔｉｏｎａｌ Ａｃａｄｅｍｙ ｏｆ Ｓｃｉｅｎｃｅ ９５、８４３１−８４３５頁、１９９８年に論じられており、その内容をこれにより参照によって組み込む。

本発明者らの解決策は、上記文献のそれと同様である。本実施形態では、格子に対し前処理段階を実行し、そこで全ての鈍角三角形を図３５に示すように二つの鋭角三角形に分割する。図３５は、１および２と表示された二つの元の三角形を示す。三角形１は固有数値支持を与えるが、三角形２は依然として鈍角である。したがって三角形２は三角形３および４によって置換される。分割は、追加エッジを加え、更新された格子点を非隣接格子点と接続することによって実行される。遠い格子点は数値ステンシルの一部となる。分割の必要性は、格子点における非直交軸間の角度によって決まる。それは、
によって計算される。

ｃｏｓα＝０ならば、軸は直交し、分割は必要無い。ｃｏｓα＜０ならば、角度αは鈍角であり、分割しなければならない。（２１）の分母は常に正であるので、分子ｇ_１２の符号だけを検査する必要がある。

角度を分割するために、更新された格子点を、その点からＸ_１方向にｍ個の格子点、およびＸ_２方向にｎ個の格子点だけ離れた位置にある別の点と接続する。ｍおよびｎは負数とすることができることに注目されたい。新たに接続された点は、鈍角が二つの鋭角に分割された場合、固有支持点である。ｃｏｓα＜０の場合、
および
であるならば、これがそうである。

また、分子の符号を検査すれば十分である。ｃｏｓα＞０の場合、ｃｏｓβ_２はその符号を変化し、制約条件は次のようになる。
ｍｇ_１１＋ｎｇ_１２＞０，ｍｇ_１２＋ｎｇ_２２＜０ （２４）

このプロセスが全ての格子点に対して行なわれる。前処理段階が終わると、各格子点に対し適切な数値ステンシルを持つことになり、距離を計算することができる。

使用する数値方式は、展開ステップを実行する必要が無いことを除けば、上述したＫｉｍｍｅｌおよびＳｅｔｈｉａｎのそれと同様である。鈍角三角形を分割する支持格子点はより効率的に見出すことができる。必要な三角形のエッジ長および角度は、格子点の表面計量ｇ_ｉｊに応じて計算され、それは今度は表面勾配ｚ_ｘ、ｚ_ｙを使用して算出される。より詳細な記述は、２００３年の発表用に提出されたＡ．ＳｐｉｒａおよびＲ．Ｋｉｍｍｅｌ、「Ａｎ ｅｆｆｉｃｉｅｎｔ ｓｏｌｕｔｉｏｎ ｔｏ ｔｈｅ ｅｉｋｏｎａｌ ｅｑｕａｔｉｏｎ ｏｎ ｐａｒａｍｅｔｒｉｃ ｍａｎｉｆｏｌｄｓ」に出ている。その内容をこれにより参照によって組み込む。

３Ｄ顔認識
今、図３７Ａを参照すると、それは本実施形態を実行するための装置を示す簡易ブロック図である。３Ｄスキャンシステム１２６は、表面勾配データを得るために、３Ｄデータ取得を実行する。プリプロセッサ１２８は生データの前処理を実行する。センタリングおよびクロッピングのような予備的処理は、単純なパターンマッチングによって実行することができ、それは前の実施形態で論じたように、人間の顔の最もよく認識可能な特徴として目を使用することができる。

処理を顔自体に属する表面に制限するために、顔の輪郭をも抽出することが好ましい。換言すると、初期スキャンは、顔自体に属しない領域を含むことができる。

前の実施形態に関連して論じたように、前処理は変化し難い顔の部分に重点を置き、髪のように容易に変えることのできる部分は除外することが好ましい。本実施形態を使用する実験研究では、前処理段階は、鼻尖を中心とする楕円形（測地線的な意味で）の外側に位置する部分を除去することによって、三角形分割多様体をクロップすることに限定した。

ＦＭＴＤユニット１３０は、ｎ個の選択された頂点の各々から顔上の点までの距離にＦＭＴＤを適用して、ｎ×ｎの相違度距離マトリックスを形成する。ＭＤＳユニット１３２は次いでマトリックスに多次元スキャンを適用して、再び前の実施形態で論じたように、表面の低次元正準形を形成する。正準形は次いでコンパレータ１３４への入力として使用され、データベース１３６内の正準形として表現された他の顔と比較される。

今、図３７Ｂを参照すると、それは顔の再構成無しの３Ｄ顔認識のプロセスを示す簡易フローチャートである。第一ステップＳ１４０として、本実施形態に係る３Ｄ顔認識システムは、上述したように、表面勾配▽ｚを取得する。段階Ｓ１４２では、図３７Ａに関連して論じたように、生データが処理される。簡単に言うと、人間の顔の最もよく認識可能な特徴として目を使用して、単純なパターンマッチングによってセンタリングおよびクロッピングを実行することができる。

処理を顔自体に属する表面のみに限定するために、顔の輪郭も抽出することができる。

論じたように、前処理は変化し難い顔の部分に重点を置き、髪のように容易に変えることのできる部分は除外することが好ましい。本実施形態を使用する実験研究では、前処理段階は、鼻尖を中心とする楕円形（測地線的な意味で）の外側に位置する部分を除去することによって、三角形分割多様体をクロップすることに限定した。

次に、段階Ｓ１４４では、ｎ個の選択された頂点の各々からＦＭＴＤを適用することによって、以下で距離マトリックスという測地線距離のｎ×ｎ相違度マトリックスを作成する。次いで、段階Ｓ１４６で、ＭＤＳつまり多次元スケーリングを距離マトリックスに適用し、低次元ユークリッド空間に顔の正準形を生成する。上述した実験研究では、三次元空間を使用した。上記の方法で得た正準形を次いで、一対多数型マッチングプロセスで他の被写体に対応するテンプレートのデータベースと、または一対一型マッチングで単一の格納されたテンプレートと比較する。比較した正準形の対応性が数値の特定の統計範囲内に該当した場合、合致は有効とみなされる。

正準形間の対応性の探知は、前の実施形態に関連して論じた表面マッチングの問題に我々を引き戻す。本実施形態の利点は一般的に、マッチングが、変形可能な顔表面自体ではなく、本質的な物体幾何学を伝える剛性正準形の間で実行されることである。したがって、最も単純な剛性表面マッチングアルゴリズムでさえも、もっともらしい結果を生み出す。

実験結果
すでに言及したように、実験研究を上述した実施形態に従って実行し、実際の顔表面の再構成無しに得られた正準形の比較が、再構成および表面の直接比較より優れていることを実証した。前の実施形態での実験研究と同様に、Ｙａｌｅ顔データベースＢを使用した。該データベースは、制御された照明条件で撮影された、白人およびアジア型の両方の１０の被写体の異なるインスタンスの高解像度グレースケール画像から構成される。今、図３６を参照すると、それは五つの異なる角度から照明された単一の被写体を示す。五つの場合３６Ａ．．．３６Ｅに対し、（０°，０°）（０°，−２０°）（０°，＋２０°）（−２５°，０°）（＋２５°，０°）の照明角度がそれぞれ使用される。括弧内の数字はそれぞれアジマスおよび仰角を示し、それによって照明方向を決定する。実験は、データベースから取った七つの異なる被写体から取った図３６に示す種類のインスタンスを使用した。

直接表面マッチングは、五つの異なる照明方向を使用して上述した方程式（６）に従って表面勾配を検索し、方程式（７）に従って表面を再構成し、方程式（２５）に従って表面積率シグネチャを位置合わせしかつ計算することから構成される。正準形は表面勾配から算出され、位置合わせされ、方程式（２５）に従って積率シグネチャに変換される。

今、図３８を参照すると、それは、表面データの処理における三つの連続的段階を示す。図３８Ａは表面勾配フィールドを示し、図３８Ｂは再構成された表面を示し、図３８Ｃは表面として表わされた湾曲不変量正準形を示す。図３８は単に説明を目的として示すものであって、説明するように、本実施形態は、いずれの処理段階でも表面を実際に再構成することなく、図３８Ｃによって表わされた正準形を使用することができることを強調する。

今、図３９を参照すると、それは本実施形態に係る顔およびさまざまな顔の間の距離の３Ｄプロットで囲まれた、一組の顔を真ん中に示す。顔認識結果の可視化を三次元近接パターンで示す。顔データベースからの被写体は、被写体間の相対距離にＭＤＳを適用することによって得られた点として表わされる。単純な表面マッチング（Ａ）および正準形（Ｂ）の両方がグラフに示されている。換言すると、該実施形態の精度の印象を得るために、本発明者らは各アルゴリズムによって生成された被写体間の相対距離を３Ｄ近接パターンに変換した。Ｒ^３で各被写体を点として表わす近接パターンは、相対距離にＭＤＳを適用することによって得た、１％未満の歪みを生じた。

ドット群全体を、現在Ｃ_１−Ｃ_７と呼ばれる、七つの被写体のインスタンスによって形成されるクラスタに区分した。視覚的に、Ｃ_ｉが密でありかつ他のクラスタから離れている状態であればあるほど、アルゴリズムは正確である。定量的に、
（ｉ）Ｃ_ｉの分散σ_ｉ
（ｉｉ）Ｃ_ｉのセントロイドと最近接クラスタのセントロイドとの間の距離ｄ_ｉ
を測定した。

表Ｉはアルゴリズムの定量的比較を示す。クラスタ間距離ｄ_ｉは分散σ_ｉ単位で与えられる。表はＣ_１ないしＣ_４の結果に限定される。

正準形の使用はクラスタの分散およびクラスタ間距離を、直接顔表面マッチングに比較して、約１桁だけ改善した。

本実施形態は関連実験と共に、顔表面の再構成無しに、いかに３Ｄ顔認識を実行するかを実証する。湾曲不変量表現に基づく３Ｄ顔認識は、従来提唱された解決策とは異なり、顔認識を顔の表情、頭部の回転、および照明条件に対し頑健にする。本実施形態は、高速かつ正確な顔認識のために単純な３Ｄ取得技術（例えばフォトメトリックステレオ）の効率的な使用を可能にすることによって、本書で論じた前の実施形態をもっと改善する。

固有形式（ｅｉｇｅｎｆｏｒｍ）を使用した３Ｄ顔認識
今、図４０を参照すると、それは本発明のさらなる好適な実施形態を示す簡易フローチャートである。図４０の実施形態では、第一ステップＳ１５０として、レンジカメラを使用して３Ｄ画像を取得する。取得された画像は実際は、顔のレンジ画像または三次元幾何学、および顔の２Ｄ画像または顔のテクスチャの二つの別個の画像を含む。レンジ画像はステップ１５２で三角形分割表面に変換され、段階１５４でスプライン処理を使用して平滑化される。顔の輪郭線より外側の領域は段階１５６でクロップされ、段階１５８で表面は、約２０００〜２５００個の頂点のサイズに間引かれる。次に、段階１６０で、顔の湾曲不変量正準形が算出され、前の実施形態に関連して記載した手順を使用して位置合わせされる。

固有分解の適用はこの表現では単純である。固有顔の場合と同様に、本発明者らは訓練セットを有し、それは今、
の形の一組のデュプレット（ｄｕｐｌｅｔ）である。

分かり易くするために別個の実施形態の文脈で記載した本発明の特定の特徴は、単一の実施形態に組み合わせて提供することもできることを理解されたい。逆に、簡潔にするために単一の実施形態の文脈で記載した本発明の様々な特徴は、別個にまたはいずれかの適切な部分組合せで提供することもできる。

本発明をその特定の実施形態に関連して記載したが、多くの代替例、変形例、および変化例が当業者には明らかであろうことは明白である。したがって、請求の範囲に記載する精神および広い範囲に該当する、そのような代替例、変形例、および変化例を全て範囲内に含めることを意図する。本明細書で示した全ての出版物、特許、および特許出願は、個々の出版物、特許、および特許出願が各々具体的にかつ個別に参照によって本書に組み込まれると指摘された場合と同程度に、その全文が参照によって本明細書に組み込まれる。さらに、本願におけるいずれかの参考文献の引用または識別は、そのような参考文献が本発明の先行技術として利用可能であるという許可と解釈してはならない。

本発明の第一の好適な実施形態に従って、体の３Ｄトポグラフィデータを収集し、かつ該データを処理して効果的なマッチングのための正準形表現にするための装置の好適な実施形態を示す簡易ブロック図である。 本発明の第二の好適な実施形態に従って、正準形表現の３Ｄトポグラフィデータを受け取り、かつマッチングまたは分類を実行するための装置の簡易図である。 各々異なる照明条件下で撮影した単一の顔の一連の２Ｄ表現である。 深度符号化照明を使用した３Ｄデータ収集の第一段階及び第二段階を示す簡易模式図である。 ビデオカメラおよび移動レーザプロジェクタを備えた３Ｄスキャナ装置を示す写真である。 フォトメトリックステレオ取得方式を示す簡易模式図である。 顔の３Ｄスキャンによって収集したデータ点を使用した三角形分割多様体表現である。 サブサンプリング後の図７の多様体を示す簡易図である。 図１のサブサンプラをより詳細に示す簡易ブロック図である。 図１の測地線変換器をより詳細に示す簡易ブロック図である。 本発明の好適な実施形態の動作を示す簡易フローチャートである。 図１１のサブサンプリング段階をより詳細に示す簡易フローチャートである。 第一実験の被写体として使用された六つの顔のデータベースである。 図１の顔の一つ、表情の変化をシミュレートするための顔のバリエーション、および主要特徴の変化を示すためのさらなるバリエーションを示す。 三次元特徴空間にプロットされた第一実験の結果を示すグラフである。 所定の顔の九種類の照明、およびフォトメトリックステレオを使用しポアソン方程式を解くことによる多様体へのそれらの再構成を示す。 第二実験用の異なる被写体の九つの顔の照明から最小二乗を使用して各々再構成された一組１０個の顔である。 実験ＩＩ用の各々異なるポーズの単一の被写体の一組の画像である。 三次元特徴空間にプロットされた第二実験の結果を示すグラフである。 二つの顔表面の位置合わせプロセスを示す模式図である。 三次元特徴空間にプロットされた位置合わせ無しの第三実験の結果を示すグラフである。 三次元特徴空間にプロットされた最適位置合わせ実行後の第三実験の結果を示すグラフである。 第四実験用の被写体として使用された、さらなるデータベースからの一組三個の顔である。 第四実験用でもある図２３の顔の一組三個のポーズである。 前処理の一部としてマスクを適用する前の顔のテクスチャマップを示す。 測地線マスクを適用した後の図２５のテクスチャマップを示す。 前処理の一部としてマスクを適用する前の顔の深度マップを示す。 測地線マスクを適用した後の図２７の深度マップを示す。 ３Ｄトポグラフィ画像データから直接得た三角形分割多様体を示す。 サブサンプリング後の図２９の多様体を示す。 正準形に変換された図２９の多様体を示す。 ３Ｄデータ取得のための観察および照明角度を示す簡易図である。 表面勾配と局所的ストライプ方向との間の関係を示す簡易図である。 三次元多様体へのデカルト座標のマッピングを示す簡易図である。 測地線距離を測定するための起点となる追加頂点の選択のプロセスを示す簡易図である。 様々な角度から照明された一連の同じ顔を示す。 本発明の好適な実施形態に従って、顔の３Ｄ表現を処理し、かつ中間ステップとして３Ｄ表面を形成することなく処理結果のマッチングを実行するための装置を示す簡易ブロック図である。 図３７Ａの装置の使用に関わる一連の動作を示す簡易フローチャートである。 収集した顔情報の処理における三つの段階、最初のデータ収集、３Ｄ表現の抽出、および顔の不変領域に集中するための前処理を示す簡易図である。 図３７Ａの実施形態を使用して得た結果を示す。 テクスチャ情報を図１の実施形態のマッチングプロセスに組み込むための手順を示す単一のフローチャートである。 テクスチャ情報を図１の実施形態のマッチングプロセスに組み込むための手順を示す単一のフローチャートである。 図４０および４１の実施形態に係るテクスチャデータの分離、およびその後の正準形式へのマッピングを示す簡易図である。

Claims (57)

1. マッチングのための幾何学体の三次元データを処理するための装置であって、
   前記幾何学体の三次元トポグラフィデータを含む入力を受け取り、かつ前記データを、前記データの点対間の一連の測地線距離に変換するための測地線変換器と、
   その後前記測地線変換器に接続され、前記一連の測地線距離の低次元ユークリッド表現を形成するための多次元スケーラであって、前記低次元ユークリッド表現が他の幾何学形状とのマッチングに適した前記幾何学体の湾曲不変量表現を提供するように構成された多次元スケーラと、
   を備える装置。
2. 前記測地線変換器の前に接続されたトライアンギュレータであって、前記三次元トポグラフィデータを受けとり、そこから前記測地線変換器の前記入力として使用される三角形分割による多様体を形成するように構成されたトライアンギュレータをさらに備える請求項１に記載の装置。
3. 前記測地線変換器は、
   ｎ個の頂点の選択のための特徴と、
   三角形分割領域の高速マーチングを使用して前記ｎ個の頂点から前記三次元トポグラフィデータまでの測地線距離を算出するための特徴と、
   前記測地線距離から距離マトリックスを形成するためのタブレータと、
   を備える請求項１に記載の装置。
4. 前記多次元スケーラは、前記距離マトリックスから前記一連の測地線距離を得るために接続される請求項３に記載の装置。
5. 前記トライアンギュレータの後で前記測地線変換器の前に配置され、前記三角形分割多様体をサブサンプリングし、かつサブサンプリングされた三角形分割多様体を前記測地線変換器に提供するように構成された、サブサンプラをさらに備える請求項２に記載の装置。
6. 前記多様体は複数の頂点を備え、前記サブサンプラは第一頂点を選択し、かつ、予め定められた個数の頂点が選択されるまで、すでに選択された頂点からの最大測地線距離を有する次の頂点を繰返し選択するように動作可能である請求項５に記載の装置。
7. 前記サブサンプラは、三角形分割領域の高速マーチング法を使用して、前記繰返し選択のために頂点間の測地線距離を算出するように動作可能である請求項６に記載の装置。
8. 前記幾何学体は顔であり、短期の幾何学的変化を受け易い前記顔の領域であるソフトな幾何学的領域と、前記短期の幾何学的変化を実質的に受け難い領域であるハードな幾何学的領域とを有し、前記装置は、前記サブサンプラの前に配置された、前記顔から前記ソフトな幾何学的領域を除去するためのプリプロセッサを備える請求項５に記載の装置。
9. 前記プリプロセッサは、前記顔上の標定点の識別によって、前記ソフトな領域を識別するように動作可能である請求項８に記載の装置。
10. 前記標定点は、鼻尖、一対の眼球中心、および口の中心のうちの少なくとも一つである請求項９に記載の装置。
11. 前記プリプロセッサはさらに、前記顔を中心に合わせるように動作可能である請求項８に記載の装置。
12. 前記プリプロセッサはさらに、前記顔をクロッピングするように動作可能である請求項８に記載の装置。
13. 前記プリプロセッサは、測地線マスクの適用によって、前記ソフトな領域の除去を実行するように動作可能である請求項８に記載の装置。
14. 前記測地線変換器は、三角形分割領域の高速マーチング法を使用して、前記測地線距離を算出するように動作可能である請求項２に記載の装置。
15. 幾何学体のスキャンデータから前記三角形分割多様体を形成するためのトライアンギュレータをさらに備える請求項２に記載の装置。
16. 二次元より高次の空間内に前記三角形分割多様体を埋め込み、それによって追加情報と前記トポグラフィ情報を含めるようにさらに動作可能である請求項１５に記載の装置。
17. 前記追加情報は、テクスチャ情報、アルベド情報、グレースケール情報、および色情報から成る群のいずれか一つである請求項１６に記載の装置。
18. 前記サブサンプラは、計算量と表現精度との間のトレードオフを定義することによって、使用者に最適なサブサンプリングレベルを選択させるための最適化装置を備える請求項５に記載の装置。
19. 前記多次元スケーラは、前記ユークリッド表現が特徴空間における座標として使用するために抽出可能な予め定められた個数の固有値を備えるように構成される請求項１に記載の装置。
20. 固有値の前記予め定められた個数は少なくとも３であり、前記特徴空間は、前記予め定められた個数に対応する次元数を持つ請求項１９に記載の装置。
21. 前記多次元スケーラは、前記低次元ユークリッド表現上に前記三次元表面のテクスチャデータをマッピングするためのマッパーによって続く請求項１に記載の装置。
22. 前記ユークリッド表現をデカルト格子上へのテクスチャマッピングで補間するために前記マッパーの後に接続された補間器をさらに備える請求項２１に記載の装置。
23. 表面及びテクスチャデータのそれぞれの前記デカルト格子からの別個の固有分解を実行し、それによってテクスチャおよび表面のそれぞれについて固有分解係数の対を形成するように構成された固有分解ユニットを備える請求項２２に記載の装置。
24. 前記固有分解係数の対を使用して他の幾何学体への距離を算出するためのコンパレータをさらに備え、前記距離は前記マッチングのために二値化可能であることができる請求項２３に記載の装置。
25. 前記距離は重み付けユークリッド距離である請求項２４に記載の装置。
26. 三次元データに基づく幾何学体間のマッチングのための装置において、
    幾何学体の表現を、三角形分割多様体のサンプリング点間の測地線距離の組のユークリッド表現として受け取るための入力であって、前記ユークリッド表現が実質的に湾曲不変量表現であるように構成された入力と、
    前記ユークリッド表現に基づいてそれぞれの幾何学体間の距離を算出するための距離算出器と、
    算出された距離を二値化して、合致の有無を決定するためのスレショルダと、
    を備えた装置。
27. 前記距離算出器は、
    予め定められた個数の固有値を前記ユークリッド表現から抽出するための固有値抽出器と、
    前記予め定められた個数の固有値を、前記予め定められた個数の固有値の各々に対し一次元を有する特徴空間上の点としてプロットするためのプロッタと、
    を備え、
    前記スレショルダは前記特徴空間内のクラスタリングに感応するように構成され、それによって前記合致の有無を決定する請求項２６に記載の装置。
28. 前記予め定められた個数は３である請求項２７に記載の装置。
29. 前記ユークリッド表現は、前記三角形分割多様体のサブサンプリング点間の測地線距離に基づく請求項２６に記載の装置。
30. 前記幾何学体は顔であり、短期の幾何学的変化を受け易い領域であるソフトな幾何学的領域と、短期の幾何学的変化を実質的に受け難い領域であるハードな幾何学的領域とを有し、前記ユークリッド表現は実質的に前記ハードな幾何学的領域に限定される請求項２６に記載の装置。
31. 前記距離算出器は、ハウスドルフ計量を使用するように構成される請求項２６に記載の装置。
32. マッチングのための幾何学体の三次元データを得、かつ前記データを使用して異なる体間のマッチングを実行するための装置であって、
    前記体の三次元トポグラフィデータを得るための三次元スキャナと、
    前記幾何学体の前記三次元トポグラフィデータを受け取り、かつ前記データを三角形分割多様体に形成するためのトライアンギュレータと、
    その後前記トライアンギュレータに接続され、前記三角形分割多様体を前記多様体の点対間の一連の測地線距離に変換するための測地線変換器と、
    その後前記測地線変換器に接続され、前記一連の測地線距離の低次元ユークリッド表現を形成するための多次元スケーラであって、前記低次元ユークリッド表現が前記幾何学体の湾曲不変量表現を提供するように構成された多次元スケーラと、
    その後前記多次元スケーラに接続され、前記ユークリッド表現に基づき幾何学体間の距離を算出するための距離算出器と、
    その後前記距離算出器に接続され、算出された距離を二値化して合致の有無を決定するためのスレショルダと、
    を備えた装置。
33. 前記距離算出器は、
    予め定められた個数の固有値を前記ユークリッド表現から抽出するための固有値抽出器と、
    前記予め定められた個数の固有値を、前記予め定められた個数の固有値の各々に対し一次元を有する特徴空間上の点としてプロットするためのプロッタと、
    を備え、
    前記スレショルダは前記特徴空間内のクラスタリングに感応するように構成され、それによって前記合致の有無を決定する請求項３２に記載の装置。
34. 前記予め定められた個数は３である請求項３３に記載の装置。
35. 前記予め定められた個数は４以上である請求項３３に記載の装置。
36. 前記トライアンギュレータと前記測地線変換器との間に配置され、前記三角形分割多様体をサブサンプリングし、かつサブサンプリングされた三角形分割多様体を前記測地線変換器に提供するように構成された、サブサンプラをさらに備える請求項３２に記載の装置。
37. 前記サブサンプラは、前記サブサンプリングされた三角形分割多様体に含めるために、前記三角形分割多様体から点を選択する際に、測地線距離を使用するように動作可能である請求項３６に記載の装置。
38. 前記サブサンプラは、初期点を取り、次いで、すでに選択された点からの測地線距離に関して最も遠く離れた点を取ることによって点を繰返し選択するように構成される請求項３７に記載の装置。
39. 前記幾何学体は、ソフトな幾何学的領域とハードな幾何学的領域とを有する顔であり、前記装置は、前記トライアンギュレータと前記サブサンプラとの間に配置された、前記ソフトな幾何学的領域を前記顔から除去するためのプリプロセッサを備える請求項３６に記載の装置。
40. 前記幾何学体は、ソフトな幾何学的領域とハードな幾何学的領域とを有する顔であり、前記装置は、前記トライアンギュレータと前記測地線変換器との間に配置された、前記ソフトな幾何学的領域を前記顔から除去するためのプリプロセッサを備える請求項３２に記載の装置。
41. 前記プリプロセッサは、前記顔上の標定点の識別によって前記ソフトな領域を識別するように動作可能である請求項３９に記載の装置。
42. 前記標定点は鼻尖である請求項４１に記載の装置。
43. 前記プリプロセッサはさらに、前記顔を中心に合わせるように動作可能である請求項３９に記載の装置。
44. 前記プリプロセッサはさらに、前記顔をクロッピングするように動作可能である請求項３９に記載の装置。
45. 前記プリプロセッサは、測地線マスクの適用によって前記ソフトな領域の除去を実行するように動作可能である請求項３９に記載の装置。
46. 前記測地線変換器は、三角形分割領域の高速マーチング法を使用して、前記測地線距離を算出するように動作可能である請求項３２に記載の装置。
47. 前記測地線変換器は、三角形分割領域の高速マーチング法を使用して、対応する表面の再構成を介在させずに多様体勾配フィールドから直接、前記測地線距離を算出するように動作可能である請求項３２に記載の装置。
48. 計算量と表現精度との間のトレードオフを定義することによって、使用者に最適なサブサンプリングレベルを選択させるための最適化装置をさらに備える請求項３２に記載の装置。
49. 前記距離算出器は、ハウスドルフ計量を使用するように構成される請求項３２に記載の装置。
50. 三次元トポグラフィデータをその後の分類のために画像前処理する方法であって、
    前記三次元トポグラフィデータを三次元三角形分割多様体として提供するステップと、
    前記多様体の選択された頂点までの測地線距離のマトリックスを生成するステップと、
    多次元スケーリングを使用して前記マトリックスを低次元ユークリッド空間の正準表現に変換し、それによってその後の分類に適した表現を提供するステップと、
    を含む方法。
51. 予め定められた個数の頂点が選択されるまで、すでに選択された頂点からの最大測地線距離を有する次の頂点を繰返し選択することを含む手順によって、測地線距離の前記マトリックスを生成するために前記頂点を選択するステップをさらに含む請求項５０に記載の方法。
52. 三角形分割領域の高速マーチング法を使用して、前記手順のために測地線距離を決定するステップを含む請求項５１に記載の方法。
53. 前記三次元トポグラフィデータは顔の表現であり、前記顔の短期変化を受け易い部分を除外するために前記顔をクロッピングするステップをさらに含み、それによって前記その後の分類を前記短期変化に対し実質的に不変にする請求項５０に記載の方法。
54. 三次元体の画像を分類する方法であって、
    前記三次元体の表現を、前記体の表面から取った選択標本点間の測地線距離から導出される正準形表現として得るステップと、
    前記各表現から特徴空間の座標を導出するステップと、
    前記特徴空間のクラスタリングに従って前記三次元体を分類するステップと、
    を含む方法。
55. 前記座標の導出は、それぞれの正準形表現から最初のｍ個の固有値を導出するステップと、前記ｍ個の固有値を使用して前記座標を提供するステップとを含み、ここでｍは予め定められた数であり、前記特徴空間はｍ次元を持つように構成される請求項５４に記載の方法。
56. ｍは少なくとも３である請求項５５に記載の方法。
57. ｍは３である請求項５５に記載の方法。