JP2008504606A - 単一画像に基づくマルチ生体認証システムおよび方法 - Google Patents

Abstract

本開示は、顔、肌、および虹彩の認識を統合して、個人を識別するかつてないレベルの精度を有する生体認証システムを提供する方法を説明する。本手法の強力な特徴は、ソースデータとして、人の顔を描写する１枚のデジタル画像のみを必要とすることにある。

Description

本出願は、２００４年６月２１日出願の米国特許出願第６０／５８１，４９６号の利益を請求し、引用して本明細書に組み込む。

本発明は、顔、肌、および虹彩の認識を統合して、かつてないレベルの精度で個人を識別する生体認証システムを提供する方法に関する。本手法の強力な特徴は、ソースデータとして、人の顔を描写する１枚のデジタル画像のみを必要とすることにある。

本発明は、顔認識方法、および関連装置のおいて具現化され、顔の単一画像を選択するステップ、単一画像において顔の特徴を特定するステップ、単一画像において特定した顔の特徴を参照画像の顔の特徴と比較するステップ、単一画像における虹彩の特徴を参照画像における虹彩の特性と比較するステップおよび顔の特徴の比較および虹彩の特徴の比較に基づいて、単一画像と参照画像との間の類似スコアを計算するステップを含んでいる。

本発明の更に詳細な特徴では、単一画像は、眼の間隔で少なくとも約６００ピクセルの解像度を有し、少なくとも約５メガピクセルを有する。単一画像における顔の肌特性を、参照画像における顔の肌特性と比較することにより、肌のきめ解析を実行してもよく、類似スコアは、肌のきめ解析に基づいてスコアを加味してもよい。肌のきめ解析は、肌のきめ解析に適した顔の肌領域を特定するステップ、特定した肌の領域を歪曲（warp）し、整列し、そして正規化するステップおよび特定した肌の領域から肌の特性を抽出するステップを含んでもよい。肌の特性は、毛穴、皺、およびほくろ（あざ）から成ってもよい。

より詳細な本発明の他の特徴では、単一画像はビデオから選択でき、顔の特徴は、ビデオ内の顔の特徴の顔特徴追跡法に基づいて特定する。また、顔の特徴は、弾性バンチグラフマッチング法を用いて特定してもよい。代替として、ガボールウエーブレットを用いて顔の特徴を特定してもよい。

添付図面は、本発明の実施の形態を示し、説明と併せて、本発明の原理を説明するのに役立つ。

本発明は、顔、肌、および虹彩の認識を統合して、かつてないレベルの精度で個人を識別する生体認証システムを提供する方法に関する。本手法の強力な特徴は、ソースデータとして、人の顔を描写する１枚のデジタル画像のみを必要とすることにある。広い範囲の動作条件に対して、他人受理率が０．０１の状態で、本人拒否率は０．００１未満となり、従来好適な指紋の識別精度を超える。本発明により、識別すべき個人の最小限の協力が必要なだけの、非侵入性生体認証を用いる大規模データベースの効率的検索が可能になる。

デジタルカメラは、日を追うごとに一層普及し、低価格になっている。その上、消費者向けデジタルカメラが用いるＣＣＤおよび類似のイメージセンサの解像度は、着実に増加している。現在利用できるほとんどのカメラは、通常のプリントサイズに対して、アナログフィルム型カメラと匹敵するプリント品質が可能な５メガピクセル以上の能力を有する。最近では、世界中の消費者向けデジタルカメラの販売台数は、低価格アナログカメラを上回っている。近いうちに、ウェブカメラおよび携帯用ハンドセットに組み込んだこれらのカメラ等の廉価カメラが、この程度の高解像度をサポートするようになるであろう。

この高解像度画像の入手性は、このような生体認証システムの精度を向上するために、既存の顔認識技法を超えて活用できる。既存の技法は、全体論的な、すなわち画像に基づくマッチング法、または鼻、目、または口等の顔の優勢な標識点から抽出した局部的特徴のマッチング法にもっぱら頼る。非常に成功した一例は、弾性バンチグラフマッチング法を用いて、顔の特徴的配置を正確に特定し、個々人の一意の顔テンプレートを形成する、様々な尺度および方向のガボールウエーブレット係数から成るテンプレートを計算する顔認識技法である。２００１年１０月９日発行の米国特許第６，３０１，３７０号「ビデオ画像による顔認識」を参照されたい。

高解像度画像を用いると、顔の無毛領域から抽出した肌のパッチを用いる等のより詳細なレベル、または個々人の虹彩において一意のパターンを解析することによる一層高い詳細レベルで、顔の解析ができる。顔を含む画像の解像度は、本質的に、顔を記録するピクセル解像度を示唆するほど信頼性が高い尺度とは言えない。例えば、非常に高解像度の画像が、場面中の遙か遠くに離れている非常に僅かなピクセルで表された顔しか含まないことがある。あるいは、かなり低解像度の画像が、画像中のほとんどの解像度を用いて顔を表す近接した顔を含むことがある。更に有益な解像度の尺度は、顔の左右の瞳孔間のピクセル解像度として本明細書で定義する「眼の間隔の解像度」である。従来の典型的な顔認識技法では、約２５〜８０ピクセルの眼の間隔の解像度が必要であり（例えば、４０ピクセル）、一方、肌のパッチ解析では、約１２０〜１５０ピクセルの眼の間隔の解像度が必要であり、虹彩解析では、約６００〜６５０ピクセルの眼の間隔の解像度が必要である。

更に重要なことは、画像がぼけていないことであり、さもないと実効画像解像度が低下する。検出した顔の領域にフーリエ法を用いると、必要な「実効的眼の間隔の解像度」が実際に得られているかどうかを評価できる。最終的に重要なことは、実効ピクセル深度が得られていることをチェックすることである。これは、濃淡値ヒストグラムを用いて容易に達成でき、これも検出した顔の領域から得る。ピクセル深度は少なくとも８ビットに近いほうが有利である。

５または６メガピクセルのカメラで適度な距離で、かつ十分狭い視角で顔を撮影した場合、眼の間隔の解像度は、虹彩解析技法のための範囲内にあり、従って、一つのデータソースから、３つの完全に異なる生体認証法のための生体認証テンプレートを抽出することが実現可能となる。更に超解像度を得る周知の方法を利用して実効的な画像解像度を増加できる（例えば、Mark Rumol、Patrick Vandewalleの「光学的フローおよび不規則サンプリングを用いる画像の超解像度」、LCAV−School of Computer snd Communication Sciences、Ecole Polytechnique Federale de Lausanne）。

異なる生体認証法の組合せは、検証精度を向上させ、生体認証システムの汎用性を広げる。成功例は、音声と顔、指紋と顔の融合である。これらの方法に共通しているのは、異なるセンサ装置が必要ということである。本発明の方法は、上記説明の顔、肌のきめ解析、および虹彩認識の生体認証方法を、単一センサの一枚の画像に基づくマルチ生体認証システムに組合せることができる。

本単一画像マルチ生体認証解析（ＳＩＭＢＡ：Single Image Multi-Biometric Analysis）１０のプロセスを、図１を参照して説明する。顔１２の入力画像を解析のために選択する（ステップ１４）。顔および顔の特徴を特定した後（ステップ１６、および１８）、顔の別々の部分を、顔の特徴、肌のきめ、および虹彩の特徴をそれぞれ解析する３つの半直交チャンネル２０、２２、および２４で処理する（ステップ２６）。特定した顔の特徴を、データベース２７の顔画像からの対応する値と比較する。融合モジュール２８は、３つのチャンネルの結果を、単一の類似スコアに統合する。類似スコアに基づいて（ステップ３０）、データベース内で、画像内の人が認識されるか（ステップ３２）、またはその人が検出されない（ステップ３４）ことになる。

顔検出（ステップ１６）は、幾つかの既存の顔検出器の何れかで実行できる。有益な手法は、アダブーストアルゴリズムで学習した決定樹および主としてガボールウエーブレットを用いる。この手法は、典型的な画像セットで、０．００１の誤警報率の状態で、９９．７％の顔検出率を達成する。これは、Viola、およびJonesにより示唆された２００１年１２月の「ブーストした簡単な特徴のカスケードを用いる高速オブジェクト」検出法、Proc. of IEEE Conf. on Computer Vision and Pattern Recognitionおよび１９９８年のRowley他等の手法を上回る性能である。

顔の特徴決定（ステップ１８）は、弾性グラフマッチング技術に基づく高速顔特徴検出モジュールおよび追跡モジュールを用いて実行できる。米国特許第６，２７２，２３１号、名称「アバターアニメーションのためのウエーブレットに基づく顔の運動捕捉」を参照されたい。顔の５５ヶ所の特徴配置がリアルタイムで検出され、追跡されるという点で有利である。このモジュールは、精度および速度が独特である。顔の特徴追跡により、ビデオシーケンスのフレーム毎に瞳孔を含む顔の特徴を突き止めることができるＳＩＭＢＡ技術が大幅に強化される。顔の特徴を突き止めるのは、顔の特徴、肌のパッチ、および虹彩の詳細を比較するための必須条件である。

顔の特徴比較（ステップ２０）は、市販されている幾つかのエンジンの一つ、特に、カリフォルニア州サンタモニカのＮｅｖｅｎ Ｖｉｓｉｏｎから入手できる顔認識エンジンを用いて実行できる。米国特許第６，３０１，３７０号、「ビデオ画像による顔認識」にある記載を選択してもよく、この特許を引用して本明細書に組み込む。

肌のきめ解析（ステップ２２）は、毛穴、皺、ほくろ（あざ）等の、個々人の肌の特性の解析に基づいて行うことができる。例えば、頬、顎、鼻、または額のような、滑らかで、無毛の顔領域が適している。髪型または性別（顔の毛）のような因子に応じて、どの領域を用いることができるかは、人により異なることもある。

図２を参照すると、肌のきめ解析システムのマッチングプロセス２１０は、次のプロセスステップに分割できる。

１．顔の検出（ステップ２１２）。

２．顔の特徴検出（ステップ２１４）。

３．肌のきめ解析に適した顔の肌の領域の配置（ステップ２１６）。

４．歪曲、整列、正規化し、肌パッチをあてる（ステップ２１８）。

５．局部的な肌の領域を記述する特徴を抽出する（ステップ２２０）。

これらの特徴を参照画像と比較し、類似スコアを計算する（ステップ２２２）。

Bruno Deleanが開示した最近の解決策は、目の下の領域を矩形ブロックに分割し、簡単なブロックマッチングアルゴリズムおよび隣接ブロックの相対配置の学習的評価法を用いて、類似スコアを計算する（Bruno Delean、米国特許出願公開第２００４／００５２４１８号、「確率的画像解析の方法および装置」）。先に説明した手法は、ガボールウエーブレットを用いる弾性グラフマッチング法に基づく、より洗練された方法を利用した（１９９０年のBurmann他および１９９７年のWiskott他）。

現在の顔認識および顔の検知技術（例えば、米国特許第６，３０１，３７０号）は、顔の優勢な特徴配置を正確に突き止めることに頼っているので、肌のきめ解析に基づく生体認証識別への適用に理想的に適合している。一つのオプションは、弾性グラフマッチング技術を用いることである。弾性グラフマッチング技術は、グラフノードが、目の隅部、または鼻の先端のような顔の標識点とマッチングするラベル付きグラフとして顔を表し、このグラフを提示された画像内の顔の上に高精度で配置することができる。これらの検出された標識点に基づいて、肌のきめ解析で用いる顔の領域を正確に特定することが可能である。この顔認識技術は、顔の局部的な特性、例えば、顔の毛または眼鏡の有無を判定できる。この情報を用いて、肌解析に適した領域のより信頼性の高い個別化した顔のマップを導き出すことができる。

図３を参照する。弾性グラフのノードは、高解像度画像に適応できる。普通に用いられるよりも高密度のノードが無毛領域および虹彩領域に配置される。各ノードで抽出された特徴ベクトルのパラメータは、予測した信号内容を最適に考慮するよう適応させる。図３のノード位置は、概念的なものである。実際のノード密度は、特に虹彩上でより高くなる。

更に、顔の特徴の位置および表現を導き出せるので、抽出した肌のパッチを、正規化し、または歪曲を戻してから解析する。このような局面の実例は、識別されるユーザの顔を、肌のパッチを撮影した目の下の領域を変形させる大きな笑顔や渋面等の誇張した表現で撮影した場合であろう。実際の撮影状況では、誇張表現が検出されると、ユーザにフィードバックして、より自然な、または誇張感の少ない表現をさせる。正確な標識点検出により高解像度の解析が更に強化される別の状況は、顔が正面位置でない場合である。正面位置でない顔が検出されると、顔の画像は、「顔認識ベンダー試験２００２」（FRVT 2002）の報告書に記載され、参照された方法で正面に歪曲できる。

マッチングさせるために用いる肌の領域を識別した後、肌パッチを比較する一方法は、識別した領域を、ノードが局部的な肌のパッチと対応するラベル付きのサブグラフとして表すことである。ノードの密度を選択して、精度および処理速度の最適バランスを達成する。これらのノードの位置で、肌のパッチを記述する適切な特徴ベクトルを抽出する（例えば、ガボールジェット、ピクセルパッチ）。このように選定したそれぞれの肌パッチに対するマッチングステップの間、特徴ベクトルを参照画像の顔の領域に個々にマッチングさせ、最も類似する肌パッチを識別する。その結果、元の画像のグラフを多少とも歪ませたバージョンとなる。元のグラフと、マッチングしたグラフとの間の類似性および歪みから、幾何学的制約を組み込んで、類似スコアを計算する。米国特許第６，３０１，３７０号を参照されたい。

虹彩解析が関連している限り、正確な特徴検出により、瞳孔の配置、従って、それを取り巻く虹彩を突き止めることができる。また、目の状態（例えば、開いているか閉じているか）も検出できる。当然ながら、虹彩解析には、目を開いて虹彩を露出する必要がある。上記説明の肌の解析技法には全て、虹彩解析を適用する。

既存の虹彩スキャンおよび認識の技法を、本虹彩解析に用いることができる（ステップ２４）。既存の技法に対する改良点は、顔の特徴の検出および追跡と、顔、肌、および虹彩の認識とを強固に統合することにあり、携帯装置に必要とされるような、完全な認識エンジンのリソースの超効率化および高速実装が可能になる。虹彩パターンを解析するのが、かなり多くの変動を蒙る顔を解析するより、色々な意味でずっと簡単である、ということに注意することが重要である。

図４を参照する。視覚認識エンジンを調整して、顔、肌、および虹彩の認識を実行できる。視覚認識のマクロアルゴリズム原理は、キーとなる注目点から特徴ベクトルを抽出し、対応する特徴ベクトルを比較し、類似度を導き出し、そして閾値に対してオブジェクトが同一かどうかを決定する。顔検出等のクラス認識の場合には、ニューラルネットワーク、ブースティング、またはサポートベクターマシンを利用して特定インスタンスから一般化する。しかしながら、詳細にみると気が付くであろうが、専用サブモジュールを利用して、文献に記載されている既存の技法より良好な特定ステップを実行する。より詳細には、次の通りである。

１）注目オペレータ： ガボールウエーブレットの位相マッチング、および位相対称性を用いるのは、ハリスアフィン変換、ＤＯＧ、ラプラスアフィン変換のような文献で示唆される多くの他の注目点オペレータより優れている。

２）特徴ベクトル： 本発明は、局部的な画像構造を記述する強力な汎用データフォーマットとしてガボールウエーブレットを広範囲に活用する。適切な場合には、ガボールウエーブレットは、ViolaおよびJonesが先駆者となった手法と良く似た学問的特徴により増強される。最終的に、一般的な表面パッチの変動、すなわち「Ｌｏｃｏｎｓ」を示す大量の画像データセットから抽出した特徴ベクトルのパラメータ化セットの辞書を使用する見込みである。この手法は、ポーズおよび照明の一層の不変性を達成するのに著しく貢献する潜在能力を有する。

３）マッチング： 文献に記載されているほとんどの全てのマッチングルーチンは、特徴ベクトル間の類似性しか考慮しない。その改良は、明示的に推定する変位ベクトル、ならびに、新らしいオブジェクトの学習、および広範囲な条件の下でのそれらの認識が、より迅速にできる視点および照明の条件等の、環境条件を記述するパラメータセットにより得られる。

様々な画像に見られる一個人が、同一人物か、そうでないかを決定する場合、顔の標識点グラフおよび肌および虹彩のサブグラフからの類似スコアを統合する必要がある。これを如何に達成するかに関する多数の方法が文献に記載されている。一参照を示すと、異なる手法の顔認識法を統合する方法を教示する「顔認識ベンダー試験２００２」NISTIR 2004の補助報告書、ならびに顔および虹彩の認識を最適統合する方法を示す論文、Yun Hong Wang、Tieniu Tanl、およびAnil K.Jainの「身分証明のための顔および虹彩の生体認証の組合せ」AVBPA 2003がある。

各種の融合規則による実験的体験で見出されていることは、虹彩、肌、および顔の特徴解析を統合する場合、最良の結果は、各認識チャンネルそれぞれについてのマッチングスコアを、最初に［０、１］間隔に等化してから、平均を形成することによりそれらを融合するセンサ融合法により達成できる。

４〜５メガピクセルの解像度、特に、６メガピクセル以上の解像度を有する画像を前提とすると、顔認識システムの精度および信頼性を劇的に改良するために、顔、肌パッチ、および虹彩解析の組合せを、同一ソース画像上で段階的に作用させることができる。最初の顔の特徴検出ステップにより可能な魅力的な特徴は、高い解像度を必要とする肌および虹彩の改良解析のためのモジュールが、幾つのピクセル解像度を眼の間で利用できるかを最初に決定するのに応じて、スイッチを自動的にＯＮ、ＯＦＦできるということである。

ＳＩＭＢＡの融合生体認証の別の利点は、それがいわゆる「ライブチェック」問題を非常に優雅に取り扱うということにある。ライブチェックの実行は、現在の生体認証が生きた個人を元にしているか、または絵のような人工物を元にしているかを如何に判定するかという問題に取り組む。顔の特徴追跡を用いて顔の内部の動きを解析できるので、静止画を用いる詐称者を防ぐことができる。同様な方法で、虹彩解析は、瞳孔の収縮または拡張の変化（最終的に、瞳孔に光を当てて更に促進する）を測定して、生きた個人を見ていることを判定できる。最後に、正確な標識点の検出を用いて、検出された顔の特徴が全て平面にあるか、ないかを判定できる。これにより、詐称者が生体認証システムに示すかもしれないビデオ画像の破棄が更に可能となる。

多くが生体内侵襲式か又は使用に耐え難い、異なる生体認証センサに、自身を順に曝すようユーザに依頼することが許容されると想定している問題を、ＳＩＭＢＡ手法は回避できる。効率的なマルチ生体認証システムは、使用が簡便な必要がある。既存の虹彩および指紋の認識の使用は、簡便さが設計において高い優先度を持たなかったことを示している。対照的に、ＳＩＭＢＡ手法は、単一の２Ｄ画像センサのみに頼り、半直交認識チャンネルが、画像の様々な局面に含まれる生体認証情報を内部だけで活用するマルチ生体認証を利用している。リアルタイムの顔の特徴追跡のためのロバストな技法の使用に注目することが重要である。

本発明によるマルチ生体認証手法を用いて単一のデジタル画像から人を認識する方法を示すフロー図である。 肌のきめ解析のためのマッチングプロセスを説明するフロー図である。 対象となる顔の特徴において特定したグラフのノードを示す顔の画像の写真である。 顔、肌、および虹彩の認識を実行するよう調整されてもよい視覚認識エンジンのブロック図である。

Claims (15)

1. 顔の単一画像を選択するステップと、
   前記単一画像内で顔の特徴を特定するステップと、
   前記単一画像内で特定した顔の特徴を、参照画像の顔の特徴と比較するステップと、
   前記単一画像の虹彩の特徴を、前記参照画像の虹彩の特性と比較するステップと、
   前記顔の特徴の比較および前記虹彩の特徴の比較に基づいて、前記単一画像と前記参照画像との間の類似スコアを計算するステップと、
   を備える顔認識方法。
2. 前記単一画像は、眼の間隔で少なくとも約６００ピクセルの解像度を有する請求項１に記載の顔認識方法。
3. 前記単一画像は、少なくとも約５メガピクセルを含む請求項１に記載の顔認識方法。
4. 更に、前記単一画像の顔の肌特性を、参照画像の顔の肌特性と比較することにより、肌のきめ解析を実行するステップを備え、前記類似スコアは、前記肌のきめ解析に基づくスコアが加味される請求項１に記載の顔認識方法。
5. 前記肌のきめ解析を実行するステップが、
   肌のきめ解析に適した顔の肌領域を特定するステップと、
   前記特定した肌領域を歪曲し、整列し、正規化するステップと、
   前記特定した肌領域から肌の特性を抽出するステップと、
   を含む請求項４に記載の顔認識方法。
6. 前記肌の特性は、毛穴、皺、及びほくろ又はあざである請求項５に記載の顔認識方法。
7. 前記単一画像は、ビデオから選択され、前記顔の特徴は、前記ビデオ内の前記顔の特徴の顔特徴追跡に基づいて特定する請求項１に記載の顔認識方法。
8. 前記顔の特徴は、弾性バンチグラフマッチング法を用いて特定する請求項１に記載の顔認識方法。
9. 前記顔の特徴は、ガボールウエーブレットを用いて特定する請求項１に記載の顔認識方法。
10. 顔の単一画像を選択する手段と、
    前記単一画像内で顔の特徴を特定する手段と、
    前記単一画像内で特定した顔の特徴を、参照画像の顔の特徴と比較する手段と、
    前記単一画像の虹彩の特徴を、前記参照画像の虹彩の特性と比較する手段と、
    前記顔の特徴の比較および前記虹彩の特徴の比較に基づいて、前記単一画像と前記参照画像との間の類似スコアを計算する手段と、
    を備える顔認識装置。
11. 前記単一画像は、眼の間隔で少なくとも約６００ピクセルの解像度を有する請求項１０に記載の顔認識装置。
12. 前記単一画像は、少なくとも約５メガピクセルを含む請求項１０に記載の顔認識装置。
13. 更に、前記単一画像の顔の肌特性を、参照画像の顔の肌特性と比較することにより、肌のきめ解析を実行する手段を備え、前記類似スコアは、前記肌のきめ解析に基づくスコアが加味される請求項１０に記載の顔認識装置。
14. 肌のきめ解析を実行する前記手段が、
    肌のきめ解析に適した顔の肌領域を特定する手段と、
    前記特定した肌領域を歪曲し、整列し、正規化する手段と、
    前記特定した肌領域から肌の特性を抽出する手段と、
    を備える請求項１３に記載の顔認識装置。
15. 前記肌の特性は、毛穴、皺、及びほくろ又はあざである請求項１４に記載の顔認識装置。

Images