JP2007516503A - ３次元モデリングを使用した顔識別認証 - Google Patents

Abstract

チェックポイント・スクリーニング・システムは、スクリーニングすべき人物について互いに異なる角度からの画像を提供するために、複数のカメラを使用する。互いに異なる角度からの画像から抽出した互いに異なる特徴が、スクリーニングすべき人物に関連付けられたプロファイルと比較される。一実施形態では、その人物は、まず、運転免許証又は他の認証などのＩＤを提供し、プロファイルが読み出される。一致が検出された場合、その人物は、チェックポイントを通過することができる。一致が検出されなかった場合、追加の識別認証を行うために、その人物をチェックポイントの別の経路に案内することができる。メンバーを登録し、メンバー・プロファイルを取得するために、登録プロセスが使用される。３次元画像を提供するために、３つのカメラ角度が、利用される。各画像が別々に、プロファイルと比較され、これらの比較結果に、重みが付けられる。一致が検出された場合、プロファイルが回帰的に更新される。

Description

本発明は、顔識別認証に関し、より詳細には、認証すべき顔の複数の画像を使用する顔識別認証に関する。

セキュリティ・チェックポイントは、ますます一般的になってきている。多くの場合、識別バッジ又は他の形のＩＤを提示する人物が本当に本人かどうかを認証するために、マニュアル検査が行われる。現在、バイオメトリクスに基づく多くのシステムが使用されている。通行量が多いときの建物への入場許可、又は空港内などある種の状況では、大勢の人間を最短時間で正しく照合しなければならない。

（発明の概要）
チェックポイント・スクリーニング・システムは、スクリーニングすべき人物について様々な角度からの画像を提供するために、複数のカメラを使用する。様々な角度からの画像から抽出された様々な特徴が、スクリーニングすべき人物に関連付けられたプロファイルと比較される。一実施形態では、人物は、まず運転免許証又は他の身分証明書などのＩＤを提供し、プロファイルが読み出される。一致が検出された場合、人物は、チェックポイントを通過することができる。一致が検出されなかった場合、追加の身元確認を行うために、人物をチェックポイントの別の経路に案内することができる。

メンバーを登録し、メンバー・プロファイルを取得するために、登録プロセスが、使用される。３つのカメラ角度を利用することによって、３次元に基づくモデル（即ち、３Ｄ空間から抽出された特徴）が提供される。対象の３Ｄ表現が選択されると、３Ｄ表現の各画像が、別々にプロファイルと比較され、これらの比較結果に、重みが付けられる。一実施形態では、一致が検出された場合、プロファイルが、回帰的に更新される。比較する際、プロファイル内のより最近の一致する画像に対応する特徴に、最も大きな重みが付けられる。

他の実施形態では、登録メンバーを期限切れメンバーのステータスに移し、別の経路に案内することができる。これは、ある登録メンバーが一定期間に渡ってシステムを使用しなかった場合、あるいは住所又は連絡先の変更などのプロファィル変更が行われた場合に、起こり得る。この別の経路では、マニュアル・チェックポイント・プロセスが利用される。

以下の説明では、添付の図面が参照される。これらの図面は、本明細書の一部を成し、本発明を実施することができる特定の実施形態を図示している。これらの実施形態は、当業者が本発明を実施するのに十分な詳しさで説明されており、他の実施形態が利用でき、本発明の範囲から逸脱することなく構造的、論理的及び電気的な変更を行うことができることが理解されよう。従って、以下の説明は、限定された意味で捉えられるべきではなく、本発明の範囲は、添付の特許請求の範囲によって規定されるものとする。

本明細書に記載される機能又はアルゴリズムは、一実施形態では、ソフトウェアとして、又は、ソフトウェアで実施する手順と人が実施する手順の組合せとして実装される。ソフトウェアは、メモリや他のタイプの記憶装置などのコンピュータ可読媒体に格納されたコンピュータ実行可能命令を含む。「コンピュータ可読媒体」という用語は、ソフトウェアを送信する搬送波を表すためにも使われる。更に、機能は、ソフトウェア、ハードウェア、ファームウェア又はそれらの任意の組合せであるモジュールに、対応する。そう望むなら、複数の機能を１つ又は複数のモジュール内で実施することができ、ここに記載される実施形態は、例に過ぎない。ソフトウェアは、デジタル信号プロセッサ、ＡＳＩＣ、マイクロプロセッサ、あるいは、コンピュータ・システム（例えば、パーソナル・コンピュータ、サーバ又は他のコンピュータ・システムなど）上で動作する他のタイプのプロセッサ上で実行される。

図１の１００で全体的に示される高速アクセス制御スクリーニング・システムは、登録メンバーにサービスを提供するために、使用される。システムは、大勢の人を短時間で、求める協力を最小限に抑えながらできるだけ迷惑をかけないように処理を行う。顔認証エンジンは、様々な角度からの画像をメンバーに関する格納済み情報と比較することによってメンバーを識別するために、使用される。システムの使用中に、メンバーからメンバーＩＤが、提示される。このＩＤは、プロファイルを構成する格納済み情報を読み出すために、使用される。

システム１００に入る人のために、２つのアクセス・ポイントが、提供されている。自動アクセス・ポイント１１０及びマニュアル・アクセス・ポイント１１５が提供されている。自動アクセス・ポイント１１０は、自動化された顔認証ステーション１２０へと通じている。ここで、ＩＤカード又は他の形の身分証明を走査することができ、情報が読み出される。読み出された情報は、認証ステーション１２０で撮影された画像と比較するために、使用される。一致が見つかった場合、その人物は、承認され、通路１３０を通って、ゲート、建物又は他の制御アクセス領域に進むよう指示される。

一致が見つからなかった場合、又はその他の理由がある場合は、その人物をマニュアル検査通路に通路１４０を介してマニュアル検査通路１５０に戻るよう指示することができる。アクセス・ポイント１１５も、マニュアル検査通路１５０へと通じている。次いで、マニュアル検査が、１６０で実施される。

登録を行う際、メンバーは、写真付きＩＤ及び他の必要書類をオペレータに提示する。オペレータは、身元をアカウント記録と照合し、セキュリティ保護されたデータベースに登録する。動作中、登録を済ませた人物が、アクセス・ポイントを通過することができ、その間にシステムは、それらの人物の写真を取り込み、対象の融合３Ｄモデルを作成し、それを記録されたアカウントと比較する。認証された個人は、他の訪問者／客と一緒に検査用の長い待ち行列に加わる必要なしに、直接施設／会場／ゲートに進み、入場することができる。

認証ステーション１２０は、図２に示すように、１つ又は複数の帯域（即ち、必要に応じて可視又は赤外センサ）を使用して人物を複数の向きから撮影し、それによって対象の３Ｄモデルを作成する。次いで、このモデルは、テキスト及び画像に基づく比較を使用してその人物の身元を確認するための、既存の特徴から成る乗客プロファイルと、比較される。個人情報は、チェックインの際に乗客が提示／走査しなければならない身分証明書からのものでよい。チェックポイントを通る際に、登録カードは、カード・スキャナ又は他の入力装置で、読み取られることになる。乗客の写真、身元及びアクセス情報は、システムのデータベースから読み出された情報と照合され、認証され、あるいは、不一致の場合には拒否される。不一致がある場合、メンバーは、別の通路１５０を使用するように指示される。通路１５０で、オペレータ／係員が、その件を調べ、写真の更新又は住所変更が必要な場合、あるいは脅威パターンが存在する場合に当局への緊急通報が必要である場合には是正処置を行う。

図２の２００で、人物２１０が、３台のカメラで撮影される。様々な実施形態において、カメラは、近赤外、赤外センサなど様々な波長タイプのセンサでよく、それらのカメラ／センサを２個以上使用してよい。正面の顔ランドスケープ（ｌａｎｄｓｃａｐｅ）を取り込むために、正面カメラ２２０が、使用される。正面のランドスケープ又はビューは、最大２０度の頭部の向きに対応できる成熟した２Ｄ顔ＩＤ技術を使用して分析される。システムは、残りの範囲、即ち２０〜９０度をカバーするための１つ又は複数の外部カメラによって増補され、それによって側面ビューが取り込まれる。第１の外部カメラ２２５は、２５０で示すように、正面カメラから約２０度の角度に示されている。また、第１のカメラは、正面カメラから約９０度の第２の位置２３０にも示されている。同様に、第１の外部カメラ２２５の反対側に、第２の外部カメラは、２０度のところに２４０で、９０度のところに２４５で示されている。外部角度は、望みに応じて、最善の結果を得るために変えることができる。

カメラの配置及び各カメラの特性は、この用途に最も適切なものを得るために、ヒューリスティック（ｈｅｕｒｉｓｔｉｃ）な幾何学的観察に基づいて変わり得る。これらの角度は、顔情報について最も信頼できる幾何学的三角測量を提供するように、選択することができる。また、カード・リーダに対するカメラの高さ及び位置も、チェックポイント構成に基づいて変わり得る。

オプションとして、システムは、いかなる脅威にも対処するためのシステム統合手法を提供するために、自動化された乗客のプロファイリングも含むように実装することができる。自動化されたチェックイン・システムを使用する、チェックイン済みで不一致の全ての乗客を、プロファイル試験の対象としてもよい。対象との完全一致がデータベース内になかった場合に、プロファイル試験をトリガしてもよい。不一致の乗客は、幾らかのセキュリティ・リスクをもたらし、追加の調査を必要とする可能性がある別のカテゴリに分離される。

認証ステーション１２０が、図３に、更に詳しく示されている。その構成は、カード・スキャナ・システム３０４（コントローラと、デジタル・カード・リーダと、近接カード）と、カメラのネットワーク３０５と、照明セット３０６と、全て３０４で示す、カメラ及びＰＣホストをネットワークに接続するためのケーブル、ビデオ・ストリーマ、ローカル・エリア・ネットワーク、並びに、認証サーバと、を含む。他の実施形態では、十分な光を提供するために必要に応じて照明セットを使用することができ、それによって、カメラが対象についての高品質の画像を取り込めるようにする。全てのビデオ・カメラは、固定視野をもつタイプでよい。カメラの出力は、ビデオ・ストリーマに送られ、そこで、ビデオ画像がデジタル化され圧縮される。ビデオ・ストリーマは、ローカル・エリア・ネットワークに接続され、従って認証サーバにデジタル化されたビデオ・ストリームを提供する。ビデオ・サーバは、ビデオ・ストリームを格納し、タイム・スタンプに基づいてビデオを取り出し表示する能力を有する。認証サーバ３０４は、対象の顔ＩＤを検出し、登録済みの個人のセキュリティ保護されたデータベースに対して照合を行う。ビデオ・サーバと認証サーバは、一体となるように組み合わされる。ホスト機３０８は、チェックポイントの隣に配置されている。

テストベッド・アーキテクチャを構築するための規則が、定義される。

カテゴリ１：「登録済みメンバー」とは、過去に登録され、システム上に更新済みプロファイルをもつ乗客である。

カテゴリ２：「新規メンバー」とは、初めてプログラムに登録する乗客である。

カテゴリ３：「失効メンバー」とは、一定期間に渡ってシステムを使用しなかったか、あるいは住所又は電話番号の変更などのプロファイル変更が行われたために、登録が失効した元「登録済みメンバー」である。

セキュリティ規定を強制するために、ＦＡＣＳ−５システムでは、カテゴリ２及び３は等しく「非メンバー」として扱われ、マニュアル・チェックポイントに進むよう指示される。非メンバーは、初回登録、メンバーシップの復活、又はプロファイルの更新を行うために、登録オフィスを訪問するよう義務付けられる。

上述の定義に基づいて、６段階のプロセスを使用することによって自動化されたチェックポイント乗客スクリーニングの認証が行われる。このプロセスは、以下の通り実施される。

チェックイン：ユーザはまず、３０４で身分証明書（例えば、フリークエント・フライヤー・カード（Ｆｒｅｑｕｅｎｔ Ｆｌｙｅｒ ｃａｒｄ））を走査する。

画像の取り込み：カード・リーダの起動によって個人がそこにいることが検出されると、システムは、顔ＩＤ処理のために乗客の複数画像３２０を取り込むようカメラをトリガする。

プロファイル検索：３１０で、ＦＡＣＳ−５が、例えば名前、住所、電話、写真などの具体的情報をもつサーバ・データベースからその人物のプロファイルを検索し、ＩＤ認証のために、この情報を認証ソフトウェアＦＡＣＳ−５エンジンに渡す。

顔ＩＤ：３２５で、システムの画像処理コンポーネントが３Ｄモデルを作成し、３３０で、顔認証ソフトウェアに提出するために顔ＩＤ（即ち、画像に基づく特徴ベクトル）を用意する。

メンバーシップ認証：３３５で乗客のメンバーシップが認証された場合、その乗客の顔ＩＤが顔認証エンジン３４０に送られる。そうでない場合、乗客は顔認証エンジン３４０を使用したチェックインを拒否され、マニュアル・チェックポイント３４５に進むよう指示される。

顔ＩＤ認証：有効なメンバーシップをもつ乗客だけが、顔ＩＤ認証処理を受ける。３５０で一致すると、個人は認証され、アクセス・ポイント３５５を通過するよう指示される。不一致の場合、個人は拒否され、マニュアル・チェックポイント３４５に進むよう指示される。

顔認証エンジン３４０が、図４に、更に詳しく示されている。エンジン３４０は、４０５で示した通りに取得された、対象の正面及び側面ビューからの情報を検討する。正面及び側面ビューについて複数の画像が取得され、４１０で（互いに異なる瞬間に取り込まれた）後続の各フレームからの最良の１組の画像が選択される。これらの様々なビューは、４１５で顔検出を最適化するために、互いに異なる帯域を融合する能力を提供する。

一実施形態では、顔の実際の特徴を抽出し、隠された部分（即ち顔の中で化粧が濃い部分、髪の毛等）を除去するために、肌検出が使用される。これは、多くの計算処理を必要としないため、認証エンジンは、チェックポイント・スクリーニング及び認証のようなアプリケーションに好都合である。

４２０と、４２５と、４３０として表される３Ｄ顔特徴ベクトルが、３つの独立したセンサの出力から作成される。１台のカメラが、顔ビューの正面ランドスケープに配置され、残りの２台のカメラは、２つの最適な角度に配置され、それにより、先に述べたように対象の右側及び左側の横顔を共に取り込む。側方の２台のカメラによって取り込まれた横顔の幾何情報は、パターン照合技法を使用して正面カメラの出力を正規化するために使用される。正面の顔から抽出された、正規化された特徴ベクトルは、２Ｄ顔ＩＤ認証ツールのパフォーマンスを改善する。

一実施形態では、４３５と、４４０と、４４５とに示すように、登録情報を含むデータベース４５０から取得したデータを使用して、各ビューがそれぞれ、別の認証エンジンに通される。側面に基づく特徴セットは、側面画像を提供するセンサ又はカメラの画像から取得した特徴を分析するために使用される。それらの特徴セットは、鼻から耳への距離や、正面ビューからは検出されない可能性がある顔の毛の特徴など、正面画像からは得られない幾つかの異なった特徴を含み得る。横顔に基づく特徴セットのための例示的な認証エンジンに関するさらなる詳細を、以下に説明する。

一実施形態では、正面画像を分析するために、局所特徴分析（ＬＦＡ、Ｌｏｃａｌ Ｆｅａｔｕｒｅ Ａｎａｌｙｓｉｓ）が使用される。この技法は、目、鼻、頬、口、顎などの局所的な顔の特徴を抽出し、それらがどのように顔を構成するかを分析する。ＬＦＡ技法は、取り込まれた横顔からの幾何情報を使用して取り込まれた正面ビューを正規化することによって、増補することができる。この独特のＬＦＡ技術は、正規化された画像テンプレートに適用された場合に、さらなる信頼性を提供する。ＩｄｅｎｔｉｘのＦａｃｅＩｔ等、多くのＬＦＡツールが市販されている（別の実施形態では、ＣｏｇｎｉｔｅｃのシステムであるＦａｃｅＶａｃｓソリューションが使用される）。幾何情報は、１対１の照合プロセスで使用される特徴のセットを増補するために使用でき、これによって、正面ビューの変化に起因する誤差のソースが軽減される。

特徴セット中の要素数が増えるにつれて、対象と他のテンプレートとの間の違いが増し、対の一致がより明白なものとなる。３つのビューに適用される３つの１対１プロセスの出力を組み合わせるために、加重平均法４５５が使用される。また、側面ビューから抽出された局所特徴や節点は、顔の表情の影響をより受け難い。節点の例の１つは、顎である。

一実施形態では、顔認証エンジンは、顔面−頭部の動作検出を含む。頭部の動作は、頭部−シルエット動作に限定されておらず（頭部の動作は実際の顔を、仮面を付けた顔から区別するのに不十分である）、むしろ、目の瞬き、チックの局所動作及び様々な顔の表情の結果としての顔ランドスケープに関する顔のランドマーク点の比較的小さな動作の検出を含む。

一実施形態では、顔の経時変化に適応するために、自動回帰モデリングが使用される。一致が見つかった場合、プロファイル内の古い情報は、チェックポイント・プロセス中に取得された新しい情報に置き換えられる。この新しい情報を、古い情報よりも大きく重み付けすることができ、これは、時間的加重とも呼ばれる。この情報は、先に述べたような特徴を表し得る。特徴情報は、登録プロセス中に、複数の画像それぞれについて格納することができ、現在のチェックポイント・ビューの一致を判断するために、加重平均を、使用することができる。時間の経過とともにメンバーがサービスを利用するにつれて、古い特徴セットは、チェックポイント・プロセスの使用中に測定された新しい組に置き換えられることができる。重みは、望みに応じて、パフォーマンスが最適化されるように調整することができる。余りにも劇的な変化は、不一致と、マニュアル・チェックポイント・ステーションへの経路指定という結果をもたらす。このような自動回帰モデリングは、加齢、体重の減少／増加、及びその他の段階的な肉体の変化に起因する外観上の緩やかな変化を補償することができる。

先述のアルゴリズムを実施するためのプログラミングを実行するコンピュータ・システムのブロック図を、図５に示す。コンピュータ５１０の形を取る汎用コンピューティング・デバイスは、処理装置５０２と、メモリ５０４と、脱着式記憶装置５１２と、非脱着式記憶装置５１４とを含み得る。メモリ５０４は、揮発性メモリ５０６と不揮発性メモリ５０８を含み得る。コンピュータ５１０は、揮発性メモリ５０６と不揮発性メモリ５０８などの様々なコンピュータ可読媒体を含むことができ、あるいはそれらを含むコンピューティング環境にアクセスすることができる。コンピュータ記憶装置としては、ＲＡＭ、ＲＯＭ、ＥＰＲＯＭ及びＥＥＰＲＯＭ、フラッシュメモリ又は他のメモリ技術、ＣＤ−ＲＯＭ、ＤＶＤ又は他の光学式記憶装置、磁気カセット、磁気テープ、磁気ディスク記憶装置又は他の磁気記憶装置、あるいはコンピュータ可読命令を記憶することができるその他の全ての媒体が含まれる。コンピュータ５１０は、入力部５１６、出力部５１８及び通信接続５２０を含むことができ、あるいはそれらを含むコンピューティング環境にアクセスすることができる。コンピュータは、通信接続を使用して１つ又は複数のリモートコンピュータに接続するネットワーク環境で動作することができる。リモートコンピュータとしては、パーソナル・コンピュータ、サーバ、ルータ、ネットワークＰＣ、ピア（ｐｅｅｒ）デバイス又は他の共通ネットワーク・ノード等が含まれ得る。通信接続としては、ローカル・エリア・ネットワーク（ＬＡＮ）、ワイド・エリア・ネットワーク（ＷＡＮ）又は他のネットワークが含まれ得る。

コンピュータ可読媒体に記憶されたコンピュータ可読命令は、コンピュータ５１０の処理装置５０２によって実行可能である。コンピュータ可読命令を含む物品の例としては、ハードドライブ、ＣＤ−ＲＯＭ、ＲＡＭなどがある。例えば、本発明の教示によるＣＯＭベースのシステムにおいて、データ・アクセスに関するアクセス制御チェックの実行及び／又はサーバの１つ上での動作を行うための汎用技術を提供することができるコンピュータ・プログラム５２５は、ＣＤ−ＲＯＭに含まれ、そのＣＤ−ＲＯＭからハードドライブにロードすることができる。コンピュータ可読命令は、複数のユーザ及びサーバをもつＣＯＭベースのコンピュータ・ネットワーク・システムにおいて、コンピュータ・システム５００が汎用アクセス制御を提供できるようにする。

側面に基づく特徴セットのための例示的認証エンジン
３Ｄオブジェクトは、２Ｄ画像領域に投影された場合に、多数の外観のうちの１つを取り得る。このことが、様々な照明の状況やポーズでの２Ｄ領域における顔認証の問題を困難なものにしている。フレームに取り込まれた、正面顔ジオメトリの透視図は、２Ｄに基づく顔ＩＤエンジンによって予想されるジオメトリと一致しないかも知れない。登録時とは異なり、ランタイム中は、正面視点からの傾斜した、片寄った、又はある方向に向いたビューが予想される。顔平面の表面の向きの推定は、この問題の本質的な要素である。例えば、分割、特徴抽出及び分類の諸手順は、透視投影の効果がまず取り除かれ、それによって実際の顔の局所特徴に対する歪曲効果が軽減されることにより、大幅に簡略化される。これらの向きによって簡単に影響を受けるこれらの局所特徴分析が、顔認識に関する従来技術では、主に利用される。これらの角度偏差が、既存のほとんどの信頼性のある２Ｄ顔ＩＤシステムの障害を引き起こすことには疑問の余地がなく、この問題は、文献においてもよく知られている。通常の正面の顔からのこれらの角度偏差が生じた場合に、最小限の影響しか受けない顔ＩＤを提供することが望ましい。本明細書に記載のシステム及び技術的手法は、撮像面（即ち、２Ｄカメラ・システムによって取り込まれる際の画面）から実際の正面顔平面を復元する。

顔の実際の３Ｄ ＣＡＤ表現を作成せずに幾何モデルを抽出するために、モデル・ベースの手法が提供される。システムは、３台のカメラから成るシステムによる正面及び側面ビューを使用した透視投影及び三角法機構を使用して、任意のずれを補正する。正面ランドスケープの２Ｄ表現の位置合わせに加えて、顔特徴ベクトルの増補は、より優れた身元照合をも提供する。

顔検出（Ｆａｃｅ Ｄｅｔｅｃｔｉｏｎ）：多くのシステムは、顔識別の前に顔検出の前処理アルゴリズムを使用することにより、雑然としたシーン内で顔を識別するように動作する。本発明の一実施形態では、顔画像を一様な背景の前で顔が画像フレームの大部分を占める構成として撮影することによって、顔検出アルゴリズムが不要であるようにする。システムは、簡略化された複雑でない背景を有する制御されたシーンに基づくので、顔検出は容易な手順であると考えられ、２Ｄ顔ＩＤソリューションを使用して目の位置を定めることによって解決される。

制御された照明条件（Ｃｏｎｔｒｏｌｌｅｄ ｌｉｇｈｔｉｎｇ ｃｏｎｄｉｔｉｏｎ）：このシステムは、主にポーズ、顔の表情及び咬合のために変化する顔ＩＤの外観を取り扱うための顔ＩＤ認証スキームに重点を置いている。これは制御されたシーンであり、ポータル（ｐｏｒｔａｌ）が制御された拡散照明にさらされるため、照明は、問題とならない。

ポーズ選択（Ｐｏｓｅ ｓｅｌｅｃｔｉｏｎ）：顔認証アーキテクチャの第１段階は、顔ＩＤ認証エンジンから独立しており、ポーズ（即ち、頭部の並進及び向き）推定に限定される。取り込まれた３つの画像内の節点の位置は、下で説明するように、入力された顔をデータベースの顔ＩＤビューと大まかに幾何学的に位置合わせされるように動かすために使用される。ポーズ推定は、データベース・ビューに対するフィルタとして使用され、入力のポーズに類似したポーズをもつビューしか選択されない。ポーズ推定は、２Ｄシステム提供物を改善するための最適化フィルタと考えられるべきである。

正規化手順（Ｎｏｒｍａｌｉｚａｔｉｏｎ ｐｒｏｃｅｄｕｒｅｓ）：正規化は、２つの局面で実施される。即ち、１）正面カメラに関する特定のポーズ・ビューを決定する頭部の向きの推定と、２）頭部の向きを補正するために画像場所内で実施される位置合わせ及び正規化に加えて、２Ｄ正面ビューに対して大幅にずれている、対象の位置ずれしたプローブについて顔特徴増補が検討される。さらなるスケーリング及び位置決めが、２Ｄ顔ＩＤエンジン内で実現される。

２Ｄソリューション（２Ｄ Ｓｏｌｕｔｉｏｎ）：使用される２Ｄ顔ＩＤは、局所特徴分析、即ちＩｄｅｎｔｉｘ又はＣｏｇｎｉｔｅｃを使用した、パラメータ化されたモデル手法である。３Ｄソリューションの一部として、他の任意の信頼性のある２Ｄ ＬＦＡ分析ソリューションを使用することができる。

所要メモリ（Ｍｅｍｏｒｙ ｒｅｑｕｉｒｅｍｅｎｔ）：２Ｄソリューションは、個人の２Ｄビューについて多くの様々なサンプルを格納するように構成することができる。これは、一般にビュー・ベース手法と呼ばれる。ビュー・ベース手法は、個人の多数の２Ｄビューを格納するだけで外観の変化に対処する。新しい入力ビューの認識を試みる場合、認識者はただ、その入力をポーズと照明とが十分に近いビュー例と照合させようとする。ポーズ−照明のパラメータ空間は多次元であるため、この空間をビュー例で十分な密度にまで満たすには、取り込まれた画像の非常に大きいリストが必要となり得る。また、これらのビュー全てを認証するために必要な計算処理は、指数関数的に増加する。

３Ｄシステムの様々な実施形態では、取り込み機構は、３台のカメラに基づいており、１台のカメラが、顔の正面ビューの撮像を行い、２台のカメラが、右及び左の側面視点をカバーするために顔の法線に対して対称な角度に置かれるように配置されている。視野内で顔が良い位置に置かれていない場合、ただ１台のカメラで正面視点を取り込むことは、顔認識を行う上で十分でないかも知れないことが既に分かっている。正面カメラが、正面視点による正確な表現を取り込めない場合、２台の側方カメラを追加することにより、パフォーマンスが向上する。

本発明の一実施形態では、あるシーケンスにおけるフレーム・シーケンスが、取り込まれ、そのシーケンスから個人に関する最良の３Ｄ表現が、選択される。３Ｄ表現は、ある瞬間（即ち、時間ｔに対応）に取り込まれた右側側面、左側側面及び正面の各画像によって定義される。３Ｄ表現の最良の選択は、どの組合せが、頭部の向きによる効果が最小である正面ランドスケープのより正確な表現をもたらすかに基づく。

このような選択を実現するために、２つのパラメータが、定義される。即ち、目の間隔ｗ（ｉ，ｔ）と、顔における両眼の中点の口に対する相対位置Ｈ（ｉ，ｔ）である（ｉはフレーム・インデックス、ｔは時間を表す）。

３Ｄポーズは、以下のように選択される。

ｔに関し、ｉ＝２のとき
ｔｏ＝ａｒｇ ｍａｘ｛ｗ（ｉ，ｔ），Ｈ（ｉ，ｔ）｝
即ち

最初のパラメータｗ（．，．）によって頭部の最小の向きの角度をもつフレームが決まり、Ｈ（．，．）によって最小の仰角（傾斜角）をもつフレームが決まる。

個人の３Ｄポーズが取り込まれると、後続プロセスは、二重のソリューションをもつ。

正規化２Ｄソリューション（Ｎｏｒｍａｌｉｚｅｄ ２Ｄ−ｓｏｌｕｔｉｏｎ）：パターン照合（即ちサブ画像登録）及び歪曲技法を使用して正面カメラの出力を正規化するために、側方の２台のカメラによって取り込まれた横顔の幾何情報が、使用される。正面顔から抽出された特徴ベクトルの正規化により、２Ｄ顔ＩＤ認証ツールのパフォーマンスが大幅に改善する。

この手法は、三角法を使用して正面平面に対する顔の向きの角度を決定し、正面ランドスケープに関するより正確な表現を生成するために必要な修正／歪曲を行うものである。この修正された正規化済み正面ランドスケープは、次いで２Ｄ顔ＩＤエンジンに送られる。

増補された特徴（Ａｕｇｍｅｎｔｅｄ Ｆｅａｔｕｒｅｓ）：１対１照合プロセスで使用される特徴セットを増補するために、幾何情報が使用され、これによって、正面ビューの変化に起因する誤差のソースが軽減される。特徴セット中の要素数が増えるにつれて、対象と他のテンプレートとの間の違いが増し、対の一致がより明白なものとなる。３つのビューに適用される３つの１対１プロセスの出力を組み合わせるために、加重平均法が、使用される。

正規化２Ｄソリューション（Ｎｏｒｍａｌｉｚａｔｉｏｎ ２Ｄ Ｓｏｌｕｔｉｏｎ）
何れのカメラによっても顔の妥当な正面ポーズが取り込めなかった場合、三角法は、大きな方位角、片寄り及び傾斜を補償しない。透視平面における向きに基づく別の技術的手法も、使用することができる。登録時の画像が、実際の正面ビューである（非常に制御された環境で撮影されたため）と仮定すると、平面顔表面の空間（登録時の画像によって示される２Ｄ空間）内の向きがランタイム中に取り込まれた単一の正面撮像視点からのものであると推定される。（頭部の幾らかの向きをもつこの単一の正面画像は、先に述べた幅及び高さのパラメータの最大値を提供する利用可能な最良の正面フレームとして描かれたものである）。取り込まれた正面画像のより正確なモデルと、その撮像面内の透視投影とが導き出される。カメラの単一の正面視野からの、顔平面の表面の空間内の向きが推定される。

視野変換を解決するために、この分析では高次偏微分方程式を使う。以下の記述では、カメラ視野からの実際の計測器による幾何ビューの推定を提供するために、ピンホール透視投影モデルが使用される。

カメラ平面座標系

（撮像面座標）と、実際の個人の顔平面座標

とが割り当てられる。顔法線ベクトルの仰角は、顔の垂直方向の向きを表現するために使用される。仰角αは、顔法線とカメラ・システム軸との間の角度である。傾斜角βは、ｘ軸と、撮像面上への顔法線の投影との間の角度を表すために使用される。θは、両眼の中点と、顔平面上への画像傾斜ベクトル（ｃｏｓβ、ｓｉｎβ）の逆投影との間の角度を表している。傾斜ベクトルは、仰角に関連付けられ、顔表面が撮像面の視野からどれだけ傾斜しているかを示す。従って、実際の計測器から撮像面への座標変換は、以下の式で与えられる。

撮像面内に取り込まれた点Ｐ（ｘ，ｙ）の実際の座標を抽出するために、元の座標が、以下のように、透視逆投影による撮像面上の点から計測器表面平面上の点への逆変換として表される。

３つの角度を解くには、ただ３つの等式よりも多くの等式が、必要となる。以下の記述では、追加の仮定を与えることによって、２つの簡略化された分析が与えられる。

撮像傾斜ベクトルの顔平面上への逆投影が、両眼の中点に重ね合わされるものと仮定する。即ち、θ＝０。この条件下では、この問題には２段階の解法がある。

まず、以下の多項式を使用して、傾斜角に関して解く。

βが計算されると、その値を等式（２）に代入して、仰角を算出する。

実際のほとんどの事例では、上の等式及びビューの三角法を使用してこれらの未知の角度に関して解く代わりに、実験的データ・マッピングを使用してカーネル変換を推定する。例えば、カメラが正面顔ランドスケープに対して対称であることを考慮して、目が取り得る全ての向きについて、ＬＵＴを定義する。

（右側及び左側カメラを用いて取り込んだ）側面画像内の顔のポーズを推定するには、顔における目の相対位置を、使用する。上から見た人間の頭部が与えられた場合、右側及び左側の何れの側方カメラについても、両眼の中点（即ち、鼻の位置にも対応する）の投影と、画像角の法線との間の距離ｄを計算することができる。向きがゼロの場合、距離は、どちらのカメラでも等しいはずであり、以下のように定義される。

ここで、ｒは頭部の半径である。θ_１とθ_３との間に差があれば、頭部が（正面カメラに対して）撮像面とぴったり合っていないことを示す。例えば、頭部の向きが角度δをもつと仮定すると、

となる。

頭部は、左方に傾斜しており、従って側面画像は、もはや対称ではない。これらの２つの画像の非対称性は、頭部の向きの角度に比例する。使用される角度の測定は、正面画像の正規化プロセスの一部である。

未知の変数ｒを消去するために、２つの距離の比を使用してもよい。次いで、上述の測定値に基づいて微分非線形変換を定義するために、ルックアップ・テーブルが生成される。

これらの非線形変換は、頭部の向きだけでなく、中央正面カメラの法線に対する頭部の位置（移動）をも見込んだものである。

変換が測定されると、取り込まれた画像に、制御されていない感知条件下で幾らかの角度的傾斜、方位角が加わった場合、歪曲動作を補正するために必要なプロセスを追加することができる。この種の問題は、歪曲技術によって解決される。この枠組みでは、登録時の感知条件がより制御され、ランタイム中の制御が制限される。

２Ｄ顔ＩＤエンジン（２Ｄ Ｆａｃｅ ＩＤ ｅｎｇｉｎｅ）：正規化後、画像は、２Ｄ顔ＩＤエンジンに渡される。正面画像を分析するために、局所特徴分析（ＬＦＡ）が使用される。この技法は、目、鼻、頬、口、顎などの局所的な顔の特徴を抽出し、それらがどのように顔を構成するかを分析する。ＬＦＡ技法は、上述のように、取り込まれた横顔からの幾何情報を使用して、取り込まれた正面ビューを正規化することによって増補することができる。この独特のＬＦＡ技術は、正規化された画像テンプレートに適用された場合に、さらなる信頼性を提供する。ＩｄｅｎｔｉｘのＦａｃｅＩｔやＣｏｇｎｉｔｅｃのＦａｃｅＶａｃｓ等、多くのＬＦＡツールが市販されている。

特徴の増補（Ｆｅａｔｕｒｅ Ａｕｇｍｅｎｔａｔｉｏｎ）
本節では、正面及び側面ビュー画像のどちらからも検討を行う独特の顔認証システムを提示する。この手法は、実際の３Ｄモデル手法に基づく顔認証ソリューションの開発に向けての第一歩である。ビュー正規化、歪曲及び画像登録に幾何情報を使用するステレオ撮像手法は、一般的なパターン照合技法に基づいている。

この実施形態では、２Ｄ顔特徴ベクトルが、増補されて３Ｄ顔特徴ベクトルになる。幾つかの一致を素早く表にするために参照データベースにインデックスを付け、２Ｄ顔ＩＤエンジンがうまく動作しなかった（即ち、空港セキュリティの精査レベルには不十分）個人の認証を確認するために、幾何情報が、使用される。

認証プロセスはまず、ギャラリー画像及びプローブ画像について３Ｄの特徴ベクトル又はモデルを計算する。ギャラリー画像から作成されたモデルが、インデックスされた参照データベースを形成する。参照データベースのために、３つのフレームから抽出された基本的な幾何学的測定値に基づいてモデルをグループ分けするインデックスが作成される。このインデックスは、データベース内の対象と、プローブが適切なデータ・セットに属しているかどうかを素早く関連付けられるようにする。側面一致が１つも見つからなかった場合、その特定の特徴ベクトルの側面類似度スコアがゼロにされる。そのプローブが同じギャラリー・ファミリーに属する場合、完全一致を反映させるために高得点が与えられる。最後のステップは、クエリ（ｑｕｅｒｙ）・モデルによって比較の２Ｄ正面スコアに重みを付けるものである。側面スコアのベースは、側面画像から抽出された、正規化された画像特徴である。任意の頑丈なパターン照合アルゴリズムを使用することができる。一実施形態では、交差相関技法が使用される。２Ｄ正面画像は、上述した２Ｄ顔ＩＤエンジンに基づく類似度スコアを別に提供する。

側面特徴は、３Ｄ座標系における顔の主な節点の位置を含む。側面ビューは、正面ランドスケープに比べて限られた点しか利用可能でないことを除いて、正面ビューの処理と同様である。幾つかの節点は、（取り込まれた）鼻、顎、目及び耳の先端の、ある参照点に対する相対位置に依存する。一実施形態では、原点として、顎が使用されている。特徴点は、標準的な形態演算子、パターン照合及び低レベル画像分析アルゴリズムを使用して抽出される。全ての測定値は、頭部サイズのシルエットに関して正規化され、データベースの刈り込みのために相対的測定値が抽出される。パターン照合は、側面特徴を抽出するために使用される。節点先端を抽出するために、局所曲率極値と幾何学的接点拘束とについての標準的な計算を使用する他の任意の一般的手法を使用することもできる。

一実施形態では、融合分析は、２つの融合レベルを示す。正面ランドスケープを正規化するために、側面特徴が使用される。次いで、以下に説明するように、類似度スコアの加重平均の和を使用することによって、２Ｄ特徴ベクトルが、追加の側面特徴によって増補される。

提案されるプロセスの最終段階は、全ての結果を組み合わせ、認証すべきかどうかシミュレーションを評価するものである。この判断は、組合せによるものであり、正面分析及び側面分析の何れにも基づいている。事前定義された重みを使用して両方の結果を組み合わせるために、加重平均手法が、使用される。最終的な類似度スコアは、以下のように定義される。

ここで、σ_ｆは、正面に基づく分析の類似度スコアである。事前定義された重みは、ランタイム前に実験的に計算される。

３Ｄデータの追加は、互いにずれたビューによる効果の曖昧さをなくすことによって、システム・パフォーマンスを改善させるはずである。この改善は、２段階で実現される。第１は、３台のカメラのシステムによって取り込まれた幾何情報を使用した正面ランドスケープの正規化及び補正である。第２は、側面測定値を用いた特徴ベクトルの増補である。側方のカメラは、２Ｄ正面ビューからは得られない、例えば顔の起伏や奥行きの３Ｄ次元を提供する。

結論
自動化システムは、訪問者に対して、例えば空港チェックポイント及びハイエンドの建物アクセス・チェックポイントの慎重を要するアクセス・チェックポイントを通る際の迅速なスクリーニングを提供する。このシステムは、技術及び訓練された人員に対する投資を活用する。このシステムを利用することによって、オペレータ／警備員／パトロールは、自らのリソースと注意とを未知のプロファイルに対して、より集中させることができる。この試みの結果、多くの合法的な訪問者／旅行者が、これらのチェックポイントを横断する際に一度も係員を見かけないかも知れない。このシステムは、メンバーを確実に識別し、アクセス・チェックポイントを通してメンバーをチェックインするために顔ＩＤ技術を使用してメンバーをその写真と照合する作業を速める、高い信頼性をもつ自動化されたチェックポイント高速スクリーニング・システムの必要性に応えるものである。

メンバーシップは、顔の経時変化を考慮して、一定期間後に失効させることができる。顔認識は、認証のための６段階のプロセスにおいて、正規化された正面分析を使用する。頭部の動作は、頭部−シルエット動作に限定されておらず（頭部の動作は実際の顔を、仮面を付けた顔から区別するのに不十分である）、むしろ、目の瞬き又は様々な顔の表情の結果としての、顔ランドスケープに対する顔のランドマーク点の小さな相対動作の検出を含む。

顔の実際の特徴を抽出するために、センサ融合が実施される。例えば、一実施形態では、顔の実際の特徴を抽出し、隠された部分（即ち顔の中で化粧が濃い部分、髪の毛等）を除去するために肌検出が使用される。

動作検出システムを使用した例示的なセキュリティ・チェックポイント・システムを示すブロック図である。 複数のカメラから成る図１の例示的な動作検出システムを示すブロック図である。 セキュリティ・チェックポイントにおいて利用される例示的プロセスを示すブロック・フローチャート図である。 複数カメラから成る動作検出システムの動作の別のブロック図である。 セキュリティ・チェックポイント・システムの選択された部分を実装するための例示的コンピュータ・システムを示すブロック図である。

Claims (21)

1. 顔を照合する方法であって、
   照合すべき顔の正面ビュー画像を取得するステップと、
   前記正面ビューからずれた角度から、前記照合すべき顔のビュー画像を取得するステップと、
   前記各ビュー画像から画像特徴を生成するステップと、
   各ビュー画像の画像特徴をあるプロファイルと比較するステップと、
   比較された画像特徴に基づいて一致を判定するステップと、
   を含む方法。
2. 請求項１に記載の方法であって、正面ビュー画像と、正面ビューからずれた角度からの画像とが、互いに異なる特徴を含む、方法。
3. 請求項１に記載の方法であって、一致が判定された場合に、前記プロファイルは、更新される、方法。
4. 請求項３に記載の方法であって、前記プロファイルは、特徴セットを含み、これらの特徴は、前記ビュー画像内で識別された特徴に基づいて更新される、方法。
5. 請求項４に記載の方法であって、特徴は、重みが付けられた複数のデータ点を含む、方法。
6. 請求項６に記載の方法であって、一番最近のデータ点は、より大きく重み付けられる、方法。
7. 請求項２に記載の方法であって、ある角度からの画像の１つの特徴は、鼻、耳及び他のランドマークの、顔ランドスケープ内のある相対的節点との間の距離測定値を含む、方法。
8. 請求項１に記載の方法であって、
   他の角度付けされたビューとは異なる方向にある、前記正面ビューからずれた角度からの、前記照合すべき顔のさらなるビュー画像を取得するステップを、
   更に含む方法。
9. 顔を照合する方法であって、
   照合すべき顔の複数の正面ビュー画像を取得するステップと、
   前記正面ビューからずれた角度からの、前記照合すべき顔のビュー画像を取得するステップと、
   前記複数の正面ビュー画像から１つを選択するステップと、
   前記各ビュー画像から画像特徴を生成するステップと、
   各ビュー画像の画像特徴をあるプロファイルと比較するステップと、
   比較された画像特徴に基づいて一致を判定するステップと、
   を含む方法。
10. 顔を照合するためのシステムであって、
    照合すべき顔の正面ビュー画像を取得する手段と、
    前記正面ビューからずれた角度からの、前記照合すべき顔のビュー画像を取得する手段と、
    前記各ビュー画像から画像特徴を生成する手段と、
    各ビュー画像の画像特徴をあるプロファイルと比較する手段と、
    比較された画像特徴に基づいて一致を判定する手段と、
    を備えるシステム。
11. セキュリティ・チェックポイントにおいて身元をチェックする方法であって、
    チェックポイントを通過しようとする人物についてＩＤを読み取るステップと、
    前記人物について横方向に間隔をおいて配置された複数のビューを取得するステップと、
    前記各ビューから特徴セットを導出するステップと、
    前記ＩＤ上の情報に対応する、既存の特徴セットを取り出すステップと、
    前記導出した特徴セットと前記既存の特徴セットとを比較することによって、それらが一致するかどうかを判定するステップと、
    を含む方法。
12. 請求項１１に記載の方法であって、
    一致しなかった場合に前記人物をマニュアル・セキュリティ・ステーションに案内するステップを、
    更に含む方法。
13. 請求項１１に記載の方法であって、
    前記既存の特徴セットを作成するために人物を登録するステップを、
    更に含む方法。
14. 請求項１３に記載の方法であって、
    人物が失効したメンバーかどうかを判断するステップを、
    更に含む方法。
15. 請求項１１に記載の方法であって、
    一致を検出した際に既存の特徴セットを更新するステップを、
    更に含む方法。
16. 請求項１５に記載の方法であって、特徴セットに時間的な重みを付けるステップを、
    更に含む方法。
17. 請求項１１に記載の方法であって、前記ビューの少なくとも１つは、側面ビューである、方法。
18. 請求項１１に記載の方法であって、前記横方向に間隔をおいて配置された複数のビューは、正面ビューと、前記正面ビューの互いに反対側にある２つの側面ビューと、である、方法。
19. 請求項１９に記載の方法であって、前記側面ビューは、前記正面ビューから約２０度〜９０度離れて配置される、方法。
20. 請求項１１に記載の方法であって、
    特徴間の動作を検出するステップを、
    更に含む方法。
21. セキュリティ・チェックポイント・システムであって、
    チェックポイントを通過しようとする人物についてＩＤを読み取る手段と、
    前記人物について横方向に間隔をおいて配置された複数のビューを取得するための、横方向に間隔をおいて配置された複数のセンサと、
    前記各ビューから特徴セットを導出し、前記ＩＤ上の情報に対応する既存の特徴セットを取り出し、前記導出した特徴セットと前記既存の特徴セットとを比較することによって、それらが一致するかどうかを判定する認証エンジンと、
    を含むシステム。

Images