JP2017534102A - ライブ性分析のためのシステムおよび方法 - Google Patents

Abstract

認証のために提示される画像のライブ性を決定するためのシステムにおいて、基準信号が、ディスプレイ上にレンダリングされ、標的からのレンダリングされた信号の反射が、そのライブ性を決定するために分析される。分析は、反射された信号を空間的および／または時間的にバンドパスフィルタリングし、反射された信号内のフレーム毎および／または反射された信号の１つまたは複数のフレーム内のピクセル毎にＲＧＢ値を決定することを含む。決定されたＲＧＢ値とレンダリングされた信号との間のフレームレベルおよび／またはピクセル毎の相関が算出され、提示された画像がライブまたは偽物であるか否かの決定が、一方または両方の相関を使用してなされる。

Description

（関連出願に対する相互参照）
本願は、２０１４年９月９日に出願された「Ｓｙｓｔｅｍｓ ａｎｄ Ｍｅｔｈｏｄｓ ｆｏｒ Ｌｉｖｅｎｅｓｓ Ａｎａｌｙｓｉｓ」と題された係属中の米国特許出願第１４／４８０，８０２号の継続であり、かつ、この出願に対する優先権を主張し、この出願の開示は、参照により、その全体が本明細書に援用される。

（技術分野）
本開示は、概して、画像分析に関し、具体的には、画像内に描写される対象がライブであるか否かを検出するための画像処理技法に関する。

（背景）
多くの場合、特定の個人に対するプロパティまたはリソースへのアクセスを制限することが望ましい。バイオメトリックシステムは、リソースへのアクセスの許可または拒否のいずれかを行うために個人の身元を証明するために使用されることが可能である。例えば、虹彩スキャナが、個人の虹彩内の一意の構造に基づいて、個人を識別するためにバイオメトリックセキュリティシステムによって使用されることが可能である。しかしながら、そのようなシステムは、詐称者が、認証済みの人物の顔の事前に録画された画像またはビデオを走査のために提示する場合、その詐称者を誤って認証する可能性がある。そのような偽の画像またはビデオは、走査のために使用されるカメラの正面に保持されたモニタ（例えば、ブラウン管（ＣＲＴ）または液晶ディスプレイ（ＬＣＤ）画面等）上、光沢のある写真等に表示されることが可能である。いくつかのいわゆるなりすまし検出システムは、眼の移動を確認することによって、偽の画像を検出することが可能である。しかし、そのようなシステムは、眼の予期される移動を含む偽のビデオを識別することにおいては効果的ではない場合がある。したがって、改善されたシステムおよび方法が、認証済みの人物によってライブで提供される画像およびビデオから偽の画像およびビデオを効率的に決定するために必要とされる。

（要旨）
本明細書に説明される種々の実施では、実際／真正の顔および詐称者の顔の反射特性における差異が、ライブの真正の顔および／または眼を詐称者の画像／ビデオと区別するために使用される。これは、部分的に、実在の顔または偽画像であり得る標的の正面に保持された画面上に基準信号をレンダリングすることによって、標的による基準信号の反射を記録することによって、および、反射された信号とレンダリングされた信号と間の１つまたは複数の相関を算出することによって、達成される。

従って、一側面では、ライブ画像が認証のために提示されているか否かを決定するためのコンピュータ実施される方法は、表示デバイス上に、相互から位相分離されるいくつかの異なる個別の信号を含む時変性の第１の信号をレンダリングすることを含む。方法はまた、レンダリングの間、レンダリングされた第１の信号によって照明されるいくつかの標的の画像を捕捉することと、バンドパスフィルタを画像に時間的に適用することにより、複数のフィルタリングされた画像を生成することとを含む。方法は、第２の信号をフィルタリングされた画像から抽出することと、第１の信号および第２の信号の時間的相関に少なくとも基づいて、第１の測定値を生成することとをさらに含む。加えて、方法は、いくつかのピクセル場所内のピクセル場所毎に、いくつかのフィルタリングされた画像内のピクセル場所の個別の値の経時的変化に基づいて、ピクセル場所に関する個別の信号を抽出することと、第１の信号に対するピクセル場所の個別の抽出された信号の相関に基づいて、ピクセル場所毎に、個別のピクセル場所相関スコアを計算することとを含む。方法は、ピクセル場所相関スコアのいくつかに少なくとも基づいて、第２の測定値を生成することと、第１の測定値および第２の測定値に少なくとも基づいて、標的を承認または拒否することとをさらに含む。

第１の信号の各個別の信号は、異なる色を有し得、色の各々は、同一の周波数を使用してレンダリングされ得る。いくつかの実施では、第１の信号の各個別の信号は、異なる単色信号であり、第１の信号は、正弦波であり得る。第１の信号の各個別の信号は、別々の正弦波であり得、正弦波は、第１の信号内に重畳され得る。第１の信号の個別の信号は、ランダムに生成され得る。いくつかの実施では、ピクセル場所の特定の個別の値は、色であり得る。

各画像は、いくつかの個別の画像を含み得、いくつかの個別の画像は、各々が個別の変換を受けたか、異なる個別の分解能であるか、または、選択された照明現象に対応する異なる個別の空間的周波数バンドを含む。第１の測定値は、第１の信号の位相が第２の信号の位相に合うか否かにさらに基づき得る。第２の信号をフィルタリングされた画像から抽出することは、第２の信号をフィルタリングされた画像の各々の個別のドミナント色値から抽出することを含み得る。いくつかの実施では、方法は、バンドパスフィルタを適用する前に、捕捉および／または処理された画像のうちのいくつかの中の標的を安定化させることをさらに含む。バンドパスフィルタは、周波数ドメイン内または時間的ドメイン内に適用されることができる。

いくつかの実施では、いくつかのピクセル場所相関スコアに少なくとも基づいて、第２の測定値を生成することは、ピクセル場所相関スコアを組み合わせることにより、第２の測定値を生成することを含む。標的は、ヒトの顔であり得、組み合わせられたピクセル場所相関スコアは、顔の特定の領域のピクセル場所に関し得る。顔の特定の領域は、（ｉ）複数の画像内において隠されるかまたは過度に露出される顔の１つまたは複数の部分を少なくとも部分的に回避するための動的画像分析、および、（ｉｉ）レンダリングされた第１の信号を反射する可能性が高い顔の特徴についての知識を表すマスクまたは加重マップのうちの１つまたは複数を使用して決定され得る。

各ピクセル場所は、いくつかの画像データ要素を表し得、いくつかの画像データ要素の一部または全部は、異なる分解能であり得る。各ピクセル場所は、ピクセル場所の個別の画像データ要素の加重された組み合わせであり得る。いくつかの捕捉された画像は、ガウシアンピラミッドまたはラプラシアンピラミッドを表し得る。フィルタリングされた画像の特定のフィルタリングされた画像は、いくつかのピラミッドレベルの加重された組み合わせを表し得る。本側面の他の実施形態は、対応するシステム、装置、およびコンピュータプログラムを含む。

本明細書に説明される主題の特定の実施は、以下の利点のうちの１つまたは複数を実現することが可能である。例えば、検出技法は、検出を実行している間にレンダリングされるマルチスペクトルパターン信号に依存する。認証のために提供される任意の事前に記録されたビデオ／画像からの人物の顔および／または眼の画像は、ライブ性検出の間に提供されるマルチスペクトルパターン信号と相関する可能性が低い。さらに、そのようなビデオ／画像をレンダリングする画面からのマルチスペクトルパターン信号の任意の反射は、ライブ人物の顔および／または眼からの反射と性質が異なる可能性が高い。本明細書に説明される種々の実施は、以下に説明されるように、これらの変則を検出することが可能であり、したがって、ライブの認証済みの人物と偽のビデオおよび／または画像を区別する際によりロバストとなり得る。

本明細書に説明される主題の１つまたは複数の実施形態の詳細は、付随の図面および以下の説明に記載される。主題の他の特徴、側面、および利点は、説明、図面、ならびに特許請求の範囲から明白となる。

本特許ファイルまたは出願ファイルは、カラーで作成された少なくとも１つの図面を含む。カラー図面（単数または複数）付きの本特許公報または特許出願公報のコピーは、要請および必要料金の支払に応じて、特許庁によって提供される。

図１は、２つのライブ性測定値を決定するための例示的な手順を図示する。

図２（ａ）〜図２（ｃ）は、それぞれ、例示的な捕捉されたビデオフレーム、対応する正規化および安定化されたビデオフレーム、ならびに対応する時間的バンドパスフィルタリングされたフレームを描写する。

図３（ａ）〜図３（ｃ）は、それぞれ、捕捉されたビデオフレームのシーケンスに対応する例示的な回収されたＲＧＢ信号、回収されたＲＧＢ信号のバンドパスフィルタ応答、および対応するレンダリングされた基準ＲＧＢ信号を描写する。

図４（ａ）〜図４（ｃ）は、それぞれ、上から下に、図３（ａ）〜図３（ｃ）に描写される信号の高速フーリエ変換（ＦＦＴ）ピリオドグラムを描写する。図４（ｄ）は、図３（ｂ）に描写されるバンドパスフィルタ応答を生成するために使用される時間的バターワースフィルタを描写する。

図５（ａ）は、例示的な平均の正規化および安定化された画像フレームを描写する。

図５（ｂ）〜図５（ｄ）は、それぞれ、対応する２次元（２Ｄ）相関画像、処理された相関画像、および対応する飽和画像を描写する。

図５（ｅ）は、例示的な顔マスクを描写する。

図５（ｆ）〜図５（ｋ）は、基準ＲＧＢ信号のフルサイクルに対応する例示的な捕捉されたビデオフレームを描写し、図５（ｂ）に示される２Ｄ相関画像が、それらのビデオフレームを使用して算出される。

図６は、偽の画像をレンダリングするＬＣＤモニタならびに偽の画像を捕捉および分析する電話の例示的な構成を描写する。

図７は、偽の画像をレンダリングするＬＣＤモニタならびに偽の画像を捕捉および分析する電話の別の例示的な構成を描写する。

図８（ａ）〜図８（ｋ）は、図６に示されるように構成されるＬＣＤモニタから捕捉された偽の平均画像フレーム、対応する２Ｄ相関画像、および、ＲＧＢ信号のフルサイクルに対応するビデオフレームを描写し、図８（ｂ）に示される２Ｄ相関画像が、それらのビデオフレームを使用して算出される。

図９（ａ）〜図９（ｋ）は、図７に示されるように構成されるＬＣＤモニタから捕捉された偽の平均画像フレーム、対応する２Ｄ相関画像、および、ＲＧＢ信号のフルサイクルに対応するビデオフレームを描写し、図９（ｂ）に示される２Ｄ相関画像が、それらのビデオフレームを使用して算出される。

図１０（ａ）〜図１０（ｃ）は、それぞれ、図９（ｆ）〜図９（ｋ）に示される捕捉された偽のビデオフレームのシーケンスに対応する回収されたＲＧＢ信号、回収されたＲＧＢ信号のバンドパスフィルタ応答、および、対応するレンダリングされた基準ＲＧＢ信号を描写する。

図１１（ａ）〜図１１（ｃ）は、それぞれ、上から下に、図１０（ａ）〜図１０（ｃ）に描写される信号の高速フーリエ変換（ＦＦＴ）ピリオドグラムを描写する。図１１（ｄ）は、図１０（ｂ）に描写されるバンドパスフィルタ応答を生成するために使用される時間的バターワースフィルタを描写する。

図１２は、偽の画像に関連付けられたモアレパターンを描写する。

図１３は、眼のライブ性を検出するための別の例示的な手順を図示する。

図１４（ａ）および図１４（ｂ）は、それぞれ、眼の画像を捕捉する電話を反射する例示的な眼、および、対応する２Ｄ相関画像を描写する。

図１５（ａ）は、より高い分解能で図１２に描写される偽の画像を示す。

図１５（ｂ）および図１５（ｃ）は、図１５（ａ）に描写される画像の高分解能のクロップされた部分、および、図１３に示される手順に従って算出される局所的２Ｄ相関を示す。 図１５（ｂ）および図１５（ｃ）は、図１５（ａ）に描写される画像の高分解能のクロップされた部分、および、図１３に示される手順に従って算出される局所的２Ｄ相関を示す。

種々の図面における同様の参照番号および記号は、同様の要素を示す。

図１は、実際のライブ人物および偽物（例えば、以前に捕捉されたライブ人物の写真またはビデオ）から取得された眼の画像を区別するために使用され得る２つの測定値を算出するための一般的なフレームワークを図示する。ステップ１０２において、マルチスペクトルパターンが、人物の顔（または「標的」）がパターンによって照明されるように、表示デバイス上にレンダリングされる。いくつかの実施では、パターンは、約１秒間表示されるが、他の持続時間も、可能性として考えられる。表示デバイスは、データ処理装置の表示デバイス（例えば、スマートフォン、スマートグラス、スマートウォッチ、タブレットコンピュータ、ラップトップコンピュータ等）である可能性がある。他の表示デバイスも、可能性として考えられる。マルチスペクトルパターンによって照明される標的の画像は、ステップ１０４において、デジタルカメラによって捕捉される。いくつかの実施では、デジタルカメラは、データ処理装置の正面向きのデジタルカメラである。他のデバイス上のデジタルカメラを含む他のデジタルカメラも、使用されることが可能である。

種々の実施では、マルチスペクトルパターンは、３つの重畳される正弦波信号を含む。例えば、赤色、緑色、および青色（ＲＧＢ）正弦波が、一般のベイヤパターンデジタルカメラ上の色チャネル毎のネイティブフィルタの感度に合わせるために使用されることが可能である。正弦波信号は、単一バンドパスフィルタが後続分析（以下に説明される）のために使用されることが可能であるように、実質的に単一周波数でレンダリングされることが可能である。加えて、３つの正弦波信号は、３つの色チャネルにわたって位相が均等に分離される（例えば、赤色＝０、緑色＝（２^＊ｐｉ）／３、および青色＝（２^＊ｐｉ）^＊２／３）ことにより、回収された信号の分離性を改善し、かつ、一部のユーザに不快となり得るフラッシュ効果を悪化させ得る照明間隙を低減させることが可能である。一実施では、約４Ｈｚの周波数が使用され、この周波数は、光過敏性発作に関する閾値を下回るが、短時間周期内において典型的な低周波数照明雑音から容易に分離可能であるために十分に高速である。より少ないまたはより多い成分の信号（例えば、赤色および青色正弦波）を有するパターンを含む他のマルチスペクトルパターンが、ＲＧＢ正弦波に加えて使用されることが可能である。

ステップ１０４において、デジタルカメラによって捕捉された画像を含むビデオ信号が、記録される。いくつかの実施では、ビデオ信号は、約２５Ｈｚ（すなわち、２５フレーム／秒）における０．７５秒のビデオクリップである。他の持続時間およびフレームレートも、可能性として考えられる。ステップ１０６において、記録されたビデオ信号内の各フレームは、画像フレームが捕捉されたおよその時間における、ステップ１０２において表示デバイス上にレンダリングされたパターンの値（例えば、ＲＧＢ値）とタグ付けされることが可能である。エクスチェンジャブルイメージファイル（ＥＸＩＦ）メタデータ（または他のメタデータ）もまた、ステップ１０６において記憶されることが可能であり、それにより、概して、自動閾値調節のための周囲照明の測定値を提供する。メタデータは、周囲輝度、露光時間、ＩＳＯ設定、および／または、絞り値を含むことが可能である。

いくつかの実施では、ステップ１０８において、ビデオ安定化（位置合わせおよびワーピング）が、場面内の点を一般の基準座標系にマッピングするために、記録されたビデオ信号に対して実行されることが可能である。安定化およびワーピング後、フレームは、環境内の陰影および他の照明アーチファクトに対する感度を低減させるように、正規化されたＲＧＢ色空間に変換されることが可能であり、したがって、安定化および正規化されたビデオ信号が、ステップ１０８において取得される。

ステップ１１０において、安定化および正規化されたビデオは、レンダリングされた正弦波の周波数（例えば、一実施例では、４Ｈｚ）に同調される時間的バンドパスフィルタを使用して、処理される。例証として、フィルタは、安定化および正規化されたビデオフレームに対応するガウシアンピラミッドに適用されることが可能である。時間的バンドパスフィルタリングが、ステップ１０８において取得された正規化された信号から、ステップ１０２においてレンダリングされたマルチスペクトルパターンに対応する応答信号を隔離するために実行されることが可能である。最後に、バンドパスフィルタリングされたビデオ信号は、例えば異なる尺度で、以前にレンダリングされたマルチスペクトルパターンと比較されることにより、以下に説明されるように、（１）ステップ１１２において、大域的フレームベースの時間的相関を取得し、かつ／または、（２）ステップ１１４において、局所的ピクセルワイズ相関を取得する。

大域的時間的相関測定値を算出するために、ステップ１２２において、ステップ１１０において取得されたフィルタリングされた応答信号の各フレームは、ドミナントＲＧＢ値を用いて表されることが可能である。ステップ１２２において割り当てられたドミナントＲＧＢ値は、ステップ１０６において記録されたビデオ信号にタグ付けされたＲＧＢ値によって表されるように、レンダリングされたＲＧＢマルチスペクトルパターン色に対応することが予期される。例証として、ドミナントＲＧＢ値は、色度ヒストグラムからロバストなモードを介して、または、フレーム毎のピクセル値の加重平均として、算出されることが可能である。ドミナントＲＧＢ値を決定する他の方法も、可能性として考えられる。

平均飽和画像が、フィルタリングされた応答信号（ステップ１１０）から算出され、かつ、加重平均方法のための加重を提供するために使用されることが可能である（ステップ１２２）。いくつかの実施では、平均飽和画像は、処理されるべきフレームに対応するグレー画像からの距離である。結果として生じる２次元（２Ｄ）飽和画像は、反射されたＲＧＢマルチスペクトルパターン強度に比例する。次に、ステップ１２４において、データからの任意のランプ成分を除去し、基準ＲＧＢマルチスペクトルパターン信号との比較のためにより適したものにするために、線形トレンド除去が、推定される赤色信号、緑色信号、および青色信号の各々において独立に実行される。線形トレンド除去は、例えば、線形ｍ推定量を使用して計算されることが可能である。

図３（ａ）は、例示的な大域的ＲＧＢ信号を示す。信号は、フレーム内の任意の１つの特定のピクセルではなく、１つのフレームに対応するドミナントＲＧＢ値を表すため、「大域的」と呼ばれる。ステップ１２６において、この大域的信号は、記録された信号に対応する適切な周波数を抽出するために、時間的バンドパスバターワースフィルタを用いてその周波数ドメインにおいて処理される。図２（ｂ）および図２（ｃ）は、それぞれ、フィルタリングされたＲＧＢ信号およびレンダリングされた基準信号（すなわち、ＲＧＢマルチスペクトルパターン）を示す。これらの２つの信号は、ステップ１２８において、正規化された相互相関を使用して比較され、ｎｘｃｏｒｒと表される結果として生じる値は、第１のライブ性測定値を示す。一実施では、小規模１次元（１Ｄ）時間的検索が、測定されたＲＧＢ信号とレンダリングされたＲＧＢ信号との間にわずかな偏移を生じさせ得るカメラドライバ内の待ち時間を補償するように、ステップ１２８において実行される。検索は、図２（ａ）における組み合わせられた波形内の各点が全体的フレームを表すため、１Ｄ検索である。図４（ａ）〜図４（ｃ）は、それぞれ、図３（ａ）〜図３（ｃ）に描写される信号の高速フーリエ変換（ＦＦＴ）ピリオドグラムを描写する。

（局所的ピクセルワイズ相関）
ステップ１１４において、フィルタリングされたビデオ応答（すなわち、時間的バンドパスフィルタを介して安定化および正規化された記録信号をフィルタリングすることによって、ステップ１１０において取得された信号）内の各ピクセル場所において算出される局所的時間的正規化相互相関の空間的平均が算出される。空間的平均は、フィルタリングされた応答内の各ピクセルがレンダリングされたＲＧＢ信号に合う正確度を示すことが可能である（例えば、範囲［−１．．．＋１］内の）２Ｄ相関画像を作り出すことが可能である。例えば、図５（ｂ）は、図５（ａ）に描写される例示的な安定化および正規化された記録画像に対応する相関画像を示す。図５（ｃ）は、以下に説明されるように、例えば左右相関画像の最大値を選択することによって取得された処理済み２Ｄ相関画像を示す。２Ｄ相関を算出するために、顔マスクが、ステップ１３２において適用されることにより、例えば、処理を顔の皮膚部分に制限し、それによって、低アルベドを有する顔の暗特徴を除去し、かつ／または、眼の独立した運動から雑音を除去することが可能である。図５（ｅ）は、例示的な顔マスクを描写する。局所的ピクセル毎の相関が、次いで、ステップ１３４において、例えば図５（ｆ）〜図５（ｋ）に示される画像フレーム毎に、算出される。これらの画像は、ＲＧＢマルチスペクトルパターンのフルサイクルに対応し、それぞれのピクセル毎の相関は、図５（ｃ）に示される最終的な２Ｄ相関画像を取得するように、平均化および処理されることが可能である。

いくつかの実施では、局所的ピクセル毎の相関を算出する際、上記の大域的相関からの回収された位相遅れが、ステップ１３４において、ステップ１１０において取得された安定化および正規化されたフレームに対応する容積測定データ内の高価な相関検索の必要性を回避するために使用されることが可能である。いくつかの実施では、平均正規化空間的相互相関値が、それぞれ、ステップ１３６、１３８において、顔マスクの左側および右側に関して別個に算出される。２つの空間的相関の最大値が、ステップ１４０において選択されることが可能である。これは、極端な照明条件が、多くの場合、顔の片側のみに限定されるため、単一平均よりロバストな相関測定値を提供することが可能である。代替的には、ＥＸＩＦメタデータからの周囲輝度値が、多くの屋内環境において見られることが可能であるように飽和を生じさせにくくするために十分に低い場合、顔マスクの全ピクセルに関する大域的平均が使用されることが可能である。図５（ｄ）は、図５（ｃ）に示される２Ｄ相関画像に対応する飽和画像を描写する。ｎｘｃｏｒｒ２と表される最終的な平均局所的相関測定値は、第２のライブ性測定値である可能性がある。

典型的には、実在の顔の皮膚は、高アルベドを有する比較的に拡散した反射を提供し、したがって、各ピクセルにおける相関値は、高い可能性がある。相関画像はまた、比較的に低空間的分散により、非常に均一となる傾向にある。対照的に、ビデオモニタが、詐称者の再生用に使用されるとき、モニタは、鏡のように挙動する傾向にあり、ＲＧＢマルチスペクトルパターンがレンダリングされた表示画面から放出される光の反射の角度に応じて、光は、主に、（図６に描写されるように）画面上に捕捉された顔の画像のわずかな部分においてのみ局所的に反射されて戻るか、または、図７に示されるように、表示画面から反射されて離れるかのいずれかである。

例えば、図８（ａ）は、図６に示されるようにアクセスが認証されるべきデバイス（例えば、電話）の正面に保持されたＬＣＤ画面上に表示された捕捉された詐称者の画像を描写する。図８（ｂ）および図８（ｃ）は、対応する２Ｄ相関画像を示し、図８（ｄ）は、対応する飽和画像を示し、図８（ｅ）は、適用される顔マスクを示し、図８（ｆ）〜図８（ｋ）は、図１におけるステップ１０２に示されるように提供されるＲＧＢマルチスペクトルパターンのフルサイクルに対応する種々の捕捉された画像フレームを描写する。この実施例では、ＬＣＤ画面が、画像を捕捉するために使用される電話と平行に保持されるため、かつ、ＬＣＤ画面が鏡として作用するため、第２の測定値ｎｘｃｏｒｒ２は、高い（約０．６３）。しかしながら、第１の測定値ｎｘｃｏｒｒ（すなわち、大域的相関）は、低く、捕捉された画像がライブソースから取得されていない可能性が高いことを示す。詐称者の画像を表示するＬＣＤ画面が、例えば、図７に示されるように、ＲＧＢマルチスペクトルパターンをレンダリングするために使用される画面に対してある角度で保持される場合、ｎｘｃｏｒｒ２値およびｎｘｃｏｒｒ値は両方とも、低い（すなわち、０．５、０．４、０．３等の選択された閾値未満である）ことが予期される。光がカメラから反射されて離れるこの例に対応する典型的な実施例が、図９（ａ）〜図９（ｋ）に示される。この場合、大域的相関測定値または平均局所的相関測定値のいずれも、予期されるＲＧＢ信号に対応せず、概して、両方の測定値ｎｘｃｏｒｒおよびｎｘｃｏｒｒ２を低くさせる。したがって、ステップ１２４において取得されたフィルタリングされた応答信号は、図１０（ａ）〜図１０（ｃ）に示される１Ｄ ＲＧＢ信号が図示するように、非常に雑音が多くなる可能性がある。

多くのビデオ再生画面の鏡様特性の利用に加えて、相関測定値は、ビデオ再生からの他の変則（例えば、図９における最後の６つのフレームに見られるように、時間的バンドパスフィルタリングされた出力画像内の垂直バンド等のサンプリングアーチファクト）を反映することが可能である。一実施では、フィルタリングされた応答信号内に表される色信号毎に正規化されたＦＦＴは、図１１に見られるように、対象が詐称者であることの強いインジケータである。上３列は、（図１のステップ１１０において取得された）フィルタリングされた応答信号から取得された赤色、緑色、および青色色チャネルに対応するピリオドグラムである。最終列は、記録されたビデオ内の信号の予期される周期に同調された時間的バンドパスバターワースフィルタである。信号の総エネルギーに対するフィルタリングされたバンドパス信号の低比率は、詐称者の場合を検出するために使用されることが可能である別の測定値である。

画像捕捉デバイス（例えば、携帯電話カメラ）の正面に保持されるＬＣＤ画面からの反射の分析は、図８（ａ）〜図８（ｋ）を参照して説明されるように、例えばｎｘｃｏｒ２は高いがｎｘｃｏｒｒは低いとき、詐称者の検出を補助するために使用されることが可能である。例えば、図１２（ａ）〜図１２（ｃ）は、カメラの正面に保持されたＬＣＤ画面上に表示される偽の画像、眼の付近の顔の領域のクロップされた画像、および、ＬＣＤ画面上に表示された偽の画像を捕捉するために使用された電話の反射を描写するクロップされた画像に対応するエッジ画像を示す。別のアーチファクトは、図１２（ｄ）に見られるように、２Ｄ相関画像において可視であるモニタからのモアレパターンである。ハール分類器等の２Ｄ分類器が、詐称者の場合に特有である相関画像内のパターンを識別するように訓練されることが可能である。一般に、種々の実施では、真正の分類は、大域的相関（ｎｘｃｏｒｒ）および大域的相関（ｎｘｃｏｒｒ２）の両方が所定の閾値を超える場合のみ、返される。

図１３は、典型的な眼の反射特性を活用する別の詐称者検出技法を図示する。具体的には、ＲＧＢマルチスペクトルパターンをレンダリングするステップ１３０２、ビデオ信号を捕捉するステップ１３０４、各フレームをＲＧＢ値とタグ付けするステップ１３０６、および、記録およびタグ付けされたビデオ信号を安定化させるステップ１３０６が、図１を参照して上述されたものと同様に実行される。その後、ステップ１３０８において、時空間バンドパス分解が、眼の凸面反射特性を利用するために実行される。ステップ１３０４において捕捉された各画像フレームが眼の環境の縮小鏡像を含むように、眼が、典型的には、凸面反射表面を有するということが観察され、眼の環境の縮小鏡像は、ステップ１３０２において表示画面上にレンダリングされたＲＧＢパターンのコンパクト画像を含む可能性がある。

ステップ１３１０において、時間的バンドパスフィルタが、安定化およびタグ付けされた信号に対応するラプラシアンピラミッドに適用される。ラプラシアンピラミッドは、入力ビデオの空間的バンドパス分解を提供することにより、眼から反射されたＲＧＢマルチスペクトルパターンの主高空間的周波数を隔離することに役立つことが可能である。

局所的なピクセル毎の２Ｄ相関画像が、次いで、ステップ１３１２において、基準信号とビデオバンドパスフィルタリングされた出力との間の時間的正規化相互相関を介して作り出される。ドミナントピークの小近傍内の局所的平均は、付加的ライブ性測定値として使用されることが可能である。一般に、このアプローチは、上述された第１の測定値および第２の測定値を使用した顔のライブ性の検出とは対照的に、眼のライブ性を検出することが可能である。真正のライブ眼の眼領域のみに関する局所的なピクセル毎の相関では、眼の瞳孔によるレンダリングされたＲＧＢ信号の反射に対応するたった１つの明るいスポットが、図１４（ａ）および図１４（ｂ）に見られるように、予期される。複数のスポットが見られるかまたはスポットが検出されない場合、捕捉された画像は、詐称者によって供給されている可能性が高いということが決定される。

本明細書に説明されるシステムおよび技法は、（例えば、データサーバとして）バックエンド構成要素を含むコンピューティングシステム、あるいは、ミドルウェア構成要素（例えば、アプリケーションサーバ）を含むコンピューティングシステム、あるいは、フロントエンド構成要素（例えば、本明細書に説明されるシステムおよび技法の実施とユーザが相互作用することが可能であるグラフィカルユーザインターフェースまたはウェブブラウザを有するクライアントコンピュータ）を含むコンピューティングシステム、あるいは、そのようなバックエンド構成要素、ミドルウェア構成要素またはフロントエンド構成要素の任意の組み合わせを含むコンピューティングシステム内に実施されることが可能である。システムの構成要素は、デジタルデータ通信の任意の形態または媒体（例えば、通信ネットワーク）によって、相互接続されることが可能である。通信ネットワークの実施例は、ローカルエリアネットワーク（「ＬＡＮ」）と、広域ネットワーク（「ＷＡＮ」）と、インターネットとを含む。

コンピューティングシステムは、クライアントと、サーバとを含むことが可能である。クライアントおよびサーバは、概して、相互に遠隔にあり、通信ネットワークを通して相互作用することが可能である。クライアントとサーバとの関係は、それぞれのコンピュータ上で起動しかつ相互にクライアント−サーバ関係を有するコンピュータプログラムのおかげで生じる。いくつかの実施形態が説明されている。それにもかかわらず、種々の改変が、本発明の精神および範囲から逸脱することなく、成され得ることが理解される。

本明細書に説明される主題および動作の実施形態は、デジタル電子回路内に、あるいは、本明細書に開示される構造物およびそれらの構造的均等物を含むコンピュータソフトウェア、ファームウェアまたはハードウェア内に、あるいは、それらのうちの１つもしくは複数の組み合わせに、実施されることが可能である。本明細書に説明される主題の実施形態は、１つまたは複数のコンピュータプログラム（すなわち、データ処理装置による実行またはデータ処理装置の動作を制御するための実行のためにコンピュータ記憶媒体上でエンコードされるコンピュータプログラム命令の１つまたは複数のモジュール）として実施されることが可能である。代替的に、または、加えて、プログラム命令は、データ処理装置による実行のための適した受信機装置への伝送のための情報をエンコードするために生成される人為的生成伝搬信号（例えば、マシン生成電気信号、光学信号、または、電磁信号）上でエンコードされることが可能である。コンピュータ記憶媒体は、コンピュータ可読記憶デバイス、コンピュータ可読記憶基板、ランダムまたはシリアルアクセスメモリアレイまたはデバイス、あるいは、それらのうちの１つまたは複数の組み合わせであるか、または、それらに含まれる可能性がある。さらに、コンピュータ記憶媒体は伝搬信号ではないが、コンピュータ記憶媒体は、人為的生成伝搬信号内でエンコードされるコンピュータプログラム命令のソースまたは宛先である可能性がある。コンピュータ記憶媒体はまた、１つまたは複数の別個の物理的な構成要素または媒体（例えば、複数のＣＤ、ディスク、または、他の記憶デバイス）であるか、または、それらに含まれる可能性がある。

本明細書に説明される動作は、１つまたは複数のコンピュータ可読記憶デバイス上に記憶されるかまたは他のソースから受信されるデータに対してデータ処理装置によって実行される動作として実施されることが可能である。

「データ処理装置」という用語は、データを処理するための全ての種類の装置、デバイス、およびマシンを含み、実施例として、プログラム可能プロセッサ、コンピュータ、チップ上のシステム、あるいは、前述のもののうちの複数のものまたは前述のものの組み合わせを含む。装置は、専用論理回路（例えば、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）またはＡＳＩＣ（特定用途向け集積回路））を含むことが可能である。装置はまた、ハードウェアに加えて、当該コンピュータプログラムのための実行環境を作り上げるコード（例えば、プロセッサファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム、クロスプラットフォームランタイム環境、仮想マシン、あるいは、それらのうちの１つまたは複数の組み合わせを構成するコード）も含むことが可能である。装置および実行環境は、種々の異なるコンピューティングモデルインフラストラクチャ（例えば、ウェブサービスインフラストラクチャ、分散コンピューティングインフラストラクチャ、および、グリッドコンピューティングインフラストラクチャ）を実現することが可能である。

（プログラム、ソフトウェア、ソフトウェアアプリケーション、スクリプト、またはコードとしても知られる）コンピュータプログラムが、コンパイルまたは解釈される言語、宣言型言語または手続き型言語を含むプログラミング言語の任意の形態で書き込まれることが可能であり、これは、任意の形態で（スタンドアローンのプログラムとして、または、モジュール、構成要素、サブルーチン、オブジェクト、もしくはコンピューティング環境における使用のために適した他のユニットとして、を含む）展開されることが可能である。コンピュータプログラムは、ファイルシステム内のファイルに対応してもよいが、そうである必要はない。プログラムは、他のプログラムまたはデータ（例えば、マークアップ言語リソース内に記憶される１つまたは複数のスクリプト）を保持するファイルの一部内に、当該プログラム専用である単一ファイル内に、または複数の協調ファイル（例えば、１つまたは複数のモジュール、サブプログラム、またはコードの一部を記憶するファイル）内に記憶されることが可能である。コンピュータプログラムは、１つのコンピュータ上で、あるいは、１つの場所に位置するか、または、複数の場所にわたって分散されかつ通信ネットワークによって相互接続される複数のコンピュータ上で実行されるように展開されることが可能である。

本明細書に説明される主題の実施形態は、（例えば、データサーバとして）バックエンド構成要素を含むコンピューティングシステム、あるいは、ミドルウェア構成要素（例えば、アプリケーションサーバ）を含むコンピューティングシステム、あるいは、フロントエンド構成要素（例えば、ユーザが本明細書に説明される主題の実施と相互作用することが可能であるグラフィカルユーザインターフェースまたはウェブブラウザを有するクライアントコンピュータ）を含むコンピューティングシステム、あるいは、１つまたは複数のそのようなバックエンド構成要素、ミドルウェア構成要素またはフロントエンド構成要素の任意の組み合わせを含むコンピューティングシステム内に実施されることが可能である。システムの構成要素は、デジタルデータ通信の任意の形態または媒体（例えば、通信ネットワーク）によって相互接続されることが可能である。通信ネットワークの実施例は、ローカルエリアネットワーク（「ＬＡＮ」）と、広域ネットワーク（「ＷＡＮ」）と、インターネットワーク（例えば、インターネット）と、ピアツーピアネットワーク（例えば、アドホックピアツーピアネットワーク）とを含む。

コンピューティングシステムは、クライアントと、サーバとを含むことが可能である。クライアントおよびサーバは、概して、相互に遠隔にあり、通信ネットワークを通して相互作用することが可能である。クライアントとサーバとの関係は、それぞれのコンピュータ上で起動しかつ相互にクライアント−サーバ関係を有するコンピュータプログラムのおかげで生じる。いくつかの実施形態では、サーバは、（例えば、クライアントデバイスにデータを表示すること、および、クライアントデバイスと相互作用するユーザからユーザ入力を受信することを目的として）データ（例えば、ＨＴＭＬページ）をクライアントデバイスに伝送する。クライアントデバイスにおいて生成されたデータ（例えば、ユーザの相互作用の結果）は、サーバにおけるクライアントデバイスから受信されることが可能である。

１つまたは複数のコンピュータのシステムは、動作時にシステムにアクションを実行させる、システム上にインストールされたソフトウェア、ファームウェア、ハードウェア、またはそれらの組み合わせを有するおかげで、特定の動作またはアクションを実行するように構成されることが可能である。１つまたは複数のコンピュータプログラムは、データ処理装置によって実行されると装置にアクションを実行させる命令を含むおかげで、特定の動作またはアクションを実行するように構成されることが可能である。

本明細書は多くの具体的な実施の詳細を含むが、これらは、任意の発明または請求され得るものの範囲に対する限定として解釈されるべきではなく、むしろ、特定の発明の特定の実施形態に特有の特徴の説明として解釈されるべきである。別個の実施形態の文脈において本明細書に説明されるある特徴はまた、単一の実施形態における組み合わせにおいて実施されることも可能である。逆に、単一の実施形態の文脈において説明される種々の特徴もまた、複数の実施形態において別個にまたは任意の適した部分的組み合わせにおいて実施されることが可能である。さらに、特徴は、ある組み合わせにおいて作用するものとして上述され、さらにそのようなものとして最初に請求され得るが、請求される組み合わせからの１つまたは複数の特徴は、いくつかの場合では、組み合わせから削除されることが可能であり、請求される組み合わせは、部分的組み合わせまたは部分的組み合わせの変形例を対象としてもよい。

同様に、動作は特定の順序で図面内に描写されているが、これは、望ましい結果を達成するために、示される特定の順序でまたは連続的順序でそのような動作が実施されること、あるいは、図示される全ての動作が実施されることを要求するものとして理解されるべきではない。ある状況では、マルチタスクおよび並列処理が、有利であり得る。さらに、上述される実施形態における種々のシステム構成要素の分離は、全ての実施形態においてそのような分離を要求するものとして理解されるべきではなく、説明されるプログラム構成要素およびシステムは、概して、単一のソフトウェア製品内に一体化されるかまたは複数のソフトウェア製品にパッケージ化され得ることを理解されるべきである。

したがって、主題の特定の実施例が説明されている。他の実施形態も、以下の特許請求の範囲の範囲内である。いくつかの場合では、特許請求の範囲に記載されるアクションは、異なる順序で実施され、依然として、望ましい結果を達成することが可能である。加えて、付随の図に描写されるプロセスは、望ましい結果を達成するために、必ずしも、示される特定の順序、または、一連の順序を要求しない。ある実施では、マルチタスクおよび並列処理が、有利であり得る。

本明細書に説明される主題の１つまたは複数の実施形態の詳細は、付随の図面および以下の説明に記載される。主題の他の特徴、側面、および利点は、説明、図面、ならびに特許請求の範囲から明白となる。
本発明は、例えば、以下を提供する。
（項目１）
コンピュータ実施される方法であって、前記方法は、
表示デバイス上に、相互から位相分離された複数の異なる個別の信号を含む時変性の第１の信号をレンダリングすることと、
前記レンダリングの間、前記レンダリングされた第１の信号によって照明される標的の複数の画像を捕捉することと、
バンドパスフィルタを前記画像に時間的に適用することにより、複数のフィルタリングされた画像を生成することと、
第２の信号を前記フィルタリングされた画像から抽出することと、
前記第１の信号および前記第２の信号の時間的相関に少なくとも基づいて、第１の測定値を生成することと、
複数のピクセル場所内のピクセル場所毎に、複数の前記フィルタリングされた画像内の前記ピクセル場所の個別の値の経時的変化に基づいて、前記ピクセル場所に関する個別の信号を抽出することと、
前記第１の信号に対する前記ピクセル場所の個別の抽出された信号の相関に基づいて、前記ピクセル場所毎に、個別のピクセル場所相関スコアを計算することと、
複数の前記ピクセル場所相関スコアに少なくとも基づいて、第２の測定値を生成することと、
前記第１の測定値および前記第２の測定値に少なくとも基づいて、前記標的を承認または拒否することと
を含む、方法。
（項目２）
前記第１の信号の各個別の信号は、異なる色である、項目１に記載の方法。
（項目３）
前記色の各々は、同一の周波数を使用してレンダリングされる、項目２に記載の方法。
（項目４）
前記第１の信号の各個別の信号は、異なる単色信号である、項目１に記載の方法。
（項目５）
前記第１の信号は、正弦波である、項目１に記載の方法。
（項目６）
前記第１の信号の各個別の信号は、別々の正弦波であり、前記正弦波は、前記第１の信号内に重畳される、項目１に記載の方法。
（項目７）
前記第１の信号の個別の信号は、ランダムに生成される、項目１に記載の方法。
（項目８）
ピクセル場所の特定の個別の値は、色である、項目１に記載の方法。
（項目９）
各画像は、複数の個別の画像を含み、前記複数の個別の画像は、各々、異なる個別の分解能で個別に変換されるか、または、選択された照明現象に対応する異なる個別の空間的周波数バンドを含む、項目１に記載の方法。
（項目１０）
前記第１の測定値は、前記第１の信号の位相が前記第２の信号の位相に合うか否かにさらに基づく、項目１に記載の方法。
（項目１１）
第２の信号を前記フィルタリングされた画像から抽出することは、前記第２の信号を前記フィルタリングされた画像の各々の個別のドミナント色値から抽出することを含む、項目１に記載の方法。
（項目１２）
前記バンドパスフィルタを適用する前に、前記複数の画像内の標的を安定化させることをさらに含む、項目１に記載の方法。
（項目１３）
前記バンドパスフィルタは、周波数ドメイン内または時間的ドメイン内に適用される、項目１に記載の方法。
（項目１４）
複数の前記ピクセル場所相関スコアに少なくとも基づいて前記第２の測定値を生成することは、前記ピクセル場所相関スコアを組み合わせることにより、前記第２の測定値を生成することを含む、項目１に記載の方法。
（項目１５）
前記標的は、ヒトの顔であり、前記組み合わせられるピクセル場所相関スコアは、前記顔の特定の領域のピクセル場所に関する、項目１４に記載の方法。
（項目１６）
前記顔の前記特定の領域は、（ｉ）前記複数の画像内において隠されるかまたは過度に露出される前記顔の１つまたは複数の部分を少なくとも部分的に回避するための動的画像分析、および、（ｉｉ）前記レンダリングされた第１の信号を反射する可能性が高い前記顔の特徴についての知識を表すマスクまたは加重マップのうちの少なくとも１つを使用して決定される、項目１５に記載の方法。
（項目１７）
各ピクセル場所は、個別の複数の画像データ要素を表す、項目１に記載の方法。
（項目１８）
複数の前記画像データ要素は、異なる分解能である、項目１７に記載の方法。
（項目１９）
各ピクセル場所は、前記ピクセル場所の個別の画像データ要素の加重された組み合わせである、項目１８に記載の方法。
（項目２０）
前記捕捉された複数の画像は、ガウシアンピラミッドまたはラプラシアンピラミッドを表す、項目１に記載の方法。
（項目２１）
前記フィルタリングされた画像のうちの特定のフィルタリングされた画像は、複数のピラミッドレベルの加重された組み合わせを表す、項目２０に記載の方法。

Claims (21)

1. コンピュータ実施される方法であって、前記方法は、
   表示デバイス上に、相互から位相分離された複数の異なる個別の信号を含む時変性の第１の信号をレンダリングすることと、
   前記レンダリングの間、前記レンダリングされた第１の信号によって照明される標的の複数の画像を捕捉することと、
   バンドパスフィルタを前記画像に時間的に適用することにより、複数のフィルタリングされた画像を生成することと、
   第２の信号を前記フィルタリングされた画像から抽出することと、
   前記第１の信号および前記第２の信号の時間的相関に少なくとも基づいて、第１の測定値を生成することと、
   複数のピクセル場所内のピクセル場所毎に、複数の前記フィルタリングされた画像内の前記ピクセル場所の個別の値の経時的変化に基づいて、前記ピクセル場所に関する個別の信号を抽出することと、
   前記第１の信号に対する前記ピクセル場所の個別の抽出された信号の相関に基づいて、前記ピクセル場所毎に、個別のピクセル場所相関スコアを計算することと、
   複数の前記ピクセル場所相関スコアに少なくとも基づいて、第２の測定値を生成することと、
   前記第１の測定値および前記第２の測定値に少なくとも基づいて、前記標的を承認または拒否することと
   を含む、方法。
2. 前記第１の信号の各個別の信号は、異なる色である、請求項１に記載の方法。
3. 前記色の各々は、同一の周波数を使用してレンダリングされる、請求項２に記載の方法。
4. 前記第１の信号の各個別の信号は、異なる単色信号である、請求項１に記載の方法。
5. 前記第１の信号は、正弦波である、請求項１に記載の方法。
6. 前記第１の信号の各個別の信号は、別々の正弦波であり、前記正弦波は、前記第１の信号内に重畳される、請求項１に記載の方法。
7. 前記第１の信号の個別の信号は、ランダムに生成される、請求項１に記載の方法。
8. ピクセル場所の特定の個別の値は、色である、請求項１に記載の方法。
9. 各画像は、複数の個別の画像を含み、前記複数の個別の画像は、各々、異なる個別の分解能で個別に変換されるか、または、選択された照明現象に対応する異なる個別の空間的周波数バンドを含む、請求項１に記載の方法。
10. 前記第１の測定値は、前記第１の信号の位相が前記第２の信号の位相に合うか否かにさらに基づく、請求項１に記載の方法。
11. 第２の信号を前記フィルタリングされた画像から抽出することは、前記第２の信号を前記フィルタリングされた画像の各々の個別のドミナント色値から抽出することを含む、請求項１に記載の方法。
12. 前記バンドパスフィルタを適用する前に、前記複数の画像内の標的を安定化させることをさらに含む、請求項１に記載の方法。
13. 前記バンドパスフィルタは、周波数ドメイン内または時間的ドメイン内に適用される、請求項１に記載の方法。
14. 複数の前記ピクセル場所相関スコアに少なくとも基づいて前記第２の測定値を生成することは、前記ピクセル場所相関スコアを組み合わせることにより、前記第２の測定値を生成することを含む、請求項１に記載の方法。
15. 前記標的は、ヒトの顔であり、前記組み合わせられるピクセル場所相関スコアは、前記顔の特定の領域のピクセル場所に関する、請求項１４に記載の方法。
16. 前記顔の前記特定の領域は、（ｉ）前記複数の画像内において隠されるかまたは過度に露出される前記顔の１つまたは複数の部分を少なくとも部分的に回避するための動的画像分析、および、（ｉｉ）前記レンダリングされた第１の信号を反射する可能性が高い前記顔の特徴についての知識を表すマスクまたは加重マップのうちの少なくとも１つを使用して決定される、請求項１５に記載の方法。
17. 各ピクセル場所は、個別の複数の画像データ要素を表す、請求項１に記載の方法。
18. 複数の前記画像データ要素は、異なる分解能である、請求項１７に記載の方法。
19. 各ピクセル場所は、前記ピクセル場所の個別の画像データ要素の加重された組み合わせである、請求項１８に記載の方法。
20. 前記捕捉された複数の画像は、ガウシアンピラミッドまたはラプラシアンピラミッドを表す、請求項１に記載の方法。
21. 前記フィルタリングされた画像のうちの特定のフィルタリングされた画像は、複数のピラミッドレベルの加重された組み合わせを表す、請求項２０に記載の方法。

Images