JP2019519319A - 顔検出／認識システム用の方法及び装置 - Google Patents

Abstract

顔認識装置をだます試みを検出するコンピュータ実施方法は、表面の複数の空間的に離れた領域について、少なくとも１つのバイタルサインの対応する尺度を決定する。少なくとも１つのバイタルサインの対応する尺度から、当該対応する尺度に関連付けられる均質性情報が決定され、均質性情報は、表面の空間的に離れた領域が生体組織であるかどうかを決定するために使用される。

Description

幾つかの実施形態は、特に顔検出／認識システムに使用する方法及び装置に関するが、排他的ではない。

セキュリティを高める努力の中で、顔認識は、様々な種類の応用にますます使用されるようになってきている。顔認識の期待される付加価値は、偽造防止が強化される点である。

例えば監視機器といったセキュリティシステムにおいてカメラがよく使われ、また、本人確認及びロギング目的で、人々が入国審査又は保護区域への立ち入りといったチェックポイントを通過する際に、当該カメラを使用して当該人々の写真を撮るか又は動画を撮ることが多くなってきている。

現行の顔認識システムでは、対象者が別の人の写真であるのか、又は、対象者がマスクを着けているのかを検出することが難しい。このように、顔認識システムの誤判定をもたらす対象者の行為は、「なりすまし」として知られている。

なりすましは、人間の介在があり、カメラがロギングのためだけにある状況に十分に問題である。というのは、マスクは、しばしば、警備員によって検出され、唯一のエラーはログファイルにあるからである。この状況では、印刷画像を見せることはうまくいかない。しかし、時に、マスクを着けている人が、完全に見つかることなく、擦り抜けることがある。顔認識システムによってアクセスが自動的に許可される状況、又は、警備員がカメラの反対側にいる状況では、実際の人を見る人が誰もおらず、人の顔の人工表現がうまくいってしまうので問題である。例えばコンピュータタブレットといったウェアラブルアクティブディスプレイが使用される場合がある。

したがって、警備員の存在への依存度を下げ、カメラシステム自体を使ってなりすましの試みを検出するやり方を提供することが望ましい。更に、あまり危機的ではないが、マスクの使用によって、カメラシステムを欺く可能性を低減することが依然として望ましい状況もある。

一態様によれば、表面の複数の空間的に離れた領域について、少なくとも１つのバイタルサインの対応する尺度を決定するステップと、少なくとも１つのバイタルサインの対応する尺度から、当該対応する尺度に関連付けられる均質性情報を決定するステップと、均質性情報を使用して、表面の空間的に離れた領域が生体組織であるかどうかを決定するステップとを含むコンピュータ実施方法が提供される。

上記方法は、一連のビデオフレーム内の顔領域を特定するステップを含んでよく、空間的に離れた領域の少なくとも１つが、顔領域内に配置され、表面は、少なくとも部分的に顔領域を含む。これは、なりすましをする人が部分的なマスクを着けていないように、システムが顔の複数の領域に亘ってチェックすることを可能にするので有利である。

少なくとも１つのバイタルサインの対応する尺度は、心拍信号を含んでよい。上記方法は更に、複数の心拍信号を取得するように、一連のビデオフレームから、空間的に離れた領域それぞれの心拍信号を抽出するステップを含んでよい。これは、システムが、顔が生体組織でできているかどうかをチェックすることを可能にするので有利である。

上記方法は、心拍信号を比較することによって、均質性情報を決定するステップを含んでよい。これは、システムが顔全体で測定値を比較し、心拍をまねることによってなりすましをする人がシステムをだます能力を最小限に抑えることを可能にするので有利である。

均質性情報の使用は、均質性情報をリミットと比較することを含んでよい。リミットは、予め設定された値であってよい。これは、システムが、測定値を、システムに以前に与えられた値に照らしてチェックすることを可能にするので有利である。これは、操作者に、なりすましをする可能性のある人に対してより敏感に反応する又はあまり敏感に反応しないようにシステムを調整する能力を与える。

均質性情報は、心拍信号から心拍数を抽出し、複数の空間的に離れた領域からの心拍数を組み合わせ、組み合わせられた心拍数の標準偏差及び最大値の少なくとも一方を決定することによって決定されてよい。最大値は、ヒストグラム分布の最大値であってよい。これは、システムが顔の様々な領域に亘って均質性をチェックすることを可能にするので有利である。これは、部分マスクを検出するシステムの能力を更に向上させる。

均質性情報の決定は、心拍信号の少なくとも１対間の相関関係を見つけることを含んでよい。

均質性情報の決定は、複数の時間セグメントから空間的に離れた領域の心拍数を抽出することと、各時間セグメントから抽出される心拍数の標準偏差を決定することとを含んでよい。

上記方法は、複数の時間セグメントそれぞれについての空間的に離れた領域の色ベクトルを決定するステップと、複数の時間セグメントに亘る色ベクトルの変動を決定するステップとを含んでよい。これは、システムが、例えばＨＲ関連色変動（ＨＲ軸）を計算して、なりすましの顔を検出するシステムの能力を増加することを可能にするので有利である。

複数の時間セグメントそれぞれについての空間的に離れた領域の色ベクトルは、ヘモグロビン吸収スペクトルから取得されてよい。

上記方法は、一連のビデオフレームにおいて、呼吸が測定可能である領域を決定するステップと、呼吸信号を抽出するステップと、呼吸信号と心拍信号との相関関係を抽出するステップと、相関関係をリミットと比較するステップとを含んでよい。これは、システムがなりすましの顔にはない異なるフォトプレチスモグラフィ（ＰＰＧ）波形を使用することを可能にするので有利である。

別の態様によれば、指導手順を行うステップを含む、なりすまし検出ユニットを準備する方法が提供される。指導手順は、第１の均質性情報を使用して、上記方法の何れかを、本物の顔の画像を含むビデオシーケンスに対して行うステップと、第２の均質性情報を使用して、上記方法の何れかを、なりすましの顔の画像を含むビデオシーケンスに対して行うステップと、リミットを第１の均質性情報と第２の均質性情報との間にある値に設定するステップとを含む。

別の態様によれば、表面の複数の空間的に離れた領域について、少なくとも１つのバイタルサインの対応する尺度を決定し、少なくとも１つのバイタルサインの対応する尺度から、当該対応する尺度に関連付けられる均質性情報を決定し、均質性情報を使用して、表面の空間的に離れた領域が生体組織であるかどうかを決定する少なくとも１つのプロセッサを含むなりすまし検出装置が提供される。

上記装置は、一連のビデオフレームを受信する入力部を含む。上記少なくとも１つのプロセッサは、一連のビデオフレーム内の顔領域を特定し、顔領域内の空間的に離れた皮膚部分のセットを特定し、空間的に離れた皮膚部分それぞれについて、心拍信号を抽出し、各心拍信号から心拍数を抽出してよい。

上記少なくとも１つのプロセッサは、有効バイタルサインメトリックを計算し、顔領域を含む一連のビデオフレームが生きた人の顔から直接捕捉されたのかどうかを決定するために、有効バイタルサインメトリックをリミットと比較してよい。

上記少なくとも１つのプロセッサは、一連のビデオフレーム内の顔領域を特定してよい。空間的に離れた領域の少なくとも１つは、当該顔領域内に配置され、上記表面は、少なくとも部分的に当該顔領域を含む。

少なくとも１つのバイタルサインの対応する尺度は、心拍信号を含んでよく、少なくとも１つのプロセッサは、複数の心拍信号を取得するように、一連のビデオフレームから、空間的に離れた領域それぞれの心拍信号を抽出してよい。

上記少なくとも１つのプロセッサは、心拍信号を比較することによって、均質性情報を決定してよい。

上記少なくとも１つのプロセッサは、均質性情報をリミットと比較してよい。

上記少なくとも１つのプロセッサは、心拍信号から心拍数を抽出し、複数の空間的に離れた領域からの心拍数を組み合わせ、組み合わせられた心拍数の標準偏差及び最大値の少なくとも一方を決定することによって、均質性情報を決定してよい。最大値は、ヒストグラム分布の最大値であってよい。

上記少なくとも１つのプロセッサは、心拍信号の少なくとも１対間の相関関係を見つけてよい。

上記少なくとも１つのプロセッサは、複数の時間セグメントから空間的に離れた領域の心拍数を抽出し、各時間セグメントから抽出される心拍数の標準偏差を決定してよい。

上記少なくとも１つのプロセッサは、複数の時間セグメントそれぞれについての空間的に離れた領域の色ベクトルを決定し、複数の時間セグメントに亘る色ベクトルの変動を決定してよい。

複数の時間セグメントそれぞれについての空間的に離れた領域の色ベクトルは、ヘモグロビン吸収スペクトルから取得されてよい。

上記少なくとも１つのプロセッサは、一連のビデオフレームにおいて、呼吸が測定可能である領域を決定し、呼吸信号を抽出し、呼吸信号と心拍信号との相関関係を抽出し、相関関係をリミットと比較してよい。

別の態様によれば、一連のビデオフレームを捕捉するように動作可能であるビデオカメラと、上記なりすまし検出装置と、なりすましの試みが検出される場合に、アラートを生成するアラートユニットとを含む視覚認識システムが提供される。

別の態様によれば、一連のビデオフレーム内の顔領域を特定するステップと、複数の空間的に離れた皮膚部分を特定するステップであって、少なくとも１つの皮膚部分が上記顔領域内に配置されている、上記ステップと、複数の心拍信号を取得するために、一連のビデオフレームから、空間的に離れた皮膚部分それぞれの心拍信号を抽出するステップであって、各心拍信号は、一メンバーである、上記ステップと、上記複数のメンバー間の比較を行うことによって、心拍信号から有効バイタルサインメトリックを計算するステップと、顔領域を含むビデオシーケンスが生きた人から直接捕捉されているかどうかを決定するために、有効バイタルサインメトリックをリミットと比較するステップとを含む、視覚認識システムを欺く試みを検出する方法が提供される。

幾つかの態様によれば、コンピュータ実施ゲームを提供するコンピュータ可読プログラムを含むコンピュータ可読記憶デバイスを含むプログラムプロダクトが提供される。コンピュータ可読プログラムは、コンピュータ上で実行されると、当該コンピュータに、上記方法ステップの任意の１つ以上を行わせる。

上記方法を行うように適応されたプログラムコード手段を含むコンピュータプログラムも提供される。コンピュータプログラムは、記憶されるか、及び／又は、そうでなければ、担体媒体によって具現化される。

多くの様々な実施形態が上で説明されている。当然ながら、上記実施形態の任意の２つ以上を組み合わせることによって、更なる実施形態を提供することもできる。

様々な他の態様及び更なる実施形態は更に、以下の詳細な説明及び添付の請求項においても説明される。

開示されるデバイス、システム及び方法の上記目的、特徴及び利点だけでなく、追加の目的、特徴及び利点は、添付図面を参照して、デバイス及び方法の実施形態の次の例示的且つ非限定的な詳細な説明を通じてより理解できるであろう。

図１は、幾つかの実施形態のシステムを示す。 図２は、図１の信号プロセッサの機能ブロックを概略的に示す。 図３は、幾つかの実施形態の方法を示す。 図４は、選択された関心領域を有する顔を示す。 図５は、画像内の選択された顔及び対応する心拍数マップを示す。 図６は、各心拍数マップ及び関連付けられるヒストグラムをより詳細に示す。 図７は、幾つかの実施形態の方法を示す。

幾つかの実施形態は、表面の複数の空間的に離れた領域について、少なくとも１つのバイタルサインの対応する尺度を決定するステップと、少なくとも１つのバイタルサインの上記対応する尺度から、上記対応する尺度に関連付けられる均質性情報を決定するステップと、上記均質性情報を使用して、上記表面の上記空間的に離れた領域が生体組織であるかどうかを決定するステップとを含むコンピュータ実施方法を提供する。これは、顔認識システムの通過を試みる人の検出されたバイタルサインを利用することにより、デジタル本人確認処理中に、人がいる必要がなくなるため有利である。実施形態は更に、システムが、人が部分的なマスクを着けているかどうかをチェックすることも可能にする。つまり、ここでは、着用者の顔の一部が露出している。

以下の説明では、同じ参照符号が同じ要素を示す。

幾つかの実施形態は、顔の複数の領域から人間のバイタルサイン信号を利用することによって、顔検出／認識システムの改良されたバイオメトリック識別子のための方法及び装置に関する。

幾つかの実施形態は、顔認識／検出システムによって解析される対象者の顔が本物の顔であるかどうかを決定するために、心臓の拍動によってもたらされるフォトプレチスモグラフィ（ＰＰＧ）波形の存在を利用する。フォトプレチスモグラフィ（ＰＰＧ）は、対象者からの生理学的過程又はバイタルサインを示す信号の抽出を伴う光学的方法である。バイタルサインは、一連の画像を介して、顔検出システムによって取得される。これにより、顔検出システムが、撮像されている顔が本物であるか又はなりすまし（写真又はマスク）であるかを確認することができる。

幾つかの実施形態では、単純なアプローチは、フォトプレチスモグラフィ波形が検出可能であるならば、顔は本物であると見なすことである。幾つかのシナリオでは、対象者が顔写真の一部（例えば眼）又はマスクの一部を、自分自身の顔の一部と併せて使用して認識／検出システムを騙す場合があるので、この方法は十分ではない。

幾つかの実施形態は、検出された顔が本物であるかどうかを特定するために、均質性尺度と組み合わせられる空間的に分解されたフォトプレチスモグラフィ波形を伴うアプローチを使用する。同じフォトプレチスモグラフィパルス波形が、測定される顔全体に均質的に分布するので、空間的に分解されたフォトプレチスモグラフィ波形を利用することは、顔が本物であることの正しい特定に役立つ。

幾つかの実施形態では、パルス波形の一貫性について経時的にチェックされる。このようなチェックは検出／認識システムを偽造する可能性を更に低減する。

上記方法は、一連のビデオフレーム内の顔領域を特定するステップを含み、上記空間的に離れた領域の少なくとも１つが、上記顔領域内に配置され、上記表面は、少なくとも部分的に上記顔領域を含む。これは、なりすましをする人が部分的なマスクを着けていないように、システムが顔の複数の領域に亘ってチェックすることを可能にするので有利である。

少なくとも１つのバイタルサインの対応する尺度は、心拍信号を含み、上記方法は、一連のビデオフレームから、空間的に離れた領域のそれぞれについて、心拍信号を抽出して、複数の心拍信号を取得するステップを更に含む。これは、システムが、顔が生体組織でできているかどうかをチェックすることを可能にするので有利である。

幾つかの実施形態は、ビデオストリームの捕捉を介して、一連のフレーム内の対象者の顔領域を特定する。幾つかの実施形態は、次に、対象者の顔内の別々のサブ領域を特定し、そこから、複数のフォトプレチスモグラフィ（ＰＰＧ）ストリームが抽出される。次に、これらの複数の波形の均質性が計算される。例えば心拍数（ＨＲ）が抽出され、一貫性について、経時的にチェックされる。これらのチェック結果は、次に、対象者の顔が本物であるかどうかを決定するために使用される。

幾つかの実施形態では、顔検出／認識システム用の改良されたバイオメトリック識別子のための方法は、
一連のビデオフレーム内の顔領域を特定するステップと、
顔領域内の空間的に離れた部分のセットを特定するステップと、
当該部分のそれぞれについて、心拍信号を抽出するステップと、
抽出された信号を比較し、均質性メトリックを計算するステップと、
類似性メトリックをリミットと比較して、顔が本物であるかどうかを決定するステップとを含む。

上記方法は、心拍信号を比較することによって、均質性情報を決定するステップを含んでよい。これは、システムが顔全体で測定値を比較し、心拍をまねることによってなりすましをする人がシステムをだます能力を最小限に抑えることを可能にするので有利である。

均質性情報の使用は、均質性情報をリミットと比較することを含んでよい。リミットは、予め設定された値であってよい。これは、システムが、測定値を、システムに以前に与えられた値に照らしてチェックすることを可能にするので有利である。これは、操作者に、なりすましをする可能性のある人に対してより敏感に反応する又はあまり敏感に反応しないようにシステムを調整する能力を与える。

均質性情報は、心拍信号から心拍数を抽出し、複数の空間的に離れた領域からの心拍数を組み合わせ、組み合わせられた心拍数の標準偏差及び最大値の少なくとも一方を決定することによって決定される。最大値は、ヒストグラム分布の最大値であってよい。これは、システムが顔の様々な領域に亘って均質性をチェックすることを可能にするので有利である。これは、部分マスクを検出するシステムの能力を更に向上させる。

均質性情報の決定は、心拍信号の少なくとも１対間の相関関係を見つけることを含んでよい。

均質性情報の決定は、複数の時間セグメントから空間的に離れた領域の心拍数を抽出し、各時間セグメントから抽出された心拍数の標準偏差を決定することを含んでよい。

幾つかの実施形態では、フォトプレチスモグラフィ（ＰＰＧ）波形の均質性をチェックするオプションは、
心拍数の標準偏差、
心拍数のヒストグラムの最大値、
心拍数の相関関係、
時間セグメントに亘る心拍数の変動の標準偏差、及び、
経時的な心拍数関連色ベクトル変動の平均距離のうちの１つ以上を含んでよい。

上記方法は、複数の時間セグメントそれぞれについての空間的に離れた領域の色ベクトルを決定するステップと、複数の時間セグメントに亘る色ベクトルの変動を決定するステップとを含んでよい。これは、システムが、例えばＨＲ関連色変動（ＨＲ軸）を計算して、なりすましの顔を検出するシステムの能力を増加することを可能にするので有利である。

複数の時間セグメントそれぞれについての空間的に離れた領域の色ベクトルは、ヘモグロビン吸収スペクトルから取得される。

幾つかの実施形態では、心拍数関連色ベクトルの平均距離は、ユークリッド距離である。他の実施形態では、観察された光スペクトルにおける時間的変化は、ヘモグロビンの吸収スペクトルに基づいて、経時的に一貫してない場合がある、及び／又は、光スペクトルの予想される心拍数誘導変動から著しく異なる場合がある。

フォトプレチスモグラフィ（ＰＰＧ）波形の均質性は、これらのオプションのうちの１つ以上を、任意の組み合わせで用いて測定することができる。幾つかの実施形態では、すべての上記オプションが使用される。他の実施形態では、時間的セグメント化を伴うオプションが、組み合わせにおいて優先的に使用される。

幾つかの実施形態では、フォトプレチスモグラフィ（ＰＰＧ）波形の相対振幅及び形状が使用される。

幾つかの実施形態では、対象者の顔を均等拡散的に照射するように、制御された照明が使用される。

幾つかの実施形態では、例えばカメラレンズ上に交差偏光子を有する偏光源を使用することによって、鏡面反射が低減される。当然ながら、他の種類の偏光を使用してもよい。

幾つかの実施形態では、照明は、赤外線（ＩＲ）電磁波を含む。赤外線の使用は、感度を向上させ、また、システムの存在及び走査の実行が対象者にあまり分からないようにする。当然ながら、他の波長の電磁波を代わりに又は追加的に使用してもよい。

一部の応用は、特定の種類の放射線を好む場合がある。例えば自動車に関連する応用はＩＲ放射線を好む。

特定の生理学的過程を、皮膚反射率変動を介して観察することができる。ヒトの皮膚は、少なくとも２つの層を有する物体としてモデル化することができる。２層のうちの１つは、表皮（薄い表面層）であり、もう１つは真皮（表皮の下のより厚い層）である。入射光線の特定のパーセンテージ５％が、皮膚表面を反射する。残りの光は、散乱され、体内反射と知られる現象で、２つの皮膚層内に吸収される（２色性反射モデルで説明される）。通常、表皮と真皮との境界にあるメラニンが、光学フィルタのように作用し、主に光を吸収する。真皮において、光は共に散乱及び吸収される。吸収は血液組成に依存するので、吸収は血流変動に敏感である。真皮は、血管の密な網目構造を含み、成人の全血管網の約１０％を占める。これらの血管は、体内の血流に従って収縮及び膨張する。したがって、血管は、真皮の構造を変え、これは、皮膚層の反射率に影響を及ぼす。

これらの変化において何らかの周期的な成分を有する信号を検出及び抽出し、そこから、周期的過程の場合には、周波数といった結果を得ることができる。例えば対象者に光が当てられ、ビデオカメラを用いて撮影される。一連の画像のフレーム間の対応するピクセル値の変化を解析することによって、時間可変信号を抽出することができる。この信号を、高速フーリエ変換のようなものを使用して、周波数状の領域に変換することができ、周波数領域スペクトルから、対象者の心拍数及び／又は呼吸数（呼吸速度）の値に、生理学的測定結果として至ることができる。これらの生理学的測定結果は、しばしば、バイタルサインと呼ばれる。任意の１つ以上のバイタルサインを実施形態と共に使用することができる。任意のバイタルサインを幾つかの実施形態に使用することができる。

上記方法は、一連のビデオフレームにおいて、呼吸が測定可能である領域を決定するステップと、呼吸信号を抽出するステップと、当該呼吸信号と心拍信号との相関関係を抽出するステップと、当該相関関係をリミットと比較するステップとを含む。これは、システムがなりすましの顔にはない異なるフォトプレチスモグラフィ（ＰＰＧ）波形を使用することを可能にするので有利である。

幾つかの実施形態では、照明に関するゲーティングチェックが使用される。これには、フレームがアクティブ照明あり及びなしで連続的に取得されるアクティブ照明システムが含まれる。ゲーティングチェックは、周囲照明の影響を取り除くために行われる。アルゴリズムによって解析される前に、連続画像（アクティブ照明＋周囲照明対周囲照明のみ）が減算され、アクティブ照明のみを含む画像を使用して、システムの信頼性が向上される。

幾つかの実施形態では、フォトプレチスモグラフィ（ＰＰＧ）波形の相対位相がチェックされる。フォトプレチスモグラフィ（ＰＰＧ）波形の位相のチェックは、波形は位相において近く、また、よく相関しているべきであるので、システムの信頼性を向上させる。

次に、図１を参照する。図１は、顔検出システム１００及び対象者１０１の一実施形態を示す。顔検出システム１００は、電磁放射線源１０２を含む。当然ながら、電磁放射線源１０２は、前述した通り、任意の適切な波長の光又は赤外線を放出してよい。幾つかの実施形態では、電磁放射線源１０２は省略され、周囲光が使用されてもよい。電磁放射線検出器１０３が設けられる。当然ながら、光電子放射線検出器１０３は、電磁放射線源／周囲光に応じて、任意の適切な波長の光を検出する。

幾つかの実施形態では、電磁放射線検出器はカメラである。幾つかの実施形態では、カメラはビデオカメラである。当然ながら、他の実施形態では、任意の他の適切な検出器が使用される。

顔検出システムは、信号プロセッサ１０４を含む。信号プロセッサは、少なくとも１つのプロセッサ１０５、少なくとも１つのメモリ１０６及びインターフェース１０７を含んでよい。インターフェースは、入力画像を受信し、出力を提供する。幾つかの実施形態によって提供される出力の幾つかのタイプについて後述する。

次に、図４を参照する。図４は、一連の画像に亘って捕捉された顔面１３を概略的に示す。顔面上に幾つかの関心領域１１がある。これらの領域のそれぞれについて、心拍数１２が決定される。

次に、図２を参照する。図２は、信号プロセッサの機能ブロックを概略的に示す。これは、幾つかの実施形態の方法を示す図３と併せて説明する。

ステップＳ２０１において、カメラが、連続フレームのセットを捕捉する。当該フレームは、処理のためにメモリに記憶される。機能ブロック２１が、当該フレームのセットをメモリに記憶させる。幾つかの実施形態では、連続フレームのセットは、所与の期間に亘って時間的に分散していてよい。所与の期間は、任意の適切な長さの時間であってよい。例えば当該期間は２秒間である。幾つかの実施形態では、フレームは、例えば７Ｈｚ又は同様の周波数である任意の適切な周波数でサンプリングされる。幾つかの実施形態では、２秒の期間を使用して、ヒトの心拍数の周波数範囲（例えば０．５Ｈｚ〜３．５Ｈｚ）をカバーしてもよい。幾つかの実施形態では、ナイキストサンプリング定理を考慮して、７Ｈｚのサンプリングレートを使用してよい。

ステップＳ２０２において、フレーム毎に、顔検出又は認識アルゴリズムが適用される。これは、顔検出機能ブロック２２によって行われる。幾つかの実施形態では、このステップは、顔候補を含む関心領域を与えるように行われる。当該関心領域に、後続の処理部分が行われる。これは、図４に示される顔面１３である。

ステップＳ２０３において、検出された顔に対する空間的に分解されたフォトプレチスモグラフィ（ＰＰＧ）信号が取得される。これは、フォトプレチスモグラフィ機能ブロック２３によって行われる。幾つかの実施形態では、空間的に分解されたフォトプレチスモグラフィ波形を取得するために、顔領域は、小さいサブ部分（例えば１０×１０ピクセルの四角形）に分割され、各サブ部分から波形を抽出するように処理される。これらは、図４に示されるより小さい関心領域である。フォトプレチスモグラフィ波形は、図４では、１２と示される。

ステップＳ２０４において、ＰＰＧ信号の均質性尺度が取得される。これは、均質性ブロック２４によって行われる。幾つかの実施形態では、波形が抽出されると、均質性尺度が計算される。幾つかの実施形態では、均質性尺度によって、波形が同じ特性を有することを確認することができる。

均質性尺度は、次のやり方のうちの１つ以上によって導き出すことができる。
ａ．幾つかの実施形態では、フーリエ変換を使用して、各波形から、心拍数が抽出される。この場合、均質性尺度Ｈは、次の通りに計算できる：
Ｈ１＝ｓｔａｎｄａｒｄ＿ｄｅｖｉａｔｉｏｎ（ａｌｌ＿ＨＲ＿ｅｘｔｒａｃｔｅｄ） （式１）
ｂ．幾つかの実施形態では、フーリエ変換を使用して、各波形から、心拍数が抽出される。抽出されたＨＲのヒストグラムが作成され、正規化される。この場合、均質性尺度は、次の通りに規定される：
Ｈ２＝ｍａｘ（Ｈｉｓｔｏ（ａｌｌ＿ＨＲ＿ｅｘｔｒａｃｔｅｄ）） （式２）
ｃ．幾つかの実施形態では、すべての波形が関連付けられ（１つの波形がすべての他の波形と関連付けられ）、相関行列Ｃが作成される。この場合、均質性尺度は、次の通りに規定される：
Ｈ３＝ｍｅａｎ（Ｃ＿Ｓｉｇｎｉｆｉｃａｎｔ） （式３）
ここで、Ｃ＿Ｓｉｇｎｉｆｉｃａｎｔは、所定閾値未満のｐ値を有するすべての相関Ｃを表す。
ｄ．幾つかの実施形態では、波形は、複数の（場合によっては重なり合う）時間間隔に分割され、各時間間隔について、ＨＲが抽出される。例えばＨＲの変動（時間的一貫性）を経時的に計算するために、ＨＲ値の標準偏差を、次の通りに計算できる：
Ｈ４＝ｓｔａｎｄａｒｄ＿ｄｅｖｉａｔｉｏｎ（ｃｏｎｓｅｃｕｔｉｖｅ＿ＨＲ＿ｅｘｔｒａｃｔｅｄ） （式４）
ｅ．幾つかの実施形態では、ｄ）において得られた時間間隔のＨＲ値について、ＨＲ関連色変動（ＨＲ軸）の３ＤのＲＧＢ（赤／緑／青）色空間における方向（ベクトル）が計算される。例えば時間に伴うこの方向（ベクトル）の変動（時間的一貫性）を計算できる。例えばこれを行うための方法は、まず、方向（ベクトル）の平均を計算することである。この平均ベクトルまでの個々のベクトルの平均（ユークリッド）距離が、変動を表す。光スペクトルの予想される心拍数誘導変動（ヘモグロビンの吸収スペクトルに基づいた色空間における基準ＨＲベクトル）に対する観察された光スペクトルの変動の差を、代わりに又は追加的に使用してもよい。
Ｈ５＝ｍｅａｎ（ｄｉｓｔ（ｃｏｎｓｅｃｕｔｉｖｅ＿ＨＲ＿ＲＧＢ＿ｖｅｃｔｏｒｓ−ｍｅａｎ（ｃｏｎｓｅｃｕｔｉｖｅ＿ＨＲ＿ＲＧＢ＿ｖｅｃｔｏｒｓ））） （式５）

ステップＳ２０５において、測定されたＰＰＧ信号が、閾値のＰＰＧ信号よりも大きいかどうかが決定される。これは、閾値ブロック２５によって行われる。幾つかの実施形態では、均質性尺度が、所定閾値Ｔを上回るか又は下回るかのチェックがある。例えば測定値が閾値を上回ることが分かると、関心領域に含まれる顔は「本物の顔」と見なされる。

ステップＳ２０６において、検出信号が、閾値基準を満たすかどうかが決定され、判断が行われる。これは、閾値ブロック２５によって行われる。

ステップＳ２０７において、検出された顔は、なりすましであると決定される。これは、閾値ブロック２５によって行われる。

ステップＳ２０８において、検出された顔は、本物の顔であると決定される。これは、閾値ブロック２５によって行われる。

ステップＳ２０６の決定に応じて適切な出力が提供される。例えば視覚的及び／又は可聴アラームが提供される。幾つかの実施形態では、出力は、検出された顔が本物の顔であると決定された場合に、ゲート又はドアを開けることである制御出力である。

幾つかの実施形態では、顔認識アルゴリズムが更に行われてもよい。顔認識アルゴリズムは、検出された顔が本物の顔であることが決定された場合にのみ、合格する。

幾つかの実施形態では、心拍数に関連する特性が計算され、特徴値として使用される。これは、均質性値に追加として又は代えてであってでよい。例えばパルス変動の（相対）振幅、パルスの時間的形状、及び／又は、基本パルス周波数のより高い高調波の周波数スペクトルにおける存在を使用してもよい。

幾つかの実施形態では、環境照明の変動が、抽出された心拍数（ＨＲ）信号を歪ませる影響を低減するために、ヒトの顔を照らす光源の組み合わせが追加される。例えばこれらの光源は、均一に空間的に分布し、カメラのスペクトル感度の範囲に亘って均等に分布する散光を生成する。

幾つかの実施形態では、顔全体の心拍数（ＨＲ）の空間均質性を向上させるために、皮膚からの鏡面反射量が低減される。これは、例えば検出光が交差偏光される場合に達成される。１つの偏光子が光源の前に置かれ、別の偏光子がカメラの前に置かれ、両偏光子の偏光方向が、互いに対して直交するように選択される。

幾つかの実施形態では、対象者の照明に赤外光が使用される。カメラの感度が、赤外線スペクトル内であってよい。これらの実施形態では、検出があまり目立たなくなる。

他の実施形態では、心拍の信号抽出に、例えば顔の小さい動きに依存する技術（カーディオ・バリストグラフィ）といった他の既知の技術が使用される。

幾つかの実施形態では、主成分分析（ＰＣＡ）及び独立成分分析（ＩＣＡ）といった技術を使用する。使用してもよい他の技術には、検出信号からのパルス成分の分解が含まれる。

ヒトの顔の（部分的な）動きだけでなく、環境照明の変動が共に、空間的及び時間的均質性尺度を歪ませる。幾つかの実施形態では、検出器が、対象者の動き及び照明変動の両方を測定し、定量化する。幾つかの実施形態では、ステップＳ２０６における検出決定は、動き及び／又は照明変動が所定値を上回る場合は無効にされる。或いは、均質性尺度の閾値レベルが変更されてもよい。例えば検出決定は、動き及び／又は照明変動の量が増える場合は、より緩和される。

幾つかの実施形態では、均質性尺度Ｈ３を、波形から計算される相関行列に基づかせるのではなく、領域の波形が時間的に整合しているかどうかをチェックするために、次のことが考慮される。各信号について、優位周波数の位相が計算される。本物の顔では、位相値は、顔領域全体で少ししか異ならない。幾つかの実施形態では、様々なブロックサイズ（スケール）の信号が計算される。特定のスケールの１ブロックの優位周波数は、重なるより大きいブロック（より大きいスケール）の優位周波数と近く、これは、単一スケールにおける隣接ブロックの信号が共に時間及び周波数において整合していることを示す。

幾つかの実施形態では、均質性特徴値Ｈ１乃至Ｈ５を所定閾値と個別に比較するのではなく、分類器を使用して、本物の顔があるかどうかの決定がなされる。分類器は、特徴値のセットを入力として取り、当該特徴値のセットが本物の顔について生じる確率を決定することに基づいて、分類決定をする。特徴値を組み合わせて観察することによって、各特徴値を個別に観察することよりも、分類決定をより正確にすることができる。

幾つかの実施形態では、２つ以上の均質性メトリックを空間的及び／又は時間的に組み合わせる。

幾つかの実施形態では、時間相関関係Ｈ３の均質性値は、信号の各対についてである。幾つかの実施形態では、十分に信頼性のある均質性値のみが使用される。この均質性値は、定位相ではなく、信号間の位相の相関関係からであってよい。定位相は、だますことがより簡単であり、また、実際には、ＨＲは、時間の経過と共に変化する。

幾つかの実施形態では、均質性値Ｈ４は、全測定期間に対してであり、重なり合う時間間隔に分割される。ＨＲは各間隔について計算される。次に、ＨＲの変動が、すべての時間に亘って解析される。測定される顔がマスクからである場合、Ｈ４を生成するために使用される方法は、大きい隔たりを有する乱数値を与える。測定される顔が本物である場合、Ｈ４を生成するために使用される方法は、はるかに小さい隔たりを与える。

幾つかの実施形態では、均質性値Ｈ５は、色空間における方向に対してである。例えば当該色空間は、３Ｄ色空間（例えばＲＧＢ−赤／緑／青）である。幾つかの実施形態では、ＨＲの変動は、例えば赤色軸において、経時的に調べられる。ＨｂＯ_２の吸収からの予想変動、即ち、色誤差と比較する。ヘモグロビン吸収スペクトルから、ＲＧＢ色空間内の特定の方向に沿って移動する「心拍」ベクトルを抽出することが期待される。変動が検出されるが、色空間における予想方向に対応しない場合、なりすましの可能性が高まる。

他の実施形態では、均質性値Ｈ５は、例えばハイパースペクトルカメラを使用する３Ｄ色空間に限定されない。本物の顔について、反射光スペクトルの変動は、（光源のスペクトル及び皮膚色素沈着について補正された後）ヘモグロビンの吸収スペクトルと一致する。両スペクトル間の差が大き過ぎる場合、なりすましが考えられる。

均質性値Ｈ１乃至Ｈ５は、様々ななりすまし方法を検出する際により適切である。例えば値Ｈ１乃至Ｈ４は、マスクを検出するのに特に有用であり、値Ｈ５は、変化する照明信号を検出するのに特に有用である。

均質性値Ｈ１及びＨ２は関連付けられているので、幾つかの実施形態では、システムは、どちらを使用するか選択することができる。

幾つかの実施形態では、すべての上記技術が使用される。他の実施形態では、上記技術の２つ以上が使用される。

当然ながら、選択される１つ以上の技術は、応用に応じる。

幾つかの実施形態では、システムに１つ以上の本物の顔及び１つ以上の偽物の顔を見せることによって、顔検出アルゴリズムに、本物の顔を検出するように指導する又はトレーニングする。

幾つかの実施形態では、ニューラルネットワーク決定又はサポートベクトルマシンに対して、均質性値に重みを加えるように、顔検出アルゴリズムに指導する又はトレーニングする。

幾つかの実施形態では、顔検出アルゴリズムは、前に測定された均質性値に対する現在測定された均質性値のセットの比較を利用する。

幾つかの実施形態では、顔検出アルゴリズムは、均質性値の分類システムを利用する。

幾つかの実施形態では、任意の身体領域／部分を使用してバイタルサインを検出する。

幾つかの実施形態では、顔が本物であるかどうかを決定するために使用されるバイタルサインは、ヒトの呼吸運動である。

２つの顔の画像を左側に示す図５を参照する。画像５０ａは、本物の顔であり、画像５２ａは、プラスチックで作られたマネキンの顔である。右側の画像は、当該２つの画像の対応するＨＲマップ５０ｂ及び５２ｂを示す。

顔全体から、均質性値Ｈ１及びＨ２の標準偏差及び最大値が取られる。顔が本物である場合、ヒストグラム分布は、強いピークを有して狭い。顔がマスク又は写真である場合、周波数はヒストグラムに亘ってランダム且つ均等に分布する。

顔の様々な領域からの波形信号間の相関関係によって、部分的なマスクが検出される。これは、追加的に又は代替的に照明の問題に役立つ。

先に開示した色ベクトル方法によって、心拍をまねしようと信号を送るなりすましの人を検出することができる。

標準偏差を使用するこのデータの次の解析を検討する。

図５の心拍数マップから、各矩形について標準偏差が計算され、（式１に従って）均質性尺度が計算され、次の通りとなる：
Ｈ＿ｆａｃｅ＿ｌｅｆｔ＝１０ｂｐｍ、
Ｈ＿ｆａｃｅ＿ｒｉｇｈｔ＝４５ｂｐｍ

閾値（Ｔ）を２０に設定すると、右側の顔、つまり、マネキンの顔が確実に拒絶される。

ヒストグラムに含まれるエネルギーを使用するこのデータの次の解析を検討する。画像５０ｂと、心拍数対エネルギーの対応するヒストグラム３１２とだけでなく、画像５２ｂと対応するヒストグラム３１１とを示す図６を参照する。図５又は図６の心拍数マップから、心拍数値のヒストグラムが、各矩形について計算され、（式２に従って）均質性尺度が計算される：
Ｈ＿ｆａｃｅ＿ｌｅｆｔ＝０．６、
Ｈ＿ｆａｃｅ＿ｒｉｇｈｔ＝０．０８４

左側の矩形（本物の顔）からのヒストグラムのピークは、右側の矩形（マネキンの顔）からのヒストグラムのピークと比べてエネルギーがより高い。なお、２つのヒストグラムのエネルギー軸はスケールが異なる。

閾値（Ｔ）を０．５に設定すると、右側の顔、つまり、マネキンの顔が確実に拒絶される。

時間的信号の相関関係を使用するこのデータの次の解析を検討する。左側の矩形（本物の顔）からの検出波形が関連付けられる（１つの波形がすべての他の波形と関連付けられる）。同じ処理が、右側の矩形（マネキンの顔）に適用される。（式３による）均質性尺度が、各矩形について抽出される：
Ｈ＿ｆａｃｅ＿ｌｅｆｔ＝０．７９、
Ｈ＿ｆａｃｅ＿ｒｉｇｈｔ＝０．３９

閾値（Ｔ）を０．５に設定すると、右側の顔、つまり、マネキンの顔が確実に拒絶される。

次に、図７を参照する。図７は、顔が本物であるかどうかを検証する本発明の方法の一実施形態を示す。

ステップＳ５１において、表面の複数の空間的に離れた領域について、少なくとも１つのバイタルサインの対応する尺度が決定される。

ステップＳ５２において、当該少なくとも１つのバイタルサインの対応する尺度から、対応する尺度に関連付けられる均質性情報が決定される。

ステップＳ５３において、均質性情報を使用して、表面の空間的に離れた領域が生体組織であるかどうかが決定される。

実施形態は多くの応用を有する。例えば幾つかの実施形態は、高度セキュリティセクタにおいて応用される。他の実施形態は、バイオメトリクス入力が求められる消費者コンピュータ応用において応用される。

幾つかの実施形態は、人の本人確認がカメラを使用する顔認識に基づいている場所に使用される。例えば幾つかの実施形態は、顔認識を使用してスマートフォンにログインするための認証、又は、コンピュータ化された手段を介して空港ターミナルにおいて、人の本人確認の照合を提供する。

幾つかの実施形態は、例えば指紋又は掌紋認識といった顔ではないバイオメトリック認識技術に使用される。

実施形態の態様は、コンピュータプログラムプロダクトで実現されてよい。当該コンピュータプログラムプロダクトは、コンピュータによって実行されるコンピュータ可読記憶デバイスに記憶されるコンピュータプログラム命令の集合体である。命令は、スクリプト、解釈可能プログラム、ダイナミックリンクライブラリ（ＤＬＬ）又はＪａｖａ（登録商標）クラスを含むがこれらに限定されない任意の解釈可能又は実行可能コードメカニズムにあってよい。命令は、完全なる実行可能プログラム、部分的な実行可能プログラム、既存プログラムの修正（例えばアップデート）又は既存プログラムの拡張（例えばプラグイン）として提供可能である。更に、本発明の処理の一部は、複数のコンピュータ又はプロセッサ間に分配されてよい。

コンピュータプログラム命令の記憶に適している記憶媒体は、ＥＰＲＯＭ、ＥＥＰＲＯＭ及びフラッシュメモリデバイスを含むがこれらに限定されないあらゆる形態の不揮発性メモリ、内部及び外部ハードディスクドライブといった磁気ディスク、リムーバブルディスク及びＣＤ−ＲＯＭディスクを含む。コンピュータプログラムプロダクトは、このような記憶媒体上で分配されても、ＨＴＴＰ、ＦＴＰ、電子メールを介して又はインターネットといったネットワークに接続されたサーバを介してダウンロード用に提供されてもよい。

様々な変形例を有する様々な実施形態について述べた。なお、当業者であれば、これらの様々な実施形態及び変形例の様々な要素を組み合わせることができるであろう。

このような変形例、修正例及び改良例は、本開示の一部であることを意図しており、また、本発明の範囲内であることを意図している。したがって、上記説明は、例示に過ぎず、限定を意図していない。本発明は、次の請求項及びその等価物によってのみ規定される。

Claims (15)

1. 表面の複数の空間的に離れた領域について、少なくとも１つのバイタルサインの対応する尺度を決定するステップと、
   少なくとも１つのバイタルサインの前記対応する尺度から、前記対応する尺度に関連付けられる均質性情報を決定するステップと、
   前記均質性情報を使用して、前記表面の前記複数の空間的に離れた領域が生体組織であるかどうかを決定するステップと、
   を含む、コンピュータ実施方法。
2. 一連のビデオフレーム内の顔領域を特定するステップを含み、前記複数の空間的に離れた領域の少なくとも１つが、前記顔領域内に配置され、前記表面は、少なくとも部分的に前記顔領域を含む、請求項１に記載の方法。
3. 少なくとも１つのバイタルサインの前記対応する尺度は、心拍信号を含み、前記方法は、複数の心拍信号を取得するように、前記一連のビデオフレームから、前記複数の空間的に離れた領域それぞれの心拍信号を抽出するステップを含む、請求項２に記載の方法。
4. 前記均質性情報を決定するステップは、前記心拍信号を比較するステップを含む、請求項３に記載の方法。
5. 前記均質性情報を使用するステップは、前記均質性情報をリミットと比較するステップを含む、請求項１乃至４の何れか一項に記載の方法。
6. 前記均質性情報を決定するステップは、前記心拍信号から心拍数を抽出するステップと、複数の前記空間的に離れた領域からの前記心拍数を組み合わせるステップと、組み合わせられた前記心拍数の標準偏差及び最大値の少なくとも一方を決定するステップとを含む、請求項３、４又は請求項３に従属する請求項５に記載の方法。
7. 前記均質性情報を決定するステップは、前記心拍信号の少なくとも１対間の相関関係を見つけるステップを含む、請求項３、４、６又は請求項３に従属する請求項５に記載の方法。
8. 前記均質性情報を決定するステップは、複数の時間セグメントから空間的に離れた領域の心拍数を抽出するステップと、各時間セグメントから抽出される前記心拍数の標準偏差を決定するステップとを含む、請求項３、４、６、７又は請求項３に従属する請求項５に記載の方法。
9. 複数の時間セグメントそれぞれについての空間的に離れた領域の色ベクトルを決定するステップと、前記複数の時間セグメントに亘る前記色ベクトルの変動を決定するステップとを含む、請求項１乃至８の何れか一項に記載の方法。
10. 複数の時間セグメントそれぞれについての前記空間的に離れた領域の前記色ベクトルは、ヘモグロビン吸収スペクトルから取得される、請求項９に記載の方法。
11. 前記一連のビデオフレームにおいて、呼吸が測定可能である領域を決定するステップと、呼吸信号を抽出するステップと、前記呼吸信号と心拍信号との相関関係を抽出するステップと、前記相関関係をリミットと比較するステップとを含む、請求項３、４、６、７、８又は請求項３に従属する請求項５、９若しくは１０に記載の方法。
12. 指導手順を行うステップを含む、なりすまし検出ユニットを準備する方法であって、前記指導手順は、第１の均質性情報を決定するために、請求項１乃至１１の何れか一項に記載の方法を、本物の顔の画像を含むビデオシーケンスに対して行うステップと、第２の均質性情報を決定するために、請求項１乃至１１の何れか一項に記載の方法を、なりすましの顔の画像を含むビデオシーケンスに対して行うステップと、リミットを、前記第１の均質性情報と前記第２の均質性情報との間にある値に設定するステップとを含む、方法。
13. 表面の複数の空間的に離れた領域について、少なくとも１つのバイタルサインの対応する尺度を決定し、
    前記少なくとも１つのバイタルサインの前記対応する尺度から、前記対応する尺度に関連付けられる均質性情報を決定し、
    前記均質性情報を使用して、前記表面の前記複数の空間的に離れた領域が生体組織であるかどうかを決定する、少なくとも１つのプロセッサを含む、なりすまし検出装置。
14. 一連のビデオフレームを受信する入力部を含み、
    前記少なくとも１つのプロセッサは、一連のビデオフレーム内の顔領域を特定し、前記顔領域内の空間的に離れた皮膚部分のセットを特定し、前記空間的に離れた皮膚部分それぞれについて、心拍信号を抽出し、各心拍信号から心拍数を抽出する、請求項１３に記載のなりすまし検出装置。
15. 前記少なくとも１つのプロセッサは、有効バイタルサインメトリックを計算し、前記顔領域を含む前記一連のビデオフレームが、生きた人の顔から直接捕捉されたのかどうかを決定するために、前記有効バイタルサインメトリックをリミットと比較する、請求項１４に記載の検出装置。

Images