JP2022540733A - クロミナンスベースの顔ライブネス検出のための方法およびシステム - Google Patents

Abstract

顔の像のライブネス検出認証のための方法、システム、およびコンピュータ可読媒体が提供される。本方法は、第１の色で照明された顔の像の第１の画像を取得することと、第２の色で照明された顔の像の第２の画像を取得することと、第１の画像および第２の画像の組み合わせに応答して、顔の像が３次元（３Ｄ）構造に一致するかどうかを判定することとを含む。本方法は、顔の像が３Ｄ構造に一致しかつ顔の像が認証されるべきユーザの顔と一致する場合に、顔の像を認証することをさらに含む。

Description

例示的実施形態は、一般に、顔認識に関し、より詳細には、クロミナンスベースの顔ライブネス検出（ｆａｃｅ ｌｉｖｅｎｅｓｓ ｄｅｔｅｃｔｉｏｎ）のための方法およびシステムに関する。

重要なサービスがますますユビキタスにアクセス可能になるにつれて、このようなサービスへのアクセスを保護する効率的な方法およびシステムを提供することが必要になっている。残念ながら、従来のユーザ名／パスワードの手法は、安全でないパスワードまたは繰り返しのパスワードを一般的に利用するあまり技術に精通していない人々による大量採用により、安全な認証を提供するその能力を失っている。

顔認証技術は、パスワード管理の手間をかけずに自分の個人データおよびサービスにアクセスするための信頼できるユーザ認証を提供する一般的な方法になっている。従来の形態の認証と比較して顔認証が提供するより高度なユーザ利便性および向上したセキュリティにより、携帯電話ならびにパッド（ｐａｄ）およびラップトップなどの他のインターネット対応のポータブル装置およびデータ記憶装置で顔認識の使用が増えることは意外ではない。このような使用は、機密性が高い慎重な扱いを要するコンテンツにアクセス可能になり得る前にユーザの携帯電話上のユーザの最も重要なアカウントおよびサービスにログインすることを含む。

ユーザの携帯電話に記憶された機密情報を保護する認証方法としての顔認識技術およびその応用の高まる評判は、セキュリティにおける新たな課題を伴っている。パスワードおよびＰＩＮが盗まれ、漏らされ得るのと同様に、人物の顔の像も盗まれ得る。例えば、攻撃者は、対象人物の顔の生体データを偽装することによって、認証ユーザを装い得る。顔のなりすましは容易であり、特別な技術を必要とせず、誰でも簡単に、ソーシャルウェブサイトから対象人物の高品質の写真をダウンロードし、対象人物の写真を紙に印刷し、認証プロセス時に携帯電話の前面カメラの前に対象人物の印刷された写真を提示し得る。

したがって、顔認識認証システムに効果的なライブネス検出メカニズムを、それらのセキュリティを保証するために組み込むことは最も重要である。ライブネス検出技術で強化された顔認識アルゴリズムは、顔のなりすましに対する別の防御層を導入し、共同で、顔認識認証システムをだますことをより困難にする。しかしながら、ほとんどの従来のライブネス方式は、十分にロバストではなく、したがって、わずかな労力で依然としてだまされ得るおよび／または回避され得る。

ライブネス検出の一般的な手法は、記録ではなく実際のユーザが検出されたという証明を提供するためにユーザがアルゴリズムによって検出される何らかの動作を実行するように要求されるチャレンジレスポンス手順（ｃｈａｌｌｅｎｇｅ－ｒｅｓｐｏｎｓｅ ｍｅｔｈｏｄｏｌｏｇｙ）に依存する。しかしながら、このような要求は、ユーザが応答に時間を要し、応答が正確に予期した通りではない可能性があるため、エンドユーザに不便をもたらし、依然として正確な結果を提供しない。

さらに、特殊なソフトウェアで顔の動きをシミュレートすることが可能である。あるいは、攻撃者は、ユーザのアカウントおよびサービスに不正にアクセスするために、認証ユーザの取得されたビデオをラップトップの高解像度画面に表示し、次に、記録されたビデオを携帯電話の前面カメラの前で再生することによって認証ユーザを装い得る。このようなリプレーアタックは、フェイスブック、ツイッター、およびインスタグラムなどのソーシャルネットワーキングサービスから得られた認証ユーザのビデオを使用して容易に実行され得る。

したがって、必要とされているのは、多くの顔のなりすまし技術に効果的に対抗することができる信頼できる、認証ユーザの実際の存在を確認するライブネス検出のための方法およびシステムである。さらに、他の望ましい特徴および特性が、添付の図面および本開示のこの背景と併せて、以下の詳細な説明および添付の特許請求の範囲から明らかになる。

少なくとも１つの例示的実施形態によれば、顔の像のライブネス検出認証のための方法が提供される。前記方法は、第１の色で照明された前記顔の像の第１の画像を取得することと、第２の色で照明された前記顔の像の第２の画像を取得することと、前記第１の画像および前記第２の画像の組み合わせに応答して、前記顔の像が３次元（３Ｄ）構造に一致するかどうかを判定することとを含む。前記方法は、前記顔の像が３Ｄ構造に一致しかつ前記顔の像が認証されるべきユーザの顔と一致する場合に、前記顔の像を認証することとをさらに含む。

別の例示的実施形態によれば、顔の像のライブネス検出認証のための装置内のシステムが提供される。前記システムは、多色照明装置と、カメラと、プロセッサとを備える。前記多色照明装置は、第１の方向に照明を提供し、前記カメラは、少なくとも前記第１の方向における画像を取得する。前記プロセッサは、前記多色照明装置および前記カメラに結合され、前記多色照明装置が第１の色で前記顔の像を照明するときに前記カメラからの第１の画像を記録し、前記多色照明装置が第２の色で前記顔の像を照明するときに前記カメラからの第２の画像を記録する。前記プロセッサは、前記第１および第２の画像の組み合わせに応答して、前記顔の像が３次元（３Ｄ）構造に適合するかどうかを判定するために前記第１および第２の画像の組み合わせを解析し、前記顔の像が３Ｄ構造に一致しかつ前記顔の像が認証されるべきユーザの顔と一致する場合に前記顔の像を認証する。

また、さらに別の例示的実施形態によれば、顔の像のライブネス検出認証を実行するためのコンピュータ可読媒体が提供される。前記コンピュータ可読媒体は、処理手段が、第１の色で照明された前記顔の像の第１の画像を取得し、第２の色で照明された前記顔の像の第２の画像を取得し、前記第１および第２の画像の組み合わせに応答して、前記顔の像が３次元（３Ｄ）構造に一致するかどうかを判定し、前記顔の像が３Ｄ構造に一致しかつ前記顔の像が認証されるべきユーザの顔と一致する場合に、前記顔の像を認証するための命令を記憶している。

同じ参照番号が個々の図を通して同一のまたは機能的に同様の要素を指し、以下の詳細な説明と共に本明細書に組み込まれ、その一部を形成する添付の図は、様々な例示的実施形態を示し、本例示的実施形態による様々な原理および利点を説明するのに役立つ。

本例示的実施形態によるライブネス検出のためのシステムの高レベルのブロック図を示している。 本例示的実施形態によるライブネス検出のためのシステムに最適なカメラとユーザの配置の側面図を示している。 本例示的実施形態によるライブネス検出のためのシステムの動作の側面図を示している。図３Ａは、伝統的な携帯電話カメラの配置を示している。 本例示的実施形態によるライブネス検出のためのシステムの動作の側面図を示している。図３Ｂは、本例示的実施形態に従って携帯電話画面上で参照マーカを人為的にシフトすることを示している。 本例示的実施形態によるライブネス検出のためのシステムの動作の側面図を示している。図３Ｃは、本例示的実施形態に従って携帯電話画面上で参照マーカを人為的にシフトすることを示している。 本例示的実施形態によるライブネス検出のためのシステムでの使用に最適なクロミナンス遷移を示す色環を示している。 入射角に関連する表面反射率のグラフを示している。 図５に示されている関係が、平坦な２次元（２Ｄ）オブジェクトの顔の像と３次元（３Ｄ）オブジェクトとの間でどのように劇的な違いを反射パターンにもたらすのかを示すために、表面に垂直なベクトルを示している。図６Ａは、顔などの３Ｄオブジェクトの垂直ベクトルを示している。 図５に示されている関係が、平坦な２次元（２Ｄ）オブジェクトの顔の像と３次元（３Ｄ）オブジェクトとの間でどのように劇的な違いを反射パターンにもたらすのかを示すために、表面に垂直なベクトルを示している。図６Ｂは、平坦な２Ｄ表面の垂直ベクトルを示している。 本例示的実施形態によるライブネス検出のためのシステムを有する装置のブロック図を示している。 本例示的実施形態によるライブネス検出のための方法を示している。

当業者であれば、図中の要素が単純化および明確化のために示されており、必ずしも縮尺通りに示されていないことを理解するであろう。

以下の詳細な説明は、本質的に例示にすぎず、本発明または本発明の用途および使用を限定することを意図されていない。さらに、本発明の前述の背景または以下の詳細な説明に提示されている理論に拘束される意図はない。本例示的実施形態の意図は、認証ユーザの実際の存在を確認し、多くの顔のなりすまし技術に効果的に対抗することができる高保証の信頼できるソリューションを提供するために自動チャレンジレスポンスを利用するライブネス検出メカニズムのための方法およびシステムを提示することである。提案されたメカニズムは、チャレンジレスポンスの要素を組み込んでいるにもかかわらず、依然として高度な信頼性を提供しながら、ユーザにいかなる動作の実行も要求しない。

本例示的実施形態は、光の特性を利用して、使いやすいソリューションおよび非常にロバストななりすまし防止ソリューションを提供する。本例示的実施形態によれば、少なくとも２つの異なるカラーチャネル、第１の色および第２の色が、顔の像の照明のために使用される。青およびオレンジが、本例示的実施形態によるシステムおよび方法において使用されているが、例示的実施形態は、これらの色に制限されず、代わりに異なる色が使用され得る。さらに、２つの色が使用されているが、本方法は、２つの色に限定されず、３つまたは４つ以上の色を使用し得る。さらに、本例示的実施形態の方法およびシステムは、２つの画像キャプチャの単一のセットに限定されず、本例示的実施形態に従って、２つの画像キャプチャの複数のセットが使用されてもよい。顔の像（すなわち、実際の人物の顔または写真またはビデオまたは何らかの他の像を含む、認証のために携帯電話などのモバイル装置のカメラに提示される何か）、ディスプレイからの、顔の像から反射された照明の結果として形成される２つの異なる画像を取り込んで、顔の像がユーザの顔であるかどうかを判定するために、２つの別個の光刺激が、モバイル装置の画面およびモバイル装置のフロントカメラ（すなわち、光刺激または照明と同じ方向を向いているカメラ）に関して生成される。次に、１組のアルゴリズムによって、２つの画像が処理され、解析される。

１組のアルゴリズムは、各画像の各画素上の各カラーチャネルの量を算出し、取り込まれた２つの画像間の画素ごとに画素値比較を実行する。最後に、画像の各画素に関して、照明から結果として得られる画素成分が算出される。結果として得られるものは、顔が本物であるかそれともなりすましであるかを判定するためにライブネス検出エンジンによって使用される画素成分値の行列である。ライブネス検出エンジンは、取り込まれた顔の異なる関心領域を解析する。２次元（２Ｄ）の写真およびビデオから取り込まれた画像は、実際の顔の像から取り込まれた３次元（３Ｄ）の画像とは異なるパターンを示す。ライブネス検出エンジンは、２Ｄ画像と３Ｄ画像との違いに基づいて画像を分類し、顔の像が第１の画像および第２の画像に応答して３Ｄ構造に適合するかどうかを判定する。

図１を参照すると、ブロック図１００は、本例示的実施形態による、顔の像１０２のライブネス検出のためのシステムの高レベルの図を示している。携帯電話１０４または同様の装置は、携帯電話１０４のカラーディスプレイ画面などの多色照明装置１０６を含み、これは、第１の方向の照明１０８を提供する。携帯電話１０４はまた、顔の像１０２からの反射１１２を受けることによって同じ方向の画像を取得し得るカメラ１１０を含む。

２つの画像は、プロセッサ１２２に提供される（１２０）。ライブネス検出エンジン１２４は、３Ｄ構造が存在するかどうかを判定することによって顔の像１０２が本物１２６であるか偽物１２８であるかを判定するために２つの画像を解析する。

ライブネス検出は、装置のディスプレイ（例えば、多色照明装置１０６）から放射される光の変化量が装置のカメラ１１０によって検出可能である条件および方向で行われなければならない。ライブネス検出が行われ得る前、顔の位置および照明パラメータが解析され、ユーザは、正常なライブネス検出の条件が満たされていることを確認するように通知される。照度は光源までの距離の２乗に比例するため、カメラ１１０が許す限りユーザを照明装置１０６に近づけることが重要である。

３Ｄシーンに関する情報をできるだけ多く取り込むことが好ましい。この情報は、モバイル装置の画面（例えば、照明装置１０６）の照明の、ユーザの顔１０２からの反射を解析することによって得られる。拡散した光に対して、反射した光が多いほど、シーンの３Ｄ成分に関するより多くの情報が利用可能である。カメラ１１０に到達するディスプレイの光の反射成分を最大化するために、図２に示されているようにカメラ１１０を下方に配置することが好適であり、これにより、画面からの光の反射成分が最大化される。図２は、ユーザの３Ｄの顔の像１０２の側面図２００を示している。画面／ディスプレイ１０６からの照明の反射成分２０２は、照明装置１０６とカメラ１１０の両方を低く配置することによって最適化される。この配置は「カメラに対してあなたの顔を配置して下さい」のような一般的なガイダンスで達成され得るため、この配置はユーザに余計な面倒をかけなくて済むことに留意されたい。

顔認証アプリケーションの大部分では、カメラ１１０の位置は、ある種のマーカ、最も一般的には、カメラ１１０によって取り込まれたユーザの直接の画像によってガイドされる。このプロセスはユーザによく知られており、追加の練習を必要としない。このプロセスへのこの慣れは、ライブネスチェックのために電話を最良の位置に持っていくようにユーザをガイドするために活用される。

図３Ａを参照すると、側面図３００は、携帯電話３０８の画面３０６上の取り込まれた画像３０４に対するユーザ３０２の従来の配置を示している。一般的には、ユーザ３０２は、取り込まれた画像３０４が画面３０６の中央に来るまで携帯電話３０８を動かす。したがって、取り込まれた画像３０４は、携帯電話３０８の位置の調整のためのマーカとして機能し得る。図３Ｂおよび図３Ｃを参照すると、側面図３３０、３６０は、本例示的実施形態によるライブネス検出のためのシステムの動作を示している。図示のように、ライブネスチェックに最適な位置は低い。本例示的実施形態によれば、参照マーカ３２２（例えば、ユーザ３０２の取り込まれた画像３０４）を人為的に下方にシフトすると、ユーザは、追加の指示なしに携帯電話３０８を下方に動かす。図３３０は、画面３０６上の参照マーカ３２２を示している。参照マーカ３２２が画面上で低いという事実は、携帯電話を下げるようにユーザ３０２に示す。ユーザ３０２は、画面３０６の中央に参照マーカ３２２を保持するために携帯電話３０８をシフトしようとするため、参照マーカ３２２（すなわち、ユーザ３０２の取り込まれた画像３０４）のシフトは、自然に、追加のガイダンスなしにユーザに携帯電話３０４を下方に配置させることが確認されている。図３６０を参照すると、ユーザ３０２が携帯電話３０８を下方にシフトすると、画面上の参照マーカ３２２の位置が上方にシフトし、これにより、ユーザ３０２が参照マーカ３２２を画面の中央に置くと、携帯電話３０８は、本例示的実施形態によるライブネス検出のためにユーザ３０２に対して最適な位置に来る。

ユーザが携帯電話に対して正しい照明位置に来ると、ライブネス検出プロセスが開始される。ユーザは、２秒間のライブネス検出プロセス中の動きを低減するように通知される。一方、携帯電話の画面照明はその色を変化させ、その結果、カメラよって受けられる像も変化する。画面照明の変化は、画面によって放射された光のどの部分がカメラに入射したかの判定を可能にし、これにより、シーンの３Ｄ構造に関する情報が効果的に収集される。照明の変化は、応答を生成する攻撃者の機会をさらに減らすためにランダムにタイミングが決められる。照明の変化は緩やかであり、ユーザを不快にさせたり、またはてんかんなどの病状を誘発したりすることが回避される。

シーンの３Ｄ成分を得るためには、照明装置とカメラとの相対位置の情報を有する必要がある。以下で詳細に述べられるように、照明装置の制御を効果的に提供するために、画面で発生していない照明を除去することが可能である。照明装置を制御することにより、結果として得られる画像内の反射成分の割合が増加し、その結果、対象の皮膚色（ｐｉｇｍｅｎｔａｔｉｏｎ）の影響が低下し、もっぱら空間的特徴が注目される。

画面の照明を変化させると、カメラによって観察される像に変化が生じる。画面からの照明は、式（１）に記載されているように表現され得る。
Ｉ_{ｓｃｒｅｅｎ}（ｒ，ｔ）＝Ｒ_{ｓｃｒｅｅｎ}（ｒ，ｔ），Ｇ_{ｓｃｒｅｅｎ}（ｒ，ｔ），Ｂ_{ｓｃｒｅｅｎ}（ｒ，ｔ） （１）
ただし、ｒは画面上の位置であり、ｔは時間である。画面から放射された光は環境から反射され、反射光の一部は、式（２）に示されているようにモバイル装置のカメラによって検出される。
Ｉ_{ｒｅｆｌｅｃｔｅｄ}（ｒ_ｃ，ｔ）＝Ｒ_{ｒｅｆｌｅｃｔｅｄ}（ｒ_ｃ，ｔ），Ｇ_{ｒｅｆｌｅｃｔｅｄ}（ｒ_ｃ，ｔ），Ｂ_{ｒｅｆｌｅｃｔｅｄ}（ｒ_ｃ，ｔ） （２）
ただし、ｒ_ｃはカメラの対応する画素の位置である。カメラは、Ｉ_{ａｍｂｉｅｎｔ}と合わせて反射光を取り込む。そして、画面照明が変化するときに、電話のカメラは画像を記録する。

当業者は、関数Ｆ（Ｇ_{ｓｃｅｎｅ}，Ｉ_{ｓｃｒｅｅｎ}（ｒ，ｔ））（ただし、Ｇ_{ｓｃｅｎｅ}はシーンの３Ｄ構造である）としてＩ_{ｒｅｆｌｅｃｔｅｄ}（ｒ_ｃ，ｔ）を解析したくなるであろう。本例示的実施形態によれば、Ｒ_{ｒｅｆｌｅｃｔｅｄ}（ｒ_ｃ，ｔ），Ｇ_{ｒｅｆｌｅｃｔｅｄ}（ｒ_ｃ，ｔ），Ｂ_{ｒｅｆｌｅｃｔｅｄ}（ｒ_ｃ，ｔ）の変化を直接追跡する代わりに、画面ハイライトのクロミナンスが、第１の色と第２の色との間でできるだけ変化される。これは、クロミナンスのみの変化を追跡し、輝度を無視し、周囲の照度の変化に対して検出をロバストにすることによって、画面から来る光の検出を可能にする。

上記で述べられたように、青およびオレンジの照明が、本例示的実施形態によるライブネス検出の検証のために使用された。図４を参照すると、青４０４からオレンジ４０６へのクロミナンス遷移４０２がクロミナンス差を最大化することを示す色環４００が示されている。青およびオレンジが、本例示的実施形態によるシステムおよび方法で使用されているが、本例示的実施形態は、これらの色に限定されず、色環４００上で有意に離れた２つの色を選択することによってクロミナンス差を最大化することがライブネス検出を改善することを認識して、代わりに異なる色が使用され得る。

画面に由来する、カメラに登録された光の部分が検出される。これは、クロミナンス差を最大化するように照明プロセスの最初（すなわち、第１の色）および最後（すなわち、第２の色）のＩ_{ｓｃｒｅｅｎ}の色を並べることによって行われる。この差により、Ｉ_{ｒｅｆｌｅｃｔｅｄ}（ｒ_ｃ，ｔ）のクロミナンスは画面照明に従ってシフトする。

カメラ画像の各画素に関して、時間に対するクロミナンスの変化との相関が検出される。ユーザから反射された検出光のクロミナンスの変化を検出するためには、最低でも２つの画像が必要である。クロミナンスのこの変化は、式（３）に従って算出され得る。
Ｌ（ｒ_ｃ）＝｜Ｃ（ｒ_ｃ，０）－Ｃ（ｒ_ｃ，Ｔ）｜ （３）
ただし、Ｃ（ｒ，ｔ）は、位置ｒにおける時点ｔのクロミナンス値であり、Ｌは、画面からカメラに到達した光の部分を表す。

照明プロセスの完全なビデオを撮影することも可能であり、これは、検出をよりロバストにするが、より高い帯域幅要件という代償を払うことになる。ライブネスの検出は、検出プロセスの要件、ユーザの装置の性能、および利用可能な帯域幅に応じて装置上でまたはバックグラウンドで行われ得る。

図５を参照すると、グラフ５００は、反射入射角に関連する表面反射を示している。Ｌ（ｒ_ｃ）（式（３））は、ディスプレイからカメラまでの光伝搬の尺度である。グラフ５００から、その入射角が大きいときに、より多くの光が反射される（すなわち、入射光線が表面に対してより平行であるほど、より多くの光が反射される）ことが分かる。このことは、グラフ５００に示されているような反射光の量と入射角との間の一般的な強い依存性が環境の３Ｄ成分を増幅するため、本例示的実施形態において重要である。

図６Ａおよび図６Ｂを参照すると、側面図６００、６５０は、グラフ５００に示されているような反射光の量と入射角との関係が平坦な２次元（２Ｄ）オブジェクトの顔の像と３Ｄオブジェクトとの間の反射パターンの著しい違いをどのようにもたらすのかを示すために、表面６０４、６５４に直角な（すなわち、これらに垂直な）ベクトル６０２、６５２を示している。より詳細には、図６００は、顔などの３次元オブジェクト６０４の様々な位置で垂直に反射された光６０２を示し、図６５０は、平坦な表面６５４で垂直に反射された光６５２を示している。カメラが人間の顔などの３Ｄオブジェクト６０４に向けられている場合、その法線は、実際の像と同期して急速に変化する。なりすましの試みでは、カメラは通常、湾曲したまたは平坦な表面６５４に直面し、法線の変化は、それが装う像とは無関係である。したがって、ベクトル６０２とベクトル６５２との違いは、法線が本物の３Ｄシーンと偽物の２Ｄシーンとの間でどのように異なるのかを示している。法線のこの違いは、グラフ５００（図５）に示される関係に従って反射光パターンの著しい違いをもたらす。

図７を参照すると、ブロック図７００は、本例示的実施形態によるライブネス検出のためのシステムを有する装置を示している。本システムは、多色照明装置７０２、カメラ７０４、およびプロセッサ７０６を含む。
多色照明装置７０２は、第１の方向の照明を提供し、カメラ７０４は、少なくとも第１の方向の画像を取得する。プロセッサ７０６は、多色照明装置７０２およびカメラ７０４に結合され、多色照明装置７０２が第１の色で顔を照明するときにカメラ７０４からの第１の画像を記録し、多色照明装置７０２が第２の色で顔を照明するときにカメラ７０４からの第２の画像を記録する。プロセッサ７０６内のライブネス検出エンジン１２４は、第１の画像および第２の画像に応答して顔の像が３Ｄ構造に適合するかどうかを判定するために第１の画像および第２の画像の組み合わせを解析し、顔の像が３Ｄ構造に適合し、顔の像が、認証されるべきユーザと一致する場合に、顔の像を認証する。

メモリ７０８は、認証のためにユーザの顔の像を記憶するためにプロセッサ７０６に結合される。ライブネス検出と併せて行われる、記憶された顔の像に対する認証照合のために、照明検出で使用されたのと同じ画像を使用することが重要である。これは、攻撃者がライブネステストのために無関係な人物を使用し、続いて検出のために写真を提示することを防ぐために必要である。

図８を参照すると、フローチャート８００は、携帯電話などのモバイル装置に提示された顔の像のライブネス検出認証および認証のための方法を示している。認証プロセスが開始された後８０２、本方法は、ユーザおよび照明が正しいかどうかを判定する８０４。ユーザおよび照明が正しくないと判定された場合８０４、ユーザは、カメラの位置を調整するように提案される８０６。ユーザおよび照明が正しい場合８０４、第１の色で照明された顔の像の第１の画像が取得され８０８、第２の色で照明された顔の像の第２の画像が取得される８１０。第１の画像および第２の画像の組み合わせは、顔の像が３次元構造に一致するかどうかを判定するために８１４、上記したように２つの画像を位置合わせし照明装置から来ていない光を除去することによって解析される８１２。本方法は、顔の像が３Ｄ構造に一致し８１４、顔の像が認証されるべきユーザと一致する場合に８１８、顔の像を認証すること８１６をさらに含む。顔の像が３Ｄ構造に適合しない場合８１４、または顔の像が認証されるべきユーザと一致しない場合８１８、認証は失敗する８２０。

最も能動的なライブネス検出技術は、ユーザとモバイルアプリケーションとのさらなる相互作用を必要とし、ユーザは、ユーザによって完全に制御可能ないくつかの自発的なチャレンジレスポンスの動作を実行する必要がある。取り込みの時点でライブネスを確認するために、ユーザは、課題を提示され、ユーザは、自分の目を瞬かせる、笑顔を作る、自分の頭を縦に振る、さらには、モバイル装置を正しい方向（例えば、前後、横）にランダムなパターンで動かすなどのいくつかの自発的な制御された動作を実行することによって課題に応答しなければならない。しかしながら、ユーザによるこのような自発的な動作は不自然であり、ユーザは、これを使用しにくいと感じることが多い。したがって、ライブネス検出ソリューションは、セキュリティと利便性との正しいバランスを有していなければならないことが重要であり、それは、使いやすくなければならず、強力なライブネス検出を提供しなければならない。

したがって、本例示的実施形態は、使いやすい非常にロバストななりすまし防止ソリューションを提供するために光の特性を活用するライブネス検出のための方法およびシステムを提供することが分かる。モバイル装置の画面からの光刺激が顔の像に投射され、本システムは、反射光に関して、取り込まれた画像内の領域を解析する。反射光は、顔の像の所定の生体特性に基づいて、区別可能なパターンを形成する不随意応答である。本例示的実施形態は、検出されたパターンが３Ｄ構造に一致するかどうかを判定するために、対象から反射された光によって形成される固有パターンに関して取り込まれた顔の関心領域を解析することによって、本物の顔またはなりすましの顔を正確に区別する。さらに、ユーザからの応答は自然であり、不随意であり、制御を必要とせず、ユーザは、自分が課題に応答していることさえ知らず、ユーザ体験は、ユーザにとってシームレスかつトランスペアレントである。本例示的実施形態は、多くの顔のなりすまし技術に効果的に対抗することができる高保証の信頼できるソリューションを提供する。

本発明の前述の詳細な説明において例示的実施形態が提示されているが、膨大な数の変形例が存在することを理解されたい。例示的実施形態は例にすぎず、どんな方法であれ本発明の範囲、適用可能性、動作、または構成を限定することを意図されていないことをさらに理解されたい。むしろ、前述の詳細な説明は、本発明の例示的実施形態を実施するための便利なロードマップを当業者に提供し、添付の特許請求の範囲に記載されている本発明の範囲から逸脱することなく、例示的実施形態で説明されたステップの機能および配列ならびに動作の方法に様々な変更が加えられ得ることが理解される。

また、上記した例示的な実施形態は、以下に限定されないが、以下の付記によって全体的または部分的に説明され得る。

（付記１）
顔の像のライブネス検出認証のための方法であって、
第１の色で照明された前記顔の像の第１の画像を取得することと、
第２の色で照明された前記顔の像の第２の画像を取得することと、
前記第１の画像および前記第２の画像の組み合わせに応答して、前記顔の像が３次元（３Ｄ）構造に一致するかどうかを判定することと、
前記顔の像が３Ｄ構造に一致しかつ前記顔の像が認証されるべきユーザの顔と一致する場合に、前記顔の像を認証することと
を含む方法。

（付記２）
前記第１の色が第１のクロミナンス値を有し、前記第２の色が第２のクロミナンス値を有する、付記１に記載の方法。

（付記３）
前記第１および第２のクロミナンス値が、クロミナンス差を最大化するように選択される、付記２に記載の方法。

（付記４）
前記顔の像が前記第１の色で照明される時間および前記顔の像が前記第２の色で照明される時間がランダムに選択される、付記１から３のいずれか一つに記載の方法。

（付記５）
前記第１の画像を取得する前に、前記顔の像および前記照明が正しくないと判定したことに応答して前記カメラの位置を調整するように前記ユーザに提案するステップをさらに含む、付記１から４のいずれか一つに記載の方法。

（付記６）
前記顔の像が３Ｄ構造に一致することを判定することは、
前記第１の画像と前記第２の画像とを位置合わせすることと、
前記位置合わせされた第１および第２の画像の組み合わせに応答して、前記顔の像が３Ｄ構造に一致するかどうかを判定することと
を含む、付記１から７のいずれか一つに記載の方法。

（付記７）
前記顔の像が３Ｄ構造に一致することを判定することは、前記第１の画像から、前記第１の色の照明でない光をフィルタリングすることをさらに含む、付記６に記載の方法。

（付記８）
前記顔の像が３Ｄ構造に一致することを判定することは、前記第２の画像から、前記第２の色の照明でない光をフィルタリングすることをさらに含む、付記６または７に記載の方法。

（付記９）
前記第１の画像を取得することおよび前記第２の画像を取得することは、前記第１の画像および前記第２の画像を含む第１の画像セットを取得することを含み、前記方法は、さらなる画像セットを少なくとも取得することを含み、前記さらなる画像セットを少なくとも取得することは、
前記第１および第２の色とは異なる第３の色で照明された前記顔の像の、前記さらなる画像セットの１つ目を取得することと、
前記第１、第２および第３の色とは異なる第４の色で照明された前記顔の像の、前記さらなる画像セットの２つ目を取得することであって、前記第３の色のクロミナンス値と前記第４の色のクロミナンス値との間のクロミナンス差に応答して、前記第３の色および前記第４の色が選択される、こととを
を含み、
前記顔の像が３Ｄ構造に一致するかどうかを判定することは、前記第１、第２、第３および第４の画像の組み合わせに応答して、前記顔の像が３Ｄ構造に一致するかどうかを判定することを含む、
付記１から８のいずれか一つに記載の方法。

（付記１０）
顔の像のライブネス検出認証のための装置内のシステムであって、前記システムは、
第１の方向に照明を提供するための多色照明装置と、
少なくとも前記第１の方向における画像を取得するためのカメラと、
前記多色照明装置および前記カメラに結合されたプロセッサであって、前記多色照明装置が第１の色で前記顔の像を照明するときに前記カメラからの第１の画像を記録し、前記多色照明装置が第２の色で前記顔の像を照明するときに前記カメラからの第２の画像を記録し、前記第１および第２の画像の組み合わせに応答して、前記顔の像が３次元（３Ｄ）構造に適合するかどうかを判定するために前記第１および第２の画像の組み合わせを解析し、前記顔の像が３Ｄ構造に一致しかつ前記顔の像が認証されるべきユーザの顔と一致する場合に前記顔の像を認証する、プロセッサと
を備える、システム。

（付記１１）
データを記憶するためのメモリをさらに備え、前記記憶されたデータは、前記認証されるべきユーザの記憶された画像を含み、前記プロセッサは、前記第１または第２の画像の前記組み合わせと前記認証されるべきユーザの前記記憶された画像とを比較することによって、前記顔の像が前記認証されるべきユーザと一致することを判定する、付記１０に記載のシステム。

（付記１２）
前記プロセッサは、前記第１および第２の色のクロミナンス値間のクロミナンス差を最大化するように前記第１および第２の色を選択したことに応答して、前記第１の色および前記第２の色で前記顔を照明するように前記多色照明装置を制御する、付記１１に記載のシステム。

（付記１３）
前記プロセッサは、第１の時間に前記第１の色で前記顔を照明するように前記多色照明装置を制御し、第２の時間に前記第２の色で前記顔を照明するように前記多色照明装置を制御し、前記第１の時間および前記第２の時間が、前記プロセッサによってランダムに選択される、付記１０から１２のいずれか一つに記載のシステム。

（付記１４）
前記多色照明装置はディスプレイを備え、前記プロセッサは、前記顔の像および前記照明が正しくないと判定したことに応答して、前記第１の画像を取得する前に前記カメラの位置を調整するように前記ユーザに提案するために、参照マーカ情報を前記ディスプレイに提供する、付記１０から１３のいずれか一つに記載のシステム。

（付記１５）
前記参照マーカ情報は、前記ユーザの画像を含む、付記１４に記載のシステム。

（付記１６）
前記プロセッサは、前記参照マーカの位置を前記ディスプレイの実質的に中央に保持することによって、前記カメラの位置を調整するように前記ユーザに提案するために、前記ディスプレイ上で前記参照マーカ情報を移動させる、付記１４または１５に記載のシステム。

（付記１７）
前記プロセッサは、前記第１の画像と前記第２の画像とを位置合わせし、前記位置合わせされた第１および第２の画像の組み合わせに応答して、前記顔の像が３Ｄ構造に一致するかどうかを判定することによって、前記顔の像が３Ｄ構造に一致することを判定する、付記１０から１６のいずれか一つに記載のシステム。

（付記１８）
前記顔の像が３Ｄ構造に一致することを判定することが、前記第１の画像から、前記第１の色の照明でない光をフィルタリングすることをさらに含む、付記１７に記載のシステム。

（付記１９）
前記顔の像が３Ｄ構造に一致することを判定することは、前記第２の画像から、前記第２の色の照明でない光をフィルタリングすることをさらに含む、付記１７または１８に記載のシステム。

（付記２０）
前記装置は携帯電話を備える、付記１０から１９のいずれか一つに記載のシステム。

（付記２１）
顔の像のライブネス検出認証を実行するためのコンピュータ可読媒体であって、前記コンピュータ可読媒体は、処理手段が、
第１の色で照明された前記顔の像の第１の画像を取得し、
第２の色で照明された前記顔の像の第２の画像を取得し、
前記第１および第２の画像の組み合わせに応答して、前記顔の像が３次元（３Ｄ）構造に一致するかどうかを判定し、
前記顔の像が３Ｄ構造に一致しかつ前記顔の像が認証されるべきユーザの顔と一致する場合に、前記顔の像を認証する
ための命令を記憶している、コンピュータ可読媒体。

（付記２２）
前記顔の像および前記照明が正しくないと判定したことに応答して、前記第１の画像を取得する前に前記カメラの位置を調整するように前記ユーザに提案する視覚的命令を前記処理手段が提供するための命令をさらに記憶している、付記２１に記載のコンピュータ可読媒体。

（付記２３）
前記第１の画像と前記第２の画像とを位置合わせしたことに応答して、前記顔の像が３Ｄ構造に一致することを前記処理手段が判定するための命令をさらに記憶している、付記２１または２２に記載のコンピュータ可読媒体。

（付記２４）
前記第１の画像から、前記第１の色の照明でない光をフィルタリングしたことに応答して、前記顔の像が３Ｄ構造に一致することを前記処理手段が判定するための命令をさらに記憶している、付記２１から２３のいずれか一つに記載のコンピュータ可読媒体。

（付記２５）
前記顔の像が３Ｄ構造に一致することを判定することが、前記第２の画像から、前記第２の色の照明でない光をフィルタリングすることをさらに含む、付記２１から２４のいずれか一つに記載のコンピュータ可読媒体。

本出願は、２０１９年７月１９日に出願されたシンガポール特許出願第１０２０１９０６７２１Ｓ号に基づいており、その優先権の利益を主張し、その開示の全体は本明細書に組み込まれる。

また、さらに別の例示的実施形態によれば、顔の像のライブネス検出認証を実行するためのプログラムが提供される。前記プログラムは、処理手段に、第１の色で照明された前記顔の像の第１の画像を取得し、第２の色で照明された前記顔の像の第２の画像を取得し、前記第１および第２の画像の組み合わせに応答して、前記顔の像が３次元（３Ｄ）構造に一致するかどうかを判定し、前記顔の像が３Ｄ構造に一致しかつ前記顔の像が認証されるべきユーザの顔と一致する場合に、前記顔の像を認証することを実行させる。

Claims (25)

1. 顔の像のライブネス検出認証のための方法であって、
   第１の色で照明された前記顔の像の第１の画像を取得することと、
   第２の色で照明された前記顔の像の第２の画像を取得することと、
   前記第１の画像および前記第２の画像の組み合わせに応答して、前記顔の像が３次元（３Ｄ）構造に一致するかどうかを判定することと、
   前記顔の像が３Ｄ構造に一致しかつ前記顔の像が認証されるべきユーザの顔と一致する場合に、前記顔の像を認証することと
   を含む方法。
2. 前記第１の色が第１のクロミナンス値を有し、前記第２の色が第２のクロミナンス値を有する、請求項１に記載の方法。
3. 前記第１および第２のクロミナンス値が、クロミナンス差を最大化するように選択される、請求項２に記載の方法。
4. 前記顔の像が前記第１の色で照明される時間および前記顔の像が前記第２の色で照明される時間がランダムに選択される、請求項１から３のいずれか一項に記載の方法。
5. 前記第１の画像を取得する前に、前記顔の像および前記照明が正しくないと判定したことに応答して前記カメラの位置を調整するように前記ユーザに提案するステップをさらに含む、請求項１から４のいずれか一項に記載の方法。
6. 前記顔の像が３Ｄ構造に一致することを判定することは、
   前記第１の画像と前記第２の画像とを位置合わせすることと、
   前記位置合わせされた第１および第２の画像の組み合わせに応答して、前記顔の像が３Ｄ構造に一致するかどうかを判定することと
   を含む、請求項１から７のいずれか一項に記載の方法。
7. 前記顔の像が３Ｄ構造に一致することを判定することは、前記第１の画像から、前記第１の色の照明でない光をフィルタリングすることをさらに含む、請求項６に記載の方法。
8. 前記顔の像が３Ｄ構造に一致することを判定することは、前記第２の画像から、前記第２の色の照明でない光をフィルタリングすることをさらに含む、請求項６または７に記載の方法。
9. 前記第１の画像を取得することおよび前記第２の画像を取得することは、前記第１の画像および前記第２の画像を含む第１の画像セットを取得することを含み、前記方法は、さらなる画像セットを少なくとも取得することを含み、前記さらなる画像セットを少なくとも取得することは、
   前記第１および第２の色とは異なる第３の色で照明された前記顔の像の、前記さらなる画像セットの１つ目を取得することと、
   前記第１、第２および第３の色とは異なる第４の色で照明された前記顔の像の、前記さらなる画像セットの２つ目を取得することであって、前記第３の色のクロミナンス値と前記第４の色のクロミナンス値との間のクロミナンス差に応答して、前記第３の色および前記第４の色が選択される、こととを
   を含み、
   前記顔の像が３Ｄ構造に一致するかどうかを判定することは、前記第１、第２、第３および第４の画像の組み合わせに応答して、前記顔の像が３Ｄ構造に一致するかどうかを判定することを含む、
   請求項１から８のいずれか一項に記載の方法。
10. 顔の像のライブネス検出認証のための装置内のシステムであって、前記システムは、
    第１の方向に照明を提供するための多色照明装置と、
    少なくとも前記第１の方向における画像を取得するためのカメラと、
    前記多色照明装置および前記カメラに結合されたプロセッサであって、前記多色照明装置が第１の色で前記顔の像を照明するときに前記カメラからの第１の画像を記録し、前記多色照明装置が第２の色で前記顔の像を照明するときに前記カメラからの第２の画像を記録し、前記第１および第２の画像の組み合わせに応答して、前記顔の像が３次元（３Ｄ）構造に適合するかどうかを判定するために前記第１および第２の画像の組み合わせを解析し、前記顔の像が３Ｄ構造に一致しかつ前記顔の像が認証されるべきユーザの顔と一致する場合に前記顔の像を認証する、プロセッサと
    を備える、システム。
11. データを記憶するためのメモリをさらに備え、前記記憶されたデータは、前記認証されるべきユーザの記憶された画像を含み、前記プロセッサは、前記第１または第２の画像の前記組み合わせと前記認証されるべきユーザの前記記憶された画像とを比較することによって、前記顔の像が前記認証されるべきユーザと一致することを判定する、請求項１０に記載のシステム。
12. 前記プロセッサは、前記第１および第２の色のクロミナンス値間のクロミナンス差を最大化するように前記第１および第２の色を選択したことに応答して、前記第１の色および前記第２の色で前記顔を照明するように前記多色照明装置を制御する、請求項１１に記載のシステム。
13. 前記プロセッサは、第１の時間に前記第１の色で前記顔を照明するように前記多色照明装置を制御し、第２の時間に前記第２の色で前記顔を照明するように前記多色照明装置を制御し、前記第１の時間および前記第２の時間が、前記プロセッサによってランダムに選択される、請求項１０から１２のいずれか一項に記載のシステム。
14. 前記多色照明装置はディスプレイを備え、前記プロセッサは、前記顔の像および前記照明が正しくないと判定したことに応答して、前記第１の画像を取得する前に前記カメラの位置を調整するように前記ユーザに提案するために、参照マーカ情報を前記ディスプレイに提供する、請求項１０から１３のいずれか一項に記載のシステム。
15. 前記参照マーカ情報は、前記ユーザの画像を含む、請求項１４に記載のシステム。
16. 前記プロセッサは、前記参照マーカの位置を前記ディスプレイの実質的に中央に保持することによって、前記カメラの位置を調整するように前記ユーザに提案するために、前記ディスプレイ上で前記参照マーカ情報を移動させる、請求項１４または１５に記載のシステム。
17. 前記プロセッサは、前記第１の画像と前記第２の画像とを位置合わせし、前記位置合わせされた第１および第２の画像の組み合わせに応答して、前記顔の像が３Ｄ構造に一致するかどうかを判定することによって、前記顔の像が３Ｄ構造に一致することを判定する、請求項１０から１６のいずれか一項に記載のシステム。
18. 前記顔の像が３Ｄ構造に一致することを判定することが、前記第１の画像から、前記第１の色の照明でない光をフィルタリングすることをさらに含む、請求項１７に記載のシステム。
19. 前記顔の像が３Ｄ構造に一致することを判定することは、前記第２の画像から、前記第２の色の照明でない光をフィルタリングすることをさらに含む、請求項１７または１８に記載のシステム。
20. 前記装置は携帯電話を備える、請求項１０から１９のいずれか一項に記載のシステム。
21. 顔の像のライブネス検出認証を実行するためのコンピュータ可読媒体であって、前記コンピュータ可読媒体は、処理手段が、
    第１の色で照明された前記顔の像の第１の画像を取得し、
    第２の色で照明された前記顔の像の第２の画像を取得し、
    前記第１および第２の画像の組み合わせに応答して、前記顔の像が３次元（３Ｄ）構造に一致するかどうかを判定し、
    前記顔の像が３Ｄ構造に一致しかつ前記顔の像が認証されるべきユーザの顔と一致する場合に、前記顔の像を認証する
    ための命令を記憶している、コンピュータ可読媒体。
22. 前記顔の像および前記照明が正しくないと判定したことに応答して、前記第１の画像を取得する前に前記カメラの位置を調整するように前記ユーザに提案する視覚的命令を前記処理手段が提供するための命令をさらに記憶している、請求項２１に記載のコンピュータ可読媒体。
23. 前記第１の画像と前記第２の画像とを位置合わせしたことに応答して、前記顔の像が３Ｄ構造に一致することを前記処理手段が判定するための命令をさらに記憶している、請求項２１または２２に記載のコンピュータ可読媒体。
24. 前記第１の画像から、前記第１の色の照明でない光をフィルタリングしたことに応答して、前記顔の像が３Ｄ構造に一致することを前記処理手段が判定するための命令をさらに記憶している、請求項２１から２３のいずれか一項に記載のコンピュータ可読媒体。
25. 前記顔の像が３Ｄ構造に一致することを判定することが、前記第２の画像から、前記第２の色の照明でない光をフィルタリングすることをさらに含む、請求項２１から２４のいずれか一項に記載のコンピュータ可読媒体。

Images