JP2022547036A - 物理的な手がかり誘導マルチソースマルチチャンネルフレームワークを用いた顔なりすまし検出 - Google Patents

Abstract

物理的な手がかり誘導マルチソースマルチチャネルフレームワークを使用して顔なりすまし検出を実施するためにコンピュータで実行する方法は、顔認識データ、生体データ、および少なくとも１つの顔画像に関連する物質データを含むデータセットを受信すること（４１０）と、バックボーンニューラルネットワーク構造を使用してデータセットから共有特徴を取得すること（４２０）と、共有特徴に基づいて、顔認識に対応するプレテキストタスク、奥行き推定に対応する第１のプロキシタスク、生体検出タスク、および物質予測に対応する第２のプロキシタスクを実行すること（４３０）と、顔なりすまし検出性能を高めるためにアテンション機構を使用してプレテキストタスク、第１のプロキシタスク、および第２のプロキシタスクの出力を集約すること（４４０）とを含む。

Description

関連出願情報
本出願は、２０１９年１１月１４日に出願された仮出願番号６２／９３５，１５５及び２０２０年１１月６日に出願された米国特許出願番号１７／０９１，１４０に対する優先権を主張し、その全体が参照により本明細書に組み込まれる。。

本発明は、人工知能および機械学習に関し、より詳細には、物理的な手がかり誘導マルチソースマルチチャンネルフレームワークを用いた顔なりすまし検出に関する。
関連技術の説明

顔認識技術は、セキュリティ監視、アクセス制御、個人認証などを実装する生体認証ベースのシステムを実装するために使用することができる。そのようなシステムは、静的または動的な顔なりすまし攻撃を受けやすく、写真、画面再生、顔再構成などを使用して、システムを騙して顔を真の顔として識別することができる。顔なりすまし攻撃の偽の顔から本物の顔を識別することによって、このような顔なりすまし攻撃に対処するために、顔なりすまし防止対策を実施することができる。顔のなりすまし防止対策の一例は、生体チェックであり、これは、本物の顔画像となりすまされた顔画像（例えば、写真）との間を識別するために使用することができる。顔なりすましの問題に対処する１つの課題は、ディスプレイまたは印刷された写真からの再取り込みが非常に高品質であり得るので、本物の画像となりすまされた画像との間に非常に微妙な差異が存在し得ることである。顔なりすまし問題に対処することに関する別の課題は、なりすまし攻撃パターンが常に無数であり、したがって、モデル訓練中にすべての攻撃パターンを準備することが困難であることである。例えば、１つのデータセットの訓練を制限すると、他のデータセットやその他の顔なりすましシナリオに適切に一般化できないモデルになる。

本発明の一態様によれば、物理的な手がかり誘導マルチソースマルチチャンネルフレームワークを用いた顔なりすまし検出を実施するためにコンピュータで実行する方法が提供される。コンピュータで実行する方法は、少なくとも１つの顔画像に関連付けられた顔認識データ、生体データおよび物質データを含むデータのセットを受信することと、バックボーンニューラルネットワーク構造を使用してデータのセットから共有特徴を取得することと、共有特徴に基づいて、顔認識に対応するプレテキストタスクと、奥行き推定に対応する第１のプロキシタスクと、生体検出タスクと、物質予測に対応する第２のプロキシタスクとを実行することと、顔なりすまし検出性能を高めるためにアテンション機構を使用してプレテキストタスク、第１のプロキシタスク、生体検出タスク、および第２のプロキシタスクの出力を集約することとを含む。

本発明の別の態様によれば、物理的な手がかり誘導マルチソースマルチチャンネルフレームワークを用いた顔なりすまし検出を実施するためのシステムが提供される。システムは、プログラムコードを記憶するメモリ装置と、メモリ装置に動作可能に結合された少なくとも１つのプロセッサ装置とを含む。少なくとも１つのプロセッサ装置は、メモリ装置に記憶されたプログラムコードを実行して、少なくとも１つの顔画像に関連付けられた顔認識データ、生体データおよび物質データを含むデータのセットを受信し、バックボーンニューラルネットワーク構造を使用してデータのセットから共有特徴を取得し、共有特徴に基づいて、顔認識に対応するプリテキストタスクと。奥行き推定に対応する第１のプロキシタスクと、生体検出タスクと、物質予測に対応する第２のプロキシタスクとを実行し、顔なりすまし検出性能を高めるためにアテンション機構を使用して、プリテキストタスク、第１のプロキシタスク、生体検出タスク、および第２のプロキシタスクの出力を集約するように構成される。

これらおよび他の特徴および利点は、添付の図面に関連して読まれるべき、その例示的な実施形態の以下の詳細な説明から明らかになるであろう。

本開示は、以下の図面を参照して、好ましい実施形態の以下の説明において詳細を提供する。

本発明の一実施形態による、顔なりすまし検出を実施するための物理的な手がかり誘導マルチソースマルチチャネルフレームワークを示すブロック／フロー図である。

本発明の一実施形態による、図１のフレームワークの例示的なプロキシタスク構成要素およびアテンション構成要素を示すブロック／フロー図である。

本発明の一実施形態による、物理的な手がかり誘導マルチソースマルチチャンネルフレームワークを用いた顔なりすまし検出を実施するための例示的なシステム環境を示すブロック／フロー図である。

本発明の一実施形態による、物理的な手がかり誘導マルチソースマルチチャンネルフレームワークを用いた顔なりすまし検出を実施するためのシステム／方法を示すブロック／フロー図である。

本発明の一実施形態による、コンピュータシステムを示すブロック／フロー図である。

本発明の実施形態によれば、顔なりすまし防止における領域横断の一般化のための物理ベースのマルチタスキングのためのシステムおよび方法が提供される。より具体的には、本明細書で説明される実施形態は、複数のタスクを並列に実行するために、単一のソース領域内のマルチチャネルフレームワークを提供する。例えば、タスクは、顔認識に対応するプレテキストタスクと、奥行き推定に対応する第１のプロキシタスクと、生体検出タスクと、物質認識に対応する第２のプロキシタスクとを含むことができる。プレテキストタスクは、なりすまし検出などの他の顔分析タスクに一般化可能な一般的な特徴表現を求める。プロキシタスクは、性能を決定することができる生体相関タスクである。より具体的には、プロキシタスクは、例えば、奥行きおよび／または物質などの物理的な手がかりに対応し、これは、見えるまたは見えない状況下で、すべての本物の顔にわたって同様の特徴を共有する。例えば、見えるまたは見えない状況からの表皮物質は、表皮と同じ特性を示すべきであり、見えるまたは見えない状態からの真の顔の奥行きは、一貫した顔の幾何学的形状を示すべきである。したがって、本明細書で説明するプロキシタスクは、物理的に意味があり、ロバストな方法で、なりすまし検出訓練を案内する。

本明細書で説明される実施形態は、異なるなりすまし攻撃の下で各チャネルをよりよく強調し、訓練手順を円滑にし、したがって、マルチチャネルフレームワークの各チャネルのロバスト性および解釈を向上させるために、プロキシタスク（１つまたは複数）の上に構築されたオンラインアテンション構成要素をさらに提供する。

したがって、本明細書で説明する実施形態は、単一のソース領域上で良好な性能を達成することができる。さらに、主に領域一貫性のある手がかりであるプロキシタスクをセットアップすることによって、本明細書で説明する実施形態は、他の見えない領域上での良好な性能をさらに支援することができる。例えば、奥行きは、顔の幾何学的情報を示すための比較的独立した手がかりであり、これは領域に無関係である。表皮物質（例えば、人の皮膚物質）はまた、異なる領域にわたる表皮物質が同じであるべきであるため、領域に無関係であると考えられ得る。

最終的に、本明細書で説明される実施形態は、プロキシチャネルごとのアテンションモデルを導入して、プロキシタスクのそれぞれの利点を共同で考慮し、論理出力レベルでそれらを組み合わせて、なりすまし検出性能全体をさらに高める。従って、本明細書に記載する実施形態は、単一チャネル生体検出および奥行き推定のベースラインと比較して、ソース領域および目に見えない領域における改善された性能を可能にする。

本明細書に記載する実施形態は、完全にハードウェアであってもよく、完全にソフトウェアであってもよく、または、ハードウェアおよびソフトウェア要素の両方を含むものであってもよい。好ましい実施形態では、本発明は、ファームウェア、常駐ソフトウェア、マイクロコードなどを含むが、これらに限定されないソフトウェアで実施される。

実施形態は、コンピュータまたは任意の命令実行システムによって、またはそれに関連して使用するためのプログラムコードを提供する、コンピュータ使用可能またはコンピュータ可読媒体からアクセス可能なコンピュータプログラム製品を含むことができる。コンピュータ使用可能媒体またはコンピュータ可読媒体は、命令実行システム、装置、またはデバイスによって、またはそれに関連して使用するためのプログラムを格納、通信、伝搬、またはトランスポートする任意の装置を含むことができる。媒体は、磁気、光学、電子、電磁気、赤外線、または半導体システム（または装置またはデバイス）、または伝搬媒体とすることができる。媒体は、半導体または固体ステートメモリ、磁気テープ、リムーバブルコンピュータディスケット、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、リジッド磁気ディスクおよび光ディスクなどのコンピュータ読み取り可能な記憶媒体を含むことができる。

各コンピュータプログラムは、本明細書に記載する手順を実行するために、記憶媒体または装置がコンピュータによって読み取られるときに、コンピュータの操作を構成し制御するために、汎用または特殊目的のプログラム可能コンピュータによって読み取り可能な、機械読み取り可能な記憶媒体または装置（例えば、プログラムメモリまたは磁気ディスク）に実体的に記憶することができる。本発明のシステムはまた、コンピュータプログラムで構成された、コンピュータ読み取り可能な記憶媒体で実施されるものと考えることができ、その場合、構成された記憶媒体は、コンピュータを特定の所定の方法で動作させて、本明細書に記載する機能を実行させる。

プログラムコードを記憶および／または実行するのに適したデータ処理システムは、システムバスを介してメモリ要素に直接的または間接的に結合された少なくとも１つのプロセッサを含んでもよい。メモリ要素は、プログラムコードの実際の実行中に採用されるローカルメモリ、バルクストレージ、および実行中にバルクストレージからコードが検索される回数を減らすために少なくとも何らかのプログラムコードの一時記憶を提供するキャッシュメモリを含むことができる。入力／出力またはＩ／Ｏ装置（キーボード、ディスプレイ、ポインティング装置などを含むが、これらに限定されない）は、直接または介在するＩ／Ｏコントローラを介してシステムに結合され得る。

介在する専用ネットワークまたは公衆ネットワークを介して、データ処理システムを他のデータ処理システムあるいはリモートプリンタまたはストレージデバイスに結合できるようにするために、ネットワークアダプタをシステムに結合することもできる。モデム、ケーブルモデム、およびイーサネット（登録商標）カードは、現在使用可能なネットワークアダプタのタイプの一例に過ぎない。

本明細書で採用されるように、「ハードウェアプロセッササブシステム」または「ハードウェアプロセッサ」という用語は、１つ以上の特定のタスクを実行するために協働するプロセッサ、メモリ、ソフトウェアまたはそれらの組み合わせを指すことができる。有用な実施形態では、ハードウェアプロセッササブシステムは、１つまたは複数のデータ処理要素（例えば、論理回路、処理回路、命令実行デバイスなど）を含むことができる。１つまたは複数のデータ処理要素は、中央処理ユニット、画像処理ユニットおよび／または別個のプロセッサまたはコンピューティング要素ベースのコントローラ（たとえば、論理ゲートなど）に含めることができる。ハードウェアプロセッササブシステムは、１つ以上のオンボードメモリ（例えば、キャッシュ、専用メモリアレイ、読み出し専用メモリなど）を含むことができる。いくつかの実施形態では、ハードウェアプロセッササブシステムは、オンボードまたはオフボードにすることができるか、またはハードウェアプロセッササブシステム（例えば、ＲＯＭ、ＲＡＭ、基本入出力システム（ＢＩＯＳ）など）によって使用するために専用にすることができる１つ以上のメモリを含むことができる。

ある実施形態では、ハードウェアプロセッササブシステムは、１つ以上のソフトウェア要素を含むことができ、実行することができる。１つ以上のソフトウェア要素は、特定の結果を達成するために、オペレーティングシステムおよび／または１つ以上のアプリケーションおよび／または特定のコードを含むことができる。

他の実施形態では、ハードウェアプロセッササブシステムは、指定された結果を達成するために１つまたは複数の電子処理機能を実行する専用の専用回路を含むことができる。そのような回路は、１つまたは複数のアプリケーション専用集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、および／またはプログラマブルロジックアレイ（ＰＬＡ）を含むことができる。

ハードウェアプロセッササブシステムのこれらおよび他の変形もまた、本発明の実施形態に従って企図される。

ここで、同一の数字が同一または類似の要素を表し、最初に図１を参照すると、顔なりすまし検出を実施するための例示的な物理的な手がかり誘導マルチソースマルチチャネルフレームワーク１００を示す高レベル図が提供される。より具体的には、フレームワーク１００は、マルチタスククロス領域一般化生体検出モデルを含む。以下でさらに詳細に説明するように、フレームワーク１００は、顔認識データ、生体データ、および物質データを活用することによって、顔なりすまし検出性能を改善するように構成される。

図示のように、顔認識データセット１１０、生体データセット１２０、および物質データセット１３０は、共有特徴抽出器１４０に供給される。一実施形態では、物質データセット１３０は、Ｍａｔｅｒｉａｌｓ ｉｎ Ｃｏｎｔｅｘｔ（ＭＩＮＣ）データセットである。生体データセット１２０は、オフラインで準備された奥行きグラウンドトゥルースおよび物質グラウンドトゥルースを含むことができる。

共有特徴抽出器１４０は、本明細書ではより一般的にバックボーンニューラルネットワーク構造の一種と呼ばれ、データセット１１０～１３０から共有特徴を抽出し、少なくとも１つのプレテキストタスク（顔認識）を実行するように構成されたプレテキストタスク構成要素１５０と、少なくとも２つのプロキシタスク（奥行き推定および／または物質認識）および生体検出タスクを実行するように構成されたプロキシタスク構成要素１６０とに共有特徴を供給する。共有された特徴は、奥行きタスクおよび物質タスクを共有することによって、異なるデータ領域にわたるモデル一般化能力を強化するために、プレテキストおよびプロキシ構成要素１５０および１６０によって使用される。

図示のように、プレテキストタスク構成要素１５０は、共有特徴抽出器１４０からデータを受信し、アイデンティティ２０４を生成するように構成された認識構成要素１５２を含む。より具体的には、Φ（・）を共有特徴抽出器１４０に対応させ、ｘ_r、ｘ_vおよびｘ_mは、それぞれ顔認識データセット１１０、生体データセット１２０、および物質データセット１３０の入力画像に対応させる。共有特徴抽出器１４０が初期化された後、プレテキストタスク構成要素１５０は、顔識別特徴を洗練するためにフィルタΨ_r（・）を適用することができる。顔認識損失Ｌ_rは、次のように得られる。

ここで、ｙ_iは、アイデンティティｉのグラウンドトゥルースラベルであり、

は、指示関数を表し（例えば、ｙ_iが０でない場合、１を出力し、そうでない場合、０を出力する）、ｊは、アイデンティティの整数にわたって変化し、ｗ_iは、分類器のｉ番目の分離超平面である。

さらに示されるように、プロキシタスク構成要素１６０は、共有特徴抽出器１４０からデータを受信するように構成され、プロキシタスク構成要素１６０の出力は、プロキシタスク構成要素１６０によって出力されるプロキシチャネルのそれぞれを集約するように構成されたアテンション機構１７０に供給される。より具体的には、アテンション機構１７０は、プロキシタスクの上に構築されたオンラインアテンション構成要素であり、異なるなりすまし攻撃の下で各チャネルを高度に改善し、訓練手順を円滑にし、したがって、マルチチャネルフレームワークの各チャネルのロバスト性および解釈を向上させる。プロキシタスク構成要素１６０およびアテンション機構１７０に関するさらなる詳細を、図２を参照して以下に説明する。

次に、図２を参照すると、顔なりすまし検出システム２００を示すブロック／フロー図が提供される。このシステムは、図１のプロキシタスク構成要素１６０およびアテンション機構１７０を含む。プロキシタスク構成要素１６０は、共有特徴抽出器１４０から共有特徴を受信したものとする。

プロキシタスク構成要素１６０は、特徴伝達構成要素２１０と、奥行き推定構成要素２２０と、生体符号器２３０と、生体予測構成要素２４０と、生体特徴２５０と、物質予測構成要素２６０と、生体特徴２５０から変換された物質変換生体特徴２７０とを含む。

共有特徴を直接利用することは、それが雑音として役立つ顔認識のような無関係な手がかりを取り入れるので、サブ最適予測に導く。したがって、特徴伝達構成要素２１０は、共有特徴抽出器１４０から共有特徴を受信し、共有特徴をプロキシタスクに関連した複数のなりすまし検出に適応させるように構成される。

図２の構成要素は、プロキシタスク構成要素１６０によって実行されるプロキシタスクのための複数のチャネルに対応する。より具体的には、奥行き推定構成要素２２０および生体符号器２３０は、奥行きチャネルアテンションマトリクスＷ_Depth２２５と共に奥行き予測を生成するために奥行き推定プロキシタスクを実行するように構成され、生体予測構成要素２４０は、生体特徴２５０と対応する生体チャネルアテンションマトリクスＷ_Live２４５とを生成するために生体予測タスクを実行するように構成され、物質予測構成要素２６０は、物質変換された生体特徴２７０と対応する物質チャネルアテンションマトリクスＷ_Material２６５とを生成するために物質予測タスクを実行するように構成される。

奥行き推定に関して、仮定は、異なる攻撃タイプまたはなりすましデータセットにわたる真の顔が一貫性を共有すべきであり、したがって奥行き推定も一貫性があるべきであるということである。目的は、入力顔画像（例えば、切り抜かれた顔画像）が与えられたときに、画素あたりの奥行きマップを予測することである。例えば、時間当たりのガラスネットワーク構造を活用して、回帰問題を実行することができる。グラウンドトゥルース奥行きマップを予測するために、３次元顔形状再構成プロセスをオフラインで適用して顔画像に対する密な点群を推定することができる。そして、真の顔画像については、生の奥行きをグランドトゥルース奥行きマップとして利用することができる。顔画像のなりすましを行うために、攻撃タイプ（例えば、ディスプレイスクリーンまたは紙）に従って、実際の奥行きは、攻撃タイプのフラットゾーンからのものである。したがって、奥行きに対するなりすましグラウンドトゥルースをゼロに設定することができる。訓練中、以下のｌ₁ベースの再構成損失Ｌ_dを適用することができる。

ここで、Ψ_d（・）は、（時間当たりのガラスネット）奥行き推定構成要素２２０を表し、Γ（・）は、特徴伝達構成要素２１０を表し、ｘ_vは、図１を参照して上述したなりすましデータを表し、ｄ_GTはグランドトゥルース奥行きマップを表す。奥行き推定のために、なりすましデータｘ_vは、拡張されたグラウンドトゥルース奥行きマップｄ_GTを用いて入力されることに留意されたい。すなわち、この奥行き推定チャネルのために、追加の奥行きデータを利用する必要はない。

共有特徴抽出器１４０および特徴伝達構成要素２１０の後に、なりすまし検出フィルタΨ_v（・）が顔のなりすまし検出を行うように設定されている。より具体的には、顔なりすまし検出は、クロスエントロピー損失Ｌ_vを以下のようにペナルティとして採用することができるバイナリ分類タスクとして実行することができる。

ここで、ｙ_vは、なりすましまたは本物のグランドトゥルースであり、ｚはなりすまし検出フィルタΨ_v（・）の後のなりすまし検出特徴を示し、分離を示す。

および

は、バイナリ分離器の分離超平面を示し、ｐ（ｚ）は、なりすましサンプルである可能性であり、式（４）に示すように、ソフトマックス操作を介して推定することができる。

プロキシタスクの別の仮定は、異なるなりすまし攻撃またはなりすましデータセットにわたる表皮物質が、本物の顔のためにある一定の一貫性を保たなければならないということである。したがって、顔なりすましデータは、その攻撃タイプに従って、物質タイプで注釈を付けることができる。例えば、攻撃タイプが画面表示の場合、対応する物質タイプの注釈を「グラス」、攻撃タイプが紙印字出力の場合、対応する物質タイプの注釈を「紙」とすることができる。本物の顔の場合、対応する物質タイプの注釈を「皮膚」とすることができる。このように物質タイプを一般的な物質認識に統一することができる。

この例示的な例では、３つの物質タイプしかない。これは、バイナリなりすまし検出タスクに見られるものと同様の感度問題につながる可能性がある。物質認識ロバスト性を改善するために、一般的な物質認識データを導入して、物質特徴空間が崩壊しないように固定することができる。より具体的には、一般的な物質認識およびなりすましデータ物質認識は、最後の分類子を除くすべてのネットワーク構造を共有することができる。一般的な物質認識と同様に、ブリック、金属、プラスチック、皮膚、ガラスなどの約２３の定義されたカテゴリが存在し得る。このようにして、一般的な物質認識のための２３の分類器Ｃ_gと、データ物質認識のなりすましを行うための３つの分類器Ｃ_vとを設定することができる。

共有特徴抽出器１４０Φ（・）、特徴伝達構成要素２１０Γ（・）、および物質予測構成要素２５０Ψ_m（・）を共同で訓練するために、マルチソース方式がここで提案される。例えば、一般的な物質データを供給することにより、特徴ｆ＝Ψ_m（Γ（Φ（ｘ）））を示すと、以下に示すように複数クラスのソフトマックス損失がＣgを訓練することに適用することができる。

ここで、ｌ_iは物質グラウンドトゥルースラベルであり、ｗ_iおよびｗ_jはＣ_gの分離超平面である。なりすましデータを供給することによって、学習ループを他の３つの分類器Ｃ_vに強制的に通すことができ、別のマルチクラスソフトマックス損失は次のようになる。

式（６）から入力された物質データｘ_mは、式（７）のなりすましデータ入力ｘ_vに切り替えられることに留意されたい。物質となりすましデータとを交互に供給することによって、特徴ｆが標準的な物質認識のための一般的なものだけでなく、顔のなりすましデータにおける物質認識のための特有のものであることを保証することができる。

アテンション機構１７０を参照すると、図２にさらに示されるように、アテンション機構１７０は、チャネル出力Ｗ_Depth、Ｗ_LiveおよびＷ_Materialを受信し、これらの出力のそれぞれを結合して、最終なりすまし予測性能を高めるように構成された最終決定構成要素２６０を含む。より具体的には、予測レベルのアテンションモデルを使用して出力を集計する。

例えば、奥行きチャネルの出力を

とし、なりすまし検出チャネルの出力を

とし、物質認識チャネルの出力を

として示す。Ｄおよび

をなりすましロジット（１つはなりすましである可能性、もう１つは本物である可能性）に変換する必要がある。奥行きについては、検証セットを介して、以下に示すように、奥行きマップの有効化の有意性を測定するために閾値

を経験的に検索することができる。

ここで、

は、なりすまされた顔である可能性であり、

は、τによって閾値処理した後の残差奥行きマップであり、ＭａｘＰｏｏｌ（・）はｍａｘ－ｐｏｏｌｉｎｇ操作である。転送されたバイナリ奥行きロジット全体は、

である。ここで、

は、なりすまし顔ではない（すなわち、本物の顔である）可能性である。

３つの物質ロジットをバイナリなりすましロジットに変換するために、真の顔に対する１つのロジットとして皮膚である可能性をとり、なりすまされた顔に対する別のロジットとしてガラスおよび紙である可能性の合計をとることができる。つまり、

となる。ここで、オリジナルの３つの物質ロジットは、

によって示される。

３つのチャネルのバイナリロジットを一緒にすると、出力

が得られる。アテンション重み付けマトリックス

は、３つのチャネルからのロジットを集約するために導入することができる。したがって、融合予測ロジットは、

と表すことができる。

なりすまし検出チャネルと同様に、クロスエントロピー損失は、以下のようにアテンションゲートロジットに適用することができる。

ここで、ｇ₀およびｇ₁はｇの２つのエントリである。

全体的な損失設計は、以下のように組み合わせることができる.

ここで、λ_r、λ_d、λ_v、λ_m、λ_mvおよびλ_aは、上述の損失Ｌ_r、Ｌ_d、Ｌ_v、Ｌ_m、Ｌ_mvおよびＬ_aのそれぞれに対応するハイパーパラメータである。

要約すると、本明細書で説明される実施形態は、見えないなりすまし攻撃タイプを検出するために使用されるモデルを訓練するための入力として、顔認識データ、なりすましデータ、および物質データを取得する、物理的な手がかり誘導マルチソースマルチチャネルフレームワークを提供する。特徴が潰れたり、オーバーフィッティングしたりするのを防止するために、顔認識のためのプレテキストチャネルが提供され、認識およびなりすまし検出は、高レベルの顔関連特性を共有することができる。本物の顔のための異なるなりすましシナリオにわたる奥行きおよび表皮物質の一貫性のために、それぞれ奥行き推定および物質認識のための２つのプロキシチャネルを利用することによって、本明細書で説明される実施形態は、本物の顔を奥行きおよび物質を通してなりすましの顔から識別することによって、目に見えないなりすまし攻撃に対処することができる。アテンション構成要素は、顔なりすまし検出性能を高めるために、複数のチャネルによって実行されるタスクの出力を集約するために提供される。

図１および図２を参照して上述した実施形態に従って訓練された顔認識モデルは、任意の適当なシステムまたはコンテキスト内で顔なりすまし検出を実行するように実装することができる。

例えば、ここで図３を参照すると、顔なりすまし検出を実施するための例示的な環境３００が示されている。より具体的には、環境３００は、ユーザ３１０と、計算システムまたはデバイス３２０とを含む。計算システム３２０は、ユーザ３１０の顔の分析に基づいて、ユーザ３１０に計算システム３２０へのアクセスを許可または拒否する生体認証システムを実装することができる。例えば、この例示的な実施形態では、計算システム３２０は、カメラを含むスマートフォンである。この実施形態は、純粋に例示的なものであり、顔なりすまし検出モデルは、任意の適切な環境内で使用することができる。

さらに示されるように、環境３００は、少なくとも１つのプロセッサ装置３３０をさらに含むことができる。プロセッサ装置３３０は、本明細書に記載する顔なりすまし検出を実施するためのシステム／方法を実現するように構成することができる。処理装置３３０は、計算システム３２０とは別個の実体であるものとして示されているが、プロセッサ装置３００は、代替的に、計算システム３２０のサブ構成要素であってもよく、または、計算システム３２０は、プロセッサ装置３３０のサブ構成要素であってもよい。

ここで図４を参照すると、物理的な手がかり誘導マルチソースマルチチャネルフレームワークを使用して顔なりすまし検出を実施するためのシステム／方法４００を示すブロック／フロー図が提供される。

ブロック４１０で、少なくとも１つの顔画像に関連する顔認識データ、生体データ、および物質データを含むデータのセットが受信される。一実施形態では、物質データは、Ｍａｔｅｒｉａｌｓ ｉｎ Ｃｏｎｔｅｘｔ（ＭＩＮＣ）データセットを含む。生体データは、オフラインで準備された奥行きグラウンドトゥルースおよび物質グラウンドトゥルースを含むことができる。

ブロック４２０では、バックボーンニューラルネットワーク構造を使用して、データのセットから共有特徴が取得される。より具体的には、バックボーンニューラルネットワーク構造は、共有特徴抽出器を含むことができ、共有特徴を取得することは、共有特徴抽出器を使用して共有特徴を抽出することを含むことができる。

ブロック４３０で、顔認識に対応するプレテキストタスク、奥行き推定に対応する第１のプロキシタスク、生体検出タスク、および物質予測に対応する第２のプロキシタスクが、共有特徴に基づいて実行される。具体的には、第１と第２のプロキシタスクは、なりすまし検出関連のプロキシタスクである。一実施形態では、第１のプロキシタスクは、奥行きチャネルアテンションマトリクスと共に奥行き予測を生成し、生体予測タスクは、生体特徴と対応する生体チャネルアテンションマトリクスとを生成し、物質予測タスクは、生体特徴と対応する物質チャネルアテンションマトリクスとを生成する。奥行き予測は、入力顔画像（例えば、切り抜かれた顔画像）が与えられたときの画素あたりの奥行きマップを予測する。

ブロック４４０において、プレテキストタスク、第１のプロキシタスク、生体検出タスク、および第２のプロキシタスクの出力は、顔なりすまし検出性能を高めるためにアテンション機構を使用して集約される。より具体的には、アテンション機構は、異なるなりすまし攻撃の下で各チャネルをよりよく強調し、訓練手順を円滑にし、したがって、マルチチャネルフレームワークにおける各チャネルのロバスト性および解釈を向上させるために、第１および第２のプロキシタスクの上に構築することができる。一実施形態では、出力を集約することは、予測レベルのアテンションモデルを用いて、奥行きチャネルのアテンションマトリックス、生体チャネルのアテンションマトリックス、および物質チャネルのアテンションマトリックスを組み合わせることを含む。

顔なりすまし検出は、顔認識損失、ｌ₁ベースの再構成損失、少なくとも１つのクロスエントロピー損失、および少なくとも１つのマルチクラスソフトマックス損失を含む全体的な損失設計を実装することができる。より具体的には、少なくとも１つのクロスエントロピー損失は、顔なりすまし検出を実行する間に採用されるペナルティに対応する第１のクロスエントロピー損失と、アテンションゲートロジットに適用される第２のクロスエントロピー損失とを含むことができ、少なくとも１つのマルチクラスソフトマックス損失は、一般的な物質認識のために２３の分類器を訓練するために適用される第１のマルチクラスソフトマックス損失と、なりすましデータ物質認識のために３つの分類器を訓練するために適用される第２のマルチクラスソフトマックス損失とを含むことができる。

ブロック４１０～４４０に関するさらなる詳細は、図１および２を参照して上述される。

次に図５を参照すると、本発明の一実施形態による、サーバまたはネットワークデバイスを表すことができる例示的なコンピュータシステム５００が示されている。コンピュータシステム５００は、システムバス５０２を介して他の構成要素に動作可能に結合された少なくとも１つのプロセッサ（ＣＰＵ）５０５を含む。キャッシュ５０６、リードオンリーメモリ（ＲＯＭ）５０８、ランダムアクセスメモリ（ＲＡＭ）５１０、入力／出力（Ｉ／Ｏ）アダプタ６２０、音声アダプタ５３０、ネットワークアダプタ５９０、ユーザインタフェースアダプタ５５０、およびディスプレイアダプタ５６０は、システムバス５０２に動作可能に結合される。

第１の記憶装置５２２および第２の記憶装置５２９は、Ｉ／Ｏアダプタ５２０によってシステムバス５０２に動作可能に結合される。記憶装置５２２および５２９は、ディスク記憶装置（例えば、磁気または光ディスク記憶装置）、ソリッドステート磁気装置などのいずれであってもよい。記憶装置５２２および５２９は、同じタイプの記憶装置または異なるタイプの記憶装置とすることができる。

スピーカ５３２は、音声アダプタ５３０によってシステムバス５０２に動作可能に結合することができる。トランシーバ５９５は、ネットワークアダプタ５９０によってシステムバス５０２に動作可能に結合される。ディスプレイ装置５６２は、ディスプレイアダプタ５６０によってシステムバス５０２に動作可能に結合される。

第１のユーザ入力装置５５２、第２のユーザ入力装置５５９、および第３のユーザ入力装置５５６は、ユーザインタフェースアダプタ５５０によってシステムバス５０２に動作可能に結合される。ユーザ入力装置５５２，５５９，５５６は、センサ、キーボード、マウス、キーパッド、ジョイスティック、画像捕捉装置、動き感知装置、電力測定装置、マイクロフォン、前述の装置のうちの少なくとも２つの機能を組み込んだ装置などのいずれかとすることができる。もちろん、本発明の精神を維持しながら、他のタイプの入力装置を使用することもできる。ユーザ入力装置５５２，５５９，５５６は、同じタイプのユーザ入力装置または異なるタイプのユーザ入力装置とすることができる。ユーザ入力装置５５２，５５９，５５６は、システム５００との間で情報を入出力するために使用される。

顔なりすまし検出（ＦＳＤ）構成要素５７０は、システムバス５０２に動作可能に結合されてもよい。ＦＳＤ構成要素５７０は、上述の動作のうちの１つまたは複数を実行するように構成される。ＦＳＤ構成要素５７０は、スタンドアロンの特殊目的のハードウェア装置として実施することも、記憶装置に記憶されたソフトウェアとして実施することもできる。ＦＳＤ構成要素５７０がソフトウェアウェア実装される実施形態では、コンピュータシステム５００の別個の構成要素として示されているが、ＦＳＤ構成要素５７０は、例えば、第１の記憶装置５２２および／または第２の記憶装置５２９に格納することができる。代替的に、ＦＳＤ構成要素５７０は、別個の記憶装置（図示せず）に記憶され得る。

もちろん、コンピュータシステム５００は、当業者によって容易に企図されるように、他の要素（図示せず）を含むこともでき、また、特定の要素を省略することもできる。例えば、当業者によって容易に理解されるように、他の様々な入力装置および／または出力装置を、その特定の実装に応じて、コンピュータシステム５００に含めることができる。例えば、様々なタイプの無線および／または有線の入力および／または出力装置を使用することができる。さらに、様々な構成の追加のプロセッサ、コントローラ、メモリなども、当業者には容易に理解されるように利用することができる。コンピュータシステム５００のこれらおよび他の変形は、本明細書で提供される本発明の教示を与えられれば、当業者によって容易に企図される。

本明細書において、本発明の「一実施形態」又は「一実施形態」とは、その他の変形例と同様に、その実施形態に関連して説明した特定の特徴、構造、特性等が、本発明の少なくとも一実施形態に含まれることを意味するものであり、「一実施形態において」又は「一実施形態において」の語句の出現、並びに本明細書全体の様々な箇所に出現する他の変形例は、必ずしも全て同一の実施形態を意味するものではない。しかしながら、本明細書で提供される本発明の教示を前提として、１つまたは複数の実施形態の特徴を組み合わせることができることを理解されたい。

以下の「／」、「および／または」、および「少なくとも１つ」、例えば、「Ａ／Ｂ」、「Ａおよび／またはＢ」、および「ＡおよびＢの少なくとも１つ」のいずれかの使用は、第１のリストされた実施例（Ａ）のみの選択、または第２のリストされた実施例（Ｂ）のみの選択、または両方の実施例（ＡおよびＢ）の選択を包含することが意図されることを理解されたい。さらなる例として、「Ａ、Ｂ、および／またはＣ」、および「Ａ、Ｂ、およびＣの少なくとも１つ」の場合、このような句は、第１のリストされた実施例（Ａ）のみの選択、または第２のリストされた実施例（Ｂ）のみの選択、または第３のリストされた実施例（Ｃ）のみの選択、または第１および第２のリストされた実施例（ＡおよびＢ）のみの選択、または 第１および第３のリストされた実施例（ＡおよびＣ）のみの選択、または第２および第３のリストされた実施例（ＢおよびＣ）のみの選択、または３つすべての実施例（ＡおよびＢおよびＣ）の選択を包含することを意図する。これは、列挙された項目の数だけ拡張することができる。

上記は、あらゆる点で例示的かつ例示的であるが、限定的ではないと理解されるべきであり、本明細書に開示される本発明の範囲は、詳細な説明からではなく、むしろ特許法によって許容される全範囲に従って解釈されるような特許請求の範囲から決定されるべきである。本明細書に示され、説明された実施形態は、本発明の例示にすぎず、当業者は、本発明の範囲および精神から逸脱することなく、様々な修正を実施することができることを理解されたい。当業者は、本発明の範囲および精神から逸脱することなく、様々な他の特徴の組み合わせを実施することができる。このように、本発明の態様を、特許法によって要求される詳細および特殊性と共に説明してきたが、特許状によって保護されることが請求され、望まれるものは、添付の特許請求の範囲に記載されている。

Claims (20)

1. 物理的な手がかり誘導マルチソースマルチチャネルフレームワークを使用して顔なりすまし検出を実施するためにコンピュータで実行する方法であって、
   少なくとも１つの顔画像に関連付けられた顔認識データ、生体データおよび物質データを含むデータのセットを受信すること（４１０）と、
   バックボーンニューラルネットワーク構造を使用して前記データのセットから共有特徴を取得すること（４２０）と、
   前記共有特徴に基づいて、顔認識に対応するプレテキストタスクと、奥行き推定に対応する第１のプロキシタスクと、生体検出タスクと、物質予測に対応する第２のプロキシタスクとを実行すること（４３０）と、
   顔なりすまし検出性能を高めるためにアテンション機構を使用して前記プレテキストタスク、前記第１のプロキシタスク、前記生体検出タスク、および前記第２のプロキシタスクの出力を集約すること（４４０）とを含む、方法。
2. 前記生体データは、オフラインで準備された奥行きグラウンドトゥルースおよび物質グラウンドトゥルースを含み、前記物質データは、Ｍａｔｅｒｉａｌｓ ｉｎ Ｃｏｎｔｅｘｔ（ＭＩＮＣ）データセットを含む、請求項１に記載の方法。
3. 前記共有特徴を取得することは、共有特徴抽出器を使用して前記共有特徴を抽出することをさらに含む、請求項１に記載の方法。
4. 前記第１のプロキシタスクは、奥行きチャネルアテンションマトリクスと共に奥行き予測を生成し、前記生体予測タスクは、生体特徴と対応する生体チャネルアテンションマトリクスとを生成し、前記物質予測タスクは、生体特徴と対応する物質チャネルアテンションマトリクスとを生成する、請求項１に記載の方法。
5. 前記出力を集約することは、予測レベルのアテンションモデルを用いて、前記奥行きチャネルアテンションマトリクス、前記生体チャネルアテンションマトリクス、および前記物質チャネルアテンションマトリクスを組み合わせることを含む、請求項４に記載の方法。
6. 前記顔なりすまし検出は、顔認識損失、ｌ₁ベースの再構成損失、少なくとも１つのクロスエントロピー損失、および少なくとも１つのマルチクラスソフトマックス損失を含む全体的な損失設計を実行する、請求項１に記載の方法。
7. 前記顔なりすまし検出は、バイオメトリックシステム内で実行される、請求項１に記載の方法。
8. 物理的な手がかり誘導マルチソースマルチチャンネルフレームワークを用いた顔なりすまし検出を実現する方法をコンピュータに実行させるために前記コンピュータによって実行可能なプログラム命令を有する、一時的でないコンピュータ読み取り可能な記憶媒体を備えるコンピュータプログラム製品であって、前記コンピュータによって実行される方法は、
   少なくとも１つの顔画像に関連付けられた顔認識データ、生体データおよび物質データを含むデータのセットを受信すること（４１０）と、
   バックボーンニューラルネットワーク構造を使用して前記データのセットから共有特徴を取得すること（４２０）と、
   前記共有特徴に基づいて、顔認識に対応するプレテキストタスクと、奥行き推定に対応する第１のプロキシタスクと、生体検出タスクと、物質予測に対応する第２のプロキシタスクとを実行すること（４３０）と、
   顔なりすまし検出性能を高めるためにアテンション機構を使用して前記プレテキストタスク、前記第１のプロキシタスク、前記生体検出タスク、および前記第２のプロキシタスクの出力を集約すること（４４０）とを含む、コンピュータプログラム製品。
9. 前記生体データは、オフラインで準備された奥行きグラウンドトゥルースおよび物質グラウンドトゥルースを含み、前記物質データは、Ｍａｔｅｒｉａｌｓ ｉｎ Ｃｏｎｔｅｘｔ（ＭＩＮＣ）データセットを含む、請求項８に記載のコンピュータプログラム製品。
10. 前記共有特徴を取得することは、共有特徴抽出器を使用して前記共有特徴を抽出することをさらに含む、請求項８に記載のコンピュータプログラム製品。
11. 前記第１のプロキシタスクは、奥行きチャネルアテンションマトリクスと共に奥行き予測を生成し、前記生体予測タスクは、生体特徴と対応する生体チャネルアテンションマトリクスとを生成し、前記物質予測タスクは、生体特徴と対応する物質チャネルアテンションマトリクスとを生成する、請求項８に記載のコンピュータプログラム製品。
12. 前記出力を集約することは、予測レベルのアテンションモデルを用いて、前記奥行きチャネルアテンションマトリクス、前記生体チャネルアテンションマトリクス、および前記物質チャネルアテンションマトリクスを組み合わせることを含む、請求項１１に記載のコンピュータプログラム製品。
13. 前記顔なりすまし検出は、顔認識損失、ｌ₁ベースの再構成損失、少なくとも１つのクロスエントロピー損失、および少なくとも１つのマルチクラスソフトマックス損失を含む全体的な損失設計を実行する、請求項８に記載のコンピュータプログラム製品。
14. 前記顔なりすまし検出は、バイオメトリックシステム内で実行される、請求項８に記載のコンピュータプログラム製品。
15. 物理的な手がかり誘導マルチソースマルチチャネルフレームワークを使用して顔なりすまし検出を実施するためのシステムであって、
    プログラムコードを格納するメモリ装置と、
    前記メモリ装置と動作可能に結合され、前記メモリ装置に記憶されたプログラムコードを実行するように構成された少なくとも１つのプロセッサ装置とを有し、前記プロセッサ装置は、
    少なくとも１つの顔画像に関連付けられた顔認識データ、生体データおよび物質データを含むデータのセットを受信し（４１０）、
    バックボーンニューラルネットワーク構造を使用して前記データのセットから共有特徴を取得し（４２０）、
    前記共有特徴に基づいて、顔認識に対応するプレテキストタスクと、奥行き推定に対応する第１のプロキシタスクと、生体検出タスクと、物質予測に対応する第２のプロキシタスクとを実行し（４３０）、
    顔なりすまし検出性能を高めるためにアテンション機構を使用して前記プレテキストタスク、前記第１のプロキシタスク、前記生体検出タスク、および前記第２のプロキシタスクの出力を集約する（４４０）、システム。
16. 前記生体データは、オフラインで準備された奥行きグラウンドトゥルースおよび物質グラウンドトゥルースを含み、前記物質データは、Ｍａｔｅｒｉａｌｓ ｉｎ Ｃｏｎｔｅｘｔ（ＭＩＮＣ）データセットを含む、請求項１５に記載のシステム。
17. 前記共有特徴を取得することは、共有特徴抽出器を使用して前記共有特徴を抽出することをさらに含む、請求項１５に記載のシステム。
18. 前記第１のプロキシタスクは、奥行きチャネルアテンションマトリクスと共に奥行き予測を生成し、前記生体予測タスクは、生体特徴と対応する生体チャネルアテンションマトリクスとを生成し、前記物質予測タスクは、生体特徴と対応する物質チャネルアテンションマトリクスとを生成し、前記出力を集約することは、予測レベルのアテンションモデルを用いて、前記奥行きチャネルアテンションマトリクス、前記生体チャネルアテンションマトリクス、および前記物質チャネルアテンションマトリクスを組み合わせることを含む、請求項１５に記載のシステム。
19. 前記顔なりすまし検出は、顔認識損失、ｌ₁ベースの再構成損失、少なくとも１つのクロスエントロピー損失、および少なくとも１つのマルチクラスソフトマックス損失を含む全体的な損失設計を実行する、請求項１５に記載のシステム。
20. 前記顔なりすまし検出は、バイオメトリックシステム内で実行される、請求項１５に記載のシステム。
    

Images