JP7318833B2 - 画像処理デバイス、画像処理方法、およびプログラム - Google Patents

Description

本開示は、なりすまし防止画像処理デバイス、なりすまし防止画像処理方法、およびプログラムに関する。

近年、電子デバイスなどは、顔認識などの目的のために生体データを使用して、データへのアクセスを制限したり、特定の顔特性によって個人を簡単に認識したりしている。個人のセキュリティ、身元盗難の脅威などが大きな懸念となっており、悪意のある行為者は、自動化された身元認識セキュリティ方法を克服するために、特に電子デバイス上のデータへの不正アクセスを得るためまたは電子デバイスの使用のために、様々な技法の使用を試みている。顔認識は、例えば、デジタルカメラを備えたスマートフォン、スマートパッド、ラップトップ、パーソナルコンピュータ、ゲームシステムなどのデバイスへの不正アクセスに対抗する１つのセキュリティ方法である。しかし、顔認識は、写真、映像、マスクなどを使用することによって、人物を誤認するように意図的に行われる場合もある（以下、「なりすまし」と呼ばれることもある）。

顔認識方法におけるそのような欠陥を克服するのを支援するために、いくつかの技法が実装されている。例えば、特許文献１には、カメラから複数の画像を撮影し、閾値比較を用いて静止画像を見ているか、または生きている人間の顔を見ているかどうかを検出することが教示されている。
また、例えば特許文献２に記載されているように、画面上に刺激を与えて被写体の顔反応を生じさせ、被写体の顔の動きをカメラで追跡し、顔反応の予測モデルと比較することで被写体が人間であることを確認する別の方法も知られている。
また、例えば特許文献３に記載されているように、画面上に画像を表示して被写体の目を動かせ、被写体の目をカメラで追跡して被写体が人間であることを確認する別の方法も知られている。
また、特許文献４に記載された別の方法では、被写体の視線角度を追跡し、パスコード順にディスプレイデバイス上の番号が付された位置を注視するなどのチャレンジに被写体を対応させることが提案されている。
しかし、これらの方法であっても、例えば、三次元マスクが使用されるなりすまし攻撃に対して依然として脆弱であり得る。

欧州特許出願公開第２５４６７８２号明細書 欧州特許出願公開第３３７３２０２号明細書 米国特許出願公開第２０１７／０１８５７６０号明細書 米国特許出願公開第２０１９／００３４６０６号明細書

なりすまし方法が試みられた場合であっても生体を適切に認識することができる、顔認識技術の脆弱性を克服する技法が求められている。

したがって、本開示の例示的な目的は、なりすまし方法が試みられた場合であっても不正アクセスを防止することが可能な画像処理デバイス、画像処理方法、および記憶媒体を提供することである。

本開示の第３の態様は、コンピュータに、カメラを介して被写体の複数の画像を撮像することと、プロセッサによって、画像の各々から被写体の視線角度および頭部角度を算出することと、プロセッサによって、それぞれの画像の視線角度と頭部角度との間の差に部分的に基づいて、被写体の真正性を判定することとを実行させるためのプログラムを提供する。

本開示の第２の態様は、カメラを介して被写体の複数の画像を撮像することと、プロセッサによって、画像の各々から被写体の視線角度および頭部角度を算出することと、プロセッサによって、それぞれの画像の視線角度と頭部角度との間の差に部分的に基づいて、被写体の真正性を判定することとを含む、画像処理方法を提供する。

本開示の第３の態様は、コンピュータに、カメラを介して被写体の複数の画像を撮像することと、プロセッサによって、画像の各々から被写体の視線角度および頭部角度を算出することと、プロセッサによって、それぞれの画像の視線角度と頭部角度との間の差に部分的に基づいて、被写体の真正性を判定することとを実行させる命令を含む、コンピュータ可読記憶媒体を提供する。

本開示の例示的な画像処理デバイスを使用する場合の被写体の頭部角度対視線角度を示す図である。 本開示の例示的な方法のフローチャートである。 本開示の例示的な方法の別のフローチャートである。 本開示の例示的な画像処理デバイスのディスプレイ上における被写体に対するプロンプトの例を示す図である。 本開示の別の例示的な画像処理デバイスのディスプレイ上における被写体に対するプロンプトの例を示す図である。 生体対三次元マスクについての頭部角度の変化の間における被写体の視線角度と頭部角度との間の差の実験例を示す図である。 本開示の例示的な画像処理デバイスのブロック図である。 本開示の１つの例示的な実施形態による画像処理デバイスを示す図である。

以下、本開示の例示的な実施形態について、図面を参照しながら説明する。図面において、同じ要素は同じ参照番号によって示され、したがって重複する説明は適宜省略する。

本明細書を通して、「一実施形態」、「実施形態」、「一例」、または「例」への言及は、実施形態または例に関連して説明される特定の特徴、構造、または特性が、本実施形態の少なくとも１つの実施形態に含まれることを意味する。したがって、本明細書を通した様々な箇所における「一実施形態では」、「実施形態では」、「一例」、または「例」という語句の出現は、必ずしもすべてが同じ実施形態または例を指すとは限らない。さらに、特定の特徴、構造、または特性は、１つまたは複数の実施形態または例において任意の適切な組み合わせおよび／または部分的な組み合わせで組み合わせることができる。

（例示的な実施形態）

以下、本開示の例示的な実施形態として、画像処理デバイスについて図を参照しながら説明する。

この例では、画像処理デバイスは、顔特徴点が予め記憶ユニット１０８に記憶されている所有者（すなわち、対象）に属する携帯電話である。被写体が携帯電話をロック解除または使用しようとするとき、携帯電話は、被写体が所有者または他の方法で認可されたユーザであることを識別する必要があり得る。被写体が携帯電話を適切に使用することができることを確認するために、顔認識プロセスが開始される。あるいは、画像処理デバイスは、認可された人々を識別し、機密情報へのアクセスまたは制限されたエリアへの進入などの制限された活動を許可するセキュリティデバイスであってもよい。

図７に示すように、この例に係る画像処理デバイス１００は、プロセッサ１０４と、カメラ１０６と、記憶ユニット１０８とを含む。画像処理デバイスは、任意選択でディスプレイユニット１０２を含んでもよい。
まず、画像処理デバイス１００のカメラ１０６は、被写体の画像を撮像する。撮像画像から、プロセッサ１０４は、記憶ユニット１０８に予め記憶された対象の顔特徴点と比較するための被写体の顔の顔特徴点を抽出する。そして、その比較が一致すると判定した場合、画像処理デバイス１００は、被写体が生きていいる人物であるかどうかの判定を試みる（すなわち、被写体の活気（ｌｉｖｅｌｉｎｅｓｓ）を確認する）。

図１は、被写体が画像処理デバイス１００に視線を向けながら頭部の位置を動かす、本開示の画像処理デバイス１００の例を示す。この例では、画像処理デバイスは、被写体の画像を撮像し、被写体の頭部角度に加えて被写体の視線角度を算出する。頭部角度は、例えば、被写体の目の位置に対する、または被写体の他の顔特徴点に対する被写体の鼻との間の距離によって判定され得る。視線角度は、撮像画像における被写体の各目の瞳孔の位置から算出され得る。

画像処理デバイスを騙すために三次元マスクが使用される場合、頭部角度と視線角度との間の相対角度差は、頭部角度が変化しても一定のままのはずである。これにより、頭部角度を変化させながら被写体の複数の画像を撮像している間、頭部角度と視線角度が異なる場合には被写体が生きている人物であると判定することができる。

頭部角度の変化の間における実在の人物と三次元マスクとの間の観察された差の一例が、図６に示される。この図において、実線は頭部のパン角（ｐａｎ ａｎｇｌｅ）を表し、破線は視線方向のパン角を表す。これを考慮して、所定の閾値差を選択し、被写体が生きている人物であるかどうかを判定することができる。換言すれば、頭部角度と視線角度との間の差が所定の閾値よりも大きい場合、被写体は生きている人物であると判定され、携帯電話（画像処理デバイス）へのアクセスが適切に許可され得る。そうでなければ、携帯電話へのアクセスは適切に拒否され、したがって顔認識のセキュリティおよび精度の向上が実現される。

図２および図３を参照して、動作のフローチャートを説明する。

図２は、被写体の活気を確認する例示的なフローチャートを示す。この方法では、カメラ１０６で撮像した被写体の画像から視線角度を算出し（Ｓ１０４）、かつ頭部角度を算出する（Ｓ１０５）。視線角度の算出（Ｓ１０４）と頭部角度の算出（Ｓ１０５）は、両者の間の差を算出する後のステップ（Ｓ１０６）に先立って行われるものであれば、その順番は問わない。このステップ（Ｓ１０６）では、視線角度と頭部角度との間の差を算出し、カメラで撮像した他の画像と比較する。それぞれの画像の差が所定の閾値内で一定のままである場合、被写体は生きている人物ではないと判定することができ（Ｓ１０４）、携帯電話へのアクセスを適切に拒否することができる。

図３は、活気判定を行うことができるように、被写体の身元を確認し、頭部の角度を変化させるように被写体に促すフローチャートの追加のステップを示す。まず、被写体の顔が認識される（Ｓ１０１）。この認識は、既知の顔認識アルゴリズムまたは既知の顔認識ニューラルネットワークを使用して行うことができる。顔が認識されると、任意選択で、例えば図４に示すように、画像処理デバイス１００に向かう視線角度を維持しながら頭部角度を変化させるように、ディスプレイユニット１０２を介して被写体に命令を与えることができる（Ｓ１０２）。その後、カメラ１０６は、顔特徴を抽出する（Ｓ１０３）ことができるように１つまたは複数の画像を撮像し、画像内の視線角度および頭部角度を算出することができる（Ｓ１０４、Ｓ１０５）。

（他の実施形態）
上記の例示的な実施形態では、本開示は、なりすまし防止を達成する画像処理デバイスおよび方法に関して説明したが、本開示はそれに限定されると考えるべきではない。本開示の範囲を超えることなく、他の実施形態も可能である。追加、修正、および他の構成も実施することができ、依然として本開示の範囲内にある。以下、いくつかの例について説明する。

本開示は、少なくとも１つのコンピュータまたは複数のプロセッサに、上記の例示的な実施形態で説明した画像処理デバイスにおいて上述した機能を実行させる命令を含む非一時的コンピュータ可読記憶媒体として実現されてもよい。プログラムは、上述した機能の一部を実現してもよい。さらに、プログラムは、コンピュータシステムに既に記録されているプログラムとの組み合わせで上述の機能を実現可能な、いわゆる差分ファイル（差分プログラム）であってもよい。

また、上述した画像処理デバイスは、１台のカメラを使用して被写体の画像を撮像した。しかし、本開示の別の例示的な実施形態では、図５に示すように、複数のカメラを使用して被写体の視線角度および頭部角度をより正確に判定することができ、異なる視点を有する複数のカメラから取得された複数の画像を使用して被写体の３Ｄ情報を抽出する。抽出された被写体の３Ｄ情報は、視線角度および頭部角度の算出において考慮される。

さらに、本開示の画像処理デバイス１００および／または画像処理方法を騙すために三次元マスクが使用される際、のぞき穴が切り取られたマスクを生きている人物が装着している場合があり得る。そのような場合、二次的な顔特徴が、被写体が対象と一致するのに必要な活性を有するかどうかを判定するための基礎として検出され得る。例えば、被写体の瞬きの速さ、口の動き、鼻孔のフレア、および／または眉毛の動きを使用して被写体が生体であるかどうかを判定することができ、被写体は、本開示で教示される視線角度対頭部角度の判定に加えて、ディスプレイユニット１０２またはスピーカを介してこれらのアクションのいずれかを行うように促され得る。

図８は、本開示の１つの例示的な実施形態による画像処理デバイス１を示している。画像処理デバイス１は、受信部１０と、プロセッサ２０とを含む。受信部１０は、カメラ２から被写体の複数の画像を受信する。プロセッサ２０は、複数の画像の各々について、被写体の視線角度と頭部角度との間の角度差を算出し、少なくともそれぞれの画像の角度差に基づいて、被写体の真正性を判定する。

本開示は、コンピュータ、コンピュータソフトウェア、および顔認識の分野に適用可能である。

１００ 画像処理デバイス
１０２ ディスプレイユニット
１０４ プロセッサ
１０６ カメラ
１０８ 記憶ユニット

Claims (8)

1. カメラから被写体の複数の画像を受信するように構成された受信部と、
   前記複数の画像の各々について、前記被写体の視線角度と頭部角度との間の角度差を算出して一連の角度差を取得し、少なくとも前記一連の角度差に基づいて、前記被写体の真正性を判定するように構成されたプロセッサと
   を備える、画像処理デバイス。
2. 前記視線角度および前記頭部角度の少なくとも１つを変化させるように前記被写体に促すように構成されたディスプレイデバイス
   をさらに備える、請求項１に記載の画像処理デバイス。
3. 前記プロセッサは、二次的な顔特徴を追跡して前記被写体の前記真正性を判定するようにさらに構成されている、
   請求項１または２に記載の画像処理デバイス。
4. 前記二次的な顔特徴は、顔特徴点、瞬きの速さ、口の動き、および眉毛の動きの少なくとも１つを含む、
   請求項３に記載の画像処理デバイス。
5. 前記複数の画像を撮像するように構成された前記カメラ
   をさらに備える、請求項１～４のいずれか１項に記載の画像処理デバイス。
6. 前記カメラは、複数のカメラを含む、
   請求項５に記載の画像処理デバイス。
7. カメラから被写体の複数の画像を受信することと、
   前記複数の画像の各々について、前記被写体の視線角度と頭部角度との間の角度差を算出して一連の角度差を取得することと、
   少なくとも前記一連の角度差に基づいて、前記被写体の真正性を判定することと
   を含む、画像処理方法。
8. コンピュータに、
   カメラから被写体の複数の画像を受信することと、
   前記複数の画像の各々について、前記被写体の視線角度と頭部角度との間の角度差を算出して一連の角度差を取得することと、
   少なくとも前記一連の角度差に基づいて、前記被写体の真正性を判定することと
   を実行させるためのプログラム。

Images