JP2023052914A - 生体検知装置、生体検知方法、および、生体検知プログラム - Google Patents

生体検知装置、生体検知方法、および、生体検知プログラム Download PDF

Info

Publication number
JP2023052914A
JP2023052914A JP2023015816A JP2023015816A JP2023052914A JP 2023052914 A JP2023052914 A JP 2023052914A JP 2023015816 A JP2023015816 A JP 2023015816A JP 2023015816 A JP2023015816 A JP 2023015816A JP 2023052914 A JP2023052914 A JP 2023052914A
Authority
JP
Japan
Prior art keywords
sight
line
presentation information
face
change
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2023015816A
Other languages
English (en)
Inventor
雄介 森下
Yusuke Morishita
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JP2023052914A publication Critical patent/JP2023052914A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40Spoof detection, e.g. liveness detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/60Static or dynamic means for assisting the user to position a body part for biometric acquisition
    • G06V40/67Static or dynamic means for assisting the user to position a body part for biometric acquisition by interactive indications to the user

Abstract

【課題】本発明は、装置構成および利用者の負担を増大させることなく、顔認証におけるなりすましをより精度良く検知する技術を提供する。【解決手段】なりすまし検知装置1は、顔画像列取得部11と、視線変化検出部12と、提示情報表示部13と、なりすまし判定部14とを備える。顔画像列取得部11は、ユーザの顔を表す顔画像列を取得する。視線変化検出部12は、顔画像列から視線の時間変化の情報を検出する。提示情報表示部13は、認証処理の一環としてユーザに提示される提示情報を表示する。なりすまし判定部14は、提示情報に対する視線の時間変化の情報に基づいて、顔画像列の表す顔がなりすましである可能性を判定する。【選択図】図1

Description

本発明は、顔認証においてなりすまし行為を検知する技術に関する。
顔認証を用いたセキュリティシステム(顔認証システム)において、なりすまし行為を検知する技術が広く知られている。なりすまし行為は、他人のフリをして不正にシステムを利用する行為である。以下、なりすまし行為を、単になりすましとも記載する。
顔認証システムに対するなりすましは、なりすましを行う者が、顔撮影用のカメラに対して自身とは異なる他人の顔を提示することにより行われる。他人の顔を提示する方法としては、他人の顔写真をシステムのカメラに提示する方法がある。また、他人の顔の映像をスマートフォン等のディスプレイに映して、システムのカメラに提示する方法がある。このようななりすましに対応する関連技術の一例が、以下の特許文献1~特許文献8に記載されている。
例えば、特許文献1に記載された関連技術は、表示装置に利用者の注意をひくための画像を提示しつつ、カメラから取り込んだ画像から利用者の視線を検出する。そして、この関連技術は、利用者の視線が表示装置の方向を向いている場合には生体、そうでない場合にはなりすましであると判定する。
また、特許文献2に記載された関連技術は、利用者を、異なる複数の視点からそれぞれ撮影した複数の顔画像を取得する。そして、この関連技術は、利用者の顔の中の特徴点を複数の顔画像からそれぞれ抽出し、それらの特徴点が同一平面上にあるか否かを判定する。そして、この関連技術は、それらの特徴点が同一平面上にあるか否かに基づいて、なりすましであるか否かを判定する。
また、特許文献3に記載された関連技術は、距離センサにより、利用者の顔における複数の測定点までの距離や角度を測定し、複数の測定点の位置を特定する。そして、この関連技術は、複数の測定点が同一平面上にあるか否かに基づいて、なりすましであるか否かを判定する。
また、特許文献4に記載された関連技術は、表示装置に表示したマークをランダムに動かすことにより、利用者が視線を動かすよう誘導する。そして、この関連技術は、利用者の視線動作が、マークの軌道と合っているかどうかに基づいて、なりすましであるか否かを判定する。
また、特許文献5に記載された関連技術は、利用者に、表示画面において指示する方向に顔を動かしてもらい、その動きをカメラにより撮影する。そして、この関連技術は、利用者を撮影した時系列画像において、特徴点の動きを検知できるか否かに基づいて、なりすましであるか否かを判定する。
また、特許文献6に記載された関連技術は、利用者に対して、顔の所定部位の動かし方(例えば、目の開閉等)を指示し、利用者の顔を撮影する。そして、この関連技術は、得られた動画像において、顔の所定部位が指示にしたがって変化しているか否かに基づいて、なりすましであるか否かを判定する。
また、特許文献7に記載された関連技術は、提示した画像上を移動する利用者の視線移動を、移動速度と移動位置の時系列データを含む動的視線パターンとして捉え、利用者識別子と対応付けて登録しておく。そして、この関連技術は、認証対象である利用者の動的視線パターンと、登録済みの動的視線パターンとを照合して一致度を評価する。この関連技術を用いれば、動的視線パターンの一致度に否かに基づいて、なりすましであるか否かを判定することが可能である。
また、特許文献8には、特許文献1、4、7に記載された各関連技術において採用可能な視線検出技術が記載されている。この関連技術は、顔画像に含まれる瞳を特定し、瞳の位置および顔の向きから視線を検出する。
このように、なりすまし検知技術としては、視線が表示装置を向いているか否かで判定する方法、撮影対象が立体物であるか否かで判定する方法、指示通り又は登録通りの視線や顔の動きを検出できるか否かで判定する方法等が提案されている。
特許第4807167号公報 特許第5035467号公報 特許第4734980号公報 特許第4470663号公報 特開2008-305400号公報 特開2008-276345号公報 特開2007-141002号公報 特開2006-23953号公報
しかしながら、特許文献1に記載の関連技術は、映像を提示することによるなりすましを十分に検知することができない。例えば、なりすましを行う者が、様々な視線方向を向くよう撮影された他人の顔の映像を、スマートフォン等のディスプレイに映して顔認証システムのカメラに提示したとする。この場合、映像中のある時点での視線方向が、表示装置を向く可能性は高い。この場合、この関連技術は、ディスプレイに映された顔を、誤って生体であると判定してしまう。また、顔認証システムにおける表示装置およびカメラの位置があらかじめわかっていれば、カメラに向けたときに視線が表示装置を向くような顔の映像を用意することも可能である。このように、この関連技術は、映像を提示することによるなりすましを精度良く検知することができない。
また、特許文献2に記載の関連技術は、複数の視点からそれぞれ撮影した複数の顔画像を取得するために、複数のカメラまたはカメラの移動機構を必要とする。また、特許文献3に記載の関連技術は、複数の測定点の位置を特定するために、距離センサを必要とする。そのため、これらの関連技術では、装置構成が増大するという問題がある。
また、特許文献4に記載の関連技術は、なりすまし判定のために表示するマークのランダムな動きを視線で追いかけるよう利用者を誘導する。また、特許文献5に記載の関連技術は、なりすまし判定のために利用者に顔を指定方向へ動かすよう指示する。また、特許文献6に記載の関連技術は、なりすまし判定のために利用者に顔の所定部位を動かすよう指示する。このように、これらの関連技術では、利用者は、なりすまし判定のための特別な動作を行う必要がある。そのため、これらの関連技術は、利用者の負担を増大させる。
また、特許文献7に記載の関連技術は、あらかじめ動的視線パターンを登録しておく必要があり、利用者の負担を増大させる。
また、特許文献8には、視線を検出する技術をなりすまし判定に利用することについては記載がない。
本発明は、上記の課題を解決するためになされたものである。すなわち、本発明は、装置構成および利用者の負担を増大させることなく、顔認証におけるなりすましをより精度良く検知する技術を提供することを目的とする。
上記目的を達成するために、本発明のなりすまし検知装置は、ユーザの顔を表す顔画像列を取得する顔画像列取得手段と、前記顔画像列から視線の時間変化の情報を検出する視線変化検出手段と、認証処理の一環として前記ユーザに提示される提示情報を表示する提示情報表示手段と、前記提示情報に対する前記視線の時間変化の情報に基づいて、前記顔画像列の表す顔がなりすましである可能性を判定するなりすまし判定手段と、を備える。
また、本発明のなりすまし検知方法は、ユーザの顔を表す顔画像列から視線の時間変化の情報をコンピュータ装置によって検出し、認証処理の一環として前記ユーザに対して提示される提示情報に対する前記視線の時間変化の情報に基づいて、前記顔画像列の表す顔がなりすましである可能性をコンピュータ装置によって判定する。
また、本発明の記憶媒体は、ユーザの顔を表す顔画像列を取得する顔画像列取得ステップと、前記顔画像列から視線の時間変化の情報を検出する視線変化検出ステップと、認証処理の一環として前記ユーザに提示される提示情報を表示する情報提示ステップと、前記提示情報に対する前記視線の時間変化の情報に基づいて、前記顔画像列の表す顔がなりすましである可能性を判定するなりすまし判定ステップと、をコンピュータ装置に実行させるなりすまし検知プログラムを記憶している。
本発明は、装置構成および利用者の負担を増大させることなく、顔認証におけるなりすましをより精度良く検知する技術を提供することができる。
本発明の第1の実施の形態としてのなりすまし検知装置の機能ブロック図である。 本発明の第1の実施の形態としてのなりすまし検知装置のハードウェア構成の一例を示す図である。 本発明の第1の実施の形態としてのなりすまし検知装置の動作を説明するフローチャートである。 本発明の第2の実施の形態としてのなりすまし検知装置の機能ブロック図である。 本発明の第2の実施の形態としてのなりすまし検知装置の動作を説明するフローチャートである。 本発明の第2の実施の形態における顔画像列の一例を説明する図である。 本発明の第2の実施の形態において検出される視線位置の変化の一例を説明する図である。 本発明の第2の実施の形態において検出される視線位置の微分値の一例を説明する図である。 本発明の第2の実施の形態において検出される視線の時間変化の情報の一例を説明する図である。 本発明の第2の実施の形態における提示情報の切り替えの一例を説明する図である。 本発明の第3の実施の形態としてのなりすまし検知装置の機能ブロック図である。 本発明の第3の実施の形態としてのなりすまし検知装置の動作を説明するフローチャートである。
以下、本発明の実施の形態について、図面を参照して詳細に説明する。
(第1の実施の形態)
本発明の第1の実施の形態としてのなりすまし検知装置1の構成を図1に示す。図1において、なりすまし検知装置1は、顔画像列取得部11と、視線変化検出部12と、提示情報表示部13と、なりすまし判定部14とを備える。なお、図1において、機能ブロックを示す矩形間を結ぶ矢印の向きは、一例を示すものであり、機能ブロック間の信号の向きを限定するものではない。
ここで、なりすまし検知装置1のハードウェア構成の一例を図2に示す。図2において、なりすまし検知装置1は、CPU(Central Processing Unit)1001と、RAM(Random Access Memory)1002と、ROM(Read Only Memory)1003と、記憶装置1004と、撮像装置1005と、表示装置1006とを備えたコンピュータ装置によって構成可能である。ROM1003および記憶装置1004は、コンピュータ装置を本実施の形態のなりすまし検知装置1として動作させるコンピュータ・プログラムおよび各種データを記憶する。撮像装置1005は、対象を撮像して対象を表す画像を生成するカメラ等の装置である。表示装置1006は、各種情報を表示画面に表示する装置である。CPU1001は、ROM1003および記憶装置1004に記憶されるコンピュータ・プログラムおよび各種データをRAM1002に読み込んで実行することにより、コンピュータ装置の各部を制御する。この場合、顔画像列取得部11は、撮像装置1005と、ROM1003および記憶装置1004に記憶されるコンピュータ・プログラムおよび各種データをRAM1002に読み込んで実行するCPU1001とによって構成される。また、視線変化検出部12は、ROM1003および記憶装置1004に記憶されるコンピュータ・プログラムおよび各種データをRAM1002に読み込んで実行するCPU1001によって構成される。また、提示情報表示部13およびなりすまし判定部14は、表示装置1006と、ROM1003および記憶装置1004に記憶されるコンピュータ・プログラムおよび各種データをRAM1002に読み込んで実行するCPU1001とによって構成される。なお、なりすまし検知装置1およびその各機能ブロックのハードウェア構成は、上述の構成に限定されない。
顔画像列取得部11は、顔画像列を入力として取得する。顔画像列は、ユーザの顔を表す複数枚の顔画像の時系列である。顔画像列取得部11は、顔画像列を、撮像装置1005を介して取得してもよい。また、顔画像列取得部11は、顔画像列として、あらかじめ顔を表す領域が切り出された顔画像列を取得してもよい。あるいは、顔画像列取得部11は、撮像装置1005によって撮影された複数枚の画像の時系列から、それぞれ顔の領域を切り出して顔画像列を生成してもよい。
視線変化検出部12は、顔画像列から、視線の時間変化の情報を検出する。具体的には、視線変化検出部12は、顔画像列を構成する各顔画像から、視線を表す情報を検出する。そして、視線変化検出部12は、視線を表す情報の時系列または時間による微分値を、視線の時間変化の情報としてもよい。また、視線変化検出部12は、視線の時間変化の情報として、視線を表す情報の時系列および微分値の両方を用いてもよい。
例えば、視線変化検出部12は、視線を表す情報として、視線方向を表す情報を採用してもよい。視線方向を表す情報は、カメラの光軸を基準とする視線の方向を示す情報であってもよいし、グローバル座標系における方向を示す情報でもよい。あるいは、視線変化検出部12は、視線を表す情報として、視線位置を表す情報を採用してもよい。例えば、視線位置を表す情報は、表示装置1006の表示画面内でユーザによって注視されている点の位置座標でもよい。
なお、視線変化検出部12は、顔画像から視線を表す情報を検出する処理に、公知の視線検出技術を採用可能である。もし、採用する視線検出技術が、検出対象の顔画像として、輝度値の情報からなるグレースケール画像を想定する場合、前述の顔画像列取得部11は、グレースケールの顔画像列を取得する。なお、この場合であっても、外部から入力される画像列は、必ずしもグレースケールでなくてもよい。例えば、撮像装置1005から入力される画像列は、R(赤)、G(緑)、B(青)の色成分からなるRGB画像によって構成されてもよい。この場合、顔画像列取得部11または視線変化検出部12が、入力されたRGB画像列からグレースケール画像列を生成する処理を行えばよい。これに限らず、顔画像列取得部11または視線変化検出部12は、採用する視線検出技術に応じた形式の顔画像列を取得または生成すればよい。
提示情報表示部13は、提示情報を表示装置1006に表示する。ここで、提示情報とは、認証処理の一環としてユーザに提示される情報である。また、認証処理の一環とは、なりすまし検知装置1が用いられる図示しない顔認証システムで行われる認証処理の流れにおいて、提示情報がユーザに提示されること、を意味する。このような提示情報は、そのような顔認証システムにおいて仮になりすまし検知が行われない場合であっても、認証処理の一環として提示される情報である。つまり、このような提示情報は、なりすまし検知のために別途準備された情報ではないことが望ましい。このような提示情報は、例えば、「認証を開始します」、「顔を正面に向けてください」、「暗証番号を入力してください」等、単に手順を示すための文字情報であってもよい。その他、提示情報は、図などであってもよい。なお、提示情報は、認証処理の一環としてユーザに提示される情報であれば、文字情報や図に限らず、その他の情報であってもよい。
具体的には、提示情報表示部13は、提示情報を、任意のタイミングで任意の表示位置に表示する。なお、提示情報表示部13は、提示情報の表示タイミングおよび表示位置をあらかじめ定めておいてもよい。あるいは、提示情報表示部13は、なりすまし判定を行う処理毎にランダムに、表示タイミングおよび表示位置を決定してもよい。
なりすまし判定部14は、提示情報に対する視線の時間変化の情報に基づいて、顔画像列の表す顔がなりすましである可能性を判定する。ここで、ユーザの視線は、提示情報に応じて変化する。例えば、ユーザの視線は、提示情報の表示タイミング、表示位置、または、提示内容等に応じて変化すると考えられる。また、例えば、ユーザの視線は、提示情報の表示位置の変化、提示内容の変化等に応じても変化すると考えられる。したがって、視線の時間変化の情報は、提示情報に応じたものになる。そこで、なりすまし判定部14は、提示情報の提示に伴い検出された視線の時間変化の情報と、提示情報との関連性に基づいて、なりすましの可能性を判定すればよい。
また、なりすまし判定部14は、なりすましの判定結果を出力する。例えば、なりすまし判定部14は、なりすましであると判定した場合に、その判定結果を表示装置1006やその他の出力装置(図示せず)に出力してもよい。
以上のように構成されたなりすまし検知装置1の動作について、図3を参照して説明する。
まず、顔画像列取得部11は、顔画像列の取得を開始する(ステップS1)。
例えば、顔画像列取得部11は、撮像装置1005から入力される映像を構成するフレームを順次取得しながら、各フレームから顔を表す領域を切り出すことにより、顔画像列を取得していく。
次に、視線変化検出部12は、顔画像列からの視線の時間変化の情報の検出を開始する(ステップS2)。
前述のように、視線変化検出部12は、顔画像列取得部11によって順次取得される顔画像列の各顔画像から視線を表す情報を検出し、その時系列や微分値を、視線の変化の情報として検出していく。
次に、提示情報表示部13は、認証処理の一環としてユーザに提示する提示情報を、表示装置1006に表示する(ステップS3)。
次に、なりすまし判定部14は、視線変化検出部12によって検出された視線の時間変化の情報と、提示情報表示部13によって表示された提示情報との関連性に基づいて、顔画像列の表す人物が、なりすましである可能性を判定する(ステップS4)。
例えば、視線変化検出部12は、視線の時間変化の情報が、提示情報の提示タイミング、表示位置、内容、または、それらの変化に応じているか否かに基づいて、なりすましであるか否かを判断してもよい。
以上で、なりすまし検知装置1は動作を終了する。
次に、本発明の第1の実施の形態の効果について述べる。
本発明の第1の実施の形態としてのなりすまし検知装置は、装置構成および利用者の負担を増大させることなく、顔認証におけるなりすましをより精度良く検知することができる。
その理由は、顔画像列取得部が、ユーザの顔を表す顔画像列を取得し、視線変化検出部が、顔画像列から視線の時間変化の情報を検出し、提示情報表示部が、認証処理の一環としてユーザに提示される提示情報を表示するからである。そして、なりすまし判定部が、提示情報に対する視線の時間変化の情報に基づいて、顔画像列に含まれる顔がなりすましである可能性を判定するからである。
ここで、なりすましではない真の人間の視線は、提示情報に応じて変化する。例えば、真の人間の視線は、提示情報が表示装置に表示されたタイミングで、かつ、表示装置内の表示位置の方向に変化する。しかしながら、なりすまし者が、自身とは異なる他人の顔の映像をスマートフォン等のディスプレイに映し撮像装置に提示した場合、提示情報とは無関係に、ディスプレイ中の他人の視線は変化する。例えば、ディスプレイ中の他人の視線は、提示情報の提示タイミングや表示位置とは無関係に変化することになる。
具体的には、ディスプレイ中の他人の視線が一定の場合は、提示情報が表示されたタイミングに関連して視線が変化しない。また、ディスプレイ中の他人の顔の視線が様々な方向に動いている場合は、提示情報が提示されていない期間や、提示タイミングとは異なるタイミングでも、視線が変化する可能性が高い。また、この場合、提示タイミングには、視線が、表示位置とは異なる方向に向いている可能性が高い。そのため、他人の顔の映像をスマートフォン等のディスプレイに映しカメラに提示している場合には、視線変化検出部によって検出される視線の時間変化の情報は、提示情報に応じた変化にならない。そこで、本実施の形態は、視線の時間変化の情報と、提示情報との関連性に基づいて、精度よくなりすましの可能性を判定することができる。
このとき、本実施の形態は、認証処理の一環として提示される提示情報に対するユーザの視線の自然な動きから得られる時間変化の情報を用いるので、ユーザは、なりすまし判定のために指示される特別な動作や視線の動きを行う必要がない。また、本実施の形態は、撮影対象の立体性を判定するための複数視点の画像を取得する装置や距離センサ等を必要とせず、ユーザの顔画像列を少なくとも1台の撮像装置により取得すればよい。したがって、本実施の形態は、装置構成を増大させることがない。
(第2の実施の形態)
次に、本発明の第2の実施の形態について図面を参照して詳細に説明する。なお、本実施の形態の説明において参照する各図面において、本発明の第1の実施の形態と同一の構成および同様に動作するステップには同一の符号を付して本実施の形態における詳細な説明を省略する。
まず、本発明の第2の実施の形態としてのなりすまし検知装置2の構成を図4に示す。図4において、なりすまし検知装置2は、本発明の第1の実施の形態としてのなりすまし検知装置1に対して、提示情報表示部13に替えて提示情報表示部23と、なりすまし判定部14に替えてなりすまし判定部24とを備える点が異なる。なお、図4において、機能ブロックを示す矩形間を結ぶ矢印の向きは、一例を示すものであり、機能ブロック間の信号の向きを限定するものではない。
提示情報表示部23は、認証処理の一環としてユーザに提示される提示情報の切り替えを行う。例えば、提示情報表示部23は、提示情報の表示位置を切り替えてもよい。表示位置の切り替えとは、表示装置1006の表示画面内で表示位置を変更することをいうものとする。また、例えば、提示情報表示部23は、提示情報を、他の提示情報に切り替えてもよい。他の提示情報への切り替えとは、表示装置1006に表示する提示情報を、他の提示情報に変更することをいうものとする。また、提示情報表示部23は、提示情報を他の提示情報に切り替える際に、その表示位置を切り替えてもよい。なお、提示情報表示部23は、このような切り替えを少なくとも1回行うが、その切り替え回数は限定されない。また、提示情報表示部23は、上述したような提示情報の切り替えを、任意のタイミングで行えばよい。
具体的には、例えば、提示情報表示部23は、1つ目の提示情報を、時刻mt1のタイミングで表示位置(mx1,my1)に表示する。そして、提示情報表示部23は、時刻mt2のタイミングで、1つ目の提示情報から2つ目の提示情報へ切り替える。このとき、提示情報表示部23は、2つ目の提示情報を、表示位置(mx2,my2)に表示する。この場合、提示情報表示部23は、mt1、mt2、(mx1,my1)、(mx2,my2)をあらかじめ定めておいてもよいし、ランダムに決定してもよい。
なりすまし判定部24は、視線変化検出部12によって検出された視線の時間変化の情報と、提示情報の切り替えとの関連性に基づいて、なりすましの可能性を判定する。具体的には、なりすまし判定部24は、顔画像列から検出された視線の時間変化の情報と、提示情報の切り替えタイミングや切り替えによる表示位置の変化とを比較することで、なりすましであるか否かを判定してもよい。例えば、なりすまし判定部24は、視線の時間変化の情報が、上述の切り替えタイミングmt2に応じているか否かに基づいて、顔画像列の表す顔がなりすましであるか否かを判定してもよい。また、なりすまし判定部24は、視線の時間変化の情報が、切り替えによる表示位置(mx1,my1)から(mx2,my2)への変化に応じているか否かに基づいて、なりすまし判定を行ってもよい。
以上のように構成されたなりすまし検知装置2の動作について、図5を参照して説明する。
まず、なりすまし検知装置2は、本発明の第1の実施の形態と同様にステップS1~S2を実行する。これにより、なりすまし検知装置2は、顔画像列の取得を開始し、視線の時間変化の情報の検出を開始する。
次に、提示情報表示部23は、認証処理の一環としてユーザに提示する1つ目の提示情報を、表示装置1006に表示する(ステップS23)。
次に、提示情報表示部23は、1つ目の提示情報を、2つ目の提示情報に切り替える(ステップS24)。
次に、なりすまし判定部24は、視線変化検出部12によって検出された視線の時間変化の情報と、提示情報表示部23による提示情報の切り替えとの関連性に基づいて、顔画像列の表す人物についてなりすましの可能性を判定する(ステップS25)。
例えば、前述のように、視線変化検出部12は、視線の時間変化の情報が、提示情報の切替タイミングや、切り替えに伴う表示位置の変化に応じているか否かに応じて、なりすましであるか否かを判定すればよい。
以上で、なりすまし検知装置2は動作を終了する。
次に、本発明の第2の実施の形態の動作を、具体例を用いて説明する。
まず、顔画像列取得部11は、顔画像列の取得を開始する(ステップS1)。
ここでは、顔画像列取得部11によって取得される顔画像列は、一定時間ごとに撮影されたグレースケール画像から、それぞれ顔の領域が切り出された顔画像の列であるものとする。例えば、顔画像列取得部11は、ビデオカメラ等の撮像装置1005から出力される時系列のグレースケール画像から、公知の顔検出技術を用いて顔の位置を求めてもよい。そして、顔画像列取得部11は、求めた顔の位置に従って、各画像から顔の領域を切り出して顔画像列としてもよい。あるいは、顔画像列取得部11は、撮像装置1005から出力される画像列から、外部の装置によりあらかじめ顔の領域が切り出された顔画像列を取得してもよい。この具体例における顔画像列の一例を図6に示す。図6に示す顔画像列は、時刻1からTに亘って取得されている。
視線変化検出部12は、図6の顔画像列から、視線の時間変化の情報を検出する(ステップS2)。
ここでは、視線変化検出部12は、顔画像列のそれぞれの顔画像から、公知の視線検出技術を用いて視線の情報を検出する。例えば、視線変化検出部12は、視線方向を検出する公知の技術を採用した場合、顔画像列中における時間tの顔画像から視線方向を検出し、そのx成分をgx(t)と表し、y成分をgy(t)と表してもよい。また、例えば、視線位置を検出する公知の技術を採用した場合、視線変化検出部12は、顔画像列中における時間tの顔画像から視線位置を検出し、そのx座標をgx(t)と表し、y座標をgy(t)と表してもよい。この具体例では、視線位置を表す情報を採用するものとする。
そして、視線変化検出部12は、視線の時間変化の情報として、顔画像列の先頭(t=1)から終端(t=T)までのT枚の顔画像分についてのgx(t)およびgy(t)の時系列を用いる。さらに、視線変化検出部12は、視線の時間変化の情報として、(gx(t)、gy(t))(t=1~T)を時間tで微分した値(Gx(t)、Gy(t))を用いる。つまり、この具体例では、視線の時間変化の情報は、時刻tについて、視線位置(gx(t)、gy(t))とそれらの微分値(Gx(t)、Gy(t))とを合わせた4個ずつの値から構成される。
ここでは、例えば、視線の時間変化の情報として、図7~図9に示す情報が検出されたとする。図7は、顔画像列のそれぞれの顔画像から検出された視線位置(gx(t)、gy(t))を示す。図8は、図7の視線位置(gx(t)、gy(t))を時間tで微分した値(Gx(t)、Gy(t))を示す。図9は、各時刻tにおける視線位置(gx(t)、gy(t))と、その微分値(Gx(t)、Gy(t))とを表す。図7から図9に示したように、顔画像列から検出された視線位置およびその微分値は、時間的に変化している。
次に、提示情報表示部23は、1つ目の提示情報を、時刻mt1のタイミングで、表示位置(mx1,my1)に表示する(ステップS23)。ここで、1つ目の提示情報の表示例を図10に示す。図10の左図において、1つ目の提示情報は、「認証を開始します」という文字情報である。なお、このステップにおいて、提示情報表示部23は、1つ目の提示タイミングmt1および表示位置(mx1,my1)を、ランダムに選択したものとする。
次に、提示情報表示部23は、時刻mt2のタイミングで、1つ目の提示情報を2つ目の提示情報に切り替え、表示位置(mx2,my2)に表示する(ステップS24)。なお、mt2>mt1であるとする。ここで、2つ目の提示情報の表示例を図10に示す。図10の右図において、2つ目の提示情報は、「顔をカメラに対して正面に向けて下さい」という文字情報である。なお、このステップにおいて、提示情報表示部23は、2つ目の提示タイミングmt2および表示位置(mx2,my2)を、ランダムに選択したものとする。
なお、この具体例では、2種類の提示情報を切り替えて表示する場合について記載するが、3種類以上の提示情報を順次切り替えて表示する場合にも適用可能である。
次に、なりすまし判定部24は、視線変化検出部12が検出する視線の時間変化の情報と、提示情報表示部23による提示情報の切り替えとの関連性に基づいて、なりすまし判定を行う(ステップS25)。
ここでは、なりすまし判定部24は、以下の数式(1)~(3)を用いて、なりすまし判定を行う。前述のように、検出された視線の時間変化の情報として、視線位置を(gx(t)、gy(t))とおき、その微分値を(Gx(t)、Gy(t))とおく。また、1つ目の提示情報を表示する時刻をmt1、提示位置を(mx1、my1)とし、2つ目の提示情報を表示する時刻をmt2、提示位置を(mx2、my2)とする。
まず、なりすまし判定部24は、提示情報の切り替え時刻mt2の付近で最も視線が変化した時間τを、次式(1)のように計算する。
Figure 2023052914000002
ここで、G (t)とG (t)は、それぞれ前述した微分値Gx(t)とGy(t)である。t、tおよびλは、パラメータである。λは、x方向の変化成分とy方向の変化成分のバランスを調整するパラメータである。tおよびtは、τを求める区間を決定するパラメータである。
次に、なりすまし判定部24は、最も視線が変化した時間τを基に、視線位置の変化の大きさと、2つの提示情報の表示位置の変化の大きさとの差εを、次式(2)を用いて求める。なお、以下では、εを評価値1と呼ぶ。
Figure 2023052914000003
ここで、λは、視線位置の変化の大きさと、2つの提示情報の表示位置の変化の大きさとのバランスを調整するパラメータである。また、式(2)のabsは、絶対値を計算する関数である。
また、なりすまし判定部24は、視線位置の変化の方向と、2つの提示情報の表示位置の変化の方向の違いεを、次式(3)を用いて求める。なお、以下では、εを評価値2と呼ぶ。
Figure 2023052914000004
そして、なりすまし判定部24は、評価値1を閾値1と比較し、評価値2を閾値2と比較する。そして、なりすまし判定部24は、これらの比較結果に基づいて、取得された顔画像列に含まれる顔がなりすましであるか否かを判定する。
上記の具体例において、評価値1および評価値2は、顔画像列取得部11によって取得された顔画像列が、真の人間の顔を表している可能性が高いほど、その値はそれぞれ小さくなる。また、評価値1および評価値2は、顔画像列が、なりすましの顔を表している可能性が高いほど、その値がそれぞれ大きくなるように設計されている。なりすましの顔とは、スマートフォン等のディスプレイで提示された映像に含まれる顔等である。そして、なりすまし判定部24は、評価値1および評価値2のいずれもがそれぞれ閾値より高ければ、なりすましであると判定する。また、なりすまし判定部24は、評価値1および評価値2の少なくとも一方が閾値より低ければ、人間の顔である(なりすましではない)と判定する。なお、なりすまし判定部24は、評価値1および評価値2の少なくとも一方が閾値より高い場合に、なりすましであると判定してもよい。
また、閾値1および閾値2は、用途によって変化させてもよい。例えば、なりすましをした人物を取り逃すことが致命的となる用途では、閾値1および閾値2の値を低めに設定することが望ましい。反対に、真の人間が誤ってなりすましであると判定されることが問題となる用途では、閾値1および閾値2の値を高めに設定することが望ましい。
次に、本発明の第2の実施の形態の効果について述べる。
本発明の第2の実施の形態としてのなりすまし検知装置は、装置構成および利用者の負担を増大させることなく、顔認証におけるなりすましをさらに精度良く検知することができる。
その理由は、本発明の第1の実施の形態と同様の構成に加えて、提示情報表示部が、認証処理の一環としてユーザに提示される提示情報を切り替えて表示するからである。そして、なりすまし判定部が、提示情報の切り替えに対する視線の時間変化の情報に基づいて、顔画像列に含まれる顔がなりすましであるか否かを判定するからである。
ここで、顔認証において、真の人間の視線は、提示情報の切り替えに伴い変化すると考えられる。しかしながら、なりすまし者が、自身とは異なる他人の顔の映像をスマートフォン等のディスプレイに映し撮像装置に提示した場合、提示情報の切り替えとは無関係に、ディスプレイ中の他人の顔の視線は変化する。具体的には、例えば、ディスプレイ中の他人の視線が一定の場合は、提示情報の切り替えタイミングに視線が変化しないことになる。また、ディスプレイ中の他人の視線が様々に動いている場合、提示情報の切り替えタイミング以外の期間にも視線が変化している可能性が高い。また、この場合、提示情報の切り替えに伴い表示位置が変化しても、変化後の表示位置とは別の方向に視線が変化する可能性が高い。そのため、他人の顔の映像をスマートフォン等のディスプレイに映しカメラに提示している場合には、視線変化検出部が検出する視線の時間変化の情報と、提示情報の切り替えとの関連性は低くなる。
そこで、本実施の形態は、視線の時間変化の情報と、提示情報の切り替えとの関連性に基づいて、精度よくなりすまし判定を行うことができる。また、このとき、本実施の形態は、認証処理の一環として提示される提示情報の切り替えに対する視線の時間変化の情報を用いる。通常、認証処理の一環として提示される提示情報は、複数種類あることが多い。したがって、本実施の形態は、そのような複数の提示情報の切り替えに対する視線の時間変化の情報を利用することで、認証処理におけるユーザのより自然な視線の動きをなりすまし判定に用いることができる。その結果、本実施の形態は、利用者の負担を軽減する。
なお、本実施の形態において、提示情報表示部は、提示情報を、他の提示情報に切り替える例を中心に説明した。この他、提示情報表示部は、同一の提示情報を、任意のタイミングで他の表示位置に表示する切り替えを行ってもよい。
(第3の実施の形態)
次に、本発明の第3の実施の形態について図面を参照して詳細に説明する。なお、本実施の形態の説明において参照する各図面において、本発明の第1の実施の形態と同一の構成および同様に動作するステップには同一の符号を付して本実施の形態における詳細な説明を省略する。
まず、本発明の第3の実施の形態としてのなりすまし検知装置3の構成を図11に示す。図11において、なりすまし検知装置3は、本発明の第1の実施の形態としてのなりすまし検知装置1に対して、なりすまし判定部14に替えてなりすまし判定部34を備え、さらに、標準情報記憶部35を備える点が異なる。なお、標準情報記憶部35は、本発明におけるなりすまし判定部の一部の一実施形態を構成する。また、図11において、機能ブロックを示す矩形間を結ぶ矢印の向きは、一例を示すものであり、機能ブロック間の信号の向きを限定するものではない。
標準情報記憶部35は、提示情報の内容に応じた標準的な視線の時間変化の情報を記憶する。一般に、ユーザは、提示情報の内容に応じて、無意識にまたは習性的に視線を動かすと考えられる。標準的な視線の時間変化の情報は、その提示情報が表示された際に、人が無意識にまたは習性的に動かす視線の時間変化を表す。
例えば、「暗証番号を入力して下さい」という文字列および暗証番号入力画面からなる提示情報に対して、ユーザは、暗証番号を入力するために、暗証番号入力画面付近で小刻みに視線を動かすと考えられる。また、例えば、「顔をカメラに対して正面に向けて下さい」という文字列の提示情報に対して、ユーザは、カメラ方向を見つめるため、カメラのある方向に視線を一定時間固定させると考えられる。また、例えば、長い文章を表す提示情報に対して、ユーザは、文章を読み解釈するため、文章中の文字を順に読み進めていくように視線を動かすと考えられる。このように、標準情報記憶部35は、提示情報の内容に対応付けて、一般に想定される視線の時間変化の情報を記憶しておく。
なりすまし判定部34は、視線変化検出部12によって検出された視線の時間変化の情報と、その際に表示されていた提示情報の内容に対応付けて標準情報記憶部35に記憶されている視線変化の情報とを比較する。そして、なりすまし判定部34は、比較結果に基づいて、検出された視線の時間変化の情報が、提示情報の内容に対応する標準的な視線の時間変化の情報に合致しないと判定すれば、なりすましであると判定する。また、なりすまし判定34は、比較結果に基づいて、これらが合致すると判定すれば、なりすましでないと判定する。
以上のように構成されたなりすまし検知装置3の動作について、図12を参照して説明する。
まず、なりすまし検知装置3は、本発明の第1の実施の形態と同様にステップS1~S3を実行する。これにより、なりすまし検知装置3は、顔画像列の取得および視線の時間変化の情報の検出を開始し、提示情報を表示する。
次に、なりすまし判定部34は、視線変化検出部12によって検出された視線の時間変化の情報と、提示情報表示部13による提示情報の内容に応じた標準的な視線の時間変化の情報とを比較する。そして、なりすまし判定部34は、比較結果に基づいて、顔画像列の表す人物について、なりすましの可能性を判定する(ステップS34)。
以上で、なりすまし検知装置3は動作を終了する。
次に、本発明の第3の実施の形態の動作を、具体例を用いて説明する。
この具体例では、標準情報記憶部35は、想定される提示情報の内容に対応付けて、標準的な視線の時間変化の情報をあらかじめ記憶している。例えば、標準情報記憶部35は、「暗証番号を入力して下さい」との文字情報からなる提示情報に対応付けて、暗証番号入力画面の付近を小刻みに動く視線の時間変化の情報を記憶する。また、例えば、標準情報記憶部35は、「顔をカメラに対して正面に向けて下さい」との文字情報からなる提示情報に対応付けて、カメラ方向を一定時間見つめる視線の時間変化の情報を記憶する。また、例えば、標準情報記憶部35は、長い文章からなる提示情報に対応付けて、提示情報の位置にある文章中の各文字を順に移動する視線の時間変化の情報を記憶する。なお、ここでは、標準的な視線の時間変化の情報は、検出される視線の時間変化の情報と同様に、視線位置の時系列およびその微分値によって構成されているものとする。
この具体例では、なりすまし検知装置3は、本発明の第2の実施の形態における具体例と同様に、ステップS1~S2まで動作する。これにより、なりすまし検知装置3は、図6に示すような顔画像列を取得し、図7~図9に示したような視線の時間変化の情報を検出したものとする。
次に、提示情報表示部13は、提示情報を表示装置1006に表示する(ステップS3)。
次に、なりすまし判定部34は、ステップS2で検出された視線の時間変化の情報と、ステップS3で表示された提示情報に対応する標準的な視線の時間変化の情報とを比較する。そして、なりすまし判定部34は、比較結果に基づいて、顔画像列の表す人物について、なりすましの可能性を判定する(ステップS34)。
具体的には、なりすまし判定部34は、検出された視線の時間変化の情報(gx(t)、gy(t))と、標準的な視線の時間変化の情報(hx(t)、hy(t))との分散の差εを、次式(4)を用いて算出する。なお、以下では、εを評価値3と呼ぶ。
Figure 2023052914000005
ここで、g (t)、g (t)、h (t)、h (t)は、それぞれ前述した時間変化の情報gx(t)、gy(t)、hx(t)、hy(t)である。varは、分散を計算する関数である。また、λは、x成分とy成分とのバランスを調整するパラメータである。また、mは、提示情報表示部13により提示情報が表示された時刻を表す。また、tおよびtは、分散を計算する区間を決定するパラメータである。なお、tおよびtの値は、それぞれ、正の値、負の値、または0が設定可能である。例えば、tおよびtの値とも正の値を設定すれば、上記式(4)は、時刻mを含む所定区間について評価値3を算出することになる。また、tに0を設定し、tに正の値を設定すれば、上記式(4)は、時刻m以降の所定区間について評価値3を算出することになる。また、tに負の値を設定し、tに正の値を設定すれば、上記式(4)は、時刻m以降で人間の反応速度を考慮した所定区間について分散を算出することになる。
なりすまし判定部34は、評価値3を閾値3と比較する。そして、評価値3が閾値3より高ければ、なりすまし判定部34は、顔画像列の表す顔がなりすましであると判定する。また、評価値3が閾値3より低ければ、なりすまし判定部34は、顔画像列の表す顔がなりすましでないと判定する。
また、本実施の形態は、本発明の第2の実施の形態と組合せて実施することも可能である。その場合、なりすまし検知装置3は、提示情報表示部13の代わりに本発明の第2の実施の形態における提示情報表示部23を備える。そして、なりすまし判定部34は、本発明の第2の実施の形態のなりすまし判定部24と同様に、前述の具体例における評価値1および評価値2を算出してもよい。さらに、なりすまし判定部34は、前述の具体例における評価値3を算出してもよい。なお、この場合、なりすまし判定部34は、切替前後の提示情報のそれぞれについて、検出された視線の時間変化の情報と、標準的な視線の時間変化の情報とを比較して評価値3を算出してもよい。そして、なりすまし判定部34は、評価値1、評価値2、および、評価値3の各閾値との比較結果に基づいて、なりすまし判定を行えばよい。例えば、なりすまし判定部34は、評価値1、評価値2、および、評価値3のいずれもがそれぞれの閾値より高い場合に、なりすましであると判定してもよい。
次に、本発明の第3の実施の形態の効果について述べる。
本発明の第3の実施の形態としてのなりすまし検知装置は、装置構成および利用者の負担を増大させることなく、顔認証におけるなりすましをさらに精度良く検知することができる。
その理由は、本発明の第1の実施の形態と同様の構成に加えて、なりすまし判定部が、検出された視線の時間変化の情報と、提示情報の内容との関連性に基づいて、顔画像列の表す顔についてなりすましの可能性を判定するからである。
ここで、顔認証において、真の人間の視線は、提示情報の内容に応じて無意識に変化すると考えられる。しかしながら、なりすまし者が、自身とは異なる他人の顔の映像をスマートフォン等のディスプレイに映し撮像装置に提示した場合、ディスプレイ中の他人の顔の視線は、提示情報の内容からは想定されない動きとなる可能性が高い。具体的には、例えば、ディスプレイ中の他人の視線が一定の場合は、提示情報の内容が暗証番号の入力を促す内容であっても、ディスプレイ中の他人の視線は変化しないことになる。また、ディスプレイ中の他人の視線が様々に動いている場合に、提示情報の内容が例えば文章であっても、ディスプレイ中の他人の視線の変化は、その文章の文字を読み進めるような視線の移動とは異なる可能性が高い。そのため、他人の顔の映像をスマートフォン等のディスプレイに映しカメラに提示している場合には、視線変化検出部が検出する視線の時間変化の情報は、提示情報の内容に応じた標準的な視線の時間変化の情報と合致しない。
このように、本実施の形態は、認証処理の一環としてユーザに提示される提示情報の内容に応じたユーザの自然な視線の動きを用いて、なりすましを判定することができる。その結果、本実施の形態は、なりすまし検知のために利用者の負担を増大させることなく、精度よくなりすましを検知することができる。
なお、上述した本発明の各実施の形態において、顔画像列取得部は、撮像装置から入力される画像に基づく顔画像列を略リアルタイムに取得することを前提として説明した。この他、顔画像列取得部は、記憶装置に記憶された顔画像列(例えば、撮像装置によって過去に撮影されて保存された動画データ等)を取得してもよい。この場合、なりすまし判定部は、その顔画像列が撮像された際に提示情報表示部によって表示されていた提示情報について、その提示タイミングや提示位置に関する情報を取得すればよい。例えば、そのような提示情報に関する情報は、顔画像列とともに記憶装置に記憶されていてもよい。そして、なりすまし判定部は、記憶装置から取得した顔画像列から検出される視線の時間変化を表す情報を、提示情報に関する情報と比較すればよい。
また、上述した本発明の各実施の形態において、視線の時間変化の情報として、視線位置または視線方向を表す情報の時系列およびそれらの微分値を用いる場合を中心に説明した。この他、視線の時間変化の情報は、顔画像列から検出可能であって視線の時間変化を表す情報であれば、その他の情報であってもよい。
また、上述した本発明の第2および第3の実施の形態において、なりすまし判定部は、評価値1から評価値3を用いてなりすましを判定する例を中心に説明した。このとき、評価値1から評価値3の各算出式は、上記に限らない。また、これらの評価値に限らず、なりすまし判定部は、検出された視線の時間変化の情報と、認証処理の一環としてユーザに提示される提示情報との関連性に基づいて、なりすましを判定すればよい。
また、上述した本発明の各実施の形態において、なりすまし判定部は、顔画像列の表す顔が、なりすましであるか否かを判定する例を中心に説明した。この他、なりすまし判定部は、なりすましの程度を表す情報を判定結果として出力するようにしてもよい。
また、上述した本発明の各実施の形態において、なりすまし検知装置の各機能ブロックが、記憶装置またはROMに記憶されたコンピュータ・プログラムを実行するCPUによって実現される例を中心に説明した。この他、各機能ブロックの一部、全部、または、それらの組み合わせが専用のハードウェアにより実現されていてもよい。
また、上述した本発明の各実施の形態において、なりすまし検知装置の機能ブロックは、複数の装置に分散されて実現されてもよい。
また、上述した本発明の各実施の形態において、各フローチャートを参照して説明したなりすまし検知装置の動作を、本発明のコンピュータ・プログラムとしてコンピュータ装置の記憶装置(記憶媒体)に格納しておいてもよい。そして、係るコンピュータ・プログラムを当該CPUが読み出して実行するようにしてもよい。そして、このような場合において、本発明は、係るコンピュータ・プログラムのコードあるいは記憶媒体によって構成される。
また、上述した各実施の形態は、適宜組み合わせて実施されることが可能である。
また、本発明は、上述した各実施の形態に限定されず、様々な態様で実施されることが可能である。
本発明のなりすまし検知技術は、装置構成および利用者の負担を増大させることなく、顔認証におけるなりすましをより精度良く検知することができ、顔認証を用いたシステムのセキュリティレベルを向上する目的に広く利用可能である。
以上、上述した実施形態を模範的な例として本発明を説明した。しかしながら、本発明は、上述した実施形態には限定されない。即ち、本発明は、本発明のスコープ内において、当業者が理解し得る様々な態様を適用することができる。
この出願は、2014年10月15日に出願された日本出願特願2014-210529を基礎とする優先権を主張し、その開示の全てをここに取り込む。
1、2、3 なりすまし検知装置
11 顔画像列取得部
12 視線変化検出部
13、23 提示情報表示部
14、24、34 なりすまし判定部
35 標準情報記憶部
1001 CPU
1002 RAM
1003 ROM
1004 記憶装置
1005 撮像装置
1006 表示装置

Claims (14)

  1. 時系列の顔を含む画像を取得する顔画像取得手段と、
    前記顔を含む画像から人物の顔画像を検出する検出手段と、
    前記検出手段によって人物の顔が検出された場合に、表示装置の画面に表示した第1の提示情報を、前記表示装置の画面のxy平面座標上で、第1の表示位置から第2の表示位置へ移動を開始する提示情報表示手段と、
    前記顔画像から、視線の時間変化を検出する視線変化検出手段と、
    前記第1の提示情報の前記第1の表示位置から前記第2の表示位置への変化の方向と、視線位置の変化の方向との関係に基づいて、前記顔画像の表す顔が生体かどうかを判定する判定手段と、
    を備えた生体検知装置。
  2. 前記提示情報表示手段は、表示装置の画面に顔の向きに関する指示である第2の提示情報を表示し、前記第2の提示情報を表示した後に、表示装置の画面に表示した前記第1の提示情報を、第1の表示位置から第2の表示位置へ移動する
    ことを特徴とする請求項1に記載の生体検知装置。
  3. 前記提示情報表示手段は、前記第1の提示情報の切り替えを行い、
    前記判定手段は、前記視線の時間変化の情報と、前記第1の提示情報の切り替えとの関連性に基づいて、生体かどうかを判定する
    ことを特徴とする請求項1または請求項2に記載の生体検知装置。
  4. 前記判定手段は、前記視線の時間変化の情報と、前記切り替えのタイミングとの関連性に基づいて、生体かどうかを判定する
    ことを特徴とする請求項3に記載の生体検知装置。
  5. 前記判定手段は、前記視線の時間変化の情報と、前記切り替えによる前記第1の提示情報の表示位置の変化との関連性に基づいて、生体かどうかを判定する
    ことを特徴とする請求項3または請求項4に記載の生体検知装置。
  6. 時系列の顔を含む画像を取得し、
    前記顔を含む画像から人物の顔画像を検出し、
    人物の顔が検出された場合に、表示装置の画面に表示した第1の提示情報を、前記表示装置の画面のxy平面座標上で、第1の表示位置から第2の表示位置へ移動を開始し、
    前記顔画像から、視線の時間変化を検出し、
    前記第1の提示情報の前記第1の表示位置から前記第2の表示位置への変化の方向と、視線位置の変化の方向との関係に基づいて、前記顔画像の表す顔が生体かどうかを判定する
    生体検知方法。
  7. 時系列の顔を含む画像を取得する顔画像取得ステップと、
    前記顔を含む画像から人物の顔画像を検出する検出ステップと、
    前記検出ステップによって人物の顔が検出された場合に、表示装置の画面に表示した第1の提示情報を、前記表示装置の画面のxy平面座標上で、第1の表示位置から第2の表示位置へ移動を開始する提示情報表示ステップと、
    前記顔画像から、視線の時間変化を検出する視線変化検出ステップと、
    前記第1の提示情報の前記第1の表示位置から前記第2の表示位置への変化の方向と、視線位置の変化の方向との関係に基づいて、前記顔画像の表す顔が生体かどうかを判定する判定ステップと、
    をコンピュータ装置に実行させる生体検知プログラム。
  8. 時系列の顔を含む画像を取得する顔画像取得手段と、
    表示装置の画面に表示した第1の提示情報のみを、前記表示装置の画面のxy平面座標上で、第1の表示位置から第2の表示位置へ移動する提示情報表示手段と、
    前記顔を含む画像から、視線の時間変化を検出する視線変化検出手段と、
    前記第1の提示情報の前記第1の表示位置から前記第2の表示位置への変化の方向と、視線位置の変化の方向との関係に基づいて、前記顔を含む画像の表す顔が生体かどうかを判定する判定手段と、
    を備えた生体検知装置。
  9. 前記提示情報表示手段は、表示装置の画面に顔の向きに関する指示である第2の提示情報を表示し、前記第2の提示情報を表示した後に、表示装置の画面に表示した前記第1の提示情報を、第1の表示位置から第2の表示位置へ移動する
    ことを特徴とする請求項8に記載の生体検知装置。
  10. 前記提示情報表示手段は、前記第1の提示情報の切り替えを行い、
    前記判定手段は、前記視線の時間変化の情報と、前記第1の提示情報の切り替えとの関連性に基づいて、生体かどうかを判定する
    ことを特徴とする請求項8または請求項9に記載の生体検知装置。
  11. 前記判定手段は、前記視線の時間変化の情報と、前記切り替えのタイミングとの関連性に基づいて、生体かどうかを判定する
    ことを特徴とする請求項10に記載の生体検知装置。
  12. 前記判定手段は、前記視線の時間変化の情報と、前記切り替えによる前記第1の提示情報の表示位置の変化との関連性に基づいて、生体かどうかを判定する
    ことを特徴とする請求項10または請求項11に記載の生体検知装置。
  13. 時系列の顔を含む画像を取得し、
    表示装置の画面に表示した第1の提示情報のみを、前記表示装置の画面のxy平面座標上で、第1の表示位置から第2の表示位置へ移動し、
    前記顔を含む画像から、視線の時間変化を検出し、
    前記第1の提示情報の前記第1の表示位置から前記第2の表示位置への変化の方向と、視線位置の変化の方向との関係に基づいて、前記顔を含む画像の表す顔が生体かどうかを判定する
    生体検知方法。
  14. 時系列の顔を含む画像を取得する顔画像取得ステップと、
    表示装置の画面に表示した第1の提示情報のみを、前記表示装置の画面のxy平面座標上で、第1の表示位置から第2の表示位置へ移動する提示情報表示ステップと、
    前記顔を含む画像から、視線の時間変化を検出する視線変化検出ステップと、
    前記第1の提示情報の前記第1の表示位置から前記第2の表示位置への変化の方向と、視線位置の変化の方向との関係に基づいて、前記顔を含む画像の表す顔が生体かどうかを判定する判定ステップと、
    をコンピュータ装置に実行させる生体検知プログラム。
JP2023015816A 2014-10-15 2023-02-06 生体検知装置、生体検知方法、および、生体検知プログラム Pending JP2023052914A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014210529 2014-10-15
JP2014210529 2014-10-15
JP2020149884A JP2020194608A (ja) 2014-10-15 2020-09-07 生体検知装置、生体検知方法、および、生体検知プログラム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2020149884A Division JP2020194608A (ja) 2014-10-15 2020-09-07 生体検知装置、生体検知方法、および、生体検知プログラム

Publications (1)

Publication Number Publication Date
JP2023052914A true JP2023052914A (ja) 2023-04-12

Family

ID=55746346

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2016553968A Active JP6809226B2 (ja) 2014-10-15 2015-10-09 生体検知装置、生体検知方法、および、生体検知プログラム
JP2020149884A Pending JP2020194608A (ja) 2014-10-15 2020-09-07 生体検知装置、生体検知方法、および、生体検知プログラム
JP2023015816A Pending JP2023052914A (ja) 2014-10-15 2023-02-06 生体検知装置、生体検知方法、および、生体検知プログラム

Family Applications Before (2)

Application Number Title Priority Date Filing Date
JP2016553968A Active JP6809226B2 (ja) 2014-10-15 2015-10-09 生体検知装置、生体検知方法、および、生体検知プログラム
JP2020149884A Pending JP2020194608A (ja) 2014-10-15 2020-09-07 生体検知装置、生体検知方法、および、生体検知プログラム

Country Status (4)

Country Link
US (5) US10515262B2 (ja)
EP (2) EP4047551A1 (ja)
JP (3) JP6809226B2 (ja)
WO (1) WO2016059786A1 (ja)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9830708B1 (en) 2015-10-15 2017-11-28 Snap Inc. Image segmentation of a video stream
WO2017205543A1 (en) * 2016-05-24 2017-11-30 Brown Timothy J Liveness detection for face capture
CN110705507B (zh) 2016-06-30 2022-07-08 北京七鑫易维信息技术有限公司 一种身份识别方法及装置
WO2018058554A1 (en) * 2016-09-30 2018-04-05 Intel Corporation Face anti-spoofing using spatial and temporal convolutional neural network analysis
CN107609462A (zh) * 2017-07-20 2018-01-19 北京百度网讯科技有限公司 待检测信息生成及活体检测方法、装置、设备及存储介质
MX2020002941A (es) 2017-09-18 2022-05-31 Element Inc Métodos, sistemas y medios para la detección de suplantación de identidad en la autenticación móvil.
JP7070588B2 (ja) * 2018-02-01 2022-05-18 日本電気株式会社 生体認証装置、システム、方法およびプログラム
EP3938953A4 (en) 2019-03-12 2022-12-28 Element, Inc. FACIAL RECOGNITION SPOOFING DETECTION WITH MOBILE DEVICES
BR112021025892A2 (pt) * 2019-06-28 2022-02-08 Nec Corp Aparelho de detecção de falsificação, método de detecção de falsificação e meio de armazenamento legível por computador
JP6707702B1 (ja) 2019-09-18 2020-06-10 株式会社ソリトンシステムズ ユーザ認証装置及びプログラム
US11507248B2 (en) 2019-12-16 2022-11-22 Element Inc. Methods, systems, and media for anti-spoofing using eye-tracking
US11501531B2 (en) 2020-03-03 2022-11-15 Cyberlink Corp. Systems and methods for anti-spoofing protection using motion detection and video background analysis
WO2021220423A1 (ja) * 2020-04-28 2021-11-04 日本電気株式会社 認証装置、認証システム、認証方法および認証プログラム
WO2022059151A1 (ja) * 2020-09-17 2022-03-24 富士通株式会社 顔認証方法、顔認証プログラム、および顔認証装置
EP4227890A4 (en) * 2020-10-09 2023-12-06 NEC Corporation DEVICE FOR DETECTING A LIVING BODY, CONTROL METHOD AND COMPUTER READABLE MEDIUM
IT202100002744A1 (it) * 2021-02-08 2022-08-08 Euronovate Sa Sistema per la verifica dell’autenticita’ di una persona mediante riconoscimento facciale
US20240078704A1 (en) * 2021-04-28 2024-03-07 Nec Corporation Information processing system, information processing method, and recording medium

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3557729A (en) 1969-07-02 1971-01-26 Union Special Machine Co Blindstitch sewing machine
JP3562970B2 (ja) 1998-09-10 2004-09-08 沖電気工業株式会社 生体識別装置
JP4469476B2 (ja) 2000-08-09 2010-05-26 パナソニック株式会社 眼位置検出方法および眼位置検出装置
JP2008305400A (ja) 2001-05-25 2008-12-18 Toshiba Corp 顔画像記録装置、及び顔画像記録方法
JP2006023953A (ja) 2004-07-07 2006-01-26 Fuji Photo Film Co Ltd 情報表示システム
JP4470663B2 (ja) 2004-09-14 2010-06-02 沖電気工業株式会社 虹彩認証における不正検出システム
JP4734980B2 (ja) * 2005-03-15 2011-07-27 オムロン株式会社 顔認証装置およびその制御方法、顔認証装置を備えた電子機器、顔認証装置制御プログラム、ならびに該プログラムを記録した記録媒体
JP2006308375A (ja) 2005-04-27 2006-11-09 Matsushita Electric Ind Co Ltd 赤外線利用型目位置検出装置
JP4765575B2 (ja) 2005-11-18 2011-09-07 富士通株式会社 個人認証方法、個人認証プログラムおよび個人認証装置
JP4807167B2 (ja) 2006-07-06 2011-11-02 オムロン株式会社 なりすまし検知装置
JP4752660B2 (ja) * 2006-07-28 2011-08-17 沖電気工業株式会社 個人認証方法及び個人認証装置
JP2008276345A (ja) 2007-04-26 2008-11-13 Kyocera Corp 電子機器及び認証方法及びプログラム
CN102197412B (zh) * 2008-10-28 2014-01-08 日本电气株式会社 伪装检测系统和伪装检测方法
KR20130100267A (ko) 2010-08-09 2013-09-10 시박스, 인크. 질환을 예방하기 위한 방법 및 조성물
AU2012201745B2 (en) * 2011-03-24 2014-11-13 Visa International Service Association Authentication using application authentication element
JP5755012B2 (ja) * 2011-04-21 2015-07-29 キヤノン株式会社 情報処理装置、その処理方法、プログラム及び撮像装置
JP5035467B2 (ja) 2011-10-24 2012-09-26 日本電気株式会社 立体性認証方法、立体性認証装置および立体性認証プログラム
US9025830B2 (en) * 2012-01-20 2015-05-05 Cyberlink Corp. Liveness detection system based on face behavior
US8542879B1 (en) * 2012-06-26 2013-09-24 Google Inc. Facial recognition
US8856541B1 (en) * 2013-01-10 2014-10-07 Google Inc. Liveness detection
JP6104030B2 (ja) 2013-04-19 2017-03-29 本田技研工業株式会社 車両用バックドア構造

Also Published As

Publication number Publication date
US20170228586A1 (en) 2017-08-10
JP6809226B2 (ja) 2021-01-06
US20220075999A1 (en) 2022-03-10
EP3208770A4 (en) 2018-05-30
EP4047551A1 (en) 2022-08-24
US20200082161A1 (en) 2020-03-12
US20230351805A1 (en) 2023-11-02
WO2016059786A1 (ja) 2016-04-21
US10515262B2 (en) 2019-12-24
JPWO2016059786A1 (ja) 2017-08-03
US11699302B2 (en) 2023-07-11
US11210500B2 (en) 2021-12-28
EP3208770A1 (en) 2017-08-23
US20230298383A1 (en) 2023-09-21
EP3208770B1 (en) 2022-05-04
JP2020194608A (ja) 2020-12-03

Similar Documents

Publication Publication Date Title
JP2023052914A (ja) 生体検知装置、生体検知方法、および、生体検知プログラム
CN105184246B (zh) 活体检测方法和活体检测系统
EP3332403B1 (en) Liveness detection
JP6544244B2 (ja) 情報処理装置、情報処理方法及びプログラム
US9750420B1 (en) Facial feature selection for heart rate detection
US9607138B1 (en) User authentication and verification through video analysis
JP6025690B2 (ja) 情報処理装置および情報処理方法
JP6587435B2 (ja) 画像処理装置、情報処理方法及びプログラム
KR20190038594A (ko) 얼굴 인식-기반 인증
TWI616822B (zh) 在以影像爲基礎的生物統計中之臉部欺騙偵測技術
JP6052399B2 (ja) 画像処理プログラム、画像処理方法及び情報端末
JP2015088096A (ja) 情報処理装置および情報処理方法
JP2015088095A (ja) 情報処理装置および情報処理方法
JP2015088098A (ja) 情報処理装置および情報処理方法
US20130321404A1 (en) Operating area determination method and system
JP2024042707A (ja) 端末、方法、及びプログラム
KR20150069799A (ko) 얼굴 인증 방법 및 그 장치
JPWO2022074865A5 (ja) 生体検知装置、制御方法、及びプログラム
WO2015181729A1 (en) Method of determining liveness for eye biometric authentication
KR20160075322A (ko) 홍채 인식 장치 및 그 동작 방법
KR20110012820A (ko) 얼굴 구성 성분의 모션 조합에 의한 개인 인증 장치 및 그 방법
JP5808787B2 (ja) 情報処理装置および情報処理方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230206

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240109

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240304