JP2020502602A - 顔認識に基づいた認証 - Google Patents

顔認識に基づいた認証 Download PDF

Info

Publication number
JP2020502602A
JP2020502602A JP2019511999A JP2019511999A JP2020502602A JP 2020502602 A JP2020502602 A JP 2020502602A JP 2019511999 A JP2019511999 A JP 2019511999A JP 2019511999 A JP2019511999 A JP 2019511999A JP 2020502602 A JP2020502602 A JP 2020502602A
Authority
JP
Japan
Prior art keywords
image
subject
face
projection
projection information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019511999A
Other languages
English (en)
Other versions
JP6878572B2 (ja
Inventor
リン・ジュンスイ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Group Holding Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Publication of JP2020502602A publication Critical patent/JP2020502602A/ja
Application granted granted Critical
Publication of JP6878572B2 publication Critical patent/JP6878572B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/88—Image or video recognition using optical means, e.g. reference filters, holographic masks, frequency domain filters or spatial domain filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/167—Detection; Localisation; Normalisation using comparisons between temporally consecutive images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection
    • G06V40/45—Detection of the body part being alive
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/60—Static or dynamic means for assisting the user to position a body part for biometric acquisition
    • G06V40/67—Static or dynamic means for assisting the user to position a body part for biometric acquisition by interactive indications to the user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/66—Substation equipment, e.g. for use by subscribers with means for preventing unauthorised or fraudulent calling
    • H04M1/667—Preventing unauthorised calls from a telephone set
    • H04M1/67—Preventing unauthorised calls from a telephone set by electronic means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2358/00—Arrangements for display data security
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/52—Details of telephonic subscriber devices including functional features of a camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/54—Details of telephonic subscriber devices including functional features of a projector or beamer module assembly

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Library & Information Science (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)
  • Collating Specific Patterns (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Image Processing (AREA)

Abstract

【課題】【解決手段】顔認識に基づいた認証が：被写体の第１画像を取得する工程と；ディスプレイデバイスによる表示に関連する投写情報を更新する工程と；被写体の第２画像を取得する工程であって、第２画像は、投写情報が更新された後の被写体の画像である、工程と；第１画像および第２画像に少なくとも部分的に基づいて、画像相違データを取得する工程と；画像相違データに少なくとも部分的に基づいて、被写体が仮想物体であるか否かを判定する工程と、を備える。【選択図】図４

Description

他の出願の相互参照
本願は、２０１６年９月３０日出願の中国特許出願第２０１６１０８７３８０４．１号「 Ａ ＴＥＲＭＩＮＡＬ ＤＥＶＩＣＥ， Ａ ＳＭＡＲＴ ＰＨＯＮＥ， ＡＮＤ Ａ ＦＡＣＩＡＬ ＲＥＣＯＧＮＩＴＩＯＮ−ＢＡＳＥＤ ＡＵＴＨＥＮＴＩＣＡＴＩＯＮ ＭＥＴＨＯＤ ＡＮＤ ＳＹＳＴＥＭ」の優先権を主張する。当該出願は、すべての目的のために参照により本明細書に組み込まれる。
本願は、本人確認の分野に関し、特に、顔認識に基づいた認証のための端末デバイス、スマートフォン、方法、および、システムに関する。
バイオメトリクスは、コンピュータ、光学センサ、音響センサ、生体センサ、生物統計学の原理、および、その他の先端技術の方法を組み合わせ、人体の固有の生理学的特徴（例えば、指紋、声紋、顔、虹彩など）および行動的特徴（例えば、筆跡、音声、歩き方など）を用いて、個人を識別することによって、個人のアイデンティティを認証する方法である。顔認識技術は、正確、非侵襲的、かつ、リアルタイムである点で、その他のバイオメトリクスを超える利点を持つ。したがって、ビデオ監視、顔認識に基づいた出席確認、および、識別認証システムなど、社会の様々な部門で幅広く応用されている。
識別認証の分野、特に、顔認識に基づいた識別認証の分野において、関連技術は、一般に、以下の２つの技術に従って、アイデンティティを認証する：
第１の技術では、顔画像認識に基づいた識別認証システムが、カメラを用いてユーザの顔画像をキャプチャすることによって認識および認証を行う。顔認識処理において、システムは、顔画像に関する特徴情報を抽出する。しかしながら、人物の写真と、ビデオカメラによって取得された顔画像は、ほぼ同じ特徴を有する。そのため、画像キャプチャデバイスの前で、顔の写真を回転させる、ひっくり返す、折り曲げる、および、その他のかかる動作を行うことによって、実際の人物の効果を模倣して、認証システムを欺くことが可能である。したがって、顔画像認識に基づいた識別認証システムは、正規ユーザの写真および正規ユーザの三次元モデルによる攻撃に脆弱である。
第２の技術では、顔画像認識に基づいた識別認証システムにおいて、画像フレーム内の人間の顔が、顔認識、特徴点抽出、顔特徴点比較、動作認識などを受ける。生きている本物の人物が、主に、顔の表現活動の形態を用いて評価される。ユーザは、１または複数の動作（頭を縦または横に振る、瞬きする、もしくは、口を開く、など）を実行するように促され、システムは、ユーザによって実行された対応する動作を受信する。人物の動作は、撮影された連続画像を用いて計算および解析される。具体的には、顔画像を取得するために、ユーザのリアルタイム画像がビデオカメラで撮影される。代表的な特徴点が、顔画像から抽出され、これらの点は、鼻、眉毛、口、および、その他のかかる特徴を含むが、これらに限定されない。次いで、特定の動作（頭を縦または横に振る、瞬きする、もしくは、口を開けることを含むが、これらに限定されない）があるか否かを評価するために、ルールベース方法または機械学習などの方法が、連続的なマルチフレーム画像の特徴点の連続的な変化に適用される。その結果、システムは、ユーザの動作の正当性を評価し、したがって、リアルタイム画像が本物の人物に対応するか否かを判定する。かかる顔画像認識に基づいた識別認証システムは、以下の３つの形態の攻撃を受ける：
１．ビデオ再生攻撃：予め記録された適切な動作のビデオ画像を用いることによって動作が模倣され、このように、顔ライブ認識システムが攻撃される。
２．連続写真攻撃：連続した画像スライドを再生することによって動作が模倣され、このようにし、顔ライブ認識システムが攻撃される。
３．顔動作ソフトウェアシミュレーション攻撃：ビデオ再生攻撃および顔動作ソフトウェアシミュレーション攻撃が、正規ユーザの写真を取得する。頭を縦に振る、横に振る、瞬きする動作、および、その他のかかる動作が、ソフトウェアシミュレーションを通して合成され、このように、顔ライブ認識システムが攻撃される。
既存のライブ認識に基づいた認証システムでは、非正規ユーザが上述のシミュレートされた正規ユーザの動作を利用するビデオ攻撃または画像攻撃に未だ脆弱であることから、課題に対処するための効果的な解決法が求められている。
以下の詳細な説明と添付の図面において、本発明の様々な実施形態を開示する。
ここで説明する図面は、本発明の理解を深めるよう意図されており、本願の一部を形成する。本発明の典型的な実施形態およびその説明は、本発明を説明するよう意図されており、本発明の不適切な限定となるものではない。以下の図面が含まれる：
本願の様々な実施形態に従って、顔認識に基づいた認証のための端末を示す構造ブロック図。
本願の様々な実施形態に従って、顔認識に基づいた認証のための端末を示す構造ブロック図。
本願の様々な実施形態に従って、顔認識に基づいた認証のためのシステムを示す図。
本願の様々な実施形態に方法に従って、顔認識に基づいた認証方法を示すフローチャート。
本願の様々な実施形態に従って、端末のフロントビデオカメラによって取得された人間の顔の被写体を示す図。
本願の様々な実施形態に従って、端末に関連する明るさが増大された後に、端末のフロントビデオカメラによって取得された人間の顔の被写体を示す図。
本願の様々な実施形態に従って、顔認識に基づいた認証システムのための方法を示す相互作用図。
本願の様々な実施形態に従って、顔認識に基づいた認証のための方法を示すフローチャート。
本願の様々な実施形態に従って、顔認識に基づいた認証のための方法を示すフローチャート。
本願の様々な実施形態に従って、スマートフォンを示す図。
本願の様々な実施形態に従って、コンピュータ端末を示す構造ブロック図。
本発明は、処理、装置、システム、物質の組成、コンピュータ読み取り可能な格納媒体上に具現化されたコンピュータプログラム製品、および／または、プロセッサ（プロセッサに接続されたメモリに格納および／またはそのメモリによって提供される命令を実行するよう構成されたプロセッサ）を含め、様々な形態で実装されうる。本明細書では、これらの実装または本発明が取りうる任意の他の形態を、技術と呼ぶ。一般に、開示された処理の工程の順序は、本発明の範囲内で変更されてもよい。特に言及しない限り、タスクを実行するよう構成されるものとして記載されたプロセッサまたはメモリなどの構成要素は、ある時間にタスクを実行するよう一時的に構成された一般的な構成要素として、または、タスクを実行するよう製造された特定の構成要素として実装されてよい。本明細書では、「プロセッサ」という用語は、１または複数のデバイス、回路、および／または、コンピュータプログラム命令などのデータを処理するよう構成された処理コアを指すものとする。
以下では、本発明の原理を示す図面を参照しつつ、本発明の１または複数の実施形態の詳細な説明を行う。本発明は、かかる実施形態に関連して説明されているが、どの実施形態にも限定されない。本発明の範囲は、特許請求の範囲によってのみ限定されるものであり、本発明は、多くの代替物、変形物、および、等価物を含む。以下の説明では、本発明の完全な理解を提供するために、多くの具体的な詳細事項が記載されている。これらの詳細事項は、例示を目的としたものであり、本発明は、これらの具体的な詳細事項の一部または全てがなくとも特許請求の範囲に従って実施可能である。簡単のために、本発明に関連する技術分野で周知の技術事項については、本発明が必要以上にわかりにくくならないように、詳細には説明していない。
当業者が本発明の技術スキーム（技術）をより良く理解するように、本発明の実施形態における技術スキームは、本発明の実施形態の図面に照らして明確かつ完全に説明されている。明らかに、記載した実施形態は、すべての実施形態ではなく、本発明の実施形態の一部にすぎない。本発明の実施形態に基づいて当業者によって得られるすべての他の実施形態は、さらなる創造的努力が費やされない限り、本発明の保護の範囲内に含まれる。
「第１」、「第２」などの用語は、本発明の記載および請求項ならびに上述の図面において、類似した対象を区別するために用いられ、必ずしも特定の順序または時系列を記載するものではないことに注意されたい。このように用いられるデータは、本明細書に記載の本発明の実施形態を本明細書図面または記載の順序以外の順序に従って実施できるように、適切な状況下で交換可能である。さらに、「備える」または「有する」という用語ならびにそれらの変化形は、非排他的であることを意図している。例えば、一連の工程またはユニットを含む処理、方法、システム、製品、または、装置は、明示的に列挙されたそれらの工程またはユニットに限定される必要はなく、明示的に列挙されていない他の工程またはユニット、もしくは、これらの処理、方法、製品、または、装置に内在する他の工程またはユニットも含みうる。
本願の様々な実施形態を記載する過程で現れる用語の一部は、以下の説明に当てはまる：
ビデオデバイス：ビデオキャプチャおよび静止画キャプチャなどの機能を有するデバイス（例えば、ビデオカメラ、スマートフォン、タブレットなど）。画像がレンズを通してキャプチャされた後、ビデオデバイス内部の光感知素子回路および制御構成要素が、画像を処理して、端末デバイスによって認識可能なデジタル信号に変換する。画像は、（例えば、パラレルポート、ＵＳＢ、Ｂｌｕｅｔｏｏｔｈ（登録商標、以下同じ）、Ｗｉ−Ｆｉなどを介して）端末デバイスへ通信された後に、ソフトウェアによって復元されうる。
被写体：ビデオデバイスを通してそこから画像情報を取得できる任意の物体。被写体は、実物体または仮想物体でありうる。
画像：ビデオデバイスによって取得された被写体の写真、画像、または、ビデオ。本明細書に記載の様々な実施形態において、第１画像は、投写情報の変更の前にビデオデバイスによって取得された被写体の画像に対応し、第２画像は、投写情報の変更の後にビデオデバイスによって取得された被写体の画像に対応する。
投写情報：被写体上に投写して、それにより、被写体からの反射を引き起こすための情報。投写情報は、投写デバイス（例えば、ディスプレイスクリーン）上に表示されるコンテンツ（例えば、テキスト、画像など）、および／または、投写デバイスの表示パラメータ（例えば、色、明るさなど）を含みうる。投写情報は、投写デバイスに表示される（または、そうでなければ投写デバイスから出力される）コンテンツを更新することによって、または、投写デバイスの表示パラメータを更新することによって更新されうる。投写情報は、以下のうちの少なくとも１つを含みうる：投写明るさ、投写色、および、投写グラフィック（例えば、ユーザインターフェイス、ビデオ、画像など、表示されているコンテンツ）。
仮想物体：実物体（例えば、人物の顔など、現実の物体）の写真、三次元モデル（例えば、蝋人形）、ビデオ、連続写真のスライド、または、写真に基づいたソフトウェアシミュレーションから合成され実物体の動作を含む画像。
本明細書で用いられているように、端末とは、一般に、ネットワークシステム内で（例えば、ユーザによって）利用され、１または複数のサーバと通信するために利用されるデバイスのことである。本開示の様々な実施形態によれば、端末は、通信機能をサポートする構成要素を備えてよい。例えば、端末は、スマートフォン、タブレットデバイス、携帯電話、ビデオ電話、電子書籍リーダ、デスクトップコンピュータ、ラップトップコンピュータ、ネットブックコンピュータ、パーソナルコンピュータ、パーソナルデジタルアシスタント（ＰＤＡ）、携帯型マルチメディアプレーヤ（ＰＭＰ）、ｍｐ３プレーヤ、携帯型メディカルデバイス、カメラ、ウェアラブルデバイス（例えば、ヘッドマウントデバイス（ＨＭＤ）、電子衣服、電子装具、電子ネックレス、電子アクセサリ、電子タトゥー、または、スマートウォッチ）、スマート家電、車載移動局などであってよい。端末は、様々なオペレーティングシステムを実行できる。
端末は、様々な入力／出力モジュールを有しうる。例えば、端末は、タッチスクリーンまたはその他のディスプレイ、１または複数のセンサ、音声入力（例えば、ユーザの話し声）を入力できるマイク、カメラ、マウス、もしくは、端末に接続されたその他の外部入力デバイスなどを有しうる。
図１は、本願の様々な実施形態に従って、顔認識に基づいた認証のための端末を示す構造ブロック図である。
図１を参照すると、顔認識に基づいた認証のための端末１００が提供されている。端末１００は、図２の端末２００、図３のシステム３００、図９のスマートフォン９００、および／または、図１０のコンピュータ端末１０００と関連して実施されうる。端末１００は、図４の処理４００、図６の処理６００、図７の処理７００、および／または、図８の処理８００を、少なくとも部分的に実施できる。
様々な実施形態に従って、顔認識に基づいた認証のための方法が、コンピュータデバイス、携帯デバイス、または、同様の動作手段で実施されうる。
端末１００は、携帯デバイスであってよい。図１に示すように、端末１００は、１または複数のプロセッサ１１０と、メモリ１２０と、通信モジュール１３０と、を備える。プロセッサ１１０は、例えば、マイクロプロセッサ（ＭＣＵ）またはプログラム可能論理デバイス（ＦＰＧＡ）などの処理手段を含む。メモリ１２０は、プロセッサ１１０によって実行された時に顔認識に基づいた認証のための方法を実施する命令など、データを格納するよう構成される。通信モジュール１３０は、無線または有線通信など、通信機能を実行するよう構成される。無線通信は、Ｗｉ−Ｆｉ、Ｂｌｕｅｔｏｏｔｈ、赤外線、セルラー方式通信など、様々なプロトコルまたは技術を用いる通信を含みうる。当業者であれば、図１に示した構造は単に例示であり、電子デバイスの構造を限定するものではないことを理解できる。端末１００は、さらに、ディスプレイデバイス、マイクロフォン、スピーカ、ユーザインターフェイス、ディスプレイ（例えば、タッチスクリーン）、ネットワークインターフェースなど、のうちの１または複数を備えてもよい。
メモリ１２０は、アプリケーションソフトウェアのソフトウェアプログラムおよびモジュール（例えば、顔認識に基づいた認証のための方法に対応するプログラム命令／モジュール）を格納するために用いられる。メモリ１２０に格納されたソフトウェアプログラムおよびモジュールを実行することにより、プロセッサ１１０は、様々な関数適用およびデータ処理を実行する（すなわち、顔認識に基づいた認証のための方法を実施する）。いくつかの実施形態において、メモリ１２０は、高速ランダムアクセスメモリを含む。いくつかの実施形態において、メモリ１２０は、１または複数の磁気ストレージデバイス、フラッシュメモリ、または、その他の不揮発性ソリッドステートメモリなど、不揮発性メモリを含みうる。いくつかの実施形態において、メモリ１２０は、プロセッサ１１０に対してリモートに配置されたメモリを含む。かかるリモートメモリは、ネットワークを介して端末１００に接続されてよい。ネットワークの例は、インターネット、企業イントラネット、ローカルエリアネットワーク、モバイル通信ネットワーク、および、それらの組み合わせを含むが、これらに限定されない。
通信モジュール１３０は、ネットワークを介してデータを送受信するよう構成される。ネットワークの具体例は、端末１００の通信サプライヤによって提供された無線ネットワークを含む。いくつかの実施形態において、通信モジュール１３０は、ネットワークインターフェースコントローラ（ＮＩＣ）を備え、これは、基地局を介して他のネットワークに接続することにより、インターネットと通信することができる。いくつかの実施形態において、通信モジュール１３０は、高周波（ＲＦ）モジュールを含むか、または、そうでなければＲＦモジュールに対応しており、ＲＦモジュールは、インターネットなどのネットワークと無線通信するよう構成される。
端末１００は、ハードウェアコンポーネント（回路を含む）、ソフトウェアコンポーネント（コンピュータ読み取り可能な媒体に格納されたコンピュータコードを含む）、もしくは、ハードウェアコンポーネントおよびソフトウェアコンポーネントの両方の組みあわせ、を備えうる。図１に示す端末１００は、携帯デバイス内に存在しうるコンポーネントのタイプを提示する目的で示した特定の具体的な実施形態の一例にすぎない。
いくつかの実施形態において、端末１００は、タッチディスプレイデバイス（「タッチスクリーン」または「タッチディスプレイスクリーン」とも呼ばれる）を備える。いくつかの実施形態において、端末１００は、グラフィカルユーザインターフェイス（ＧＵＩ）を備える。ユーザは、指の接触および／またはタッチセンシティブ面に触れる動作によって、ＧＵＩとのヒューマンマシンインタラクションを行いうる。ヒューマンマシンインタラクション機能は、任意選択的に、以下のインタラクションのうちの１または複数を含む：ウェブページの作成、描画、テキスト処理、電子文書の作成、ゲーム、ビデオ会議、インスタントメッセージング、電子メールの送受信、インターフェースの呼び出し、デジタルビデオの再生、デジタル音声の再生、および／または、インターネットブラウジング、など。上述のヒューマンマシンインタラクション機能を実行するための実行可能な命令は、１または複数のプロセッサによって実行可能なコンピュータプログラム製品内に、もしくは、読み取り可能な記憶媒体内に、構成／格納される。
図２は、本願の様々な実施形態に従って、顔認識に基づいた認証のための端末を示す構造ブロック図である。
図２を参照すると、顔認識に基づいた認証のための端末２００が提供されている。端末２００は、図１の端末１００、図３のシステム３００、図９のスマートフォン９００、および／または、図１０のコンピュータ端末１０００と関連して実施されうる。端末２００は、図４の処理４００、図６の処理６００、図７の処理７００、および／または、図８の処理８００を、少なくとも部分的に実施できる。
端末２００は、ディスプレイスクリーン２１０と、ビデオデバイス２２０（例えば、カメラなどのビデオキャプチャデバイス）と、プロセッサ２３０と、を備えうる。
端末２００は、スマートフォン、タブレットコンピュータ、ノートブックコンピュータ、または、その他のスマートデバイスに対応しうる。いくつかの実施形態において、端末２００は、ビデオカメラ手段に外部接続されたデバイス（例えば、デスクトップコンピュータ）である。例えば、端末２００がスマートフォンである場合、ディスプレイスクリーン２１０は、スマートフォンディスプレイスクリーンに対応し、ビデオ手段２２０（例えば、ビデオカメラ）は、スマートフォンのカメラ（例えば、スマートフォンのフロントカメラ）に対応し、プロセッサ２３０は、スマートフォンのプロセッサに対応しうる。端末２００がデスクトップコンピュータである場合、ディスプレイスクリーン２１０は、デスクトップコンピュータのディスプレイスクリーンに対応し、プロセッサ２３０は、デスクトップコンピュータのプロセッサに対応しうる。デスクトップコンピュータは、一般に、ビデオカメラを備えるよう構成されないので、外部ビデオカメラがコンピュータに接続されてよく、その場合、ビデオ手段２２０（例えば、ビデオカメラ）は、外部ビデオカメラに対応しうる。
ディスプレイスクリーン２１０は、投写情報を投写（例えば、表示）するよう構成される。投写情報は、ディスプレイスクリーンによって表示されるコンテンツでありうる。投写情報は、ディスプレイスクリーンの表示コンテンツを更新することによって更新されうる。
いくつかの実施形態において、ディスプレイスクリーン２１０は、端末デバイスのディスプレイである。例えば、ディスプレイスクリーン２１０は、端末２００の入力／出力デバイスでありうる。ディスプレイスクリーン２１０は、特定の電子情報コンテンツをスクリーン上に表示することができ、かかる情報を反射させるための表示ツールである。例えば、ディスプレイスクリーン２１０は、（スクリーン上に表示された）電子情報コンテンツを人間の目に反射させることができる。投写情報は、ディスプレイスクリーン上に表示されるコンテンツでありうる。コンテンツ（例えば、投写情報）は、写真、テキスト、表などのうちの１または複数を含みうる。投写情報は、ディスプレイスクリーン上に表示されたコンテンツを更新することによって更新されうる。ディスプレイスクリーン２１０は、リアルタイムで投写情報を投写できる。例えば、ディスプレイスクリーン２１０によって表示される投写情報は、端末２００が、ディスプレイスクリーン２１０によって表示されるコンテンツを処理するのと同時に表示されうる。投写情報は、色情報、形状情報、明るさ情報、ならびに、１または複数のその他の特徴に関連する情報、のうちの１または複数を含みうる。
様々な実施形態によれば、投写情報が表示された（例えば、ユーザに投写された）後にキャプチャされた１または複数の画像が、１または複数の画像処理（例えば、前処理）技術に従って処理されうる。
いくつかの実施形態において、画像が十分な解像度（例えば、所定の閾値を超える解像度）である場合、キャプチャされた画像からコンテンツが抽出され、比較されることができる。例えば、コンテンツに対応する投写情報が更新された場合、コンテンツ（例えば、写真、テキスト、表などのうちの１または複数）に対応する投写情報が、投写情報の更新前にキャプチャされた画像から、および、投写情報の更新後にキャプチャされた画像から抽出され、被写体が仮想物体であるか否か（例えば、２つの画像の間の差が、投写情報への更新と一致するか否か）を判定するために比較されうる。
様々な実施形態によると、ディスプレイスクリーンの表示コンテンツ（例えば、投写情報）の更新は、以下を含むがこれらに限定されない：ディスプレイスクリーン２１０の表示明るさの変更、ディスプレイスクリーン２１０の表示色の変更、または、ディスプレイスクリーン２１０上の特定のグラフィックの形状の変更。
ビデオ手段２２０（例えば、ビデオカメラ）は、ディスプレイスクリーン２１０を通して被写体に投写情報を投写（例えば、表示）した後に、現在の被写体の第１画像をキャプチャ（例えば、撮影）し、投写情報が変更（例えば、更新）された後に、更新された投写情報を備えた被写体の第２画像をキャプチャするよう構成される。
ビデオデバイス２２０は、ビデオ撮影および静止画キャプチャなどの機能を有するビデオ入力デバイス（ビデオカメラなど）でありうる。レンズを通して画像をキャプチャした後、ビデオデバイス２２０内部の光感知素子回路および制御構成要素が、画像を処理して、端末デバイスによって認識可能なデジタル信号に変換する。次いで、無線（例えば、Ｂｌｕｅｔｏｏｔｈ、Ｗｉ−Ｆｉ、赤外線など）接続または有線（例えば、パラレルポート、ＵＳＢ、マイクロＵＳＢ、ファイヤワイヤなど）接続を介して端末デバイスにデジタル信号を入力した後、画像は、ソフトウェアによって復元される。被写体は、ビデオカメラを通して画像情報が取得される必要がある任意の物体でありうる。ディスプレイスクリーン２１０が、ディスプレイスクリーン上の表示コンテンツを被写体上に投写（例えば、表示）した後、ビデオデバイス２２０は、被写体の現在の画像（第１画像として機能しうる）をキャプチャ（例えば、撮影）ひいては取得することができる。ディスプレイスクリーン２１０が、そのスクリーン上に表示されたコンテンツを更新した後、ビデオデバイス２２０は、ディスプレイスクリーンが更新済みの投写情報を投写した被写体の画像（第２画像として機能しうる）をキャプチャひいては取得する。
様々な実施形態に従って、ビデオデバイス２２０（例えば、ビデオカメラ）は、ディスプレイデバイスがスクリーンの表示コンテンツを更新する前に被写体の第１画像を、そして、ディスプレイデバイスがスクリーンの表示コンテンツを更新した後に被写体の第２画像を、キャプチャまたはその他の方法で取得するよう構成される。第２画像は、ディスプレイデバイスがスクリーンの表示コンテンツを更新した後の被写体のフィードバック情報を含む。フィードバック情報は、以下を含むがこれらに限定されない：リアルタイム画像の明るさが、ディスプレイスクリーンによって表示された明るさと共に変化したか否か；リアルタイム画像の色が、ディスプレイスクリーンによって表示された色と共に変化したか否か；被写体の反射画像（例えば、被写体の眼球の反射）が、ディスプレイスクリーンによって現在表示されている形状を示している（または、他の方法で含んでいる）か否か、など。フィードバック情報は、第２画像に含まれるか、または、第２画像から導出されうる。
プロセッサ２３０は、第１画像および第２画像を処理または解析するよう構成される。例えば、プロセッサ２３０は、第１画像および第２画像を比較するよう構成されてよい。プロセッサ２３０は、対象画像が仮想物体であるか否かの判定に関連して第１画像および第２画像の比較の結果を利用できる。例えば、プロセッサ２３０は、被写体が仮想物体であるか否かを判定する基礎として、取得された画像相違データを利用できる。
プロセッサ２３０は、画像処理機能を有するＣＰＵであってよい。いくつかの実施形態において、仮想物体は、被写体の二次元画像または三次元モデルである。被写体の第１および第２画像がビデオデバイスで取得された（例えば、得られた）後、プロセッサ２３０は、第１画像および第２画像に含まれる情報データを比較できる。したがって、プロセッサ２３０は、画像相違データを取得し、現在の被写体が仮想物体であるか否かを判定する基礎として、画像相違データを利用する。
仮想物体は、被写体の写真、被写体の三次元モデル（被写体に似せた蝋人形など）、ビデオ、連続写真のスライド、または、写真に基づいたソフトウェアシミュレーションから合成され動作を含む画像（例えば、集合的に動作を描写する連続画像）でありうる。
いくつかの実施形態において、人間の顔である被写体を例に取ると、ディスプレイスクリーンの表示コンテンツの変化への人間の顔のフィードバックと、ディスプレイスクリーンの表示コンテンツの変化への写真、ビデオ、または、シミュレーションソフトウェアのフィードバックとの間には、著しい差がある。フィードバックは、ディスプレイスクリーンから表示されたコンテンツの被写体からの反射から導出された情報に対応しうる。したがって、被写体のフィードバックデータは、現在の被写体が本物の人物の顔であるのかまたは仮想の人間の顔（例えば、人間の顔の写真またはビデオなど）を含むのかを評価するための基礎として利用できる。
様々な実施形態に従って、（例えば、端末のディスプレイからの投写情報の表示を介して）投写情報が被写体に投写されると、被写体の現在のキャプチャから取得された第１画像が得られる。投写情報が変更された後、更新された投写情報が投写されている時に、被写体のキャプチャから取得された第２画像が得られる。第１画像および第２画像が比較され、画像相違データが取得される。第１画像および第２画像は、ピクセルごとに、もしくは、１または複数のその他の画像比較技術に従って、比較されうる。画像相違データは、位置、サイズ、画像の形状、色、明るさの差、および／または、各ピクセル色の差、各ピクセルの明るさの差、複数のピクセルの２つの色の間の差、複数のピクセルの明るさの間の差などを示す情報を含みうる。例えば、画像相違データは、第１画像と第２画像との間の差に対応しうる。画像相違は、第２画像が第１画像と異なる程度を測る尺度でありうる。いくつかの実施形態において、画像相違データは、端末によって表示された投写情報への変更に対応する更新されたコンテンツを第２画像が含むか否かを示すか、または、端末によって表示された投写情報への変更に対応する更新されたコンテンツを第２画像が含むか否かの示唆が導出された情報を含む。画像相違データは、被写体が仮想物体であるか否かを判定するための基礎として機能する。
いくつかの実施形態において、ディスプレイスクリーンの１または複数の特徴（例えば、ディスプレイの明るさ、ディスプレイの色、表示するコンテンツなど）が変更され、被写体上に投写される。ビデオデバイスが、ディスプレイスクリーンの変化の前後に（例えば、被写体の）第１画像および（例えば、被写体の）第２画像を取得するために用いられ、第１画像および第２画像は、比較解析を受ける。第１画像と第２画像との間の差に対応する画像相違データは、現在の被写体が仮想物体であるか否かを判定するための基礎として機能する。被写体上に投写されるコンテンツの変更は、被写体を撮影する過程で取得されるコンテンツを変化させる。したがって、認証をくぐり抜けようとする悪意ある試みに用いられるコンテンツは、２つの画像の間の差を含まないコンテンツを利用するので、様々な実施形態は、よりロバストな認証処理を提供する。様々な実施形態において、端末によって表示される投写情報は、意図的に更新され、かかる更新の前後にキャプチャされた画像（例えば、第１画像および第２画像）は、キャプチャされる被写体が本物であるか否かの判定に関連して利用される（例えば、被写体が実際に本物である場合、キャプチャされた画像は、更新前の投写情報と、端末によって表示される情報が更新された後に表示された投写情報との間の差に対応する差を反映する）。認証を試みる悪意ある第三者によって用いられるコンテンツ（対応する動作の事前録画ビデオ、連続写真のスライドショー、もしくは、コンピュータシミュレーションを通して合成された頭を縦に振るまたは横に振る動作または瞬きなどの動作の画像など）は、一般に、二次元画像である。したがって、二次元画像上に投写された投写情報が変更され、悪意ある第三者が同じ仮想物体を用いて不正認証を試みている場合、それらの二次元画像内のどの２つの領域についても変更結果の間に差がない。様々な実施形態に従って、被写体が二次元画像（すなわち、仮想物体）であるか否かを評価するための上述したスキーム（例えば、投写情報の更新、画像相違データの決定、など）は、被写体が仮想物体であるか否かの判定に関連して利用できる。したがって、投写情報を断続的に試験および変更した後に、以下を判定することができる：キャプチャされた第１画像および第２画像内の異なる領域の画像変動結果の間に差が存在する場合、被写体は、仮想物体ではなく、生きている実在の被写体であると見なされる。例えば、様々な実施形態に従った認証のための処理は、表示の変化に対する（例えば、応答する）被写体のリアルタイムフィードバックに基づいた生きた被写体（例えば、生きた人物）の検出および識別認証で利用できるため、生体顔検出の精度を改善すると共に認証システムへの仮想物体による攻撃を減らす技術的効果を奏する。
様々な実施形態が、ビデオまたは画像攻撃（ここで、非正規ユーザは、ライブアクション（実写）を利用してシミュレートされた正規ユーザの動作を用いて認証を行う）に脆弱な既存のライブ認識に基づいた認証システムの技術的課題を解決する。
いくつかの実施形態において、端末デバイスが認証機能をアクティブ化すると（例えば、認証機能のアクティブ化に応じて）、端末デバイスは、プロセッサ２３０をアクティブ化して（例えば、用いて）、被写体が仮想物体であるか否かを判定することができる。
いくつかの実施形態において、第１画像は、少なくとも以下を含む：第１投写情報を投写した時の被写体の第１顔画像および第１背景画像；そして、第２画像は、少なくとも以下を含む：第２投写情報が表示（例えば、投写）された時の被写体の第２顔画像および第２背景画像。投写情報は、少なくとも、以下のうちの１つを含む：投写の明るさ、投写の色、および、投写グラフィック。いくつかの実施形態において、投写情報は、１または複数の投写の明るさ、投写の色、および、投写のグラフィックへの変更を含む。
いくつかの実施形態において、投写情報は、以下のうちの少なくとも１つを含む：投写の明るさ、投写の色、および、投写グラフィック。第１投写情報は、投写情報が変更される前（例えば、端末が第２画像に対応する情報を表示する前）の投写情報に対応しうる。第２投写情報は、変更後の投写情報に対応しうる（例えば、対象画像が仮想画像であるか否かを判定する際に用いる第２画像および第１画像の間の差を生成するための第２画像に対応する情報）。第１画像は、投写情報が変更される前に取得された被写体の画像に対応しうる（例えば、第１投写情報に基づいた被写体の画像）。第１画像は、被写体の第１顔画像および第１背景画像を含みうる。第１画像は、第１投写情報が投写されている時にキャプチャされた画像に対応しうる。第２画像は、投写情報が変更された後に取得された被写体の画像に対応しうる（例えば、第２投写情報に基づいて生成された被写体の画像）。第２画像は、被写体の第２顔画像および第２背景画像を含みうる。第２画像は、第２投写情報が投写されている時にキャプチャされた画像に対応しうる。
様々な実施形態に従って、被写体が生きた被写体であるのかまたは仮想物体であるのかを判定することが可能である。
いくつかの実施形態において、プロセッサ２３０は、被写体が仮想物体であると判定するよう構成される。被写体は、画像相違データがｎｕｌｌである場合に仮想物体であると判定される。画像相違データがｎｕｌｌであることは、第１画像の画像データおよび第２画像の画像データが同じであることを表している。例えば、第１画像と第２画像との間の差に対応する画像相違データが所定の閾値未満である場合、被写体も仮想物体であると見なされうる。別の例として、画像データが第１画像および第２画像の間で差なしに対応する場合、被写体は、仮想物体であると見なされうる。
いくつかの実施形態において、画像相違データが、被写体が仮想物体であるか否かを判定するための基礎として機能する場合、画像相違データがｎｕｌｌであれば（例えば、第１画像および第２画像が同じ画像データを有しており、画像相違データがないのであれば）、被写体が仮想物体であるとの判定がなされうる。相違データがｎｕｌｌではない（例えば、第１画像および第２画像が同じデータを持たず、画像相違データが存在するか、または、第１画像と第２画像との間の差の所定の閾値を超える画像データが存在する）場合、被写体が生きた被写体である（すなわち、被写体が仮想物体ではない）との判定がなされうる。
いくつかの実施形態において、画像相違データは以下を含む：第１顔画像を第２顔画像と比較して得られた第１変動度、および、第１背景画像を第２背景画像と比較して得られた第２変動度。
いくつかの実施形態において、プロセッサ２３０は、（例えば、投写情報が、投写の明るさおよび／または投写の色である（または、を含む）場合に）第１変動度が顔全体の明るさ変動値および／または色変動値であり、第１変動度と第２変動度との間の差が第１所定変動範囲内に収まる場合に、被写体が仮想物体であると判定するよう構成される。明るさの変動または色の変動は、様々な方法で計算されうる。例えば、明るさの変動または色の変動は、領域内のピクセル間の明るさ（または色）の平均差、領域内のピクセルのＲＧＢ色の平均差に基づいて計算されうる。被写体上に投写される投写情報が変更された場合、第１変動度は、被写体をキャプチャすることによって取得された顔画像を記録して被写体の変化を計算することによって決定され、第２変動度は、被写体が位置する背景画像をキャプチャして背景画像の変化を計算することによって決定される。対象のキャプチャは、被写体における領域を識別することを含みうる。例えば、被写体のキャプチャは、顔検出技術を用いて、画像の指定されたビット領域（例えば、顔に対応する領域）を検出することを含みうる。被写体は、顔に対応しうる；投写情報の更新の前後の２つの画像を比較することにより、第１画像内の顔に対応する領域と第２画像内の顔に対応する領域との間の差が計算されうる。第１画像内の顔と第２画像内の顔に対応する領域との間の差は、明るさ、色、コンテンツ、もしくは、１または複数のその他の特徴における差に対応しうる。被写体の変動は、被写体の明るさ、色、コンテンツ、もしくは、１または複数のその他の特徴における差に対応しうる。背景画像は、被写体の外側にあるキャプチャされた画像の領域に対応しうる。例えば、被写体が顔である場合、背景領域は、（例えば、検出された）顔の領域の外側にある画像の領域に対応しうる。顔認識または検出技術が、画像内の顔を識別するために利用されてよく、画像の他の部分すなわち残り部分は、背景画像または背景領域と見なされうる。明るさ変動値は、第１背景画像と第２背景画像との間の差でありうる。第１背景画像と第２背景画像との間の差は、明るさ、色、コンテンツ、もしくは、１または複数のその他の特徴における差に対応しうる。
いくつかの実施形態において、投写情報は、投写の明るさおよび／または投写の色であり（または、を含み）、投写の明るさは、ディスプレイスクリーンによって表示された明るさであり；投写の色は、ディスプレイスクリーンによって表示された色であり；第１顔画像は、ディスプレイスクリーンの明るさまたは色が変化する前に被写体のキャプチャから記録された顔画像であってよく；第２顔画像は、ディスプレイスクリーンの明るさまたは色が変化した後に被写体のキャプチャから記録された顔画像であってよく；第１背景画像は、ディスプレイスクリーンの明るさまたは色が変化する前に被写体が位置する背景のキャプチャから取得された背景画像であってよく；第２背景画像は、ディスプレイスクリーンの明るさまたは色が変化した後に被写体が位置する背景のキャプチャから取得された背景画像であってよく；第１変動度が、第１顔画像を第２顔画像と比較して第１顔画像および第２顔画像の間の差を計算することによって取得されてよく；第２変動度が、第１背景画像を第２背景画像と比較して第１背景画像および第２背景画像の間の差を計算することによって取得されてよい。第１変動度および第２変動度は、被写体が仮想物体であるか否かを判定するための基礎として機能しうる。例えば、第１変動度が、顔全体（例えば、第１顔画像および／または第２顔画像の顔）の明るさ変動値および／または色変動値であり、第１変動度と第２変動度との間の差が第１所定変動範囲内に収まる場合、被写体は、仮想物体であると判定される。第１顔画像と第２顔画像との間の差は、明るさ、色、コンテンツ、もしくは、１または複数のその他の特徴における差に対応しうる。例えば、明るさの差は、以下に基づいて計算できる：平均明るさ＝全ピクセルの明るさ合計／ピクセル数。例えば、第１顔画像の平均明るさを計算することができ、第２顔画像の平均明るさを計算することができ、第１顔画像の平均明るさと第２顔画像の平均明るさとの間の差を計算できる。
様々な実施形態は、被写体が仮想物体であるか否かを判定するための基礎として、画像の部分的な明るさ変動を用いる。ディスプレイスクリーンの明るさは変化するので、リアルタイムにビデオカメラによって取得された画像の明るさにおける顔部分および背景部分の明るさ変動度は、或る程度の差を有する。本物の人物の顔部分の明るさ変動は、ディスプレイスクリーンからの顔部分の距離が以前と同じではなくなる（例えば、第１画像および第２画像の色または明るさの変化が検出されうる）ので、より顕著になりうるが、背景部分の明るさ変動は、背景部分の距離がほぼ同じままであるので、それほど顕著にはなりえない。写真、ビデオ、ソフトウェアシミュレーション、および、その他のかかる方法に関しては、顔部分および背景部分のディスプレイスクリーンからの距離は一般に異なるが、明るさ変動度は同じになる。様々な実施形態に従って、明るさの差が、平均明るさ＝全ピクセルの明るさ合計／ピクセル数、に基づいて計算されうる。第１画像内の顔領域の平均明るさが計算され、第２画像内の顔領域の平均明るさが計算され、第１画像内の顔領域の平均明るさと第２画像の顔領域の平均明るさとの間の差が計算される。色の差が、同様に計算されうる。明るさの差および色の差の決定は、上記に限定されない。例えば、（例えば、明るさまたは色の）差を決定するための様々なその他の処理を用いてもよい。
様々な実施形態によると、画像相違データは以下を含む：第１顔画像を第２顔画像と比較して得られた第１変動度、および、第１背景画像を第２背景画像と比較して得られた第２変動度。第１顔画像および第２顔画像が、被写体の顔の少なくとも１つの生物学的特徴に関する特徴情報を含む場合、ならびに、投写情報が、投写の明るさおよび／または投写の色に対応する場合、プロセッサ２３０は、第１変動度が顔の任意の１または複数の生物学的特徴の明るさ変動値および／または色変動値であり、第１変動度と第２変動度との間の差が第２所定変動範囲内に収まる場合に、被写体が仮想物体であると判定するよう構成される。被写体上に投写される投写情報が変更された場合、第１変動度は、被写体をキャプチャすることによって取得された顔画像を記録して、第１画像内の顔領域と第２画像内の顔領域との間の差を計算することによって決定され、第２変動度は、被写体が位置する背景画像をキャプチャして、第１画像内の背景領域と第２画像内の背景領域との間の差を計算することによって決定される。
生物学的特徴は、被写体の顔の固有の生理学的特徴であってよく、これは、目の特徴、口の特徴、眉毛の特徴、耳の特徴、鼻の特徴、肌の特徴、などを含みうる。目の特徴は以下を含みうる：瞳孔の特徴（例えば、瞳孔のサイズおよび／または位置）、虹彩の特徴（例えば、虹彩の形状および／または位置）、ならびに、眼球の特徴（例えば、眼球のサイズおよび／または眼球によって反射された像）など。投写情報が投写の明るさおよび／または投写の色である場合、第１顔画像は、ディスプレイスクリーンの明るさまたは色が変化する前に被写体のキャプチャから記録された顔画像でありうる。第１顔画像は、対象画像の顔の少なくとも１つの生物学的特徴に関する特徴情報を含みうる。第２顔画像は、ディスプレイスクリーンの明るさまたは色が変化した後に被写体のキャプチャから記録された顔画像でありうる。第２顔画像は、対象画像の顔の少なくとも１つの生物学的特徴に関する特徴情報を含む。第１背景画像は、ディスプレイスクリーンの明るさまたは色が変化する前に被写体が位置していた背景のキャプチャから取得された背景画像でありうる。第２背景画像は、ディスプレイスクリーンの明るさまたは色が変化した後に被写体が位置していた背景のキャプチャから取得された背景画像でありうる；第１変動度は、第１顔画像を第２顔画像と比較することによって取得され；第２変動度は、第１背景画像を第２背景画像と比較することによって取得される。第１変動度および第２変動度は、被写体が仮想物体であるか否かを判定するための基礎として機能する。第１変動度が顔の任意の１または複数の生物学的特徴の明るさ変動値および／または色変動値であり、第１変動度と第２変動度との間の差が第２所定変動範囲内に収まる場合、被写体は仮想物体であるとの判定がなされる。
いくつかの実施形態において、生物学的特徴は、肌の特徴であってもよい。顔または顔の写真である被写体の一例として、被写体が人物の顔の肌である場合、ディスプレイスクリーンの明るさが変わると、電話のフロントカメラによって取得された第２画像内の人物の顔の肌の明るさが変わる。被写体が人物の顔の写真である場合、電話のフロントカメラによって取得された第２画像内の人物の顔の肌（人物の顔の写真）は、写真が光を異なって反射することから、第１画像内の顔の肌と同じように明るさが共に変化することがない。例えば、顔の肌および写真の間の関係として、光の反射特性が、異なる材質について同じではなく；顔が３Ｄ形状を有し、写真が２Ｄ（例えば、写真は平坦）である結果として、光の反射において異なる特徴を持つことになる。
様々な実施形態によると、顔の様々な部分の明るさ変動度に基づいて、被写体が仮想物体であるか否かが判定される。ディスプレイスクリーンの明るさおよび／または色が変わると、ビデオカメラによってリアルタイムに取得された画像の明るさにおいて、顔部分と背景部分との間で明るさおよび／または色の程度に差が現れる。本物の人物の場合、明るさの変動は、顔の高輝度光部分と低輝度光部分との間で、顔の３Ｄ構造により異なることになる。写真、ビデオ、ソフトウェアシミュレーション、または、その他のかかる方法の場合、顔の様々な部分の明るさの変動パターンは、その平坦な構造のために、本物の人物とは異なるものになる。
様々な実施形態に従って、画像相違データは以下を含む：第１顔画像および第２顔画像内の少なくとも１つの生物学的特徴の画像変動値に対応する差。投写情報に対応する差は、投写の明るさおよび／または投写の色である。プロセッサ２３０は、投写情報が投写の明るさおよび／または投写の色である場合に、任意の２つの生物学的特徴の明るさ変動値および／または色変動値を取得できる。任意の２以上の生物学的特徴の画像変動値が第３所定変動範囲内に収まる場合、被写体は仮想物体であるとの判定がなされる。被写体上に投写（例えば、表示）される投写情報が変更された場合、画像相違データは、被写体の顔の少なくとも１つの生物学的特徴のキャプチャから取得された特徴画像を記録することによって決定される。
いくつかの実施形態において、第１顔画像は、ディスプレイスクリーンが明るさまたは色を変更する前に被写体を記録およびキャプチャすることによって取得された顔画像であってよい。第１顔画像は、対象画像の顔の少なくとも１つの生物学的特徴（例えば、目、口など）に関する特徴情報を含みうる。第２顔画像は、ディスプレイスクリーンが明るさまたは色を変更した後に被写体を記録およびキャプチャすることによって取得された顔画像であってよい。第２顔画像は、被写体の顔の少なくとも１つの生物学的特徴（例えば、目、口など）に関する特徴情報を含みうる。投写情報が投写の明るさおよび／または投写の色である場合、任意の２つの生物学的特徴の明るさ変動値および／または色変動値が、ビデオデバイスによって取得される。任意の２以上の生物学的特徴の画像変動値が第３所定変動範囲内に収まる場合、被写体は仮想物体であるとの判定がなされる。
様々な実施形態は、人間の顔の少なくとも１つの生物学的特徴（例えば、目、口など）の明るさおよび／または色の変動度に基づいて、被写体が仮想物体であるか否かを判定する。ディスプレイスクリーンの明るさおよび／または色が変化すると、ビデオカメラでリアルタイムに取得された目および口の明るさおよび／または色は、（キャプチャされる被写体が実際に本物の物体（人物など）である場合）それに応じて変化する。
いくつかの実施形態において、投写情報は以下を含む：投写グラフィックス。生物学的特徴が眼球である場合、画像相違データは、第１顔画像および第２顔画像内の生物学的特徴の画像変動値であり、これは、眼球によって反射される画像コンテンツの変動値である。プロセッサ２３０は、画像コンテンツの変動値が第４所定変動範囲内にある場合に、被写体が仮想物体であると判定するよう構成されてよい。
いくつかの実施形態において、眼球上に投写されたグラフィック形状に基づいて、被写体が仮想物体であるか否かに関する判定がなされる。第１顔画像は、ディスプレイスクリーンが第１グラフィックを表示している間に被写体を記録およびキャプチャすることによって取得された顔画像であってよく、ここで、第１顔画像は、被写体の眼球から反射された第１グラフィックに関する画像コンテンツ情報を含む。ディスプレイスクリーンが第２グラフィックを表示する間、第２顔画像は、被写体を記録およびキャプチャすることによって取得された顔画像であってよく、ここで、第２顔画像は、被写体の眼球から反射された第１グラフィックに関する画像コンテンツ情報を含む。投写情報は、投写グラフィックスを含みうる。生物学的特徴が眼球である場合、第１顔画像および第２顔画像内の眼球から反射された画像コンテンツの変動が、ビデオデバイスによって取得される。画像コンテンツが（例えば、第１顔画像と第２顔画像との間で）同じである場合、被写体は本物の人物であるという判定がなされる。被写体が異なる場合、被写体は仮想物体であるとの判定がなされる。
時に、蝋人形またはその他の三次元モデルが、３Ｄ構造を持つ人間の特徴（肌および顔など）を有する。したがって、かかるモデルは、悪意ある認証試行に関連して利用されうる。本物の人物の眼球は、球形であり、一般に、本物の人物の顔の前にある画像を反射する。しかしながら、写真、ビデオ、または、ソフトウェアシミュレーション、もしくは、その他のかかる方法は、人物の顔の前にある画像を反射しない。ディスプレイスクリーンの明るさ、色、および、形状が変化すると、本物の人物の眼球によって反射される画像も変化する。被写体が本物の人物であるか否かに関する判定が、顔画像の眼球部分の画像を検出することによってなされうる。
正規ユーザの三次元モデル（蝋人形など）を用いて認証システムでの認証を試みる悪意ある試みを防ぐことに関連して、様々な実施形態を利用できる。したがって、生体認識に基づく認証システムのセキュリティが強化される。
様々な実施形態に従って、顔認識に基づく認証のための方法が、コンピュータデバイス、携帯デバイス、または、同様の動作手段で実施されうる。
上述した実行環境において、本願は、顔認識に基づいた認証システムの実施形態を提供する。図３に示すように、システムは以下を含む：ディスプレイデバイス３１０、ビデオデバイス３２０、および、コンピュータ端末３３０。
図３は、本願の様々な実施形態に従って、顔認識に基づいた認証のためのシステムを示す図である。
図３を参照すると、顔認識に基づいた認証のためのシステム３００が提供されている。システム３００は、図１の端末１００、図２の端末２００、図９のスマートフォン９００、および／または、図１０のコンピュータ端末１０００と関連して実施されうる。システム３００は、図４の処理４００、図６の処理６００、図７の処理７００、および／または、図８の処理８００を、少なくとも部分的に実施できる。
システム３００は、ディスプレイデバイス３１０、ビデオデバイス３２０、および、端末３３０を備える。
ディスプレイデバイス３１０は、投写情報を投写（例えば、表示）するよう構成される。投写情報は、ディスプレイデバイス３１０によって表示されるコンテンツに対応しうるか、または、そのコンテンツを含みうる。一例として、投写情報は、画像、ビデオ、テキストなどを含みうる。いくつかの実施形態において、投写情報は、ディスプレイスクリーンの表示コンテンツを更新することによって更新される。
いくつかの実施形態において、ディスプレイデバイス３１０は、スマート端末デバイスのディスプレイスクリーンであってよい。例えば、スマート端末デバイスのディスプレイスクリーンは、端末デバイスの入力／出力デバイスでありえ、特定の電子情報コンテンツをスクリーン上に表示することができる。ディスプレイスクリーンは、かかる特定の電子情報（例えば、ビデオ、画像、テキストなど）を人間の目に反射させるための表示ツールでありうる。投写情報は、ディスプレイデバイス３１０上に表示されるコンテンツでありうる。このコンテンツは、写真、テキスト、表などでありうる。投写情報は、ディスプレイデバイス３１０上に表示されたコンテンツを更新することによって更新されうる。ディスプレイデバイス３１０（例えば、ディスプレイスクリーン）は、リアルタイムに投写情報を投写するために利用できる。
いくつかの実施形態において、ディスプレイデバイス３１０の表示コンテンツ（例えば、投写情報）の更新は、以下の方法を含むがこれらに限定されない：ディスプレイデバイス３１０の表示の明るさを変更する方法、ディスプレイデバイス３１０の表示色を変更する方法、ディスプレイデバイス３１０上の特定のグラフィックの形状を変更する方法、または、ディスプレイデバイス３１０上のコンテンツを変更する（例えば、異なるコンテンツタイプ、異なるオブジェクトなどを表示する）方法。
ビデオデバイス３２０は、１または複数の画像をキャプチャするよう構成される。例えば、ビデオデバイス３２０は、第１画像および第２画像をキャプチャしうる。ビデオデバイス３２０は、ディスプレイデバイス３１０と通信する。ビデオデバイス３２０は、投写情報がディスプレイデバイス３１０を介して被写体上に投写された後に、現在の被写体の第１画像をキャプチャするよう構成されうる。ビデオデバイス３２０は、被写体の第２画像をキャプチャするよう構成されうる。ビデオデバイス３２０は、投写情報が更新された後に、被写体の第２画像をキャプチャしうる。したがって、対象画像の第２画像は、更新された投写情報を含みうる。
ビデオデバイス３２０は、ビデオ撮影および静止画キャプチャなどの機能を有するビデオ入力デバイス（ビデオカメラなど）でありうる。レンズを通して画像をキャプチャした後、ビデオデバイス３２０内部の光感知素子回路および制御構成要素が、画像を処理して、端末デバイスによって認識可能なデジタル信号に変換する。無線（例えば、Ｂｌｕｅｔｏｏｔｈ、Ｗｉ−Ｆｉ、赤外線など）接続または有線（例えば、パラレルポート、ＵＳＢ、マイクロＵＳＢ、ファイヤワイヤなど）接続を介して端末デバイスにデジタル信号を入力した後、画像は、ソフトウェアによって格納される。被写体は、ビデオカメラを通して画像情報が取得される必要がある任意の物体でありうる。ディスプレイデバイス３１０が、ディスプレイスクリーン上の表示コンテンツを被写体上に投写（例えば、表示）した後、ビデオデバイスは、被写体の現在の画像（第１画像として機能する）を撮影ひいては取得しうる。ディスプレイデバイス３１０ｚが、そのスクリーン上に表示されたコンテンツを更新した後、ビデオデバイス３２０は、ディスプレイスクリーンが更新済みの投写情報を投写した被写体の画像（第２画像として機能しうる）をキャプチャひいては取得する。
いくつかの実施形態において、被写体の画像は、赤外線ビデオカメラを用いて取得される（例えば、得られる）。赤外線ビデオカメラは、人間の顔の様々な部分の温度を決定（例えば、評価）できるため、本物の人物の顔と、写真、ビデオ、または、ソフトウェアシミュレーションとの間の差も評価できる。
端末３３０は、第１画像および第２画像を比較するよう構成される。端末３３０は、被写体が仮想物体であるか否かを判定するための基礎として、取得した画像相違データ（例えば、第１画像および第２画像の比較からの結果）を利用できる。
端末３３０は、パーソナルコンピュータであってよい。パーソナルコンピュータは、１または複数のプロセッサを備えうる。仮想物体は、被写体の二次元画像または三次元モデルでありうる。被写体の第１画像および第２画像が、ビデオデバイス（または別の撮像デバイス）で取得された後に、端末３３０（例えば、そのプロセッサ）は、第１画像および第２画像にそれぞれ含まれる情報データを比較できる。したがって、端末３３０は、画像相違データ（例えば、第１画像および第２画像の比較からの結果）を取得できる。端末３３０は、現在の被写体が仮想物体であると判定するための基礎として、画像相違データを利用できる。
仮想物体は、被写体の写真または三次元モデル（蝋人形など）、ビデオ、連続写真のスライド、もしくは、写真に基づいたソフトウェアシミュレーションから合成され動作を含む画像でありうる。
様々な実施形態に従って、投写情報が被写体に投写されると、被写体の現在のキャプチャから取得された第１画像が得られる。投写情報が変更された後、更新された投写情報が投写されている時に、被写体のキャプチャから取得された第２画像が得られる。第１画像および第２画像が比較され、画像相違データが取得される。画像相違データは、被写体が仮想物体であるか否かを判定するための基礎として機能する。
いくつかの実施形態において、ディスプレイデバイスのスクリーンディスプレイは、変更され、被写体上に投写される。ビデオデバイスを用いて、ディスプレイデバイスが変化する前後（例えば、投写情報が更新および表示される前後）に被写体の第１画像および被写体の第２画像が取得され、比較解析が第１画像および第２画像に関して実行される。第１画像および第２画像の相違データ（例えば、第１画像および第２画像に関して実行された比較解析に基づいたデータ）は、現在の被写体が仮想物体であるか否かを判定するための基礎として機能する。表示の変化に対する被写体のリアルタイムなフィードバックに基づいた生体検出および識別認証の目的が達成され、生体顔検出の精度が改善され、認証システムへの認証のために仮想物体を用いて認証しようとする悪意ある試みが低減されうる。
様々な実施形態は、認証試行に関連したビデオまたは画像の悪意ある利用（ここで、非正規ユーザは、ライブアクション（実写）を利用してシミュレートされた正規ユーザの動作を用いて認証を行う）に脆弱な生体認識に基づいた認証システムのロバスト性を改善する。
いくつかの実施形態において、第１画像は、少なくとも以下を含む：第１投写情報を投写した時の被写体の第１顔画像および第１背景画像；そして、第２画像は、少なくとも以下を含む：第２投写情報投写した時の被写体の第２顔画像および第２背景画像。投写情報は、投写の明るさ、投写の色、および、投写グラフィックス、のうちの１または複数を含む。表示される画像の様々なその他の特徴が、投写情報の生成と関連して変更されてもよい。
いくつかの実施形態において、投写情報は、投写の明るさ、投写の色、および、投写グラフィックス、のうちの１または複数を含む。第１投写情報は、変更前（例えば、投写情報が変更される前）の投写情報に対応しうる。第２投写情報は、変更後の投写情報（例えば、表示される投写情報が更新された後に表示される投写情報）に対応しうる。第１画像は、投写情報が変更される前に取得された被写体の画像であってよく、第１投写情報が投写されている時の被写体の第１顔画像および第１背景画像を含みうる。第２画像は、投写情報が変更された後に取得された被写体の画像であってよく、第２投写情報が投写されている時の被写体の第２顔画像および第２背景画像を含みうる。したがって、被写体が生きた被写体であるのかまたは仮想物体であるのかを判定することが可能である。
端末３３０は、さらに、画像相違データがｎｕｌｌである場合に、被写体が仮想物体であると判定するよう構成されてよい。画像相違データがｎｕｌｌであることは、第２画像が第１画像と一致することに対応しうる。例えば、画像相違データがｎｕｌｌであることは、第１画像の画像データおよび第２画像の画像データが同じであることに対応しうる。
様々な実施形態によれば、画像相違データが、被写体が仮想物体であるか否かを判定するための基礎として機能する場合、画像相違データがｎｕｌｌであれば（例えば、第１画像および第２画像が同じそれぞれの画像データを有しており、画像相違データがないのであれば）、被写体が仮想物体であるとの判定がなされうる。逆に、画像相違データがｎｕｌｌではない場合（例えば、第１画像および第２画像が完全に同一なそれぞれの画像データを持たず（または、第１画像および第２画像に対応する画像データが類似度の閾値内になく）、画像相違データが存在する場合）、被写体が生きた被写体であるとの判定がなされうる。
いくつかの実施形態において、画像相違データは以下を含む：第１顔画像と第２顔画像との比較に基づいた第１変動度、および、第１背景画像と第２背景画像との比較に基づいた第２変動度。
端末３３０は、投写情報が投写の明るさおよび／または投写の色を含む時、第１変動度が顔全体の明るさ変動値および／または色変動値であり、第１変動度と第２変動度との間の差が第１所定変動範囲内に収まる場合に、被写体が仮想物体であると判定するよう構成されてよい。被写体上に投写される投写情報が変更された場合、第１変動度は、被写体をキャプチャすることによって取得された顔画像を記録（例えば、キャプチャおよび／または格納）することによって決定され、第２変動度は、被写体が位置する背景画像をキャプチャすることによって決定される。
いくつかの実施形態において、画像相違データは以下を含む：第１顔画像と第２顔画像との比較に基づいた第１変動度、および、第１背景画像と第２背景画像との比較に基づいた第２変動度。第１顔画像および第２顔画像が、被写体の顔の少なくとも１つの生物学的特徴に関する特徴情報を含む場合に、投写情報が、投写の明るさおよび／または投写の色を含む時、被写体は、第１変動度が顔の任意の１または複数の生物学的特徴の明るさ変動値および／または色変動値であり、第１変動度と第２変動度との間の差が第２所定変動範囲内に収まる場合に、（例えば、端末３３０によって）仮想物体であると判定される。被写体上に投写される投写情報が変更された場合、第１変動度は、被写体をキャプチャすることによって取得された顔画像を記録することによって決定され、第２変動度は、被写体が位置する背景画像をキャプチャすることによって決定される。
様々な実施形態に従って、画像相違データは以下を含む：第１顔画像と第２顔画像とに関する少なくとも１つの生物学的特徴の画像変動値。投写情報が投写の明るさおよび／または投写の色を含む場合、任意の２つの生物学的特徴の明るさ変動値および／または色変動値が、（例えば、端末３３０によって）取得されうる。任意の２以上の生物学的特徴の画像相違データが所定変動範囲（例えば、第３所定変動範囲）内に収まる場合、被写体は、仮想物体であると判定される。被写体上に投写される投写情報が変更された場合、画像相違データは、被写体の顔の少なくとも１つの生物学的特徴のキャプチャから取得された特徴画像を記録（例えば、キャプチャおよび／または格納）することによって決定されうる。
いくつかの実施形態において、投写情報は、投写グラフィックスを含む。生物学的特徴が眼球である場合、画像相違データは、第１顔画像および第２顔画像内の生物学的特徴の画像変動値に対応しうる（例えば、第２顔画像内の特徴に対する第１顔画像内の特徴の画像変動値）。例えば、画像変動値は、眼球によって反射された画像コンテンツの変動値を含みうる（例えば、第２画像内の眼球によって反射された画像コンテンツに対する第１画像内の眼球によって反射された画像コンテンツの変動）。端末３３０は、画像コンテンツの変動値が所定変動範囲（例えば、第４所定変動範囲）内にある場合に、被写体が仮想物体であると判定するよう構成されてよい。変動範囲は、２つの画像の間の類似度の範囲に対応しうる。
様々な実施形態が、顔認識に基づいた認証のための方法を含む。図面内のフローチャートで図示する工程は、コマンドを実行できるコンピュータのグループなど、コンピュータシステムによって実施されうることに注意されたい。さらに、論理的順序がフローチャートに図示されているが、図示または記載されている工程は、いくつかの状況において、ここに示した以外の順序で実行されてもよい。
顔認識に基づいたまたは検出された顔画像の間の差の決定に基づいた認証のための方法は、図１の端末１００などの端末によって実施されうる。図１に示したように、 端末１００は、１または複数のプロセッサ１１０を備えてよい。プロセッサ１１０は、マイクロプロセッサ（ＭＣＵ）またはプログラム可能論理デバイス（ＦＰＧＡ）などの処理手段を含みうるが、これらに限定されない。端末１００は、メモリ１２０を備えてよい。メモリ１２０は、データを格納するよう構成されうる。端末１００は、通信モジュール１３０を備えてよい。通信モジュール１３０は、通信機能のために構成されうる。さらに、端末１００は、以下を備えてもよい：ディスプレイデバイス、入力／出力インターフェース（Ｉ／Ｏインターフェース）、ユニバーサルシリアルバス（ＵＳＢ）ポート（例えば、ＵＳＢポートは、Ｉ／Ｏインターフェースとして機能するポートの中の１つのポートとして備えられてよい）、ネットワークインターフェース、電源、および／または、カメラ。当業者であれば、図１に示した構造は単に例示であり、電子デバイスの構造を限定するものではないことを理解できる。例えば、携帯デバイス１００は、図１に示したよりも多いまたは少ない構成要素を備えてもよいし、図１に示した構成とは異なる構成を有してもよい。
１または複数のプロセッサ１１０および／またはその他のデータ処理回路は、一般に、本明細書では「データ処理回路」と呼ばれうる。データ処理回路は、ソフトウェア、ハードウェア、ファームウェア、または、それらの任意の組み合わせとして、全体または部分的に具現化されうる。さらに、データ処理回路は、単一の独立した処理モジュールであってもよいし、端末１００（例えば、携帯デバイス）と完全にまたは部分的に一体化された他の構成要素のいずれかであってもよい。例えば、データ処理回路制御部は、プロセッサとして実装されてよい（例えば、インターフェース接続された可変抵抗端末パスを選択する）。
ディスプレイデバイスは、例えば、タッチスクリーン液晶ディスプレイ（ＬＣＤ）であってよい。液晶ディスプレイは、ユーザが、端末１００（例えば、携帯デバイス）のユーザインターフェイスと相互作用することを可能にしうる。
図１の端末１００は、ハードウェアコンポーネント（回路を含む）、ソフトウェアコンポーネント（コンピュータ読み取り可能な媒体に格納されたコンピュータコードを含む）、もしくは、ハードウェアコンポーネントおよびソフトウェアコンポーネントの両方の組みあわせ、を備えうる。図１は、携帯デバイス内に存在しうるコンポーネントのタイプを提示する目的で示した特定の具体的な実施形態の一例にすぎないことに注意されたい。
図４は、本願の様々な実施形態に方法従って、顔認識に基づいた認証方法を示すフローチャートである。
図４を参照すると、顔認識に基づいた認証のための処理４００が提供されている。処理４００は、少なくとも部分的には、図１の端末１００、図２の端末２００、図３のシステム３００、図９のスマートフォン９００、および／または、図１０のコンピュータ端末１０００によって実施されうる。処理４００は、図６の処理６００、図７の処理７００、および／または、図８の処理８００と関連して実施されうる。
工程４１０で、第１画像が取得される。第１画像は、被写体の画像でありうる。例えば、被写体の第１画像は、画像キャプチャデバイス（ビデオカメラ、カメラなど）によって取得されうる。第１画像は、被写体上に投写（例えば、表示）される投写情報と関連して取得されうる。例えば、投写情報が被写体に投写された時に、被写体の現在のキャプチャから取得された第１画像が得られうる。
投写情報は、電子ディスプレイスクリーン上に表示されたコンテンツ（写真、テキストなど）または電子ディスプレイスクリーン上に表示されたパラメータ情報（ディスプレイスクリーンによって表示される明るさ、色など）であってよい。いくつかの実施形態において、投写情報は、別のデバイスによって被写体上に投写されて被写体に様々な変動を提示させうる情報であってもよい。被写体は、ビデオデバイスを通して画像情報が取得される任意の物体でありうる。例えば、被写体は、生きた対象物、または、生きた対象物の写真、ビデオ画像など、でありうる。いくつかの実施形態において、投写情報が被写体上に投写された後に、被写体をキャプチャすることによって取得された第１画像を現在の瞬間に得ることができる。
いくつかの実施形態において、被写体の画像が、ビデオ撮影および静止画キャプチャなどの機能を有するビデオ入力デバイス（ビデオカメラなど）を用いてキャプチャされうる。画像がレンズを通して取得された後、ビデオデバイス内部の光感知素子回路および制御構成要素が、画像を処理して、端末デバイスによって認識可能なデジタル信号に変換する。次いで、無線（例えば、Ｂｌｕｅｔｏｏｔｈ、Ｗｉ−Ｆｉ、赤外線など）接続または有線（例えば、パラレルポート、ＵＳＢ、マイクロＵＳＢ、ファイヤワイヤなど）接続を介して端末デバイスにデジタル信号を入力した後、画像は、ソフトウェアによって処理（例えば、復元）される。
いくつかの実施形態において、被写体が人物の顔またはその写真である場合、投写情報が、スマートフォンのディスプレイスクリーンを通して被写体上に投写されてよく、被写体の画像（例えば、第１画像）が、画像キャプチャデバイス（例えば、端末のフロントカメラ）で被写体をキャプチャすることによって取得されうる。
図５Ａは、本願の様々な実施形態に従って、端末のフロントビデオカメラによって取得された人間の顔の被写体を示す図である。
図５Ａを参照すると、認証に関連してキャプチャされた被写体５００が提供されている。被写体５００のキャプチャおよび／または処理は、図１の端末１００、図２の端末２００、図３のシステム３００、図９のスマートフォン９００、および／または、図１０のコンピュータ端末１０００によって、または、関連して、実行されうる。被写体５００は、図４の処理４００、図６の処理６００、図７の処理７００、および／または、図８の処理８００の一部として、認証に関連してキャプチャ、処理、または、利用されうる。
被写体５００は、端末５１０（携帯電話など）のフロントカメラによって取得（例えば、キャプチャおよび／または格納）された顔でありうる。図５Ａに示すように、被写体５００（例えば、顔）は、以下を含む：眉毛５０１、目５０３、口５０５、鼻５０７、および、耳５０９。これらの特徴は、画像識別プログラムまたはその他の適切なプログラムによって識別されうる。例えば、特徴は、顔ランドマーク検出または特徴点検出に基づいて識別されうる。特徴点検出は、機械学習を用いて処理されうる。例えば、特徴点検出は、オープンソースライブラリＤｌｉｂなどを用いて処理されうる。
図４の処理４００に戻ると、工程４２０で、第２画像が取得される。第２画像は、被写体の画像でありうる。例えば、被写体の第２画像は、画像キャプチャデバイス（ビデオカメラ、カメラなど）によって取得されうる。第２画像は、被写体上に投写された（例えば、ディスプレイデバイスによって表示され、被写体上に投写された）投写情報に関連して取得されうる。例えば、第２被写体は、（例えば、被写体上に投写された）投写情報が変更された後（例えば、投写情報は、第１画像がキャプチャされた時に被写体上に投写されていた投写情報に対して変更されうる）、取得されうる。例えば、投写情報が変更された後、更新された投写情報の投写時に被写体のキャプチャから取得された第２画像が得られる。投写情報は、端末のディスプレイ上に表示された画像の色を変更すること、端末のディスプレイの明るさを変更すること、端末のディスプレイ上に表示された画像のサイズを変更すること、端末のディスプレイ上に表示された画像を変更することなどによって変更されうる。
投写情報が変更された後（例えば、携帯デバイスが被写体をキャプチャしている間に、携帯デバイス上に表示された画像の色またはディスプレイスクリーンの明るさが変更されうる）、投写情報は被写体上に投写され、被写体をキャプチャすることによって第２画像が取得される。
一例として、被写体が人物の顔またはその写真である場合、投写情報が、スマートフォンのディスプレイスクリーンを通して被写体上に投写され、被写体の画像が、フロントカメラで被写体をキャプチャすることによって取得される。投写情報の変更は、ディスプレイスクリーンの明るさを強くすることを含みうる。更新された投写情報（例えば、明るさを強くしたスマートフォンスクリーンによって表示された情報）が人物の顔の上に投写されると、被写体の画像（例えば、第２画像）が、電話のフロントカメラによってキャプチャされる。
図５Ｂは、本願の様々な実施形態に従って、端末に関連する明るさが増大された後に、端末のフロントビデオカメラによって取得された人間の顔の被写体を示す図である。
図５Ｂを参照すると、認証に関連してキャプチャされた被写体５５０が提供されている。被写体５５０のキャプチャおよび／または処理は、図１の端末１００、図２の端末２００、図３のシステム３００、図９のスマートフォン９００、および／または、図１０のコンピュータ端末１０００によって、または、関連して、実行されうる。被写体５５０は、図４の処理４００、図６の処理６００、図７の処理７００、および／または、図８の処理８００の一部として、認証に関連してキャプチャ、処理、または、利用されうる。
被写体５５０は、端末５６０（携帯電話など）のフロントカメラによって取得（例えば、キャプチャおよび／または格納）された顔でありうる。図５Ｂに示すように、被写体５５０（例えば、顔）は、以下を含む：眉毛５５１、目５５３、口５５５、鼻５５７、および、耳５５９。
図４の処理４００に戻ると、工程４３０で、画像相違データが取得される。画像相違データは、第１画像および第２画像に少なくとも部分的に基づいて取得されうる。例えば、画像相違データは、第１画像および第２画像の比較に少なくとも部分的に基づいてよい。画像相違データは、第１画像と第２画像との間の差または類似の程度を示しうる。いくつかの実施形態において、第１画像および第２画像の異なる領域に関連する画像データ（例えば、画像変動の結果として異なる領域が生じる）が取得され（例えば、それぞれの第１画像および第２画像から抽出され）、第１画像および第２画像から取得されたかかる画像データが比較され、画像相違データが取得される。画像相違データは、第１画像および第２画像の異なる領域に関連する画像データ（例えば、画像変動の結果）の間の比較の結果に対応する。第１画像および第２画像の異なる領域に関連する画像データは、被写体の特定の特徴（例えば、目、顔の一部、被写体上に投写された情報を反射する部分、など）を含む第１画像および第２画像内の領域に対応しうる。画像相違データは、被写体の領域または被写体の特徴（例えば、被写体の顔にある目）に対応する第１画像の部分を識別し、被写体の領域または被写体の特徴に対応する第２画像の対応する部分を識別し、第１画像の部分および第２画像の部分に基づいて差グラフを生成することに基づいて取得され、第１画像の部分および第２画像の部分に基づいて（例えば、差グラフに基づいて）相違領域を決定できる。画像相違データは、相違領域の位置、サイズ、明るさの差、色の差、元々の領域における相違領域の位置、サイズ、明るさ、色などに関連する情報を含みうる。
第１画像は、投写情報が変更される前に取得された被写体の画像でありうる。第２画像は、投写情報が変更された後に取得された被写体の画像でありうる。第１画像および第２画像の異なる領域に関連する画像データ（例えば、画像変動の結果として異なる領域が生じる）が取得され（例えば、それぞれの第１画像および第２画像から抽出され）、第１画像および第２画像から取得されたかかる画像データを比較し、第１画像および第２画像における異なる領域の画像変動結果の間の画像相違データを取得することが可能である。
一例として、被写体が人間の顔またはその写真に対応する場合、第１画像および第２画像の異なる領域は、それぞれ、顔領域および背景領域でありうる。
被写体は、生きた対象物、あるいは、生きた対象物の写真またはビデオ画像もしくはシミュレーションソフトウェアによってシミュレートされた仮想物体でありうる。生きた対象物は、三次元の実体である。対照的に、仮想物体は、一般に、二次元画像である。したがって、被写体上に投写された投写情報が変更された後、仮想物体とは対照的に、生きた対象物の投写フィードバックにおいては実質的な差が明らかになる。したがって、被写体からの画像相違データフィードバックは、現在の被写体が生きた対象物（例えば、本物の人物の顔）であるか、または、仮想物体（例えば、人物の顔を含む写真またはビデオ）であるかを判定するために利用できる。
一例として、被写体が顔またはその写真に対応する場合、被写体が人物の顔であれば、（例えば、第１画像がキャプチャされた時および第２画像がキャプチャされた時から投写情報が変更された結果として）ディスプレイスクリーンの明るさが変わると、端末（例えば、スマートフォン）のフロントカメラによって取得された第２画像内の人物の顔は、明るさが変化する。被写体が人物の顔の写真に対応する場合、端末（例えば、スマートフォン）のフロントカメラによって取得された第２画像内の人物の顔（例えば、人物の顔の写真）では、明るさが共に変化することがない。
いくつかの実施形態において、画像相違データは、第１画像（またはその中の被写体）と第２画像（またはその中の被写体）との異なり方またはその程度を示す。画像相違データは、第１画像が第２画像と異なる程度を導出することができる情報を含みうる。逆に、いくつかの実施形態において、画像相違データは、第１画像と第２画像との類似の仕方またはその程度、などを示しうる。
工程４４０で、被写体が仮想物体であるか否かが判定される。画像相違データに少なくとも部分的に基づいて、被写体が仮想物体であるか否かが判定されうる。例えば、被写体が仮想物体であるか否かの判定は、第１画像の少なくとも一部および第２画像の一部の間の差（または差の程度）に少なくとも部分的に基づいてよい。別の例として、被写体が仮想物体であるか否かの判定は、第１画像の少なくとも一部および第２画像の一部の間の差が、投写情報への変更（または、第１画像がキャプチャされた時に投写された投写情報と第２画像がキャプチャされた時に投写された投写情報との間の差）と一貫する（例えば、一致する）か否かの判定に少なくとも部分的に基づいてもよい。被写体は、第１画像の一部と第２画像の一部との間の差が閾値差を超える（例えば、差の程度または度合いが閾値を超える）ことを画像相違データが示唆する（または、かかる示唆が画像相違データから導出される）場合に、仮想物体であると判定されうる。
いくつかの実施形態において、被写体が仮想物体ではないと判定された場合（例えば、被写体が実物体であると判定された場合）、認証を進めることができる。例えば、被写体が仮想物体であるか否かの判定は、認証処理の一部であってよい。いくつかの実施形態において、被写体が仮想物体であると判定された場合、被写体に関連する認証を拒否するか、または、他の方法で認証プロセスを終了させることができる。
仮想物体は、被写体の二次元画像または三次元モデルでありうる。被写体の第１画像および被写体の第２画像がビデオデバイス（または別の画像キャプチャデバイス）で取得された後、第１画像および第２画像の（すなわち、それらの間の）画像相違データ（例えば、明るさ変動値）が比較され、それにより、被写体が仮想物体であるか否かを判定することが可能になる。被写体が仮想物体であるか否かの判定は、第１画像と第２画像との間の差が投写情報の更新と一貫しないか否かに基づいてよい。第１画像と第２画像との間の差は、第１画像と第２画像との間の差が投写情報の更新と一致しない場合に一貫しなくなる。例えば、スクリーンが（投写情報の更新に関連して）明るさを強くした場合、第２画像は、第１画像よりも暗くなりうる。別の例として、スクリーンが（投写情報の更新に関連して）明るさを強くした場合、被写体の目からの反射に対応する第２画像の領域が、対応する更新を有するはずである；目からの反射の結果として、異なる反射または反射の特性の変化が生じない場合、被写体は、仮想物体であると見なされうる。別の例として、スクリーンが（投写情報の更新に関連して）明るさを変更し、投写情報が明るさのレベルを下げるように更新された場合、投写情報へのかかる更新は、第１画像と第２画像との間の差で表されるはずである；第２画像が第１画像の明るさよりも明るい明るさを示し、投写情報への更新が明るさの増大である場合、被写体は、仮想物体であると判定されうる。別の例として、スクリーンが（投写情報の更新に関連して）投写される画像を変更し、投写情報が投写される画像のサイズを変更するように更新された場合、投写情報へのかかる更新は、第１画像と第２画像との間の差で表されるはずである；第２画像が、第１画像で表現された対応する画像のサイズと異なるサイズを持たない画像を表す場合、または、サイズの差が十分ではない（例えば、投写情報の更新に基づいて決定された１または複数の閾値を超えない）場合、被写体は、仮想物体であると判定されうる。
仮想物体は、被写体の写真または三次元モデル（蝋人形など）、ビデオ、連続写真のスライド、もしくは、写真に基づいたソフトウェアシミュレーションから合成され動作を含む画像でありうる。
様々な実施形態に従って、投写情報が被写体に投写されると、被写体の現在のキャプチャから取得された第１画像が得られる。投写情報が変更された後、更新された投写情報が投写されている時に、被写体のキャプチャから取得された第２画像が得られる。第１画像および第２画像が比較され、画像相違データが取得される。画像相違データは、被写体が仮想物体であるか否かを判定するための基礎として機能する。
様々な実施形態に従って、被写体上に現在投写されているコンテンツは、ディスプレイスクリーン上に表示されるコンテンツまたはディスプレイスクリーンのスクリーンパラメータを変更するために変更（例えば、更新）され、変更結果（例えば、結果として得られる投写情報）が被写体上に投写される。次いで、ビデオデバイス（またはその他の画像キャプチャデバイス）を用いて、被写体上への投写に向けてデータが変更される前後に、被写体の第１画像および被写体の第２画像がキャプチャされる。画像相違データは、現在の被写体が仮想物体であるか否かを判定するための基礎として機能しうる。画像相違データは、第１画像のデータと第２画像のデータとの間の差に基づいて計算されうる。様々な実施形態に従って、被写体に投写されるコンテンツの変更（例えば、更新）は、被写体をキャプチャする過程で撮影されるコンテンツを変化させる。悪意ある認証試行に関連して悪意ある第三者によって用いられる不正コンテンツ（対応する動作の事前録画ビデオ、連続写真のスライドショー、もしくは、コンピュータシミュレーションを通して合成された頭を縦に振るまたは横に振る動作または瞬きなどの動作の画像など）は、一般に、二次元画像である。３Ｄモデルも、不正な認証試行に関連して悪意ある第三者によって利用されうる。したがって、二次元画像上に投写された投写情報が変更された場合に、それらの二次元画像内のどの２つの領域についても変更結果の間に差がない。したがって、様々な実施形態に従って、被写体が仮想物体であるか否かの判定は、被写体が二次元画像（例えば、仮想物体）であるか否かの判定に少なくとも部分的に基づいてよい。いくつかの実施形態において、変更された投写情報を断続的に（または定期的に）試験した後に、以下を判定することができる：キャプチャされた第１画像および第２画像内の異なる領域の画像変動結果の間に差が存在する場合、被写体は、仮想物体ではなく、生きている実在の被写体である。様々な実施形態に従って、生体の検出（例えば、被写体が本物の人物に対応するか否か）が、表示変更への被写体のリアルタイムなフィードバックに基づいてなされてもよい。したがって、生きた人間の顔の検出精度を向上させることができ、認証システムへの仮想物体による悪意ある攻撃（例えば、不正な認証試行）を低減できる。
様々な実施形態が、ビデオまたは画像攻撃（例えば、不正な認証試行）（ここで、非正規ユーザは、ライブアクション（実写）を利用してシミュレートされた正規ユーザの動作を用いて認証を行う）に脆弱な既存のライブ認識に基づいた認証システムの技術的課題を解決する。
いくつかの実施形態において、端末が認証機能をアクティブ化すると、投写情報が端末デバイスのディスプレイスクリーンによって投写される。投写情報は、ディスプレイスクリーンによって表示されたコンテンツを含み、投写情報は、ディスプレイスクリーンの表示コンテンツを更新することによって更新される。
端末は、スマートフォン、タブレットコンピュータ、ノートブックコンピュータ、または、その他のスマートデバイスにであってよい。それは、ビデオカメラ手段に外部接続されたデバイス（例えば、デスクトップコンピュータ）であってもよい。例えば、端末がスマートフォンである場合、ディスプレイスクリーンは、スマートフォンのディスプレイスクリーンでありうる。端末が認証機能をアクティブ化すると、投写情報が、端末のディスプレイスクリーンによって投写される。投写情報は、電子ディスプレイスクリーン上に表示されたコンテンツ（写真またはテキストなど）または電子ディスプレイスクリーン上に表示されたパラメータ情報（ディスプレイスクリーンによって表示される明るさまたは色など）であってよい。いくつかの実施形態において、投写情報は、別のデバイス（例えば、第１画像および／または第２画像をキャプチャするデバイスとは異なるデバイス、もしくは、被写体が仮想物体であるか否かを判定するデバイスとは異なるデバイス）によって被写体上に投写された情報であってもよい。かかる別のデバイスは、被写体に異なる変動を提示させることができる。例えば、光源の角度およびカメラアングルが異なってもよく、したがって、異なる変化を生み出しうる。投写デバイスが被写体に対して左に配置された場合、被写体（例えば、顔）の左側が、特定の特徴（例えば、明るさ）の変化について、被写体の右側と異なる変化を有するようにする。
いくつかの実施形態において、第１画像は、少なくとも以下を含む：第１投写情報を投写した時の被写体の第１顔画像および第１背景画像、そして、第２画像は、少なくとも以下を含む：第２投写情報を投写した時の被写体の第２顔画像および第２背景画像。投写情報は、投写の明るさ、投写の色、投写グラフィックスなど、のうちの１または複数を含みうる。
投写情報は、以下のうちの少なくとも１つを含みうる：投写の明るさ、投写の色、および、投写グラフィックス。第１投写情報は、変更前の投写情報に対応しうる（例えば、第２画像のキャプチャに向けて更新される前に投写された投写情報）。第２投写情報は、変更後の投写情報に対応しうる（例えば、第２画像のキャプチャに向けて更新された後に投写された投写情報）。第１画像は、投写情報が変更（例えば、更新）される前にキャプチャされた被写体の画像であってよく、第１投写情報が投写されている時の被写体の第１顔画像および第１背景画像を含みうる。第２画像は、投写情報が変更（例えば、更新）された後に取得された被写体の画像であってよく、第２投写情報が投写されている時の被写体の第２顔画像および第２背景画像を含みうる。
様々な実施形態に従って、被写体が生きた対象物であるのかまたは仮想物体であるのかを判定することが可能である。
様々な実施形態に従って、画像相違データに少なくとも部分的に基づいて、被写体が仮想物体であるか否かを判定する工程は、画像相違データがｎｕｌｌである場合に、被写体が仮想物体であると判定する工程を含む。画像相違データがｎｕｌｌであることは、第１画像の画像データおよび第２画像の画像データが同じであることを表している。
様々な実施形態によれば、画像相違データが、被写体が仮想物体であるか否かを判定するための基礎として機能する場合、画像相違データがｎｕｌｌであると判定されれば（例えば、第１および第２画像が同じ画像データを有しており、画像相違データがないのであれば）、被写体が仮想物体であるとの判定がなされうる。差データがｎｕｌｌではないと判定された場合（例えば、第１および第２画像が完全に同一なデータを持たず、画像相違データが存在する場合）、被写体が生きた被写体であるとの判定がなされうる。
様々な実施形態に従って、画像相違データに少なくとも部分的には基づいて、被写体が仮想物体であるか否かを判定する工程は、以下のうちの１または複数を含む：
技術１：画像相違データは以下を含む：第１顔画像と第２顔画像との比較に基づいて取得された第１変動度、および、第１背景画像と第２背景画像との比較に基づいて取得された第２変動度。画像相違データは、被写体が仮想物体であるか否かを判定するための基礎として用いられ、被写体が仮想物体であるか否かを判定する工程は、以下を含む：投写情報が投写の明るさおよび／または投写の色である時、第１変動度が顔全体の明るさ変動値および／または色変動値であり、第１変動度と第２変動度との間の差が第１所定変動範囲内に収まる場合に、被写体が仮想物体であると判定する工程。被写体上に投写される投写情報が変更された場合、第１変動度は、被写体をキャプチャすることによって取得された顔画像を記録することによって決定され、第２変動度は、被写体が位置する背景画像をキャプチャすることによって決定される。
技術１において、投写情報が投写の明るさおよび／または投写の色である場合に、投写の明るさは、ディスプレイスクリーンによって表示された明るさであってよく；投写の色は、ディスプレイスクリーンによって表示された色であってよく；第１顔画像は、ディスプレイスクリーンの明るさまたは色が変化する前に被写体のキャプチャから記録された顔画像であってよく；第２顔画像は、ディスプレイスクリーンの明るさまたは色が変化した後に被写体のキャプチャから記録された顔画像であってよく；第１背景画像は、ディスプレイスクリーンの明るさまたは色が変化する前に被写体が位置する背景のキャプチャから取得された背景画像であってよく；第２背景画像は、ディスプレイスクリーンの明るさまたは色が変化した後に被写体が位置する背景のキャプチャから取得された背景画像であってよく；第１変動度が、第１顔画像を第２顔画像と比較することによって取得されてよく；第２変動度が、第１背景画像を第２背景画像と比較することによって取得されてよい。第１変動度および第２変動度は、被写体が仮想物体であるか否かを判定するための基礎として機能し；第１変動度が顔全体の明るさ変動値および／または色変動値であり、第１変動度と第２変動度との間の差が第１所定変動範囲内に収まる場合に、被写体が仮想物体であると判定される。
技術１は、被写体が仮想物体であるか否かを判定するための基礎として、画像の部分的な明るさ変動を用いる。ディスプレイスクリーンの明るさが変化するので、リアルタイムにビデオカメラによって取得された画像明るさにおける顔部分および背景部分の明るさ変動度は、以下の差異を有する：本物の人物の顔部分からディスプレイスクリーンまでの距離が同じではなくなるので、本物の人物の顔部分の明るさの変動はより顕著になるが、背景部分の明るさの変動は顕著ではない。写真、ビデオ、ソフトウェアシミュレーション、および、その他のかかる方法に関しては、顔部分および背景部分のディスプレイスクリーンからの距離は基本的に異なるが、明るさ変動度は同じになる。
技術２：画像相違データは以下を含む：第１顔画像と第２顔画像との比較に基づいて取得された第１変動度および、第１背景画像と第２背景画像との比較に基づいて取得された第２変動度。第１顔画像および第２顔画像は、被写体の顔の少なくとも１つの生物学的特徴に関する特徴情報を含む。画像相違データは、被写体が仮想物体であるか否かを判定するための基礎として用いられ、被写体が仮想物体であるか否かを判定する工程は、以下を含む：投写情報が投写の明るさおよび／または投写の色である時、第１変動度が顔の任意の１または複数の生物学的特徴の明るさ変動値および／または色変動値であり、第１変動度と第２変動度との間の差が第２所定変動範囲内に収まる場合に、被写体が仮想物体であると判定する工程。被写体上に投写される投写情報が変更された場合、第１変動度は、被写体をキャプチャすることによって取得された顔画像を記録することによって決定され、第２変動度は、被写体が位置する背景画像をキャプチャすることによって決定される。
技術２において、生物学的特徴は、被写体の顔の固有の生理学的特徴であってよく、これは、目の特徴、口の特徴、眉毛の特徴、耳の特徴、鼻の特徴、肌の特徴、などを含みうる。いくつかの実施形態において、目の特徴は：瞳孔の特徴、虹彩の特徴、および、眼球の特徴を含みうる。投写情報が投写の明るさおよび／または投写の色である場合、第１顔画像は、ディスプレイスクリーンの明るさまたは色が変化する前に被写体のキャプチャから記録された顔画像でありうる。第１顔画像は、対象画像の顔の少なくとも１つの生物学的特徴に関する特徴情報を含む。第２顔画像は、ディスプレイスクリーンの明るさまたは色が変化した後に被写体のキャプチャから記録された顔画像でありうる。第２顔画像は、対象画像の顔の少なくとも１つの生物学的特徴に関する特徴情報を含む。第１背景画像は、ディスプレイスクリーンの明るさまたは色が変化する前に被写体が位置していた背景のキャプチャから取得された背景画像でありうる。第２背景画像は、ディスプレイスクリーンの明るさまたは色が変化した後に被写体が位置している背景のキャプチャから取得された背景画像でありうる。第１変動度が、第１顔画像を第２顔画像と比較することに基づいて取得されうる。第２変動度が、第１背景画像を第２背景画像と比較することに基づいて取得されうる。いくつかの実施形態において、第１変動度および第２変動度は、被写体が仮想物体であるか否かを判定するための基礎として機能する。例えば、第１変動度が顔の任意の１または複数の生物学的特徴の明るさ変動値および／または色変動値であり、第１変動度と第２変動度との間の差が第２所定変動範囲内に収まる場合、被写体は仮想物体であると判定される。
いくつかの実施形態において、生物学的特徴は、肌の特徴を含む。顔または顔の写真である被写体の一例として、被写体が人物の顔の肌である場合、ディスプレイスクリーンの明るさが変わると、端末（例えば、電話）のフロントカメラによってキャプチャされた第２画像内の人物の顔の肌の明るさが変わる。被写体が人物の顔の写真である場合、端末のフロントカメラによってキャプチャされた第２画像内の人物の顔の肌（例えば、人物の顔の写真）では、明るさが共に変化することがない。
いくつかの実施形態において、被写体が仮想物体であるかの判定は、顔の様々な部分の明るさ変動度に基づく（例えば、被写体が顔である場合）。ディスプレイスクリーンの明るさおよび／または色が変わると、ビデオカメラによってリアルタイムに取得された画像の明るさにおいて、顔部分と背景部分との間で明るさおよび／または色の程度に差が出る。本物の人物の場合、明るさの変動は、顔の高輝度光部分と低輝度光部分との間で、顔の３Ｄ構造により異なることになる。写真、ビデオ、ソフトウェアシミュレーション、または、その他のかかる方法の場合、顔の様々な部分の明るさの変動パターンは、その平坦な構造のために、本物の人物とは異なるものになる。
技術３：画像相違データは以下を含む：第１顔画像および第２顔画像内の少なくとも１つの生物学的特徴の画像変動値。画像相違データは、被写体が仮想物体であるか否かを判定するための基礎として用いられ、被写体が仮想物体であるか否かを判定する工程は以下を含む：投写情報が投写の明るさおよび／または投写の色である場合に、任意の２つの生物学的特徴の明るさ変動値および／または色変動値を取得する工程。任意の２以上の生物学的特徴の画像変動値が、第３所定変動範囲内に収まる場合、被写体は仮想物体であると判定され、ここで、被写体上に投写された投写情報が変更された場合、画像相違データは、被写体の顔の少なくとも１つの生物学的特徴のキャプチャから取得された特徴画像を記録することによって決定される。
技術３において、第１顔画像は、ディスプレイスクリーンが明るさまたは色を変更する前に被写体を記録およびキャプチャすることによって取得された顔画像であってよい。第１顔画像は、対象画像の顔の少なくとも１つの生物学的特徴（例えば、目、口など）に関する特徴情報を含みうる。第２顔画像は、ディスプレイスクリーンが明るさまたは色を変更した後に被写体を記録およびキャプチャすることによって取得された顔画像であってよい。第２顔画像は、被写体の顔の少なくとも１つの生物学的特徴（例えば、目、口など）に関する特徴情報を含む。投写情報が投写の明るさおよび／または投写の色を含む場合、任意の２つの生物学的特徴の明るさ変動値および／または色変動値が、ビデオデバイスによって取得されうる。任意の２以上の生物学的特徴の画像相違データが第３所定変動範囲内に収まる場合、被写体は、仮想物体であると判定される。
様々な実施形態に従って、人間の顔の少なくとも１つの生物学的特徴（例えば、目、口など）の明るさおよび／または色の変動度に基づいて、被写体が仮想物体であるか否かが判定される。ディスプレイスクリーンの明るさおよび／または色が変化すると、ビデオカメラでリアルタイムに取得された目および口の明るさおよび／または色は、それに応じて変化する。
技術４：投写情報は、投写グラフィクスを含む。生物学的特徴が眼球である場合、画像相違データは、第１顔画像および第２顔画像内の生物学的特徴の画像変動値を含みうる。画像変動は、眼球によって反射された画像コンテンツの変動値を含みうる。画像コンテンツの変動値が所定範囲（例えば、第４所定変動範囲）内にある場合、被写体は仮想物体であると判定される。
技術４では、眼球に（例えば、眼球上に）投写されたグラフィックの特徴が、被写体が仮想物体であるか否かを判定するための基礎として機能する。例えば、眼球に投写されたグラフィックの形状に基づいて（例えば、眼球上に投写されたグラフィックの少なくとも一部の反射を含む画像のキャプチャに基づいて）、被写体が仮想物体であるか否かが判定されうる。第１顔画像は、ディスプレイスクリーンが第１グラフィックを表示している間に被写体を記録およびキャプチャすることによって取得された顔画像でありうる。第１顔画像は、被写体の眼球から反射された第１グラフィックに関する画像コンテンツ情報を含む。第２顔画像は、ディスプレイスクリーンが第２グラフィックを表示している間に、被写体を記録およびキャプチャすることによって取得された顔画像でありうる。第２顔画像は、被写体の眼球から反射された第１グラフィックに関する画像コンテンツ情報を含む。投写情報は、投写グラフィックスを含みうる。生物学的特徴が眼球である（または、眼球を含む）場合、第１顔画像および第２顔画像内の眼球から反射された画像コンテンツの変動が、ビデオデバイスによって取得される。画像コンテンツが同じである場合（例えば、第１顔画像の画像コンテンツおよび第２顔画像の画像コンテンツが一致する場合）、被写体は本物の人物であると判定される。被写体が異なる場合、または、画像コンテンツが同じではない場合（例えば、第１顔画像の画像コンテンツおよび第２顔画像の画像コンテンツが一致する場合）、被写体は仮想物体であると判定される。
蝋人形またはその他の三次元モデルが、３Ｄ構造を持つ人間の特徴（肌および顔など）を有しうる。したがって、かかる蝋人形またはその他の三次元モデルは、上述した３つの技術（例えば、技術１、技術２、および、技術３）に基づくシステムへの認証の悪意ある試みに関連して利用されうる。本物の人物の眼球は、一般に球形であり、人物の顔の前にある画像を反射する。しかしながら、写真、ビデオ、ソフトウェアシミュレーション、また、その他のかかる方法は、人物の顔の前にある画像を反射しない。ディスプレイスクリーンの明るさ、色、および、形状が変化すると、本物の人物の眼球によって反射される画像も変化する。したがって、被写体が本物の人物であるか否かの判定が、顔画像の眼球部分の画像を検出することに基づいてなされる。
様々な実施形態に従って、２つのキャプチャされた画像の間の差が認識（例えば、検出）されうる。図５Ａおよび図５Ｂに示すように、投写情報を変更することができ、対応する画像をキャプチャできる。図５Ａにおいて、より明るい画面が、ディスプレイスクリーンから表示（例えば、投写）されうる。対照的に、図５Ｂでは、より暗い画面が、ディスプレイスクリーンから表示（例えば、投写）されうる。したがって、顔５５０は、顔５００よりも暗くなりうる。顔５５０の明るさおよび顔５００の明るさの差が検出されうる。いくつかの実施形態において、情報が、被写体の少なくとも一部によって反射されうる。例えば、被写体の画像が、反射される情報をキャプチャしうる。図５Ａに示すように、目５０３は、被写体上に投写された特定の情報を反射しうる。反射される特定の情報は、投写されている画像の少なくとも一部などのコンテンツを含みうる。いくつかの実施形態において、目から反射される情報は、光、または、投写情報の明るさを示唆するものでありうる。対照的に、投写情報が、より暗い明るさのレベルを有するように更新された場合、投写された情報は、被写体によって反射されることがなく、投写情報からの異なるタイプの程度の情報が反射されうる。図５Ｂに示すように、目５５３は、図５Ａの目５０３と同じ反射コンテンツを含まない。いくつかの実施形態において、明るさ変動値が、図５Ｂの顔５５０の明るさおよび図５Ａの顔５００の明るさに基づいて計算される。
様々な実施形態によれば、悪意ある第三者が認証システムへの悪意あるまたは不正な認証試行に関連して正規ユーザの三次元モデル（蝋人形など）を用いることを防止することが可能であるため、生体認識に基づいた認証システムのセキュリティが改善される。
図６は、本願の様々な実施形態に従って、顔認識に基づいた認証システムのための方法を示す相互作用図である。
図６を参照すると、顔認識に基づいた認証のための処理６００が提供されている。処理６００は、少なくとも部分的には、図１の端末１００、図２の端末２００、図３のシステム３００、図９のスマートフォン９００、および／または、図１０のコンピュータ端末１０００によって実施されうる。処理６００は、図４の処理４００、図７の処理７００、および／または、図８の処理８００と関連して実施されうる。
処理６００は、認証システムへの認証試行に関連する被写体（例えば、ユーザ６０２）の認証を含みうる。認証システムは、ディスプレイデバイス（例えば、スクリーン６０６）および画像キャプチャデバイス（例えば、ビデオカメラ６０８）を備えてよい。認証システムは、さらに、端末（例えば、スマートフォンなど）を備えてよい。端末は、認証試行に関連するアプリケーション６０４を実行できる。
工程６１０で、認証試行が呼び出される。認証試行の呼び出しは、（例えば、ユーザ６０２によって用いられるか、または、他の形でユーザ６０２に関連する端末上で）アプリケーション６０４を実行する工程を含んでよい。例えば、ユーザ６０２は、アプリケーション６０４を開くすなわち実行するよう選択できる。いくつかの実施形態において、アプリケーション６０４は、システム（例えば、サーバによってホストされるシステム、端末など）へのユーザ６０２の認証に関連して、開かれるか、または、他の方法で呼び出される。認証試行の呼び出しは、対象位置（例えば、ユーザ６０２の顔）または被写体を選択するかまたは決定する工程を含んでよい。
工程６１５で、画像が取得される。画像は、ビデオカメラ６０８などの画像キャプチャデバイスによって取得されうる。画像キャプチャデバイスは、ユーザ６０２によって用いられる端末に含まれるか、または、他の方法で接続された端末であってよい。例えば、ビデオカメラ６０８は、端末のフロントカメラ（例えば、端末のディスプレイが位置する側と同じである端末の側にあるカメラ）に対応しうる。
一例として、ユーザ対象位置の画像（例えば、顔の画像）が、ビデオカメラ６０８によって取得される。
工程６２０で、変動前画像が表示される。変動前画像は、投写情報が認証試行に関連して更新（例えば、変更）される前に表示される画像に対応しうる。変動前画像は、対象位置に少なくとも部分的に基づいて表示されうる。例えば、（例えば、ユーザ６０２の）対象位置が取得された後、変動前画像がアプリケーション６０４によって表示されうる。例えば、アプリケーション６０４は、ディスプレイデバイス（例えば、端末のディスプレイ）に変動前画像を表示させることができる。変動前画像は、ビデオカメラ６０８によってキャプチャされ、アプリケーション６０４へ提供されうる。
工程６２５で、変動が表示される。例えば、端末は、変動を決定し（例えば、投写情報を更新し）、その変動を表示することができる。変動の一例は、変動の表示がディスプレイデバイスに白画面を投写させるような全白画面である。いくつかの実施形態において、アプリケーション６０４は、端末に変動を表示させる。例えば、アプリケーション６０４は、変動を決定するか、または、（例えば、認証アプリケーション、サーバなどから）変動を受信することができ、そして、端末に変動をスクリーン６０６上に表示させることができる。変動前画像は、対象位置に少なくとも部分的に基づいて表示されうる。例えば、（例えば、ユーザ６０２の）対象位置が取得された後、変動前画像がアプリケーション６０４によって表示されうる。
工程６３０で、変動は、被写体（例えば、ユーザ６０２）上に投写される。例えば、スクリーン６０６によって表示された情報に含まれるかまたはスクリーン６０６から表示の変動によって引き起こされた変動は、被写体の少なくとも一部の上に（例えば、ユーザ６０２の眼球上に）投写されうる。
工程６３５で、画像（例えば、第２画像）が取得される。画像は、ビデオカメラ６０８などの画像キャプチャデバイスによって取得されうる。画像キャプチャデバイスは、ユーザ６０２によって用いられる端末に含まれるか、または、他の方法で接続された端末であってよい。例えば、ビデオカメラ６０８は、端末のフロントカメラ（例えば、端末のディスプレイが位置する側と同じである端末の側にあるカメラ）に対応しうる。
いくつかの実施形態において、変更（例えば、投写情報への更新）がディスプレイスクリーンの表示になされた（明るさの変更、異なる色の表示、および、異なる形状の表示を含むが、これらに限定されない）後、被写体の画像（例えば、ユーザ対象位置などの対象位置）が、端末デバイスに接続された画像キャプチャデバイス（例えば、ビデオカメラ６０８）によってキャプチャされる。画像キャプチャデバイスは、端末のフロントカメラに対応しうる。
工程６４０で、変動後画像が表示される。変動後画像は、投写情報が認証試行に関連して更新（例えば、変更）された後に表示される画像に対応しうる。変動後画像は、対象位置に少なくとも部分的に基づいて表示されうる。例えば、（例えば、ユーザ６０２の）対象位置が取得された後、変動前画像がアプリケーション６０４によって表示されうる。例えば、アプリケーション６０４は、ディスプレイデバイス（例えば、端末のディスプレイ）に変動前画像を表示させることができる。変動後画像は、ビデオカメラ６０８によってキャプチャされ、アプリケーション６０４へ提供されうる。
いくつかの実施形態において、ディスプレイスクリーン投写情報が変更された後に取得されたユーザ対象位置画像が出力される。
工程６４５で、変動前に取得された画像（例えば、第１画像）および変動後に取得された画像（例えば、第２画像）が比較される。例えば、変動前に取得された画像からの画像データが、変動後に取得された画像からの画像データと比較されうる。いくつかの実施形態において、フィードバック情報が、変動前に取得された画像と変動後に取得された画像との比較に基づいて取得されうる。フィードバック情報は、変動前に取得された画像と変動後に取得された画像との比較の結果に対応しうる。
工程６５０で、被写体が本物の人物に対応するか否かが判定される。例えば、ユーザ６０２が本物の人物であるか否かが判定される。いくつかの実施形態において、アプリケーション６０４は、ユーザ６０２が本物の人物であるか否かを判定する。被写体が本物の人物に対応するか否かの判定は、変動前に取得された画像と変動後に取得された画像との比較に基づいてよい。例えば、被写体が本物の人物に対応するか否かの判定は、工程６４５の結果に基づいてよい。
被写体が、工程６５０で本物の人物に対応すると判定された場合、処理６００は、さらに、ユーザを認証する工程を含んでよい。ユーザは、１または複数の認証技術に従って認証されうる。例えば、ユーザは、ユーザ識別子ならびにトークンまたはパスワードの入力と、ユーザの登録に関連して格納された情報に対するかかるユーザ識別子ならびにトークンまたはパスワードの比較とに基づいて認証されうる。別の例として、ユーザのアイデンティティは、ユーザの写真（例えば、第１画像、第２画像、または、処理６００で同時にキャプチャされた別の画像）と、ユーザの登録に関連して格納された参照写真との比較に基づいて確認されてもよい。ユーザの認証に基づいて、ユーザは、ドメイン（例えば、端末、ネットワークリソース、など）へのアクセス、または、ユーザの認証に関連付けられたサービス（例えば、ユーザが認証されるウェブサービス）へのアクセスを認められうる。
いくつかの実施形態において、表示の変動の前後から得られた画像データ比較結果は、ユーザ６０２が本物の人物であるか否かを判定するための基礎として機能する。
様々な実施形態に従って、生きた人間の顔の検出処理は、画面表示への変更を含む。例として、画面表示への変更は、明るさの変更、異なる色の表示、および、異なる形状の表示を含むが、これらに限定されない。画面表示への変更の後、画像における表示の変動へのフィードバックが、画像キャプチャデバイス（例えば、ビデオカメラ）によって取得される。フィードバックは、以下を含むがこれらに限定されない：リアルタイムな画像の明るさがディスプレイン明るさと共に変化するか否か、リアルタイムな画像の色がディスプレイの色と共に変化するか否か、眼球によって反射された画像が現在表示されている形状を示すか否か、など。表示への人間の顔のフィードバックと、表示への写真、ビデオ、または、コンピュータシミュレーションのフィードバックとの間には差異がある。フィードバックは、被写体（例えば、ユーザ）が本物の人物であるか否かを判定するため、および、セキュリティを向上させるために利用できる。
様々な実施形態が、生体顔検出を改善するための方法を提供する。生体顔検出のためのかかる方法を、関連技術に従って生体検出で一般に用いられる動作認識検出と組み合わせれば、生体顔検出の効果を改善することができる。
上述の方法実施形態はすべて、説明を単純化するために一連の動作の組み合わせとして提示されていることに注意されたい。しかしながら、当業者であれば、本発明は、記載された動作の順序に限定されず、本発明に従って、工程の一部について、別の順序を用いてもよいし同時に実行してもよいことを理解すべきである。さらに、当業者は、本説明に記載された実施形態が、好ましい実施形態であり、本明細書に含まれる動作およびモジュールが、本発明にとって必ずしも必要とされないことも理解すべきである。
上述の実施例の説明を通して、当業者であれば、実施形態に基づいた方法が、必要な汎用ハードウェアプラットフォームと共にソフトウェアを用いて実現されうることを明確に理解できる。もちろん、ハードウェアが利用されてもよいが、多くの場合、前者が好ましい実施例である。かかる理解に基づいて、本発明の技術は、本質的に、あるいは、従来技術に寄与する部分に関して、ソフトウェア製品の形態で実現できる。これらのコンピュータソフトウェア製品は、記憶媒体（ＲＯＭ／ＲＡＭ、磁気ディスク、および、光学ディスクなど）に格納され、端末装置（携帯電話、コンピュータ、サーバ、または、ネットワーク装置であってよい）に、本発明の実施形態の方法を実行させるために用いられる特定の数のコマンドを含みうる。
様々な実施形態が、顔認識に基づいた認証方法を提供する。図面内のフローチャートで図示する工程は、コマンドを実行できるコンピュータのグループなど、コンピュータシステムにおいて実行されうることに注意されたい。さらに、論理的順序がフローチャートに図示されているが、図示または記載されている工程は、いくつかの状況において、ここに示した以外の順序で実行されてもよい。
顔認識に基づいた認証方法は、コンピュータデバイス、携帯デバイス、または、同様の動作手段で実行されうる。例えば、顔認識に基づいた認証方法は、図１の端末１００によって実行されうる。
図７は、本願の様々な実施形態に従って、顔認識に基づいた認証のための方法を示すフローチャートである。
図７を参照すると、顔認識に基づいた認証のための処理７００が提供されている。処理７００は、少なくとも部分的には、図１の端末１００、図２の端末２００、図３のシステム３００、図９のスマートフォン９００、および／または、図１０のコンピュータ端末１０００によって実施されうる。処理７００は、図４の処理４００、図６の処理６００、および／または、図８の処理８００と関連して実施されうる。
工程７１０で、第１画像が取得される。第１画像の取得は、ビデオカメラなどの画像キャプチャデバイスによって第１画像をキャプチャする工程を含んでよい。いくつかの実施形態において、画像キャプチャデバイスは、スマートフォンなどの端末上のフロントカメラである。第１画像は、ディスプレイスクリーンを通して被写体上に投写情報を投写した後の現在の被写体の画像に対応しうる。
ディスプレイスクリーンは、スマート端末デバイスのディスプレイスクリーンでありうる。投写情報は、ディスプレイスクリーンを通して表示される情報でありうる。被写体は、ビデオデバイス（例えば、画像キャプチャデバイス）を通して画像情報が取得される任意の被写体でありうる。投写情報がディスプレイを通して被写体上に投写された後、被写体の現在のキャプチャから取得された第１画像が得られる。
様々な実施形態によると、ディスプレイスクリーンは、スマートフォン、タブレットコンピュータ、ノートブックコンピュータ、デスクトップコンピュータ、または、その他の外部接続されたディスプレイデバイスのディスプレイスクリーンである。
工程７２０で、第２画像が取得される。第２画像の取得は、ビデオカメラなどの画像キャプチャデバイスによって第２画像をキャプチャする工程を含んでよい。いくつかの実施形態において、画像キャプチャデバイスは、スマートフォンなどの端末上のフロントカメラである。第２画像は、ディスプレイスクリーンによって表示される投影情報が変更（例えば、更新）された後に取得されうる。ディスプレイスクリーン上に表示される投写情報が変更された後、第２画像がキャプチャされる。第２画像は、投写情報が更新された状態の被写体の画像に対応しうる。
様々な実施形態に従って、ディスプレイスクリーンの投写情報（例えば、色または明るさ）が変更された後、被写体の第２画像が、更新された投写情報に基づくように、画像キャプチャデバイスによって取得される。
いくつかの実施形態において、画像キャプチャデバイスは、パラレルポートまたはＵＳＢを介してディスプレイスクリーンに接続されたビデオカメラであてよい。画像キャプチャデバイスは、スマートフォン、タブレットコンピュータ、または、ノートブックコンピュータのフロントカメラ、もしくは、デスクトップコンピュータに外部接続されたビデオカメラであってよい。
工程７３０で、画像相違データが取得される。画像相違データは、第１画像および第２画像に少なくとも部分的に基づいて取得されうる。例えば、画像相違データは、第１画像および第２画像の比較に基づいて取得されうる。いくつかの実施形態において、画像相違データは、第１画像の画像データと第２画像の画像データとの比較に基づいて取得される。端末は、画像相違データの取得に関連して、第１画像および第２画像を比較できる。画像相違データの決定は、第１画像および第２画像内の被写体を検出して位置特定する工程と、被写体を含む第１画像の領域と被写体を含む第２画像の領域とを比較する工程と、比較に基づいて差グラフ（またはその他の表現）を生成する工程と、第１画像および第２画像の１または複数の特徴（例えば、明るさ、色など）の間の差を計算する工程と、相違グラフにおける相違領域を検出する工程と、相違領域に関連する結果を決定する工程と、を含んでよい。
第１画像は、投写情報が変更される前に取得された被写体の画像でありうる。第２画像は、投写情報が変更された後に取得された被写体の画像でありうる。第１画像および第２画像の画像相違データは、第１画像および第２画像を比較することによって取得される。
工程７４０で、被写体が仮想物体であるか否かが判定される。被写体が仮想物体であるか否かの判定は、画像相違データに基づいてよい。例えば、第１画像および第２画像の比較の結果は、被写体が仮想物体であるか否かの判定に関連して利用されうる。
様々な実施形態に従って、画像相違データ（例えば、明るさ変動値）が決定（例えば、計算）される。画像相違データは、第１画像および第２画像の比較に基づいて決定されうる。例えば、第１画像および第２画像の各々に対する画像データが、画像相違データを取得するために比較される。従って、被写体が仮想物体であるか否かを判定することが可能である。
仮想物体は、被写体の写真または三次元モデル（蝋人形など）、ビデオ、連続写真のスライド、もしくは、写真に基づいたソフトウェアシミュレーションから合成され動作を含む画像でありうる。
様々な実施形態に従って、投写情報が被写体に投写されると、被写体の現在のキャプチャから取得された第１画像が得られる。投写情報が変更された後、更新された投写情報が投写されている時に、被写体のキャプチャから取得された第２画像が得られる。第１画像および第２画像が比較され、画像相違データが取得される。画像相違データは、被写体が仮想物体であるか否かを判定するための基礎として機能する。
いくつかの実施形態において、被写体上に現在投写されているコンテンツの変更（例えば、投写情報の変更）は、ディスプレイスクリーン上に表示されたコンテンツまたはディスプレイスクリーンのスクリーンパラメータを変更する工程と、変更結果を被写体上へ投写する工程と、を含む。次いで、画像キャプチャデバイス（例えば、ビデオカメラ、端末上のフロントカメラなど）を用いて、データ（例えば、ディスプレイスクリーン上に表示されたコンテンツ）が被写体上への投写に向けて変更される前および変更された後の被写体の第１画像および第２画像が取得される。第１画像および第２画像の画像相違データは、現在の被写体が仮想物体であるか否かを判定するための基礎として機能する。例えば、第１画像および第２画像の間の差に対応する画像相違データは、被写体が仮想物体であるか否かの判定に関連して利用される。被写体上に投写されるコンテンツの変更は、被写体をキャプチャする過程で撮影されるコンテンツを変化させる。攻撃者によって用いられる悪意あるまたは不正な認証試行に利用できるコンテンツ（対応する動作の事前録画ビデオ、連続写真のスライドショー、もしくは、コンピュータシミュレーションを通して合成された頭を縦に振るまたは横に振る動作または瞬きなどの動作の画像、など）は、一般に、二次元画像である。したがって、二次元画像上に投写された投写情報が変更された場合に、それらの二次元画像内のどの２つの領域についても変更結果の間に差がない。例えば、被写体が仮想物体である場合にキャプチャされた画像（例えば、対応する動作の事前録画ビデオ、連続写真のスライドショー、もしくは、コンピュータシミュレーションを通して合成された頭を縦に振るまたは横に振る動作または瞬きなどの動作の画像）に対応する画像相違データは、第１画像および第２画像が一致することを示す。様々な実施形態に従って、被写体が仮想物体であるか否かを判定する処理において、被写体が二次元画像（例えば、仮想物体）でもあるか否かを判定するために、画像相違データを用いることが可能である。いくつかの実施形態において、変更された投写情報を動的または定期的に試験した後（例えば、投写情報の変更前後の対応する画像を取得した後）、以下を判定することができる：キャプチャされた第１画像および第２画像における異なる領域の画像変動結果の間に差が存在する場合、被写体は、仮想物体ではなく、生きている実在の被写体である。例えば、様々な実施形態が、表示の変化に対する被写体のリアルタイムフィードバックに基づいて生体検出を提供し、したがって、生きた人間の顔の検出精度を向上させ、認証システムでの仮想物体による悪意あるまたは不正な認証試行を低減する。
様々な実施形態が、ビデオまたは画像攻撃（ここで、悪意あるユーザは、ライブアクション（実写）を利用してシミュレートされた正規ユーザの動作を用いて認証を行う）に脆弱な既存のライブ認識に基づいた認証システムを改善する。
上述の方法実施形態はすべて、説明を単純化するために一連の動作の組み合わせとして提示されていることに注意されたい。しかしながら、当業者であれば、本発明は、記載された動作の順序に限定されず、本発明に従って、工程の一部について、別の順序を用いてもよいし同時に実行してもよいことを理解すべきである。さらに、当業者は、本説明に記載された実施形態が、好ましい実施形態であり、本明細書に含まれる動作およびモジュールが、本発明にとって必ずしも必要とされないことも理解すべきである。
上述の実施例の説明を通して、当業者であれば、実施形態に基づいた方法が、必要な汎用ハードウェアプラットフォームと共にソフトウェアを用いて実現されうることを明確に理解できる。もちろん、ハードウェアが利用されてもよいが、多くの場合、前者が好ましい実施例である。かかる理解に基づいて、本発明の技術的スキームは、本質的に、あるいは、従来技術に寄与する部分に関して、ソフトウェア製品の形態で実現できる。これらのコンピュータソフトウェア製品は、記憶媒体（ＲＯＭ／ＲＡＭ、磁気ディスク、および、光学ディスクなど）に格納され、端末装置（携帯電話、コンピュータ、サーバ、または、ネットワーク装置であってよい）に、本発明の実施形態の方法を実行させるために用いられる特定の数のコマンドを含みうる。
様々な実施形態が、顔認識に基づいた認証方法を提供する。図面内のフローチャートで図示する工程は、コマンドを実行できるコンピュータのグループなど、コンピュータシステムにおいて実行されうることに注意されたい。さらに、論理的順序がフローチャートに図示されているが、図示または記載されている工程は、いくつかの状況において、ここに示した以外の順序で実行されてもよい。
顔認識に基づいた認証方法は、携帯デバイス、コンピュータデバイス、または、同様の動作手段で実行されうる。例えば、顔認識に基づいた認証方法は、図１の端末１００によって実行されうる。
図８は、本願の様々な実施形態に従って、顔認識に基づいた認証のための方法を示すフローチャートである。
図８を参照すると、顔認識に基づいた認証のための処理８００が提供されている。処理８００は、少なくとも部分的には、図１の端末１００、図２の端末２００、図３のシステム３００、図９のスマートフォン９００、および／または、図１０のコンピュータ端末１０００によって実施されうる。処理８００は、図４の処理４００、図６の処理６００、および／または、図７の処理７００と関連して実施されうる。
工程８１０で、第１画像が取得される。第１画像の取得は、ビデオカメラなどの画像キャプチャデバイスによって第１画像をキャプチャする工程を含んでよい。いくつかの実施形態において、画像キャプチャデバイスは、スマートフォンなどの端末上のフロントカメラである。第１画像は、現在の被写体の第１画像に対応しうる。第１画像は、携帯デバイスでキャプチャされてよい。
携帯デバイスは、スマートフォン、タブレットコンピュータ、ノートブックコンピュータ、または、ビデオカメラを有するその他のかかるスマートデバイスであってよい。被写体は、画像キャプチャデバイス（例えば、ビデオカメラ）を通して画像情報が取得される任意の被写体でありうる。被写体の現在の画像は、携帯デバイスのビデオカメラによって取得されてよく、第１画像として機能しうる。
いくつかの実施形態において、端末はスマートフォンである。
工程８２０で、更新された投写情報が取得される。投写情報は、第１画像が取得された後に更新されうる。投写情報は、端末によって表示されるコンテンツを変更するため、または、コンテンツが端末によって表示される方法を変更する（例えば、コンテンツの色を変更する、ディスプレイの明るさを変更する、など）ために、更新されうる。端末（例えば、携帯デバイス）のディスプレイスクリーンによって表示される表示コンテンツの変更後、携帯デバイスによって被写体上に投写される投写情報が取得される。
いくつかの実施形態において、ディスプレイスクリーンは、携帯デバイスのディスプレイに対応し、これは、スクリーン上に特定の電子情報コンテンツを表示できる携帯デバイスの入力／出力デバイスであり、人間の目にかかる情報を反射させるための表示ツールである。投写情報は、ディスプレイスクリーン上に表示されるコンテンツでありうる。投写情報は、ディスプレイスクリーン上に表示されたコンテンツを更新することによって更新されうる。ディスプレイスクリーンは、リアルタイムで投写情報を投写できる。
一例として、端末（例えば、携帯デバイス）がスマートフォンである場合、ディスプレイスクリーンの表示コンテンツの変更は、電話の画面の明るさ、電話の画面の色、電話の画面上のグラフィックの形状、または、電話の画面の特定のコンテンツ（テキストおよび写真など）、の変更でありうる。上述の変更のいずれかによって、被写体上に投写される投写情報が変更されうる。
被写体は、人物（例えば、端末のユーザ）の顔でありうる。
工程８３０で、第２画像が取得される。第２画像の取得は、ビデオカメラなどの画像キャプチャデバイスによって第２画像をキャプチャする工程を含んでよい。いくつかの実施形態において、画像キャプチャデバイスは、スマートフォンなどの端末上のフロントカメラである。第２画像は、ディスプレイスクリーンによって表示される投影情報が変更（例えば、更新）された後に取得されうる。
携帯デバイスのディスプレイスクリーンによって表示された表示コンテンツが変更され、携帯デバイスによって被写体上に投写される投写情報が取得された後、投写情報は、被写体上に投写され、被写体の画像（第２画像として機能することになる）が、携帯デバイスのビデオカメラ（例えば、フロントカメラなど）によって取得される。
工程８４０で、第１画像および第２画像の異なる領域における画像変動結果が取得される。いくつかの実施形態において、端末は、画像変動結果を取得する。画像変動結果の取得は、第１画像および第２画像の異なる領域において画像変動結果を抽出する工程を含みうる。例えば、第１画像の領域および第２画像の領域が抽出されうる。抽出される第１画像の領域および第２画像の領域は、対応する被写体または被写体の一部（例えば、ユーザの眼球）を含む第１画像および第２画像内の領域に対応しうる。第１画像と第２画像との間の差に対応する画像相違データが取得されうる。例えば、画像相違データは、第１画像および第２画像の比較に基づいて取得されうる。いくつかの実施形態において、第１画像の画像データおよび第２画像の画像データが比較され、かかる比較の結果に基づいて、画像相違データが取得される。いくつかの実施形態において、画像相違データは、抽出される第１画像の領域および第２画像の領域の比較に基づいて決定される。一例として、画像相違は、明るさの変化など画像変動結果について決定されうる。画像変動結果における明るさの変化が閾値よりも大きい場合、明るさが変化したと判定されうる。明るさ画像変動結果に基づいて、明るさが変化したか否かが決定されうる。
第１画像は、投写情報が変更される前に取得された被写体の画像でありうる。第２画像は、投写情報が変更された後に取得された被写体の画像でありうる。画像キャプチャデバイス（例えば、ビデオデバイス）が被写体の第１画像および第２画像を取得した後、プロセッサは、第１画像および第２画像に含まれる画像データを比較して、画像相違データを取得できる。
工程８５０で、被写体が仮想物体であるか否かが判定される。被写体が仮想物体であるか否かの判定は、画像相違データに基づいてよい。例えば、第１画像および第２画像の比較の結果は、被写体が仮想物体であるか否かの判定に関連して利用されうる。
いくつかの実施形態において、投写の変更の前後の被写体の第１画像および第２画像を比較することによって、画像相違データが取得された後、画像相違データは、被写体が仮想物体であるか実物体（例えば、ユーザなどの実物体）であるかを判定するための基礎として機能する。画像相違データがｎｕｌｌである場合、被写体の第１画像および第２画像は、投写情報の変更の前後で同じであると見なされ、対応する被写体は、仮想物体であると判定される。画像相違データｎｕｌｌでない場合、被写体の第１画像および第２画像は、投写情報の変更の前後で同じではないと見なされ、対応する被写体は、実物体であると判定される。
被写体が人間の目である一例として、ディスプレイスクリーンの表示コンテンツの変更に対する人間の目のフィードバックと、ディスプレイスクリーンの表示コンテンツの変更に対する写真、ビデオ、または、シミュレーションソフトウェアのフィードバックとの間には、大きい差異が存在する（例えば、被写体が人間の目である場合、本物の目からのフィードバックは、シミュレートされた目からのフィードバックとは異なる）。したがって、被写体のフィードバックデータは、現在の被写体が本物の人物の顔であるのか、または、（例えば、人間の顔の写真またはビデオを含む）仮想の人間の顔を含むシミュレートされた被写体であるのかを判定するための基礎として利用できる。
様々な実施形態に従って、携帯デバイスのディスプレイスクリーンによって表示される表示コンテンツが変更され、被写体上に投写される。携帯デバイスの画像キャプチャデバイス（例えば、ビデオデバイス）を用いて、ディスプレイスクリーンの変更の前後の被写体の第１画像および第２画像が取得され、第１画像および第２画像は、比較解析を受ける。第１および第２画像の差データは、現在の被写体が仮想物体であるか否かを判定するための基礎として機能する。被写体上に投写されるコンテンツの変更は、被写体をキャプチャする過程で取得されるコンテンツを変化させる。攻撃者によって用いられる悪意あるまたは不正な認証試行に利用できるコンテンツ（対応する動作の事前録画ビデオ、連続写真のスライドショー、もしくは、コンピュータシミュレーションを通して合成された頭を縦に振るまたは横に振る動作または瞬きなどの動作の画像、など）は、一般に、二次元画像である。したがって、二次元画像上に投写された投写情報が変更された場合に、それらの二次元画像内のどの２つの領域についても変更結果の間に差がない。例えば、被写体が仮想物体である場合にキャプチャされた画像（例えば、対応する動作の事前録画ビデオ、連続写真のスライドショー、もしくは、コンピュータシミュレーションを通して合成された頭を縦に振るまたは横に振る動作または瞬きなどの動作の画像）に対応する画像相違データは、第１画像および第２画像が一致することを示す。様々な実施形態に従って、被写体が仮想物体であるか否かを判定する処理において、被写体が二次元画像（例えば、仮想物体）でもあるか否かを判定するために、画像相違データを用いることが可能である。いくつかの実施形態において、変更された投写情報を動的または定期的に試験した後（例えば、投写情報の変更前後の対応する画像を取得した後）、以下を判定することができる：キャプチャされた第１画像および第２画像における異なる領域の画像変動結果の間に差が存在する場合、被写体は、仮想物体ではなく、生きている実在の被写体である。例えば、様々な実施形態が、表示の変化に対する被写体のリアルタイムフィードバックに基づいて生体検出および識別認証を提供し、したがって、生きた人間の顔の検出精度を向上させ、認証システムでの仮想物体による悪意あるまたは不正な認証試行を低減する。
様々な実施形態が、ビデオまたは画像攻撃（ここで、悪意あるユーザは、ライブアクション（実写）を利用してシミュレートされた正規ユーザの動作を用いて認証を行う）に脆弱な既存のライブ認識に基づいた認証システムを改善する。
様々な実施形態に従って、再び、携帯デバイスとして電話の例を取り、人物の顔を被写体とすると、電話のディスプレイスクリーンによって表示されるコンテンツ（テキストまたは写真など）は、顔の上に投写される対応する投写情報を取得するために変更される。次いで、人物の眼球は、電話のディスプレイスクリーンによって現在表示されているコンテンツを反射する。したがって、人物の眼球によって反射される情報は、電話のディスプレイスクリーンによって表示されるコンテンツの変更の前後で同じではない。そのため、電話がコンテンツを変更する前後に電話のビデオカメラによって撮影された顔の第１画像および第２画像は異なる。被写体が顔の写真であるかもしくは別の二次元または三次元モデルである場合、電話がコンテンツを変更する前後に電話のビデオカメラによって撮影された顔の第１画像および第２画像は同じになる。したがって、様々な実施形態は、生体認識に基づいた認証システムのセキュリティを向上させる。
様々な実施形態に従って、スマートフォンまたはタブレットなどの端末が、顔認識に基づいた認証方法を実施するために提供される。
図９は、本願の様々な実施形態に従って、端末を示す図である。
図９を参照すると、顔認識に基づいた認証のための端末９００が提供されている。端末９００は、図１の端末１００、図２の端末２００、図３のシステム３００、および／または、図１０のコンピュータ端末１０００と関連して実施されうる。端末９００は、図４の処理４００、図６の処理６００、図７の処理７００、および／または、図８の処理８００を、少なくとも部分的に実施できる。
図９に示すように、端末９００（例えば、スマートフォン９００）は：ディスプレイスクリーン９１０、画像キャプチャデバイス９２０（例えば、ビデオカメラ）、および、プロセッサ９３０を備える。
ディスプレイスクリーン９１０は、投写情報を投写（例えば、表示）するよう構成される。投写情報は、ディスプレイスクリーンによって表示されたコンテンツを含み、投写情報は、ディスプレイスクリーンの表示コンテンツを更新することによって更新される。画像キャプチャデバイス９２０（例えば、ビデオカメラ）は、投写情報がディスプレイスクリーンによって被写体上に投写された後に、現在の被写体の第１画像をキャプチャし、投写情報が変更された後に、投写が更新された状態の被写体の第２画像をキャプチャするよう構成される。プロセッサ９３０は、第１画像の画像データ、第２画像の画像データ、第１画像および第２画像における異なる領域からの画像変動結果を取得し、第１画像および第２画像を比較し、第１画像および第２画像の異なる領域の間の画像相違データ（例えば、異なる領域の画像変動結果）を取得し、被写体が仮想物体であるか否かを判定するための基礎として画像相違データを用いるよう構成される。
いくつかの実施形態において、上述の図９に示したスマートフォンは、タッチディスプレイデバイス（「タッチスクリーン」または「タッチディスプレイスクリーン」とも呼ばれる）を有する。いくつかの実施形態において、上述した図９に示すスマートフォンは、グラフィカルユーザインターフェイス（ＧＵＩ）を有する。ユーザは、指の接触および／またはタッチセンシティブ面に触れる動作によって、ＧＵＩとのヒューマンマシンインタラクションを行いうる。ヒューマンマシンインタラクション機能は、任意選択的に、以下のインタラクションを含む：ウェブページの作成、描画、テキスト処理、電子文書の作成、ゲーム、ビデオ会議、インスタントメッセージング、電子メールの送受信、インターフェースの呼び出し、デジタルビデオの再生、デジタル音声の再生、および／または、インターネットブラウジング、など。上述のヒューマンマシンインタラクション機能を実行するための実行可能な命令は、１または複数のプロセッサによって実行可能なコンピュータプログラム製品内に、もしくは、読み取り可能な記憶媒体内に、構成／格納される。
具体的には、上述の実施形態において、ディスプレイスクリーンは、スクリーン上に特定の電子情報コンテンツを表示できるスマートフォンのディスプレイスクリーンであってよく、人間の目の上にかかる情報を反射させるための表示ツールである。画像キャプチャデバイスすなわちビデオカメラは、スマートフォンのビデオカメラであってよい。画像がレンズを通してキャプチャされた後、ビデオデバイス内部の光感知素子回路および制御構成要素が、画像を処理して、端末デバイスによって認識可能なデジタル信号に変換する。次いで、デジタル信号が、無線（例えば、Ｂｌｕｅｔｏｏｔｈ、Ｗｉ−Ｆｉ、赤外線など）接続または有線（例えば、パラレルポート、ＵＳＢ、マイクロＵＳＢ、ファイヤワイヤなど）接続を介して端末デバイスに入力された後、画像は、ソフトウェアによって復元される。プロセッサは、画像処理機能を有するスマートフォンのＣＰＵであってよい。投写情報は、ディスプレイスクリーン上に表示されるコンテンツ（写真、テキスト、または、フォームであってよい）でありうる。被写体は、ビデオカメラを通して画像情報が取得される必要がある任意の物体でありうる。任意選択的な実施形態において、被写体は人物の顔でありえ、仮想物体は被写体の二次元画像または三次元モデルでありうる。
いくつかの実施形態において、仮想物体は、被写体の写真または三次元モデル（蝋人形など）、ビデオ、連続写真のスライド、もしくは、写真に基づいたソフトウェアシミュレーションから合成され動作を含む画像でありうる。
人間の目である被写体を例に取ると、ディスプレイスクリーンの表示コンテンツの変化への人間の目のフィードバックと、ディスプレイスクリーンの表示コンテンツの変化への写真、ビデオ、または、シミュレーションソフトウェアのフィードバックとの間には非常に大きい差異がある。フィードバックは、ディスプレイスクリーンから表示されたコンテンツの被写体からの反射から導出された情報に対応しうる。したがって、被写体のフィードバックデータは、現在の対象が本物の人物の顔であるのかまたは仮想の人間の顔（例えば、人間の顔の写真またはビデオなど）を含むのかを評価するための基礎として利用できる。
様々な実施形態に従って、（例えば、端末のディスプレイからの投写情報の表示を介して）投写情報が被写体に投写されると、被写体の現在のキャプチャから取得された第１画像が得られる。投写情報が変更された後、更新された投写情報が投写されている時に、被写体のキャプチャから取得された第２画像が得られる。第１画像および第２画像が比較され、画像相違データが取得される。例えば、画像相違データは、第１画像と第２画像との間の差に対応しうる。画像相違は、第２画像が第１画像と異なる程度を測る尺度でありうる。いくつかの実施形態において、画像相違データは、端末によって表示された投写情報への変更に対応する更新されたコンテンツを第２画像が含むか否かを示すか、または、端末によって表示された投写情報への変更に対応する更新されたコンテンツを第２画像が含むか否かの示唆が導出された情報を含む。画像相違データは、被写体が仮想物体であるか否かを判定するための基礎として機能する。
いくつかの実施形態において、被写体上に現在投写されているコンテンツの変更（例えば、投写情報の変更）は、ディスプレイスクリーン上に表示されたコンテンツまたはディスプレイスクリーンのスクリーンパラメータを変更する工程と、変更結果を被写体上へ投写する工程と、を含む。次いで、画像キャプチャデバイス（例えば、ビデオカメラ、端末上のフロントカメラなど）を用いて、データ（例えば、ディスプレイスクリーン上に表示されたコンテンツ）が被写体上への投写に向けて変更される前および変更された後の被写体の第１画像および第２画像が取得される。第１画像および第２画像の画像相違データは、現在の被写体が仮想物体であるか否かを判定するための基礎として機能する。例えば、第１画像および第２画像の間の差に対応する画像相違データは、被写体が仮想物体であるか否かの判定に関連して利用される。被写体上に投写されるコンテンツの変更は、被写体をキャプチャする過程で撮影されるコンテンツを変化させる。攻撃者によって用いられる悪意あるまたは不正な認証試行に利用できるコンテンツ（対応する動作の事前録画ビデオ、連続写真のスライドショー、もしくは、コンピュータシミュレーションを通して合成された頭を縦に振るまたは横に振る動作または瞬きなどの動作の画像、など）は、一般に、二次元画像である。したがって、二次元画像上に投写された投写情報が変更された場合に、それらの二次元画像内のどの２つの領域についても変更結果の間に差がない。例えば、被写体が仮想物体である場合にキャプチャされた画像（例えば、対応する動作の事前録画ビデオ、連続写真のスライドショー、もしくは、コンピュータシミュレーションを通して合成された頭を縦に振るまたは横に振る動作または瞬きなどの動作の画像）に対応する画像相違データは、第１画像および第２画像が一致することを示す。様々な実施形態に従って、被写体が仮想物体であるか否かを判定する処理において、被写体が二次元画像（すなわち、仮想物体）でもあるか否かを判定するために、画像相違データを用いることが可能である。いくつかの実施形態において、変更された投写情報を動的または定期的に試験した後（例えば、投写情報の変更前後の対応する画像を取得した後）、以下を判定することができる：キャプチャされた第１画像および第２画像における異なる領域の画像変動結果の間に差が存在する場合、被写体は、仮想物体ではなく、生きている実在の被写体である。例えば、様々な実施形態が、表示の変化に対する被写体のリアルタイムフィードバックに基づいて生体検出を提供し、したがって、生きた人間の顔の検出精度を向上させ、認証システムでの仮想物体による悪意あるまたは不正な認証試行を低減する。
様々な実施形態が、ビデオまたは画像攻撃（ここで、悪意あるユーザは、ライブアクション（実写）を利用してシミュレートされた正規ユーザの動作を用いて認証を行う）に脆弱な既存のライブ認識に基づいた認証システムを改善する。
いくつかの実施形態において、端末９００は、認証機能をアクティブ化する時、被写体が仮想物体であるか否かを判定するようにプロセッサ９３０をアクティブ化することができる。
いくつかの実施形態において、第１画像は、少なくとも以下を含む：第１投写情報を投写した時の被写体の第１顔画像および第１背景画像、そして、第２画像は、少なくとも以下を含む：第２投写情報投写した時の被写体の第２顔画像および第２背景画像。投写情報は、以下のうちの少なくとも１つを含む：投写の明るさ、投写の色、ならびに、投写グラフィックスまたはテキスト。
いくつかの実施形態において、プロセッサ９３０は、画像相違データがｎｕｌｌである場合に、被写体が仮想物体であると判定するよう構成される。画像相違データがｎｕｌｌであることは、第１画像の画像データおよび第２画像の画像データが同じであることを表しうる。
いくつかの実施形態において、画像相違データは以下を含む：第１顔画像を第２顔画像と比較して得られた第１変動度、および、第１背景画像を第２背景画像と比較して得られた第２変動度。プロセッサ９３０は、さらに、投写情報が投写の明るさおよび／または投写の色である時、第１変動度が顔全体の明るさ変動値および／または色変動値であり、第１変動度と第２変動度との間の差が第１所定変動範囲内に収まる場合に、被写体が仮想物体であると判定するよう構成されてよい。被写体上に投写される投写情報が変更された場合、第１変動度は、被写体をキャプチャすることによって取得された顔画像を記録することによって決定され、第２変動度は、被写体が位置する背景画像をキャプチャすることによって決定される。
様々な実施形態は、被写体が仮想物体であるか否かを判定するための基礎として、画像の部分的な明るさ変動を用いる。ディスプレイスクリーンの明るさが変化するので、リアルタイムにビデオカメラによって取得された画像明るさにおける顔部分および背景部分の明るさ変動度は、以下の差異を有する：本物の人物の顔部分からディスプレイスクリーンまでの距離が同じではなくなるので、本物の人物の顔部分の明るさの変動はより顕著になるが、背景部分の明るさの変動は容易にわかるほどではない。被写体が、写真、ビデオ、ソフトウェアシミュレーション、および、その他のかかる方法に対応する場合、顔部分および背景部分のディスプレイスクリーンからの距離は基本的に異なるが、明るさ変動度は同じになる。
いくつかの実施形態において、画像相違データは以下を含む：第１顔画像を第２顔画像と比較して得られた第１変動度、および、第１背景画像を第２背景画像と比較して得られた第２変動度。第１顔画像および第２顔画像が、被写体の顔の少なくとも１つの生物学的特徴に関する特徴情報を含む場合、ならびに、投写情報が、投写の明るさおよび／または投写の色である場合、プロセッサ９３０は、第１変動度が顔の任意の１または複数の生物学的特徴の明るさ変動値および／または色変動値であり、第１変動度と第２変動度との間の差が第２所定変動範囲内に収まる場合に、被写体が仮想物体であると判定しうる。被写体上に投写される投写情報が変更された場合、第１変動度は、被写体をキャプチャすることによって取得された顔画像を記録することによって決定され、第２変動度は、被写体が位置する背景画像をキャプチャすることによって決定される。
様々な実施形態は、顔の様々な部分の明るさ変動度に基づいて、被写体が仮想物体であるか否かを判定する。ディスプレイスクリーンの明るさおよび／または色が変わると、ビデオカメラによってリアルタイムに取得された画像の明るさにおいて、顔部分と背景部分との間で明るさおよび／または色の程度に差が存在する。本物の人物の場合、明るさの変動は、顔の高輝度光部分と低輝度光部分との間で、顔の３Ｄ構造により異なることになる。写真、ビデオ、ソフトウェアシミュレーション、または、その他のかかる方法の場合、顔の様々な部分の明るさの変動パターンは、その平坦な構造のために、本物の人物とは異なるものになる。
いくつかの実施形態において、画像相違データは以下を含む：第１顔画像および第２顔画像内の少なくとも１つの生物学的特徴の画像変動値がある場合、かつ、投写情報が投写の明るさおよび／または投写の色である場合、プロセッサ９３０は、任意の２つの生物学的特徴の明るさ変動値および／または色変動値を取得するよう構成される。任意の２以上の生物学的特徴の画像相違データが第３所定変動範囲内に収まる場合、被写体は、仮想物体であると判定される。被写体上に投写される投写情報が変更された場合、画像相違データは、被写体の顔の少なくとも１つの生物学的特徴のキャプチャから取得された特徴画像を記録することによって決定される。
いくつかの実施形態において、投写情報は以下を含む：投写グラフィックス。生物学的特徴が眼球である場合、画像相違データは、第１顔画像および第２顔画像内の生物学的特徴の画像変動値であり、これは、眼球によって反射される画像コンテンツの変動値である。プロセッサ９３０は、さらに、画像コンテンツの変動値が所定変動範囲（例えば、第４所定変動範囲）内にある場合に、被写体が仮想物体であると判定するよう構成されてよい。
いくつかの実施例において、被写体として人物の顔の例を取ると、スマートフォンのディスプレイスクリーンによって表示されるコンテンツ（テキストまたは写真など）は、顔の上に投写される対応する投写情報を取得するために変更されうる。次いで、人物の眼球は、電話のディスプレイスクリーンによって現在表示されているコンテンツを反射する。したがって、人物の眼球によって反射される情報は、スマートフォンのディスプレイスクリーンによって表示されるコンテンツの変更の前後で同じではない。そのため、電話がコンテンツを変更する前後にスマートフォンのビデオカメラによって撮影された顔の第１画像および第２画像は異なる。被写体が顔の写真であるかもしくは別の二次元または三次元モデルである場合、スマートフォンがコンテンツを変更する前後にスマートフォンのビデオカメラによって撮影された顔の第１画像および第２画像は一般的に同じになる。様々な実施形態は、生体認識に基づいた認証システムのセキュリティを向上させる。
様々な実施形態が、コンピュータ端末を提供する。このコンピュータ端末は、コンピュータ端末のクラスタ内の任意のコンピュータ端末デバイスであってよい。コンピュータ端末は、携帯端末などの端末デバイスに置き換えられてもよい。
いくつかの実施形態において、コンピュータは、コンピュータネットワークの複数のネットワークデバイスの中の任意の１つのネットワークデバイスに配置される。
様々な実施形態に従って、コンピュータ端末は、アプリケーションの脆弱性検出方法の以下の工程のためのプログラムコードを実行できる：投写情報が被写体上に投写されている時に、被写体の現在のキャプチャから取得された第１画像が得られる。投写情報が変更された後、投写情報が投写更新を受けた時に被写体のキャプチャから取得された第２画像が得られる。第１画像および第２画像が比較され、画像相違データが取得される。画像相違データは、被写体が仮想物体であるか否かを判定するための基礎として機能する。
図１０は、本願の様々な実施形態に従って、コンピュータ端末を示す構造ブロック図である。
図１０を参照すると、顔認識に基づいた認証のための端末１０００が提供されている。端末１０００は、図１の端末１００、図２の端末２００、図３のシステム３００、および／または、図９のスマートフォン９００と関連して実施されうる。端末１０００は、図４の処理４００、図６の処理６００、図７の処理７００、および／または、図８の処理８００を、少なくとも部分的に実施できる。
図１０に示すように、コンピュータ端末１０００は、１または複数のプロセッサ１０１０（例えば、プロセッサ１０１０ａ、プロセッサ１０１０ｂ、および／または、プロセッサ１０１０ｎ）と、メモリ１０２０と、通信モジュール（例えば、伝送デバイス）１０３０と、を備える。
メモリ１０２０は、ソフトウェアプログラムおよびモジュール（例えば、セキュリティ脆弱性検出方法に対応するプログラム命令／モジュール）を格納するために用いられてよい。メモリに格納されたソフトウェアプログラムおよびモジュールを実行することにより、プロセッサ１０１０は、様々な関数適用を実行し、データ処理（例えば、プロセッサ１０１０）は、攻撃に対するシステムの脆弱性を検出するための方法を実施する。メモリ１０２０は、高速ランダムアクセスメモリを含みうる。メモリ１０２０は、さらに、１または複数の磁気ストレージデバイス、フラッシュメモリ、または、その他の不揮発性ソリッドステートメモリなど、不揮発性メモリを含みうる。いくつかの実施形態において、メモリ１０２０は、プロセッサに対してリモートに配置されたメモリを含む。かかるリモートメモリは、ネットワークを介して端末１０００に接続されてよい。ネットワークの例は、インターネット、企業イントラネット、ローカルエリアネットワーク、モバイル通信ネットワーク、および、それらの組み合わせを含むが、これらに限定されない。
プロセッサ１０１０は、メモリ１０２０によって格納された情報およびアプリケーションを呼び出して、以下の工程を実行できる：投写情報が被写体に投写されている時に、被写体の現在のキャプチャから取得された第１画像が得られる。投写情報が変更された後、投写情報が投写更新を受けた時に被写体のキャプチャから取得された第２画像が得られる。第１画像および第２画像が比較され、画像相違データが取得される。画像相違データは、被写体が仮想物体であるか否かを判定するための基礎として機能する。プロセッサ１０１０は、入力／出力インターフェースまたは伝送デバイス１０３０を用いて、メモリ１０２０によって格納された情報およびアプリケーションを呼び出すことができる。
プロセッサ１０１０は、さらに、以下の工程のためのプログラムコードを実行できる：端末デバイスが認証機能をアクティブ化すると、投写情報が端末デバイスのディスプレイスクリーンによって投写され、ここで、投写情報は、ディスプレイスクリーンによって表示されたコンテンツであり、投写情報は、ディスプレイスクリーンの表示コンテンツを更新することによって更新される。
いくつかの実施形態において、第１画像は、少なくとも以下を含む：第１投写情報を投写した時の被写体の第１顔画像および第１背景画像、そして、第２画像は、少なくとも以下を含む：第２投写情報投写した時の被写体の第２顔画像および第２背景画像。投写情報は、以下のうちの少なくとも１つを含みうる：投写の明るさ、投写の色、および、投写グラフィックス。
いくつかの実施形態において、プロセッサ１０１０は、以下の工程のためのプログラムコードを実行する：画像相違データがｎｕｌｌである場合に、被写体が仮想物体であると判定する工程。画像相違データがｎｕｌｌであることは、第１画像の画像データおよび第２画像の画像データが同じであることを表している。
いくつかの実施形態において、プロセッサ１０１０は、以下の工程のためのプログラムコードを実行する：投写情報が投写の明るさおよび／または投写の色である時、第１変動度が顔全体の明るさ変動値および／または色変動値であり、第１変動度と第２変動度との間の差が第１所定変動範囲内に収まる場合に、被写体が仮想物体であると判定される。被写体上に投写される投写情報が変更された場合、第１変動度は、被写体をキャプチャすることによって取得された顔画像を記録することによって決定され、第２変動度は、被写体が位置する背景画像をキャプチャすることによって決定される。
いくつかの実施形態において、プロセッサ１０１０は、以下の工程のためのプログラムコードを実行する：投写情報が投写の明るさおよび／または投写の色である時、第１変動度が顔の任意の１または複数の生物学的特徴の明るさ変動値および／または色変動値であり、第１変動度と第２変動度との間の差が閾値範囲（例えば、第２所定変動範囲）内に収まる場合に、被写体は仮想物体であると判定される。被写体上に投写される投写情報が変更された場合、第１変動度は、被写体をキャプチャすることによって取得された顔画像を記録することによって決定され、第２変動度は、被写体が位置する背景画像をキャプチャすることによって決定される。
いくつかの実施形態において、プロセッサ１０１０は、以下の工程のためのプログラムコードを実行する：投写情報が投写の明るさおよび／または投写の色である時、任意の２つの生物学的特徴の明るさ変動値および／または色変動値を取得する工程。任意の２以上の生物学的特徴の画像変動値が第３所定変動範囲内に収まる場合、被写体は仮想物体であるとの判定がなされる。被写体上に投写される投写情報が変更された場合、画像相違データは、被写体の顔の少なくとも１つの生物学的特徴のキャプチャから取得された特徴画像を記録することによって決定される。
いくつかの実施形態において、プロセッサ１０１０は、以下の工程のためのプログラムコードを実行する：投写情報は、投写グラフィックスを含む。生物学的特徴が眼球である場合、画像相違データは、第１顔画像および第２顔画像内の生物学的特徴の画像変動値であり、これは、眼球によって反射される画像コンテンツの変動値である。画像コンテンツの変動値が第４所定変動範囲内にある場合、被写体が仮想物体であるとの判定がなされる。
図１０に示した構造は、例示にすぎない。コンピュータ端末は、スマートフォン（ＡｎｄｒｏｉｄフォンまたはｉＯＳフォンなど）、タブレットコンピュータ、パームトップコンピュータ、携帯インターネットデバイス（ＭＩＤ）、ＰＡＤ、または、その他のかかるデバイスであってよい。図１０は、電子デバイスの構造を限定するものではない。例えば、コンピュータ端末１０００は、図１０に示したよりも多いまたは少ない構成要素（ネットワークインターフェース、ディスプレイデバイスなど）を備えてもよいし、図１０に示した構成とは異なる構成を有してもよい。
当業者であれば、上述の実施形態の様々な方法における工程の全部または一部が、端末デバイスに関連するハードウェアにプログラムで命令することによって実行されうることを理解できる。これらのプログラムは、コンピュータ読み取り可能な記憶媒体に格納されてよい。記憶媒体は、フラッシュディスク、リードオンリーメモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、磁気ディスク、光学ディスクなどを含みうる。
様々な実施形態が、記憶媒体を提供する。いくつかの実施形態において、記憶媒体は、顔認識に基づいた認証方法によって実行されるプログラムコードを保存するために用いられる。
記憶媒体は、コンピュータネットワーク内のコンピュータ端末グループの中の任意のコンピュータ端末に配置されてもよいし、携帯端末グループの中の任意の携帯端末に配置されてもよい。
いくつかの実施形態において、記憶媒体は、以下の工程を実行するためのプログラムコードを格納するよう構成される：投写情報が被写体に投写されている時に、被写体の現在のキャプチャから取得された第１画像が得られる。投写情報が変更された後、投写情報が投写更新を受けた時に被写体のキャプチャから取得された第２画像が得られる。第１画像および第２画像が比較され、画像相違データが取得される。画像相違データは、被写体が仮想物体であるか否かを判定するための基礎として機能する。
いくつかの実施形態において、記憶媒体は、以下の工程を実行するためのプログラムコードを格納するよう構成される：端末デバイスが認証機能をアクティブ化すると、投写情報が端末デバイスのディスプレイスクリーンによって投写される。投写情報は、ディスプレイスクリーンによって表示されたコンテンツであってよく、投写情報は、ディスプレイスクリーンの表示コンテンツを更新することによって更新される。
いくつかの実施形態において、第１画像は、少なくとも以下を含む：第１投写情報を投写した時の被写体の第１顔画像および第１背景画像、そして、第２画像は、少なくとも以下を含む：第２投写情報投写した時の被写体の第２顔画像および第２背景画像。投写情報は、以下のうちの１または複数を含みうる：投写の明るさ、投写の色、および、投写グラフィックス。
いくつかの実施形態において、記憶媒体は、以下の工程を実行するためのプログラムコードを格納するよう構成される：画像相違データがｎｕｌｌである場合に、被写体が仮想物体であると判定する工程。画像相違データがｎｕｌｌであることは、第１画像の画像データおよび第２画像の画像データが同じであることを表しうる。
いくつかの実施形態において、記憶媒体は、以下の工程を実行するためのプログラムコードを格納するよう構成される：投写情報が投写の明るさおよび／または投写の色である時、第１変動度が顔全体の明るさ変動値および／または色変動値であり、第１変動度と第２変動度との間の差が第１所定変動範囲内に収まる場合に、被写体が仮想物体であると判定される。被写体上に投写される投写情報が変更された場合、第１変動度は、被写体をキャプチャすることによって取得された顔画像を記録することによって決定され、第２変動度は、被写体が位置する背景画像をキャプチャすることによって決定される。
いくつかの実施形態において、記憶媒体は、以下の工程を実行するためのプログラムコードを格納するよう構成される：投写情報が投写の明るさおよび／または投写の色である時、第１変動度が顔の任意の１または複数の生物学的特徴の明るさ変動値および／または色変動値であり、第１変動度と第２変動度との間の差が第２所定変動範囲内に収まる場合に、被写体は仮想物体であると判定される。被写体上に投写される投写情報が変更された場合、第１変動度は、被写体をキャプチャすることによって取得された顔画像を記録することによって決定され、第２変動度は、被写体が位置する背景画像をキャプチャすることによって決定される。
いくつかの実施形態において、記憶媒体は、以下の工程を実行するためのプログラムコードを格納するよう構成される：投写情報が投写の明るさおよび／または投写の色である時、任意の２つの生物学的特徴の明るさ変動値および／または色変動値を取得する工程。任意の２以上の生物学的特徴の画像相違データが閾値範囲（例えば、第３所定変動範囲）内に収まる場合、被写体は、仮想物体であると判定される。被写体上に投写される投写情報が変更された場合、画像相違データは、被写体の顔の少なくとも１つの生物学的特徴のキャプチャから取得された特徴画像を記録することによって決定される。
いくつかの実施形態において、記憶媒体は、以下の工程を実行するためのプログラムコードを格納するよう構成される：投写情報は、投写グラフィックスを含む。生物学的特徴が眼球である場合、画像相違データは、第１顔画像および第２顔画像内の生物学的特徴の画像変動値であり、これは、眼球によって反射される画像コンテンツの変動値である。画像コンテンツの変動値が閾値範囲（例えば、第４所定変動範囲）内にある場合、被写体は仮想物体であると判定される。
本発明の実施形態において、各実施形態の記載は、個別の強調点を有し、一実施形態の一部は詳細に記載されてはいない。関連の記載のためにその他の実施形態を参照してよい。
本願によって提供されたいくつかの実施形態において、開示された技術的内容は、他の方法で実現されてもよいことを理解されたい。上述したデバイスの実施形態は、単に例示である。例えば、ユニットへの分割は、単に論理機能による分割である。実際に実装される場合、他の形態の分割もありうる。例えば、複数のユニットまたは構成要素が、別のシステムに組み合わせまたは一体化されてもよく、また、一部の特徴が省略されるかまたは実行されなくてもよい。さらに、図示または議論されている挿入された結合または直接的な結合または通信接続は、いくつかのインターフェース、ユニット、モジュールを通る間接的な結合または通信リンクであってもよい。それらは、電気的であってよく、別の形態をとってもよい。
別個の構成要素として記載されたユニットは、物理的に離れていても離れていなくてもよく、ユニットとして図示された構成要素は、物理的ユニットであってもなくてもよい。それらは、１つの場所に配置されてもよいし、複数のネットワークユニットにわたって分散されてもよい。本実施形態の具現化スキームは、実際のニーズに従って、ユニットの一部またはすべてを選択することによって実現できる。
さらに、本発明の様々な実施形態における機能ユニットが、１つの処理ユニットに統合されてもよいし、各ユニットが、独立した物理的存在を有してもよいし、２以上のユニットが、単一のユニットに統合されてもよい。統合ユニットは、ハードウェアの形態をとってもよいし、ソフトウェア機能ユニットの形態をとってもよい。
統合ユニットがソフトウェア機能ユニットの形態で実現され、独立した製品として販売または利用される場合、それらは、コンピュータ読み取り可能な記憶媒体に格納されてよい。かかる理解に基づいて、様々な実施形態の技術的スキームは、本質的であるか、従来技術に寄与する部分に関するかにかかわらず、また、技術的スキームの全部または一部に関して、ソフトウェア製品の形態で実現可能である。これらのコンピュータソフトウェア製品は、記憶媒体（ＲＯＭ／ＲＡＭ、磁気ディスク、および、光学ディスクなど）に格納され、端末装置（携帯電話、コンピュータ、サーバ、または、ネットワーク装置であってよい）に、本発明の実施形態に記載された方法を実行させるために用いられる特定の数のコマンドを含みうる。上述した記憶媒体は、以下を含む：ＵＳＢフラッシュドライブ、携帯型ハードドライブ、リードオンリーメモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、ポータブルハードドライブ、磁気ディスク、または、光学ディスク、もしくは、プログラムコードを格納できる様々な他の媒体。
以上の記載は、様々な実施形態を実施する具体的な手段にすぎない。当業者であれば、本発明の原理から逸脱することなく、改良および修飾を施すことも可能であること、そして、かかる改良および修飾も、本発明の保護範囲内にあると見なされるべきであることに注意されたい。
上述の実施形態は、理解しやすいようにいくぶん詳しく説明されているが、本発明は、提供された詳細事項に限定されるものではない。本発明を実施する多くの代替方法が存在する。開示された実施形態は、例示であり、限定を意図するものではない。

Claims (24)

  1. デバイスであって、
    投写情報に従って被写体上に投写を行うよう構成されたディスプレイスクリーンであって、前記投写情報は、前記ディスプレイスクリーンによって表示されるコンテンツ、または、前記ディスプレイスクリーンのパラメータ情報を含み、前記投写情報は、前記表示されるコンテンツまたは前記ディスプレイスクリーンの前記パラメータ情報を更新することに少なくとも部分的に基づいて更新される、ディスプレイスクリーンと、
    前記投写情報が前記被写体上に投写された後に前記被写体の第１画像をキャプチャし、前記投写情報が更新された後に前記被写体の第２画像をキャプチャするよう構成された画像キャプチャデバイスと、
    前記第１画像および前記第２画像に少なくとも部分的に基づいて画像相違データを取得し、前記画像相違データに少なくとも部分的に基づいて、前記被写体が仮想物体であるか否かを判定するよう構成された１または複数のプロセッサと、
    を備える、デバイス。
  2. 請求項１に記載のデバイスであって、前記１または複数のプロセッサは、前記第１画像および前記第２画像の比較に少なくとも部分的に基づいて前記画像相違データを取得する、デバイス。
  3. 請求項２に記載のデバイスであって、前記１または複数のプロセッサは、さらに、前記第１画像に対応する画像データおよび前記第２画像に対応する画像データを取得し、前記第１画像に対応する前記画像データおよび前記第２画像に対応する前記画像データを比較するよう構成される、デバイス。
  4. 請求項３に記載のデバイスであって、前記画像相違データは、前記第１画像に対応する前記画像データおよび前記第２画像に対応する前記画像データの前記比較の結果に対応する、デバイス。
  5. 請求項１に記載のデバイスであって、前記１または複数のプロセッサは、前記被写体が前記仮想物体であるか否かを判定し、前記被写体に関連するユーザの認証が成功であるか否かを判定する、デバイス。
  6. システムであって、
    投写情報に従って被写体上に投写を行うよう構成されたディスプレイデバイスであって、前記投写情報は、前記ディスプレイデバイスによって表示されるコンテンツ、または、前記ディスプレイデバイスのパラメータ情報を含み、前記投写情報は、前記表示されるコンテンツまたは前記ディスプレイデバイスの前記パラメータ情報を更新することに少なくとも部分的に基づいて更新される、ディスプレイデバイスと、
    前記ディスプレイデバイスと通信すると共に、前記投写情報が前記被写体上に投写された後に前記被写体の第１画像をキャプチャし、前記投写情報が更新された後に前記被写体の第２画像をキャプチャするよう構成された画像キャプチャデバイスと、
    前記第１画像および前記第２画像に少なくとも部分的に基づいて画像相違データを取得し、前記画像相違データに少なくとも部分的に基づいて、前記被写体が仮想物体であるか否かを判定するよう構成されたコンピュータ端末と、
    を備える、システム。
  7. 方法であって、
    被写体の第１画像を取得する工程と、
    ディスプレイデバイスによる表示に関連する投写情報を更新する工程と、
    前記被写体の第２画像を取得する工程であって、前記第２画像は、前記投写情報が更新された後の前記被写体の画像である、工程と、
    前記第１画像および前記第２画像に少なくとも部分的に基づいて、画像相違データを取得する工程と、
    前記画像相違データに少なくとも部分的に基づいて、前記被写体が仮想物体であるか否かを判定する工程と、
    を備える、方法。
  8. 請求項７に記載の方法であって、前記画像相違データを取得する工程は、前記第１画像および前記第２画像に少なくとも部分的に基づいて前記画像相違データを取得する工程を含む、方法。
  9. 請求項８に記載の方法であって、さらに、前記第１画像に対応する画像データおよび前記第２画像に対応する画像データを取得する工程を備える、方法。
  10. 請求項９に記載の方法であって、前記画像相違データを取得する工程は、前記第１画像に対応する前記画像データおよび前記第２画像に対応する前記画像データを比較する工程を含む、方法。
  11. 請求項１０に記載の方法であって、前記画像相違データは、前記第１画像に対応する前記画像データおよび前記第２画像に対応する前記画像データの前記比較の結果に対応する、方法。
  12. 請求項７に記載の方法であって、前記被写体は、前記第１画像および前記第２画像が一致する場合に、前記仮想物体であると判定される、方法。
  13. 請求項７に記載の方法であって、前記被写体は、前記第１画像および前記第２画像が一致しない場合に、実物体であると判定される、方法。
  14. 請求項７に記載の方法であって、さらに、前記被写体が前記仮想物体であると判定されるか否かに少なくとも部分的に基づいて、ユーザを認証する工程を備える、方法。
  15. 請求項７に記載の方法であって、前記投写情報は、前記ディスプレイデバイスのディスプレイスクリーンによって投写され、前記投写情報は、前記ディスプレイスクリーンによって表示されるコンテンツを含み、前記投写情報は、前記ディスプレイスクリーンの前記表示されるコンテンツを更新することに少なくとも部分的に基づいて更新される、方法。
  16. 請求項７に記載の方法であって、
    前記第１画像は、第１投写情報が投写されている時にキャプチャされた前記被写体の第１顔画像および第１背景画像を含み、
    前記第２画像は、第２投写情報が投写されている時にキャプチャされた前記被写体の第２顔画像および第２背景画像を含み、
    前記投写情報は、投写の明るさ、投写の色、および、投写グラフィック、のうちの１または複数を含む、方法。
  17. 請求項９に記載の方法であって、前記画像相違データに少なくとも部分的に基づいて、前記被写体が前記仮想物体であるか否かを判定する工程は、
    前記画像相違データがｎｕｌｌである場合に、前記被写体が前記仮想物体であると判定する工程を含み、前記画像相違データがｎｕｌｌであることは、前記第１画像の前記画像データおよび前記第２画像の前記画像データが同じであることを表す、方法。
  18. 請求項１６に記載の方法であって、
    前記画像相違データは、前記第１顔画像と前記第２顔画像との比較に少なくとも部分的に基づいた第１変動度と、前記第１背景画像と前記第２背景画像との比較に少なくとも部分的に基づいた第２変動度と、を含み、
    前記画像相違データに少なくとも部分的に基づいて、前記被写体が前記仮想物体であるか否かを判定する工程は、
    前記投写情報が前記投写の明るさおよび前記投写の色のうちの１または複数に対応することを判定する工程と、
    前記第１変動度と前記第２変動度との間の差があらかじめ定められた範囲内にあることを判定する工程であって、前記第１変動度は、前記第１顔画像および前記第２顔画像の中の顔の明るさ変動値および色変動値のうちの１または複数に対応する、工程と、
    前記投写情報が前記投写の明るさおよび前記投写の色のうちの１または複数に対応し、かつ、前記第１変動度と前記第２変動度との間の前記差が前記あらかじめ定められた範囲内にある場合に、前記被写体が前記仮想物体であると判定する工程と、
    を含む、方法。
  19. 請求項１８に記載の方法であって、前記被写体上に投写される前記投写情報が更新された場合に、前記被写体をキャプチャすることによって取得された顔画像を記録することによって前記第１変動度を決定し、前記被写体に関連する背景画像をキャプチャすることに少なくとも部分的に基づいて前記第２変動度を決定する、方法。
  20. 請求項１６に記載の方法であって、
    前記画像相違データは、前記第１顔画像と前記第２顔画像との比較に少なくとも部分的に基づいた第１変動度と、前記第１背景画像と前記第２背景画像との比較に少なくとも部分的に基づいた第２変動度と、を含み、
    前記第１顔画像および前記第２顔画像は、前記被写体の顔の少なくとも１つの生物学的特徴についての特徴情報を含み、
    前記画像相違データに少なくとも部分的に基づいて、前記被写体が前記仮想物体であるか否かを判定する工程は、
    前記投写情報が前記投写の明るさおよび前記投写の色のうちの１または複数に対応することを判定する工程と、
    前記第１変動度と前記第２変動度との間の差が閾値範囲内にあることを判定する工程であって、前記第１変動度は、前記第１顔画像および前記第２顔画像の中の顔の任意の１または複数の生物学的特徴の明るさ変動値および色変動値のうちの１または複数に対応する、工程と、
    前記第１変動度が、前記第１顔画像および前記第２顔画像の中の前記顔の任意の１または複数の前記生物学的特徴の前記明るさ変動値および前記色変動値のうちの１または複数に対応し、かつ、前記第１変動度と前記第２変動度との間の前記差が前記閾値範囲内にある場合に、前記被写体が前記仮想物体であると判定する工程と、
    を含む、方法。
  21. 請求項２０に記載の方法であって、前記被写体上に投写される前記投写情報が更新されたことに応じて、前記被写体をキャプチャすることによって取得された顔画像を記録することによって前記第１変動度を決定し、前記被写体に関連する背景画像をキャプチャすることに少なくとも部分的に基づいて前記第２変動度を決定する、方法。
  22. 請求項１６に記載の方法であって、
    前記投写情報は、投写グラフィックを含み、
    前記生物学的特徴が眼球の特徴を含む場合、前記画像相違データは、前記第１顔画像および前記第２顔画像の中の生物学的特徴の画像変動値を含み、前記画像変動値は、前記眼球によって反射された画像コンテンツの変動値を含み、前記画像コンテンツの前記変動値が閾値範囲内にあることに応じて、前記被写体が前記仮想物体であると判定する、方法。
  23. 請求項１６に記載の方法であって、
    前記画像相違データは、前記第１顔画像および前記第２顔画像の中の少なくとも１つの生物学的特徴の画像変動値を含み、
    前記画像相違データに少なくとも部分的に基づいて、前記被写体が前記仮想物体であるか否かを判定する工程は、
    前記投写情報が前記投写の明るさおよび前記投写の色のうちの１または複数に対応する場合に、任意の２以上の生物学的特徴の明るさ変動値および色変動値のうちの１または複数を取得する工程と、
    前記任意の２以上の生物学的特徴の各々の前記画像変動値が閾値範囲内にある場合に、前記被写体が前記仮想物体であると判定する工程と、
    を含み、
    前記被写体上への投写に関連する前記投写情報を更新する工程であって、被写体の顔の少なくとも１つの生物学的特徴のキャプチャから取得された特徴画像を記録することによって前記画像相違データを決定する工程を含む、工程を備える、方法。
  24. 請求項７に記載の方法であって、さらに、前記被写体上への投写に関連する前記投写情報の更新に応じて、前記被写体の顔の少なくとも１つの生物学的特徴のキャプチャから取得された特徴画像を記録することに少なくとも部分的に基づいて前記画像相違データを決定する工程を備える、方法。
JP2019511999A 2016-09-30 2017-09-27 顔認識に基づいた認証 Active JP6878572B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
CN201610873804.1 2016-09-30
CN201610873804.1A CN107886032B (zh) 2016-09-30 2016-09-30 终端设备、智能手机、基于脸部识别的认证方法和系统
US15/716,056 2017-09-26
US15/716,056 US10762368B2 (en) 2016-09-30 2017-09-26 Facial recognition-based authentication
PCT/US2017/053806 WO2018064214A1 (en) 2016-09-30 2017-09-27 Facial recognition-based authentication

Publications (2)

Publication Number Publication Date
JP2020502602A true JP2020502602A (ja) 2020-01-23
JP6878572B2 JP6878572B2 (ja) 2021-05-26

Family

ID=61757114

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019511999A Active JP6878572B2 (ja) 2016-09-30 2017-09-27 顔認識に基づいた認証

Country Status (8)

Country Link
US (3) US10762368B2 (ja)
EP (1) EP3520026A4 (ja)
JP (1) JP6878572B2 (ja)
KR (1) KR102251477B1 (ja)
CN (1) CN107886032B (ja)
SG (1) SG11201901138XA (ja)
TW (1) TWI751161B (ja)
WO (1) WO2018064214A1 (ja)

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2919142B1 (en) * 2014-03-14 2023-02-22 Samsung Electronics Co., Ltd. Electronic apparatus and method for providing health status information
CA3186147A1 (en) * 2014-08-28 2016-02-28 Kevin Alan Tussy Facial recognition authentication system including path parameters
KR102277212B1 (ko) * 2015-01-23 2021-07-15 삼성전자주식회사 디스플레이 정보를 이용한 홍채 인증 방법 및 장치
CN107886032B (zh) * 2016-09-30 2021-12-14 阿里巴巴集团控股有限公司 终端设备、智能手机、基于脸部识别的认证方法和系统
US10284761B2 (en) 2016-11-17 2019-05-07 Motorola Mobility Llc Multi-camera capture of a high dynamic range image
CN106778585B (zh) * 2016-12-08 2019-04-16 腾讯科技（上海）有限公司 一种人脸关键点跟踪方法和装置
US10250794B2 (en) 2017-01-04 2019-04-02 Motorola Mobility Llc Capturing an image using multi-camera automatic focus
US10169671B2 (en) * 2017-02-17 2019-01-01 Motorola Mobility Llc Face detection with temperature and distance validation
US10250795B2 (en) 2017-03-15 2019-04-02 Motorola Mobility Llc Identifying a focus point in a scene utilizing a plurality of cameras
US10657401B2 (en) * 2017-06-06 2020-05-19 Microsoft Technology Licensing, Llc Biometric object spoof detection based on image intensity variations
US10579783B1 (en) * 2017-07-31 2020-03-03 Square, Inc. Identity authentication verification
IL282574B2 (en) 2017-09-18 2023-10-01 Element Inc Methods, systems and media for detecting forgeries in mobile authentication
US10938807B2 (en) * 2018-07-11 2021-03-02 Citrix Systems, Inc. Remote desktop monitoring using a webcam
CN108872265A (zh) * 2018-07-23 2018-11-23 珠海格力智能装备有限公司 检测方法、装置及系统
CN109190469B (zh) * 2018-07-27 2020-06-23 阿里巴巴集团控股有限公司 一种检测方法及装置、一种计算设备及存储介质
CN113408403A (zh) * 2018-09-10 2021-09-17 创新先进技术有限公司 活体检测方法、装置和计算机可读存储介质
CN110910055B (zh) * 2018-09-17 2024-04-12 菜鸟智能物流控股有限公司 数据处理方法、装置、物流对象处理系统和机器可读介质
US10942637B2 (en) 2018-10-09 2021-03-09 Midea Group Co., Ltd. Method and system for providing control user interfaces for home appliances
CN109741477A (zh) * 2018-12-27 2019-05-10 深圳市商汤科技有限公司 考勤管理系统、方法及电子设备
CN109671172A (zh) * 2019-02-11 2019-04-23 宝鸡文理学院 一种辅导员用考勤系统
CN111559327B (zh) * 2019-02-14 2022-05-24 华为技术有限公司 一种数据处理方法及对应的装置
EP3938953A4 (en) 2019-03-12 2022-12-28 Element, Inc. FACIAL RECOGNITION SPOOFING DETECTION WITH MOBILE DEVICES
CN110163096B (zh) * 2019-04-16 2021-11-02 北京奇艺世纪科技有限公司 人物识别方法、装置、电子设备和计算机可读介质
SG10201906721SA (en) 2019-07-19 2021-02-25 Nec Corp Method and system for chrominance-based face liveness detection
CN111126147B (zh) * 2019-11-22 2023-10-24 天津极豪科技有限公司 图像处理方法、装置和电子系统
US11507248B2 (en) 2019-12-16 2022-11-22 Element Inc. Methods, systems, and media for anti-spoofing using eye-tracking
CN111767829B (zh) * 2020-06-28 2023-11-07 京东科技控股股份有限公司 一种活体检测方法、装置、系统及存储介质
CN111563561A (zh) 2020-07-13 2020-08-21 支付宝(杭州)信息技术有限公司 指纹图像的处理方法及装置
CN111866384B (zh) * 2020-07-16 2022-02-01 深圳传音控股股份有限公司 拍摄控制方法、移动终端及计算机存储介质
JP6896307B1 (ja) * 2020-07-28 2021-06-30 株式会社サイバーウェア 画像判定方法および画像判定装置
US11792188B2 (en) * 2020-08-05 2023-10-17 Bank Of America Corporation Application for confirming multi-person authentication
US11562600B2 (en) * 2021-03-29 2023-01-24 Nec Corporation Of America Liveness detection based on reflections analysis
CN113963425B (zh) * 2021-12-22 2022-03-25 北京的卢深视科技有限公司 人脸活体检测系统的测试方法、装置及存储介质
CN117636484A (zh) * 2022-08-12 2024-03-01 北京字跳网络技术有限公司 活体检测方法、装置、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11339048A (ja) * 1998-05-29 1999-12-10 Omron Corp 個人識別装置、個人識別方法および個人識別プログラムを記録した記録媒体
JP2006099614A (ja) * 2004-09-30 2006-04-13 Toshiba Corp 生体判別装置および生体判別方法
JP2006259924A (ja) * 2005-03-15 2006-09-28 Omron Corp 被写体認証装置、携帯電話、被写体認証ユニット、被写体認証方法、及び被写体認証プログラム
JP2010225118A (ja) * 2009-03-25 2010-10-07 Toshiba Corp 画像処理装置、方法及びプログラム

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5386103A (en) * 1993-07-06 1995-01-31 Neurnetics Ltd. Identification and verification system
US6463176B1 (en) * 1994-02-02 2002-10-08 Canon Kabushiki Kaisha Image recognition/reproduction method and apparatus
US6128398A (en) * 1995-01-31 2000-10-03 Miros Inc. System, method and application for the recognition, verification and similarity ranking of facial or other object patterns
US5842194A (en) 1995-07-28 1998-11-24 Mitsubishi Denki Kabushiki Kaisha Method of recognizing images of faces or general images using fuzzy combination of multiple resolutions
JP2001034754A (ja) 1999-07-19 2001-02-09 Sony Corp 虹彩認証装置
JP3575679B2 (ja) * 2000-03-31 2004-10-13 日本電気株式会社 顔照合方法と該照合方法を格納した記録媒体と顔照合装置
JP2001283216A (ja) * 2000-04-03 2001-10-12 Nec Corp 画像照合装置、画像照合方法、及びそのプログラムを記録した記録媒体
US7162035B1 (en) 2000-05-24 2007-01-09 Tracer Detection Technology Corp. Authentication method and system
US6697502B2 (en) 2000-12-14 2004-02-24 Eastman Kodak Company Image processing method for detecting human figures in a digital image
US6920236B2 (en) 2001-03-26 2005-07-19 Mikos, Ltd. Dual band biometric identification system
US7606790B2 (en) * 2003-03-03 2009-10-20 Digimarc Corporation Integrating and enhancing searching of media content and biometric databases
US7430315B2 (en) 2004-02-13 2008-09-30 Honda Motor Co. Face recognition system
US8976160B2 (en) 2005-03-01 2015-03-10 Eyesmatch Ltd User interface and authentication for a virtual mirror
JP4696610B2 (ja) * 2005-03-15 2011-06-08 オムロン株式会社 被写体認証装置、顔認証装置、携帯電話、及び被写体認証方法
US8065529B2 (en) 2007-05-21 2011-11-22 Ut-Battelle, Llc Methods for using a biometric parameter in the identification of persons
CN101441710A (zh) * 2007-11-20 2009-05-27 上海银晨智能识别科技有限公司 防欺骗性人脸识别门禁系统及防欺骗性进入的方法
US20100166303A1 (en) * 2008-12-31 2010-07-01 Ali Rahimi Object recognition using global similarity-based classifier
US8745726B2 (en) * 2009-05-21 2014-06-03 International Business Machines Corporation Identity verification in virtual worlds using encoded data
CN101908140A (zh) * 2010-07-29 2010-12-08 中山大学 一种在人脸识别中应用的活体检测方法
EP2546782B1 (en) * 2011-07-11 2014-06-25 Accenture Global Services Limited Liveness detection
US9082235B2 (en) * 2011-07-12 2015-07-14 Microsoft Technology Licensing, Llc Using facial data for device authentication or subject identification
US9202105B1 (en) * 2012-01-13 2015-12-01 Amazon Technologies, Inc. Image analysis for user authentication
US9025830B2 (en) * 2012-01-20 2015-05-05 Cyberlink Corp. Liveness detection system based on face behavior
CN103020600B (zh) * 2012-12-12 2015-08-19 紫光股份有限公司 一种用于人脸识别系统的活体人脸鉴别装置
US20140283014A1 (en) * 2013-03-15 2014-09-18 Xerox Corporation User identity detection and authentication using usage patterns and facial recognition factors
US9122911B2 (en) * 2013-03-28 2015-09-01 Paycasso Verify Ltd. System, method and computer program for verifying a signatory of a document
JP2015088098A (ja) * 2013-11-01 2015-05-07 株式会社ソニー・コンピュータエンタテインメント 情報処理装置および情報処理方法
WO2015122789A1 (en) 2014-02-11 2015-08-20 3Divi Company Facial recognition and user authentication method
US20160125239A1 (en) * 2014-10-30 2016-05-05 Delta ID Inc. Systems And Methods For Secure Iris Imaging
US9811649B2 (en) * 2014-11-13 2017-11-07 Intel Corporation System and method for feature-based authentication
TWM502206U (zh) * 2015-02-10 2015-06-01 Univ Chung Hua 數位輔助上妝裝置
US10117603B2 (en) * 2015-06-27 2018-11-06 Intel Corporation Field-of-view ocular and facial alignment guides
CN105518711B (zh) * 2015-06-29 2019-11-29 北京旷视科技有限公司 活体检测方法、活体检测系统以及计算机程序产品
CN105138996A (zh) * 2015-09-01 2015-12-09 北京上古视觉科技有限公司 一种具有活体检测功能的虹膜识别系统
CN105335640A (zh) * 2015-09-30 2016-02-17 宇龙计算机通信科技(深圳)有限公司 一种识别认证的方法、装置以及终端
US10102358B2 (en) * 2015-12-29 2018-10-16 Sensory, Incorporated Face-controlled liveness verification
CN107886032B (zh) * 2016-09-30 2021-12-14 阿里巴巴集团控股有限公司 终端设备、智能手机、基于脸部识别的认证方法和系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11339048A (ja) * 1998-05-29 1999-12-10 Omron Corp 個人識別装置、個人識別方法および個人識別プログラムを記録した記録媒体
JP2006099614A (ja) * 2004-09-30 2006-04-13 Toshiba Corp 生体判別装置および生体判別方法
JP2006259924A (ja) * 2005-03-15 2006-09-28 Omron Corp 被写体認証装置、携帯電話、被写体認証ユニット、被写体認証方法、及び被写体認証プログラム
JP2010225118A (ja) * 2009-03-25 2010-10-07 Toshiba Corp 画像処理装置、方法及びプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
堀内 要介: "顔認証のなりすましにロバストな光源を用いた判別法", 情報処理学会 第７１回（平成２１年）全国大会講演論文集（２） 人工知能と認知科学, vol. 5T-6, JPN6020020379, 10 March 2009 (2009-03-10), JP, pages 2 - 435, ISSN: 0004286417 *

Also Published As

Publication number Publication date
TW201814572A (zh) 2018-04-16
EP3520026A4 (en) 2020-04-22
WO2018064214A1 (en) 2018-04-05
CN107886032B (zh) 2021-12-14
US11551482B2 (en) 2023-01-10
US20180096212A1 (en) 2018-04-05
SG11201901138XA (en) 2019-03-28
JP6878572B2 (ja) 2021-05-26
TWI751161B (zh) 2022-01-01
US10762368B2 (en) 2020-09-01
US10997445B2 (en) 2021-05-04
KR102251477B1 (ko) 2021-05-18
EP3520026A1 (en) 2019-08-07
US20200293802A1 (en) 2020-09-17
KR20190038594A (ko) 2019-04-08
CN107886032A (zh) 2018-04-06
US20210110186A1 (en) 2021-04-15

Similar Documents

Publication Publication Date Title
US11551482B2 (en) Facial recognition-based authentication
US11983964B2 (en) Liveness detection
CN108804884B (zh) 身份认证的方法、装置及计算机存储介质
Xu et al. Virtual u: Defeating face liveness detection by building virtual models from your public photos
Tang et al. Face flashing: a secure liveness detection protocol based on light reflections
US9697414B2 (en) User authentication through image analysis
AU2017201463B2 (en) Methods and systems for authenticating users
CA2785379C (en) Method of host-directed illumination and system for conducting host-directed illumination
WO2018166456A1 (zh) 基于虚拟现实环境的身份认证方法及装置
US10846514B2 (en) Processing images from an electronic mirror
Li et al. Empirical study of face authentication systems under OSNFD attacks
TW201828152A (zh) 特徵圖像的獲取方法及獲取裝置、使用者認證方法
CN111695509A (zh) 一种身份验证方法、装置、机器可读介质及设备
JP7077106B2 (ja) 撮影画像データ処理装置および撮影画像データ処理方法
US11810401B1 (en) Methods and systems for enhancing user liveness detection
WO2024021251A1 (zh) 身份校验方法、装置、电子设备以及存储介质
US11250281B1 (en) Enhanced liveness detection of facial image data
Mohzary ML-CHIEFS: Machine Learning-Based Corneal-Specular Highlight Imaging for Enhancing Facial Recognition Security

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190425

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200521

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200623

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20200917

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201016

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20201110

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210309

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20210309

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20210318

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20210323

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210413

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210428

R150 Certificate of patent or registration of utility model

Ref document number: 6878572

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250