CN105184246B - 活体检测方法和活体检测系统 - Google Patents

活体检测方法和活体检测系统 Download PDF

Info

Publication number
CN105184246B
CN105184246B CN201510543516.5A CN201510543516A CN105184246B CN 105184246 B CN105184246 B CN 105184246B CN 201510543516 A CN201510543516 A CN 201510543516A CN 105184246 B CN105184246 B CN 105184246B
Authority
CN
China
Prior art keywords
characteristic signal
detected
video data
determining
living body
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510543516.5A
Other languages
English (en)
Other versions
CN105184246A (zh
Inventor
范浩强
贾开
印奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Kuangshi Technology Co Ltd
Beijing Megvii Technology Co Ltd
Original Assignee
Beijing Kuangshi Technology Co Ltd
Beijing Megvii Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Kuangshi Technology Co Ltd, Beijing Megvii Technology Co Ltd filed Critical Beijing Kuangshi Technology Co Ltd
Priority to CN201510543516.5A priority Critical patent/CN105184246B/zh
Publication of CN105184246A publication Critical patent/CN105184246A/zh
Priority to US15/007,544 priority patent/US10528849B2/en
Application granted granted Critical
Publication of CN105184246B publication Critical patent/CN105184246B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection
    • G06V40/45—Detection of the body part being alive

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Ophthalmology & Optometry (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

本发明涉及能够实现人体活体检测的活体检测方法和使用该活体检测方法的活体检测系统。所述活体检测方法包括：获取经由视频采集模块采集的视频数据；基于所述视频数据，确定待检测对象的特征信号；以及判断所述特征信号是否满足第一预定条件，如果所述特征信号满足所述第一预定条件，则确定所述待检测对象为活体，其中，所述特征信号指示所述待检测对象的眼部运动。

Description

活体检测方法和活体检测系统
技术领域
本公开涉及活体检测领域，更具体地，本公开涉及能够实现人体活体检测的活体检测方法和使用该活体检测方法的活体检测系统。
背景技术
目前，人脸识别系统越来越多地应用于安防、金融等领域中需要身份验证的场景，诸如银行远程开户、门禁系统、远程交易操作验证等。在这些高安全级别的应用领域中，除了确保被验证者的人脸相似度符合数据库中存储的底库数据外，首先需要被验证者是一个合法的生物活体。也就是说，人脸识别系统需要能够防范攻击者使用照片、3D人脸模型或者面具等方式进行攻击。
解决上述问题的方法通常称为活体检测，其目的是判断获取到的生物特征是否来自一个有生命、在现场的、真实的人。目前市场上的技术产品中还没有公认成熟的活体验证方案，已有的活体检测技术要么依赖特殊的硬件设备(诸如红外相机、深度相机)，要么只能防范简单的静态照片攻击。此外，现有的活体检测系统大多是配合式的，即需要被测试人员根据系统指示做出相应动作或者停留在原地不动一段时间，如此将影响用户体验和活体检测效率。此外，例如检测图像中是否有照片的边框的其他方法准确性和鲁棒性都难以满足实际需求。
发明内容
鉴于上述问题而提出了本公开。本公开提供了一种能够实现人体活体检测的活体检测方法和使用该活体检测方法的活体检测系统，其通过利用人眼对屏幕上物体自觉或不自觉的注视来进行活体验证，对用户的配合要求低，提高了人脸识别系统的准确性、易用性和用户体验。
根据本公开的一个实施例，提供了一种活体检测方法，包括：获取经由视频采集模块采集的视频数据；基于所述视频数据，确定待检测对象的特征信号；以及判断所述特征信号是否满足第一预定条件，如果所述特征信号满足所述第一预定条件，则确定所述待检测对象为活体，其中，所述特征信号指示所述待检测对象的眼部运动。
此外，根据本公开的一个实施例的活体检测方法，还包括：在所述获取经由视频采集模块采集的视频数据之前，提示预定内容的显示；以及显示所述预定内容，其中所述预定内容包含位置变化的目标。
此外，根据本公开的一个实施例的活体检测方法，其中所述基于所述视频数据，确定待检测对象的特征信号包括：基于所述视频数据，确定其中的人脸图像作为所述待检测对象；提取所述人脸图像中眼角和瞳孔的位置信息；基于所述眼角和瞳孔的位置信息，确定在所述预定内容显示期间，所述瞳孔的相对位置序列；以及确定所述瞳孔的相对位置序列与所述位置变化的目标的位置序列的相关系数作为所述特征信号。
此外，根据本公开的一个实施例的活体检测方法，其中所述判断所述特征信号是否满足第一预定条件，如果所述特征信号满足所述第一预定条件，则确定所述待检测对象为活体包括：判断所述相关系数是否大于第一预定阈值，如果所述相关系数大于所述第一预定阈值，则确定所述待检测对象为活体。
此外，根据本公开的一个实施例的活体检测方法，其中所述基于所述视频数据，确定待检测对象的特征信号包括：基于所述视频数据，确定其中的人脸图像作为所述待检测对象；提取所述人脸图像中眼角和瞳孔的位置信息；基于所述眼角和瞳孔的位置信息，确定所述瞳孔的相对位置序列；以及确定所述瞳孔的相对位置方差作为所述特征信号。
此外，根据本公开的一个实施例的活体检测方法，其中所述判断所述特征信号是否满足第一预定条件，如果所述特征信号满足所述第一预定条件，则确定所述待检测对象为活体包括：判断所述相对位置方差是否大于第二预定阈值，如果所述相对位置方差大于第二预定阈值，则确定所述待检测对象为活体。
此外，根据本公开的一个实施例的活体检测方法，其中所述基于所述视频数据，确定待检测对象的特征信号包括：预先训练获得训练视频数据中训练眼睛图像与眼睛注视方向序列的对应关系；基于所述视频数据，确定其中的人脸图像作为所述待检测对象；提取所述人脸图像中的待检测眼睛图像；基于所述对应关系和所述待检测眼睛图像，确定对应于所述视频数据的眼睛注视方向序列作为所述特征信号。
此外，根据本公开的一个实施例的活体检测方法，其中所述判断所述特征信号是否满足第一预定条件，如果所述特征信号满足所述第一预定条件，则确定所述待检测对象为活体包括：判断所述眼睛注视方向序列与所述位置变化的目标的位置变化序列是否对应，如果所述眼睛注视方向序列对应于所述位置变化的目标的位置变化序列，则确定所述待检测对象为活体。
此外，根据本公开的一个实施例的活体检测方法，其中所述判断所述特征信号是否满足第一预定条件，如果所述特征信号满足所述第一预定条件，则确定所述待检测对象为活体包括：判断所述眼睛注视方向序列的变化度是否大于第三预定阈值，如果所述变化度大于所述第三预定阈值，则确定所述待检测对象为活体。
根据本公开的另一个实施例，提供了一种活体检测系统，包括：视频采集模块，用于采集视频数据；以及活体检测模块，用于基于所述视频数据执行活体检测，其包含特征信号确定单元，用于基于所述视频数据，确定待检测对象的特征信号；特征信号判断单元，判断所述特征信号是否满足第一预定条件，如果所述特征信号满足所述第一预定条件，则确定所述待检测对象为活体，其中，所述特征信号指示所述待检测对象的眼部运动。
此外，根据本公开的另一个实施例的活体检测系统，还包括显示模块，用于显示预定内容，其中，在所述视频采集模块采集视频数据之前，所述活体检测模块提示预定内容的显示，所述预定内容包含位置变化的目标。
此外，根据本公开的另一个实施例的活体检测系统，其中所述特征信号确定单元基于所述视频数据，确定其中的人脸图像作为所述待检测对象；提取所述人脸图像中眼角和瞳孔的位置信息；基于所述眼角和瞳孔的位置信息，确定在所述预定内容显示期间，所述瞳孔的相对位置序列；并且确定所述瞳孔的相对位置序列与所述位置变化的目标的位置序列的相关系数作为所述特征信号。
此外，根据本公开的另一个实施例的活体检测系统，其中所述特征信号判断单元判断所述相关系数是否大于第一预定阈值，如果所述相关系数大于所述第一预定阈值，则确定所述待检测对象为活体。
此外，根据本公开的另一个实施例的活体检测系统，其中所述特征信号确定单元基于所述视频数据，确定其中的人脸图像作为所述待检测对象；提取所述人脸图像中眼角和瞳孔的位置信息；基于所述眼角和瞳孔的位置信息，确定所述瞳孔的相对位置序列；并且确定所述瞳孔的相对位置方差作为所述特征信号。
此外，根据本公开的另一个实施例的活体检测系统，其中所述特征信号判断单元判断所述相对位置方差是否大于第二预定阈值，如果所述相对位置方差大于第二预定阈值，则确定所述待检测对象为活体。
此外，根据本公开的另一个实施例的活体检测系统，其中所述活体检测模块预先训练获得训练视频数据中训练眼睛图像与眼睛注视方向序列的对应关系，所述特征信号确定单元基于所述视频数据，确定其中的人脸图像作为所述待检测对象；提取所述人脸图像中的待检测眼睛图像；基于所述对应关系和所述待检测眼睛图像，确定对应于所述视频数据的眼睛注视方向序列作为所述特征信号。
此外，根据本公开的另一个实施例的活体检测系统，其中所述特征信号判断单元判断所述眼睛注视方向序列与所述位置变化的目标的位置变化序列是否对应，如果所述眼睛注视方向序列对应于所述位置变化的目标的位置变化序列，则确定所述待检测对象为活体。
此外，根据本公开的另一个实施例的活体检测系统，其中所述特征信号判断单元判断所述眼睛注视方向序列的变化度是否大于第三预定阈值，如果所述变化度大于所述第三预定阈值，则确定所述待检测对象为活体。
根据本公开的又一个实施例，提供了一种计算机程序产品，包括计算机可读存储介质，在所述计算机可读存储介质上存储了计算机程序指令，所述计算机程序指令在被计算机运行时执行以下步骤：获取经由视频采集模块采集的视频数据；基于所述视频数据，确定待检测对象的特征信号；以及判断所述特征信号是否满足第一预定条件，如果所述特征信号满足所述第一预定条件，则确定所述待检测对象为活体，其中，所述特征信号指示所述待检测对象的眼部运动。
要理解的是，前面的一般描述和下面的详细描述两者都是示例性的，并且意图在于提供要求保护的技术的进一步说明。
附图说明
通过结合附图对本发明实施例进行更详细的描述，本发明的上述以及其它目的、特征和优势将变得更加明显。附图用来提供对本发明实施例的进一步理解，并且构成说明书的一部分，与本发明实施例一起用于解释本发明，并不构成对本发明的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
图1是概述根据本发明实施例的活体检测方法的流程图。
图2是图示根据本发明实施例的活体检测系统的功能性框图。
图3是示意性图示根据本发明实施例的活体检测过程的示意图。
图4是进一步图示根据本发明第一实施例的活体检测方法的流程图。
图5是进一步图示根据本发明第二实施例的活体检测方法的流程图。
图6是进一步图示根据本发明第三实施例的第一示例的活体检测方法的流程图。
图7是进一步图示根据本发明第三实施例的第二示例的活体检测方法的流程图。
图8是图示根据本发明实施例的活体检测系统的示意性框图。
具体实施方式
为了使得本发明的目的、技术方案和优点更为明显，下面将参照附图详细描述根据本发明的示例实施例。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是本发明的全部实施例，应理解，本发明不受这里描述的示例实施例的限制。基于本公开中描述的本发明实施例，本领域技术人员在没有付出创造性劳动的情况下所得到的所有其它实施例都应落入本发明的保护范围之内。
以下，将参考附图详细描述本发明的优选实施例。
图1是概述根据本发明实施例的活体检测方法的流程图。如图1所示，根据本发明实施例的活体检测方法包括以下步骤。
在步骤S101中，获取经由视频采集模块采集的视频数据。在本发明的一个实施例中，所述视频采集装置为能够获取被摄体的视频数据的摄像头(诸如RGB摄像机或深度摄像机)。获取经由视频采集装置采集的视频数据包括但不限于，在由物理位置上分离配置的视频采集装置采集视频数据之后，经由有线或者无线方式，接收从所述视频采集装置发送的视频数据。可替代地，视频采集装置可以与视频检测系统中的其他模块或组件物理上位于同一位置甚至位于同一机壳内部，视频检测系统中的其他模块或组件经由内部总线接收从所述视频采集装置发送的视频数据。
如下将详细描述的，在本发明的一个实施例中，所述视频采集模块采集的视频数据可以是在用户注视预定内容的显示的同时采集的，所述预定内容包含位置变化的目标，该视频数据可以为一段连续预定时间段(例如，3秒钟)的视频。作为待检测对象的人脸需要能够清楚地出现在视频中。优选地，所述视频图像的大小不小于64×64像素。在本发明的另一个实施例中，所述视频采集模块采集的视频数据还可以在没有显示预定内容的情况下，即在不需要特别提醒用户活体检测流程已经开始的情况下，直接由所述视频采集模块采集的用户正常操作流程(例如，点选菜单)期间的视频。此后，处理进到步骤S102。
在步骤S102中，基于视频数据，确定待检测对象的特征信号。在本发明的一个实施例中，所述特征信号指示所述待检测对象的眼部运动。例如，在用户注视预定内容的显示的同时采集所述视频数据的情况下，如果所述待检测对象为活体，则其眼部将跟随预定内容中目标位置变化而运动。或者，没有显示预定内容的情况下，直接由所述视频采集模块采集的用户正常操作流程期间的视频时，如果所述待检测对象为活体，则其眼部将在正常操作流程期间存在运动。如下将详细描述的，通过诸如预先训练好的卷积神经网络(CNN)检测器等对所述视频数据执行处理，提取所述特征信号。此后，处理进到步骤S103。
在步骤S103中，判断特征信号是否满足第一预定条件。如下将详细描述的，所述第一预定条件可能是所述特征信号指示所述待检测对象的眼部运动是否符合预定内容中目标的位置变化，或者指示所述待检测对象的眼部运动的显著程度。
如果在步骤S103中获得肯定结果，即特征信号满足第一预定条件，其指示所述待检测对象的眼部运动符合预定内容中目标的位置变化或者指示存在所述待检测对象的显著眼部运动，则处理进到步骤S104。在步骤S104中，确定待检测对象为活体。
相反地，如果在步骤S103中获得否定结果，则处理进到步骤S105。在步骤S105中，确定待检测对象为非活体。
上述根据本发明实施例的活体检测方法，其通过利用人眼对屏幕上物体自觉或不自觉的注视来进行活体验证，从而有效地区分出正常用户与照片、视频和面具攻击者，并且无需用户的特殊配合，增加了活体检测系统的安全性和易用度。
以下，将参照图2进一步描述执行上述活体检测方法的一种活体检测系统。
图2是图示根据本发明实施例的活体检测系统的功能性框图。如图2所示，根据本发明实施例的活体检测系统20包括视频采集模块21、活体检测模块22和显示模块23。所述活体检测模块22进一步包括特征信号确定单元221和特征信号判断单元222。所述视频采集模块21、活体检测模块22和显示模块23以及所述活体检测模块22中的特征信号确定单元221和特征信号判断单元222例如可以由诸如硬件(服务器、专用计算机等)、软件、固件以及它们的任意可行的组合配置。
具体地，所述视频采集模块21用于获取视频数据。在本发明的一个实施例中，所述视频采集模块21可以是包括能够获取被摄体的视频数据的RGB摄像机的视频采集装置。在本发明的另一个实施例中，所述视频采集模块21可以包括能够获取被摄体的深度信息的深度相机(深度摄像机)的视频采集装置。所述视频采集模块21可以与其后的所述活体检测模块22物理上分离，或者物理上位于同一位置甚至位于同一机壳内部。在所述视频采集模块21与其后的所述活体检测模块22物理上分离的情况下，所述视频采集模块21进一步经由有线或者无线方式将获取的视频数据发送给其后的模块。在所述视频采集模块21与其后的所述活体检测模块22物理上位于同一位置甚至位于同一机壳内部的情况下，所述视频采集模块21经由内部总线将获取的视频数据发送给其后的模块。所述视频数据可以是RGB彩色视频数据或者包括深度信息的RGBD视频数据。在经由有线或者无线方式或者经由内部总线发送所述视频数据之前，可以将其预定格式进行编码和压缩为视频数据包，以减少发送需要占用的通信量和带宽。
如上所述，所述视频采集模块21获取的视频数据可以是在用户注视预定内容的显示的同时采集的，所述预定内容包含位置变化的目标，该视频数据可以为一段连续预定时间段(例如，3秒钟)的视频。作为视频检测对象的人脸需要能够清楚地出现在视频中。优选地，所述视频图像的大小不小于64×64像素。在本发明的另一个实施例中，所述视频采集模块21获取的视频数据还可以是在没有显示预定内容的情况下，即在不需要特别提醒用户活体检测流程已经开始的情况下，直接采集的用户正常操作流程(例如，点选菜单)期间的视频。
所述活体检测模块22用于基于所述视频数据执行活体检测。具体地，所述特征信号确定单元221用于基于所述视频数据确定待检测对象的特征信号。所述特征信号判断单元222判断所述特征信号是否满足第一预定条件，如果所述特征信号满足所述第一预定条件，则确定所述待检测对象为活体。示例性地，所述活体检测模块22可以由处理器等硬件实现，也可以由计算机及运行于其中的软件实现。
所述显示模块23用于显示预定内容。在本发明的一个实施例中，在所述视频采集模块21采集视频数据之前，所述活体检测模块22提示预定内容的显示，所述预定内容包含位置变化的目标。所述特征信号确定单元221基于所述视频数据，确定其中的人脸图像作为所述待检测对象；提取所述人脸图像中眼角和瞳孔的位置信息；基于所述眼角和瞳孔的位置信息，确定在所述预定内容显示期间，所述瞳孔的相对位置序列；并且确定所述瞳孔的相对位置序列与所述位置变化的目标的位置序列的相关系数作为所述特征信号。所述特征信号判断单元222判断所述相关系数是否大于第一预定阈值，如果所述相关系数大于所述第一预定阈值，则确定所述待检测对象为活体。
在本发明的另一个实施例中，根据本发明实施例的活体检测系统也可以不包括用于显示预定内容的所述显示模块23。所述视频采集模块21采集的视频数据还可以在没有显示预定内容的情况下，即在不需要所述活体检测模块22特别提醒用户活体检测流程已经开始的情况下，直接由所述视频采集模块21采集的用户正常操作流程(例如，点选菜单)期间的视频。在此情况下，所述特征信号确定单元221基于所述视频数据，确定其中的人脸图像作为所述待检测对象；提取所述人脸图像中眼角和瞳孔的位置信息；基于所述眼角和瞳孔的位置信息，确定所述瞳孔的相对位置序列；并且确定所述瞳孔的相对位置方差作为所述特征信号。所述特征信号判断单元222判断所述相对位置方差是否大于第二预定阈值，如果所述相对位置方差大于第二预定阈值，则确定所述待检测对象为活体。
在本发明的又一个实施例中，所述活体检测模块22预先训练获得训练视频数据中训练眼睛图像与眼睛注视方向序列的对应关系。所述特征信号确定单元221基于所述视频数据，确定其中的人脸图像作为所述待检测对象；提取所述人脸图像中的待检测眼睛图像；基于所述对应关系和所述待检测眼睛图像，确定对应于所述视频数据的眼睛注视方向序列作为所述特征信号。在该实施例的一个示例中，所述特征信号判断单元222判断所述眼睛注视方向序列与所述位置变化的目标的位置变化序列是否对应，如果所述眼睛注视方向序列对应于所述位置变化的目标的位置变化序列，则确定所述待检测对象为活体。在该实施例的另一个示例中，所述特征信号判断单元222判断所述眼睛注视方向序列的变化度是否大于第三预定阈值，如果所述变化度大于所述第三预定阈值，则确定所述待检测对象为活体。
图3是示意性图示根据本发明实施例的活体检测过程的示意图。如图3所示，所述活体检测系统20用于对于所述待检测对象30执行活体验证。在本发明的一个实施例中，所述活体检测系统20提示所述待检测对象30预定内容41的显示，所述预定内容41例如具有随机生成的运动轨迹的小球。在所述预定内容41的显示期间，所述活体检测系统20捕获所述待检测对象30的图像。如果所述待检测对象30为活体，则其眼部31将跟随预定内容41中目标位置变化而运动。在本发明的另一个实施例中，所述活体检测系统20可以在不显示所述预定内容41的情况下，直接采集用户正常操作流程期间的视频时，如果所述待检测对象30为活体，则其眼部31同样将在正常操作流程期间存在运动。
以上，参照图1到图3概述了根据本发明实施例的活体检测方法和活体检测系统。以下，将参照图4到图7进一步描述根据本发明的第一到第三实施例的活体检测方法。
图4是进一步图示根据本发明第一实施例的活体检测方法的流程图。如图4所示，根据本发明第一实施例的活体检测方法包括以下步骤。
在步骤S401中，提示预定内容的显示，显示预定内容。在本发明的第一实施例中，在所述活体检测系统20的所述显示模块23上显示提示性文字或图案，引导用户注视所述显示模块23。此后，在所述显示模块23上显示包含位置变化的目标的预定内容。例如，如上参照图3所述，所述预定内容具有随机生成的运动轨迹的小球。以下，以随机生成的位置序列(Xi,Yi)代表在时刻i目标的位置。所述位置序列可以是一个随机生成的连续曲线，或者可替代地，所述位置序列可以是每个时刻随机出现的在屏幕的四角之间跳跃。此后，处理进到步骤S402。
在步骤S402中，获取经由视频采集模块采集的视频数据。在本发明的第一实施例中，在显示预定内容的同时，所述活体检测系统20的视频采集模块21采集注视预定内容的显示的待检测对象。所述视频数据可以为一段连续预定时间段(例如，3秒钟)的视频。作为待检测对象的人脸需要能够清楚地出现在视频中。优选地，所述视频图像的大小不小于64×64像素。此后，处理进到步骤S403。
在步骤S403中，基于视频数据，确定其中的人脸图像作为待检测对象。在本发明的第一实施例中，所述活体检测系统20的所述活体检测模块22确定视频数据中的人脸图像作为待检测对象。例如，所述活体检测模块22可以使用预先训练好的人脸检测器(诸如Adaboost Cascade)来获取视频数据中人脸在视频图像中的位置。此后，处理进到步骤S404。
在步骤S404中，提取人脸图像中眼角和瞳孔的位置信息。在本发明的第一实施例中，所述活体检测系统20的所述活体检测模块22的所述活体检测模块22。例如，所述活体检测模块22可以使用训练好的卷积神经网络回归来获得检测到的人脸图像中的各个关键点的位置。
具体地，对于左眼，设(Pxi,Pyi)为人脸检测器输出的瞳孔位置，(Lxi,Lyi),(Rxi,Ryi)分别为人脸检测器输出的左眼的左右两个眼角的位置，令d＝sqrt((Lxi-Rxi)2+(Lyi-Ryi)2)，通过如下等式(1)和等式(2)计算左眼瞳孔的相对位置为(AxL i,AyL i)，
AxL i＝(Pxi×(Rxi-Lxi)+Pyi×(Ryi-Lyi))/d2 等式(1)
AyL i＝(-Pxi×(Ryi-Lyi)+Pyi×(Rxi-Lxi))/d2 等式(2)
类似地，对于右眼，计算右眼瞳孔的相对位置(AxR i,AyR i)，此后，处理进到步骤S405。
在步骤S405中，基于眼角和瞳孔的位置信息，确定在预定内容显示期间，瞳孔的相对位置序列。具体地，通过如下等式(3)和等式(4)计算两眼瞳孔相对位置的平均值，
Axi＝(AxL i+AxR i)/2 等式(3)
Ayi＝(AyL i+AyR i)/2 等式(4)
此后，处理进到步骤S406。
在步骤S406中，确定瞳孔的相对位置序列与位置变化的目标的位置序列的相关系数作为特征信号。具体地，通过如下等式(5)和等式(6)计算预定内容中目标的位置序列(Xi,Yi)与两眼瞳孔的位置序列的相关系数。
计算X与Ax的相关系数
Figure BDA0000791842250000111
等式(5)
其中，T是采集的总帧数，
Figure BDA0000791842250000112
计算Y与Ay的相关系数
Figure BDA0000791842250000113
等式(6)
其中，T是采集的总帧数，
Figure BDA0000791842250000114
此后，处理进到步骤S407。
在步骤S407中，判断相关系数是否大于第一预定阈值。具体地，根据等式(7)计算相关系数作为特征信号，
c＝cx+cy 等式(7)
预先通过训练设置所述第一预定阈值。
如果在步骤S407中获得肯定结果，即相关系数大于第一预定阈值，则处理进到步骤S408。在步骤S408中，确定待检测对象为活体。具体地，如果相关系数大于第一预定阈值，其指示在待检测对象的视频数据中确定的两眼瞳孔的位置变化与位置变化的目标的位置序列紧密相关，即存在跟随目标的位置变化而变化的瞳孔的位置变化，这是作为活体的待检测对象具有的特性。
相反地，如果在步骤S407中获得否定结果，即相关系数不大于第一预定阈值，则处理进到步骤S409。在步骤S409中，确定待检测对象为非活体。具体地，如果相关系数不大于第一预定阈值，其指示在待检测对象的视频数据中不存在与位置变化的目标的位置序列紧密相关的瞳孔的位置变化，即待检测对象不具有瞳孔跟随目标位置变化而变化的特性。
如上参照图4描述了根据本发明的第一实施例的活体检测方法，其利用人眼随着屏幕中内容的位置改变而产生眼球(瞳孔位置)的运动的特点，能够有效的区分出视频回放、照片和活体人脸。同时，根据本发明的第一实施例的活体检测方法不需要用户做特定的动作或表情，配合难度低，用户体验好。
图5是进一步图示根据本发明第二实施例的活体检测方法的流程图。如图5所示，根据本发明第二实施例的活体检测方法包括以下步骤。
在步骤S501中，获取经由视频采集模块采集的视频数据。根据本发明第二实施例的活体检测方法不包括根据本发明的第一实施例的活体检测方法中提示预定内容的显示，显示预定内容的步骤。所述视频采集模块21采集的视频数据是在没有显示预定内容的情况下，即在不需要所述活体检测模块22特别提醒用户活体检测流程已经开始的情况下，直接由所述视频采集模块21采集的用户正常操作流程(例如，点选菜单)期间的视频。此后，处理进到步骤S502。
在步骤S502中，基于视频数据，确定其中的人脸图像作为待检测对象。类似于图4中的步骤S403，在本发明的第二实施例中，所述活体检测系统20的所述活体检测模块22确定视频数据中的人脸图像作为待检测对象。例如，所述活体检测模块22可以使用预先训练好的人脸检测器(诸如Adaboost Cascade)来获取视频数据中人脸在视频图像中的位置。此后，处理进到步骤S503。
在步骤S503中，提取人脸图像中眼角和瞳孔的位置信息。类似于图4中的步骤S404，在本发明的第二实施例中，所述活体检测系统20的所述活体检测模块22的所述活体检测模块22。例如，所述活体检测模块22可以使用训练好的卷积神经网络回归来获得检测到的人脸图像中的各个关键点的位置。此后，处理进到步骤S504。
在步骤S504中，基于眼角和瞳孔的位置信息，确定瞳孔的相对位置序列。在本发明的第二实施例中，具体地，采用等式(1)和(2)计算左眼瞳孔的相对位置为(AxL i,AyL i)和右眼瞳孔的相对位置(AxR i,AyR i)。此后，处理进到步骤S505。
在步骤S505中，确定瞳孔的相对位置方差作为特征信号。在本发明的第二实施例中，具体地，采用等式(8)和(9)计算瞳孔的相对位置方差，
Figure BDA0000791842250000121
等式(8)
Figure BDA0000791842250000122
等式(9)
此后，处理进到步骤S506。
在步骤S506中，判断相对位置方差是否大于第一预定阈值。具体地，根据等式(10)计算相关系数
S＝Sx+Sy 等式(10)
预先通过训练设置所述第二预定阈值。
如果在步骤S506中获得肯定结果，即相对位置方差大于第二预定阈值，则处理进到步骤S507。在步骤S507中，确定待检测对象为活体。具体地，如果相对位置方差大于第二预定阈值，其指示在待检测对象的视频数据中确定的两眼瞳孔的位置存在明显变化，两眼瞳孔的明显变化可能是待检测对象正常操作期间伴随操作出现的，甚至可以仅是活体人眼在一定时段内的正常生理运动，这是作为活体的待检测对象具有的特性。
相反地，如果在步骤S506中获得否定结果，即相对位置方差不大于第二预定阈值，则处理进到步骤S508。在步骤S508中，确定待检测对象为非活体。具体地，如果相对位置方差不大于第二预定阈值，其指示在待检测对象的视频数据中不存在瞳孔的位置明显变化，即待检测对象不具有活体人眼在一定时段内的正常生理运动的活体特性。
如上参照图5描述了根据本发明的第二实施例的活体检测方法，其不用展示特殊内容序列或者提示用户注视屏幕中内容，有更好的隐蔽性。对于照片攻击者，因为照片中眼睛瞳孔的相对位置一直不变，本实施例的方法可以将其区分出。
图6是进一步图示根据本发明第三实施例的第一示例的活体检测方法的流程图。不同于以上参照图4和图5描述的根据本发明第一和第二实施例的活体检测方法中针对视频的每一帧图像，由活体检测模块22执行图像处理的方式。在根据本发明第三实施例的活体检测方法中，由活体检测模块22考虑整个视频所有帧的信息，即考虑各帧在时间上的先后关系，动作持续的时长等。具体地，根据本发明第三实施例的第一示例的活体检测方法包括以下步骤。
在步骤S601中，预先训练获得训练视频数据中训练眼睛图像与眼睛注视方向序列的对应关系。在根据本发明第三实施例的活体检测方法中，在训练过程中例如可以仅区分上下左右四个方向。在采集训练视频数据时，生成一个随机上下左右运动点的视频，要求被采集对象注视该运动点。例如，运动点为从左上到右上、再到右下、再到右上，则该运动点的序列标注为“右-下-上”。将针对该运动点采集的采集对象注视该运动点的视频输入活体检测模块22(诸如RNN)，要求活体检测模块22对此输出“右-下-上”的序列。通过大量这样的视频和对应的序列输出的训练后，活体检测模块22就能直接根据视频输出运动方向的序列。此后，处理进到步骤S602。
步骤S602到步骤S604分别与图4中的步骤S401到步骤S403相同，将省略其重复描述。
在获得在显示预定内容的同时，所述活体检测系统20的视频采集模块21采集注视预定内容的显示的待检测对象的视频之后，在步骤S605中，由所述活体检测模块22提取人脸图像中的待检测眼睛图像。此后，处理进到步骤S606。
在步骤S606中，基于对应关系和待检测眼睛图像，确定对应于视频数据的眼睛注视方向序列作为特征信号。在根据本发明第三实施例的活体检测方法中，基于如上在步骤S601中获得的眼睛图像与眼睛注视方向序列的对应关系，所述活体检测模块22输出对应于待检测眼睛图像的注视方向序列作为特征信号。此后，处理进到步骤S607。
在步骤S607中，判断眼睛注视方向序列与位置变化的目标的位置变化序列是否对应。
如果在步骤S607中获得肯定结果，即所述活体检测模块22输出的眼睛注视方向序列与位置变化的目标的位置变化序列相对应，则处理进到步骤S608。在步骤S608中，确定待检测对象为活体。也就是说，如果所述活体检测模块22输出的眼睛注视方向序列与位置变化的目标的位置变化序列相对应，其指示在待检测对象的视频数据中存在跟随目标的位置变化而变化的眼睛，这是作为活体的待检测对象具有的特性。
相反地，如果在步骤S607中获得否定结果，即所述活体检测模块22输出的眼睛注视方向序列与位置变化的目标的位置变化序列不相对应，则处理进到步骤S609。在步骤S609中，确定待检测对象为非活体。具体地，如果所述活体检测模块22输出的眼睛注视方向序列与位置变化的目标的位置变化序列不相对应，即待检测对象不具有眼睛跟随目标位置变化而变化的特性。
如上参照图6描述了根据本发明的第三实施例的第一示例的活体检测方法，其利用人眼随着屏幕中内容的位置改变而产生眼球的运动的特点，能够有效的区分出视频回放、照片和活体人脸。
图7是进一步图示根据本发明第三实施例的第二示例的活体检测方法的流程图。图7所示的步骤S701与图6所示的步骤S601相同，同样是通过大量视频和对应的序列输出的训练后，获得训练视频数据中训练眼睛图像与眼睛注视方向序列的对应关系。此后，不同于如图6所示的根据本发明第三实施例的第一示例的活体检测方法，如图7所示的根据本发明第三实施例的第二示例的活体检测方法可以不包括提示预定内容的显示，显示预定内容的步骤。图示根据本发明第三实施例的第二示例的活体检测方法直接经由步骤S702到步骤S704，由所述视频采集模块21采集的用户正常操作流程(例如，点选菜单)期间的视频，并且由所述活体检测模块22提取人脸图像中的待检测眼睛图像。此后，处理进到步骤S706。
在步骤S706中，判断眼睛注视方向序列的变化度是否大于第三预定阈值。
如果在步骤S706中获得肯定结果，即眼睛注视方向序列的变化度大于第三预定阈值，则处理进到步骤S707。在步骤S707中，确定待检测对象为活体。具体地，如果眼睛注视方向序列的变化度大于第三预定阈值，其指示在待检测对象的视频数据中存在注视方向明显变化的眼睛，这是待检测对象正常操作期间伴随操作出现的，甚至可以仅是活体人眼在一定时段内的正常生理运动，这是作为活体的待检测对象具有的特性。
相反地，如果在步骤S706中获得否定结果，即眼睛注视方向序列的变化度不大于第三预定阈值，则处理进到步骤S708。在步骤S708中，确定待检测对象为非活体。具体地，如果眼睛注视方向序列的变化度不大于第三预定阈值，其指示在待检测对象的视频数据中不存在眼睛注视方向的明显变化，即待检测对象不具有活体人眼在一定时段内的正常生理运动的活体特性。
如上参照图7描述了根据本发明的第三实施例的第二示例的活体检测方法，其不用展示特殊内容序列或者提示用户注视屏幕中内容，有更好的隐蔽性。其通过判断待检测对象是否具有一定时段内的正常生理运动的活体特性，能够有效的区分出视频回放、照片和活体人脸。
图8是图示根据本发明实施例的视频检测系统的示意性框图。如图8所示，根据本发明实施例的视频检测系统8包括：处理器81、存储器82、以及在所述存储器82的中存储的计算机程序指令83。
所述计算机程序指令83在所述处理器81运行时可以实现根据本发明实施例的活体检测系统的各个功能模块的功能，并且/或者可以执行根据本发明实施例的活体检测方法的各个步骤。
具体地，在所述计算机程序指令83被所述处理器81运行时执行以下步骤：获取经由视频采集模块采集的视频数据；基于所述视频数据，确定待检测对象的特征信号；以及判断所述特征信号是否满足第一预定条件，如果所述特征信号满足所述第一预定条件，则确定所述待检测对象为活体，其中，所述特征信号指示所述待检测对象的眼部运动。
此外，在所述计算机程序指令83被所述处理器81运行时执行的活体检测方法还包括：在所述获取经由视频采集模块采集的视频数据之前，提示预定内容的显示；以及显示所述预定内容，其中所述预定内容包含位置变化的目标。
此外，在所述计算机程序指令83被所述处理器81运行时执行的所述基于所述视频数据，确定待检测对象的特征信号的步骤包括：基于所述视频数据，确定其中的人脸图像作为所述待检测对象；提取所述人脸图像中眼角和瞳孔的位置信息；基于所述眼角和瞳孔的位置信息，确定在所述预定内容显示期间，所述瞳孔的相对位置序列；以及确定所述瞳孔的相对位置序列与所述位置变化的目标的位置序列的相关系数作为所述特征信号。
此外，在所述计算机程序指令83被所述处理器81运行时执行的所述判断所述特征信号是否满足第一预定条件，如果所述特征信号满足所述第一预定条件，则确定所述待检测对象为活体的步骤包括：判断所述相关系数是否大于第一预定阈值，如果所述相关系数大于所述第一预定阈值，则确定所述待检测对象为活体。
此外，在所述计算机程序指令83被所述处理器81运行时执行的所述基于所述视频数据，确定待检测对象的特征信号的步骤包括：基于所述视频数据，确定其中的人脸图像作为所述待检测对象；提取所述人脸图像中眼角和瞳孔的位置信息；基于所述眼角和瞳孔的位置信息，确定所述瞳孔的相对位置序列；以及确定所述瞳孔的相对位置方差作为所述特征信号。
此外，在所述计算机程序指令83被所述处理器81运行时执行的所述判断所述特征信号是否满足第一预定条件，如果所述特征信号满足所述第一预定条件，则确定所述待检测对象为活体的步骤包括：判断所述相对位置方差是否大于第二预定阈值，如果所述相对位置方差大于第二预定阈值，则确定所述待检测对象为活体。
此外，在所述计算机程序指令83被所述处理器81运行时执行的所述基于所述视频数据，确定待检测对象的特征信号的步骤包括：预先训练获得训练视频数据中训练眼睛图像与眼睛注视方向序列的对应关系；基于所述视频数据，确定其中的人脸图像作为所述待检测对象；提取所述人脸图像中的待检测眼睛图像；基于所述对应关系和所述待检测眼睛图像，确定对应于所述视频数据的眼睛注视方向序列作为所述特征信号。
此外，在所述计算机程序指令83被所述处理器81运行时执行的所述判断所述特征信号是否满足第一预定条件，如果所述特征信号满足所述第一预定条件，则确定所述待检测对象为活体的步骤包括：判断所述眼睛注视方向序列与所述位置变化的目标的位置变化序列是否对应，如果所述眼睛注视方向序列对应于所述位置变化的目标的位置变化序列，则确定所述待检测对象为活体。
此外，在所述计算机程序指令83被所述处理器81运行时执行的所述判断所述特征信号是否满足第一预定条件，如果所述特征信号满足所述第一预定条件，则确定所述待检测对象为活体的步骤包括：判断所述眼睛注视方向序列的变化度是否大于第三预定阈值，如果所述变化度大于所述第三预定阈值，则确定所述待检测对象为活体。
根据本发明实施例的活体检测系统中的各模块可以通过根据本发明实施例的活体检测系统中的处理器运行在存储器中存储的计算机程序指令来实现，或者可以在根据本发明实施例的计算机程序产品的计算机可读存储介质中存储的计算机指令被计算机运行时实现。
所述计算机可读存储介质可以是一个或多个计算机可读存储介质的任意组合，例如一个计算机可读存储介质包含用于随机地生成动作指令序列的计算机可读的程序代码，另一个计算机可读存储介质包含用于进行人脸活动识别的计算机可读的程序代码。
所述计算机可读存储介质例如可以包括智能电话的存储卡、平板电脑的存储部件、个人计算机的硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM)、便携式紧致盘只读存储器(CD-ROM)、USB存储器、或者上述存储介质的任意组合。
在上面详细描述的本发明的示例实施例仅仅是说明性的，而不是限制性的。本领域技术人员应该理解，在不脱离本发明的原理和精神的情况下，可对这些实施例进行各种修改，组合或子组合，并且这样的修改应落入本发明的范围内。

Claims (18)

1.一种活体检测方法，包括：
获取经由视频采集模块采集的视频数据；
基于所述视频数据，确定待检测对象的特征信号；以及
判断所述特征信号是否满足第一预定条件，如果所述特征信号满足所述第一预定条件，则确定所述待检测对象为活体，
其中，所述特征信号指示所述待检测对象的眼部运动，并且所述特征信号为对应于所述视频数据的眼睛注视方向序列，
其中所述基于所述视频数据，确定待检测对象的特征信号包括：
预先训练获得训练视频数据中训练眼睛图像与眼睛注视方向序列的对应关系；
基于所述视频数据，确定其中的人脸图像作为所述待检测对象；
提取所述人脸图像中的待检测眼睛图像；
基于所述对应关系和所述待检测眼睛图像，确定对应于所述视频数据的眼睛注视方向序列作为所述特征信号；并且
其中所述判断所述特征信号是否满足第一预定条件，如果所述特征信号满足所述第一预定条件，则确定所述待检测对象为活体包括：
判断所述眼睛注视方向序列与位置变化的目标的位置变化序列是否对应，如果所述眼睛注视方向序列对应于所述位置变化的目标的位置变化序列，则确定所述待检测对象为活体。
2.如权利要求1所述的活体检测方法，其中所述判断所述特征信号是否满足第一预定条件，如果所述特征信号满足所述第一预定条件，则确定所述待检测对象为活体包括：
判断所述眼睛注视方向序列的变化度是否大于第三预定阈值，如果所述变化度大于所述第三预定阈值，则确定所述待检测对象为活体。
3.如权利要求1或2所述的活体检测方法，还包括：
在所述获取经由视频采集模块采集的视频数据之前，提示预定内容的显示；以及
显示所述预定内容，
其中所述预定内容包含位置变化的目标。
4.一种活体检测方法，包括：
获取经由视频采集模块采集的视频数据；
基于所述视频数据，确定待检测对象的特征信号；以及
判断所述特征信号是否满足第一预定条件，如果所述特征信号满足所述第一预定条件，则确定所述待检测对象为活体，
其中，所述特征信号指示所述待检测对象的眼部运动，并且所述特征信号为所述视频数据中瞳孔的相对位置序列与位置变化的目标的位置序列的相关系数；
其中所述基于所述视频数据，确定待检测对象的特征信号包括：
基于所述视频数据，确定其中的人脸图像作为所述待检测对象；
提取所述人脸图像中眼角和瞳孔的位置信息；
基于所述眼角和瞳孔的位置信息，确定在预定内容显示期间，所述瞳孔的相对位置序列；以及
通过确定在所述预定内容显示期间的各帧处，所述瞳孔的相对位置序列的各元素与所述位置变化的目标的位置序列的各元素之间的相关性，确定所述瞳孔的相对位置序列与所述位置变化的目标的位置序列的相关系数作为所述特征信号。
5.如权利要求4所述的活体检测方法，其中所述判断所述特征信号是否满足第一预定条件，如果所述特征信号满足所述第一预定条件，则确定所述待检测对象为活体包括：
判断所述相关系数是否大于第一预定阈值，如果所述相关系数大于所述第一预定阈值，则确定所述待检测对象为活体。
6.如权利要求4或5所述的活体检测方法，还包括：
在所述获取经由视频采集模块采集的视频数据之前，提示预定内容的显示；以及
显示所述预定内容，
其中所述预定内容包含位置变化的目标。
7.一种活体检测方法，包括：
获取经由视频采集模块采集的视频数据；
基于所述视频数据，确定待检测对象的特征信号；以及
判断所述特征信号是否满足第一预定条件，如果所述特征信号满足所述第一预定条件，则确定所述待检测对象为活体，
其中，所述特征信号指示所述待检测对象的眼部运动，并且所述特征信号为所述视频数据中瞳孔的相对位置方差；
其中所述基于所述视频数据，确定待检测对象的特征信号包括：
基于所述视频数据，确定其中的人脸图像作为所述待检测对象；
提取所述人脸图像中眼角和瞳孔的位置信息；
基于所述眼角和瞳孔的位置信息，确定所述瞳孔的相对位置序列；以及
确定所述瞳孔的相对位置方差作为所述特征信号。
8.如权利要求7所述的活体检测方法，其中所述判断所述特征信号是否满足第一预定条件，如果所述特征信号满足所述第一预定条件，则确定所述待检测对象为活体包括：
判断所述相对位置方差是否大于第二预定阈值，如果所述相对位置方差大于第二预定阈值，则确定所述待检测对象为活体。
9.如权利要求7或8所述的活体检测方法，还包括：
在所述获取经由视频采集模块采集的视频数据之前，提示预定内容的显示；以及
显示所述预定内容，
其中所述预定内容包含位置变化的目标。
10.一种活体检测系统，包括：
视频采集模块，用于采集视频数据；以及
活体检测模块，用于基于所述视频数据执行活体检测，其包含
特征信号确定单元，用于基于所述视频数据，确定待检测对象的特征信号；
特征信号判断单元，判断所述特征信号是否满足第一预定条件，如果所述特征信号满足所述第一预定条件，则确定所述待检测对象为活体，
其中，所述特征信号指示所述待检测对象的眼部运动，并且所述特征信号为对应于所述视频数据的眼睛注视方向序列，
其中所述活体检测模块预先训练获得训练视频数据中训练眼睛图像与眼睛注视方向序列的对应关系，
所述特征信号确定单元基于所述视频数据，确定其中的人脸图像作为所述待检测对象；提取所述人脸图像中的待检测眼睛图像；基于所述对应关系和所述待检测眼睛图像，确定对应于所述视频数据的眼睛注视方向序列作为所述特征信号；并且
其中所述特征信号判断单元判断所述眼睛注视方向序列与位置变化的目标的位置变化序列是否对应，如果所述眼睛注视方向序列对应于所述位置变化的目标的位置变化序列，则确定所述待检测对象为活体。
11.如权利要求10所述的活体检测系统，其中所述特征信号判断单元判断所述眼睛注视方向序列的变化度是否大于第三预定阈值，如果所述变化度大于所述第三预定阈值，则确定所述待检测对象为活体。
12.如权利要求10或11所述的活体检测系统，还包括
显示模块，用于显示预定内容，
其中，在所述视频采集模块采集视频数据之前，所述活体检测模块提示预定内容的显示，所述预定内容包含位置变化的目标。
13.一种活体检测系统，包括：
视频采集模块，用于采集视频数据；以及
活体检测模块，用于基于所述视频数据执行活体检测，其包含
特征信号确定单元，用于基于所述视频数据，确定待检测对象的特征信号；
特征信号判断单元，判断所述特征信号是否满足第一预定条件，如果所述特征信号满足所述第一预定条件，则确定所述待检测对象为活体，
其中，所述特征信号指示所述待检测对象的眼部运动，并且所述特征信号为所述视频数据中瞳孔的相对位置序列与位置变化的目标的位置序列的相关系数，
其中所述特征信号确定单元基于所述视频数据，确定其中的人脸图像作为所述待检测对象；提取所述人脸图像中眼角和瞳孔的位置信息；基于所述眼角和瞳孔的位置信息，确定在预定内容显示期间，所述瞳孔的相对位置序列；并且通过确定在所述预定内容显示期间的各帧处，所述瞳孔的相对位置序列的各元素与所述位置变化的目标的位置序列的各元素之间的相关性，确定所述瞳孔的相对位置序列与所述位置变化的目标的位置序列的相关系数作为所述特征信号。
14.如权利要求13所述的活体检测系统，其中所述特征信号判断单元判断所述相关系数是否大于第一预定阈值，如果所述相关系数大于所述第一预定阈值，则确定所述待检测对象为活体。
15.如权利要求13或14所述的活体检测系统，还包括
显示模块，用于显示预定内容，
其中，在所述视频采集模块采集视频数据之前，所述活体检测模块提示预定内容的显示，所述预定内容包含位置变化的目标。
16.一种活体检测系统，包括：
视频采集模块，用于采集视频数据；以及
活体检测模块，用于基于所述视频数据执行活体检测，其包含
特征信号确定单元，用于基于所述视频数据，确定待检测对象的特征信号；
特征信号判断单元，判断所述特征信号是否满足第一预定条件，如果所述特征信号满足所述第一预定条件，则确定所述待检测对象为活体，
其中，所述特征信号指示所述待检测对象的眼部运动，并且所述特征信号为所述视频数据中瞳孔的相对位置方差，
其中所述特征信号确定单元基于所述视频数据，确定其中的人脸图像作为所述待检测对象；提取所述人脸图像中眼角和瞳孔的位置信息；基于所述眼角和瞳孔的位置信息，确定所述瞳孔的相对位置序列；并且确定所述瞳孔的相对位置方差作为所述特征信号。
17.如权利要求16所述的活体检测系统，其中所述特征信号判断单元判断所述相对位置方差是否大于第二预定阈值，如果所述相对位置方差大于第二预定阈值，则确定所述待检测对象为活体。
18.如权利要求16或17所述的活体检测系统，还包括
显示模块，用于显示预定内容，
其中，在所述视频采集模块采集视频数据之前，所述活体检测模块提示预定内容的显示，所述预定内容包含位置变化的目标。
CN201510543516.5A 2015-08-28 2015-08-28 活体检测方法和活体检测系统 Active CN105184246B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201510543516.5A CN105184246B (zh) 2015-08-28 2015-08-28 活体检测方法和活体检测系统
US15/007,544 US10528849B2 (en) 2015-08-28 2016-01-27 Liveness detection method, liveness detection system, and liveness detection device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510543516.5A CN105184246B (zh) 2015-08-28 2015-08-28 活体检测方法和活体检测系统

Publications (2)

Publication Number Publication Date
CN105184246A CN105184246A (zh) 2015-12-23
CN105184246B true CN105184246B (zh) 2020-05-19

Family

ID=54906315

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510543516.5A Active CN105184246B (zh) 2015-08-28 2015-08-28 活体检测方法和活体检测系统

Country Status (2)

Country Link
US (1) US10528849B2 (zh)
CN (1) CN105184246B (zh)

Families Citing this family (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170138475A (ko) * 2015-04-16 2017-12-15 토비 에이비 시선 정보를 사용하는 사용자의 식별 및/또는 인증
US10678897B2 (en) 2015-04-16 2020-06-09 Tobii Ab Identification, authentication, and/or guiding of a user using gaze information
CN105184277B (zh) * 2015-09-29 2020-02-21 杨晴虹 活体人脸识别方法以及装置
US10176377B2 (en) * 2015-11-02 2019-01-08 Fotonation Limited Iris liveness detection for mobile devices
CN105450664B (zh) * 2015-12-29 2019-04-12 腾讯科技（深圳）有限公司 一种信息处理方法及终端
CN105912986B (zh) * 2016-04-01 2019-06-07 北京旷视科技有限公司 一种活体检测方法和系统
WO2017205543A1 (en) * 2016-05-24 2017-11-30 Brown Timothy J Liveness detection for face capture
CN106203297B (zh) 2016-06-30 2019-11-08 北京七鑫易维信息技术有限公司 一种身份识别方法及装置
CN107622188A (zh) * 2016-07-15 2018-01-23 阿里巴巴集团控股有限公司 基于生物特征的验证方法、装置、系统和设备
US11132543B2 (en) * 2016-12-28 2021-09-28 Nvidia Corporation Unconstrained appearance-based gaze estimation
CN108319830A (zh) * 2017-01-17 2018-07-24 中兴通讯股份有限公司 一种身份验证方法及装置
CN107122744B (zh) * 2017-04-28 2020-11-10 武汉神目信息技术有限公司 一种基于人脸识别的活体检测系统及方法
CN107633196A (zh) * 2017-06-14 2018-01-26 电子科技大学 一种基于卷积神经网络的眼球移动预测方案
CN107506687B (zh) * 2017-07-17 2020-01-21 Oppo广东移动通信有限公司 活体检测方法及相关产品
EA202090770A1 (ru) 2017-09-18 2020-08-21 Элемент, Инк. Способы, системы и носители данных для обнаружения спуфинга в мобильной аутентификации
CN109840406B (zh) * 2017-11-29 2022-05-17 百度在线网络技术（北京）有限公司 活体验证方法、装置和计算机设备
CN108399365B (zh) * 2018-01-19 2022-03-25 东北电力大学 利用瞳孔直径检测活体人脸的方法及其设备
CN108416324B (zh) * 2018-03-27 2022-02-25 百度在线网络技术（北京）有限公司 用于检测活体的方法和装置
CN108514413B (zh) * 2018-04-04 2023-09-22 漫迪医疗仪器（上海）有限公司 杜瓦生物磁探测系统及其设计方法/系统、可读存储介质
EP3654243A4 (en) 2018-04-12 2020-11-25 Guangdong Oppo Mobile Telecommunications Corp., Ltd. METHOD AND DEVICE FOR IMAGE PROCESSING, COMPUTER-READABLE STORAGE MEDIUM AND ELECTRONIC DEVICE
CN108564032B (zh) * 2018-04-12 2020-05-22 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备和计算机可读存储介质
CN109492550B (zh) * 2018-10-25 2023-06-06 腾讯科技（深圳）有限公司 活体检测方法、装置及应用活体检测方法的相关系统
CN109271978A (zh) * 2018-11-23 2019-01-25 四川长虹电器股份有限公司 人脸识别防欺骗方法
CN109635757B (zh) * 2018-12-18 2019-10-25 北京字节跳动网络技术有限公司 活体检测方法、装置、电子设备及存储介质
US11196740B2 (en) 2018-12-21 2021-12-07 Verizon Patent And Licensing Inc. Method and system for secure information validation
US11514177B2 (en) 2018-12-21 2022-11-29 Verizon Patent And Licensing Inc. Method and system for self-sovereign information management
US11281754B2 (en) * 2018-12-21 2022-03-22 Verizon Patent And Licensing Inc. Biometric based self-sovereign information management
US11288386B2 (en) 2018-12-21 2022-03-29 Verizon Patent And Licensing Inc. Method and system for self-sovereign information management
US11182608B2 (en) 2018-12-21 2021-11-23 Verizon Patent And Licensing Inc. Biometric based self-sovereign information management
US11062006B2 (en) 2018-12-21 2021-07-13 Verizon Media Inc. Biometric based self-sovereign information management
US11288387B2 (en) 2018-12-21 2022-03-29 Verizon Patent And Licensing Inc. Method and system for self-sovereign information management
CN111444744A (zh) * 2018-12-29 2020-07-24 北京市商汤科技开发有限公司 活体检测方法、装置以及存储介质
US11343277B2 (en) 2019-03-12 2022-05-24 Element Inc. Methods and systems for detecting spoofing of facial recognition in connection with mobile devices
CN110059579B (zh) * 2019-03-27 2020-09-04 北京三快在线科技有限公司 用于活体检验的方法和装置，电子设备和存储介质
CN110012114B (zh) * 2019-05-05 2020-01-21 北京市众诚恒祥能源投资管理有限公司 一种基于物联网的环境安全预警系统
CN111866589A (zh) * 2019-05-20 2020-10-30 北京嘀嘀无限科技发展有限公司 一种视频数据验证方法、装置、电子设备及存储介质
CN110135370B (zh) * 2019-05-20 2022-09-09 北京百度网讯科技有限公司 人脸活体检测的方法及装置、电子设备、计算机可读介质
CN110866509B (zh) * 2019-11-20 2023-04-28 腾讯科技（深圳）有限公司 动作识别方法、装置、计算机存储介质和计算机设备
US11507248B2 (en) 2019-12-16 2022-11-22 Element Inc. Methods, systems, and media for anti-spoofing using eye-tracking
CN111274928B (zh) * 2020-01-17 2023-04-07 腾讯科技（深圳）有限公司 一种活体检测方法、装置、电子设备和存储介质
CN111767845B (zh) * 2020-06-29 2024-03-05 京东科技控股股份有限公司 证件识别方法及装置
CN117687313A (zh) * 2023-12-29 2024-03-12 广东福临门世家智能家居有限公司 基于智能门锁的智能家居设备控制方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101159016A (zh) * 2007-11-26 2008-04-09 清华大学 一种基于人脸生理性运动的活体检测方法及系统
CN101710383A (zh) * 2009-10-26 2010-05-19 北京中星微电子有限公司 一种身份认证的方法及认证装置
KR20110102073A (ko) * 2010-03-10 2011-09-16 홍익대학교 산학협력단 얼굴 인식 시스템에서의 위조 검출 방법
US8235529B1 (en) * 2011-11-30 2012-08-07 Google Inc. Unlocking a screen using eye tracking information
CN102749991A (zh) * 2012-04-12 2012-10-24 广东百泰科技有限公司 一种适用于人机交互的非接触式自由空间视线跟踪方法
CN102842040A (zh) * 2012-08-13 2012-12-26 高艳玲 运用眼球跟踪进行活体化检测的方法
CN104166835A (zh) * 2013-05-17 2014-11-26 诺基亚公司 用于识别活体用户的方法和装置

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5482048A (en) * 1993-06-30 1996-01-09 University Of Pittsburgh System and method for measuring and quantitating facial movements
US6757422B1 (en) * 1998-11-12 2004-06-29 Canon Kabushiki Kaisha Viewpoint position detection apparatus and method, and stereoscopic image display system
US6578962B1 (en) * 2001-04-27 2003-06-17 International Business Machines Corporation Calibration-free eye gaze tracking
CN1209073C (zh) * 2001-12-18 2005-07-06 中国科学院自动化研究所 基于活体虹膜的身份识别方法
WO2008007781A1 (fr) * 2006-07-14 2008-01-17 Panasonic Corporation Dispositif de détection de la direction d'axe visuel et procédé de détection de la direction de ligne visuelle
US8317325B2 (en) * 2008-10-31 2012-11-27 Cross Match Technologies, Inc. Apparatus and method for two eye imaging for iris identification
EP2441383B1 (en) * 2009-06-08 2015-10-07 Panasonic Intellectual Property Corporation of America Gaze target determination device and gaze target determination method
CN102830793B (zh) * 2011-06-16 2017-04-05 北京三星通信技术研究有限公司 视线跟踪方法和设备
US8942434B1 (en) * 2011-12-20 2015-01-27 Amazon Technologies, Inc. Conflict resolution for pupil detection
US9082011B2 (en) * 2012-03-28 2015-07-14 Texas State University—San Marcos Person identification using ocular biometrics with liveness detection
US9305225B2 (en) * 2013-10-14 2016-04-05 Daon Holdings Limited Methods and systems for determining user liveness
US20160232399A1 (en) * 2014-04-08 2016-08-11 Umoove Services Ltd. System and method of detecting a gaze of a viewer
AU2015297036B2 (en) * 2014-05-09 2017-09-28 Google Llc Systems and methods for discerning eye signals and continuous biometric identification
WO2016076912A1 (en) * 2014-11-13 2016-05-19 Intel Corporation Spoofing detection in image biometrics
CN106940766A (zh) * 2016-01-04 2017-07-11 由田新技股份有限公司 视线轨迹认证系统及方法
CN107403147B (zh) * 2017-07-14 2020-09-01 Oppo广东移动通信有限公司 虹膜活体检测方法及相关产品

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101159016A (zh) * 2007-11-26 2008-04-09 清华大学 一种基于人脸生理性运动的活体检测方法及系统
CN101710383A (zh) * 2009-10-26 2010-05-19 北京中星微电子有限公司 一种身份认证的方法及认证装置
KR20110102073A (ko) * 2010-03-10 2011-09-16 홍익대학교 산학협력단 얼굴 인식 시스템에서의 위조 검출 방법
US8235529B1 (en) * 2011-11-30 2012-08-07 Google Inc. Unlocking a screen using eye tracking information
CN102749991A (zh) * 2012-04-12 2012-10-24 广东百泰科技有限公司 一种适用于人机交互的非接触式自由空间视线跟踪方法
CN102842040A (zh) * 2012-08-13 2012-12-26 高艳玲 运用眼球跟踪进行活体化检测的方法
CN104166835A (zh) * 2013-05-17 2014-11-26 诺基亚公司 用于识别活体用户的方法和装置

Also Published As

Publication number Publication date
US10528849B2 (en) 2020-01-07
CN105184246A (zh) 2015-12-23
US20170061251A1 (en) 2017-03-02

Similar Documents

Publication Publication Date Title
CN105184246B (zh) 活体检测方法和活体检测系统
CN105612533B (zh) 活体检测方法、活体检测系统以及计算机程序产品
TWI751161B (zh) 終端設備、智慧型手機、基於臉部識別的認證方法和系統
JP6809226B2 (ja) 生体検知装置、生体検知方法、および、生体検知プログラム
US10621454B2 (en) Living body detection method, living body detection system, and computer program product
US9607138B1 (en) User authentication and verification through video analysis
US9750420B1 (en) Facial feature selection for heart rate detection
CN105518710B (zh) 视频检测方法、视频检测系统以及计算机程序产品
CN108369785A (zh) 活性检测
CN110472487B (zh) 活体用户检测方法、装置、计算机设备和存储介质
WO2020042542A1 (zh) 眼动控制校准数据获取方法和装置
CN110612530B (zh) 用于选择脸部处理中使用的帧的方法
CN108875468B (zh) 活体检测方法、活体检测系统以及存储介质
WO2020020022A1 (zh) 视觉识别方法及其系统
Le et al. Eye blink detection for smart glasses
WO2018078857A1 (ja) 視線推定装置、視線推定方法及びプログラム記録媒体
CN109977846B (zh) 一种基于近红外单目摄像的活体检测方法及系统
WO2017000217A1 (zh) 活体检测方法及设备、计算机程序产品
Zhang et al. Discrimination of gaze directions using low-level eye image features
JP2019040306A (ja) 情報処理装置、情報処理プログラム、及び、情報処理方法
Saxena et al. Towards efficient calibration for webcam eye-tracking in online experiments
WO2015181729A1 (en) Method of determining liveness for eye biometric authentication
CN109492585B (zh) 一种活体检测方法和电子设备
CN112527103B (zh) 显示设备的遥控方法、装置、设备及计算机可读存储介质
CN114299569A (zh) 一种基于眼球运动的安全人脸认证方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 100080 room A, block, No. 2 South Road, Haidian District Academy of Sciences, Beijing, China

Applicant after: MEGVII INC.

Applicant after: Beijing maigewei Technology Co., Ltd.

Address before: 100080 room A, block, No. 2 South Road, Haidian District Academy of Sciences, Beijing, China

Applicant before: MEGVII INC.

Applicant before: Beijing aperture Science and Technology Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant