CN107368769A - 人脸活体检测方法、装置及电子设备 - Google Patents

人脸活体检测方法、装置及电子设备 Download PDF

Info

Publication number
CN107368769A
CN107368769A CN201610308082.5A CN201610308082A CN107368769A CN 107368769 A CN107368769 A CN 107368769A CN 201610308082 A CN201610308082 A CN 201610308082A CN 107368769 A CN107368769 A CN 107368769A
Authority
CN
China
Prior art keywords
facial image
living body
image
kinematic parameter
filming apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610308082.5A
Other languages
English (en)
Inventor
吴立威
罗梓鑫
彭义刚
曹旭东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sensetime Technology Development Co Ltd
Original Assignee
Beijing Sensetime Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sensetime Technology Development Co Ltd filed Critical Beijing Sensetime Technology Development Co Ltd
Priority to CN201610308082.5A priority Critical patent/CN107368769A/zh
Publication of CN107368769A publication Critical patent/CN107368769A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting

Abstract

本发明提供了一种人脸活体检测方法、装置及电子设备，其中，该方法包括：通过拍摄装置采集待检测人的人脸图像；获取拍摄装置在采集该人脸图像时的运动参数；根据该人脸图像和该运动参数检测人脸图像是否为活体人脸图像。通过上述两个因素即可对待检测人脸图片是否为活体人脸图像进行检测，解决了现有技术中人脸活体检测过程比较复杂以及人脸活体检测结果准确度不高的问题，从而简化了人脸活体检测的过程，提高了人脸活体检测结果的准确度。

Description

人脸活体检测方法、装置及电子设备
技术领域
本发明涉及图像处理领域，具体涉及人脸活体检测方法、装置及电子设备。
背景技术
活体检测是人脸识别实际应用中很关键的一步，通俗的讲就是判断输入的人脸图像是仿冒的人脸图像还是真实活体的人脸图像。
多数情况下，攻击者通过获取受害人的人脸图像，然后在手机屏幕或电脑屏幕等电子屏幕上显示该受害人的人脸图像或者打印出该人脸图像，试图欺骗人脸活体检测系统，从而达到仿冒受害人的目的。
一般而言，往往通过检测人脸的有效动作，如眨眼、张闭嘴、微笑、转头、点头等，有的还结合语音、唇语、面部表情等手段来进行人脸活体检测。在一些特殊的应用场合，还会利用深度信息、热成像图、多光谱图像等，来判定是否为真实活体的人脸。
在进行人脸活体检测的过程中，常用的眨眼、张闭嘴、微笑、转头、点头等容易被伪造攻击。而结合语音、深度图、热成像图、多光谱图的方法，往往要求有特定的应用场合，在多数的应用场景中，不易采集语音信息，而深度图、热成像图、多光谱图又需要特殊的甚至很昂贵的设备才能采集得到。
针对相关技术中，人脸活体检测过程比较复杂以及人脸活体检测结果准确度不高的问题，还未提出有效的解决方案。
发明内容
因此，本发明要解决的技术问题在于克服现有技术中的人脸活体检测过程比较复杂以及人脸活体检测结果准确度不高的问题，从而提供了人脸活体检测方法、装置及电子设备。
根据本发明的一个方面，提供了一种人脸活体检测方法，包括：通过拍摄装置采集待检测人的人脸图像；获取所述拍摄装置在采集所述人脸图像时的运动参数；根据所述人脸图像和所述运动参数检测所述人脸图像是否为活体人脸图像。
可选地，所述根据所述人脸图像和所述运动参数检测所述人脸图像是否为活体人脸图像包括：将所述人脸图像和所述运动参数输入至对深度卷积神经网络模型训练而得的第一分类模型，以检测所述人脸图像是否为活体人脸图像。
可选地，所述第一分类模型通过以下方式训练得到：通过所述拍摄装置采集多个活体人脸图像以及获取所述拍摄装置在采集各个所述多个活体人脸图像时的第一运动参数；根据各个所述多个活体人脸图像和各个所述第一运动参数确定第一正样例特征；通过所述拍摄装置采集多个非活体人脸图像以及获取所述拍摄装置在采集各个所述多个非活体人脸图像时的第二运动参数；根据各个所述多个非活体人脸图像和各个所述第二运动参数确定第一负样例特征；利用所述第一正样例特征和所述第一负样例特征训练深度卷积神经网络模型，得到所述第一分类模型。
可选地，所述第一正样例特征被替换为包括第一人脸图像特征点和所述第一运动参数，其中，所述第一人脸图像特征点为各个所述多个活体人脸图像的人脸图像特征点；所述第一负样例特征包括第二人脸图像特征点和所述第二运动参数，其中，所述第二人脸图像特征点为各个所述多个非活体人脸图像的人脸图像特征点。
可选地，所述根据所述人脸图像和所述运动参数检测所述人脸图像是否为活体人脸图像之后包括：在检测结果指示所述人脸图像为活体人脸图像的情况下，获取远距离人脸图像；根据所述远距离人脸图像确认所述检测结果是否正确。
可选地，所述获取远距离人脸图像包括：在所述拍摄装置与所述待检测人的人脸的距离大于第一距离阈值时，获取所述远距离人脸图像。
可选地，所述根据所述远距离人脸图像确认所述检测结果是否正确包括：将所述远距离人脸图像输入至对深度卷积神经网络模型训练而得的第二分类模型，以确认所述检测结果是否正确。
可选地，所述第二分类模型通过以下方式训练得到：通过所述拍摄装置采集多个远距离活体人脸图像；根据所述多个远距离活体人脸图像确定第二正样例特征；通过所述拍摄装置采集多个远距离非活体人脸图像；根据所述多个远距离非活体人脸图像确定第二负样例特征；利用所述第二正样例特征和所述第二负样例特征训练深度卷积神经网络模型，得到所述第二分类模型。
可选地，所述多个远距离活体人脸图像为所述拍摄装置距离活体人脸的距离大于第二距离阈值时拍摄的图像；和/或，所述多个远距离非活体人脸图像为所述拍摄装置距离非活体人脸的距离大于第三距离阈值时拍摄的图像。
可选地，所述获取所述拍摄装置在采集所述人脸图像时的运动参数包括：获取所述拍摄装置的第一加速度信号；对所述第一加速度信号进行高通滤波和/或低通滤波处理，得到不受重力加速度影响的第二加速度信号；在所述第二加速度信号大于预定阈值的情况下，将所述第二加速度信号作为所述运动参数。
本发明提供的任一种人脸活体检测方法可通过计算机或包括处理器和存储器的其他电子设备中实施。
根据本发明的另一个方面，还提供了一种人脸活体检测装置，包括：采集模块，用于通过拍摄装置采集待检测人的人脸图像；第一获取模块，用于获取所述拍摄装置在采集所述人脸图像时的运动参数；检测模块，用于根据所述人脸图像和所述运动参数检测所述人脸图像是否为活体人脸图像。
可选地，所述检测模块具体用于将所述人脸图像和所述运动参数输入至对深度卷积神经网络模型训练而得的第一分类模型，以检测所述人脸图像是否为活体人脸图像。
可选地，所述第一分类模型通过以下方式训练得到：通过所述拍摄装置采集多个活体人脸图像以及获取所述拍摄装置在采集各个所述多个活体人脸图像时的第一运动参数；根据各个所述多个活体人脸图像和各个所述第一运动参数确定第一正样例特征；通过所述拍摄装置采集多个非活体人脸图像以及获取所述拍摄装置在采集各个所述多个非活体人脸图像时的第二运动参数；根据各个所述多个非活体人脸图像和各个所述第二运动参数确定第一负样例特征；利用所述第一正样例特征和所述第一负样例特征训练深度卷积神经网络模型，得到所述第一分类模型。
可选地，所述第一正样例特征被替换为包括第一人脸图像特征点和所述第一运动参数，其中，所述第一人脸图像特征点为各个所述多个活体人脸图像的人脸图像特征点；所述第一负样例特征包括第二人脸图像特征点和所述第二运动参数，其中，所述第二人脸图像特征点为各个所述多个非活体人脸图像的人脸图像特征点。
可选地，所述装置还包括：第二获取模块，用于根据所述人脸图像和所述运动参数检测所述人脸图像是否为活体人脸图像之后，在检测结果指示所述人脸图像为活体人脸图像的情况下，获取远距离人脸图像；确认模块，用于根据所述远距离人脸图像确认所述检测结果是否正确。
可选地，所述第二获取模块具体用于在所述拍摄装置与所述待检测人的人脸的距离大于第一距离阈值时，获取所述远距离人脸图像。
可选地，所述确认模块具体用于将所述远距离人脸图像输入至对深度卷积神经网络模型训练而得的第二分类模型，以确认所述检测结果是否正确。
可选地，所述第二分类模型通过以下方式训练得到：通过所述拍摄装置采集多个远距离活体人脸图像；根据所述多个远距离活体人脸图像确定第二正样例特征；通过所述拍摄装置采集多个远距离非活体人脸图像；根据所述多个远距离非活体人脸图像确定第二负样例特征；利用所述第二正样例特征和所述第二负样例特征训练深度卷积神经网络模型，得到所述第二分类模型。
可选地，所述多个远距离活体人脸图像为所述拍摄装置距离活体人脸的距离大于第二距离阈值时拍摄的图像；和/或，所述多个远距离非活体人脸图像为所述拍摄装置距离非活体人脸的距离大于第三距离阈值时拍摄的图像。
可选地，所述第一获取模块包括：获取单元，用于获取所述拍摄装置的第一加速度信号；处理单元，用于对所述第一加速度信号进行高通滤波和/或低通滤波处理，得到不受重力加速度影响的第二加速度信号；在所述第二加速度信号大于预定阈值的情况下，将所述第二加速度信号作为所述运动参数。
在其它方面中，本发明还提供了计算机可读媒体，所述计算机可读媒体用于存储用于执行本发明任一人脸活体检测方法的指令。
根据本发明的再一个方面，还提供了一种电子设备，包括：处理器、存储器和拍摄装置，所述存储器用于存放至少一指令；所述指令使所述处理器执行所述的人脸活体检测方法。
通过本发明，采用通过拍摄装置采集待检测人的人脸图像；获取拍摄装置在采集该人脸图像时的运动参数；根据该人脸图像和该运动参数检测人脸图像是否为活体人脸图像。通过上述两个因素即可对待检测人脸图片是否为活体人脸图像进行检测，解决了现有技术中人脸活体检测过程比较复杂以及人脸活体检测结果准确度不高的问题，从而简化了人脸活体检测的过程，提高了人脸活体检测结果的准确度。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本发明实施例的人脸活体检测方法的流程图；
图2为人脸特征点示意图；
图3是根据本发明实施例的拍摄装置坐标示意图；
图4是根据本发明实施例的活体检测过程流程图；
图5是根据本发明实施例的人脸活体检测装置的一个结构框图；
图6是根据本发明实施例的人脸活体检测装置的另一个结构框图；
图7是根据本发明实施例的第一获取模块的结构框图。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
实施例1
在本实施例中提供了一种人脸活体检测方法，图1是根据本发明实施例的人脸活体检测方法的流程图，如图1所示，该流程包括如下步骤：
步骤S102，通过拍摄装置采集待检测人的人脸图像；
步骤S104，获取拍摄装置在采集该人脸图像时的运动参数；
步骤S106，根据该人脸图像和该运动参数检测该人脸图像是否为活体人脸图像。
通过上述步骤，依据采集到的待检测人的人脸图像以及拍摄装置在采集过程中的运动参数，判断该待检测人的人脸图像是否为活体人脸图像，也就是说，将每帧图像对应的人脸图像特征点与对应的拍摄装置运动传感器的运动参数一起作为特征，判定待测对象是是真实的活体还是仿冒的活体；相比于现有技术中，通过检测待检测人脸的有效动作或者利用深度信息、热成像图，多光谱图像等判断待检测人脸是否为活体人脸，上述步骤解决了现有技术中人脸活体检测过程比较复杂以及人脸活体检测结果准确度不高的问题，从而简化了人脸活体检测的过程，提高了人脸活体检测结果的准确度。这种活体检测方法可适用但不限于带有前置摄像头和运动传感器的移动智能终端，不需要额外的装置，适用范围广。
上述步骤S106中涉及到根据该人脸图像和该运动参数检测该人脸图像是否为活体人脸图像，在一个可选实施例中，需要将上述人脸图像和上述运动参数输入至深度卷积神经网络，该深度卷积神经网络输出对上述人脸图像是否为活体人脸图像的检测结果。具体地，将上述人脸图像和上述运动参数输入至第一分类模型检测该人脸图像是否为活体人脸图像。在一个可选实施例中，该第一分类模型可通过以下方式训练得到：通过拍摄装置采集多个活体人脸图像以及获取拍摄装置在采集各个该多个活体人脸图像时的第一运动参数，根据各个多个活体人脸图像和各个第一运动参数确定第一正样例特征，通过拍摄装置采集多个非活体人脸图像以及获取拍摄装置在采集各个多个非活体人脸图像时的第二运动参数，根据各个多个非活体人脸图像和各个第二运动参数确定第一负样例特征，利用第一正样例特征和第一负样例特征训练深度卷积神经网络模型，得到第一分类模型。将上述人脸图像和上述运动参数输入至第一分类模型，该第一分类模型即可输出对上述人脸图像是否为活体人脸图像的检测结果，简化了人脸活体检测的过程。可以理解，以上第一分类模型的训练方式仅为一种可选示例，本领域技术人员在本发明记载的技术方案的基础上，可采用其他相似或不同的方式进行所述第一分类模型的训练深度卷积神经网络模型，由此得到所述第一分类模型。
通过拍摄装置采集多个活体人脸图像或者通过拍摄装置采集多个非活体人脸图像的过程中。在一个可选实施例中，可以通过拍摄装置由距离人脸较远的位置至距离人脸较近的位置采集该人脸图像，或者，在另一个可选实施例中，可以通过拍摄装置由距离人脸较近的位置至距离人脸较远的位置采集该人脸图像，该交互式的图像采集方式便于采集人脸相对拍摄装置不同距离的人脸图像。在一个可选实施例中，可以通过拍摄装置由距离非活体人脸较远的位置至距离人脸较近的位置采集该人脸图像，或者，在另一个可选实施例中，可以通过拍摄装置由距离非活体人脸较近的位置至距离人脸较远的位置采集该人脸图像，人脸图像采集的实现方式非常灵活。
在一个具体的可选实施例中，对深度卷积神经网络进行训练得到第一分类模型的过程包括：
步骤S1：待检测人手持带有运动传感器的摄像头，按照提示要求，从远及近(或从近及远)，采集摄像头距人脸远近不同的自拍人脸图像。同时，在拍摄远近距离不同的人脸图像过程中，记录下摄像头移动中的运动传感器的运动参数。
步骤S1.1：待检测人手持带有运动传感器的摄像头，提示用户手持摄像头由距离人脸较远的位置开始(交互上会有提示)，开始拍摄自己的人脸图像。开始位置时，由于摄像头距离人脸位置较远，人脸部分占据所拍摄图像面积的比例较小，例如小于1/6。
步骤S1.2：提示待检测人移动摄像头向自己的头部位置移动，直到摄像头距离人脸已经较近时停止拍摄(交互上会有提示)，摄像头距离人脸位置较近，人脸部分占据所拍摄图像面积的比例较大，例如大于2/3。记录下这个过程中的人脸图像，以及摄像头移动中的运动传感器的运动参数。
步骤S1.3：对于不同真实活体的待测试人，重复上述操作步骤S1.1-S1.2，采集海量的这样的视频样例和传感器运动参数样例。
步骤S1.4：由攻击者手持摄像头，并且手持仿冒的待测试人的打印照片人脸图像、手机屏幕人脸图像、电脑屏幕人脸图像等，按照提示要求，重复上述操作步骤S1.1-S1.2，采集海量的这样的视频样例和传感器运动参数样例。
步骤S2：根据摄像头传感器运动参数变化与人脸图像特征点变化，训练区分活体人脸和仿冒人脸的第一分类模型。
步骤S2.1：使用人脸图像特征点定位方法标记出图像中人脸图像特征点(可以通过使用“Supervised Descent Method and its Applications toFace Alignment”中的方法对脸部区域中的人脸进行特征点定位)，通常但并不仅限于21个特征点，如图2所示，其中，左右眼各6个，鼻子部位4个，嘴部5个。
步骤S2.2：步骤S1.3中采集的每一个视频样例，对其每一帧均使用步骤S2.1中的方法，得到每帧图像对应的人脸图像特征点，与对应的摄像头运动传感器的运动参数一起，组成正样例特征。
步骤S2.3：步骤S1.4中采集的每一个视频样例，对其每一帧均使用步骤S2.1中的方法，得到每帧图像对应的人脸图像特征点，与对应的摄像头运动传感器的运动参数一起，组成负样例特征。
步骤S2.4：使用机器学习方法，如随机森林、支持向量机等，将步骤S2.2和S2.3中的正负样例作为训练样本，得到区分活体人脸图像和仿冒人脸图像的第一分类模型。
为了提高人脸活体检测结果的准确度，在一个可选实施例中，第一正样例特征包括第一人脸图像特征点和第一运动参数，其中，该第一人脸图像特征点为各个多个活体人脸图像的人脸图像特征点。在另一个可选实施例中，第一负样例特征包括第二人脸图像特征点和第二运动参数，其中，第二人脸图像特征点为各个多个非活体人脸图像的人脸图像特征点。由第一人脸图像特征点和第一运动参数组成第一正样例特征，由第二人脸图像特征点和第二运动参数组成第一负样例特征，利用该第一正样例特征和该第一负样例特征对深度卷积神经网络进行训练得到第一分类模型，通过该第一分类模型对待检测人脸图片是否为活体人脸图像进行判断，提高了人脸活体检测结果的准确度。
为了进一步提高人脸活体检测结果的准确度，在一个可选实施例中，根据人脸图像和运动参数检测该人脸图像是否为活体人脸图像之后，在检测结果指示该人脸图像为活体人脸图像的情况下，获取远距离人脸图像，根据远距离人脸图像确认该检测结果是否正确。当拍摄装置距离拍摄对象位置较远时，对于仿冒的人脸图像，拍摄装置所拍摄的图像中往往会显示出打印照片、手机屏幕、或电脑屏幕的至少部分边缘。使用采集到的距离人脸最远时的人脸图像，充分利用了仿冒时的场景与正常场景的不同之处，再次判定待检测对象是真实活体还是仿冒的，使得活体检测结果更加稳定可靠。其中，所述“远距离”是个相对的概念，广义上可为大于拍摄装置可以采集到完整人脸图像所需的距离的某一距离。进一步可选地，可根据实际情况确定第一距离阈值，在拍摄装置与待检测人的人脸的距离大于第一距离阈值时，获取待检测人的人脸图像，即所述远距离人脸图像。上述第一距离阈值的确定方式非常灵活，例如可包括但不限于确定拍摄装置距离待检测人的人脸距离最远距离为手臂伸直时能够达到的最远的距离为所述第一距离阈值，以在用户方便操作的范围内获得最远距离的人脸图像。
在一个可选实施例中，需要通过深度卷积神经网络利用远距离人脸图像确认该检测结果是否正确，具体地，将远距离人脸图像输入至对深度卷积神经网络模型训练而得的第二分类模型确认该检测结果是否正确。
在一个可选实施例中，第二分类模型可通过以下方式训练得到：通过拍摄装置采集多个远距离活体人脸图像；其中，多个远距离活体人脸图像为该拍摄装置距离活体人脸的距离大于第二距离阈值(例如为一臂的距离)时拍摄的图像，将多个远距离活体人脸图像组成第二正样例特征，通过拍摄装置采集多个远距离非活体人脸图像，其中，多个远距离非活体人脸图像为该拍摄装置距离非活体人脸的距离大于第三距离阈值(例如为一臂的距离)时拍摄的图像，将多个远距离非活体人脸图像组成第二负样例特征，利用第二正样例特征和第二负样例特征训练深度卷积神经网络模型，得到该第二分类模型，从而更进一步地，确保了检测结果的正确性。
在一个具体的可选实施例中，对深度卷积神经网络进行训练得到第二分类模型的过程包括：
步骤S3：设计合适的深度卷积神经网络模型，将采集到的距离人脸最远(大概是把手臂伸直时能够达到的最远的位置)时的人脸图像作为训练样本，训练区分活体人脸图像和仿冒人脸图像的第二分类模型。
步骤S3.1：所述的设计合适的深度卷积神经网络模型，具体而言，搭建多层深度卷积神经网络，所述多层深度卷积神经网络通过卷积层、降采样层、非线性层依次连接，最后一层是一个f维的全连接层，是活体还是仿冒的状态作为输出层。
步骤S3.2：将步骤S1.3中采集的每一个视频样例中摄像头距离人脸最远时的人脸图像作为正样例。
步骤S3.3：将步骤S1.4中采集的每一个视频样例中摄像头距离人脸最远时的人脸图像作为负样例。当摄像头距离拍摄对象位置较远时，对于仿冒的人脸图像，摄像头所拍摄的图像中往往会显示出打印照片、手机屏幕、或电脑屏幕的至少部分边缘。
步骤S3.4：将步骤S3.2和步骤S3.3中的正负样例作为输入，使用步骤S3.1中对所搭建的深度卷积神经网络进行训练，所述训练基于反向传播算法，在训练数据上利用随机梯度下降更新模型参数，从而得到区分活体人脸图像和仿冒人脸图像的第二分类模型。可以理解，以上第二分类模型的训练方式仅为一种可选示例，本领域技术人员在本发明记载的技术方案的基础上，可采用其他相似或不同的方式进行所述第二分类模型的训练深度卷积神经网络模型，由此得到所述第二分类模型。
上述运动参数包括但不限于以下至少之一：加速度信息、位移信息、速度信息等，其中，加速度信息可以包括但不限于以下至少之一：线速度信息、角速度信息、重力加速度信息。上述步骤S104涉及到获取拍摄装置在采集该人脸图像时的运动参数，需要说明的是，可以通过多种方式获取到拍摄装置的运动参数，下面以加速度信息为重力加速度信息为例进行说明。获取拍摄装置的第一加速度信号，对该第一加速度信号进行高通滤波和/或低通滤波处理，得到不受重力加速度影响的第二加速度信号，在第二加速度信号大于预定阈值的情况下，将该第二加速度信号作为拍摄装置的运动参数。
获取手机(具有运动传感器和摄像头)移动中的运动传感器的运动参数的过程中，在一个具体的可选实施例中，如图3所示，X轴、Y轴与手机屏幕在相同平面内，X轴水平、朝向屏幕右侧，Y轴垂直、朝向手机上方；Z轴垂直于手机屏幕，且正方向朝手机屏幕前方。
由于重力加速度的影响，加速度传感器会获取一个值为9.8m/s2指向地心的加速度。为了排除该因素的影响，在读取加速度传感器后，需要对所得值进行高通或者低通滤波。具体来说，令是ti时刻未经处理的加速度信号，令是ti时刻由于重力加速度影响而产生的加速度信号，我们可以设计低通滤波器如下来对重力加速度造成的影响进行估计：
其中，α为平滑系数。经过实验，我们得到α＝0.8是较为可靠的取值。之后，我们通过高通滤波，来获取不受重力影响的加速度信号：
其中，是不受重力影响的加速度信号。其中，R和F为合理的常数。
另一方面，由于用户手持设备时，肌肉会不由自主地颤动而产生一些微弱的干扰信号，可以通过设置一个阈值来排除该噪声的影响。具体来说，令排除噪声后的信号为阈值为h，我们将低于阈值的信号置为0，公式如下：
其中，是ti时刻在s方向(s方向表示x、y、z方向)上的加速度信号，经过实验，我们得到h＝0.23m/s2是较为可靠的值。
根据dead-reckoning算法，我们可以计算(ti-1,ti)内运动的速度和移动的距离，公式如下：
其中，是ti时刻在s方向(s方向表示x、y、z方向)上的速度，是ti-1时刻在s方向(s方向表示x、y、z方向)上的速度，是(ti-1,ti)内在s方向上移动的距离，是s轴在(ti-2,ti-1)和(ti-1,ti)变化的角度，该角度可以通过获取陀螺仪信息计算得到。令是陀螺仪输出的信号，则：
需要获取z方向上的运动信息，则即可获取到手机的运动参数。
下面以一个具体的可选实施例说明人脸活体检测的过程，如图4所示包括如下步骤：
步骤S4：待检测人手持带有运动传感器的摄像头，按照提示要求，从远及近(或从近及远)，采集摄像头距人脸远近不同的自拍人脸图像。同时，在拍摄远近距离不同的人脸图像过程中，记录下摄像头移动中的运动传感器的运动参数。
步骤S4.1：待检测人手持带有运动传感器的摄像头，提示用户手持摄像头由距离人脸较远的位置开始(交互上会有提示)，开始拍摄自己的人脸图像。开始位置时，由于摄像头距离人脸位置较远，人脸部分占据所拍摄图像面积的比例较小，例如小于1/6。
步骤S4.2：提示待检测人移动摄像头向自己的头部位置移动，直到摄像头距离人脸已经较近时停止拍摄(交互上会有提示)，摄像头距离人脸位置较近，人脸部分占据所拍摄图像面积的比例较大，例如大于2/3。记录下这个过程中的人脸图像，以及摄像头移动中的运动传感器的运动参数。
步骤S5：根据摄像头传感器运动参数变化与人脸图像特征点变化的关系，使用步骤S2中得到的区分活体人脸和仿冒人脸的第一分类模型，来判定待测试人脸图像是活体人脸图像还是仿冒人脸图像。如果判定为仿冒人脸图像，则活体检测失败；如果判定为活体人脸图像，则转步骤S6。
步骤S5.1：对视频中的每一帧，使用人脸图像特征点定位方法标记出图像中人脸图像特征点(可以通过使用“Supervised Descent Method andits Applications to Face Alignment”中的方法对脸部区域中的人脸进行特征点定位)，通常但并不仅限于21个特征点，如图2所示，其中，左右眼各6个，鼻子部位4个，嘴部5个。
步骤S5.2：将步骤S5.1中得到每帧图像对应的人脸图像特征点，与对应的摄像头运动传感器的运动参数一起，组成待测试特征。
步骤S5.3：对步骤S5.2中的特征，使用步骤S2中得到的区分活体人脸和仿冒人脸的分类模型A，来判定待测试人脸图像是活体人脸图像还是仿冒人脸图像。如果判定为仿冒人脸图像，则活体检测失败；如果判定为活体人脸图像，则转步骤S6。
步骤S6：将采集到的距离人脸最远时的人脸图像作为输入，使用步骤S3中得到的区分活体人脸图像和仿冒人脸图像的第二分类模型对其进行判定。如果判定为仿冒人脸图像，则活体检测失败；如果判定为活体人脸图像，则活体检测成功。
实施例2
在本实施例中还提供了一种人脸活体检测装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图5是根据本发明实施例的人脸活体检测装置的一个结构框图，如图5所示，该装置包括：采集模块52，用于通过拍摄装置采集待检测人的人脸图像；第一获取模块54，用于获取拍摄装置在采集该人脸图像时的运动参数；检测模块56，用于根据人脸图像和运动参数检测该人脸图像是否为活体人脸图像。
通过上述步骤，依据采集模块52采集到的待检测人的人脸图像以及第一获取模块54获取到的拍摄装置在采集过程中的运动参数，通过检测模块56判断该待检测人的人脸图像是否为活体人脸图像，也就是说，将每帧图像对应的人脸图像特征点与对应的拍摄装置运动传感器的运动参数一起作为特征，判定待测对象是是真实的活体还是仿冒的活体；相比于现有技术中，通过检测待检测人脸的有效动作或者利用深度信息、热成像图，多光谱图像等判断待检测人脸是否为活体人脸，上述步骤解决了现有技术中人脸活体检测过程比较复杂以及人脸活体检测结果准确度不高的问题，从而简化了人脸活体检测的过程，提高了人脸活体检测结果的准确度。这种活体检测方法适用于普通带有前置摄像头和运动传感器的移动智能终端，不需要额外的装置，适用范围广。
可选地，检测模块56具体用于将该人脸图像和该运动参数输入至对深度卷积神经网络模型训练而得的第一分类模型，以检测该人脸图像是否为活体人脸图像。
可选地，第一分类模型通过以下方式训练得到：通过拍摄装置采集多个活体人脸图像以及获取拍摄装置在采集各个该多个活体人脸图像时的第一运动参数；根据各个多个活体人脸图像和各个第一运动参数确定第一正样例特征；通过拍摄装置采集多个非活体人脸图像以及获取拍摄装置在采集各个该多个非活体人脸图像时的第二运动参数；根据各个多个非活体人脸图像和各个第二运动参数确定第一负样例特征；利用第一正样例特征和第一负样例特征训练深度卷积神经网络模型，得到第一分类模型。
可选地，第一正样例特征被替换为包括第一人脸图像特征点和第一运动参数，其中，第一人脸图像特征点为各个多个活体人脸图像的人脸图像特征点；第一负样例特征包括第二人脸图像特征点和第二运动参数，其中，第二人脸图像特征点为各个多个非活体人脸图像的人脸图像特征点。
图6是根据本发明实施例的人脸活体检测装置的另一个结构框图，如图6所示，该装置还包括：第二获取模块62，用于根据该人脸图像和该运动参数检测该人脸图像是否为活体人脸图像之后，在检测结果指示该人脸图像为活体人脸图像的情况下，获取远距离人脸图像；确认模块64，用于根据该远距离人脸图像确认该检测结果是否正确。
可选地，第二获取模块62具体用于在该拍摄装置与该待检测人的人脸的距离大于第一距离阈值时，获取该远距离人脸图像。
可选地，确认模块64具体用于将该远距离人脸图像输入至对深度卷积神经网络模型训练而得的第二分类模型，以确认该检测结果是否正确。
可选地，第二分类模型通过以下方式训练得到：通过拍摄装置采集多个远距离活体人脸图像；根据该多个远距离活体人脸图像确定第二正样例特征；通过拍摄装置采集多个远距离非活体人脸图像；根据该多个远距离非活体人脸图像确定第二负样例特征；利用第二正样例特征和第二负样例特征训练深度卷积神经网络模型，得到第二分类模型。
可选地，多个远距离活体人脸图像为该拍摄装置距离活体人脸的距离大于第二距离阈值时拍摄的图像；和/或，多个远距离非活体人脸图像为该拍摄装置距离非活体人脸的距离大于第三距离阈值时拍摄的图像。
图7是根据本发明实施例的第一获取模块的结构框图，如图7所示，第一获取模块54包括：获取单元542，用于获取拍摄装置的第一加速度信号；处理单元544，用于对第一加速度信号进行高通滤波和/或低通滤波处理，得到不受重力加速度影响的第二加速度信号；在第二加速度信号大于预定阈值的情况下，将第二加速度信号作为该运动参数。
上述各个模块的更进一步的功能描述与上述对应实施例相同，在此不再赘述。
实施例3
在本实施例中提供了一种电子设备，包括：处理器、存储器和拍摄装置，该存储器用于存放至少一指令；该指令使处理器执行上述的人脸活体检测方法。其中，上述电子设备可以是计算机、手机、便携式平板电脑(portable android device，简称为PAD)或者个人移动数字终端(PersonalDigital Assistant，简称为PDA)等。
综上所述，为了能够在人脸活体检测中防御仿冒攻击，本发明设计了一种人脸活体检测方法、装置及电子设备。具体而言，在进行人脸活体检测时，待检测人手持带有运动传感器的摄像头，按照提示要求，从远及近(或从近及远)，采集摄像头距人脸远近不同的自拍人脸图像。同时，在拍摄远近距离不同的人脸图像过程中，记录下摄像头移动中的运动传感器的运动参数。通过预先训练好的模型，根据这个过程中，传感器运动参数变化与人脸关键点变化的相关性，来判定该待检测人脸是否是真实活体的人脸。如果判定为仿冒，则活体检测失败；如果判定为活体，再利用距离远近不同的人脸图像中的信息，通过预先训练好的分类模型，第二次判定该待检测人脸是真实活体的人脸，还是攻击者使用照片等仿冒的人脸。如果判定为仿冒，则活体检测失败；如果判定为活体，则活体检测成功。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims (10)

1.一种人脸活体检测方法，其特征在于，包括：
通过拍摄装置采集待检测人的人脸图像；
获取所述拍摄装置在采集所述人脸图像时的运动参数；
根据所述人脸图像和所述运动参数检测所述人脸图像是否为活体人脸图像。
2.根据权利要求1所述的方法，其特征在于，所述根据所述人脸图像和所述运动参数检测所述人脸图像是否为活体人脸图像包括：
将所述人脸图像和所述运动参数输入至对深度卷积神经网络模型训练而得的第一分类模型，以检测所述人脸图像是否为活体人脸图像。
3.根据权利要求2所述的方法，其特征在于，所述第一分类模型通过以下方式训练得到：
通过所述拍摄装置采集多个活体人脸图像以及获取所述拍摄装置在采集各个所述多个活体人脸图像时的第一运动参数；根据各个所述多个活体人脸图像和各个所述第一运动参数确定第一正样例特征；
通过所述拍摄装置采集多个非活体人脸图像以及获取所述拍摄装置在采集各个所述多个非活体人脸图像时的第二运动参数；根据各个所述多个非活体人脸图像和各个所述第二运动参数确定第一负样例特征；
利用所述第一正样例特征和所述第一负样例特征训练深度卷积神经网络模型，得到所述第一分类模型。
4.根据权利要求3所述的方法，其特征在于，所述第一正样例特征被替换为包括第一人脸图像特征点和所述第一运动参数，其中，所述第一人脸图像特征点为各个所述多个活体人脸图像的人脸图像特征点；所述第一负样例特征包括第二人脸图像特征点和所述第二运动参数，其中，所述第二人脸图像特征点为各个所述多个非活体人脸图像的人脸图像特征点。
5.根据权利要求1-4任一所述的方法，其特征在于，所述根据所述人脸图像和所述运动参数检测所述人脸图像是否为活体人脸图像之后包括：
在检测结果指示所述人脸图像为活体人脸图像的情况下，获取远距离人脸图像；
根据所述远距离人脸图像确认所述检测结果是否正确。
6.一种人脸活体检测装置，其特征在于，包括：
采集模块，用于通过拍摄装置采集待检测人的人脸图像；
第一获取模块，用于获取所述拍摄装置在采集所述人脸图像时的运动参数；
检测模块，用于根据所述人脸图像和所述运动参数检测所述人脸图像是否为活体人脸图像。
7.根据权利要求6所述的装置，其特征在于，所述检测模块具体用于将所述人脸图像和所述运动参数输入至对深度卷积神经网络模型训练而得的第一分类模型，以检测所述人脸图像是否为活体人脸图像。
8.根据权利要求7所述的装置，其特征在于，所述第一分类模型通过以下方式训练得到：
通过所述拍摄装置采集多个活体人脸图像以及获取所述拍摄装置在采集各个所述多个活体人脸图像时的第一运动参数；根据各个所述多个活体人脸图像和各个所述第一运动参数确定第一正样例特征；
通过所述拍摄装置采集多个非活体人脸图像以及获取所述拍摄装置在采集各个所述多个非活体人脸图像时的第二运动参数；根据各个所述多个非活体人脸图像和各个所述第二运动参数确定第一负样例特征；
利用所述第一正样例特征和所述第一负样例特征训练深度卷积神经网络模型，得到所述第一分类模型。
9.根据权利要求8所述的装置，其特征在于，所述第一正样例特征被替换为包括第一人脸图像特征点和所述第一运动参数，其中，所述第一人脸图像特征点为各个所述多个活体人脸图像的人脸图像特征点；所述第一负样例特征包括第二人脸图像特征点和所述第二运动参数，其中，所述第二人脸图像特征点为各个所述多个非活体人脸图像的人脸图像特征点。
10.一种电子设备，其特征在于，包括：处理器、存储器和拍摄装置，所述存储器用于存放至少一指令；所述指令使所述处理器执行如权利要求1-5中任一项所述的人脸活体检测方法。
CN201610308082.5A 2016-05-11 2016-05-11 人脸活体检测方法、装置及电子设备 Pending CN107368769A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610308082.5A CN107368769A (zh) 2016-05-11 2016-05-11 人脸活体检测方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610308082.5A CN107368769A (zh) 2016-05-11 2016-05-11 人脸活体检测方法、装置及电子设备

Publications (1)

Publication Number Publication Date
CN107368769A true CN107368769A (zh) 2017-11-21

Family

ID=60303474

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610308082.5A Pending CN107368769A (zh) 2016-05-11 2016-05-11 人脸活体检测方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN107368769A (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108197279A (zh) * 2018-01-09 2018-06-22 北京旷视科技有限公司 攻击数据生成方法、装置、系统及计算机可读存储介质
CN108875508A (zh) * 2017-11-23 2018-11-23 北京旷视科技有限公司 活体检测算法更新方法、装置、客户端、服务器及系统
CN109117762A (zh) * 2018-07-27 2019-01-01 阿里巴巴集团控股有限公司 活体检测系统、方法及设备
CN109255322A (zh) * 2018-09-03 2019-01-22 北京诚志重科海图科技有限公司 一种人脸活体检测方法及装置
CN109271863A (zh) * 2018-08-15 2019-01-25 北京小米移动软件有限公司 人脸活体检测方法及装置
CN110579807A (zh) * 2019-09-06 2019-12-17 广汽蔚来新能源汽车科技有限公司 生命体探测方法、装置、计算机设备和存储介质
WO2020007191A1 (zh) * 2018-07-06 2020-01-09 北京三快在线科技有限公司 活体识别检测方法、装置、介质及电子设备
WO2021042375A1 (zh) * 2019-09-06 2021-03-11 深圳市汇顶科技股份有限公司 人脸活体检测方法、芯片及电子设备
CN113177480A (zh) * 2021-04-29 2021-07-27 上海商汤智能科技有限公司 基于人脸识别的金融业务处理方法、装置、设备及介质
CN113743196A (zh) * 2021-07-23 2021-12-03 北京眼神智能科技有限公司 活体检测方法、装置及存储介质
US11410458B2 (en) 2018-04-12 2022-08-09 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Face identification method and apparatus, mobile terminal and storage medium

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104915649A (zh) * 2015-06-04 2015-09-16 南京理工大学 一种应用于人脸识别的活体检测方法
CN105138981A (zh) * 2015-08-20 2015-12-09 北京旷视科技有限公司 活体检测系统和方法
CN105205455A (zh) * 2015-08-31 2015-12-30 李岩 一种移动平台上人脸识别的活体检测方法及系统
CN105426815A (zh) * 2015-10-29 2016-03-23 北京汉王智远科技有限公司 活体检测方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104915649A (zh) * 2015-06-04 2015-09-16 南京理工大学 一种应用于人脸识别的活体检测方法
CN105138981A (zh) * 2015-08-20 2015-12-09 北京旷视科技有限公司 活体检测系统和方法
CN105205455A (zh) * 2015-08-31 2015-12-30 李岩 一种移动平台上人脸识别的活体检测方法及系统
CN105426815A (zh) * 2015-10-29 2016-03-23 北京汉王智远科技有限公司 活体检测方法及装置

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108875508A (zh) * 2017-11-23 2018-11-23 北京旷视科技有限公司 活体检测算法更新方法、装置、客户端、服务器及系统
CN108875508B (zh) * 2017-11-23 2021-06-29 北京旷视科技有限公司 活体检测算法更新方法、装置、客户端、服务器及系统
CN108197279A (zh) * 2018-01-09 2018-06-22 北京旷视科技有限公司 攻击数据生成方法、装置、系统及计算机可读存储介质
US11410458B2 (en) 2018-04-12 2022-08-09 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Face identification method and apparatus, mobile terminal and storage medium
CN110688878A (zh) * 2018-07-06 2020-01-14 北京三快在线科技有限公司 活体识别检测方法、装置、介质及电子设备
CN110688878B (zh) * 2018-07-06 2021-05-04 北京三快在线科技有限公司 活体识别检测方法、装置、介质及电子设备
WO2020007191A1 (zh) * 2018-07-06 2020-01-09 北京三快在线科技有限公司 活体识别检测方法、装置、介质及电子设备
CN109117762A (zh) * 2018-07-27 2019-01-01 阿里巴巴集团控股有限公司 活体检测系统、方法及设备
CN109271863A (zh) * 2018-08-15 2019-01-25 北京小米移动软件有限公司 人脸活体检测方法及装置
CN109255322B (zh) * 2018-09-03 2019-11-19 北京诚志重科海图科技有限公司 一种人脸活体检测方法及装置
CN109255322A (zh) * 2018-09-03 2019-01-22 北京诚志重科海图科技有限公司 一种人脸活体检测方法及装置
WO2021042375A1 (zh) * 2019-09-06 2021-03-11 深圳市汇顶科技股份有限公司 人脸活体检测方法、芯片及电子设备
CN110579807A (zh) * 2019-09-06 2019-12-17 广汽蔚来新能源汽车科技有限公司 生命体探测方法、装置、计算机设备和存储介质
CN110579807B (zh) * 2019-09-06 2021-07-23 合创汽车科技有限公司 生命体探测方法、装置、计算机设备和存储介质
CN113177480A (zh) * 2021-04-29 2021-07-27 上海商汤智能科技有限公司 基于人脸识别的金融业务处理方法、装置、设备及介质
CN113743196A (zh) * 2021-07-23 2021-12-03 北京眼神智能科技有限公司 活体检测方法、装置及存储介质

Similar Documents

Publication Publication Date Title
CN107368769A (zh) 人脸活体检测方法、装置及电子设备
CN109711243B (zh) 一种基于深度学习的静态三维人脸活体检测方法
CN109255322B (zh) 一种人脸活体检测方法及装置
CN105426827B (zh) 活体验证方法、装置和系统
CN105023010B (zh) 一种人脸活体检测方法及系统
CN106997452B (zh) 活体验证方法及装置
CN109271950A (zh) 一种基于手机前视摄像头的人脸活体检测方法
CN107122744A (zh) 一种基于人脸识别的活体检测系统及方法
CN105718863A (zh) 一种人脸活体检测方法、装置及系统
CN104736038B (zh) 观察装置、观察支援装置、观察支援方法以及程序
CN106156578A (zh) 身份验证方法和装置
CN106068514A (zh) 用于在不受约束的媒体中识别面孔的系统和方法
CN110532850B (zh) 一种基于视频关节点和混合分类器的跌倒检测方法
CN108354578B (zh) 一种胶囊内镜定位系统
WO2016016496A2 (es) Procedimiento para identificar el gesto de una mano
CN110223322A (zh) 图像识别方法、装置、计算机设备和存储介质
CN109598242A (zh) 一种新型的活体检测方法
CN105740781A (zh) 一种三维人脸活体检测的方法和装置
CN104792327B (zh) 一种基于移动设备的运动轨迹对比方法
CN107694046A (zh) 一种健身运动训练方法、装置及计算机可读存储介质
CN108875469A (zh) 活体检测与身份认证的方法、装置及计算机存储介质
CN109670517A (zh) 目标检测方法、装置、电子设备和目标检测模型
CN103310191B (zh) 运动信息图像化的人体动作识别方法
CN109815810A (zh) 一种基于单摄像头的活体检测方法
CN108229291A (zh) 特征点检测、网络训练方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20171121

RJ01 Rejection of invention patent application after publication