CN105260726A - 基于人脸姿态控制的交互式视频活体检测方法及其系统 - Google Patents

Abstract

本发明涉及基于人脸姿态控制的交互式视频活体检测方法及其系统，本系统包括摄像头、智能设备以及人脸识别服务器；本方法思路为当用户的人脸被检测到之后，用户将被要求进行眨眼或者张嘴等动作，以过滤采用照片进行作假的用户；在整个检测过程中，用户的人脸将会被跟踪，以防止在认证的中途用户人脸被切换，并且在整个认证过程中会抽取多张人脸照片与后台人脸识别比对服务器预存的用户人脸照片进行人脸比对，以防止其他人进行假冒；且能准确判断出当前检测者是否为活体真人，解决了现有活体检测技术中存在的照片或视频欺骗问题。

Description

基于人脸姿态控制的交互式视频活体检测方法及其系统

技术领域

本发明涉及生物识别技术领域，尤其涉及基于人脸姿态控制的交互式视频活体检测方法及其系统。

背景技术

人脸识别作为一项成熟的生物识别技术，目前已广泛应用于金融、公安、社会服务、电子商务等领域。然而人脸很容易用视频或照片等进行复制，活体检测是人脸识别能否有效应用的前提，目前对活体检测方法的研究有很多。大多数活体检测方法是研究性质的，它们大多基于特征提取与训练的方式，这类方法的准确性是不可控的。另一类方法是要求用户做转头、摇头、眨眼或者张嘴等动作，但是这类方法对于视频的防欺骗性不高。

发明内容

本发明为克服上述的不足之处，目的在于提供基于人脸姿态控制的交互式视频活体检测方法，本方法思路是当用户的人脸被检测到之后，用户将被要求进行眨眼或者张嘴等动作，以过滤采用照片进行作假的用户；在整个检测过程中，用户的人脸将会被跟踪，以防止在认证的中途用户人脸被切换，并且在整个认证过程中会抽取多张人脸照片与后台人脸识别比对服务器预存的用户人脸照片进行人脸比对，以防止其他人进行假冒。

本发明另一目的在于提供基于人脸姿态控制的交互式视频活体检测系统，包括摄像头、智能设备以及人脸识别服务器，该系统能准确判断出当前检测者是否为活体真人，解决了现有活体检测技术中存在的照片或视频欺骗问题。

本发明是通过以下技术方案达到上述目的：基于人脸姿态控制的交互式视频活体检测方法，包括如下步骤：

(1)系统对检测区检测到的人脸进行跟踪，并提示用户做人脸姿态动作；

(2)用户在规定时间内完成人脸姿态动作，系统对人脸进行关键点定位和人脸姿态估计，生成一个控制点；并随机选择如下两类动作指令要求用户完成：

(a)张嘴动作指令，要求用户完成张嘴动作；

(b)控制点移动动作，该动作要求用户在非张嘴状态下完成，系统根据初始控制点的位置，随机选择点、线、或其他等若干图样的一种，要求用户利用姿态动作操作控制点去碰撞或者沿着图样路径移动；

(3)重复步骤(2)若干次，并根据用户动作的完成情况判断活体检测是否成功，同时获取若干张用户人脸照片；

(4)将获取到的照片与系统预存的用户人脸照片对比，若比对成功则活体检测成功；否则活体检测失败。

作为优选，所述的规定时间为5-10s。

作为优选，所述步骤(2)的关键点定位方法如下：

1)采用人工标注方式对人脸的各个特征点位置进行标注；

2)人脸识别服务器对标注后的人脸进行定位，根据得到的人脸框计算各个特征点在人脸框中的局部坐标；

3)对所有特征点的坐标进行计算得到平均值，得到平均人脸特征点位置，作为人脸特征点位置的初始位置配置；

4)根据人脸特征点位置的初始位置配置，结合人脸对齐模型进行迭代获得人脸特征点位置，即完成关键点定位。

作为优选，所述的人脸框通过人脸检测算法计算得到。

作为优选，所述的人脸对齐模型是通过计算人工标注特征点与初始配置特征点的差异，得到迭代方向和步长生成对齐模型；根据下式求取最小化以实现人脸特征点对齐：

F(P⁰+ΔP)＝||H(P⁰+ΔP)-H(P*)||

其中，P⁰为根据人脸识别服务器的定位以及平均人脸对齐特征点计算得到的初始位置配置，P*为人工标注的人脸特征点位置，ΔP为初始位置配置与P*的位移量，H(·)为SIFT特征或者HOG特征提取函数。

作为优选，所述步骤(2)的人脸姿态估计方法如下：

(i)根据人脸特征点位置计算眼睛-嘴巴距离Lf,鼻子-嘴巴距离Ln，以及鼻基-鼻尖距离Lm；

(ii)计算Rm＝Lm/Lf，Rn＝Ln/Lf；

(iii)根据Rm和Rn的值计算得到人脸的三个方向的夹角，根据夹角的值得到人脸法向量的值；

(iv)根据人脸法向量的值，结合人脸图像的大小计算得到法向量在人脸图像上的位置。

作为优选，所述步骤(3)若用户没有完成动作，则此轮活体检测结束，进入下一轮检测。

应用如上所述方法的基于人脸姿态控制的交互式视频活体检测系统，包括：人脸识别服务器、智能设备、摄像头；人脸识别服务器通过无线网或光缆与智能设备连接；智能设备与摄像头连接。

作为优选，所述的人脸识别服务器包括：数据收发模块、人脸识别比对模块；数据收发模块与人脸识别比对模块彼此连接。

作为优选，所述智能设备包括：检测人脸与跟踪模块、语音和文字提示模块、人脸照片采集模块、动作指令产生模块、用户动作判定模块和数据收发模块；数据收发模块、用户动作判定模块、动作指令产生模块、人脸照片采集模块、语音和文字提示模块、检测人脸与跟踪模块依次连接。

本发明的有益效果在于：(1)解决了现有活体检测技术中存在的照片或视频欺骗问题；(2)可用于养老人员的社会保险待遇领取资格认证，也可用于需要远程身份认证的各种应用系统，还可应用于远程或自助式人脸识别领域，实现基于人脸识别的各种应用。

附图说明

图1是本发明方法的流程示意图；

图2是本发明系统的示意图；

图3是本发明实施例的系统连接示意图；

图4是本发明实施例的系统架构示意图；

图5是本发明实施例的系统应用流程示意图；

图6是本发明实施例的人脸活体检测示意图1；

图7是本发明实施例的人脸活体检测示意图2。

具体实施方式

下面结合具体实施例对本发明进行进一步描述，但本发明的保护范围并不仅限于此：

实施例：如图1所示，基于人脸姿态控制的交互式视频活体检测方法，包括如下步骤：

1)在屏幕框中检测到用户的人脸后进行跟踪；

2)检测到人脸后，语音提示用户做张嘴或眨眼动作；

3)对用户的人脸进行关键点定位和人脸姿态估计，在屏幕中产生一个点让用户进行控制，记为控制点。其中，关键点定位方法如下：

①先采用人工标注的方式对训练数据集的人脸各个特征点的位置进行标注；

②使用人脸识别服务器对训练数据集中的人脸进行定位，根据检测到的人脸框，计算各个特征点在人脸框中的局部坐标，对训练数据集中所有特征点的坐标计算其平均值，就可以得到一个训练集的平均人脸特征点位置，把它作为人脸特征点位置的初始位置配置；

③人脸对齐模型训练是通过计算每个训练数据的人工标注特征点与初始配置特征点的差异，得到迭代方向和步长生成对齐模型。具体根据下式求最小化实现人脸特征点对齐：

F(P⁰+ΔP)＝||H(P⁰+ΔP)-H(P*)||

式中，P⁰为根据人脸识别服务器的定位以及平均人脸对齐特征点计算得到的初始位置配置，P*为训练集中人工标注的人脸特征点位置，ΔP为初始位置配置与P*的位移量，H(·)为SIFT特征或者HOG特征提取函数。

④对于视频的每一帧使用人脸检测算法得到人脸框，人脸检测算法可能会获得多个人脸框。

人脸检测算法如下：

(a)人脸检测首先利用一批人脸图像和一批非人脸图像，对这些图像计算梯度值，这样每幅图像都可以得到一组梯度值向量；

(b)构造一个多式项，把步骤(a)得到的梯度值向量代入到该多项式，求解多式项系数；

(c)检测人脸时，利用40x40的窗口在图像上滑动，并按1.2倍的比例不断等比缩小图像，直至图像小于40x40。对每个窗口计算窗口内的图像块梯度值向量，并与步骤(b)所得到的多项式系数相乘，选择乘积大于0且乘积值最大的作为人脸，并根据缩放系数计算人脸在原始图像上的位置。

⑤根据人脸框使用平均人脸特征点位置作为初始配置，再根据人脸对齐模型进行迭代获得人脸特征点的位置。

得到人脸关键点之后，就可以估计人脸的3D姿态估计，计算方法如下：

①根据特征点计算眼睛-嘴巴距离Lf,鼻子-嘴巴距离Ln，以及鼻基-鼻尖距离Lm。

②计算Rm＝Lm/Lf和Rn＝Ln/Lf；

③根据Rm和Rn的值可以进一步计算得到人脸的三个方向的夹角，根据这些夹角的值，可以得到人脸法向量的值；

④根据人脸法向量的值，结合图像的大小就可以计算得到法向量在对应图像上的位置了。

4)根据步骤3)得到的控制点位置，随机产生另外一个或者多个点、线、或者其他图形；

5)提示用户利用人脸姿态将控制点去碰撞或者沿着线移动至步骤4)产生的点或线或其他图形等动作，以判断用户是否是活体；同时获取若干张用户人脸照片；

6)将获取到的照片与系统预存的用户人脸照片对比，若比对成功则活体检测成功；否则活体检测失败。

其中，步骤3)至第5)步，可以根据活体检测的准确性要求，分别采用不同的操作方式。比如要求用户通过姿态控制点去碰撞另一个点的动作难度最低，但是这种方式被视频假冒的可能性也最大；要求用户通过姿态控制点去沿着线移动的方式，用户操作的难度稍微增加了，但是这种方式被视频假冒的可能性也变小了很多；所以本发明可以根据准确性以及难易程度的要求对第3)至第5)步的活体检测动作进行调整。

为了进一步增加可靠性，引入了随机化动作交互，把张嘴作为动作一，把第3)到第5)步的动作作为动作二；用户完成动作二时，要求不能做张嘴动作。通过随机选择动作一或者动作二要求用户完成，利用多次连续的重复命令以降低用户攻击的成功概率。同时要求每个动作必须在规定的时限内完成，比如5秒内完成，以增加防视频假冒的能力。

如图2所示，基于人脸姿态控制的交互式视频活体检测系统，包括人脸识别服务器，智能设备，摄像头，人脸识别服务器通过无线网或光缆与智能设备连接；智能设备与摄像头连接；智能设备内带有活体检测客户端。

人脸识别服务器和智能设备的架构图如图3、图4所示，一台人脸识别服务器可为多个活体检测客户端提供照片的人脸识别比对服务。

人脸识别服务器中有数据收发模块和人脸识别比对模块，其中数据收发模块负责接收活体检测客户端发送来的照片，并将人脸识别比对模块的比对结果发送给活体检测客户端；人脸识别比对模块负责将活体检测客户端发送来的照片与标准照进行比对，并将比对结果传递给数据收发模块进行下发。智能设备包括检测人脸与跟踪模块、语音和文字提示模块、人脸照片采集模块、动作指令产生模块、用户动作判定模块和数据收发模块，检测人脸与跟踪模块负责检测视频框中的人脸，检测到人脸后进行跟踪，语音和文字提示模块负责提示用户进行何种动作，人脸照片采集模块负责自动采集人脸照片，动作指令产生模块负责随机产生何种动作让用户来做，用户动作判定模块负责判定用户是否按要求完成动作指令，数据收发模块负责向人脸识别服务器发送采集的照片和接受人脸识别服务器回传的比对结果。

本系统的工作流程如图5所示：

1)用户端坐在电脑屏幕前方，屏幕上方为摄像头，正面对准用户人脸；；另外，用户也可用带前置摄像头的智能手机，正面对准用户人脸，开始进行活体检测；

2)系统检测到人脸之后，对人脸进行跟踪；

3)系统用语音和文字提示要求用户做张嘴或眨眼动作，若系统无检测到用户张嘴或眨眼动作，则继续等待，同时，判断检测时间是否超时，若超时则本次检测失败；

4)系统在人脸跟踪的基础上，通过人脸姿态估计计算出用户视点，并产生一个代表用户视点的1号球；如果中途发现人脸跟踪丢失，则活体检测失败；

5)如图6所示，系统随机产生一个1号球，并根据1号球的位置，随机产生一个2号球和一个3号球，用线段把2号和3号两球连接在一起，并提示用户控制1号球，先碰2号球，并沿着线段移动直到碰到3号球；或者如图7所示，系统随机产生一个1号球的位置，并根据人眼看的方向自动产生一个2号球，用户可通过眼控方式将2号球的位置发生位移，使得2号球与1号球进行触碰。系统检测用户是否按语音和文字提示完成动作，如未完成，则跳转至步骤3)继续做下一轮的检测。

在步骤5)的过程中采集多张用户人像照片，作为与人脸识别服务器的标准照片进行人脸识别比对；

6)在步骤5)的过程中，如果在规定的时间内(如5秒钟)没有完成动作，则活体检测失败；

7)把采集的人脸照片上传至后台的人脸识别服务器，与后台预存的用户人脸标准照片进行对比，如果照片为本人，则活体检测成功，否则活体检测失败。本发明系统不局限于社保行业人脸身份识别上的应用，还可应用于远程或自助式人脸识别领域，实现基于人脸识别的各种应用。

以上的所述乃是本发明的具体实施例及所运用的技术原理，若依本发明的构想所作的改变，其所产生的功能作用仍未超出说明书及附图所涵盖的精神时，仍应属本发明的保护范围。

Claims (10)

1.基于人脸姿态控制的交互式视频活体检测方法，其特征在于，包括如下步骤：

(1)系统对检测区检测到的人脸进行跟踪，并提示用户做人脸姿态动作；

(2)用户在规定时间内完成人脸姿态动作，系统对人脸进行关键点定位和人脸姿态估计，生成一个控制点；并随机选择如下两类动作指令要求用户完成：

(a)张嘴动作指令，要求用户完成张嘴动作；

(b)控制点移动动作，该动作要求用户在非张嘴状态下完成，系统根据初始控制点的位置，随机选择点、线、或其他等若干图样的一种，要求用户利用姿态动作操作控制点去碰撞或者沿着图样路径移动；

(3)重复步骤(2)若干次，并根据用户动作的完成情况判断活体检测是否成功，同时获取若干张用户人脸照片；

(4)将获取到的照片与系统预存的用户人脸照片对比，若比对成功则活体检测成功；否则活体检测失败。

2.根据权利要求1所述的基于人脸姿态控制的交互式视频活体检测方法，其特征在于：所述步骤(2)的关键点定位方法如下：

1)采用人工标注方式对人脸的各个特征点位置进行标注；

2)人脸识别服务器对标注后的人脸进行定位，根据得到的人脸框计算各个特征点在人脸框中的局部坐标；

3)对所有特征点的坐标进行计算得到平均值，得到平均人脸特征点位置，作为人脸特征点位置的初始位置配置；

4)根据人脸特征点位置的初始位置配置，结合人脸对齐模型进行迭代获得人脸特征点位置，即完成关键点定位。

3.根据权利要求2所述的基于人脸姿态控制的交互式视频活体检测方法，其特征在于：所述的人脸框通过人脸检测算法计算得到。

4.根据权利要求2所述的基于人脸姿态控制的交互式视频活体检测方法，其特征在于：所述的人脸对齐模型是通过计算人工标注特征点与初始配置特征点的差异，得到迭代方向和步长生成对齐模型；根据下式求取最小化以实现人脸特征点对齐：

F(P⁰+ΔP)＝||H(P⁰+ΔP)-H(P*)||

其中，P⁰为根据人脸识别服务器的定位以及平均人脸对齐特征点计算得到的初始位置配置，P*为人工标注的人脸特征点位置，ΔP为初始位置配置与P*的位移量，H(·)为SIFT特征或者HOG特征提取函数。

5.根据权利要求1所述的基于人脸姿态控制的交互式视频活体检测方法，其特征在于：所述步骤(2)的人脸姿态估计方法如下：

(i)根据人脸特征点位置计算眼睛-嘴巴距离Lf,鼻子-嘴巴距离Ln，以及鼻基-鼻尖距离Lm；

(ii)计算Rm＝Lm/Lf，Rn＝Ln/Lf；

(iii)根据Rm和Rn的值计算得到人脸的三个方向的夹角，根据夹角的值得到人脸法向量的值；

(iv)根据人脸法向量的值，结合人脸图像的大小计算得到法向量在人脸图像上的位置。

6.根据权利要求1所述的基于人脸姿态控制的交互式视频活体检测方法，其特征在于：所述步骤(3)若用户没有完成动作，则此轮活体检测结束，进入下一轮检测。

7.根据权利要求1所述的基于人脸姿态控制的交互式视频活体检测方法，其特征在于：所述的规定时间为5-10s。

8.应用如权利要求1所述方法的基于人脸姿态控制的交互式视频活体检测系统，其特征在于包括：人脸识别服务器、智能设备、摄像头；人脸识别服务器通过无线网或光缆与智能设备连接；智能设备与摄像头连接。

9.根据权利要求8所述的基于人脸姿态控制的交互式视频活体检测系统，其特征在于：所述的人脸识别服务器包括：数据收发模块、人脸识别比对模块；数据收发模块与人脸识别比对模块彼此连接。

10.根据权利要求8所述的基于人脸姿态控制的交互式视频活体检测系统，其特征在于：所述智能设备包括：检测人脸与跟踪模块、语音和文字提示模块、人脸照片采集模块、动作指令产生模块、用户动作判定模块和数据收发模块；数据收发模块、用户动作判定模块、动作指令产生模块、人脸照片采集模块、语音和文字提示模块、检测人脸与跟踪模块依次连接。