CN105205455A - 一种移动平台上人脸识别的活体检测方法及系统 - Google Patents

Abstract

本发明提供一种移动平台上人脸识别的活体检测方法，首先捕捉包含用户的不同角度的面部视频和拍摄视频时移动设备的运动加速度及转动数据，然后从视频中的头部姿态向量数据和设备运动向量数据中计算和提取两种向量数据相关性的特征信息，最后通过分类器辨析受检视频为真实人脸还是由照片/视频伪造的人脸。保护移动平台上基于人脸识别的身份识别应用抵抗基于照片和视频的哄骗攻击，而且不需要额外引入大部分移动设备未部署的硬件设备，对复杂光线条件具有鲁棒性，可以容忍用户在使用中的头部转动。

Description

一种移动平台上人脸识别的活体检测方法及系统

技术领域

本发明涉及人脸识别技术领域，特别涉及一种移动平台上人脸识别的活体检测方法及系统。

背景技术

人脸识别是一种基于人脸部特征进行身份识别的一种生物特征识别技术，其符合人类自身区分不同人脸和身份的方式，而且具有用户，友好特性。因此人脸识别系统现实世界中受到广泛欢迎，尤其被广泛应用于移动设备(手机、平板电脑等)平台上的用户认证系统。对于人脸识别系统，最常见的攻击是哄骗攻击(spoofingattack)，攻击者利用合法用户的人脸图片和视频来伪造该用户的人脸特征进行攻击。随着越来越多的用户在社交网络等网上平台发布大量的个人照片及视频，其带来的哄骗攻击的威胁也日益严重。

针对哄骗攻击这一问题，活体检测(livenessdetection)广泛应用于人脸识别系统，成为人脸识别系统的一项重要功能。活体检测可以分析获取的人脸特征，并判断这些特征是来自于一个有生命的、真实的人，还是来自于用于哄骗攻击的伪造的人脸，例如包含人脸的照片和视频。

根据检测活体线索的不同，现有的应用于人脸识别的活体检测方法主要包括：

基于特征点仿射变换的方法(U.S.PatentNo.2008/0192980)在输入视频的每一帧中探测并追踪人脸的特征点，通过对这些特征点进行仿射变换的方法计算相邻两帧的统计学距离，分析三维的真实人脸和二维的照片人脸的差异，判断是否是真人。这种方法计算时间代价较高，容易受到现实中复杂光照环境的影响，尤其是户外环境。该方法只能检测基于人脸图片的哄骗攻击，而不能检测基于人脸视频的哄骗攻击。

基于真实人脸的非刚性运动变化的方法(U.S.PatentNo.8675926)在输入的视频中探测并分析眨眼睛的动作，从而判断是否是真实的人脸。该方法只能检测基于人脸图片的哄骗攻击，而不能检测出基于人脸视频的哄骗攻击。

基于虹膜变化的方法(U.S.PatentNo.2013/0044920)通过对在特定的变化的光照条件下捕捉的虹膜照片进行分析，根据不同光照下的虹膜的变化，来判断是否是真实的人脸。该方法的空间开销和时间开销较大，需要特定的受控的光照条件，并且需要高清晰、高像素的虹膜照片。

基于真实人脸的光照变化的方法(U.S.PatentNo.2010/0299530)通过对在特定的变化的光照条件下拍摄的人脸图片进行分析，根据面部的光照变化，区分三维的真实人脸和二维的照片人脸，判断是否是真人。该方法的空间开销和时间开销较大，需要特定的受控的光照条件。

基于深度距离探测的方法(U.S.PatentNo.2007/0253604)利用高精度距离传感器扫描并分析人脸各个部分与摄像头的距离的变化，区分三维的真实人脸和二维的照片人脸，判断是否是真人。该方法需要额外的设备，如高精度距离传感器。

发明内容

为了克服现有技术的不足，本发明的目的是提供一种移动平台上人脸识别的活体检测方法。

一种移动平台上人脸识别的活体检测方法，包括以下步骤:获取外部图像数据和移动平台位移向量数据，所述移动平台位移向量数据为移动平台在水平方向和/或垂直方向上每个时刻的位移向量值；

根据预设规则处理外部图像数据，获得图像头部转向动量数据；

根据几何学关系将图像头部转向动量转换成虚拟运动向量；

将虚拟运动向量和移动平台位移向量数据进行时间轴对齐处理，并计算对齐后的两个向量之间相关性的特征信息，并根据所述特征信息进行人脸识别。

进一步地，所述移动平台位移向量数据通过以下方法获得：获取移动平台移动时的加速度值和旋转角速率，采用位置坐标推算法根据加速度和旋转角速率获得移动平台位移向量数据。

进一步地，还包括对加速度值的预降噪处理的步骤。

进一步地，所述预降噪处理为：采用高通滤波器、低通滤波器和加速度阈值对加速度数据进行预处理，所述加速度阈值为预设值。

进一步地，所述平台位移向量数据的计算方法为：通过位置坐标推算法根据预降噪处理后的加速度值和旋转角速率估算的出。

进一步地，所述预设规则为：

从获取的外部图像数据中抽取m帧人脸图片，并通过ConstrainedLocal模型从每帧照片中定位人脸的关键点像素坐标，然后采用基于头部姿态估计算法根据所述人脸的关键点像素坐标估算图片中人的头部相对于正面人脸在水平方向和/或垂直方向上的偏转角度，最后计算所有人脸图片的头部姿态相对于前一帧人脸图片头部姿态的偏转角度差，得到图像头部转向动量数据，其中m大于等于1。

进一步地，所述时间轴对齐处理为：采用动态时间规整算法将虚拟运动向量和移动平台位移向量数据在时间轴上对齐。。

为了克服现有技术的不足，本发明的另一个目的是提供一种移动平台上人脸识别的活体检测系统。

一种移动平台上人脸识别的活体检测系统，与数据获取模块连接，包括：设备运动估算模块、头部姿态估算模块和相关性分析模块，所述数据获取模块获取外部图像数据和移动平台移动时的加速度值和旋转角速率并分别传输到头部姿态估算模块、设备运动估算模块中；

所述头部姿态估算模块根据预设规则处理外部图像数据，获得图像头部转向动量数据，并根据几何学关系将图像头部转向动量转换成虚拟运动向量；

所述设备运动估算模块采用位置坐标推算法根据加速度和旋转角速率获得移动平台位移向量数据；

所述相关性分析模块用于将虚拟运动向量和移动平台位移向量数据在时间轴上对齐，并计算对齐后的两个向量之间相关性的特征信息，并根据所述特征信息进行人脸识别。最后采用贝叶斯网络分类算法根据这些特征信息，进行分类判断。

进一步地，所述数据获取模块包括摄像头、加速度计和陀螺仪。

进一步地，所述设备运动估算模块高通滤波器、低通滤波器。

与现有技术相比，本发明的优点在于：

保护移动平台上基于人脸识别的身份识别应用抵抗基于照片和视频的哄骗攻击，而且不需要额外引入大部分移动设备未部署的硬件设备，对复杂光线条件具有鲁棒性，可以容忍用户在使用中的头部转动。

附图说明

图1为本发明移动设备位移与人脸视频中的头部姿态偏转角度的基本几何学关系；

图2为本发明检测系统基本构成示意图；

图3为本发明头部姿态在水平方向或垂直方向的偏转示意图；

图4为本发明基于CLM算法定位人脸的关键点示意图；

图5为本发明检查方法的流程示意图；

图6为本发明检测流程的具体示意图；

图7为本发明通用移动设备坐标系示意图。

具体实施方式

下面结合附图和具体实施方式对本发明作进一步详细的说明。应当理解，此处所描述的具体实施例仅仅用于解释发明，并不用于限定实用新型。

本发明提出了一种可用于移动平台上基于人脸识别的的身份认证应用的防照片和视频哄骗攻击的方法和系统。在基于人脸识别的身份认证中，真实的人脸具有3D特征。如果是真实的人脸，当移动设备上的摄像头在运动过程中拍摄人脸视频时，在不同的位置会拍摄到不同的人脸视角，即头部姿态，并且移动设备的位移与头部姿态的变化满足弦长公式的几何关系，如图1所示，而由照片/视频伪造的人脸却不存在这种几何关系，图中r是移动设备与人脸之间的距离，β是人脸视频中的头部姿态偏转角度，s是移动设备移动距离，π是圆周率。因此，可以利用以上真实人脸的3D特征来检测基于照片/视频的哄骗攻击。

本发明所涉及的系统使用大多数移动设备上已有的硬件，包括普通摄像头、加速度计和陀螺仪，用于获取外部的图像数据和移动平台的位移向量数据；

如图5所示，本发明提供的移动平台上人脸识别的活体检测方法具体包括以下步骤：

S1.获取外部图像数据和移动平台位移向量数据，所述移动平台位移向量数据为移动平台在水平方向和/或垂直方向上每个时刻的位移向量值；

S2.根据预设规则处理外部图像数据，获得图像头部转向动量数据；

S3.根据几何学关系将图像头部转向动量转换成虚拟运动向量；

S4.将虚拟运动向量和移动平台位移向量数据在时间轴上对齐，并计算对齐后的两个向量之间相关性的特征信息，并根据所述特征信息进行人脸识别。最后采用贝叶斯网络分类算法根据这些特征信息，进行分类判断

如图6所示，其中，移动平台位移向量数据的获取具体为：

首先，步骤001中，获取惯性传感器输入的加速度、旋转角速率；然后，对以获取的加速度、旋转角速率进行降噪预处理，具体地，包括步骤002和步骤003，在步骤002中，所述降噪预处理为首先采用高通滤波器、低通滤波器和加速度阈值对加速度数据进行预处理，步骤003中，降低重力加速度和人的生理性手抖动带来的数据噪音。

其中，获取外部图像数据，所述外部图像数据为移动平台拍摄的包含人脸不同角度的照片。为拍摄满足要求的不同角度的人脸照片，用户需要将移动平台的摄像头对向自己的脸，然后沿水平/垂直方向移动一定的距离，在移动过程中，用户的头部尽量保持不动或者微动。在本发明的实施例中，移动平台移动的距离最优值为10cm；

进一步地，步骤002针对输入的设备加速度原始数据其中是沿设备x轴(水平方向)和(或)y轴(垂直方向)上，如图7所示移动设备坐标系，在t_i时刻的加速度值，使用低通滤波器提取重力加速度噪音其中并且α是一个平滑因子。然后使用高通滤波器从原始加速度数据中过滤重力加速度噪音得到过滤后的加速度数据其中且在本发明的实施例中采用α＝0.8，但并不限于此。

进一步地，在步骤003中通过使用加速度阈值h过滤手抖动加速度噪音得到预处理后的加速度数据其中且 $a_{l,t_i}=\{\begin{array}{cc}{\mathrm{fa}}_{l,t_i}& {\mathrm{fa}}_{l,t_i}\&GreaterEqual;h\\ 0& {\mathrm{fa}}_{l,t_i}<h\end{array},\left(l\&Element;\left\{x,y\right\}\right).$ 在本发明的实施例中采用h＝0.23m/s²，但并不限于此。

在本发明的任意实施例中，加速度阈值h的预选方式可以是：用户试验中多个用户个人的手抖动加速度平均值。具体来讲，在实验中，每个人手持手机在面前并保持一定时间，同时手机的加速度计记录人手抖动产生的加速度值，最后计算得到多用户个人的手抖动加速的平均值即为加速度阈值。

上述加速度阈值h的获取方式并不是唯一，该值可以根据相应的计算方式或平均值获得，或者根据实际试验中测量的优化值获得。

然后进入到步骤004中，根据预处理后的运动数据估算设备在水平方向(和/或垂直方向)上每个时刻的位移，并输出移动平台位移向量数据

进一步地，在步骤004通过使用DeadReckoning算法(位置坐标推算法)根据预处理后的加速度和转动角速率估算出移动设备在水平方向(和/或垂直方向)上每个时刻的位移。

具体地，步骤004中为根据设备旋转角速率估算相邻两个时刻t_i-1和t_i间设备坐标系旋转产生的笛卡尔角度得到其中 ${\mathrm{\&theta;}}_{s,t_i}=\left(r_{s,t_{i-1}}+r_{s,t_i}\right)\&CenterDot;\left(t_i-t_{i-1}\right)/2,\left(s\&Element;\left\{x,y,z\right\}\right),$ 由此可得到设备坐标系轴旋转夹角的三角函数矩阵同时，预处理后的加速度数据和坐标系轴旋转夹角三角函数矩阵，首先根据DeadReckoning推算法估算在时刻t_i设备沿x轴(水平方向)和(或)y轴(垂直方向)上的速度(设备初速度)，然后估算设备在相邻两个时刻t_i-1和t_i间沿x轴(水平方向)和(或)y轴(垂直方向)上的位移由此可得设备位移向量D_x和(或)D_y，其中且l∈{x，y}。在本发明实施例中，仅估算和使用设备沿x轴(水平方向)位移，但并不限于此。

步骤005中获得移动平台位移向量数据。

对于步骤s1中获取的两个数据先后顺序不影响本申请的实施，上述技术方案中，通过使用高通滤波器和低通滤波器降低重力加速产生的数据总成，但并不限于此。

如图6所示，其中，虚拟运动向量的获取具体为：

步骤006中，对步骤s1中获取的外部图像数据进行提取从输入人脸图像数据中抽取m帧人脸图片，并进入下一步骤；

其中，更进一步地，步骤006中提取m帧人脸图片，被提取的邻两帧的时间间隔都相同，即ti+1-ti＝ti+2-ti+1(i＝1,2,…,m)。在本发明实施例中采用m＝6，但并不限于此，可根据实际应用选择m＝4,5,6,…。

进一步地，进入到步骤007，使用ConstrainedLocal模型(CLM)从每帧照片中定位人脸关键点4，如图4所示；

然后进入到步骤008，采用基于Perspective-n-Point(PnP)的头部姿态估计算法根据这些人脸关键点的位置估算该照片中人的头部相对于正面人脸在水平方向(和/或垂直方向)上的偏转角度，如图3所示，但并不限于此，其他头部姿态估算法，如基于PCA头部姿态估算法、非线性回归头部姿态估算法，也可以应用于该功能。

具体地，步骤008中根据被提取的每帧人脸图片中人脸的关键点像素坐标，采用基于PnP的头部姿态估算法来估算该照片中头部在水平方向的姿态角度和垂直方向的姿态角度然后计算相邻两个时刻t_i-1和t_i间头部姿态的偏转角度其中w∈{yaw，pitch}且i＝2，3，...，m。由此得到头部转动向量H_yaw和(或)H_pttch。在本发明实施例中，仅估算和使用头部沿水平方向转动向量H_yaw，但并不限于此。

然后进入到步骤009中，根据步骤008的数据最后计算所有人脸图片的头部姿态相对于前一帧人脸图片的头部姿态的偏转角度差，得到头部转动向量。

进入到步骤010中，采用相关性分析器按照假定的几何关系如图1所示，将头部转动向量转化为虚拟位移向量可得 $d_{t_i}^{\&prime;}=\mathrm{\&pi;}\&CenterDot;r\&CenterDot;{\mathrm{\&beta;}}_{t_i}/180.$

然后进入到步骤011中，采用DTW动态时间规整算法将设备位移向量D和虚拟位移向量D′在时间轴上对齐，得到最小规整距离和元素对其中

然后进入到步骤012中，根据DTW算法对齐后的元素对，首先计算每对元素的比值其中k＝1，2，...，N；然后，计算比值的平均值最大值最小值和标准方差值接着，计算设备总位移和虚拟总位移由此得到两个向量相关性特征信息，包括r_mean，r_max，r_min，r_var，d_sum和d′_sum。

最后，进入到步骤013，根据向量的相关性特征信息，采用贝叶斯网络分类算法进行分类判断输入的人脸视频是真实人脸还是由照片/视频伪造的人脸，采用贝叶斯网络分类算法根据这些特征参数值，计算出由照片/视频伪造人脸的概率并与预设的检测阈值比较，进行分类判断。检测阈值的设定依赖于现实应用场景对于安全性和可用性的要求来权衡：检测阈值越高，则漏报率(Falsenegativerate)降低从而安全性提高，但是误报率(Falsepositiverate)会上升从而导致可用性降低；检测阈值越低，则误报率(Falsepositiverate)会降低从而可用性提高，但是漏报率(Falsenegativerate)却升高从而导致安全性下降，所有基于监督式学习的分类算法在使用前均需要正、反例样本训练得到分类模型，这种训练只需要进行一次，最后可以直接使用训练好的模型进行分类。

检测阈值需要根据具体应用场景对于安全性和可用性的要求确定，即根据所要求的漏报率(FalseNegativeRate)和误报率(FalsePositiveRate)确定，每个检测阈值都对应一个漏报率值和一个误报率值。具体选择检测阈值时，可以令检测阈值在(0,1)之间变化，测试和计算分类算法在该设定检测阈值下的一个漏报率值和一个误报率值，然后再选择最优值。

具体地，本发明提供的使用方法其具体使用如下：

1、首先捕捉包含用户的不同角度的面部视频和拍摄视频时移动设备的运动加速度及转动数据，

2、然后从视频中的头部姿态向量数据和设备运动向量数据中计算和提取两种向量数据相关性的特征信息，

3、最后通过分类器辨析受检视频为真实人脸还是由照片/视频伪造的人脸。

具体地讲，该方法首先从输入的面部视频中提取头部姿态随时间变化向量，并将头部姿态向量转换为虚拟设备运动数据、向量，然后从输入的移动设备运动数据中计算移动设备在三维空间中位置坐标随时间变化向量，接着将得到的两个向量在时间轴上对齐并计算相关性特征，再采用BayesianNetwork模型根据计算所得的相关性特征来判断身份认证中输入的视频是真实的人脸还是由照片/视频伪造的人脸。

通过用户实验证明，本发明提出的方法不需要除普通摄像头、加速度计和陀螺仪外的其他额外硬件设备，具有对复杂光线条件的鲁棒性，可以容忍用户在使用中的头部转动，实现简单，功能独立，能够很好的解决基于人脸识别的身份认证中照片哄骗攻击和视频哄骗攻击的问题。

根据上述任意实施例，本发明所述系统由如图2所示的三个主要模块构成，包括设备运动估算器1、头部姿态估算器2和相关性分析器3。其中设备估算器1、头部姿态估算器2分别与移动平台4的数据获取模块连接，数据获取模块包括普通摄像头、加速度计和陀螺仪。

首先，设备运动估算器1对设备惯性传感器输入的加速度进行降噪预处理，根据预处理后的运动数据和选择角速率估算设备在水平方向(和/或垂直方向)上每个时刻的位移，并输出设备位移向量。

同时，头部姿态估算器2从输入人脸视频中抽取m帧人脸图片并估算每帧人脸图片中头部的姿态，即当前人脸相对于正面人脸在水平方向(和/或垂直方向)，如图3所示，上的偏转角度，并转换输出头部转动向量；

最后，相关性分析器3将输入的头部转动向量转换为虚拟位移向量与输入的设备位移向量进行比较，计算两个向量之间相关性的特征信息，并根据这些特征信息进行分类判断受检者是真实人脸还是由照片/视频伪造的人脸。

具体地讲，该系统中设备运动估算器首先采用高通滤波器、低通滤波器和加速度阈值对加速度数据进行预处理，降低重力加速度和人的生理性手抖动带来的数据噪音，然后使用DeadReckoning算法(位置坐标推算法)根据预处理后的加速度和转动角速率估算出移动设备在水平方向(和/或垂直方向)上每个时刻的位移。

另一方面，头部姿态估算器按照从输入的人脸视频中提取m帧人脸图片，使用ConstrainedLocal模型(CLM)从每帧照片中定位人脸关键点5，如图4所示，然后采用基于Perspective-n-Point(PnP)的头部姿态估计算法根据这些人脸关键点的位置估算该照片中人的头部相对于正面人脸在水平方向(和/或垂直方向)上的偏转角度，最后计算所有人脸图片的头部姿态相对于前一帧人脸图片的头部姿态的偏转角度差，得到头部转动向量。

在收到头部转动向量和设备运动向量后，相关性分析器首先根据几何学关系将头部转动向量转换成虚拟运动向量，然后采用DTW算法(动态时间规整算法)将虚拟运动向量和设备运动向量在时间轴上对齐，接着计算对齐后的两个向量之间相关性的特征信息，最后采用贝叶斯网络分类算法根据这些特征信息，进行分类判断。

Claims (10)

1.一种移动平台上人脸识别的活体检测方法，其特征在于，包括：

沿水平/垂直方向移动移动平台一定距离，获取外部图像数据和移动平台位移向量数据，所述移动平台位移向量数据为移动平台在水平方向和/或垂直方向上每个时刻的位移向量值；

根据预设规则处理外部图像数据，获得图像头部转向动量数据；

根据弧长公式将图像头部转向动量转换成虚拟运动向量；

将虚拟运动向量和移动平台位移向量数据进行时间轴对齐处理，并计算对齐后的两个向量之间具有相关性的多个特征参数值，并采用贝叶斯网络分类算法根据这些特征参数值，计算出由照片或视频伪造人脸的概率并与预设的检测阈值比较，进行分类判断。

2.根据权利要求1所述的移动平台上人脸识别的活体检测方法，其特征在于，所述移动平台位移向量数据通过以下方法获得：获取移动平台移动时的加速度值和旋转角速率，采用位置坐标推算法根据加速度和旋转角速率获得移动平台位移向量数据。

3.根据权利要求2所述的移动平台上人脸识别的活体检测方法，其特征在于，还包括对加速度值的预降噪处理的步骤。

4.根据权利要求3所述的移动平台上人脸识别的活体检测方法，其特征在于，所述预降噪处理为：采用高通滤波器、低通滤波器和加速度阈值对加速度数据进行预处理，所述加速度阈值为预设值。

5.根据权利要求3所述的移动平台上人脸识别的活体检测方法，其特征在于，所述平台位移向量数据的计算方法为：通过位置坐标推算法根据预降噪处理后的加速度值和旋转角速率估算的出。

6.根据权利要求1所述的移动平台上人脸识别的活体检测方法，其特征在于，所述预设规则为：

从获取的外部图像数据中抽取m帧人脸图片，并通过ConstrainedLocal模型从每帧照片中定位人脸的关键点像素坐标，然后采用基于头部姿态估计算法根据所述人脸的关键点像素坐标估算图片中人的头部相对于正面人脸在水平方向和/或垂直方向上的偏转角度，最后计算所有人脸图片的头部姿态相对于前一帧人脸图片头部姿态的偏转角度差，得到图像头部转向动量数据，其中m大于等于1。

7.根据权利要求4所述的移动平台上人脸识别的活体检测方法，其特征在于，所述时间轴对齐处理为：采用动态时间规整算法将虚拟运动向量和移动平台位移向量数据在时间轴上对齐。

8.一种移动平台上人脸识别的活体检测系统，与数据获取模块连接，其特征在于，包括：设备运动估算模块、头部姿态估算模块和相关性分析模块，所述数据获取模块获取外部图像数据和移动平台移动时的加速度值和旋转角速率并分别传输到头部姿态估算模块、设备运动估算模块中；

所述头部姿态估算模块根据预设规则处理外部图像数据，获得图像头部转向动量数据；

所述设备运动估算模块采用位置坐标推算法根据加速度和旋转角速率获得移动平台位移向量数据；

所述相关性分析模块用于根据几何学关系将图像头部转向动量转换成虚拟运动向量,并将虚拟运动向量和移动平台位移向量数据在时间轴上对齐，并计算对齐后的两个向量之间相关性的特征信息，并根据所述特征信息进行人脸识别；

最后采用贝叶斯网络分类算法根据这些特征信息，进行分类判断。

9.根据权利要求8所述的移动平台上人脸识别的活体检测系统，其特征在于，所述数据获取模块包括摄像头、加速度计和陀螺仪。

10.根据权利要求8所述的移动平台上人脸识别的活体检测系统，其特征在于，所述设备运动估算模块高通滤波器、低通滤波器。