CN106937532A - 用于检测真正用户的系统和方法 - Google Patents

Abstract

本发明公开一种用于检测真正用户的系统。该系统可包括获取器、共面性确定器、构造器和检测器。获取器可接收主体(subject)的图像序列，该图像序列至少包括第一图像和第二图像，并且获取第一图像和第二图像的人脸关键点，形成人脸关键点的匹配对，在匹配对中，第一图像的每个人脸关键点与第二图像中的人脸关键点匹配。共面性确定器可基于人脸关键点的位置确定与人脸关键点的匹配对相关联的3D点是否共面。如果与人脸关键点相关联的3D点不共面，那么构造器可以从人脸关键点的位置来构造第一图像和第二图像的3D点云。检测器可基于构造的3D点云来检测主体是不是真正用户的真实人脸。

Description

用于检测真正用户的系统和方法

技术领域

本申请大体涉及人脸识别的领域，更具体地讲，涉及用于检测真正用户的系统、具有该系统的移动设备。本申请还涉及用于检测真正用户的方法。

背景技术

近来，人脸识别系统已经应用于各种可用的应用，诸如，监控、接入控制、刑事侦查等。然而，人脸识别系统可很容易受到骗子尝试使用所有者的照片或视频来绕开人脸识别系统的欺骗攻击。

尽管已经致力于处理这个问题，但多数的现有方法依赖于不随意运动(微笑或眨眼)来检测潜在的入侵。例如，分析活体人脸的光流图案可以揭露部分信息，以将它与欺骗的人脸区别开。另一示例通过使用二进制分类器与朗伯模型来解决活体人脸(live face)检测的问题。然而，通过向人脸识别系统展示真正用户的视频剪辑，可容易愚弄这些对策。

例如，识别欺骗攻击的另一方法是使用密集3D人脸结构。然而，该方法需要结构光(structured-light)3D扫描系统来获取准确的3D人脸扫描。这个解决方案既不具有成本效益，对于移动设备(例如，移动电话或平板电脑)也不可行，因为这些通用设备中缺少专门的硬件。

发明内容

根据本申请的实施例，公开用于检测真正用户的系统。该系统可包括获取器、共面性确定器、构造器和检测器。获取器可以接收主体(subject)的图像序列，该图像序列至少包括第一图像和第二图像，并且获取第一图像和第二图像的人脸关键点，形成人脸关键点的匹配对，在匹配对中，第一图像的每个人脸关键点与第二图像中的人脸关键点匹配。共面性确定器可基于人脸关键点的位置确定与人脸关键点的匹配对相关联的3D点是否共面。如果与人脸关键点相关联的3D点不共面，那么构造器可从人脸关键点的位置构造第一图像和第二图像的3D点云。检测器可基于构造的3D点云检测主体是不是真正用户的真实人脸。

根据本申请的另一实施例，公开了具有任一个根据如上所述的用于检测真正用户的系统的移动设备。

根据本申请的实施例，公开了用于检测真正用户的方法。该方法可包括：接收主体的图像序列的步骤，该图像序列至少包括第一图像和第二图像；获取第一图像和第二图像的人脸关键点，形成人脸关键点的匹配对的步骤，其中第一图像的每个人脸关键点与第二图像中的人脸关键点匹配；基于人脸关键点的位置来确定与人脸关键点的匹配对相关联的3D点是否共面的步骤；如果与人脸关键点相关联的3D点不共面则从所述位置来构造第一图像和第二图像的3D点云的步骤；以及基于构造的3D点云来检测主体是不是真正用户的真实人脸的步骤。

附图说明

下文参考附图描述本发明的示例性非限制实施例。附图是说明性的，并且一般不按确切比例。不同图上的相同或类似元件引用相同的参考编号。

图1是示出符合本申请的实施例的用于检测真正用户的系统的示意图。

图2是示出符合一些公开实施例的用于检测真正用户的系统的获取器的示意图。

图3是示出符合本申请的一个实施例的用于检测真正用户的系统的共面性确定器的示意图。

图4是示出符合本申请的一个实施例的用于检测真正用户的系统的构造器的示意图。

图5是示出符合本申请的一个实施例的用于检测真正用户的系统的检测器的示意图。

图6是示出符合一些公开实施例的人脸活体检测系统在软件中实施时的示意图。

图7是示出符合一些公开实施例的用于检测真正用户的方法的示意流程图。

图8是示出符合一些其他公开实施例的用于检测真正用户的方法的示意流程图。

具体实施方式

下面将详细参考示例性实施例，这些实施例的示例将在附图中说明。在适当的时候，附图中相同的参考编号始终指代相同或相似部分。图1是示出符合一些公开实施例的示例性人脸活体检测系统1000的示意图。

参考图1，其中系统1000由硬件实施，它可包括获取器100、共面性确定器200、构造器300和检测器400。

在图1所示的实施例中，获取器100可获取主体的图像序列，图像序列至少包括第一图像和第二图像。获取器100还可以获取第一图像和第二图像的人脸关键点，其中第一图像的每个人脸关键点与第二图像中的人脸关键点匹配。共面性确定器200可基于由获取器100获取的人脸关键点的位置来确定与人脸关键点的匹配对相关联的3D点是否共面。如果与人脸关键点相关联的3D点不共面，那么构造器300可从人脸关键点的位置构造第一图像和第二图像的3D点云。检测器400可基于构造的3D点云检测主体是不是真正用户的真实人脸。在本申请的一个实施例中，检测器400可基于构造的3D点云和预先存储的3D人脸模板来检测主体是不是真正用户的真实人脸。

获取器100可以是设于移动设备上的通用(颜色或灰度)成像系统。根据实施例，获取器100可以是单目相机，或者双目相机(也称为立体相机)，其中两个相机牢牢地安装在平台上。图2示出由这两种相机捕获的图像序列。

根据实施例，获取器100具有距其光学中心一定距离的图像平面，所述距离等于焦距f。获取器100的物理图像平面可以不按照与上述相同的方式配置。在获取器100中限定有相机坐标系C：X-Y-Z，其中X轴指向右，Y轴指向下并且Z轴指向光轴。在获取器是双目相机的情况下，为简单起见，全局相机坐标系C置于左相机坐标系C_l处；然而，本申请不限于此。

根据实施例，图3中示出的共面性确定器200可包括对应关系测量装置201和距离计算装置202。对应关系测量装置201可测量人脸关键点的匹配对中的人脸关键点的位置之间的对应关系。距离计算装置202可计算第一图像中的每个人脸关键点与所获取的第二图像中的通过测量的对应关系所获取的对应人脸关键点之间的距离。由此，如果就所有测量的距离的某一组合而言，距离小于预定阈值，那么将与人脸关键点的匹配对相关联的3D点确定为共面，就是说，将主体确定为平面人脸。

根据实施例，图4中示出的构造器300可包括变换确定装置301和深度计算装置302。变换确定装置301可根据提取的人脸关键点的位置来确定第一图像与第二图像之间的几何变换。深度计算装置302可计算人脸关键点的每个匹配对的深度值。

根据实施例，图5中示出的检测器400可以包括对齐装置401和相似性计算装置402。对齐装置401可以将构造的3D点云与真正用户的预先存储的3D点云进行对准。相似性计算装置402可以计算构造的3D点云与预先存储的3D点云之间的相似性。

在下文中，将在单目相机和双目相机分别用作获取器100的两个示例性实施例中详细地描述系统1000的每个部件。应注意，可以由任何其他种类的图像捕获设备来捕获图像序列，并且本申请不限于此。

实施例1：单目相机

如图2所示，单目相机可捕获由至少两个图像帧I₁、I₂、……、I_S(S≥2)构成的主体的图像序列。在下文中，除非另有明确说明，否则第一图像和第二图像指的是单目相机的任何两个图像帧。在本申请中，捕获单目图像序列中的任两个图像帧(第p个和第q个)，即，I_p和I_q，其中图像帧分别与坐标系C_p和C_q相关联，其中p≠q。为便于描述，与I_p和I_q相关的所有量都分别用下标符号1和2表示。从坐标系C₁测量到的3D点X＝(X，Y，Z)^T表示为X₁，并且从坐标系C₂测量到的3D点表示为X₂。

针对任两个图像帧I₁和I₂，获取器100可以分别获取N₁个和N₂个人脸关键点，所述人脸关键点在像素坐标中表示为p_1i和p_2j，其中i＝1、2、……、N₁并且j＝1、2、……、N₂。根据实施例，N₁不必等于N₂。人脸关键点可以由本领域中的任何已知人脸关键点检测方法获取。

根据另一实施例，可以对每个图像中获取到的人脸关键点的数量进行计数。如果每个图像中没有获取到足够的人脸关键点，诸如，小于N，那么系统允许用户执行另一人脸捕获，直到用于检测的持续时间结束为止。

图像I₁中的每个人脸关键点可以与图像I₂中的人脸关键点进行匹配，以形成人脸关键点的匹配对，并且表示为I₁中的m₁和I₂中的m₂。在人脸关键点没有顺序的情况下，获取器100可以通过最小化匹配成本，诸如，两个图像块之间的归一化互相关，来确定匹配的人脸关键点I₁中的m₁和I₂中的m₂，如下：

其中M是匹配窗Ω_n中的像素数量，和σ_n是分别针对n＝1、2在p_n上居中的图像块的强度值的均值和标准偏差。除了使用两个图像块之间的归一化互相关之外，本领域中的任何其他特征描述符(采用矢量的形式)也可以用于匹配成本。

另一方面，在人脸关键点有顺序的情况下，一个图像I₁中的每个关键点可以通过比较有序列表中的关键点索引来匹配到另一图像I₂中的对应关键点。在这种情况下，无需通过测量如上述公式(1)的互相关来找到对应。

具体而言，针对像素坐标中的图像点p，将对应的图像坐标x定义如下：

图像点p的投影坐标定义如下：

其中f_x和f_y分别表示x方向和y方向上的获取器的焦距，

(u，v)表示相对于像素坐标的相机中心，

表示相机的固有参数矩阵，

γ表示相机的倾斜参数。

那么，针对获取的N个匹配人脸关键点(m_1k，m_2k)，其中k＝1、2、……、N，图像I₁和I₂中的匹配人脸关键点通过基本矩阵F而彼此相关，如下：

其中F＝K^-TEK^-1并且E＝[t]×R。

参考图3，对应关系测量装置201可以测量人脸关键点的匹配对(m_1k，m_2k)中的人脸关键点的位置之间的对应(即，单应矩阵)H，如下：

距离计算装置202可以通过使用上述单应矩阵H就人脸关键点之间的所有测量距离的某一组合来计算整体距离，例如，人脸关键点(m_1k，m_2k)的均方根误差(RMSE)，如下：

其中m′_2k＝Hm_1k并且m′_1k＝H^-1m_2k。

因此，共面性确定器200可以确定与人脸关键点的匹配对相关联的3D点是否共面，也就是，确定与人脸关键点相关联的3D点是否位于同一3D平面上。如果计算的err_H小于预定义阈值，那么主体被视作平面人脸，即，不是真实人脸。随后，系统允许用户执行另一人脸捕获，直到持续时间结束为止。

另一方面，如果计算的err_H大于预定义阈值，那么主体更可能是真正用户的人脸。随后，图4中示出的构造器300的变换确定装置301可以根据每个图像中的匹配人脸关键点的位置来确定两个图像之间的几何变换(下文中称为变换矩阵)。

针对图像I₁，表示为X₁的3D点X＝(X，Y，Z)^T可以映射到C₂，如下，其中确定的几何变换表示为T：

其中R和t分别表示旋转矩阵和平移矢量；以及

T表示变换矩阵。

根据另一实施例，如果获取的人脸关键点没有顺序，那么获取器100可以获取人脸关键点的特征矢量。获取器100可以通过最小化所获取的特征矢量的匹配成本来建立一个图像中的每个关键点到另一图像中的对应人脸关键点之间的对应。随后，变换确定装置301可以根据与人脸关键点的匹配对相关联的位置来确定几何变换。

根据另一实施例，系统1000还可以包括被配置成获取图像的惯性数据的惯性测量装置(IMU)(未示出)。然而，本申请不限于此，并且系统1000可以从设置在系统1000外部的IMU中获取惯性数据。IMU可以包括3轴加速计、3轴陀螺仪和3轴磁强计。下文将在IMU可用和不可用的情况下详细地描述构造器300。应注意，单个3D点云由两个双目图像构造而成。

情况1：IMU不可用

参考图4，构造器300的变换确定装置301可首先通过使用归一化8点算法或者本领域中的类似方法中的任一个来计算I₁和I₂的匹配人脸关键点的两个集合{m₁}和{m₂}之间的基本矩阵F。随后，将基本矩阵(fundamental matrix)F转换成本质矩阵(essentialmatrix)E。也可以通过使用5点算法或本领域中的类似方法中的任一个来直接确定本质矩阵E。随后，通过将奇异值分解(SVD)方法用于本质矩阵E来恢复变换矩阵

随后，构造器300的深度计算装置302可以通过上述公式(3)来计算(I₁，I₂)中的匹配人脸关键点的投影坐标由此，构造器300的深度计算装置302可以建立两个图像I₁和I₂的3D点云。具体而言，可以确定与成对的人脸关键点相关联的3D点(即，相对于C₂)的Z分量，如下：

在找到所有的Z分量之后，可以确定相对于C₂的对应3D点X₂，如下：

随后，可以由构造器300通过收集得自上述公式(9)的所有这些3D点来构造主体的3D点云{X₂}。

情况2：IMU可用

如果IMU可用，那么变换确定装置301可以根据人脸关键点的位置和从IMU获取的惯性数据来确定几何变换。

随后，深度计算装置302可以计算(I₁，I₂)中的匹配人脸关键点的投影坐标不同于情况1，确定与成对的人脸关键点扫描相关联的3D点(即，相对于C₂)的Z分量，如下：

随后，在由公式(10)确定所有的Z分量之后，可以根据上述公式(9)来确定相对于C₂的对应3D点云{X₂}。

由此，针对上述情况1和2，使用主体的两个图像I₁和I₂来构造3D点云{X_m}。

随后，参考图5，检测器400的对齐装置401可以将构造的3D点云{X_m}与真正用户的预先存储的3D点云{X_ref}进行对准。真正用户的预先存储的3D点云用作参考3D模板。根据实施例，3D模板可以由上述过程提取，并且在人脸活体检测之前，可以存储在移动装置的非易失性存储器中。对齐的3D点云表示为{X′_m}。随后，计算构造的3D点云与预先存储的3D点云之间的3D距离，如下：

如果得分err_3D小于预定义阈值，那么将主体视作真正用户的真实人脸。否则，系统允许用户执行另一人脸扫描，直到人脸活体检测时间结束为止。

或者，共面性确定器200也可以被配置成通过下列过程来确定人脸关键点的匹配对中的人脸关键点是否共面。

首先，执行从单目图像帧(I₁，I₂)构造的3D点云{X}的平面拟合，这可以根据3D平面等式Z_k＝aX_k+bY_k+cZ_k(k＝1、2……、N)来实施。随后，通过解出下列最小二乘等式来确定3D平面法线n＝(a，b，c)^T：

n＝argmin∑_k(aX_k+bY_k+C-Z_k)²， (12)

或者

随后，距离计算装置202可以计算3D点的平面拟合的均方根误差(RMSE)，如下：

类似于值err_H，如果err_plane小于预定义阈值，那么将主体视作平面人脸。系统允许用户执行另一人脸扫描，直到持续时间结束为止。

实施例2：双目相机(也称为立体相机)

已经描述了将单目相机用作获取器100的上述实施例。下文将描述双目相机用作获取器100的另一实施例。

针对双目相机，图像序列(即，立体序列)由至少一个立体帧 (S≥1)构成，其中每个立体图像帧具有两个图像，即，由左相机捕获的左图像I^l和由右相机捕获的右图像I^r。左图像和右图像在立体相机中同时捕获。在下文中，除非另有明确陈述，否则第一图像和第二图像(I₁，I₂)指的是立体相机的任何一个立体图像帧中的左图像和右图像(I^l，I^r)。

类似于单目相机，根据第二实施例的系统100可以由与实施例1中描述的相同配置实施，只是用立体对图像(I^l，I^r)中的l和r来替换图像对(I₁，I₂)中的下标符号1和2。

具体而言，共面性确定器200的对应关系测量装置201测量人脸关键点的匹配对(k＝1、2……、N)中的人脸关键点的位置之间的单应矩阵H，如下：

随后，共面性确定器200的距离计算装置202根据实施例1中的公式(6)通过用(I^l，I^r)替换对(I₁，I₂)来计算err_H。如果计算的err_H小于预定义阈值，那么将主体视作平面人脸。

随后，构造器300可以构造立体图像帧(I^l，I^r)的单个3D点云。具体而言，可以由变换确定装置301确定与同一立体图像帧(I^l，I^r)中的左图像I^l和右图像I^r相关联的帧内变换矩阵T_lr＝(R_lr，t_lr)。根据另一实施例，帧内变换矩阵T_lr＝(R_lr，t_lr)可以不由变换确定装置301确定。帧内变换矩阵T_lr＝(R_lr，t_lr)是固定的并且一旦立体相机经过校准便永久地使用，而且它可以提前确定。在确定了帧内变换矩阵T_lr＝(R_lr，t_lr)并且类似于实施例1确定了匹配的人脸关键点的投影坐标之后，构造器300类似地使用公式(10)和(9)通过将具有下标1和2的所有变量分别换成l和r来构造3D点云。

根据另一实施例，如果立体帧中的两个图像I^l和I^r被调整，则将帧内变换矩阵T_lr＝(R_lr，t_lr)确定为R_lr＝I₃和t_lr＝(b，0，0)^T，其中b表示调整之后的立体的基线的长度。与点对相关联的3D点(即，相对于C₂)可以确定如下：

其中d＝|x₁-x₂|表示一对匹配的人脸关键点的两个图像点之间的视差。

由此，可以构造主体的3D点云{X₂}。公式(16)中的所有变量都是关于在立体图像对上执行调整之后的立体相机。

随后，类似于实施例1，检测器400的对齐装置401可以将构造的3D点云{X_m}与真正用户的预先存储的3D点云{X_ref}进行对准。对齐的3D点云表示为{X′_m}。随后，计算构造的3D点云与预先存储的3D点云之间的3D距离，如下：

如果得分err_3D小于预定义阈值，那么将主体视作真正用户的真实人脸。否则，系统允许用户执行另一人脸扫描，直到人脸活体检测时间结束为止。

根据另一实施例，变换确定装置301也可以通过与实施例1的情况1和2中类似的方法来确定两个立体图像帧和上的帧内变换矩阵T。

或者，可以分别针对立体图像帧和来构造两个点云{X₁}和{X₂}。随后，可以通过相对于{X₂}将点云{X₁}对准来确定帧内变换矩阵T。

或者，共面性确定器200可以通过下列方法来确定人脸关键点的匹配对中的人脸关键点是否共面。首先，以3D平面等式Z_k＝aX_k+bY_k+cZ_k(k＝1、2……、N)的形式执行从立体图像帧(I^l，I^r)构造的3D点云{X}的平面拟合。随后，通过解出上述公式(12)或公式(13)来确定3D平面法线n＝(a，b，c)^T。

随后，距离计算装置202可以通过上述公式(14)来计算3D点的平面拟合的均方根误差(RMSE)，即，err_plane。

类似于值err_H，如果err_plane小于预定义阈值，那么将主体视作平面人脸。系统允许用户执行另一人脸扫描，直到持续时间结束为止。

根据用于检测真正用户的系统1000，可以利用人脸的3D结构来自动地确定主体是真实的人还只是描绘真正用户的照片或视频序列上的人脸，以便防止骗子尝试使用用户的照片或视频来绕开人脸识别系统的欺骗攻击。

在上文中，描述了分别在不同位置和/或角度捕获单目相机的一对图像帧(即，两个图像帧I₁和I₂)和一个立体对图像帧(即，立体图像帧(I^l，I^r))的实施例。然而，本申请不限于此。可以捕获不止一对单目图像帧(或不止一个立体对图像帧)，以提高系统1000的准确性和稳健性。

针对不止一对单目图像帧(或立体对图像帧)，确定err_H(或err_plane)并且将所有err_H(或err_plane)的均值与预定义阈值进行比较，以确定主体是不是平面人脸。如果不是，则由构造器300针对图像对中的每个来构造3D点云。根据实施例，从捕获的序列中选择M个图像帧。随后，可以通过确定所有M个图像帧的改善变换矩阵和最小化所有M个图像帧上的重投影误差来构造相对于世界坐标系W(即，相对于第一坐标系C₁)的最佳3D点云，如下：

{X}，{T}＝arg min∑_i∑_j||P_i(X_j)-x_j||²， (18)

其中i＝1、2、……、M，j＝1、2、……、N，并且P_i(x_j)表示第j个3D点X_j到第i个图像I_i上的图像投影。

随后，检测器400可以基于构造的最佳3D点云来检测主体是不是真正用户。

应了解，系统1000可以使用某一硬件、软件或它们的组合来实施。此外，本发明的实施例可以适于计算机程序产品，所述计算机程序产品体现在含有计算机程序代码的一个或多个计算机可读存储介质上(包括但不限于，磁盘存储器、CD-ROM、光学存储器等)。图6是示出符合一些公开实施例的用于检测真正用户的系统1000在软件中实施时的示意图。

在用软件实施系统1000的情况下，系统1000可以在下列中运行：通用计算机、计算机集群、主流计算机、专用于提供在线内容的计算设备，或者计算机网络，所述计算机网络包括一组以集中或分布方式操作的计算机。如图6所示，上述计算机和设备中的至少一个可以包括一个或多个处理器(处理器102、104、106等)、存储器112、用于存储程序指令以便处理器实施方法2000的存储设备116(如之后将论述)，以及促进系统1000的各种设备之间的信息交换的总线。处理器102到106可包括中央处理装置(“CPU”)、图形处理装置(“GPU”)或者其他合适的信息处理设备。根据所使用的硬件的类型，处理器102到106可以包括一个或多个印刷电路板和/或一个或多个微处理器芯片。处理器102到106可以执行计算机程序指令的序列，以执行将在下文更详细地说明的各种方法。应注意，尽管图6中只示出一个框，但存储器112可以包括安装在中央计算设备或不同计算设备上的多个物理设备。

根据实施例，公开移动设备，其中提供如上所述的用于检测真正用户的系统1000。在固定相机设置(例如，焦距、曝光、白平衡)和周围环境的照明条件下，需要用户握持具有此检测系统的移动设备并且将它围绕人脸移动，以便设备中的获取器可以在不同位置和/或角度捕获人脸图像，所述人脸图像与正面略有不同。

图7是示出符合一些公开实施例的人脸活体检测方法2000的示意流程图。在下文中，可以参考图7详细地描述方法2000。

在步骤S701，接收主体的图像序列，所述图像序列至少包括第一图像和第二图像。主体的图像序列可以由单目相机或立体相机捕获。随后，在步骤S702，可获取第一图像和第二图像的人脸关键点，形成人脸关键点的匹配对，在匹配对中，第一图像的每个人脸关键点与第二图像中的人脸关键点匹配。在步骤S703，基于人脸关键点的位置来确定与人脸关键点的匹配对中的人脸关键点相关联的3D点是否共面。随后，在步骤S704处，如果与人脸关键点相关联的3D点不共面，那么从所述位置构造第一图像和第二图像的3D点云。在步骤S705，基于构造的3D点云来确定主体是不是真正用户的真实人脸。

根据实施例，步骤S703还可包括测量人脸关键点的匹配对中的人脸关键点的位置之间的对应关系的步骤，以及基于测量的对应关系和所述位置来计算人脸关键点的匹配对中的人脸关键点之间的距离的步骤，以便确定人脸关键点的匹配对中的人脸关键点是否共面。如果根据公式(6)(或(14))的规则计算的距离err_H(或err_plane)小于预定阈值，那么将主体确定为平面人脸。

根据实施例，步骤S704还可以包括根据人脸关键点的匹配对的位置来确定第一图像与第二图像之间的几何变换的步骤，以及计算人脸关键点的每个匹配对的深度值的步骤。

根据实施例，步骤S705还可以包括将构造的3D点云与真正用户的预先存储的3D点云进行对准的步骤，以及计算构造的3D点云与预先存储的3D点云之间的相似性的步骤，使得基于计算的相似性来将主体确定为真正用户。

根据实施例，在步骤S703之前，可以对每个图像的获取到的人脸关键点的数量进行计数。如果数量小于预设阈值，则执行步骤S701，直到允许的持续时间到期为止。

根据实施例，在步骤S703之前，可以从惯性测量装置(IMU)中获取第一图像和第二图像的惯性数据。随后，在步骤S703中，根据人脸关键点的位置和所获取的惯性数据来确定几何变换。根据另一实施例，在步骤S703之前，可以获取人脸关键点的特征矢量。随后，可以通过最小化所获取的特征矢量的匹配成本，来找到第一图像中的每个关键点到第二图像中的对应关键点之间的对应。之后，在步骤S703中，根据获取到的人脸关键点的匹配对的位置来确定几何变换。根据另一实施例，在步骤S703中，可以根据获取到的人脸关键点的位置和来自IMU的惯性数据来确定几何变换。

图8是示出符合本申请的一个实施例的人脸活体检测方法2000的示意流程图。如图8所示，在步骤S801，捕获图像序列并且从图像序列的图像中获取匹配的人脸关键点。随后，在步骤S802，确定获取到的人脸关键点的数量是否足够，也就是，数量是否大于预设值。如果不是的话，则不将主体视作人脸。否则，在步骤S803，确定匹配的人脸关键点中的关键点的对应和共面性。随后，在步骤S804处，将共面性与第一阈值进行比较，以确定人脸关键点的位置是否位于同一平面上。如果共面性小于第一阈值，则将主体视作平面人脸。否则，确定用户的预先存储的3D点云是否可用。如果不可用，则将主体确定为3D人脸。如果可用，则在步骤S806确定图像之间的几何变换，并且在步骤S807使用该变换来构造3D点云。随后，在步骤S808，将构造的3D点云与预先存储的3D点云对准并且确定它们之间的相似性。随后，如果在步骤S809，如果相似性小于第二阈值，那么将主体确定为用户的真实人脸。否则，将主体视作3D人脸。在步骤S810，对用户检测的持续时间进行计数。当主体不是人脸时，或当主体被确定为平面人脸时，或者当主体被确定为3D人脸时，方法2000允许前进到步骤S801，直到持续时间到期为止。

利用本申请的用于检测真正用户的系统和方法，可以防止骗子尝试使用用户的照片或视频来绕开人脸识别系统的欺骗攻击。用于检测真正用户的系统也可以与2D和/或3D人脸识别系统耦合，以在移动设备上提早执行欺骗攻击的检测。

尽管已描述了本发明的优选示例，但在了解本发明基本概念后，本领域的技术人员可以对这些示例进行变化或更改。所附权利要求书意图包括落入本发明的范围内的优选示例和所有变化或更改。

显然，在不脱离本发明的精神和范围的情况下，本领域的技术人员可以对本发明进行变化或更改。因此，如果这些变化或更改属于权利要求书和等效技术的范围，那么它们也可落入本发明的范围内。

Claims (20)

1.一种用于检测真正用户的系统，包括：

获取器，配置成接收主体的图像序列，所述图像序列至少包括第一图像和第二图像，所述获取器获取所述第一图像和所述第二图像的人脸关键点，形成人脸关键点的匹配对，在所述匹配对中，所述第一图像的每个人脸关键点与所述第二图像中的人脸关键点匹配；

共面性确定器，配置成基于所述人脸关键点的位置来确定与所述人脸关键点的匹配对相关联的3D点是否共面；

构造器，配置成如果与所述人脸关键点相关联的所述3D点不共面，则从所述人脸关键点的位置构造所述第一图像和所述第二图像的3D点云；以及

检测器，配置成基于构造的3D点云来检测所述主体是不是所述真正用户的真实人脸。

2.根据权利要求1所述的系统，其中所述共面性确定器还包括：

对应关系测量装置，配置成测量所述人脸关键点的匹配对中的人脸关键点的位置之间的对应关系；以及

距离计算装置，配置成计算所述第一图像中的每个人脸关键点与所述第二图像中的通过测量的对应关系获取的对应人脸关键点之间的距离，以确定与所述人脸关键点的匹配对中的人脸关键点相关联的3D点是否共面。

3.根据权利要求2所述的系统，其中如果计算的距离小于预定阈值，则所述共面性确定器确定出所述主体是平面人脸。

4.根据权利要求1所述的系统，其中所述构造器还包括：

变换确定装置，配置成根据提取的人脸关键点的位置确定所述第一图像与所述第二图像之间的几何变换；以及

深度计算装置，配置成计算所述人脸关键点的每个匹配对中的深度值，使得所述构造器从确定的几何变换和计算的深度值中建立所述第一图像和所述第二图像的3D点云。

5.根据权利要求1所述的系统，其中所述检测器还包括：

对齐装置，配置成将所述构造的3D点云与所述真正用户的预先存储的3D点云进行对准；以及

相似性计算装置，配置成计算所述构造的3D点云与所述预先存储的3D点云之间的相似性，使得所述检测器基于计算的相似性检测所述主体是不是真正用户。

6.根据权利要求4所述的系统，其中所述获取器还被配置成获取所述人脸关键点的特征矢量并且建立所述第一图像中的每个人脸关键点到所述第二图像中的对应人脸关键点的对应关系，以及

所述变换确定装置还被配置成根据所述人脸关键点的匹配对的位置来确定所述几何变换。

7.根据权利要求4所述的系统，其还包括：

惯性测量装置(IMU)，配置成获取所述第一图像和所述第二图像的惯性数据，

其中，所述变换确定装置还配置成根据所述人脸关键点的位置和所获取的惯性数据来确定所述几何变换。

8.根据权利要求4所述的系统，其还包括：

惯性测量装置(IMU)，配置成获取所述第一图像和所述第二图像的惯性数据，以及

其中，所述获取器还被配置成获取所述人脸关键点的特征矢量并且建立所述第一图像中的每个人脸关键点到所述第二图像中的对应人脸关键点的对应，以及

其中，所述变换确定装置还配置成根据所述人脸关键点的匹配对的位置和所述获取的惯性数据来确定所述几何变换。

9.根据权利要求1所述的系统，其中所述图像序列由单目相机或双目相机捕获。

10.一种移动设备，其具有根据权利要求1所述的用于检测真正用户的系统。

11.一种用于检测真正用户的方法，其包括：

接收主体的图像序列，所述图像序列至少包括第一图像和第二图像；

获取所述第一图像和所述第二图像的人脸关键点，形成人脸关键点的匹配对，在所述匹配对中，所述第一图像的每个人脸关键点与所述第二图像中的人脸关键点匹配；

基于所述人脸关键点的位置确定与所述人脸关键点的匹配对相关联的3D点是否共面；

如果与所述人脸关键点的匹配对相关联的3D点被确定不共面，则从所述位置构造所述第一图像和所述第二图像的3D点云；以及

基于构造的3D点云检测所述主体是不是所述真正用户。

12.根据权利要求11所述的方法，其中所述确定的步骤还包括：

测量所述人脸关键点的匹配对中的人脸关键点的位置之间的对应关系；以及

计算所述第一图像中的每个人脸关键点与所述第二图像中的通过测量的对应关系所获取的对应人脸关键点之间的距离。

13.根据权利要求12所述的方法，其中如果计算的距离小于预定阈值，则将所述主体确定为平面人脸。

14.根据权利要求11所述的方法，其中构造的步骤还包括：

根据提取的人脸关键点的所述位置来确定所述第一图像与所述第二图像之间的几何变换；以及

计算所述人脸关键点的每个所述匹配对的深度值。

15.根据权利要求11所述的系统，其中检测的步骤还包括：

将所述构造的3D点云与所述真正用户的预先存储的3D点云进行对准；以及

计算所述构造的3D点云与所述预先存储的3D点云之间的相似性。

16.根据权利要求11所述的方法，在所述确定的步骤之前，还包括：

对每个图像的、所述获取的人脸关键点进行计数；

其中，如果所述数量小于预设阈值，则执行所述接收的步骤，直到允许的持续时间到期为止。

17.根据权利要求11所述的方法，在所述确定的步骤之前，还包括：

获得所述获取的人脸关键点的特征矢量，以及

其中所述确定的步骤还包括：

根据所获取的人脸关键点的所述匹配对的位置来确定所述几何变换。

18.根据权利要求14所述的方法，其还包括：

从惯性测量装置(IMU)中获取所述第一图像和所述第二图像的惯性数据；以及

其中根据所述人脸关键点的位置和所述获取的惯性数据来确定所述几何变换。

19.根据权利要求14所述的方法，其还包括：

获得所述获取的人脸关键点的特征矢量；以及

从IMU中获取所述第一图像和所述第二图像的惯性数据；以及

其中根据所述人脸关键点的所述匹配对的位置和所述获取的惯性数据来确定所述几何变换。

20.根据权利要求11所述的方法，其中由单目相机或双目相机执行所述获取的步骤。