CN111079470B - 人脸活体检测的方法和装置 - Google Patents

Abstract

本申请提供了一种人脸活体检测的方法和装置，属于计算机技术领域。所述方法包括：在进行人脸活体检测的过程中，RGB相机拍摄包含目标人脸的彩色图像，IR相机拍摄包含目标人脸的红外图像，然后在所述彩色图像的第一人脸感兴趣区域中提取视觉特征点，并在红外图像的第二人脸感兴趣区域中提取视觉特征点，根据提取出的视觉特征点，确定第一人脸感兴趣区域和第二人脸感兴趣区域是否满足单应性假设，如果第一人脸感兴趣区域与第二人脸感兴趣区域满足单应性假设，则确定目标人脸为非活体人脸，如果第一人脸感兴趣区域与第二人脸感兴趣区域不满足单应性假设，则确定目标人脸为活体人脸。采用本申请，可以缩短人脸识别的时长。

Description

人脸活体检测的方法和装置

技术领域

本发明涉及计算机技术领域，特别涉及一种人脸活体检测的方法和装置。

背景技术

随着安防的技术不断更新，人脸识别技术的应用越来越广泛，例如，在进入机密区域时，要进行人脸识别，在人脸识别通过后，才能进入。

相关技术中，由于人脸数据极易用照片、视频等方式进行复制，用户在进入机密区域时，人脸识别设备会发出语音指令，提示用户进行某些指定动作，进行活体检测，如果确认是活体人脸，则拍摄人脸图像，将人脸图像与预先存储的人脸图像进行匹配，如果匹配成功，则用户可以进入机密区域。

由于需要通过语音指令，提示用户进行某些指定动作，才能确认是否是活体人脸，在用户不配合时，进行人脸活体检测会使人脸识别时长过长。

发明内容

为了解决人脸活体检测系统不完善的问题，本申请提供了一种人脸活体检测的方法和装置。所述技术方案如下：

第一方面，提供了一种人脸活体检测的方法，所述方法包括：

获取红绿蓝RGB相机拍摄的包含目标人脸的彩色图像和红外IR相机拍摄的包含所述目标人脸的红外图像；

在所述彩色图像的第一人脸感兴趣区域中提取视觉特征点，并在所述红外图像的第二人脸感兴趣区域中提取视觉特征点；

根据从所述第一人脸感兴趣区域中提取的视觉特征点和从所述第二人脸感兴趣区域中提取的视觉特征点，如果所述第一人脸感兴趣区域与所述第二人脸感兴趣区域满足单应性假设，则确定所述目标人脸为非活体人脸，如果所述第一人脸感兴趣区域与所述第二人脸感兴趣区域不满足单应性假设，则确定所述目标人脸为活体人脸。

可选的，所述根据从所述第一人脸感兴趣区域中提取的视觉特征点和从所述第二人脸感兴趣区域中提取的视觉特征点，如果所述第一人脸感兴趣区域与所述第二人脸感兴趣区域满足单应性假设，则确定所述目标人脸为非活体人脸，如果所述第一人脸感兴趣区域与所述第二人脸感兴趣区域不满足单应性假设，则确定所述目标人脸为活体人脸，包括：

对从所述第一人脸感兴趣区域提取的视觉特征点和从所述第二人脸感兴趣区域提取的视觉特征点进行匹配，得到匹配的视觉特征点对；

根据所述匹配的视觉特征点对，如果所述第一人脸感兴趣区域与所述第二人脸感兴趣区域满足单应性假设，则确定所述目标人脸为非活体人脸，如果所述第一人脸感兴趣区域与所述第二人脸感兴趣区域不满足单应性假设，则确定所述目标人脸为活体人脸。

可选的，所述方法还包括：

对所述彩色图像进行人脸识别，确定所述彩色图像中的人脸框的位置信息，确定所述人脸框包括的区域为所述彩色图像的第一人脸感兴趣区域；

根据预设的RGB相机的内部参数和外部参数、IR相机的内部参数和外部参数以及所述人脸框的位置信息，确定所述红外图像的第二人脸感兴趣区域。

这样，可以节约计算资源。

可选的，所述根据所述匹配的视觉特征点对，如果所述第一人脸感兴趣区域与所述第二人脸感兴趣区域满足单应性假设，则确定所述目标人脸为非活体人脸，如果所述第一人脸感兴趣区域与所述第二人脸感兴趣区域不满足单应性假设，则确定所述目标人脸为活体人脸，包括：

根据所述匹配的视觉特征点对，确定目标单应性矩阵，其中，在所述目标单应性矩阵下，所述第一人脸感兴趣区域与所述第二人脸感兴趣区域中匹配的视觉特征点对的数目最大；

如果在所述目标单应性矩阵下，所述第一人脸感兴趣区域与所述第二人脸感兴趣区域中匹配的视觉特征点对的数目大于或等于预设数值，则所述第一人脸感兴趣区域与所述第二人脸感兴趣区域满足单应性假设，所述目标人脸为非活体人脸；

如果在所述目标单应性矩阵下，所述第一人脸感兴趣区域与所述第二人脸感兴趣区域中匹配的视觉特征点对的数目小于预设数值，则所述第一人脸感兴趣区域与所述第二人脸感兴趣区域不满足单应性假设，所述目标人脸为活体人脸。

这样，可以更准确的确定人脸是否是活体人脸。

可选的，所述视觉特征点为纹理特征点。

可选的，所述对从所述第一人脸感兴趣区域提取的视觉特征点和从所述第二人脸感兴趣区域提取的视觉特征点进行匹配，得到匹配的视觉特征点对，包括：

通过特征描述子，对从所述第一人脸感兴趣区域提取的视觉特征点和从所述第二人脸感兴趣区域提取的视觉特征点进行匹配，得到匹配的视觉特征点对。

第二方面，提供了一种人脸活体检测的装置，所述装置包括：

获取模块，用于获取红绿蓝RGB相机拍摄的包含目标人脸的彩色图像和红外IR相机拍摄的包含所述目标人脸的红外图像；

提取模块，用于在所述彩色图像的第一人脸感兴趣区域中提取视觉特征点，并在所述红外图像的第二人脸感兴趣区域中提取视觉特征点；

确定模块，用于根据从所述第一人脸感兴趣区域中提取的视觉特征点和从所述第二人脸感兴趣区域中提取的视觉特征点，如果所述第一人脸感兴趣区域与所述第二人脸RIO区域满足单应性假设，则确定所述目标人脸为非活体人脸，如果所述第一人脸感兴趣区域与所述第二人脸感兴趣区域不满足单应性假设，则确定所述目标人脸为活体人脸。

可选的，所述确定模块，用于：

对从所述第一人脸感兴趣区域提取的视觉特征点和从所述第二人脸感兴趣区域提取的视觉特征点进行匹配，得到匹配的视觉特征点对；

根据所述匹配的视觉特征点对，如果所述第一人脸感兴趣区域与所述第二人脸感兴趣区域满足单应性假设，则确定所述目标人脸为非活体人脸，如果所述第一人脸感兴趣区域与所述第二人脸感兴趣区域不满足单应性假设，则确定所述目标人脸为活体人脸。

可选的，所述确定模块，还用于：

对所述彩色图像进行人脸识别，确定所述彩色图像中的人脸框的位置信息，确定所述人脸框包括的区域为所述彩色图像的第一人脸感兴趣区域；

根据预设的RGB相机的内部参数和外部参数、IR相机的内部参数和外部参数以及所述人脸框的位置信息，确定所述红外图像的第二人脸感兴趣区域。

可选的，所述确定模块，用于：

根据所述匹配的视觉特征点对，确定目标单应性矩阵，其中，在所述目标单应性矩阵下，所述第一人脸感兴趣区域与所述第二人脸感兴趣区域中匹配的视觉特征点对的数目最大；

如果在所述目标单应性矩阵下，所述第一人脸感兴趣区域与所述第二人脸感兴趣区域中匹配的视觉特征点对的数目大于或等于预设数值，则所述第一人脸感兴趣区域与所述第二人脸感兴趣区域满足单应性假设，所述目标人脸为非活体人脸；

如果在所述目标单应性矩阵下，所述第一人脸感兴趣区域与所述第二人脸感兴趣区域中匹配的视觉特征点对的数目小于预设数值，则所述第一人脸感兴趣区域与所述第二人脸感兴趣区域不满足单应性假设，所述目标人脸为活体人脸。

可选的，所述视觉特征点为纹理特征点。

可选的，所述确定模块，用于：

通过特征描述子，对从所述第一人脸感兴趣区域提取的视觉特征点和从所述第二人脸感兴趣区域提取的视觉特征点进行匹配，得到匹配的视觉特征点对。

第三方面，提供了一种计算机可读存储介质，所述存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面的方法步骤。

第四方面，提供了一种人脸识别设备，包括处理器和存储器，其中，所述存储器，用于存放计算机程序；所述处理器，用于执行所述存储器上所存放的程序，实现上述第一方面的方法步骤。

第五方面，提供了一种人脸识别设备，所述人脸识别设备包括红绿蓝RGB相机、红外IR相机、处理器和存储器，其中：

所述RGB相机用于拍摄彩色图像，所述IR相机用于拍摄红外图像；

所述处理器通过执行存储在所述存储器内的代码实现上述第一方面的方法步骤。

本发明实施例提供的技术方案带来的有益效果至少包括：

本发明实施例中，在进行人脸活体检测的过程中，RGB相机拍摄包含目标人脸的彩色图像，IR相机拍摄包含目标人脸的红外图像，然后在所述彩色图像的第一人脸感兴趣区域中提取视觉特征点，并在红外图像的第二人脸感兴趣区域中提取视觉特征点，根据提取出的视觉特征点，确定第一人脸感兴趣区域和第二人脸感兴趣区域是否满足单应性假设，如果第一人脸感兴趣区域与第二人脸感兴趣区域满足单应性假设，则确定目标人脸为非活体人脸，如果第一人脸感兴趣区域与第二人脸感兴趣区域不满足单应性假设，则确定目标人脸为活体人脸。这样，由于可以拍摄RGB图像和IR图像，然后使用提取出的视觉特征点，确定第一人脸感兴趣区域和第二人脸感兴趣区域是否满足单应性假设，进而确定是否是活体人脸，而不需要指示用户进行指定动作，不需要用户配合，所以即使进行人脸活体检测，所使用的时长也比较短，进而可以缩短人脸识别时长。

附图说明

图1是本发明实施例提供的一种人脸识别设备的结构示意图；

图2是本发明实施例提供的一种人脸活体检测的方法流程图；

图3是本发明实施例提供的一种双目系统视觉原理的示意图；

图4是本发明实施例提供的一种双目视觉系统的数学模型示意图；

图5是本发明实施例提供的一种人脸活体检测的方法流程示意图；

图6是本发明实施例提供的一种人脸活体检测的装置的结构示意图；

图7是本发明实施例提供的一种人脸活体检测装置的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

本发明实施例提供了一种人脸活体检测的方法，该方法的执行主体可以为人脸识别设备，如图1所示，人脸识别设备中设置有RGB(Red Green Blue，红绿蓝)相机、IR(infrared，红外)相机、红外LED(Light Emitting Diode、发光二极管)、LED驱动、电源、处理器、收发器和存储器等。

RGB相机可以设置在左侧，用于拍摄彩色图像，IR相机可以设置在RGB相机的右侧，用于拍摄红外图像，电源可以为人脸识别设备提供电源，LED驱动可以用于驱动红外LED，红外LED用于发出红外光线，处理器用于进行人脸活体检测的过程的处理，存储器可以用于存储人脸活体检测过程中需要的数据以及产生的数据，收发器可以用于接收以及发送数据。人脸识别设备还可以设置有屏幕等输入输出设备，用于显示识别到的人脸图像等。另外，人脸识别设备中还设置有USB(Universal Serial Bus，通用串行总线)接口(可以是USB2.0接口等)，USB接口可以用于通过数据连接线与其它设备传输数据。

需要说明的是，一般RGB相机和IR相机满足双目视觉系统。

本发明实施例提供了一种人脸活体检测的方法，以用户进入机密区域为例进行说明，如图2所示，该方法的处理流程可以如下：

步骤201，获取RGB相机拍摄的包含目标人脸的彩色图像和IR相机拍摄的包含目标人脸的红外图像。

在实施中，人脸识别设备在检测到有预设距离内障碍物(后续可以称为是目标人脸)时，可以控制开启RGB相机和IR相机，并且同时控制红外LED发出红外光线，RGB相机可以拍摄彩色图像，由于红外LED发出红外光线，所以IR相机可以拍摄红外图像。这样彩色图像中包含目标人脸，红外图像中包含目标人脸。

人脸识别设备可以获取RGB相机拍摄的彩色图像，并且获取IR相机拍摄的红外图像。

需要说明的是，上述预设距离可以预设，并且存储至人脸识别设备，如30cm等。

步骤202，在彩色图像的第一人脸感兴趣区域中提取视觉特征点，并在红外图像的第二人脸感兴趣区域中提取视觉特征点。

其中，第一人脸感兴趣区域(Region of Interest，ROI)一般是一个矩形框，包括人脸中额头以下、下巴往上的区域。第二人脸感兴趣区域一般也是一个矩形框，包括人脸中额头以下、下巴往上的区域。

在实施中，人脸识别设备可以确定彩色图像中的第一人脸感兴趣区域，然后将彩色图像中的每个像素点R、G、B，转换为灰度值，然后基于转换后的灰度值，从第一人脸感兴趣区域中，提取出视觉特征点，并且可以确定红外图像中的第二人脸感兴趣区域，然后从第二人脸感兴趣区域中，提取视觉特征点。

需要说明的是，对于任一像素点，可以使用如下式子，将RGB转换为灰度值：

灰度值Y＝0.299R+0.587G+0.114B，在该式子中，R、G、B分别是红色像素值、绿色像素值和蓝色像素值。

可选的，视觉特征点为纹理特征点。

在实施中，纹理是一种反映图像中同质现象的视觉特征，体现了物体表面的具有缓慢变化或者周期性变化的表面结构组织排列属性，纹理有三大标志：某种局部序列性不断重复、非随机排列、纹理区域内大致为均匀的统一体。纹理不同于灰度、颜色等图像特征，它是通过像素及其周围空间邻域的灰度分布来表现。在本发明实施例中，视觉特征点为纹理特征点。

可选的，有多种方式可以确定出第一人脸感兴趣区域和第二人脸感兴趣区域，如下给出两种可行的方式：

方式一：对彩色图像进行人脸识别，确定彩色图像中的人脸框的位置信息，确定人脸框包括的区域为彩色图像的第一人脸感兴趣区域；根据预设的RGB相机的内部参数和外部参数、IR相机的内部参数和外部参数以及人脸框的位置信息，确定红外图像的第二人脸感兴趣区域。

其中，RGB相机的内部参数(可以简称为内参)是与相机自身特性相关的参数，例如，RGB相机的焦距、主点的位置等，IR相机的内部参数(可以简称为内参)是与相机自身特性相关的参数，例如，IR相机的焦距、主点的位置等。RGB相机的外部参数(可以简称为外参)是在世界坐标系中的参数，例如，RGB相机的位置，旋转方向等，IR相机的外部参数(可以简称为外参)是在世界坐标系中的参数，例如，IR相机的位置，旋转方向等。这些参数可以提前存储在人脸识别设备中。

在实施中，人脸识别设备可以获取预设的彩色图像的人脸识别算法，将彩色图像，输入到人脸识别算法，得到输出结果为人脸框的位置信息，然后使用人脸框的位置信息，在彩色图像中，确定人脸框包括的区域，该区域即为第一人脸感兴趣区域。

然后人脸识别设备可以获取预设的RGB相机的内部参数和外部参数、IR相机的内部参数和外部参数，使用这些参数和人脸框的位置信息，将人脸框的位置信息转换到红外图像中，确定出红外图像中人脸框的位置信息，该人脸框包括的区域，即为红外图像中的第二人脸感兴趣区域。

可选的，可以使用双目视觉系统的原理，根据人脸框的位置信息，确定第二人脸感兴趣区域：

双目视觉系统中，基于视差，由三角法原理进行三维信息的获取，即由RGB相机和IR相机的像面、与被测物体之间构成一个三角形，依照RGB相机和IR相机之间的位置关系，便可以获取这两个相机的公共视场内物体的三维坐标。

如图3所示，为双目平视成像原理图，RGB相机和IR相机的投影中心(即主点)连线的距离，即基线距离B。RGB相机和IR相机在同一时刻观看时空物体的同一特征点P，分别在“左眼”和“右眼”上获取了点P的图像，他们的坐标分别为Pleft＝(X_left,Y_left)，Pright＝(X_right,Y_right)。假设RGB相机和IR相机的图像在同一平面上，则点P(x_c，y_c，z_c)的图像坐标的Y坐标一定是相同的，即Y_left＝Y_right＝Y。由三角几何关系可以得到如下关系式：

视差为Disparity＝X_left-X_right.由此可以计算出点P在RGB相机的坐标系下的三维坐标：

因此，RGB相机的像面上的任意一点只要能在IR相机的像面上找到对应的匹配点，就完全可以确定该点的三维坐标。这种方法是点对点的运算，像面上所有点只要存在相应的匹配点，就可以参与上述运算，从而获取对应的三维坐标。

在分析了最简单的平视双目视觉系统的三维测量原理基础上，如图4所示，假设RGB相机O-xyz位于世界坐标系原点，且没有发生旋转，图像坐标系为Ol-X1Y1，有效焦距为f₁，IR相机坐标系为Or-xyz，图像坐标系为Or-XrYr，有效焦距为f_r。那么根据相机的投射模型我们就能得到如下关系式：

因此O-xyz坐标系与Or-xyz坐标系之间的位置关系可通过空间转换矩阵MLr表示为：

在式(5)中，M_1r＝[R|T]。

同理，对于O-xyz坐标系中的空间点，RGB相机和IR相机像面点之间的对应关系可以表示为：

这样，空间点三维坐标可以表示为：

因此，只要我们通过计算机标定技术获得RGB相机的内部参数和外部参数，IR相机的内部参数和外部参数，就能够重构出被测点的三维空间坐标。

需要说明的是，上述f₁为RGB相机的焦距(也就是内部参数)，f_r为IR相机的焦距(也就是内部参数)。基于RGB相机和IR相机在世界坐标系中的参数(也就是外部参数)，即可确定出RGB相机和IR相机的相对位置关系，也就是他们的对应关系。

方式二：对彩色图像进行人脸识别，确定彩色图像中的人脸框的位置信息，确定人脸框包括的区域为彩色图像的第一人脸感兴趣区域，并对红外图像进行人脸识别，确定红外图像中的人脸框的位置信息，确定人脸框包括的区域为红外图像的第二人脸感兴趣区域。

在实施中，人脸识别设备可以获取预设的彩色图像的人脸识别算法，将彩色图像，输入到人脸识别算法，得到输出结果为人脸框的位置信息，然后使用人脸框的位置信息，在彩色图像中，确定人脸框包括的区域，该区域即为第一人脸感兴趣区域。并且人脸识别设备可以获取预设的红外图像的人脸识别算法，将红外图像，输入到红外图像的人脸识别算法，得到输出结果为人脸框的位置信息，然后使用人脸框的位置信息，在红外图像中，确定人脸框包括的区域，该区域即为第二人脸感兴趣区域。

需要说明的是，上述提到的彩色图像的人脸识别算法可以是基于深度学习的人脸检测算法，也可以是基于传统AdaBoost的人脸检测算法，还可以是二进小波变换的人脸检测算法。同样，上述提到的红外图像的人脸识别算法可以是基于深度学习的人脸检测算法，也可以是基于传统AdaBoost的人脸检测算法，还可以是二进小波变换的人脸检测算法。

另外，在红外图像的训练样本比较少时，训练出的针对红外图像的人脸识别算法不是特别准，这样，基于红外图像的人脸识别算法，识别红外图像中的人脸感兴趣区域时，会导致检测精度比较低，在这种情况下，可以采用方式一，根据彩色图像的人脸框位置信息，确定红外图像中第二人脸感兴趣区域，而且仅确定彩色图像中的人脸框的位置信息，而不需要确定红外图像中的人脸框的位置信息，可以提高运行效率，节约计算资源。在红外图像的训练样本足够多时，训练出的针对红外图像的人脸识别算法比较准，可以采用方式二。

可选的，在步骤202中，有多种方式可以提取视觉特征点，可以使用SIFT(Scale-invariant feature transform，尺度不变特征转换)算法、SURF(Speeded Up RobustFeatures，加速健壮特征)算法、ORB(Oriented FAST and Rotated BRIEF，快速特征点提取和描述)算法、BRIEF(特征描述子提取)算法、BRISK(Binary Robust Invariant ScalableKey points，二进制健壮的不变可伸缩关键点)算法中的任意一种。

此处以SURF算法为例，描述视觉特征点的提取过程：

首先对SURF算法的原理进行解释，SURF算法是在SIFT算法的基础上提出的，SURF算法借鉴了SIFT算法中简化近似的思想，把DoH中的高斯二阶微分模板进行了简化，使得模板对图像的滤波只需要进行几个简单的加减法运算，并且，这种运算与滤波器的尺度无关。实验证明，SURF算法较SIFT在运算速度上要快3倍左右。

在提取视觉特征点时，大致可以分为以下几个步骤：

步骤1，构建Hessian(黑塞)矩阵。

步骤2，构建尺度空间。

在步骤2中，图像的尺度空间是这幅图像在不同解析度下的表示，一幅图像在不同解析度下的表示，可以利用高斯核的卷积来实现，图像的尺度大小一般用高斯标准差来标识，在计算视觉特征点领域，尺度空间被象征性表述为一个图像金字塔，SURF算法允许尺度空间多层图像同时被处理。

步骤3，精确定位视觉特征点。

在步骤3中，所有小于预设机制的取值都被丢弃，增加极值使检测到的视觉特征点数目减少，最终只有几个视觉特征点会被检测出来，检测过程中使用与尺度层图像解析度相对应大小的滤波器进行检测，以3×3的滤波器为例，该尺度层图像中9个像素点之一，检测视觉特征点与自身尺度层中其余8个点和在其之上及之下的两个尺度层9个点进行比较，共26个点，如果某个像素点的灰度值大于周围像素点的灰度值，则可确定该像素点为该区域的视觉特征点。

通过上述3个步骤，即可使用SURF算法提取出视觉特征点，在后续进行视觉特征点匹配也是基于SURF算法进行说明。

步骤203，根据从第一人脸感兴趣区域中提取的视觉特征点和从第二人脸感兴趣区域中提取的视觉特征点，如果第一人脸感兴趣区域与第二人脸感兴趣区域满足单应性假设，则确定目标人脸为非活体人脸，如果第一人脸感兴趣区域与第二人脸感兴趣区域不满足单应性假设，则确定目标人脸为活体人脸。

在实施中，人脸识别设备提取出视觉特征点后，可以使用第一人脸感兴趣区域中提取的视觉特征点和从第二人脸感兴趣区域中提取的视觉特征点，判断第一人脸感兴趣区域与第二人脸感兴趣区域是否满足单应性假设，如果满足单应性假设，则可以确定目标人脸为非活体人脸，如果不满足单应性假设，则确定目标人脸为活体人脸，可以进行后续人脸识别。

可选的，可以使用第一人脸感兴趣区域和第二人脸感兴趣区域匹配的特征点对，判断第一人脸感兴趣区域与第二人脸感兴趣区域是否满足单应性假设，相应的步骤203的处理可以如下：

对从第一人脸感兴趣区域提取的视觉特征点和从第二人脸感兴趣区域提取的视觉特征点进行匹配，得到匹配的视觉特征点对。根据匹配的视觉特征点对，如果第一人脸感兴趣区域与第二人脸感兴趣区域满足单应性假设，则确定目标人脸为非活体人脸，如果第一人脸感兴趣区域与第二人脸感兴趣区域不满足单应性假设，则确定目标人脸为活体人脸。

其中，在计算机视觉中，平面的单应性假设被定义为一个平面到另一个平面的投影映射，即一个二维平面上的点映射到摄像机成像仪上的映射就是满足单应性假设的例子。

在实施中，人脸识别设备提取出视觉特征点后，如果是基于SIFT算法提取特征点，则继续基于SIFT算法，可以对从第一人脸感兴趣区域和第二人脸感兴趣区域提取的视觉特征点，进行匹配，得到匹配的视觉特征点对。如果是基于SURF算法提取特征点，则继续基于SURF算法，可以对从第一人脸感兴趣区域和第二人脸感兴趣区域提取的视觉特征点，进行匹配，得到匹配的视觉特征点对。

人脸识别设备确定出匹配的视觉特征点对后，可以使用该视觉特征点对，判断第一人脸感兴趣区域与第二人脸感兴趣区域是否满足单应性假设，如果满足单应性假设，则说明拍摄到的目标人脸为平面，说明目标人脸为非活体人脸，如果不满足单应性假设，则说明拍摄到的目标人脸为非平面，说明目标人脸为活体人脸。

可选的，可以使用匹配的视觉特征点对求出的单应性矩阵，来判断目标人脸是否是活体人脸，相应的步骤203的处理可以如下：

根据匹配的视觉特征点对，确定目标单应性矩阵，其中，在目标单应性矩阵下，第一人脸感兴趣区域与第二人脸感兴趣区域中匹配的视觉特征点对的数目最大；如果在目标单应性矩阵下，第一人脸感兴趣区域与第二人脸感兴趣区域中匹配的视觉特征点对的数目大于或等于预设数值，则第一人脸感兴趣区域与第二人脸感兴趣区域满足单应性假设，目标人脸为非活体人脸；如果在目标单应性矩阵下，第一人脸感兴趣区域与第二人脸感兴趣区域中匹配的视觉特征点对的数目小于预设数值，则第一人脸感兴趣区域与第二人脸感兴趣区域不满足单应性假设，目标人脸为活体人脸。

其中，单应性矩阵描述的是针对同一事物，在不同的视角下拍摄的两幅图像之间的关系，在本发明实施例中，也就是针对目标人脸，在RGB相机拍摄的彩色图像和IR相机下拍摄的红外图像之间的关系。预设数值可以由技术人员预设，并且存储至人脸识别设备中。

在实施中，人脸识别设备在获取到匹配的视觉特征点对后，假设彩色图像的第一人脸感兴趣区域和红外图像的第二人脸感兴趣区域之间是透视变换，则单应性矩阵也就是透视变换矩阵H，定义可以如下：

通过H有，

上述式(9)中(x¹，y¹，1)为第一人脸感兴趣区域中的视觉特征点，(x，y，1)为第二人脸感兴趣区域中的视觉特征点，在式(9)中，H有8个参数，如果要求出这8个参数，至少需要4对匹配的特征点对，过程可以如下：

这样，可以每次从所有的匹配的视觉特征点对中，选出4对，计算单应性矩阵H，然后使用每个单应性矩阵H去计算第一人脸感兴趣区域和第二人脸感兴趣区域中的所有匹配的视觉特征点对的数目，将计算得到数目最大的单应性矩阵，即为目标单应性矩阵。

如果在目标单应性矩阵下，第一人脸感兴趣区域与第二人脸感兴趣区域中匹配的视觉特征点对的数目大于或等于预设数值，则可以确定第一人脸感兴趣区域与第二人脸感兴趣区域满足单应性假设，说明拍摄到的目标人脸为平面，目标人脸为非活体人脸，如果在目标单应性矩阵下，第一人脸感兴趣区域与第二人脸感兴趣区域中匹配的视觉特征点对的数目小于预设数值，则第一人脸感兴趣区域与第二人脸感兴趣区域不满足单应性假设，说明拍摄到的目标人脸为非平面，目标人脸为活体人脸。

在后续，如果目标人脸为活体人脸，则将彩色图像中的目标人脸与预先存储的人脸图像进行匹配，如果匹配成功，则进行开门或打卡签到等处理。如果目标人脸为非活体人脸，则显示预设的提示信息。例如，如果是打卡签到，则显示打卡失败，如果是进入机密区域，则显示禁止通过。

需要说明的是，上述在使用单应性矩阵H，去计算第一人脸感兴趣区域和第二人脸感兴趣区域中的所有匹配的视觉特征点对的数目时，可以使用欧式距离和Hessian矩阵迹进行判断，也即，对于RGB图像的第一人脸感兴趣区域中的第一视觉特征点(第一视觉特征点为第一人脸感兴趣区域中的任一视觉特征点)，通过单应性矩阵H，将第一视觉特征点投影到IR图像上，计算投影点与IR图像中第二人脸感兴趣区域检测到的视觉特征点(在步骤203中，第一视觉特征点与该视觉特征点)之间的欧式距离(该距离可以称为是投影误差，单位是像素)，如果欧式距离小于预设阈值，则说明在该单应性矩阵H下，第一视觉特征点与第二人脸感兴趣区域中检测到的该视觉特征点匹配。如果在单应性矩阵H下，能匹配的视觉特征点对的数目足够多时，说明该单应性矩阵H比较好。

可选的，可以通过特征描述子，来获取到匹配的视觉特征点对，相应的步骤203的处理可以如下：

通过特征描述子，对从第一人脸感兴趣区域提取的视觉特征点和从第二人脸感兴趣区域提取的视觉特征点进行匹配，得到匹配的视觉特征点对。

在实施中，人脸识别设备基于SURF算法提取出视觉特征点后，可以在视觉特征点周围取一个4*4的矩形区域块，分成4*4的子区域，所取的矩形区域块方向是沿着视觉特征点的主方向，每个子区域统计25个像素点的水平方向和垂直方向的hear小波特征，这里的水平方向和垂直方向都是相对于主方向而言的，该hear小波特征为水平方向值之和、垂直方向值之和、水平方向绝对值之和以及垂直方向绝对值之和，将这4个值作为每个子区域的特征向量，所以一共有4*4*4＝64维向量作为SURF算法的特征描述子。

然后基于特征描述子，通过计算彩色图像和红外图像中的任意两个视觉特征点间的汉明距离来确定匹配度，即汉明距离越短，表示两个视觉特征点的匹配度越好(可以是汉明距离小于预设数值的两个视觉特征点，为匹配的特征点对)，另外，SURF算法中还加入了Hessian矩阵迹的判断，如果两个视觉特征点的矩阵迹正负号相同，则表示这两个视觉特征点具有相同方向上的对比度变化，如果两个视觉特征点的矩阵迹正负号不相同，则表示这两个视觉特征点的对比度变化方向是相反的，即使汉明距离为0，也可以直接排除。

通过上述处理，即可确定出彩色图像中第一人脸感兴趣区域和红外图像中第二人脸感兴趣区域中匹配的视觉特征点对。

另外，本发明实施例中，还提供了视觉特征点主方向分配的过程：统计视觉特征点圆形邻域内的hear小波特征，即在视觉特征点的圆形邻域内，统计60度扇形内所有点的水平、垂直hear小波特总和，然后扇形以0.2弧度大小的间隔进行旋转，并进行统计该区域内hear小波特征值后，最后将值最大的那个扇形的方向，作为该视觉特征点的主方向。

还需要说明的是，在本发明实施例中，由于仅使用RGB相机和IR组成双目视觉系统即可，而不需要其他需求，相机的硬件要求相对较低。

另外，如图5所示，为了方便理解，还提供了本发明实施例的执行流程图：

S1、对彩色图像进行人脸识别，确定出人脸框的位置信息，得到第一人脸感兴趣区域。

S2、根据人脸框的位置信息，确定红外图像中第二人脸感兴趣区域。

S3、分别从第一人脸感兴趣区域和第二人脸感兴趣区域中，提取视觉特征点。

S4、对从第一人脸感兴趣区域提取的视觉特征点和从第二人脸感兴趣区域提取的视觉特征点进行匹配，得到匹配的视觉特征点对。

S5、确定目标单应性矩阵。

S6、确定第一人脸感兴趣区域与第二人脸感兴趣区域是否满足单应性假设。

S7、如果满足，则人脸为非活体人脸。

S8、如果不满足，则人脸为活体人脸。

本发明实施例中，在进行人脸活体检测的过程中，RGB相机拍摄包含目标人脸的彩色图像，IR相机拍摄包含目标人脸的红外图像，然后在所述彩色图像的第一人脸感兴趣区域中提取视觉特征点，并在红外图像的第二人脸感兴趣区域中提取视觉特征点，根据提取出的视觉特征点，确定第一人脸感兴趣区域和第二人脸感兴趣区域是否满足单应性假设，如果第一人脸感兴趣区域与第二人脸感兴趣区域满足单应性假设，则确定目标人脸为非活体人脸，如果第一人脸感兴趣区域与第二人脸感兴趣区域不满足单应性假设，则确定目标人脸为活体人脸。这样，由于可以拍摄RGB图像和IR图像，然后使用提取出的视觉特征点，确定第一人脸感兴趣区域和第二人脸感兴趣区域是否满足单应性假设，进而确定是否是活体人脸，而不需要指示用户进行指定动作，不需要用户配合，所以即使进行人脸活体检测，所使用的时长也比较短，进而可以缩短人脸识别时长。

基于相同的技术构思，本发明实施例还提供了一种人脸活体检测的装置，所述装置应用于人脸识别设备，所述人脸识别设备包括红绿蓝RGB相机和红外IR相机，如图6所示，该装置包括：

获取模块610，用于在进行人脸活体检测过程中，获取所述RGB相机拍摄的包含所述目标人脸的彩色图像和所述IR相机拍摄的包含所述目标人脸的红外图像；

提取模块620，用于在所述彩色图像的第一人脸感兴趣区域中提取视觉特征点，并在所述红外图像的第二人脸感兴趣区域中提取视觉特征点；

确定模块630，用于根据从所述第一人脸感兴趣区域中提取的视觉特征点和从所述第二人脸感兴趣区域中提取的视觉特征点，如果所述第一人脸感兴趣区域与所述第二人脸R IO区域满足单应性假设，则确定所述目标人脸为非活体人脸，如果所述第一人脸感兴趣区域与所述第二人脸感兴趣区域不满足单应性假设，则确定所述目标人脸为活体人脸。

可选的，所述确定模块630，用于：

对从所述第一人脸感兴趣区域提取的视觉特征点和从所述第二人脸感兴趣区域提取的视觉特征点进行匹配，得到匹配的视觉特征点对；

根据所述匹配的视觉特征点对，如果所述第一人脸感兴趣区域与所述第二人脸感兴趣区域满足单应性假设，则确定所述目标人脸为非活体人脸，如果所述第一人脸感兴趣区域与所述第二人脸感兴趣区域不满足单应性假设，则确定所述目标人脸为活体人脸。

可选的，所述确定模块630，还用于：

对所述彩色图像进行人脸识别，确定所述彩色图像中的人脸框的位置信息，确定所述人脸框包括的区域为所述彩色图像的第一人脸感兴趣区域；

根据预设的RGB相机的内部参数和外部参数、IR相机的内部参数和外部参数以及所述人脸框的位置信息，确定所述红外图像的第二人脸感兴趣区域。

可选的，所述确定模块630，用于：

根据所述匹配的视觉特征点对，确定目标单应性矩阵，其中，在所述目标单应性矩阵下，所述第一人脸感兴趣区域与所述第二人脸感兴趣区域中匹配的视觉特征点对的数目最大；

如果在所述目标单应性矩阵下，所述第一人脸感兴趣区域与所述第二人脸感兴趣区域中匹配的视觉特征点对的数目大于或等于预设数值，则所述第一人脸感兴趣区域与所述第二人脸感兴趣区域满足单应性假设，所述目标人脸为非活体人脸；

如果在所述目标单应性矩阵下，所述第一人脸感兴趣区域与所述第二人脸感兴趣区域中匹配的视觉特征点对的数目小于预设数值，则所述第一人脸感兴趣区域与所述第二人脸感兴趣区域不满足单应性假设，所述目标人脸为活体人脸。

可选的，所述视觉特征点为纹理特征点。

可选的，所述确定模块630，用于：

通过特征描述子，对从所述第一人脸感兴趣区域提取的视觉特征点和从所述第二人脸感兴趣区域提取的视觉特征点进行匹配，得到匹配的视觉特征点对。

本发明实施例中，在进行人脸活体检测的过程中，RGB相机拍摄包含目标人脸的彩色图像，IR相机拍摄包含目标人脸的红外图像，然后在所述彩色图像的第一人脸感兴趣区域中提取视觉特征点，并在红外图像的第二人脸感兴趣区域中提取视觉特征点，根据提取出的视觉特征点，确定第一人脸感兴趣区域和第二人脸感兴趣区域是否满足单应性假设，如果第一人脸感兴趣区域与第二人脸感兴趣区域满足单应性假设，则确定目标人脸为非活体人脸，如果第一人脸感兴趣区域与第二人脸感兴趣区域不满足单应性假设，则确定目标人脸为活体人脸。这样，由于可以拍摄RGB图像和IR图像，然后使用提取出的视觉特征点，确定第一人脸感兴趣区域和第二人脸感兴趣区域是否满足单应性假设，进而确定是否是活体人脸，而不需要指示用户进行指定动作，不需要用户配合，所以即使进行人脸活体检测，所使用的时长也比较短，进而可以缩短人脸识别时长。

需要说明的是：上述实施例提供的人脸活体检测的装置在进行人脸活体检测时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的人脸活体检测的装置与人脸活体检测的方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

图7是本发明实施例提供的一种人脸识别设备的结构示意图，该人脸识别设备700可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(centralprocessing units，CPU)701和一个或一个以上的存储器702，其中，所述存储器702中存储有至少一条指令，所述至少一条指令由所述处理器701加载并执行以实现上述进行人脸活体检测的步骤的处理。

本申请还提供了一种计算机可读存储介质，所述存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述人脸活体检测的方法步骤。

本申请还提供了一种人脸识别设备，包括处理器和存储器，其中，所述存储器，用于存放计算机程序；所述处理器，用于执行所述存储器上所存放的程序，实现上述人脸活体检测的方法步骤。

本申请还提供了一种人脸识别设备，所述人脸识别设备包括RGB相机、IR相机、处理器和存储器，其中：

所述RGB相机用于拍摄彩色图像，所述IR相机用于拍摄红外图像；

所述处理器通过执行存储在所述存储器内的代码实现上述人脸活体检测的方法步骤。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种人脸活体检测的方法，其特征在于，所述方法包括：

获取红绿蓝RGB相机拍摄的包含目标人脸的彩色图像和红外IR相机拍摄的包含所述目标人脸的红外图像，其中，所述RGB相机和所述IR相机满足双目视觉系统；

将所述彩色图像输入到彩色图像的人脸识别算法，得到所述彩色图像的人脸框的位置信息，基于所述彩色图像的人脸框的位置信息，将所述彩色图像的人脸框包括的区域确定为第一人脸感兴趣区域；

在红外图像的训练样本的数量少于阈值时，根据预设的RGB相机的内部参数和外部参数、IR相机的内部参数和外部参数以及所述彩色图像的人脸框的位置信息，确定所述红外图像的第二人脸感兴趣区域；

在红外图像的训练样本的数量大于或等于所述阈值时，将所述红外图像输入到红外图像的人脸识别算法，得到所述红外图像的人脸框的位置信息，基于所述红外图像的人脸框的位置信息，将所述红外图像的人脸框包括的区域确定为所述第二人脸感兴趣区域；

在所述第一人脸感兴趣区域中提取视觉特征点，并在所述第二人脸感兴趣区域中提取视觉特征点；

根据从所述第一人脸感兴趣区域中提取的视觉特征点和从所述第二人脸感兴趣区域中提取的视觉特征点，如果所述第一人脸感兴趣区域与所述第二人脸感兴趣区域满足单应性假设，则确定所述目标人脸为非活体人脸，如果所述第一人脸感兴趣区域与所述第二人脸感兴趣区域不满足单应性假设，则确定所述目标人脸为活体人脸。

2.根据权利要求1所述的方法，其特征在于，所述根据从所述第一人脸感兴趣区域中提取的视觉特征点和从所述第二人脸感兴趣区域中提取的视觉特征点，如果所述第一人脸感兴趣区域与所述第二人脸感兴趣区域满足单应性假设，则确定所述目标人脸为非活体人脸，如果所述第一人脸感兴趣区域与所述第二人脸感兴趣区域不满足单应性假设，则确定所述目标人脸为活体人脸，包括：

对从所述第一人脸感兴趣区域提取的视觉特征点和从所述第二人脸感兴趣区域提取的视觉特征点进行匹配，得到匹配的视觉特征点对；

根据所述匹配的视觉特征点对，如果所述第一人脸感兴趣区域与所述第二人脸感兴趣区域满足单应性假设，则确定所述目标人脸为非活体人脸，如果所述第一人脸感兴趣区域与所述第二人脸感兴趣区域不满足单应性假设，则确定所述目标人脸为活体人脸。

3.根据权利要求2所述的方法，其特征在于，所述根据所述匹配的视觉特征点对，如果所述第一人脸感兴趣区域与所述第二人脸感兴趣区域满足单应性假设，则确定所述目标人脸为非活体人脸，如果所述第一人脸感兴趣区域与所述第二人脸感兴趣区域不满足单应性假设，则确定所述目标人脸为活体人脸，包括：

根据所述匹配的视觉特征点对，确定目标单应性矩阵，其中，在所述目标单应性矩阵下，所述第一人脸感兴趣区域与所述第二人脸感兴趣区域中匹配的视觉特征点对的数目最大；

如果在所述目标单应性矩阵下，所述第一人脸感兴趣区域与所述第二人脸感兴趣区域中匹配的视觉特征点对的数目大于或等于预设数值，则所述第一人脸感兴趣区域与所述第二人脸感兴趣区域满足单应性假设，确定所述目标人脸为非活体人脸；

如果在所述目标单应性矩阵下，所述第一人脸感兴趣区域与所述第二人脸感兴趣区域中匹配的视觉特征点对的数目小于预设数值，则所述第一人脸感兴趣区域与所述第二人脸感兴趣区域不满足单应性假设，确定所述目标人脸为活体人脸。

4.根据权利要求1或2所述的方法，其特征在于，所述视觉特征点为纹理特征点。

5.根据权利要求2所述的方法，其特征在于，所述对从所述第一人脸感兴趣区域提取的视觉特征点和从所述第二人脸感兴趣区域提取的视觉特征点进行匹配，得到匹配的视觉特征点对，包括：

通过特征描述子，对从所述第一人脸感兴趣区域提取的视觉特征点和从所述第二人脸感兴趣区域提取的视觉特征点进行匹配，得到匹配的视觉特征点对。

6.一种人脸活体检测的装置，其特征在于，所述装置包括：

获取模块，用于获取红绿蓝RGB相机拍摄的包含目标人脸的彩色图像和红外IR相机拍摄的包含所述目标人脸的红外图像，其中，所述RGB相机和所述IR相机满足双目视觉系统；

识别模块，用于：

将所述彩色图像输入到彩色图像的人脸识别算法，得到所述彩色图像的人脸框的位置信息，基于所述彩色图像的人脸框的位置信息，将所述彩色图像的人脸框包括的区域确定为第一人脸感兴趣区域；

在红外图像的训练样本的数量少于阈值时，根据预设的RGB相机的内部参数和外部参数、IR相机的内部参数和外部参数以及所述彩色图像的人脸框的位置信息，确定所述红外图像的第二人脸感兴趣区域；

在红外图像的训练样本的数量大于或等于所述阈值时，将所述红外图像输入到红外图像的人脸识别算法，得到所述红外图像的人脸框的位置信息，基于所述红外图像的人脸框的位置信息，将所述红外图像的人脸框包括的区域确定为所述第二人脸感兴趣区域；

提取模块，用于在所述第一人脸感兴趣区域中提取视觉特征点，并在所述第二人脸感兴趣区域中提取视觉特征点；

确定模块，用于根据从所述第一人脸感兴趣区域中提取的视觉特征点和从所述第二人脸感兴趣区域中提取的视觉特征点，如果所述第一人脸感兴趣区域与所述第二人脸感兴趣区域满足单应性假设，则确定所述目标人脸为非活体人脸，如果所述第一人脸感兴趣区域与所述第二人脸感兴趣区域不满足单应性假设，则确定所述目标人脸为活体人脸。

7.根据权利要求6所述的装置，其特征在于，所述确定模块，用于：

对从所述第一人脸感兴趣区域提取的视觉特征点和从所述第二人脸感兴趣区域提取的视觉特征点进行匹配，得到匹配的视觉特征点对；

根据所述匹配的视觉特征点对，如果所述第一人脸感兴趣区域与所述第二人脸感兴趣区域满足单应性假设，则确定所述目标人脸为非活体人脸，如果所述第一人脸感兴趣区域与所述第二人脸感兴趣区域不满足单应性假设，则确定所述目标人脸为活体人脸。

8.根据权利要求7所述的装置，其特征在于，所述确定模块，用于：

根据所述匹配的视觉特征点对，确定目标单应性矩阵，其中，在所述目标单应性矩阵下，所述第一人脸感兴趣区域与所述第二人脸感兴趣区域中匹配的视觉特征点对的数目最大；

如果在所述目标单应性矩阵下，所述第一人脸感兴趣区域与所述第二人脸感兴趣区域中匹配的视觉特征点对的数目大于或等于预设数值，则所述第一人脸感兴趣区域与所述第二人脸感兴趣区域满足单应性假设，所述目标人脸为非活体人脸；

如果在所述目标单应性矩阵下，所述第一人脸感兴趣区域与所述第二人脸感兴趣区域中匹配的视觉特征点对的数目小于预设数值，则所述第一人脸感兴趣区域与所述第二人脸感兴趣区域不满足单应性假设，所述目标人脸为活体人脸。

9.根据权利要求7所述的装置，其特征在于，所述确定模块，用于：

通过特征描述子，对从所述第一人脸感兴趣区域提取的视觉特征点和从所述第二人脸感兴趣区域提取的视觉特征点进行匹配，得到匹配的视觉特征点对。

10.一种人脸识别设备，其特征在于，所述人脸识别设备包括红绿蓝RGB相机、红外IR相机、处理器和存储器，其中：

所述RGB相机用于拍摄彩色图像，所述IR相机用于拍摄红外图像；

所述处理器通过执行存储在所述存储器内的代码实现上述权利要求1至权利要求5任一所述的人脸活体检测的方法。