CN111062362B - 人脸活体检测模型、方法、装置、设备及存储介质 - Google Patents

Abstract

本发明公开了一种人脸活体检测模型、方法、装置、设备及存储介质，该模型包括：依次连接的批量归一化层、第一卷积层、最大池化层、网络主体模块以及全连接层，网络主体模块用于根据最大池化层的输出特征图，确定最大池化层的输出特征图的浅层特征和深层特征，并将浅层特征以及深层特征进行结合，将结合后的特征图输出至全连接层，全连接层用于根据结合后的特征图，确定输入批量归一化层的待检测人脸的图像中的待检测人脸是否为活体人脸。一方面，该模型为基于卷积网络的模型，在训练时，不需要存储大量数据，降低了对硬件的依赖该模型；另一方面，在进行检测时，相当于结合待检测人脸的图像的深层特征以及浅层特征进行检测，提高了检测精度。

Description

人脸活体检测模型、方法、装置、设备及存储介质

技术领域

本发明实施例涉及人脸检测领域，尤其涉及一种人脸活体检测模型、方法、装置、设备及存储介质。

背景技术

目前基于动态视频的人脸检测、热红外、深度图像、三维(3Dimensions，3D)人脸等人脸活体检测方法可广泛应用于手机人脸解锁、人脸考勤等领域。其中，依靠给用户下发动作指令，根据用户的反馈确定检测结果的交互式动作活体检测方法虽然准确率几乎高达100％，但是耗时长，用户体验不佳；热红外活体检测依赖于红外相机，主要是基于光流法实现，不需要动作指令实现，耗时相较于指令检测较快；深度图像以及3D人脸活体检测均需要特殊摄像头，如双摄、3D结构光。由于交互式动作活体检测方法存在用户体验不佳的问题，热红外活体检测、深度图像以及3D人脸活体检测需要依赖于特殊摄像头，成本较高，因此，目前提出了依靠普通单摄相机的人脸活体检测方法。

目前，可以基于传统机器学习方法对普通单摄相机采集的图像进行人脸活体检测：提取图像不同颜色空间的加速稳健特征(Speeded Up Robust Features，SURF)并送入支持向量机(Support Vector Machine,SVM)分类。该方法较为广泛地应用于人脸打卡机等设备，精确率可以达到90％左右。

但是，上述方法中，SURF占内存很大，大的训练集需要依赖硬件。

发明内容

本发明提供一种人脸活体检测模型、方法、装置、设备及存储介质，以解决目前训练SVM时对硬件依赖较高的技术问题。

第一方面，本发明实施例提供一种人脸活体检测模型，包括：依次连接的批量归一化层、第一卷积层、最大池化层、网络主体模块以及全连接层；

其中，所述网络主体模块用于根据所述最大池化层的输出特征图，确定所述最大池化层的输出特征图的浅层特征和深层特征，并将所述浅层特征以及所述深层特征进行结合，将结合后的特征图输出至所述全连接层；

所述全连接层用于根据所述结合后的特征图，确定输入所述批量归一化层的待检测人脸的图像中的待检测人脸是否为活体人脸。

如上所示的模型中，所述网络主体模块包括多个特征结合网络；

每个所述特征结合网络包括：第一分支单元、第二分支单元以及结合单元；所述第一分支单元的输出端与所述第二分支单元的输出端均与所述结合单元的输入端连接；

当所述特征结合网络为最靠前的第一特征结合网络时，所述第一特征结合网络的第一分支单元的输入端以及第二分支单元的输入端与所述最大池化层的输出端连接，所述第一特征结合网络的结合单元的输出端与下一个特征结合网络的第一分支单元的输入端以及第二分支单元的输入端连接；所述第一特征结合网络的第一分支单元用于确定所述最大池化层的输出特征图的深层特征，所述第一特征结合网络的第二分支单元用于确定所述最大池化层的输出特征图的浅层特征，所述第一特征结合网络的结合单元用于对所述最大池化层的输出特征图的深层特征以及所述最大池化层的输出特征图的浅层特征进行结合；

当所述特征结合网络为位于中间的第二特征结合网络时，所述第二特征结合网络的结合单元的输出端与下一个特征结合网络的第一分支单元的输入端以及第二分支单元的输入端连接；

当所述特征结合网络为最后的第三特征结合网络时，所述第三特征结合网络的结合单元的输出端与所述全连接层的输入连接；

所述第二特征结合网络以及所述第三特征结合网络的第一分支单元用于确定上一个特征结合网络输出的结合后的特征图的深层特征，所述第二特征结合网络以及所述第三特征结合网络的第二分支单元用于确定上一个特征结合网络输出的结合后的特征图的浅层特征，所述第二特征结合网络以及所述第三特征结合网络的结合单元用于对上一个特征结合网络输出的结合后的特征图的深层特征以及上一个特征结合网络输出的结合后的特征图的浅层特征进行结合。

如上所示的模型中，所述第一分支单元包括：依次连接的第一卷积子单元、第一自适应池化层、第二卷积子单元以及第一激活函数层；

所述第二分支单元包括：第三卷积子单元；其中，所述第一卷积子单元及所述第二卷积子单元中包括的卷积层的数量之和大于所述第三卷积子单元包括的卷积层的数量；

所述结合单元包括：依次连接的第四卷积子单元、第二自适应池化层、第五卷积子单元以及第二激活函数层；

第一激活函数层的输出端以及所述第三卷积子单元的输出端均与所述第四卷积子单元的输入端连接；

所述第一特征结合网络的第一卷积子单元的输入端以及第三卷积子单元的输入端与所述最大池化层的输出端连接，所述第一特征结合网络的第二激活函数层的输出端与下一个特征结合网络的第一卷积子单元以及第三卷积子单元的输入端连接；

所述第二特征结合网络的第二激活函数层的输出端与下一个特征结合网络的第一卷积子单元以及第三卷积子单元的输入端连接；

所述第三特征结合网络的第二激活函数层的输出端与所述全连接层的输入端连接。

如上所示的模型中，所述第一卷积子单元包括：依次连接的第二卷积层、第三卷积层以及第四卷积层；

所述第二卷积子单元包括：依次连接的第五卷积层以及第六卷积层；

所述第三卷积子单元包括：第七卷积层；

所述第四卷积子单元包括：依次连接的第八卷积层、第九卷积层以及第十卷积层；

所述五卷积子单元包括：依次连接的第十一卷积层以及第十二卷积层。

如上所示的模型中，所述网络主体模块包括3个特征结合网络。

如上所示的模型中，所述第一激活函数层以及所述第二激活函数层的激活函数均为Sigmoid函数。

如上所示的模型中，所述第一卷积层、所述第二卷积层、所述第三卷积层、所述第四卷积层、所述第七卷积层、所述第八卷积层、所述第九卷积层以及所述第十卷积层中均包括批量归一化子层。

第二方面，本发明实施例提供一种人脸活体检测方法，该方法应用于第一方面提供的人脸活体检测模型中，该方法包括：

采集待检测人脸的图像；

将所述待检测人脸的图像输入至所述人脸活体检测模型，确定所述待检测人脸是否为活体人脸。

如上所示的方法中，所述人脸活体检测模型的生成方式包括：

获取训练集中的训练图像以及所述训练图像的实际结果；

将所述训练图像输入初始人脸活体检测模型中，获取输出结果；其中，所述输出结果包括：活体人脸或者非活体人脸；

根据所述输出结果以及对应的训练图像的实际结果，确定损失函数；

当所述损失函数大于预设阈值时，根据梯度下降算法以及所述损失函数，调整所述初始人脸活体检测模型的网络结构以及网络参数，确定更新后的人脸活体检测模型，将所述更新后的人脸活体检测模型作为所述初始人脸活体检测模型，返回执行将所述训练图像输入初始人脸活体检测模型中，获取输出结果的步骤，直至所述损失函数小于或者等于所述预设阈值，将所述损失函数小于或者等于所述阈值时的人脸活体检测模型确定为所述人脸活体检测模型。

如上所示的方法中，所述获取训练集中的训练图像，包括：

采集带有人脸的初始图像；其中，所述初始图像中人脸的面积占所述初始图像面积的比值大于预设比值；

从所述初始图像中截取所述人脸所在的位置，获取截取图像；

将所述截取图像的尺寸设置为预设尺寸，将设置尺寸后的截取图像确定为所述训练图像。

如上所示的方法中，所述将所述截取图像的尺寸设置为预设尺寸，将设置尺寸后的截取图像确定为所述训练图像，包括：

对所述设置尺寸后的截取图像进行预处理，将预处理后的图像确定为所述训练图像；其中，所述预处理包括以下至少一项：随机裁剪、随机旋转以及随机镜像。

如上所示的方法中，所述将所述待检测人脸的图像输入至所述人脸活体检测模型，确定所述待检测人脸是否为活体人脸，包括：

从所述待检测人脸的图像中截取所述待检测人脸所在的位置，获取待检测人脸的截取图像；

将所述待检测人脸的截取图像设置为所述预设尺寸，将设置尺寸后的待检测人脸的截取图像输入所述人脸活体检测模型；

根据所述人脸活体检测模型的输出结果，确定所述待检测人脸是否为活体人脸。

第三方面，本发明实施例提供一种人脸活体检测装置，包括：

第一采集模块，用于采集待检测人脸的图像；

第一确定模块，用于将所述待检测人脸的图像输入至人脸活体检测模型，确定所述待检测人脸是否为活体人脸。

第四方面，本发明实施例还提供了一种计算机设备，所述计算机设备包括：

一个或多个处理器；

存储器，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第二方面提供的人脸活体检测方法。

第五方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第二方面提供的人脸活体检测方法。

本实施例提供一种人脸活体检测模型、方法、装置、设备及存储介质，该模型包括：依次连接的批量归一化层、第一卷积层、最大池化层、网络主体模块以及全连接层，网络主体模块用于根据最大池化层的输出特征图，确定最大池化层的输出特征图的浅层特征和深层特征，并将浅层特征以及深层特征进行结合，将结合后的特征图输出至全连接层，全连接层用于根据结合后的特征图，确定输入批量归一化层的待检测人脸的图像中的待检测人脸是否为活体人脸。其具有以下技术效果：一方面，该模型为基于卷积网络的模型，相较于传统机器学习方法，在训练该模型时，不需要存储大量数据，降低了对硬件的依赖；另一方面，网络主体模块可以结合最大池化层的输出特征图的浅层特征以及深层特征，输出结合后的特征图，也即，在进行人脸活体检测时，相当于结合待检测人脸的图像的深层特征以及浅层特征进行检测，提高了检测精度。

附图说明

图1为本发明提供的人脸活体检测模型实施例的结构示意图；

图2A为本发明提供的人脸活体检测模型中网络主体模块的一种实现方式的结构示意图；

图2B为本发明提供的人脸活体检测模型中网络主体模块的另一种实现方式的结构示意图；

图2C为本发明提供的人脸活体检测模型中网络主体模块的又一种实现方式的结构示意图；

图3为本发明提供的人脸活体检测方法的应用场景的示意图；

图4为本发明一个实施例提供的人脸活体检测方法的流程示意图；

图5为本发明另一个实施例提供的人脸活体检测方法的流程示意图；

图6为本发明一个实施例提供的人脸活体检测装置的结构示意图；

图7为本发明另一个实施例提供的人脸活体检测装置的结构示意图；

图8为本发明一个实施例提供的计算机设备的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

图1为本发明提供的人脸活体检测模型实施例的结构示意图。如图1所示，本实施例提供的人脸活体检测模型包括：依次连接的批量归一化层、第一卷积层、最大池化层、网络主体模块以及全连接层。

其中，网络主体模块用于根据最大池化层的输出特征图，确定最大池化层的输出特征图的浅层特征和深层特征，并将浅层特征以及深层特征进行结合，将结合后的特征图输出至全连接层。

全连接层用于根据结合后的特征图，确定输入批量归一化层的图像中的待检测人脸是否为活体人脸。

具体地，本实施例中的批量归一化层接收待检测人脸的图像，对该图像进行批量归一化处理后，将处理后的图像输出至第一卷积层。第一卷积层提取处理后的图像中的特征，将提取出的特征图像输出至最大池化层。最大池化层对第一卷积层输出的特征图像进行最大池化，以对第一卷积层输出的特征图像进行降维处理，形成输出特征图。

本实施例中的网络主体模块可以基于最大池化层的输出特征图，既确定出该输出特征图中的浅层特征，又确定出该输出特征图中的深层特征，之后，再将浅层特征和深层特征进行结合，将结合后的特征图输出至全连接层。本实施例中的浅层特征指的是将输出特征图输入第一数量的卷积层后获取到的特征，深层特征指的是将输出特征图输入第二数量的卷积层后获取到的特征，其中，第一数量小于第二数量。

本实施例中的全连接层根据结合后的特征图，确定输入该模型的待检测人脸的图像中的待检测人脸是否为活体人脸。本实施例中的活体人脸指的是具有真实生理特征的人的脸，非活体人脸指的是通过照片、换脸、面具、遮挡以及屏幕翻拍等手段得到的人脸。

本实施例提供的网络主体模块可以结合最大池化层的输出特征图的浅层特征以及深层特征，输出结合后的特征图，也即，在进行人脸活体检测时，相当于结合待检测人脸的图像的深层特征以及浅层特征进行检测，一方面，提高了检测精度，另一方面，相较于传统机器学习方法，在训练该模型时，不需要存储大量数据，降低了对硬件的依赖。

图2A为本发明提供的人脸活体检测模型中网络主体模块的一种实现方式的结构示意图。可选地，如图2A所示，网络主体模块包括多个特征结合网络。每个特征结合网络包括：第一分支单元、第二分支单元以及结合单元。第一分支单元的输出端与第二分支单元的输出端均与结合单元的输入端连接。

当特征结合网络为最靠前的第一特征结合网络时，第一特征结合网络的第一分支单元的输入端以及第二分支单元的输入端与最大池化层的输出端连接。第一特征结合网络的结合单元的输出端与下一个特征结合网络的第一分支单元的输入端以及第二分支单元的输入端连接。

第一特征结合网络的第一分支单元用于确定最大池化层的输出特征图的深层特征。第一特征结合网络的第二分支单元用于确定最大池化层的输出特征图的浅层特征。第一特征结合网络的结合单元用于对最大池化层的输出特征图的深层特征以及最大池化层的输出特征图的浅层特征进行结合。

当特征结合网络为位于中间的第二特征结合网络时，第二特征结合网络的结合单元的输出端与下一个特征结合网络的第一分支单元的输入端以及第二分支单元的输入端连接。

当特征结合网络为最后的第三特征结合网络时，第三特征结合网络的结合单元的输出端与全连接层的输入连接。

第二特征结合网络以及第三特征结合网络的第一分支单元用于确定上一个特征结合网络输出的结合后的特征图的深层特征。第二特征结合网络以及第三特征结合网络的第二分支单元用于确定上一个特征结合网络输出的结合后的特征图的浅层特征。第二特征结合网络以及第三特征结合网络的结合单元用于对上一个特征结合网络输出的结合后的特征图的深层特征以及上一个特征结合网络输出的结合后的特征图的浅层特征进行结合。

可选地，网络主体模块包括3个特征结合网络。设置3个特征结合网络的目的在于既可以使该人脸活体检测模型达到较高的检测精度，又可以有较高的检测速度，达到检测精度和检测速度的平衡。当然，特征结合网络设置的越多，本实施例提供的人脸活体检测模型的精度就越高。

图2B为本发明提供的人脸活体检测模型中网络主体模块的另一种实现方式的结构示意图。如图2B所示，该实现方式中，第一分支单元包括：依次连接的第一卷积子单元、第一自适应池化层、第二卷积子单元以及第一激活函数层。

第二分支单元包括：第三卷积子单元。

其中，第一卷积子单元及第二卷积子单元中包括的卷积层的数量之和大于第三卷积子单元包括的卷积层的数量，以实现第一分支单元输出深层特征，第二分支单元输出浅层特征。

结合单元包括：依次连接的第四卷积子单元、第二自适应池化层、第五卷积子单元以及第二激活函数层。

第一激活函数层的输出端以及第三卷积子单元的输出端均与第四卷积子单元的输入端连接。

第一特征结合网络的第一卷积子单元的输入端以及第三卷积子单元的输入端与最大池化层的输出端连接，第一特征结合网络的第二激活函数层的输出端与下一个特征结合网络的第一卷积子单元以及第三卷积子单元的输入端连接。

第二特征结合网络的第二激活函数层的输出端与下一个特征结合网络的第一卷积子单元以及第三卷积子单元的输入端连接。

第三特征结合网络的第二激活函数层的输出端与全连接层的输入端连接。

更具体地，第一卷积子单元可以包括：依次连接的第二卷积层、第三卷积层以及第四卷积层。第二卷积子单元包括：依次连接的第五卷积层以及第六卷积层。第三卷积子单元包括：第七卷积层。第四卷积子单元包括：依次连接的第八卷积层、第九卷积层以及第十卷积层。五卷积子单元包括：依次连接的第十一卷积层以及第十二卷积层。

图2C为本发明提供的人脸活体检测模型中网络主体模块的又一种实现方式的结构示意图。更进一步地，如图2C所示，特征结合网络的第一分支单元包括：依次连接的第二卷积层、第三卷积层、第四卷积层、第一自适应池化层、第五卷积层、第六卷积层以及第一激活函数层。特征结合网络的第二分支单元包括第七卷积层。特征结合网络的结合单元包括：依次连接的第八卷积层、第九卷积层、第十卷积层、第二自适应池化层、第十一卷积层、第十二卷积层以及第二激活函数层。

第一激活函数层的输出端以及第七卷积层的输出端均与第八卷积层的输入端连接。

第一特征结合网络的第二卷积层的输入端以及第七卷积层的输入端与最大池化层的输出端连接，第一特征结合网络的第二激活函数层的输出端与下一个特征结合网络的第二卷积层以及第七卷积层的输入端连接。

第二特征结合网络的第二激活函数层的输出端与下一个特征结合网络的第二卷积层以及第七卷积层的输入端连接。

第三特征结合网络的第二激活函数层的输出端与全连接层的输入端连接。

示例性地，第一激活函数层以及所述第二激活函数层的激活函数可以为Sigmoid函数、Relu函数、Leaky ReLU函数、Tanh函数、softmax函数中的一种或多种组合。可选地，第一激活函数层以及所述第二激活函数层的激活函数可以为Sigmoid函数。

可选地，第一卷积层、第二卷积层、第三卷积层、第四卷积层、第七卷积层、第八卷积层、第九卷积层以及第十卷积层中均包括批量归一化子层。在模型中多次运用批量归一化子层，可以大幅度提高训练速度，实现改进整个模型的梯度流。

更具体地，第一卷积层、第二卷积层、第三卷积层、第八卷积层以及第九卷积层还包括激活函数子层。激活函数子层中的激活函数可以是上述激活函数中的一种或多种组合。可选地，激活函数子层中的激活函数可以为Relu函数。

可选地，第五卷积层以及第十卷积层也包括激活函数子层。激活函数子层中的激活函数具体可以为Relu函数。

如果将本实施例提供的人脸活体检测模型移植到安卓操作系统的设备中，还可以使用基于数据流编程的符号数学系统，例如，tensorflow精简版(tensorflow Lite，tflite)等方法对该模型进行格式转换，以使该模型的检测速度加快。

使用本实施例提供的人脸活体检测模型进行检测测试，证明该模型在Inteli7-7800XCPU中识别速度达70ms，识别精度在97％左右。

本实施例提供的人脸活体检测模型，包括：依次连接的批量归一化层、第一卷积层、最大池化层、网络主体模块以及全连接层，网络主体模块用于根据最大池化层的输出特征图，确定最大池化层的输出特征图的浅层特征和深层特征，并将浅层特征以及深层特征进行结合，将结合后的特征图输出至全连接层，全连接层用于根据结合后的特征图，确定输入批量归一化层的待检测人脸的图像中的待检测人脸是否为活体人脸。其具有以下技术效果：一方面，该模型为基于卷积网络的模型，相较于传统机器学习方法，在训练该模型时，不需要存储大量数据，降低了对硬件的依赖；另一方面，网络主体模块可以结合最大池化层的输出特征图的浅层特征以及深层特征，输出结合后的特征图，也即，在进行人脸活体检测时，相当于结合待检测人脸的图像的深层特征以及浅层特征进行检测，提高了检测精度。

图3为本发明提供的人脸活体检测方法的应用场景的示意图。如图3所示，本实施例提供的人脸活体检测方法可以应用于包括图像采集设备31、终端设备32以及服务器33的系统中。这里的图像采集设备31可以为单摄相机。终端设备32可以为手机、考勤打卡机等设备。

图像采集设备31与终端设备32连接。终端设备32与服务器33连接。在实际应用中，图像采集设备31和终端设备32也可以集成在一起。图像采集设备31用来采集待检测人脸的图像。终端设备32可以将待检测人脸的图像输入至人脸活体检测模型，确定待检测人脸是否为活体人脸。

一种场景中，终端设备32中已经预置有该人脸活体检测模型。在该场景中，终端设备32接收到图像采集设备31发送的待检测人脸的图像后，就可以将该待检测人脸的图像输入至该人脸活体检测模型，进行检测。

另一种场景中，终端设备32中没有预置该人脸活体检测模型。在该场景中，终端设备32可以从服务器33中下载该人脸活体检测模型。在接收到图像采集设备31发送的待检测人脸的图像后，将该待检测人脸的图像输入至该人脸活体检测模型，进行检测。

图4为本发明一个实施例提供的人脸活体检测方法的流程示意图。本实施例适用于对采集到的图像中的人脸进行活体检测的场景。本实施例可以由人脸活体检测装置来执行，该人脸活体检测装置可以由软件和/或硬件的方式实现，该人脸活体检测装置可以集成于计算机设备中，也可以集成于手机、考勤打卡机中等需要进行人脸活体检测的终端中。如图4所示，本实施例提供的人脸活体检测方法包括如下步骤：

步骤401：采集待检测人脸的图像。

步骤402：将待检测人脸的图像输入至人脸活体检测模型，确定待检测人脸是否为活体人脸。

本实施例中的待检测人脸的图像可以为普通单摄相机采集到的图像。该普通单摄相机可以集成在人脸活体检测装置中，也可以独立于该人脸活体检测装置。本实施例中的人脸活体检测模型为图1-图2C所示实施例及各种可选的实现方式中的人脸活体检测模型。

将待检测人脸的图像输入人脸活体检测模型中，该人脸活体检测模型即可以输出图像中的待检测人脸是否为活体人脸的检测结果。

基于对人脸活体检测模型的描述，可知，本实施例提供的人脸活体检测方法可以对结合待检测人脸的图像的深层特征以及浅层特征进行检测，一方面，提高了检测精度，另一方面，相较于传统机器学习方法，在训练该模型时，不需要存储大量数据，降低了对硬件的依赖。

图5为本发明另一个实施例提供的人脸活体检测方法的流程示意图。本实施例在图4所示实施例的基础上，对如何训练该人脸活体检测模型的步骤作一详细说明。如图5所示，本实施例提供的人脸活体检测方法包括如下步骤：

步骤501：获取训练集中的训练图像以及训练图像的实际结果。

步骤502：将训练图像输入初始人脸活体检测模型中，获取输出结果。

其中，输出结果包括：活体人脸或者非活体人脸。

具体地，步骤501中，准备数据集的过程可以为：采集带有人脸的初始图像；从初始图像中截取人脸所在的位置，获取截取图像；将截取图像的尺寸设置为预设尺寸，将设置尺寸后的截取图像确定为训练图像。其中，初始图像中人脸的面积占初始图像面积的比值大于预设比值。训练图像的实际结果指的是训练图像中的人脸为活体人脸还是非活体人脸的结果。

初始图像可以为在不同光照、不同环境中采集到的不同人脸的照片。更进一步地，这些初始图像中还包括根据现实中常用的假人脸攻击手段对真实人脸进行翻拍得到假人脸图像。可选地，本实施例中，获取到12万张图片用作训练、测试使用。

将数据集中所有的图像按照8:2的比例分为训练集和测试集。

在采集到初始图像后，从初始图像中截取人脸所在位置时，可以是将人脸区域的最小外接矩形作为截取图像。

为了提高训练速度，可以将截取图像的尺寸设置为预设尺寸，以标准化训练图像的尺寸。

一种实现方式中，为了增强训练出的人脸活体检测模型的鲁棒性，本实施例中对设置尺寸后的截取图像进行预处理，将预处理后的图像确定为训练图像。预处理包括以下至少一项：随机裁剪、随机旋转以及随机镜像。

步骤503：根据输出结果以及对应的训练图像的实际结果，确定损失函数。

可选地，本实施例中的损失函数可以是交叉熵损失函数。

步骤504：当损失函数大于预设阈值时，根据梯度下降算法以及损失函数，调整初始人脸活体检测模型的网络结构以及网络参数，确定更新后的人脸活体检测模型，将更新后的人脸活体检测模型作为初始人脸活体检测模型，返回执行将训练图像输入初始人脸活体检测模型中，获取输出结果的步骤，直至损失函数小于或者等于预设阈值，将损失函数小于或者等于阈值时的人脸活体检测模型确定为人脸活体检测模型。

具体地，在损失函数大于预设阈值的情况中，需要根据梯度下降算法以及损失函数，调整初始人脸活体检测模型的网络结构以及网络参数，确定更新后的人脸活体检测模型，将更新后的人脸活体检测模型作为初始人脸活体检测模型，返回执行步骤502。直至损失函数小于或者等于预设阈值。将此时的人脸活体检测模型确定为步骤506中使用的人脸活体检测模型。

更进一步地，还可以采用测试集中的图像对确定出的人脸活体检测模型进行测试调整，以进一步提高检测精度。

步骤505：采集待检测人脸的图像。

步骤506：将待检测人脸的图像输入至人脸活体检测模型，确定待检测人脸是否为活体人脸。

基于步骤501中准备数据集的过程，步骤506具体可以为：从待检测人脸的图像中截取待检测人脸所在的位置，获取待检测人脸的截取图像；将待检测人脸的截取图像设置为预设尺寸，将设置尺寸后的待检测人脸的截取图像输入人脸活体检测模型；根据人脸活体检测模型的输出结果，确定待检测人脸是否为活体人脸。

需要说明的是，步骤501-步骤504可以是服务器或者其他计算机设备执行的操作，也可以是人脸活体检测装置执行的操作，本实施例对此不作限制。

本实施例的模型在训练过程中，在大约10个迭代次数(epoch)后识别精度就可以达到99％，测试识别精度为97％。每张图像的运行速度70ms，可以满足实时性的要求。

基于本实施例提供的人脸活体检测方法，训练出的人脸活体检测模型的识别精度高，鲁棒性强，运行速度快。

图6为本发明一个实施例提供的人脸活体检测装置的结构示意图。如图6所示，本实施例提供的人脸活体检测装置包括：采集模块61以及第一确定模块62。

采集模块61，用于采集待检测人脸的图像。

第一确定模块62，用于将待检测人脸的图像输入至人脸活体检测模型，确定待检测人脸是否为活体人脸。

本发明实施例所提供的人脸活体检测装置可执行本发明任意实施例所提供的人脸活体检测方法，具备执行方法相应的功能模块和有益效果。

图7为本发明另一个实施例提供的人脸活体检测装置的结构示意图。本实施例在图6所示实施例的基础上，对人脸活体检测装置包括的其他模块作一详细说明。如图7所示，本实施例提供的人脸活体检测装置还包括：第一获取模块74、第二获取模块71、第二确定模块72以及第三确定模块73。

第一获取模块74，用于获取训练集中的训练图像以及训练图像的实际结果。

第二获取模块71，用于将训练集中的训练图像，输入初始人脸活体检测模型中，获取输出结果。

其中，输出结果包括：活体人脸或者非活体人脸。

第二确定模块72，用于根据输出结果以及对应的训练图像的实际结果，确定损失函数。

第三确定模块73，用于当损失函数大于预设阈值时，根据梯度下降算法以及损失函数，调整初始人脸活体检测模型的网络结构以及网络参数，确定更新后的人脸活体检测模型，将更新后的人脸活体检测模型作为初始人脸活体检测模型，返回执行将训练图像，输入初始人脸活体检测模型中，获取输出结果的步骤，直至损失函数小于或者等于预设阈值，将损失函数小于或者等于阈值时的人脸活体检测模型确定为人脸活体检测模型。

可选地，第一获取模块74还包括：采集子模块、获取子模块以及确定子模块。

采集子模块，用于采集带有人脸的初始图像。

其中，初始图像中人脸的面积占初始图像面积的比值大于预设比值。

获取子模块，用于从初始图像中截取人脸所在的位置，获取截取图像。

确定子模块，用于将截取图像的尺寸设置为预设尺寸，将设置尺寸后的截取图像确定为训练图像。

可选地，确定子模块具体用于：对设置尺寸后的截取图像进行预处理，将预处理后的图像确定为训练图像。其中，预处理包括以下至少一项：随机裁剪、随机旋转以及随机镜像。

一实现方式中，第一确定模块62具体用于：从待检测人脸的图像中截取待检测人脸所在的位置，获取待检测人脸的截取图像；将待检测人脸的截取图像设置为预设尺寸，将设置尺寸后的待检测人脸的截取图像输入人脸活体检测模型；根据人脸活体检测模型的输出结果，确定待检测人脸是否为活体人脸。

本发明实施例所提供的人脸活体检测装置可执行本发明任意实施例所提供的人脸活体检测方法，具备执行方法相应的功能模块和有益效果。

图8为本发明一个实施例提供的计算机设备的结构示意图。如图8所示，该计算机设备包括处理器80和存储器81。该计算机设备中处理器80的数量可以是一个或多个，图8中以一个处理器80为例；该计算机设备的处理器80和存储器81可以通过总线或其他方式连接，图8中以通过总线连接为例。

存储器81作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的人脸活体检测方法对应的程序指令以及模块(例如，人脸活体检测装置中的采集模块61以及第一确定模块62)。处理器80通过运行存储在存储器81中的软件程序、指令以及模块，从而执行计算机设备的各种功能应用以及数据处理，即实现上述的人脸活体检测方法。

存储器81可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据计算机设备的使用所创建的数据等。此外，存储器81可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器81可进一步包括相对于处理器80远程设置的存储器，这些远程存储器可以通过网络连接至计算机设备。上述网络的实施例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，该存储器存储有计算机程序。该处理器执行计算机程序时实现以下步骤：

采集待检测人脸的图像；

将所述待检测人脸的图像输入至所述人脸活体检测模型，确定所述待检测人脸是否为活体人脸。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

获取训练集中的训练图像以及所述训练图像的实际结果；

将所述训练图像，输入初始人脸活体检测模型中，获取输出结果；其中，所述输出结果包括：活体人脸或者非活体人脸；

根据所述输出结果以及对应的训练图像的实际结果，确定损失函数；

当所述损失函数大于预设阈值时，根据梯度下降算法以及所述损失函数，调整所述初始人脸活体检测模型的网络结构以及网络参数，确定更新后的人脸活体检测模型，将所述更新后的人脸活体检测模型作为所述初始人脸活体检测模型，返回执行将所述训练图像，输入初始人脸活体检测模型中，获取输出结果的步骤，直至所述损失函数小于或者等于所述预设阈值，将所述损失函数小于或者等于所述阈值时的人脸活体检测模型确定为所述人脸活体检测模型。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

所述获取训练集中的训练图像，包括：

采集带有人脸的初始图像；其中，所述初始图像中人脸的面积占所述初始图像面积的比值大于预设比值；

从所述初始图像中截取所述人脸所在的位置，获取截取图像；

将所述截取图像的尺寸设置为预设尺寸，将设置尺寸后的截取图像确定为所述训练图像。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

所述将所述截取图像的尺寸设置为预设尺寸，将设置尺寸后的截取图像确定为所述训练图像，包括：

对所述设置尺寸后的截取图像进行预处理，将预处理后的图像确定为所述训练图像；其中，所述预处理包括以下至少一项：随机裁剪、随机旋转以及随机镜像。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

所述将所述待检测人脸的图像输入至所述人脸活体检测模型，确定所述待检测人脸是否为活体人脸，包括：

从所述待检测人脸的图像中截取所述待检测人脸所在的位置，获取待检测人脸的截取图像；

将所述待检测人脸的截取图像设置为所述预设尺寸，将设置尺寸后的待检测人脸的截取图像输入所述人脸活体检测模型；

根据所述人脸活体检测模型的输出结果，确定所述待检测人脸是否为活体人脸。

基于对人脸活体检测模型的描述，可知，本实施例提供的人脸活体检测方法可以对结合待检测人脸的图像的深层特征以及浅层特征进行检测，一方面，提高了检测精度，另一方面，相较于传统机器学习方法，在训练该模型时，不需要存储大量数据，降低了对硬件的依赖。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：

采集待检测人脸的图像；

根据所述待检测人脸的图像以及所述人脸活体检测模型，确定所述待检测人脸是否为活体人脸。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

获取训练集中的训练图像以及所述训练图像的实际结果；

将所述训练图像，输入初始人脸活体检测模型中，获取输出结果；其中，所述输出结果包括：活体人脸或者非活体人脸；

根据所述输出结果以及对应的训练图像的实际结果，确定损失函数；

当所述损失函数大于预设阈值时，根据梯度下降算法以及所述损失函数，调整所述初始人脸活体检测模型的网络结构以及网络参数，确定更新后的人脸活体检测模型，将所述更新后的人脸活体检测模型作为所述初始人脸活体检测模型，返回执行将所述训练图像，输入初始人脸活体检测模型中，获取输出结果的步骤，直至所述损失函数小于或者等于所述预设阈值，将所述损失函数小于或者等于所述阈值时的人脸活体检测模型确定为所述人脸活体检测模型。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

所述获取训练集中的训练图像，包括：

采集带有人脸的初始图像；其中，所述初始图像中人脸的面积占所述初始图像面积的比值大于预设比值；

从所述初始图像中截取所述人脸所在的位置，获取截取图像；

将所述截取图像的尺寸设置为预设尺寸，将设置尺寸后的截取图像确定为所述训练图像。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

所述将所述截取图像的尺寸设置为预设尺寸，将设置尺寸后的截取图像确定为所述训练图像，包括：

对所述设置尺寸后的截取图像进行预处理，将预处理后的图像确定为所述训练图像；其中，所述预处理包括以下至少一项：随机裁剪、随机旋转以及随机镜像。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

所述将所述待检测人脸的图像输入至所述人脸活体检测模型，确定所述待检测人脸是否为活体人脸，包括：

从所述待检测人脸的图像中截取所述待检测人脸所在的位置，获取待检测人脸的截取图像；

将所述待检测人脸的截取图像设置为所述预设尺寸，将设置尺寸后的待检测人脸的截取图像输入所述人脸活体检测模型；

根据所述人脸活体检测模型的输出结果，确定所述待检测人脸是否为活体人脸。

基于对人脸活体检测模型的描述，可知，本实施例提供的人脸活体检测方法可以对结合待检测人脸的图像的深层特征以及浅层特征进行检测，一方面，提高了检测精度，另一方面，相较于传统机器学习方法，在训练该模型时，不需要存储大量数据，降低了对硬件的依赖。

通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，计算机设备，或者网络设备等)执行本发明各个实施例所述的人脸活体检测方法。

值得注意的是，上述人脸活体检测装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (9)

1.一种人脸活体检测模型的构建方法，其特征在于，包括：依次连接批量归一化层、第一卷积层、最大池化层、网络主体模块以及全连接层；

其中，所述网络主体模块用于根据所述最大池化层的输出特征图，确定所述最大池化层的输出特征图的浅层特征和深层特征，并将所述浅层特征以及所述深层特征进行结合，将结合后的特征图输出至所述全连接层；

所述全连接层用于根据所述结合后的特征图，确定输入所述批量归一化层的待检测人脸的图像中的待检测人脸是否为活体人脸；

其中，所述网络主体模块包括多个特征结合网络；

每个所述特征结合网络包括：第一分支单元、第二分支单元以及结合单元；所述第一分支单元的输出端与所述第二分支单元的输出端均与所述结合单元的输入端连接；

当所述特征结合网络为最靠前的第一特征结合网络时，所述第一特征结合网络的第一分支单元的输入端以及第二分支单元的输入端与所述最大池化层的输出端连接，所述第一特征结合网络的结合单元的输出端与下一个特征结合网络的第一分支单元的输入端以及第二分支单元的输入端连接；所述第一特征结合网络的第一分支单元用于确定所述最大池化层的输出特征图的深层特征，所述第一特征结合网络的第二分支单元用于确定所述最大池化层的输出特征图的浅层特征，所述第一特征结合网络的结合单元用于对所述最大池化层的输出特征图的深层特征以及所述最大池化层的输出特征图的浅层特征进行结合；

当所述特征结合网络为位于中间的第二特征结合网络时，所述第二特征结合网络的结合单元的输出端与下一个特征结合网络的第一分支单元的输入端以及第二分支单元的输入端连接；

当所述特征结合网络为最后的第三特征结合网络时，所述第三特征结合网络的结合单元的输出端与所述全连接层的输入连接；

所述第二特征结合网络以及所述第三特征结合网络的第一分支单元用于确定上一个特征结合网络输出的结合后的特征图的深层特征，所述第二特征结合网络以及所述第三特征结合网络的第二分支单元用于确定上一个特征结合网络输出的结合后的特征图的浅层特征，所述第二特征结合网络以及所述第三特征结合网络的结合单元用于对上一个特征结合网络输出的结合后的特征图的深层特征以及上一个特征结合网络输出的结合后的特征图的浅层特征进行结合。

2.根据权利要求1所述的方法，其特征在于，所述第一分支单元包括：依次连接的第一卷积子单元、第一自适应池化层、第二卷积子单元以及第一激活函数层；

所述第二分支单元包括：第三卷积子单元；其中，所述第一卷积子单元及所述第二卷积子单元中包括的卷积层的数量之和大于所述第三卷积子单元包括的卷积层的数量；

所述结合单元包括：依次连接的第四卷积子单元、第二自适应池化层、第五卷积子单元以及第二激活函数层；

第一激活函数层的输出端以及所述第三卷积子单元的输出端均与所述第四卷积子单元的输入端连接；

所述第一特征结合网络的第一卷积子单元的输入端以及第三卷积子单元的输入端与所述最大池化层的输出端连接，所述第一特征结合网络的第二激活函数层的输出端与下一个特征结合网络的第一卷积子单元以及第三卷积子单元的输入端连接；

所述第二特征结合网络的第二激活函数层的输出端与下一个特征结合网络的第一卷积子单元以及第三卷积子单元的输入端连接；

所述第三特征结合网络的第二激活函数层的输出端与所述全连接层的输入端连接。

3.一种人脸活体检测方法，其特征在于，应用于如权利要求1-2中任一项所述方法所构建的人脸活体检测模型中，所述方法包括：

采集待检测人脸的图像；

将所述待检测人脸的图像输入至所述人脸活体检测模型，确定所述待检测人脸是否为活体人脸。

4.根据权利要求3所述的方法，其特征在于，所述人脸活体检测模型的生成方式包括：

获取训练集中的训练图像以及所述训练图像的实际结果；

将所述训练图像输入初始人脸活体检测模型中，获取输出结果；其中，所述输出结果包括：活体人脸或者非活体人脸；

根据所述输出结果以及对应的训练图像的实际结果，确定损失函数；

当所述损失函数大于预设阈值时，根据梯度下降算法以及所述损失函数，调整所述初始人脸活体检测模型的网络结构以及网络参数，确定更新后的人脸活体检测模型，将所述更新后的人脸活体检测模型作为所述初始人脸活体检测模型，返回执行将所述训练图像输入初始人脸活体检测模型中，获取输出结果的步骤，直至所述损失函数小于或者等于所述预设阈值，将所述损失函数小于或者等于所述预设阈值时的人脸活体检测模型确定为所述人脸活体检测模型。

5.根据权利要求4所述的方法，其特征在于，所述获取训练集中的训练图像，包括：

采集带有人脸的初始图像；其中，所述初始图像中人脸的面积占所述初始图像面积的比值大于预设比值；

从所述初始图像中截取所述人脸所在的位置，获取截取图像；

将所述截取图像的尺寸设置为预设尺寸，将设置尺寸后的截取图像确定为所述训练图像。

6.根据权利要求5所述的方法，其特征在于，所述将所述待检测人脸的图像输入至所述人脸活体检测模型，确定所述待检测人脸是否为活体人脸，包括：

从所述待检测人脸的图像中截取所述待检测人脸所在的位置，获取待检测人脸的截取图像；

将所述待检测人脸的截取图像设置为所述预设尺寸，将设置尺寸后的待检测人脸的截取图像输入所述人脸活体检测模型；

根据所述人脸活体检测模型的输出结果，确定所述待检测人脸是否为活体人脸。

7.一种人脸活体检测装置，其特征在于，包括：

第一采集模块，用于采集待检测人脸的图像；

第一确定模块，用于将所述待检测人脸的图像输入至人脸活体检测模型，确定所述待检测人脸是否为活体人脸；

其中，所述人脸活体检测模型包括：依次连接的批量归一化层、第一卷积层、最大池化层、网络主体模块以及全连接层；其中，所述网络主体模块用于根据所述最大池化层的输出特征图，确定所述最大池化层的输出特征图的浅层特征和深层特征，并将所述浅层特征以及所述深层特征进行结合，将结合后的特征图输出至所述全连接层；所述全连接层用于根据所述结合后的特征图，确定输入所述批量归一化层的待检测人脸的图像中的待检测人脸是否为活体人脸；

其中，所述网络主体模块包括多个特征结合网络；

每个所述特征结合网络包括：第一分支单元、第二分支单元以及结合单元；所述第一分支单元的输出端与所述第二分支单元的输出端均与所述结合单元的输入端连接；

当所述特征结合网络为最靠前的第一特征结合网络时，所述第一特征结合网络的第一分支单元的输入端以及第二分支单元的输入端与所述最大池化层的输出端连接，所述第一特征结合网络的结合单元的输出端与下一个特征结合网络的第一分支单元的输入端以及第二分支单元的输入端连接；所述第一特征结合网络的第一分支单元用于确定所述最大池化层的输出特征图的深层特征，所述第一特征结合网络的第二分支单元用于确定所述最大池化层的输出特征图的浅层特征，所述第一特征结合网络的结合单元用于对所述最大池化层的输出特征图的深层特征以及所述最大池化层的输出特征图的浅层特征进行结合；

当所述特征结合网络为位于中间的第二特征结合网络时，所述第二特征结合网络的结合单元的输出端与下一个特征结合网络的第一分支单元的输入端以及第二分支单元的输入端连接；

当所述特征结合网络为最后的第三特征结合网络时，所述第三特征结合网络的结合单元的输出端与所述全连接层的输入连接；

所述第二特征结合网络以及所述第三特征结合网络的第一分支单元用于确定上一个特征结合网络输出的结合后的特征图的深层特征，所述第二特征结合网络以及所述第三特征结合网络的第二分支单元用于确定上一个特征结合网络输出的结合后的特征图的浅层特征，所述第二特征结合网络以及所述第三特征结合网络的结合单元用于对上一个特征结合网络输出的结合后的特征图的深层特征以及上一个特征结合网络输出的结合后的特征图的浅层特征进行结合。

8.一种计算机设备，其特征在于，所述计算机设备包括：

一个或多个处理器；

存储器，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-2中任一所述的人脸活体检测模型的构建方法，或者，如权利要求3-6中任一所述的人脸活体检测方法。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-2中任一所述的人脸活体检测模型的构建方法，或者，如权利要求3-6中任一所述的人脸活体检测方法。