CN114140844A - 人脸静默活体检测方法、装置、电子设备及存储介质 - Google Patents

Abstract

本发明提供一种人脸静默活体检测方法、装置、电子设备及存储介质，该方法包括：基于待检测的人脸图像进行预处理，获取目标图像；基于所述目标图像和目标特征算子，获取第一特征图；将所述目标图像和所述第一特征图输入至人脸静默活体检测模型，输出与所述待检测的人脸图像对应的活体检测结果。本发明提供的人脸静默活体检测方法、装置、电子设备及存储介质，能够既保留与图像内容无关的底层语义特征，又结合深度神经网络自动发现图像内容相关的语义特征。在提高人脸静默活体检测的准确性的同时，降低计算复杂度，提高模型的推理效率。

Description

人脸静默活体检测方法、装置、电子设备及存储介质

技术领域

本发明涉及图像处理技术领域，尤其涉及一种人脸静默活体检测方法、装置、电子设备及存储介质。

背景技术

人脸识别技术以其高效性、准确性、安全性已成功地应用于生活中各个领域，例如：金融、快速通行、安防、零售等。虽然人脸识别技术的精度已经基本能够满足日常应用的要求，但是利用一张照片就可以轻易的冒用他人身份登录人脸识别系统，因此人脸识别系统中的人脸活体检测凸显的尤为重要。人脸活体检测通常分类：动作活体、静默活体。动作活体是人脸活体检测系统随机发出指令由用户配合完成，其用户体验较差。静默活体检测则无需用户任何配合即可完成检测。

通常情况下人脸静默活体检测方法分为两类。第一类是传统的静默活体检测方法，即提取人脸的纹理特征，基于从人脸图像中提取人工设定的纹理特征，直接送入支持向量机(Support Vector Machine,SVM)，以判断输入人脸图像是活体还是假体。第一类方法通常与图像内容无关，且难以区分高清或失真不严重的图像。第二类是基于深度学习的人脸静默活体检测方法，其流程为输入一张至少包含一个人脸的图片，依靠神经网络模型的强大学习能力自动提取特征，进而将提取的特征进行分类或者回归。第二类方法无需设计特定的人工特征，可以自动学习到活体与假体的特性。但参数量比较大，模型推理时间也较大，其难以在计算能力较小的平台上运行。

以上两种方法在人脸静默活体检测中无法同时兼顾准确性和计算性能。

发明内容

本发明提供一种人脸静默活体检测方法、装置、电子设备及存储介质，用以解决现有技术中无法同时兼顾准确性和计算性能的缺陷，实现同时提高准确性和计算性能。

本发明提供一种人脸静默活体检测方法，包括：

基于待检测的人脸图像进行预处理，获取目标图像；

基于所述目标图像和目标特征算子，获取第一特征图；

将所述目标图像和所述第一特征图输入至人脸静默活体检测模型，输出与所述待检测的人脸图像对应的活体检测结果；

其中，所述人脸静默活体检测模型包括：

第一特征提取层，用于基于所述目标图像和所述第一特征图像，分别在各自对应的网络分支中进行卷积操作，获取多个第二特征图像；

融合层，用于基于多个所述第二特征图像，进行特征融合，获取融合特征图像；

第二特征提取层，用于基于所述融合特征图像进行特征提取，获取第三特征图像；

输出层，用于基于所述第三特征图像，获取所述待检测的人脸图像对应的活体检测结果。

根据本发明提供的一种人脸静默活体检测方法，所述目标图像包括眼部区域图像、全脸区域图像和2倍脸部区域图像中一种或者多种。

根据本发明提供的一种人脸静默活体检测方法，所述基于所述第三特征图像，获取所述待检测的人脸图像对应的活体检测结果，包括：

基于所述第三特征图像，获取目标图像的活体置信度；

基于所述目标图像的活体置信度，获取所述待检测的人脸图像对应的活体检测结果。

根据本发明提供的一种人脸静默活体检测方法，所述融合特征图像进行特征提取，获取第三特征图像，包括：基于注意力机制，对所述融合特征图像进行特征提取，获取所述第三特征图像。

根据本发明提供的一种人脸静默活体检测方法，所述基于待检测的人脸图像进行预处理，获取目标图像，包括：

基于所述待检测的人脸图像进行预处理，获取人脸位置和关键点位置；

基于人脸位置和关键点位置，在所述待检测的人脸图像的图像质量测试结果符合目标条件的情况下，获取所述目标图像。

根据本发明提供的一种人脸静默活体检测方法，所述图像质量测试包括光照检测、遮挡检测、模糊检测和姿态检测中的一种或者多种。

本发明还提供一种人脸静默活体检测装置，包括：

预处理模块，用于基于待检测的人脸图像进行预处理，获取目标图像；

第一特征提取模块，用于基于所述目标图像和目标特征算子，获取第一特征图；

活体检测模块，用于将所述目标图像和所述第一特征图输入至人脸静默活体检测模型，输出与所述待检测的人脸图像对应的活体检测结果；

其中，所述人脸静默活体检测模型包括：

第一特征提取层，用于基于所述目标图像和所述第一特征图像，分别在各自对应的网络分支中进行卷积操作，获取多个第二特征图像；

融合层，用于基于多个所述第二特征图像，进行特征融合，获取融合特征图像；

第二特征提取层，用于基于所述融合特征图像进行特征提取，获取第三特征图像；

输出层，用于基于所述第三特征图像，获取所述待检测的人脸图像对应的活体检测结果。

本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述人脸静默活体检测方法的步骤。

本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述人脸静默活体检测方法的步骤。

本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述人脸静默活体检测方法的步骤。

本发明提供的人脸静默活体检测方法、装置、电子设备及存储介质，基于待检测的人脸图像生成目标图像，通过目标特征算子进行人工特征提取出第一特征图像，通过原始的目标图像和第一特征图像进入人脸静默活体检测模型进行优化处理，通过第一特征提取层中的各网络分支提取出对应的第二特征图像，通过多个第一特征图像进行特征融合获取融合特征图像，通过第二特征提取层对融合特征图像进行特征提取获取第三特征图像，通过第三特征图像映射出活体检测结果。能够既保留与图像内容无关的底层语义特征，又结合深度神经网络自动发现图像内容相关的语义特征。在提高人脸静默活体检测的准确性的同时，降低计算复杂度，提高模型的推理效率。

附图说明

为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明提供的人脸静默活体检测方法的流程示意图之一；

图2是本发明提供的人脸静默活体检测模型的网络结构示意图；

图3是本发明提供的人脸静默活体检测方法的流程示意图之二；

图4是本发明提供的人脸静默活体检测装置的结构示意图；

图5是本发明提供的电子设备的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1是本发明提供的人脸静默活体检测方法的流程示意图之一。如图1所示，本发明实施例提供的人脸静默活体检测方法，包括：步骤101、基于待检测的人脸图像进行预处理，获取目标区域图像。

需要说明的是，本发明实施例提供的人脸静默活体检测方法的执行主体为人脸静默活体检测装置。

人脸静默活体检测装置的检测对象为人脸图像。示例性地，人脸图像可以通过数据集中获取图像，人脸图像也可以是通过与人脸静默活体检测装置电连接的图像采集设备采集到的图像。

具体地，在步骤101中，人脸静默活体检测装置根据实际的检测需求，对待检测的人脸图像进行相应的预处理，获取目标图像。

目标图像，是指从原始图像上截取的包含全部人脸或者部分人脸的图像。目标图像用于输入至人脸静默活体检测模型，以进行人脸静默活体检测。

预处理，是指对输入的人脸图像应用人脸静默活体检测模型前所进行的处理。预处理用于图像矫正，以及增强有关信息的可检测性和最大限度地简化数据。本发明实施例对预处理不作具体限定。

示例性地，预处理可以为画质增强处理。

人脸图像数据通常被编码为一个维度的张量(height*width*color channels)，在颜色通道空间中通过隔离单色通道或者直方图执行图像数据的增强。画质增强处理方法可以包括调节亮度、对比度、饱和度、直方图均衡化、白平衡、限制对比度自适应直方图均衡化(Contrast Limited Adaptive Histogram Equalization，CLAHE)等。

示例性地，预处理可以为几何增强处理。几何增强处理方法可以包括图像翻转(Flipping)、图像裁剪(Cropping)、图像旋转(Rotation)、图像平移(Translation)和图像色彩转换空间(Color space)等，其中：

图像翻转，是指对人脸图像进行水平翻转和垂直翻转。

图像裁剪，是指是改变人脸图片的尺寸大小。

图像旋转，是指对人脸图像在0-360°内进行顺时针旋转或者逆时针旋转。轻微旋转的角度范围为1°-20°，以及-1°到-20°。

图像平移，是指向左、向右、向上或向下移动人脸图像，以避免图像中像素的位置偏移。

色彩空间转换是将图像在RGB、HSV、Lab等色彩空间之间相互转换。

步骤102、基于目标图像和目标特征算子，获取第一特征图。

需要说明的是，目标特征算子，是指人脸静默活体检测装置的管理者或者操作人员根据实际检测需求设定的纹理特征算子。本发明实施例对此不作具体限定。

示例性地，目标特征算子可以包括边缘特征算子、镜面反射特征算子、图像质量失真特征算子、色力矩特征算子和颜色特征算子等特征算子中的一种或者多种。

具体地，在步骤102中，人脸静默活体检测装置根据检测需求设定目标特征算子，并根据该算子从步骤101中生成的目标图像进行提取操作，获取第一特征图像。

第一特征图像的数量与目标特征算子的数量相同，每一个第一特征图像均包含依据对应目标特征算子提取出的纹理特征。

步骤103、将目标图像和第一特征图输入至人脸静默活体检测模型，输出与待检测的人脸图像对应的活体检测结果。

其中，人脸静默活体检测模型包括：

第一特征提取层，用于基于目标图像和第一特征图像，分别在各自对应的网络分支中进行卷积操作，获取多个第二特征图像。

融合层，用于基于多个第二特征图像，进行特征融合，获取融合特征图像。

第二特征提取层，用于基于融合特征图像进行特征提取，获取第三特征图像。

输出层，用于基于第三特征图像，获取待检测的人脸图像对应的活体检测结果。

需要说明的是，人脸静默活体检测模型是基于人脸图像样本数据以及预先确定的人脸图像类型标签进行训练后得到。

人脸静默活体检测模型可以是一种人工智能模型，本发明实施例对模型类型不作具体限定。

例如，人脸静默活体检测模型可以是一种具有深度学习(Deep Learning，DL)框架的神经网络模型，由卷积层、池化层、全连接层组成。其中卷积层与池化层配合，组成多个卷积组，逐层提取特征，最终通过若干个全连接层完成分类。

需要说明的是，样本数据包含与样本数据对应的人脸图像数据和人脸图像类型标签。将人脸图像样本数据划分为训练集和测试集，本发明实施例对训练集和测试集的样本比例不作具体限定。

示例性地，样本数据为包含人脸完整区域的图像数据，并由多个主观个体进行人工标注每张人脸图片的标签。

将样本数据按比例进行划分，得到用于模型训练的测试数据集，以及用于模型验证的训练数据集。其中，测试数据集包含活体人脸图像43877张，假体人脸图像72383张。训练数据集包含活体人脸图像219385张，假体人脸图像361915张。

具体地，在步骤103中，人脸静默活体检测装置根据训练好的模型参数，对人脸静默活体检测模型进行设置后，通过该模型对步骤101生成目标图像和步骤102生成的第一特征图像进行活体检测，可以得到与待检测的人脸图像对应的活体检测结果。

活体检测结果可以是一个概率值或者标签结果，本发明实施例对活体检测结果的形式不作具体限定。

若活体检测结果可以是一个概率值，则可以通过概率值说明人脸图像为活体或者假体的概率。

若活体检测结果可以是一个标签结果，则可以通过模型获取一个中间数值结果，将数值结果符合预先设置的目标条件，则为该数值结果对应的人脸图像分配对应的标签结果。

例如，通过人脸静默活体检测模型获取一个中间数值结果，用于表征人脸图像为活体的概率。根据预先设置的目标条件，当该概率大于预设阈值，则生成用于表达该人脸图像为活体的标签说明，并将该标签赋予该图像。

本发明实施例对人脸静默活体检测模型不作具体限定。

示例性地，人脸静默活体检测装置利用人脸静默活体检测模型，对人脸图像中进行检测，该模型至少由输入层、隐藏层和输出层构成。

输入层在整个网络的最前端部分，直接接收步骤102中生成的目标图像和第一特征图像。

隐藏层至少包含三层，分别是第一特征提取层、融合层和第一特征提取层。隐藏层的作用是对目标图像和第一特征图像分别进行特征提取，获取对应的中层语义信息的第二特征图。将各包含中层语义信息的第二特征图进行拼接融合，获取特征融合图像。并进一步对特征融合图像进行更深层次的特征提取，获取包含高层语义信息的第三特征图。

输出层是最后一层，输出人脸图像的活体检测结果，根据不同的需求输出活体检测结果的类型，这个值可以是一个分类向量值，也可以是一个类似线性回归那样产生的连续的值，还可以是别的复杂类型的值或者向量，本发明实施例对此不作具体限定。

图2是本发明提供的人脸静默活体检测模型的网络结构示意图。如图2所示，人脸静默活体检测模型的结构可以设置为：

第一特征提取层至少包括多个并行设置的网络分支，根据网络分支处理的图像类型不同，可以将网络分支分为两类。其中：

一类是对输入层接收到的原始的目标图像进行快速下采样，并通过卷积操作提取出对应的第二特征图像。

另一类是对输入层接收到的第一特征图像进行快速下采样，并通过卷积操作提取出对应的第二特征图像。

每个网络分支，可以对应包括大小不同、算子不同的卷积核。其中，算子包括但是不限制于普通卷积(Vanilla Convolution)、中心差分卷积(Central DifferenceConvolution)、深度可分离卷积(Depthwise Separable Convolutions)等算子。

优选地，每个网络分支均为具有32个通道，卷积核为3*3，步长为2的卷积神经网络。

原始的目标图像输入到具有可分离的中心差分卷积算子的网络分支。各个经过人工特征提取出的第一特征图像，分别输入到每一个具有深度可分离卷积算子的网络分支。

融合层的作用是接收第一特征提取层中各网络分支输出的第二特征图像，并在空间维度上进行融合，融合后的特征经过一个分支神经网络生成融合特征图像。示例性地，该分支神经网络为具有64个通道，卷积核为3*3，步长为1的普通卷积神经网络。

第一特征提取层的作用是接收融合层输出的融合特征图像，经过另一个分支深度神经网络自动学习提取高层次语义特征，生成第三特征图像。示例性地，该分支深度神经网络可以包含但是不限制于一个模块，其中每个模块又可以使用包含但是不限制于2个分支，每个分支均为具有32通道的3x3卷积核，且下采样率为2的卷积神经网络。其中，一个分支包括普通的卷积算子，另一个分支包括中心差分卷积算子。

输出层经过全连接层可以对接收到的融合特征图像数据，依次采用全连接处理和softmax处理将其映射成向量，并根据该向量进行二分类处理，得到活体检测结果。

示例性地，可以使用一个输入为128个神经元，输出为2个神经元的神经网络，以及用softmax激活函数输出最终的活体检测结果。

若返回数据的标签为“1”，则说明该图片包含的检测对象为活体，反之，如标签为“0”，则为假体。

在模型回归过程中，可以利用分类损失函数(例如交叉熵，Cross Entropy)、回归损失函数(例如均方误差，Mean-Square Error，MSE)计算损失，即检测值和真实值之间的差值。

并利用梯度下降法不断缩小损失值，以计算出模型的最优权重和偏置，其中，梯度下降过程采用Cosine decay with warmup机制作为对学习率的调整策略。

优选地，输出层采用全局平均池化(Global Average Pooling，GAP)替代全连接层，可以对整个网路在结构上做正则化防止过拟合，减少参数的数量。

本发明实施例基于待检测的人脸图像生成目标图像，通过目标特征算子进行人工特征提取出第一特征图像，通过原始的目标图像和第一特征图像进入人脸静默活体检测模型进行优化处理，通过第一特征提取层中的各网络分支提取出对应的第二特征图像，通过多个第一特征图像进行特征融合获取融合特征图像，通过第二特征提取层对融合特征图像进行特征提取获取第三特征图像，通过第三特征图像映射出活体检测结果。能够既保留与图像内容无关的底层语义特征，又结合深度神经网络自动发现图像内容相关的语义特征。在提高人脸静默活体检测的准确性的同时，降低计算复杂度，提高模型的推理效率。

在上述任一实施例的基础上，目标图像包括眼部区域图像、全脸区域图像和2倍脸部区域图像中一种或者多种。

具体地，在步骤101中，人脸静默活体检测装置对待检测的人脸图像中包含人脸关键部位的区域进行图像裁剪，获取不同种类的目标图像，并对每一种类的目标图像进行如步骤102和步骤103的操作。

本发明实施例对目标图像的种类不作具体限定。

可选地，目标图像可以为眼部区域图像，即从待检测的人脸图像裁剪出仅包括眼睛区域的图像。

可选地，目标图像可以为全脸区域图像，即从待检测的人脸图像裁剪出仅包括人脸区域的图像。

可选地，目标图像可以为放大的全脸区域图像，即从待检测的人脸图像裁剪出人脸周围较大区域的图像。

优选地，放大的全脸区域图像为2倍脸部区域图像。

可以理解的是，对于裁剪出的眼部区域图像、全脸区域图像和2倍脸部区域图像均放缩到统一尺度。

示例性地，该尺度中的长度与宽度相等，其数值等于人脸静默活体检测模型中输入神经元数量对应的数值。

本发明实施例基于待检测的人脸图像，裁剪出眼部区域图像、全脸区域图像和2倍脸部区域图像，进而通过目标特征算子进行人工特征提取，并送入人脸静默活体检测模型进行活体检测。能够获取眼部区域图像、全脸区域和放大的脸部区域包含的生物特征信息信息，以区分非生命物质伪造的生物特征。

在上述任一实施例的基础上，基于第三特征图像，获取待检测的人脸图像对应的活体检测结果，包括：基于第三特征图像，获取目标图像的活体置信度。

需要说明的是，经由人脸静默活体检测模型的隐藏层对任一种类的目标图像及其对应的第一特征图像进行检测，获取与该种类目标图像对应的第三特征图像，即不同种类的目标图像与第三特征图像具有一一对应的关系。

具体地，在步骤103中，由模型的输出层对第三特征图像进行处理，获取对应的目标图像的活体置信度。

基于目标图像的活体置信度，获取待检测的人脸图像对应的活体检测结果。

具体地，在步骤103中，由模型的输出层对目标图像的活体置信度，通过阈值方法确定人脸标签，获取活体检测结果。

如果目标图像的活体置信度大于阈值，则说明待检测的人脸图像中的人脸为活体，否则为假体。

优选地，人脸静默活体检测模型依次对不同类型的目标图像对应生成的活体置信度进行融合，获得待检测的人脸图像的活体置信度。并通过阈值方法确定人脸标签，获取活体检测结果。

融合方式包括但是不限于求均值的方法。

本发明实施例对输出与待检测的人脸图像对应的活体检测结果的过程不作具体限定。

图3是本发明提供的人脸静默活体检测方法的流程示意图之二。如图3所示，其过程具体如下：

(1)待检测的人脸图像进行图像裁剪，获取眼部区域图像、全脸区域图像和2倍脸部区域图像。

(2)将眼部区域图像、全脸区域图像和2倍脸部区域图像分别输出至人脸静默活体检测模型中，获取眼部区域图像的活体置信度A、全脸区域图像的活体置信度B和2倍脸部区域图像的活体置信度C。

(3)将活体置信度A、活体置信度B和活体置信度C进行加和求平均值的操作，获取待检测的人脸图像的活体置信度D，即为活体置信度D＝(A+B+C)/3。

本发明实施例基于不同类型目标图像对应的第三特征图像，获取对应的目标图像的活体置信度，通过各种类型目标图像的活体置信度，处理得到待检测的人脸图像对应的活体检测结果。能够在提取在提高人脸静默活体检测的准确性的同时，降低计算复杂度，提高模型的推理效率。

在上述任一实施例的基础上，融合特征图像进行特征提取，获取第三特征图像，包括：基于注意力机制，对融合特征图像进行特征提取，获取第三特征图像。

具体地，在人脸静默活体检测模型中的第二特征提取层对融合特征图像的每一个通道，先进行全局平均池化，得到与通道对应的标量。再经过FC-ReLU-FC-Sigmoid得到与标量对应的权重，并作为该通道的权重。最后对对应通道的每个元素与权重分别相乘，得到新的加权后的第三特征图像。

本发明实施例基于融合特征图像，利用注意力机制进行高层语义特征提取，获取第三特征图像。能够在融合特征图像特征提取的过程中，关注信息量最大的通道。在提取在提高人脸静默活体检测的准确性的同时，降低计算复杂度，提高模型的推理效率。

在上述任一实施例的基础上，基于待检测的人脸图像进行预处理，获取目标图像，包括：基于待检测的人脸图像进行预处理，获取人脸位置和关键点位置。

具体地，人脸静默活体检测装置对待检测的人脸图像进行人脸检测和关键点定位，得到人脸位置和关键点位置。

优选地，人脸静默活体检测装置对待检测的人脸图像进行画质增强，并将旋转角度转正后，执行人脸检测和关键点定位的算法，得到人脸位置和关键点位置。

人脸检测和关键点定位的算法包括但不限于AAMs(Active Appearance Models)算法、CLMs(Constrained Local Models)算法、ESR(Explicit Shape Regression)算法、SDM(Supervised Descent Method)算法等，通过手动设计的特征去拟合出人脸关键点的位置。

基于人脸位置和关键点位置，在待检测的人脸图像的图像质量测试结果符合目标条件的情况下，获取目标图像。

需要说明的是，目标条件，是指针对待检测的人脸图像的图像质量测试结果是否合格设置的条件。

具体地，人脸静默活体检测装置对待检测的人脸图像根据定位出的人脸位置以及关键点框选出人脸的关键区域，进行图像质量测试，根据其测试结果，决定待检测的人脸图像是否可以经过裁剪后，作为输入至人脸静默活体检测模型的目标图像。

若图像质量测试结果符合预设的目标条件，则可以根据人脸位置和关键点位置，对待检测的人脸图像进行裁剪，获取包含关键部位的目标图像。

若图像质量测试结果不符合预设的目标条件，则无需对待检测的人脸图像进行处理，直接丢弃，对下一张待检测的人脸图像进行上述的图像质量检测。

本发明实施例对图像质量测试不作具体限定。

示例性地，人脸静默活体检测装置可以将图像中人脸的完整程度，作为图像质量测试的项目。

人脸静默活体检测装置对待检测的人脸图像中框选出人脸的关键区域获取其完整性参数。

完整性参数的取值为一个二值化的数值，即0或1，其中，0代表面部完整，1代表面部不完整。

对于面部完整的图像进一步裁剪出目标图像进行人脸静默活体检测，而对于面部不完整的图像则丢弃。

本发明实施例基于对待测试的人脸图像，进行人脸检测和关键点定位，通过定位得到的人脸位置和关键点位置，在判定图像质量符合目标条件情况下，裁剪出目标图像。能够提高数据集的精度，进而，在提取在提高人脸静默活体检测的准确性的同时，降低计算复杂度，提高模型的推理效率。

在上述任一实施例的基础上，图像质量测试包括光照检测、遮挡检测、模糊检测和姿态检测中的一种或者多种。

具体地，人脸静默活体检测装置对待检测的人脸图像根据定位出的人脸位置以及关键点框选出人脸的关键区域，进行图像质量测试。

可选地，图像质量测试可以是光照检测。人脸静默活体检测装置对待检测的人脸图像中框选出人脸的关键区域获取其光照参数，光照参数的表征包括但不限于该区域的灰度值。

示例性地，光照参数的取值范围为[0，255]，其中，0表示光照过暗，255表示光照过曝。

可选地，图像质量测试可以是遮挡检测。人脸静默活体检测装置对待检测的人脸图像中框选出人脸的关键区域获取其遮挡参数。

示例性地，遮挡参数的取值范围为[0，1]，其中，0为无遮挡，1是完全遮挡，含有多个具体子字段，表示脸部多个部位，通常用作判断头发、墨镜、口罩等遮挡。

可选地，图像质量测试可以是模糊检测。人脸静默活体检测装置对待检测的人脸图像中框选出人脸的关键区域获取其模糊参数。

示例性地，模糊参数的取值范围为[0，1]，其中，0是最清晰，1是最模糊。

可选地，图像质量测试可以是姿态检测。人脸静默活体检测装置对待检测的人脸图像中框选出人脸的关键区域获取其姿态参数。

示例性地，姿态参数可以包括俯仰角、翻滚角和偏航角，其中：

俯仰角(Pitch)在三维旋转的俯仰角度的取值范围为[-90°,90°]，一般设定正负20度范围为正常。

翻滚角(Roll)在平面内旋转角的取值范围为[-180°,180°]，一般设定正负30度范围为正常值。

偏航角(Yaw)在三维旋转的左右旋转角的取值范围为[-90°,90°]，一般设定正负45度范围算正常值。

可以理解的是，在人脸静默活体检测模型的训练阶段只进行人脸检测与关键点定位，不进行人脸的质量检测。

而在人脸静默活体检测模型的应用阶段需要进行光照检测、遮挡检测、模糊检测、姿态检测等质量检测，将检测不合格图像丢弃，直到获取质量合格图像再裁剪出目标图像。

可以理解的是，若人脸静默活体检测方法的使用场景为通过与人脸静默活体检测装置电连接的摄像头采集的图片，进行实时的人脸静默活体检测。

则在该过程中，人脸静默活体检测模型会出现抖动，可以采用多帧融合策略更能够获得一个稳定的输出。其具体实施过程如下：

(1)从与人脸静默活体检测装置的摄像头连续捕获5张图像。

(2)根据人脸检测与关键点定位进行人脸质量检测：包括光照检测、遮挡检测、模糊检测、姿态角检测如果符合则进行下一步否则返回第(1)步。

(3)根据人脸检测与关键点定位结果针对每张人脸图像计算，按照眼部区域、全脸区域、2倍脸部区域进行数据裁剪，放缩到统一尺度：128*128。

(4)针对输入的人脸图像使用Sobel算子计算低层次人工特征，Sobel在水平方向和竖直方向的算子核如下：

所计算出的低层次人工特征图经过一个分支网络提取中层语义特征，与原始数据经过一个神经网络分支进行聚合形成一个聚合特征。

(5)基于聚合特征经过已经训练好的分支深度神经网络自动学习提取高层次语义特征。

(6)基于上述高层语义特征，经过已经训练好的深度神经网络模型提取更高层的语义特征。

(7)将第(6)步提取好的特征经过一个softmax分类器得到每一块区域的活体得分。

(8)求所有裁剪图像的活体置信度的均值得到一个最终人脸活体置信度，通过阈值方法确定人脸标签。如果大于阈值则为活体否则为假体，活体情况下返回一张合格人脸图像。

本发明实施例基于对待测试的人脸图像，进行人脸检测和关键点定位，通过定位得到的人脸位置和关键点位置，在判定图像质量符合目标条件情况下，裁剪出目标图像。能够提高数据集的精度，进而，在提取在提高人脸静默活体检测的准确性的同时，降低计算复杂度，提高模型的推理效率。

图4是本发明提供的人脸静默活体检测装置的结构示意图。如图4所示，该装置包括：预处理模块410、第一特征提取模块420和活体检测模块430，其中：

预处理模块410，用于基于待检测的人脸图像进行预处理，获取目标图像。

第一特征提取模块420，用于基于目标图像和目标特征算子，获取第一特征图。

活体检测模块430，用于将目标图像和第一特征图输入至人脸静默活体检测模型，输出与待检测的人脸图像对应的活体检测结果。

其中，人脸静默活体检测模型包括：

第一特征提取层，用于基于目标图像和第一特征图像，分别在各自对应的网络分支中进行卷积操作，获取多个第二特征图像。

融合层，用于基于多个第二特征图像，进行特征融合，获取融合特征图像。

第二特征提取层，用于基于融合特征图像进行特征提取，获取第三特征图像。

输出层，用于基于第三特征图像，获取待检测的人脸图像对应的活体检测结果。

具体地，预处理模块410、第一特征提取模块420和活体检测模块430顺次电连接。

预处理模块410根据实际的检测需求，对待检测的人脸图像进行相应的预处理，获取目标图像。

目标图像，是指从原始图像上截取的包含全部人脸或者部分人脸的图像。目标图像用于输入至人脸静默活体检测模型，以进行人脸静默活体检测。

第一特征提取模块420根据检测需求设定目标特征算子，并根据该算子从预处理模块410中生成的目标图像进行提取操作，获取第一特征图像。

第一特征图像的数量与目标特征算子的数量相同，每一个第一特征图像均包含依据对应目标特征算子提取出的纹理特征。

活体检测模块430根据训练好的模型参数，对人脸静默活体检测模型进行设置后，通过该模型对预处理模块410生成目标图像和第一特征提取模块420生成的第一特征图像进行活体检测，可以得到与待检测的人脸图像对应的活体检测结果。

活体检测结果可以是一个概率值或者标签结果，本发明实施例对活体检测结果的形式不作具体限定。

若活体检测结果可以是一个概率值，则可以通过概率值说明人脸图像为活体或者假体的概率。

若活体检测结果可以是一个标签结果，则可以通过模型获取一个中间数值结果，将数值结果符合预先设置的目标条件，则为该数值结果对应的人脸图像分配对应的标签结果。

例如，通过人脸静默活体检测模型获取一个中间数值结果，用于表征人脸图像为活体的概率。根据预先设置的目标条件，当该概率大于预设阈值，则生成用于表达该人脸图像为活体的标签说明，并将该标签赋予该图像。

可选地，目标图像包括眼部区域图像、全脸区域图像和2倍脸部区域图像中一种或者多种。

可选地，活体检测模块430包括评分单元和检测单元，其中：

评分单元，用于基于第三特征图像，获取目标图像的活体置信度。

检测单元，用于基于目标图像的活体置信度，获取待检测的人脸图像对应的活体检测结果。

可选地，活体检测模块430具体用于基于注意力机制，对融合特征图像进行特征提取，获取第三特征图像。

可选地，预处理模块410包括定位单元和获取单元，其中：

定位单元，用于基于待检测的人脸图像进行预处理，获取人脸位置和关键点位置。

获取单元，用于基于人脸位置和关键点位置，在待检测的人脸图像的图像质量测试结果符合目标条件的情况下，获取目标图像。

可选地，图像质量测试包括光照检测、遮挡检测、模糊检测和姿态检测中的一种或者多种。

本发明实施例提供的人脸静默活体检测装置，用于执行本发明上述人脸静默活体检测方法，其实施方式与本发明提供的人脸静默活体检测方法的实施方式一致，且可以达到相同的有益效果，此处不再赘述。

本发明实施例基于待检测的人脸图像生成目标图像，通过目标特征算子进行人工特征提取出第一特征图像，通过原始的目标图像和第一特征图像进入人脸静默活体检测模型进行优化处理，通过第一特征提取层中的各网络分支提取出对应的第二特征图像，通过多个第一特征图像进行特征融合获取融合特征图像，通过第二特征提取层对融合特征图像进行特征提取获取第三特征图像，通过第三特征图像映射出活体检测结果。能够既保留与图像内容无关的底层语义特征，又结合深度神经网络自动发现图像内容相关的语义特征。在提高人脸静默活体检测的准确性的同时，降低计算复杂度，提高模型的推理效率。

图5示例了一种电子设备的实体结构示意图，如图5所示，该电子设备可以包括：处理器(processor)510、通信接口(Communications Interface)520、存储器(memory)530和通信总线540，其中，处理器510，通信接口520，存储器530通过通信总线540完成相互间的通信。处理器510可以调用存储器530中的逻辑指令，以执行人脸静默活体检测方法，该方法包括：基于待检测的人脸图像进行预处理，获取目标图像；基于目标图像和目标特征算子，获取第一特征图；将目标图像和第一特征图输入至人脸静默活体检测模型，输出与待检测的人脸图像对应的活体检测结果；其中，人脸静默活体检测模型包括：第一特征提取层，用于基于目标图像和第一特征图像，分别在各自对应的网络分支中进行卷积操作，获取多个第二特征图像；融合层，用于基于多个第二特征图像，进行特征融合，获取融合特征图像；第二特征提取层，用于基于融合特征图像进行特征提取，获取第三特征图像；输出层，用于基于第三特征图像，获取待检测的人脸图像对应的活体检测结果。

此外，上述的存储器530中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的人脸静默活体检测方法，该方法包括：基于待检测的人脸图像进行预处理，获取目标图像；基于目标图像和目标特征算子，获取第一特征图；将目标图像和第一特征图输入至人脸静默活体检测模型，输出与待检测的人脸图像对应的活体检测结果；其中，人脸静默活体检测模型包括：第一特征提取层，用于基于目标图像和第一特征图像，分别在各自对应的网络分支中进行卷积操作，获取多个第二特征图像；融合层，用于基于多个第二特征图像，进行特征融合，获取融合特征图像；第二特征提取层，用于基于融合特征图像进行特征提取，获取第三特征图像；输出层，用于基于第三特征图像，获取待检测的人脸图像对应的活体检测结果。

又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的人脸静默活体检测方法，该方法包括：基于待检测的人脸图像进行预处理，获取目标图像；基于目标图像和目标特征算子，获取第一特征图；将目标图像和第一特征图输入至人脸静默活体检测模型，输出与待检测的人脸图像对应的活体检测结果；其中，人脸静默活体检测模型包括：第一特征提取层，用于基于目标图像和第一特征图像，分别在各自对应的网络分支中进行卷积操作，获取多个第二特征图像；融合层，用于基于多个第二特征图像，进行特征融合，获取融合特征图像；第二特征提取层，用于基于融合特征图像进行特征提取，获取第三特征图像；输出层，用于基于第三特征图像，获取待检测的人脸图像对应的活体检测结果。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种人脸静默活体检测方法，其特征在于，包括：

基于待检测的人脸图像进行预处理，获取目标图像；

基于所述目标图像和目标特征算子，获取第一特征图；

将所述目标图像和所述第一特征图输入至人脸静默活体检测模型，输出与所述待检测的人脸图像对应的活体检测结果；

其中，所述人脸静默活体检测模型包括：

第一特征提取层，用于基于所述目标图像和所述第一特征图像，分别在各自对应的网络分支中进行卷积操作，获取多个第二特征图像；

融合层，用于基于多个所述第二特征图像，进行特征融合，获取融合特征图像；

第二特征提取层，用于基于所述融合特征图像进行特征提取，获取第三特征图像；

输出层，用于基于所述第三特征图像，获取所述待检测的人脸图像对应的活体检测结果。

2.根据权利要求1所述的人脸静默活体检测方法，其特征在于，所述目标图像包括眼部区域图像、全脸区域图像和2倍脸部区域图像中一种或者多种。

3.根据权利要求1或者2所述的人脸静默活体检测方法，其特征在于，所述基于所述第三特征图像，获取所述待检测的人脸图像对应的活体检测结果，包括：

基于所述第三特征图像，获取目标图像的活体置信度；

基于所述目标图像的活体置信度，获取所述待检测的人脸图像对应的活体检测结果。

4.根据权利要求1所述的人脸静默活体检测方法，其特征在于，所述融合特征图像进行特征提取，获取第三特征图像，包括：基于注意力机制，对所述融合特征图像进行特征提取，获取所述第三特征图像。

5.根据权利要求1所述的人脸静默活体检测方法，其特征在于，所述基于待检测的人脸图像进行预处理，获取目标图像，包括：

基于所述待检测的人脸图像进行预处理，获取人脸位置和关键点位置；

基于人脸位置和关键点位置，在所述待检测的人脸图像的图像质量测试结果符合目标条件的情况下，获取所述目标图像。

6.根据权利要求5所述的人脸静默活体检测方法，其特征在于，所述图像质量测试包括光照检测、遮挡检测、模糊检测和姿态检测中的一种或者多种。

7.一种人脸静默活体检测装置，其特征在于，包括：

预处理模块，用于基于待检测的人脸图像进行预处理，获取目标图像；

第一特征提取模块，用于基于所述目标图像和目标特征算子，获取第一特征图；

活体检测模块，用于将所述目标图像和所述第一特征图输入至人脸静默活体检测模型，输出与所述待检测的人脸图像对应的活体检测结果；

其中，所述人脸静默活体检测模型包括：

第一特征提取层，用于基于所述目标图像和所述第一特征图像，分别在各自对应的网络分支中进行卷积操作，获取多个第二特征图像；

融合层，用于基于多个所述第二特征图像，进行特征融合，获取融合特征图像；

第二特征提取层，用于基于所述融合特征图像进行特征提取，获取第三特征图像；

输出层，用于基于所述第三特征图像，获取所述待检测的人脸图像对应的活体检测结果。

8.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述人脸静默活体检测方法的步骤。

9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述人脸静默活体检测方法的步骤。

10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述人脸静默活体检测方法的步骤。

Images