CN114677722A - 一种融合多尺度特征的多监督人脸活体检测方法 - Google Patents

Abstract

本发明公开了一种融合多尺度特征的多监督人脸活体检测方法，包括：采集图像数据集，并对数据集进行预处理；通过中心差分卷积提取梯度纹理特征，并对编码进行融合；通过群感受野分支提取多尺度判别性特征，并与梯度纹理分支进行拼接融合；将两种特征融合后输入到残差结构中，进行深层语义学习和编码，并将结果输入深度图生成器与掩模生成器得到特征图；使用深度图进行监督、二值掩模为辅助监督；融合深度图生成器和掩模生成器的输出结果，计算预测得分，实现端到端的活体检测。本发明能够提升网络的性能与泛化能力，具有参数量小、端到端检测的优势；与现有主流的活体检测算法相比，本方法检测精度更高，具有更好的鲁棒性。

Description

一种融合多尺度特征的多监督人脸活体检测方法

技术领域

本发明涉及人脸活体检测的技术领域，尤其涉及一种融合多尺度特征的多监督人脸活体检测方法。

背景技术

近年来，人脸识别系统因其低成本、易安装等优点，被广泛应用于交通、监控等领域。然而，人脸识别系统也存在一定漏洞，攻击者利用合法用户的人脸信息进行系统攻击，这对用户的权益造成极大的危害。常用的欺诈攻击手段包括照片、视频和3D Mask攻击，为了解决这一问题，越来越多的研究者开始关注人脸活体检测技术。

人脸活体检测是一种识别镜头前的人脸是真实的人脸，是由照片或电子屏幕等设备处理后的欺诈人脸的技术，针对多变的欺诈方式。目前主流的检测方法分为传统机器学习和深度神经网络，传统方法侧重于探索活体与欺诈人脸之间如颜色失真、非刚性变形和莫尔图案等纹理差异，然后通过机器学习算法将活体检测转变为二分类问题，但由于手工设计的特征描述算子只能提取低层信息，在复杂场景下可能会导致模型的泛化能力较弱。

随着深度学习的进一步发展，研究人员开始尝试使用神经网络进行人脸活体检测。使用卷积神经网络和交叉熵损失函数来区分真实人脸和欺诈人脸，为提升网络模型的泛化能力，提出把人脸深度图作为区分活体与非活体的标准，将真实人脸和欺诈人脸描述为三维深度图像和平面图像，将欺诈人脸逆分解为欺诈噪声和真实人脸，利用欺诈噪声进行活体分类，用多帧图像作为网络的输入来提取时间信息，学习人脸图像中含有的时间特征、颜色特征等多维度信息，提升活体检测性能。但是目前的深度学习算法大多注重于神经网络模型的优化，而忽略了传统特征描述算子在特征抽取上的有效性，现有活体检测模型普遍有着庞大的计算量，当以多帧图像作为输入来提取时序信息时，往往需要更优良的设备，检测活体的时间复杂度也相应增加。

发明内容

本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。

鉴于上述现有存在的问题，提出了本发明。

因此，本发明解决的技术问题是：传统方法侧重于颜色失真、非刚性变形和莫尔图案等纹理差异，由于手工设计的特征描述算子只能提取低层信息，在复杂场景下会导致模型的泛化能力较弱；目前的深度学习算法忽略了传统特征描述算子在特征抽取上的有效性，现有活体检测模型普遍计算量大，需要更优良的设备，检测活体的时间复杂度也大。

为解决上述技术问题，本发明提供如下技术方案：采集图像数据集，并对数据集进行预处理；通过中心差分卷积提取梯度纹理特征，并对编码进行融合；通过群感受野分支提取多尺度判别性特征，并与梯度纹理分支进行拼接融合；将两种特征融合后输入到残差结构中，进行深层语义学习和编码，并将结果输入深度图生成器与掩模生成器得到特征图；使用深度图进行监督，增加二值掩模辅助监督；融合深度图生成器和掩模生成器的输出结果，计算预测得分，实现端到端的活体检测。

作为本发明所述的融合多尺度特征的多监督人脸活体检测方法的一种优选方案，其中：采集图像数据集包括OULU-NPU、CASIA-MFSD和Replay-Attack三个数据集。

作为本发明所述的融合多尺度特征的多监督人脸活体检测方法，其中：通过卷积提取图像特征，由卷积核进行卷积的过程包括，在进行卷积操作时，卷积核扫描特征图，对卷积核对应的特征做矩阵乘法求和并叠加偏差量；若卷积核w在输入特征图x上采样感受野区域R，进行矩阵运算，输出的特征y可以表示为：

其中，p₀表示输入和输出特征图的当前位置，p_n表示感受野R上的各个位置。

作为本发明所述的融合多尺度特征的多监督人脸活体检测方法，其中：包括，中心差分卷积计算公式表示为：

作为本发明所述的融合多尺度特征的多监督人脸活体检测方法，其中：将卷积与中心差分卷积相加，混合后的卷积计算公式表示为：

其中，超参数θ∈[0,1]表示标准卷积和中心差分卷积的贡献权重；

θ值越大表示混合卷积提取的中心差分梯度信息的占比越大。

作为本发明所述的融合多尺度特征的多监督人脸活体检测方法，其中：通过多尺度特征融合模块的中心差分卷积提取梯度纹理特征包括，RGB图像经过卷积核尺寸为3×3的中心差分卷积后，得到纹理信息的特征图S，对S进行卷积与池化操作，对特征编码得到128×128×32的纹理特征图。

作为本发明所述的融合多尺度特征的多监督人脸活体检测方法，其中：通过多尺度特征融合模块的群感受野分支提取多尺度判别性特征包括，采用不同尺寸的卷积核组成多小分支结构，每个小分支通过卷积核尺寸为1×1的卷积学习浅层空间信息；分别使用3×3、3×1和1×3三种尺寸的卷积核学习多尺度特征信息，在第二和第三小分支增加扩张率为3、卷积核尺寸为3×3的空洞卷积，使得模型不增加卷积核数量且保持分辨率，获得更大的感受野；将三个小分支的特征拼接，使用尺寸为1×1的卷积核对多尺度的空间及语义信息进行编码，使得不同感受野信息充分融合；使用残差结构将多尺度深层信息与浅层空间信息融合，得到尺寸为128×128×32的群感受野特征图，并与梯度纹理分支进行拼接融合。

作为本发明所述的融合多尺度特征的多监督人脸活体检测方法，其中：使用深度图进行监督、二值掩模辅助监督包括，二值监督策略使用0、1标签区分真实和欺诈人脸；通过提取检测对象的深度特征抵御照片攻击和视频攻击；掩模监督结合二值监督与深度图监督的特点，标签人脸部分为1，背景为0，使网络将学习中心放在人脸部位。

作为本发明所述的融合多尺度特征的多监督人脸活体检测方法，其中：将两种特征融合后输入到残差结构中，进行深层语义学习和编码，并将结果输入深度图生成器与掩模生成器得到特征图包括，深度图生成器与掩模生成器由三层标准卷积组成，输出尺寸为32×32×1的深度估计图与掩模估计图；

损失函数使用均方误差函数，表达式为：

其中，p表示深度估计图中的像素值，q表示掩模估计图中的像素值，D和M分别表示生成的深度估计图与掩模估计图，GD和GM分别表示深度图标签与掩模标签。

作为本发明所述的融合多尺度特征的多监督人脸活体检测方法，其中：包括，loss表达式为：

l＝α₁·l_depth+α₂·l_mask

其中α₁和α₂是每一项的正则化系数，实验中为了使网络更好地收敛，系数分别设置为3和1；将深度图生成器和掩模生成器得到的预测结果进行相加，若预测分数高于阈值，则检测为活体；反之则为非活体。

本发明的有益效果：提升网络的性能与泛化能力，具有参数量小、端到端检测的优势；与现有主流的活体检测算法相比，本方法检测精度更高，具有更好的鲁棒性。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。其中：

图1为本发明一个实施例提供的一种融合多尺度特征的多监督人脸活体检测方法的中心差分卷积操作流程图；

图2为本发明一个实施例提供的一种融合多尺度特征的多监督人脸活体检测方法的多监督特征提取网络流程图；

图3为本发明一个实施例提供的一种融合多尺度特征的多监督人脸活体检测方法的群感受野模块流程图；

图4为本发明一个实施例提供的一种融合多尺度特征的多监督人脸活体检测方法的真实人脸与欺诈人脸特征可视化对比效果示意图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合说明书附图对本发明的具体实施方式做详细的说明，显然所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明的保护的范围。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。

其次，此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实施例中”并非均指同一个实施例，也不是单独的或选择性的与其他实施例互相排斥的实施例。

本发明结合示意图进行详细描述，在详述本发明实施例时，为便于说明，表示器件结构的剖面图会不依一般比例作局部放大，而且所述示意图只是示例，其在此不应限制本发明保护的范围。此外，在实际制作中应包含长度、宽度及深度的三维空间尺寸。

同时在本发明的描述中，需要说明的是，术语中的“上、下、内和外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一、第二或第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

本发明中除非另有明确的规定和限定，术语“安装、相连、连接”应做广义理解，例如：可以是固定连接、可拆卸连接或一体式连接；同样可以是机械连接、电连接或直接连接，也可以通过中间媒介间接相连，也可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

实施例1

参照图1～3，为本发明的一个实施例，提供了一种融合多尺度特征的多监督人脸活体检测方法，包括：

S1：采集图像数据集，并对数据集进行预处理。

需要说明的是，采用OULU-NPU、CASIA-MFSD和Replay-Attack三个主流公开图像数据集；

OULU-NPU数据集包含的性能：

评估模型在不同的照明和背景下的泛化能力；

评估模型在不同攻击方式下的泛化能力；

探讨不同的拍摄设备对模型性能的影响；

评估模型在不同的场景、攻击方式及拍摄设备下的通用能力。

CASIA-MFSD数据集的攻击方式分为：

照片攻击彩色打印人脸照片并弯曲展示；

图片切割攻击将照片的眼睛区域分割出来，人脸在照片后进行欺诈攻击；

视频攻击使用高像素视频冒充真实人脸；

该数据集具有三种不同分辨率图像，在复杂背景下模拟多种攻击方式，对模型的泛化能力有极大的考验。

Replay-Attack数据集的攻击方式包括照片和视频攻击，支持条件包括手持媒体和固定媒体两种方式，该数据集采集了在不同光照和支持条件下的样本，实验结果更加接近真实情况。

S2：通过卷积操作提取感受野的中心梯度信息。

需要说明的是，通过卷积提取图像特征，由卷积核进行卷积的过程包括：卷积核的个数决定卷积操作后特征图的维度，卷积核的大小决定特征感受野的大小，卷积核内每个位置都有对应的参数和偏差量，在进行卷积操作时，卷积核扫描特征图，对卷积核对应的特征做矩阵乘法求和并叠加偏差量；

若卷积核w在输入特征图x上采样感受野区域R，进行矩阵运算，输出的特征y可以表示为：

其中，p₀表示输入和输出特征图的当前位置，p_n表示感受野R上的各个位置。

传统的卷积核参数由神经网络计算的代价函数误差进行反向传播而更新得到，但是随机性的参数会导致卷积的细节特征提取能力不足，为提升卷积神经网络的细节表征能力，中心差分卷积(Central Difference Con-volution,CDC)的扫描过程与标准卷积相同，不同点在于矩阵运算过程中多了感受野周围点对中心点的差值运算，这样卷积操作更加专注于提取感受野的中心梯度信息；

中心差分卷积计算公式表示为：

图像的纹理信息、空间和语义信息对于人脸活体检测十分重要，将中心差分卷积与标准卷积结合起来，采用直接相加的方式，使卷积具有更好的特征提取能力，修改后的混合卷积计算公式表示为：

其中，超参数θ∈[0,1]表示标准卷积和中心差分卷积的贡献权重；

θ值越大表示混合卷积提取的中心差分梯度信息的占比越大。

S3：通过中心差分卷积提取梯度纹理特征，并对编码进行融合。

需要说明的是，多尺度特征融合模块(Multi-scale Feature Fusion Module,MFFM)分为梯度纹理分支和群感受野分支，通过中心差分卷积学习细节纹理特征，通过空洞卷积在保持特征图大小不变的情况下学习群感受野特征，与标准卷积相比，MFFM提取更多包含细节信息、空间信息和语义信息的特征，提高模型泛化能力；

通过多尺度特征融合模块的中心差分卷积提取梯度纹理特征包括：与中心差分卷积和标准卷积直接相加不同，梯度纹理分支取消标准卷积部分，仅使用中心差分卷积来提取细节信息，防止直接相加造成的纹理特征破坏，RGB图像经过卷积核尺寸为3×3的中心差分卷积后，得到纹理信息的特征图S，对S进行卷积与池化操作，对特征编码得到128×128×32的纹理特征图。

S4：通过群感受野分支提取多尺度判别性特征，并与梯度纹理分支进行拼接融合。

需要说明的是，为获得多尺度的判别性特征，融合人脸空间和语义信息，采用不同尺寸的卷积核组成多小分支结构，每个小分支通过卷积核尺寸为1×1的卷积学习浅层空间信息；

分别使用3×3、3×1和1×3三种尺寸的卷积核学习多尺度特征信息，在第二和第三小分支增加扩张率为3、卷积核尺寸为3×3的空洞卷积，使得模型不增加卷积核数量且保持分辨率，获得更大的感受野；

将三个小分支的特征拼接，使用尺寸为1×1的卷积核对多尺度的空间及语义信息进行编码，使得不同感受野信息充分融合；

使用残差结构将多尺度深层信息与浅层空间信息融合，得到尺寸为128×128×32的群感受野特征图，并与梯度纹理分支进行拼接融合。

S5：将两种特征融合后输入到残差结构中进行深层语义学习和编码，并将结果输入深度图生成器与掩模生成器得到特征图。

需要说明的是，多监督特征提取网络(Multi-supervision Feature ExtractionNetwork,MFEN)框架由多尺度特征融合模块、残差结构和生成器这三部分组成，网络输入的图像尺寸为256×256×3，包含RGB这3个通道；

二值监督策略使用0、1标签来区分真实和欺诈人脸，但该策略在复杂场景下易对背景、照明等信息产生过拟合现象；

深度图监督认为真实人脸具有深度信息，通过照片、电子屏幕等设备得到的人脸图像为平面物体，通过提取检测对象的深度特征可以有效地抵御照片攻击和视频攻击；

相比单监督策略，多重监督使网络学习到更加鲁棒性的特征，深度图作为主要监督，设计人脸的二值掩模作为辅助监督；

S6：融合深度图生成器和掩模生成器的输出结果，计算预测得分，实现端到端的活体检测。

需要说明的是，掩模监督结合了二值监督与深度图监督的特点，标签人脸部分为1，背景为0，使得网络将学习中心放在人脸部位，起到注意力作用，深度图生成器与掩模生成器都由三层标准卷积组成，输出尺寸为32×32×1的深度估计图与掩模估计图；

损失函数使用均方误差函数，表达式如下：

其中，p表示深度估计图中的像素值，q表示掩模估计图中的像素值，D和M分别表示生成的深度估计图与掩模估计图，GD和GM分别表示深度图标签与掩模标签；

loss表达式为：

l＝α₁·l_depth+α₂·l_mask

其中α₁和α₂是每一项的正则化系数，实验中为了使网络更好地收敛，系数分别设置为3和1；

将深度图生成器和掩模生成器得到的预测结果进行相加，若预测分数高于阈值，则检测为活体；反之则为非活体。

本发明能够提升网络的性能与泛化能力，具有参数量小、端到端检测的优势；与现有主流的活体检测算法相比，本方法检测精度更高，具有更好的鲁棒性。

实施例2

参照图4为本发明另一个实施例，该实施例不同于第一个实施例的是，提供了一种融合多尺度特征的多监督人脸活体检测方法的验证测试，为对本方法中采用的技术效果加以验证说明，本实施例采用传统技术方案与本发明方法进行对比测试，以科学论证的手段对比试验结果，以验证本方法所具有的真实效果。

实验采用Adam优化器，初始学习率设置为1E-4，batchsize设置为8，编程环境为PyTorch，硬件设备为一张NVIDIA RTX 2080Ti显卡。为了验证提出的多尺度特征融合模块与多重监督策略的有效性，在OULU-NPU数据集上做了三组消融实验来说明不同改进方案对检测性能的影响。

表1：OULU-NPU数据集协议一的消融实验结果表。

如表1所示，其中方法一表示标准卷积模型，方法二表示中心差分卷积策略，方法三表示中心差分卷积+群感受野策略，方法四表示中心差分卷积+群感受野+多重监督策略。在中心差分卷积替代模型中第一层提取特征的标准卷积后，性能得到了明显提升，说明梯度纹理信息对于活体检测任务起着至关重要的作用，同时表明标准卷积的提取能力有限，可能会导致网络缺失捕获细节信息的能力。

为了补足图像表征能力，采用中心差分卷积+群感受野的多尺度特征融合模块，使得模型更好地提取多维度特征，提高检测精度。为了提升模型鲁棒性，采用多重监督策略，结合深度图与二值掩模，进一步增强检测性能。

为验证本发明的有效性，使用OULU-NPU、CASIA-MFSD和Replay-Attack三个公开数据集与其他主流活体检测方法进行对比实验。

表2：OULU-NPU数据集不同算法的对比结果表。

如表2所示，可以看出OULU-NPU数据集上各主流方法的实验结果。本发明的ACER评价指标分别达到了0.9％、1.9％、1.6±2.0％、2.7±1.8％，均优于其他方法。与多帧方法不同，如Auxiliary和STASN使用多张图像作为网络输入，本发明使用单帧图像进行活体检测，大大降低了模型的复杂度，最终实验结果充分证明了提取多尺度特征和多重监督策略的有效性，协议四中，本方法较之前最优方法提升了39％，表明该方法在复杂场景下具有良好的泛化能力。

表3：CASIA-MFSD和Replay-Attack数据集上不同算法的对比结果表。

如表3所示，不同方法在CASIA-MFSD和Replay-Attack数据集上的结果，两个数据集都包含多种分辨率的视频，可以检测模型在多分辨率和不同光照背景下的鲁棒性，实验的对比方法包括基于手工特征的机器学习方法与深度神经网络算法，本发明在CASIA-MFSD和Replay-Attack数据集上的EER和HTER都达到0.0％和0.0％，实现无误差人脸活体检测，实验结果表明该方法在多种攻击方式和光照背景下具有优异的检测性能。

表4：CASIA-MFSD and Replay-Attack的跨数据集评估表。

如表4所示，为了进一步验证该方法的泛化能力，使用CASIA-MFSD和Replay-Attack来执行跨数据集评估，即对不同的数据集进行训练和测试评估。

由于数据集之间差异较大，该评估方式对模型的鲁棒性有极大地考验，本发明使用CASIA-MFSD训练、Replay-Attack测试时(CA-Re)，该方法取得最优的精度；使用Replay-Attack训练、CASIA-MFSD测试时(Re-CA)，在Replay-Attack数据集像素值较低，不利于本方法梯度纹理特征提取的情况下，仍取得较为优异的检测效果，在完全不同的场景下仍具有一定的鲁棒性。

如图4所示，卷积神经网络是一个“黑盒”模型，而可视化方案大大提高了结果的可解释性，为了进一步验证所提方法的有效性，在OULU-NPU数据集的协议一上对生成的深度图和掩模图像进行了可视化；可以看出本发明提出的模型可以很好地生成真实人脸的深度图和二值掩模图，对于照片攻击和视频攻击，模型也可以正确处理，仅生成平面图像，表明了方法的有效性。

应当认识到，本发明的实施例可以由计算机硬件、硬件和软件的组合、或者通过存储在非暂时性计算机可读存储器中的计算机指令来实现或实施。所述方法可以使用标准编程技术-包括配置有计算机程序的非暂时性计算机可读存储介质在计算机程序中实现，其中如此配置的存储介质使得计算机以特定和预定义的方式操作——根据在具体实施例中描述的方法和附图。每个程序可以以高级过程或面向对象的编程语言来实现以与计算机系统通信。然而，若需要，该程序可以以汇编或机器语言实现。在任何情况下，该语言可以是编译或解释的语言。此外，为此目的该程序能够在编程的专用集成电路上运行。

此外，可按任何合适的顺序来执行本文描述的过程的操作，除非本文另外指示或以其他方式明显地与上下文矛盾。本文描述的过程(或变型和/或其组合)可在配置有可执行指令的一个或多个计算机系统的控制下执行，并且可作为共同地在一个或多个处理器上执行的代码(例如，可执行指令、一个或多个计算机程序或一个或多个应用)、由硬件或其组合来实现。所述计算机程序包括可由一个或多个处理器执行的多个指令。

进一步，所述方法可以在可操作地连接至合适的任何类型的计算平台中实现，包括但不限于个人电脑、迷你计算机、主框架、工作站、网络或分布式计算环境、单独的或集成的计算机平台、或者与带电粒子工具或其它成像装置通信等等。本发明的各方面可以以存储在非暂时性存储介质或设备上的机器可读代码来实现，无论是可移动的还是集成至计算平台，如硬盘、光学读取和/或写入存储介质、RAM、ROM等，使得其可由可编程计算机读取，当存储介质或设备由计算机读取时可用于配置和操作计算机以执行在此所描述的过程。此外，机器可读代码，或其部分可以通过有线或无线网络传输。当此类媒体包括结合微处理器或其他数据处理器实现上文所述步骤的指令或程序时，本文所述的发明包括这些和其他不同类型的非暂时性计算机可读存储介质。当根据本发明所述的方法和技术编程时，本发明还包括计算机本身。计算机程序能够应用于输入数据以执行本文所述的功能，从而转换输入数据以生成存储至非易失性存储器的输出数据。输出信息还可以应用于一个或多个输出设备如显示器。在本发明优选的实施例中，转换的数据表示物理和有形的对象，包括显示器上产生的物理和有形对象的特定视觉描绘。

如在本申请所使用的，术语“组件”、“模块”、“系统”等等旨在指代计算机相关实体，该计算机相关实体可以是硬件、固件、硬件和软件的结合、软件或者运行中的软件。例如，组件可以是，但不限于是：在处理器上运行的处理、处理器、对象、可执行文件、执行中的线程、程序和/或计算机。作为示例，在计算设备上运行的应用和该计算设备都可以是组件。一个或多个组件可以存在于执行中的过程和/或线程中，并且组件可以位于一个计算机中以及/或者分布在两个或更多个计算机之间。此外，这些组件能够从在其上具有各种数据结构的各种计算机可读介质中执行。这些组件可以通过诸如根据具有一个或多个数据分组(例如，来自一个组件的数据，该组件与本地系统、分布式系统中的另一个组件进行交互和/或以信号的方式通过诸如互联网之类的网络与其它系统进行交互)的信号，以本地和/或远程过程的方式进行通信。

应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (10)

1.一种融合多尺度特征的多监督人脸活体检测方法，其特征在于，包括：

采集图像数据集，并对数据集进行预处理；

通过中心差分卷积提取梯度纹理特征，并对编码进行融合；

通过群感受野分支提取多尺度判别性特征，并与梯度纹理分支进行拼接融合；

将两种特征融合后输入到残差结构中，进行深层语义学习和编码，并将结果输入深度图生成器与掩模生成器得到特征图；

使用深度图进行监督、二值掩模为辅助监督；

融合深度图生成器和掩模生成器的输出结果，计算预测得分，实现端到端的活体检测。

2.如权利要求1所述的融合多尺度特征的多监督人脸活体检测方法，其特征在于：所述采集图像数据集包括：OULU-NPU、CASIA-MFSD和Replay-Attack三个数据集。

3.如权利要求1所述的融合多尺度特征的多监督人脸活体检测方法，其特征在于：通过卷积提取图像特征，由卷积核进行卷积的过程包括，

在进行卷积操作时，卷积核扫描特征图，对卷积核对应的特征做矩阵乘法求和并叠加偏差量；

若卷积核w在输入特征图x上采样感受野区域R，进行矩阵运算，输出的特征y可以表示为：

其中，p₀表示输入和输出特征图的当前位置，p_n表示感受野R上的各个位置。

4.如权利要求1或3所述的融合多尺度特征的多监督人脸活体检测方法，其特征在于：包括，

所述中心差分卷积计算公式表示为：

5.如权利要求4所述的融合多尺度特征的多监督人脸活体检测方法，其特征在于：将所述卷积与中心差分卷积相加，混合后的卷积计算公式表示为：

其中，超参数θ∈[0,1]表示标准卷积和中心差分卷积的贡献权重；

θ值越大表示混合卷积提取的中心差分梯度信息的占比越大。

6.如权利要求1所述的融合多尺度特征的多监督人脸活体检测方法，其特征在于：通过多尺度特征融合模块的中心差分卷积提取梯度纹理特征包括，

RGB图像经过卷积核尺寸为3×3的中心差分卷积后，得到纹理信息的特征图S，对S进行卷积与池化操作，对特征编码得到128×128×32的纹理特征图。

7.如权利要求1所述的融合多尺度特征的多监督人脸活体检测方法，其特征在于：通过多尺度特征融合模块的群感受野分支提取多尺度判别性特征包括，

采用不同尺寸的卷积核组成多小分支结构，每个小分支通过卷积核尺寸为1×1的卷积学习浅层空间信息；

分别使用3×3、3×1和1×3三种尺寸的卷积核学习多尺度特征信息，在第二和第三小分支增加扩张率为3、卷积核尺寸为3×3的空洞卷积，使得模型不增加卷积核数量且保持分辨率，获得更大的感受野；

将三个小分支的特征拼接，使用尺寸为1×1的卷积核对多尺度的空间及语义信息进行编码，使得不同感受野信息充分融合；

使用残差结构将多尺度深层信息与浅层空间信息融合，得到尺寸为128×128×32的群感受野特征图，并与梯度纹理分支进行拼接融合。

8.如权利要求1所述的融合多尺度特征的多监督人脸活体检测方法，其特征在于：使用所述深度图进行监督、二值掩模辅助监督包括，

所述二值监督策略使用0、1标签区分真实和欺诈人脸；

通过提取检测对象的深度特征抵御照片攻击和视频攻击；

所述掩模监督结合二值监督与深度图监督的特点，标签人脸部分为1，背景为0，使网络将学习中心放在人脸部位。

9.如权利要求1或8所述的融合多尺度特征的多监督人脸活体检测方法，其特征在于：将两种特征融合后输入到所述残差结构中，进行深层语义学习和编码，并将结果输入深度图生成器与掩模生成器得到特征图包括，

深度图生成器与掩模生成器由三层标准卷积组成，输出尺寸为32×32×1的深度估计图与掩模估计图；

损失函数使用均方误差函数，表达式为：

其中，p表示深度估计图中的像素值，q表示掩模估计图中的像素值，D和M分别表示生成的深度估计图与掩模估计图，GD和GM分别表示深度图标签与掩模标签。

10.如权利要求9所述的融合多尺度特征的多监督人脸活体检测方法，其特征在于：包括，

loss表达式为：

l＝α₁·l_depth+α₂·l_mask

其中α₁和α₂是每一项的正则化系数，实验中为了使网络更好地收敛，系数分别设置为3和1；

将所述深度图生成器和所述掩模生成器得到的预测结果进行相加，若预测分数高于阈值，则检测为活体；反之则为非活体。

Images