CN113343770A - 一种基于特征筛选的人脸防伪方法 - Google Patents

一种基于特征筛选的人脸防伪方法 Download PDF

Info

Publication number
CN113343770A
CN113343770A CN202110516608.XA CN202110516608A CN113343770A CN 113343770 A CN113343770 A CN 113343770A CN 202110516608 A CN202110516608 A CN 202110516608A CN 113343770 A CN113343770 A CN 113343770A
Authority
CN
China
Prior art keywords
feature
face
convolution
depth
map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110516608.XA
Other languages
English (en)
Other versions
CN113343770B (zh
Inventor
朱荣
彭冬梅
孙昕荣
田鹏
周维宇
李明浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University WHU
Original Assignee
Wuhan University WHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University WHU filed Critical Wuhan University WHU
Priority to CN202110516608.XA priority Critical patent/CN113343770B/zh
Publication of CN113343770A publication Critical patent/CN113343770A/zh
Application granted granted Critical
Publication of CN113343770B publication Critical patent/CN113343770B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出了一种基于特征筛选的人脸防伪方法。本发明设计了一种层级特征筛选机制用于优化面部深度特征的提取，有效利用了不同层级特征模块之间的关联关系，补充了面部深度提取的部分细节信息；并且提出了一种基于视点加权的交叉熵损失用于优化网络的学习监督过程，通过视点加权之后交叉熵损失重点刻画不同视点之间的深度差异，学习面部整体的深度差异信息。

Description

一种基于特征筛选的人脸防伪方法
技术领域
发明涉及人脸防伪技术，特别涉及一种基于特征筛选的人脸防伪技术。
背景技术
随着信息科技的发展，人脸已经成为生物特征识别技术中具备高效性、用户友好性的首选特征之一。人脸作为一种独特的生物特征有其固有的特殊属性，包括唯一性与稳定性，唯一性是指人脸所表征的生物特征是独一无二的；稳定性是指除非刻意的人为改变，人脸所表征的生物特征是长期稳定的。尽管基于人脸的身份识别已经获得了广泛的应用，但仍存在不少的安全漏洞，一旦非法用户通过伪造欺骗人脸信息顺利入侵识别系统，将对注册用户的信息安全、财产安全带来无法估量的威胁。因此，人脸防伪技术必不可少，即通过技术手段有效区分具备生物特征的真实人物和伪造的欺骗人脸，人脸防伪是抵御非法用户通过伪造人脸信息入侵人脸识别系统的有效方式。
在人脸防伪技术领域的研究发展之中，为了使得真实样本与攻击样本之间能够有明显的区分，研究者们一直致力于探寻高效的区分性特征。在我们理想设定的条件之下，该区分性特征应具备以下几种特质：1)普遍存在于真实样本与攻击样本之间，是被公认的特征差异；
2)能够规避诸多由环境因素的影响，如光照环境、采集设备、背景环境等等；3)能够便捷的获取，有被应用于实际场景、作用于实时人脸防伪的可能性。基于上述的分析描述，面部深度差异特征在面对打印照片攻击和电子屏幕攻击时具备上述几点特质，可以作为对打印照片及电子屏幕这两种攻击方式进行人脸防伪时的有效特征手段。
对于以上两种攻击方式而言，人脸面部的信息均是以平面的形式在采集数据的摄像头前进行展现，且经由这两种方式采集得到的攻击样本数据实际上是真实对象的信息被二次采集的结果。此时的真实样本与攻击样本之间是存在明显的深度特征差异的，在图像采集设备前，真实的用户对象具有清晰的三维立体结构，我们认为真实的用户对象面部的不同区域距离图像采集设备的远近是有区别存在的。比如说，人脸的鼻头距离图像采集设备最近，而耳朵距离图像采集设备最远，但是，若出现在图像采集设备前的是打印照片攻击或者电子屏幕攻击时，人脸面部的不同区域距离图像采集设备的远近是相同的，这就是我们所描述的面部深度特征差异。在人脸防伪的技术研究中，为了更方便的理解并且应用面部深度特征差异，我们将真实样本认定为存在面部深度的变化，而将攻击样本认定为不存在面部深度的变化，其深度信息是一个值为0的平面。
基于上述分析可知，面部深度特征差异的有效提取会直接影响到人脸防伪模型的性能效果。前期的基于面部深度信息的人脸防伪方法要么将其作为一种辅助监督特征信息，要么结合时序信息优化面部特征信息的提取，前期的研究忽略了不同层级特征信息之间的关联关系在面部深度特征提取中的影响。
发明内容
基于上述方法的不足，本发明提出了一种基于特征筛选的人脸防伪方法。本发明设计了一种层级特征筛选机制用于优化面部深度特征的提取，并且提出了一种基于视点加权的交叉熵损失用于优化网络的学习监督过程。
本发明的目的通过以下技术方案实现：
步骤一，准备实验数据，包括真实人脸图像样本数据以及攻击人脸图像样本数据，将样本数据进行预处理，预处理后的样本数据用于面部深度估计网络和多模态分类网络的RGB模态输入；
步骤二，获取图像类别标签，真实人脸的类别标签设置为1，攻击人脸的类别标签设置为0，通过独热编码将类别转换成二维向量表示，向量维度与类别数目一致，该图像类别标签将作为多模态分类网络中损失计算时的标签值；
步骤三，获取图像面部深度图标签，真实人脸图像的不同面部区域存在深度差异，其面部深度标签图将通过PRNet算法进行三维重建和映射获得；攻击人脸图像的不同面部区域之间不存在深度差异，其面部深度标签图将被设置为值为0的平面，图像面部深度标签将作为面部深度估计网络损失计算时的图像标签值；
步骤四，构建面部深度估计网络，所述面部深度估计网络的输入为图像样本IRGB，包括初步特征提取、低维特征提取、中维特征提取、高维特征提取、层级特征筛选、反卷积操作、特征融合以及最终的卷积操作，最终估计得到面部深度图；
其中，初步特征提取通过卷积层实现，并采用批标准化操作和ELU激活操作进行优化；低维特征提取、中维特征提取、高维特征提取由多个卷积层级联组成的卷积模块实现，低维特征提取、中维特征提取之后均进行平均池化处理后得到
Figure BDA0003061734820000021
和
Figure BDA0003061734820000022
层级特征筛选是针对池化后的中维特征
Figure BDA0003061734820000031
以及高维特征Fhigh进行处理，得到新的特征分布图
Figure BDA0003061734820000032
然后进行池化操作，得到
Figure BDA0003061734820000033
反卷积操作是指对
Figure BDA0003061734820000034
及
Figure BDA0003061734820000035
进行反卷积操作处理，得到与
Figure BDA0003061734820000036
同尺寸大小的输出
Figure BDA0003061734820000037
和
Figure BDA0003061734820000038
特征融合即融合
Figure BDA0003061734820000039
以及
Figure BDA00030617348200000310
步骤五，采用基于视点加权的交叉熵损失和对比深度损失共同实现对的面部深度估计网络的学习约束监督；
步骤六，将IRGB与估计所得的面部深度图按通道进行连接，构成多模态分类网络输入；所述多模态分类网络包括由多个卷积层组成的卷积操作、平均池化操作、卷积操作和全连接处理；
步骤七，通过计算预测输出与样本标签之间的损失差异，实现对多模态分类网络的约束监督；
步骤八，进行面部深度估计网络和多模态分类网络的反向传播训练；
步骤九，将测试数据输入到训练好的面部深度估计网络和多模态分类网络中，输出测试数据的预测类别。
进一步的，步骤四中面部深度估计网络的具体实现过程包括如下步骤：
步骤4.1，采用卷积操作对输入图像样本IRGB进行初步特征提取，经过卷积之后得到初始特征输出
Figure BDA00030617348200000311
步骤4.2，依次采用批标准化操作和ELU激活操作优化输出特征Finit，BN和ELU用于加快模型的收敛速度，增强模型的表达能力，避免梯度爆炸或者陷入局部优化，由此得到输出特征Finit′；
步骤4.3，分别采用三个卷积操作级联组成一组卷积模块，每次卷积操作之后紧跟着BN操作和ELU操作，将Finit′作为该卷积模块的输入，实现低维特征
Figure BDA00030617348200000312
的提取；
步骤4.4，对Flow进行平均池化处理，通过池化操作缩小特征图的大小，适当的减少模型参数来削弱过拟合的影响，池化处理之后得到特征输出
Figure BDA00030617348200000313
步骤4.5，重复步骤4.3中的操作，此时将
Figure BDA00030617348200000314
作为卷积模块的输入，得到中维特征输出
Figure BDA00030617348200000315
步骤4.6，重复步骤4.4中的操作，对Fmid进行池化操作，此时获得处理后的中维特征
Figure BDA0003061734820000041
步骤4.7，重复步骤4.3中的操作，将
Figure BDA0003061734820000042
作为卷积模块的输入，得到高维特征输出
Figure BDA0003061734820000043
步骤4.8，利用层级特征筛选机制，计算中维特征
Figure BDA0003061734820000044
与高维特征Fhigh之间的权重矩阵Wmh，将归一化之后的权重矩阵Wmh用于更新Fhigh的特征分布，并结合通道卷积获得新的特征分布图
Figure BDA0003061734820000045
步骤4.9，重复步骤4.4中的操作，对
Figure BDA0003061734820000046
进行池化操作，此时获得处理后的高维特征
Figure BDA0003061734820000047
步骤4.10，分别采用步长不同的两个反卷积操作对
Figure BDA0003061734820000048
及
Figure BDA0003061734820000049
进行处理，得到与
Figure BDA00030617348200000410
同尺寸大小的输出
Figure BDA00030617348200000411
和
Figure BDA00030617348200000412
步骤4.11，采用通道连接的方式融合
Figure BDA00030617348200000413
以及
Figure BDA00030617348200000414
获得融合特征
Figure BDA00030617348200000415
步骤4.12，将融合特征Ffuse依次通过四个级联卷积层，并得到最后的输出
Figure BDA00030617348200000416
即表示通过上述网络结构学习得到的面部深度信息图。
进一步的，步骤4.8的具体实现方式如下；
步骤4.8.1，计算中维特征
Figure BDA00030617348200000417
与高维特征Fhigh之间的权重矩阵Wmh，，计算方式如下：
Figure BDA0003061734820000051
其中，k表示特征图进行维度变换之后的特征点总数，c表示特征图的通道数，mij表示维度变换后的特征
Figure BDA0003061734820000052
的第i个特征图上第j个特征点的信息，hij则表示维度变换后的特征
Figure BDA0003061734820000053
的第i个特征图上第j个特征点的信息；
步骤4.8.2，利用sigmoid方式对Wmh进行归一化处理，其公式表达为：
Figure BDA0003061734820000054
其中，Wmh(a，b)表示权重矩阵中第a行，第b列的值，e(·)表示指数变换；
步骤4.8.3，利用归一化后的权重矩阵Wmh′对高维特征Fhigh进行加权计算，计算方式通过矩阵叉乘实现，具体表达为：
Figure BDA0003061734820000055
步骤4.8.4，将加权后的高维特征图
Figure BDA0003061734820000056
与原始的高维特征图Fhigh按通道进行连接，得到
Figure BDA0003061734820000057
其特征通道数为2c；
步骤4.8.5，采用卷积核大小为1×1的卷积操作对
Figure BDA0003061734820000058
实施通道筛选，获得经过完整特征筛选后的特征图
Figure BDA0003061734820000059
其特征通道数为c。
进一步的，步骤五中，基于视点加权的交叉熵损失函数的具体定义为：
Figure BDA0003061734820000061
Figure BDA0003061734820000062
其中，yi表示第i个样本的标签，且真实样本标签记为1，攻击样本标签记为0，
Figure BDA0003061734820000063
和
Figure BDA0003061734820000064
分别表示第i个样本深度标签图中的第j个像素值以及第i个样本深度预测图中的第j个像素值，
Figure BDA0003061734820000065
则表示第i个样本在第j个像素值上的加权值，若第i个样本中第j个像素的深度标签值非0，则权重矩阵
Figure BDA0003061734820000066
中该点的权重值为α∈(0，1]，否则为0，WD则表示每一批次所有真实训练样本权重矩阵的集合，正则项
Figure BDA0003061734820000067
将用于在训练过程中随机优化真实样本面部区域的权重取值，通过模型的训练学习过程获取最佳的权重参数，从而优化面部深度特征信息的提取。
进一步的，步骤五中，对比深度损失函数的具体定义为：
Figure BDA0003061734820000068
其中，加号的左侧项表示相对损失，右侧项表示绝对损失，Kr表示第r个计算核，该计算核的尺寸大小为3×3，Nk表示计算核的总数，⊙表示卷积运算，GD与OD则分别代指面部深度标签图和面部深度估计信息图，即深度预测图，β为权重因子，用于调整相对损失和绝对损失之间的大小关系。
进一步的，步骤六的具体实现方式如下；
步骤6.1，将IRGB与估计所得的面部深度图ODepth按通道进行连接，构成多模态融合输入
Figure BDA0003061734820000069
步骤6.2，将Imulti作为多模态分类网络的输入，采用多个卷积核对其进行卷积操作实现特征提取，卷积操作之后紧跟着BN操作和ELU操作，得到输出特征图
Figure BDA00030617348200000610
步骤6.3，对Fc1进行平均池化处理，得到输出特征
Figure BDA00030617348200000611
步骤6.4，将Fp1作为输入，采用多个卷积核对其进行卷积操作实现特征提取，得到输出特征图
Figure BDA0003061734820000071
步骤6.5，对Fc2进行平均池化处理，得到输出特征
Figure BDA0003061734820000072
步骤6.6，将Fp2作为输入，采用多个卷积核对其进行卷积操作实现特征提取，得到输出特征图
Figure BDA0003061734820000073
步骤6.7，对Fc3进行平均池化处理，得到输出特征
Figure BDA0003061734820000074
步骤6.8，将Fp3作为输入，采用多个卷积核对其进行卷积操作实现特征提取，得到输出特征图
Figure BDA0003061734820000075
步骤6.9，对Fc4进行全连接操作，并最终输入维度为2的预测向量。
进一步的，卷积模块由通道数为128、196、128的三个卷积操作级联组成。
进一步的，最终的卷积操作采用通道数为128、64、16、1的四个级联卷积层实现。
进一步的，步骤一中对样本数据图像进行人脸区域检测、剪裁以及归一化预处理操作。
与现有技术相比，本发明具有以下优点和有益效果：
(1)有效利用了不同层级特征模块之间的关联关系，补充了面部深度提取的部分细节信息；
(2)滤除原始图像中来自于背景区域的噪声影响，着重关注人脸面部区域的深度特征学习；
(3)通过视点加权之后交叉熵损失重点刻画不同视点之间的深度差异，学习面部整体的深度差异信息；
附图说明
图1为本发明网络框架结构图。
图2为本发明的面部深度估计网络细节图。
图3为本发明的层级特征筛选机制示意图。
图4为本发明中真实样本与攻击样本的面部深度图标签示意图。
具体实施方式
下面结合实施例及附图，对本发明作进一步的详细说明，但本发明的实施方式不限于此。
本实施例用于实现基于数据集OULU-NPU的测试。
如图1所示，本实施例采用层级特征筛选机制和基于视点加权的交叉熵损失共同优化面部深度特征的学习过程，并采用基于RGB-D多模态融合信息增强人脸防伪模型的二分类性能，和现有算法的结果进行比较，具体包括以下步骤：
步骤1，准备实验数据。OULU-NPU数据集中包含真实样本数据以及攻击样本数据，且均以视频样本形式存在，对该数据集中的每一段视频样本进行图像帧提取，并对每一帧图像进行人脸区域检测、剪裁以及归一化等一系列预处理操作，将处理后的样本数据用于面部深度估计网络和多模态分类网络的RGB模态输入；
步骤2，获取图像类别标签。活体人脸的类别标签设置为1，攻击人脸的类别标签设置为0，通过独热编码将类别转换成二维向量表示，向量维度与类别数目一致，该图像类别标签将作为多模态分类网络中损失计算时的标签值；
步骤3，获取图像面部深度图标签。真实人脸图像数据是通过摄像头一次采集得到的，以拍摄摄像头作为参考目标，认为真实人脸图像的不同面部区域存在深度差异，其面部深度标签图将通过PRNet算法进行三维重建和映射获得；攻击人脸图像数据是二次成像获得的，以拍摄摄像头作为参考目标，认为攻击人脸图像的不同面部区域之间不存在深度差异，其面部深度标签图将被设置为值为0的平面，图像面部深度标签将作为面部深度估计网络损失计算时的图像标签；
步骤4，设置测试协议。测试协议针对训练集、验证集以及测试集的样本分布进行了详细规定，OULU-NPU数据集中包含的数据在环境条件、采集设备、攻击方式等层面存在多样性变化，根据文献制定该数据集的四种测试协议如表1所示；
表1 OULU-NPU数据集内部测试协议
Figure BDA0003061734820000081
Figure BDA0003061734820000091
步骤5，进行特征提取。采用通道数为64的卷积操作进行初步特征提取；
步骤6，依次采用批标准化操作和ELU激活操作优化输出特征；
步骤7，分别采用通道数为128、196、128的三个卷积操作级联组成一组卷积模块，实现低维特征提取，且每次卷积操作之后紧跟着BN操作和ELU操作；
步骤8，对上一步输出进行平均池化处理；
步骤9，重复步骤7中的操作，实现中维特征提取；
步骤10，对上一步输出进行平均池化处理；
步骤11，重复步骤7中的操作，实现高维特征提取；
步骤12，利用层级特征筛选机制，采用步骤10和步骤11的输出作为层级特征筛选的输入，实现特征优化，具体地，将步骤10和步骤11的输出分别记为
Figure BDA0003061734820000092
Fhigh；
步骤12.1，计算中维特征
Figure BDA0003061734820000093
与高维特征Fhigh之间的权重矩阵Wmh，计算方式如下：
Figure BDA0003061734820000094
其中，k表示特征图进行维度变换之后的特征点总数，c表示特征图的通道数，mij表示维度变换后的特征
Figure BDA0003061734820000101
的第i个特征图上第j个特征点的信息，hij则表示维度变换后的特征
Figure BDA0003061734820000102
的第i个特征图上第j个特征点的信息；
步骤12.2，利用sigmoid方式对Wmh进行归一化处理，其公式表达为：
Figure BDA0003061734820000103
其中，Wmh(a，b)表示权重矩阵中第a行，第b列的值，e(·)表示指数变换。
步骤12.3，利用归一化后的权重矩阵Wmh′对高维特征Fhigh进行加权计算，计算方式通过矩阵叉乘实现，具体表达为：
Figure BDA0003061734820000104
步骤12.4，将加权后的高维特征图
Figure BDA0003061734820000105
与原始的高维特征图Fhigh按通道进行连接，得到
Figure BDA0003061734820000106
其特征通道数为2c；
步骤12.5，采用卷积核大小为1×1的卷积操作对
Figure BDA0003061734820000107
实施通道筛选，获得经过完整特征筛选后的特征图
Figure BDA0003061734820000108
其特征通道数为c。
步骤13，对上一步输出进行平均池化处理；
步骤14，分别采用步长为2以及步长为4的反卷积操作对步骤10及步骤13的输出进行处理。
步骤15，采用通道连接的方式融合步骤14的输出和步骤8的输出，获得融合特征；
步骤16，分别采用通道数为128、64、16、1的四个级联卷积层对步骤15的输出进行卷积处理，并得到面部深度估计输出；
步骤17，采用基于视点加权的交叉熵损失和对比深度损失共同实现对的面部深度估计网络的学习约束监督，具体地，基于视点加权的交叉熵损失实现方式定义为：
Figure BDA0003061734820000109
Figure BDA0003061734820000111
其中，yi表示第i个样本的标签，且真实样本标签记为1，攻击样本标签记为0，
Figure BDA0003061734820000112
和
Figure BDA0003061734820000113
分别表示第i个样本深度标签图中的第j个像素值以及第i个样本深度预测图中的第j个像素值，
Figure BDA0003061734820000114
则表示第i个样本在第j个像素值上的加权值，若第i个样本中第j个像素的深度标签值非0，则权重矩阵
Figure BDA0003061734820000115
中该点的权重值为α∈(0，1]，否则为0，WD则表示每一批次所有真实训练样本权重矩阵的集合，正则项
Figure BDA0003061734820000116
将用于在训练过程中随机优化真实样本面部区域的权重取值，通过模型的训练学习过程获取最佳的权重参数，从而优化面部深度特征信息的提取。
对比深度损失函数的具体定义为：
Figure BDA0003061734820000117
其中，加号的左侧项表示相对损失，右侧项表示绝对损失，Kr表示第r个计算核，该计算核的尺寸大小为3×3，Nk表示计算核的总数，在发明中设定为8，⊙表示卷积运算，GD与OD则分别代指面部深度标签图和面部深度估计信息图，β为权重因子，用于调整相对损失和绝对损失之间的大小关系。
步骤18，将RGB模态输入与估计所得的面部深度图按通道进行连接，构成多模态分类网络的输入；
步骤19，依次采用通道数为128、64且大小为3×3的卷积核对多模态输入进行卷积操作，实现特征提取，且卷积操作之后紧跟着BN操作和ELU操作；
步骤20，对上一步的输出进行平均池化处理；
步骤21，依次采用通道数为64、32且大小为3×3的卷积核上一步输出进行特征提取；
步骤22，对上一步的输出进行平均池化处理；
步骤23，依次采用通道数为32、32且大小为3×3的卷积核上一步输出进行特征提取；
步骤24，对上一步的输出进行平均池化处理；
步骤25，采用通道数为1且大小为3×3的卷积核上一步输出进行特征提取；
步骤26，对上一步的输出进行全连接处理，得到预测输出；
步骤27，通过ArcFace损失函数计算预测输出与样本标签之间的损失差异，实现对多模态分类网络的约束监督。
步骤28，采用Adam算法进行面部深度估计网络和多模态分类网络的反向传播训练；
步骤29，设置训练轮数为20，批处理大小值为16，初始学习率为0.0005，且学习率每隔5个训练轮数降为原来的十分之一，重复步骤5至步骤27，实现训练；
步骤30，利用测试集数据对该技术方案进行验证，衡量预测结果与样本标签之间的误差，采用APCER、BPCER以及ACER作为评价指标。在OULU-NPU数据集上的测试结果表2。
表2 OULU-NPU内部测试结果
Figure BDA0003061734820000121
GRADIANT算法是一种不采用深度特征的算法模型，该方法主要通过在HSV、YCbCr多模态的图像中提取感兴趣区域(Region Of Interest,ROI)，并采用LBP纹理描述算子实现特征提取，构建新的组合特征，结合SVM模块实现真伪检测；Auxiliary算法主要采用CNN以及RNN网络结构，通过面部深度的特征信息以及rPPG信号特征共同实现对真伪样本的鉴别；FAS-TD算法采用对比深度损失(CDL)作为面部深度信息提取的损失函数，并通过光流引导特征模块(OFF)和Conv-GRU模块共同实现多帧之间特征信息的提取，作为面部深度生成的特征补充。实验结果如表2所示，实验结果表明，本发明相较于对比算法FAS-TD算法而言，在测试协议1、测试协议3以及测试协议4上的真伪样本分类错误率均有明显的下降，人脸防伪技术效果有明显的提升。
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (9)

1.一种基于特征筛选的人脸防伪方法，其特征在于，包括如下步骤：
步骤一，准备实验数据，包括真实人脸图像样本数据以及攻击人脸图像样本数据，将样本数据进行预处理，预处理后的样本数据用于面部深度估计网络和多模态分类网络的RGB模态输入；
步骤二，获取图像类别标签，真实人脸的类别标签设置为1，攻击人脸的类别标签设置为0，通过独热编码将类别转换成二维向量表示，向量维度与类别数目一致，该图像类别标签将作为多模态分类网络中损失计算时的标签值；
步骤三，获取图像面部深度图标签，真实人脸图像的不同面部区域存在深度差异，其面部深度标签图将通过PRNet算法进行三维重建和映射获得；攻击人脸图像的不同面部区域之间不存在深度差异，其面部深度标签图将被设置为值为0的平面，图像面部深度标签将作为面部深度估计网络损失计算时的图像标签值；
步骤四，构建面部深度估计网络，所述面部深度估计网络的输入为图像样本IRGB，包括初步特征提取、低维特征提取、中维特征提取、高维特征提取、层级特征筛选、反卷积操作、特征融合以及最终的卷积操作，最终估计得到面部深度图；
其中，初步特征提取通过卷积层实现，并采用批标准化操作和ELU激活操作进行优化；低维特征提取、中维特征提取、高维特征提取由多个卷积层级联组成的卷积模块实现，低维特征提取、中维特征提取之后均进行平均池化处理后得到
Figure FDA0003061734810000011
和
Figure FDA0003061734810000012
层级特征筛选是针对池化后的中维特征
Figure FDA0003061734810000013
以及高维特征Fhigh进行处理，得到新的特征分布图
Figure FDA0003061734810000014
然后进行池化操作，得到
Figure FDA0003061734810000015
反卷积操作是指对
Figure FDA0003061734810000016
及
Figure FDA0003061734810000017
进行反卷积操作处理，得到与
Figure FDA0003061734810000018
同尺寸大小的输出
Figure FDA0003061734810000019
和
Figure FDA00030617348100000110
特征融合即融合
Figure FDA00030617348100000111
以及
Figure FDA00030617348100000112
步骤五，采用基于视点加权的交叉熵损失和对比深度损失共同实现对的面部深度估计网络的学习约束监督；
步骤六，将IRGB与估计所得的面部深度图按通道进行连接，构成多模态分类网络输入；所述多模态分类网络包括由多个卷积层组成的卷积操作、平均池化操作、卷积操作和全连接处理；
步骤七，通过计算预测输出与样本标签之间的损失差异，实现对多模态分类网络的约束监督；
步骤八，进行面部深度估计网络和多模态分类网络的反向传播训练；
步骤九，将测试数据输入到训练好的面部深度估计网络和多模态分类网络中，输出测试数据的预测类别。
2.如权利要求1所述的一种基于特征筛选的人脸防伪方法，其特征在于：步骤四中面部深度估计网络的具体实现过程包括如下步骤：
步骤4.1，采用卷积操作对输入图像样本IRGB进行初步特征提取，经过卷积之后得到初始特征输出
Figure FDA0003061734810000021
步骤4.2，依次采用批标准化操作和ELU激活操作优化输出特征Finit，BN和ELU用于加快模型的收敛速度，增强模型的表达能力，避免梯度爆炸或者陷入局部优化，由此得到输出特征Finit′；
步骤4.3，分别采用三个卷积操作级联组成一组卷积模块，每次卷积操作之后紧跟着BN操作和ELU操作，将Finit′作为该卷积模块的输入，实现低维特征
Figure FDA0003061734810000022
的提取；
步骤4.4，对Flow进行平均池化处理，通过池化操作缩小特征图的大小，适当的减少模型参数来削弱过拟合的影响，池化处理之后得到特征输出
Figure FDA0003061734810000023
步骤4.5，重复步骤4.3中的操作，此时将
Figure FDA0003061734810000024
作为卷积模块的输入，得到中维特征输出
Figure FDA0003061734810000025
步骤4.6，重复步骤4.4中的操作，对Fmid进行池化操作，此时获得处理后的中维特征
Figure FDA0003061734810000026
步骤4.7，重复步骤4.3中的操作，将
Figure FDA0003061734810000027
作为卷积模块的输入，得到高维特征输出
Figure FDA0003061734810000028
步骤4.8，利用层级特征筛选机制，计算中维特征
Figure FDA0003061734810000029
与高维特征Fhigh之间的权重矩阵Wmh，将归一化之后的权重矩阵Wmh用于更新Fhigh的特征分布，并结合通道卷积获得新的特征分布图
Figure FDA00030617348100000210
步骤4.9，重复步骤4.4中的操作，对
Figure FDA0003061734810000031
进行池化操作，此时获得处理后的高维特征
Figure FDA0003061734810000032
步骤4.10，分别采用步长不同的两个反卷积操作对
Figure FDA0003061734810000033
及
Figure FDA0003061734810000034
进行处理，得到与
Figure FDA0003061734810000035
同尺寸大小的输出
Figure FDA0003061734810000036
和
Figure FDA0003061734810000037
步骤4.11，采用通道连接的方式融合
Figure FDA0003061734810000038
以及
Figure FDA0003061734810000039
获得融合特征
Figure FDA00030617348100000310
步骤4.12，将融合特征Ffuse依次通过四个级联卷积层，并得到最后的输出
Figure FDA00030617348100000311
即表示通过上述网络结构学习得到的面部深度信息图。
3.如权利要求2所述的一种基于特征筛选的人脸防伪方法，其特征在于：步骤4.8的具体实现方式如下；
步骤4.8.1，计算中维特征
Figure FDA00030617348100000312
与高维特征Fhigh之间的权重矩阵Wmh，计算方式如下：
Figure FDA00030617348100000313
其中，k表示特征图进行维度变换之后的特征点总数，c表示特征图的通道数，mij表示维度变换后的特征
Figure FDA00030617348100000314
的第i个特征图上第j个特征点的信息，hij则表示维度变换后的特征
Figure FDA00030617348100000315
的第i个特征图上第j个特征点的信息；
步骤4.8.2，利用sigmoid方式对Wmh进行归一化处理，其公式表达为：
Figure FDA00030617348100000316
其中，Wmh(a，b)表示权重矩阵中第a行，第b列的值，e(·)表示指数变换；
步骤4.8.3，利用归一化后的权重矩阵Wmh′对高维特征Fhigh进行加权计算，计算方式通过矩阵叉乘实现，具体表达为：
Figure FDA0003061734810000041
步骤4.8.4，将加权后的高维特征图
Figure FDA0003061734810000042
与原始的高维特征图Fhigh按通道进行连接，得到
Figure FDA0003061734810000043
其特征通道数为2c；
步骤4.8.5，采用卷积核大小为1×1的卷积操作对
Figure FDA0003061734810000044
实施通道筛选，获得经过完整特征筛选后的特征图
Figure FDA0003061734810000045
其特征通道数为c。
4.如权利要求1所述的一种基于特征筛选的人脸防伪方法，其特征在于：步骤五中，基于视点加权的交叉熵损失函数的具体定义为：
Figure FDA0003061734810000046
Figure FDA0003061734810000047
其中，yi表示第i个样本的标签，且真实样本标签记为1，攻击样本标签记为0，
Figure FDA0003061734810000048
和
Figure FDA0003061734810000049
分别表示第i个样本深度标签图中的第j个像素值以及第i个样本深度预测图中的第j个像素值，
Figure FDA00030617348100000410
则表示第i个样本在第j个像素值上的加权值，若第i个样本中第j个像素的深度标签值非0，则权重矩阵
Figure FDA00030617348100000411
中该点的权重值为α∈(0，1]，否则为0，WD则表示每一批次所有真实训练样本权重矩阵的集合，正则项
Figure FDA00030617348100000412
将用于在训练过程中随机优化真实样本面部区域的权重取值，通过模型的训练学习过程获取最佳的权重参数，从而优化面部深度特征信息的提取。
5.如权利要求1所述的一种基于特征筛选的人脸防伪方法，其特征在于：步骤五中，对比深度损失函数的具体定义为：
Figure FDA00030617348100000413
其中，加号的左侧项表示相对损失，右侧项表示绝对损失，Kr表示第r个计算核，该计算核的尺寸大小为3×3，Nk表示计算核的总数，⊙表示卷积运算，GD与OD则分别代指面部深度标签图和面部深度估计信息图，即深度预测图，β为权重因子，用于调整相对损失和绝对损失之间的大小关系。
6.如权利要求1所述的一种基于特征筛选的人脸防伪方法，其特征在于：步骤六的具体实现方式如下；
步骤6.1，将IRGB与估计所得的面部深度图ODepth按通道进行连接，构成多模态融合输入
Figure FDA0003061734810000051
步骤6.2，将Imulti作为多模态分类网络的输入，采用多个卷积核对其进行卷积操作实现特征提取，卷积操作之后紧跟着BN操作和ELU操作，得到输出特征图
Figure FDA0003061734810000052
步骤6.3，对Fc1进行平均池化处理，得到输出特征
Figure FDA0003061734810000053
步骤6.4，将Fp1作为输入，采用多个卷积核对其进行卷积操作实现特征提取，得到输出特征图
Figure FDA0003061734810000054
步骤6.5，对Fc2进行平均池化处理，得到输出特征
Figure FDA0003061734810000055
步骤6.6，将Fp2作为输入，采用多个卷积核对其进行卷积操作实现特征提取，得到输出特征图
Figure FDA0003061734810000056
步骤6.7，对Fc3进行平均池化处理，得到输出特征
Figure FDA0003061734810000057
步骤6.8，将Fp3作为输入，采用多个卷积核对其进行卷积操作实现特征提取，得到输出特征图
Figure FDA0003061734810000058
步骤6.9，对Fc4进行全连接操作，并最终输入维度为2的预测向量。
7.如权利要求1所述的一种基于特征筛选的人脸防伪方法，其特征在于：卷积模块由通道数为128、196、128的三个卷积操作级联组成。
8.如权利要求1所述的一种基于特征筛选的人脸防伪方法，其特征在于：最终的卷积操作采用通道数为128、64、16、1的四个级联卷积层实现。
9.如权利要求1所述的一种基于特征筛选的人脸防伪方法，其特征在于：步骤一中对样本数据图像进行人脸区域检测、剪裁以及归一化预处理操作。
CN202110516608.XA 2021-05-12 2021-05-12 一种基于特征筛选的人脸防伪方法 Active CN113343770B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110516608.XA CN113343770B (zh) 2021-05-12 2021-05-12 一种基于特征筛选的人脸防伪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110516608.XA CN113343770B (zh) 2021-05-12 2021-05-12 一种基于特征筛选的人脸防伪方法

Publications (2)

Publication Number Publication Date
CN113343770A true CN113343770A (zh) 2021-09-03
CN113343770B CN113343770B (zh) 2022-04-29

Family

ID=77469309

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110516608.XA Active CN113343770B (zh) 2021-05-12 2021-05-12 一种基于特征筛选的人脸防伪方法

Country Status (1)

Country Link
CN (1) CN113343770B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114943290A (zh) * 2022-05-25 2022-08-26 盐城师范学院 一种基于多源数据融合分析的生物入侵识别方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109190442A (zh) * 2018-06-26 2019-01-11 杭州雄迈集成电路技术有限公司 一种基于深度级联卷积神经网络的快速人脸检测方法
CN111126175A (zh) * 2019-12-05 2020-05-08 厦门大象东方科技有限公司 一种基于深度卷积神经网络的面部图像识别算法
CN111460931A (zh) * 2020-03-17 2020-07-28 华南理工大学 基于颜色通道差值图特征的人脸欺骗检测方法及系统
CN112580576A (zh) * 2020-12-28 2021-03-30 华南理工大学 基于多尺度光照不变性纹理特征的人脸欺骗检测方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109190442A (zh) * 2018-06-26 2019-01-11 杭州雄迈集成电路技术有限公司 一种基于深度级联卷积神经网络的快速人脸检测方法
CN111126175A (zh) * 2019-12-05 2020-05-08 厦门大象东方科技有限公司 一种基于深度卷积神经网络的面部图像识别算法
CN111460931A (zh) * 2020-03-17 2020-07-28 华南理工大学 基于颜色通道差值图特征的人脸欺骗检测方法及系统
CN112580576A (zh) * 2020-12-28 2021-03-30 华南理工大学 基于多尺度光照不变性纹理特征的人脸欺骗检测方法及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
D. PENG,: "Ts-Fen: Probing Feature Selection Strategy for Face Anti-Spoofing", 《ICASSP 2020 - 2020 IEEE INTERNATIONAL CONFERENCE ON ACOUSTICS, SPEECH AND SIGNAL PROCESSING (ICASSP)》 *
WANG, ZEZHENG, ET AL.: "Deep spatial gradient and temporal depth learning for face anti-spoofing", 《PROCEEDINGS OF THE IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *
任延富等: "联合多任务的级联结构人脸检测", 《现代计算机(专业版)》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114943290A (zh) * 2022-05-25 2022-08-26 盐城师范学院 一种基于多源数据融合分析的生物入侵识别方法
CN114943290B (zh) * 2022-05-25 2023-08-08 盐城师范学院 一种基于多源数据融合分析的生物入侵识别方法

Also Published As

Publication number Publication date
CN113343770B (zh) 2022-04-29

Similar Documents

Publication Publication Date Title
CN108537743B (zh) 一种基于生成对抗网络的面部图像增强方法
CN112766158B (zh) 基于多任务级联式人脸遮挡表情识别方法
CN109543602B (zh) 一种基于多视角图像特征分解的行人再识别方法
CN112446476A (zh) 神经网络模型压缩的方法、装置、存储介质和芯片
CN111767882A (zh) 一种基于改进yolo模型的多模态行人检测方法
EP4099220A1 (en) Processing apparatus, method and storage medium
CN111444960A (zh) 基于多模态数据输入的皮肤病图像分类系统
CN112801015B (zh) 一种基于注意力机制的多模态人脸识别方法
CN113076994B (zh) 一种开集域自适应图像分类方法及系统
CN113221641B (zh) 基于生成对抗网络和注意力机制的视频行人重识别方法
CN111274869A (zh) 基于并行注意力机制残差网进行高光谱图像分类的方法
CN111476806B (zh) 图像处理方法、装置、计算机设备和存储介质
CN110222718B (zh) 图像处理的方法及装置
CN112488205A (zh) 基于优化kpca算法的神经网络图像分类识别方法
CN114821164A (zh) 基于孪生网络的高光谱图像分类方法
CN111783748A (zh) 人脸识别方法、装置、电子设备及存储介质
CN112149720A (zh) 一种细粒度车辆类型识别方法
CN113221655B (zh) 基于特征空间约束的人脸欺骗检测方法
CN115100709B (zh) 一种特征分离的图像人脸识别与年龄估计方法
CN116052212A (zh) 一种基于双重自监督学习的半监督跨模态行人重识别方法
CN116452937A (zh) 基于动态卷积与注意力机制的多模态特征目标检测方法
CN112257741A (zh) 一种基于复数神经网络的生成性对抗虚假图片的检测方法
Chen et al. Generalized face antispoofing by learning to fuse features from high-and low-frequency domains
CN113343770B (zh) 一种基于特征筛选的人脸防伪方法
CN114937298A (zh) 一种基于特征解耦的微表情识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant