CN114220145A - 人脸检测模型生成方法和装置、伪造人脸检测方法和装置 - Google Patents

人脸检测模型生成方法和装置、伪造人脸检测方法和装置 Download PDF

Info

Publication number
CN114220145A
CN114220145A CN202111436624.4A CN202111436624A CN114220145A CN 114220145 A CN114220145 A CN 114220145A CN 202111436624 A CN202111436624 A CN 202111436624A CN 114220145 A CN114220145 A CN 114220145A
Authority
CN
China
Prior art keywords
face detection
loss function
training
frame loss
hyper
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111436624.4A
Other languages
English (en)
Inventor
洪雅婷
刘庆灶
涂梅林
张光斌
赵建强
杜新胜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen Meiya Pico Information Co Ltd
Original Assignee
Xiamen Meiya Pico Information Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen Meiya Pico Information Co Ltd filed Critical Xiamen Meiya Pico Information Co Ltd
Priority to CN202111436624.4A priority Critical patent/CN114220145A/zh
Publication of CN114220145A publication Critical patent/CN114220145A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及伪造人脸检测的技术领域，尤其是涉及一种人脸检测模型生成方法，该方法针对每层残差卷积块分别建立引导约束损失函数，从而将后一个残差卷积块的分类结果作为前一个残差卷积块的标签，将引导约束损失函数与主干网络损失函数合并获得框架损失函数，利用深层的卷积块分类预测来作为浅层的卷积块的标签，逐渐引导浅层网络的训练以及参数更新。本申请还提出了一种伪造人脸检测方法，伪造人脸检测方法中使用的人脸检测模型预先基于人脸检测模型生成方法训练得到，使用该人脸检测模型去检测真假人脸的准确率较高。

Description

人脸检测模型生成方法和装置、伪造人脸检测方法和装置
技术领域
本申请涉及伪造人脸检测的技术领域，尤其是涉及一种人脸检测模型生成方法和装置、伪造人脸检测方法和装置。
背景技术
随着生成对抗网络(GAN)的快速发展，生成对抗网络(GAN)被越来越多用于生成逼真的人脸，导致社会的信息安全系统受到攻击，因此深度伪造人脸检测技术应运而生。目前的深度伪造人脸技术常采用以主干网络(ResNet50)为主提取高层的语义信息，训练一个二分类器用于判别真假人脸，目前算法更多关注的是利用卷积神经网络获得高层的语义信息来判断真实或者伪造人脸。
但是，现有的人脸检测算法忽略了对低层信息的关注，低层信息中包括人脸的外观轮廓信息或者图像边缘的平滑性，这些信息由于反向传播的不及时经常被忽略。
发明内容
针对上述现有的人脸检测算法忽略了对低层信息的关注，低层信息中包括人脸的外观轮廓信息或者图像边缘的平滑性，这些信息由于反向传播的不及时经常被忽略的问题,本申请提出了一种人脸检测模型生成方法和装置、伪造人脸检测方法和装置。
第一方面，本申请提出了一种人脸检测模型生成方法，包括以下步骤：
获取训练样本，将所述训练样本输入多层残差神经网络，分别提取所述多层残差神经网络中每层残差卷积块的残差特征并分别输入针对该层残差卷积块建立的二分类器中进行分类，获得训练初始模型；
针对每层残差卷积块分别建立引导约束损失函数，从而将后一个所述残差卷积块的分类结果作为前一个所述残差卷积块的标签，所述引导约束损失函数具体为：
Figure BDA0003381943650000021
其中，Si+1表示后一个所述残差卷积块的分类结果，Si表示前一个所述残差卷积块的分类结果，B代表批处理大小；
建立最后一层所述残差卷积块的分类结果与真实标签的主干网络损失函数
Figure BDA0003381943650000022
将所述引导约束损失函数LG_i与所述主干网络损失函数
Figure BDA0003381943650000023
合并获得框架损失函数Lall；
基于所述框架损失函数Lall对所述训练初始模型进行训练并获得人脸检测模型。
通过采用上述技术方案，针对每层残差卷积块分别建立引导约束损失函数，从而将后一个所述残差卷积块的分类结果作为前一个所述残差卷积块的标签，利用深层的卷积块分类预测来作为浅层的卷积块的标签，逐渐引导浅层网络的训练以及参数更新。相比于直接利用标签来约束低层的特征信息，利用深层特征信息来引导浅层特征信息的分类，可以起到循序渐进的效果，引导网络低层卷积块的参数更新，使得低层信息能辅助分类结果的判断。
优选的，所述二分类器从输入到输出依次包括BN层、FC层以及Softmax层。
通过采用上述技术方案，BN层可以加速网络收敛速度，改善梯度弥散，FC层为全连接层，起到分类作用，Softmax层实现二分类结果。
优选的，所述多层残差神经网络为ResNet50神经网络。
通过采用上述技术方案，ResNet50神经网络可以较好的解决梯度问题，ResNet50的网络层数使其表达的特征也更好，相应的检测或分类的性能更强。
优选的，所述主干网络损失函数
Figure BDA0003381943650000031
具体为：
Figure BDA0003381943650000032
其中ε∈[0,1]，K是人脸的类别数，p(k)代表预测属于类别k的概率。
通过采用上述技术方案，主干网络ResNet50采用标签平滑正则化的交叉熵损失函数
Figure BDA0003381943650000033
进行约束，使得网络收敛后的性能得到提高。优选的，所述将所述引导约束损失函数LG_i与所述主干网络损失函数
Figure BDA0003381943650000034
合并获得框架损失函数Lall具体包括：
将每个所述引导约束损失函数LG_i分别乘以一个超参数获得系数损失函数，将所述主干网络损失函数
Figure BDA0003381943650000035
与各个所述系数损失函数相加获得所述框架损失函数Lall，所述框架损失函数Lall具体为：
Figure BDA0003381943650000036
其中，λ为超参数，且λ∈[0,1]。
通过采用上述技术方案，将每个所述引导约束损失函数分别乘以一个超参数获得系数损失函数，将所述主干网络损失函数与各个所述系数损失函数相加获得所述框架损失函数，使得框架损失函数更加合理，且通过该框架损失函数去训练ResNet50网络能利用深层的卷积块分类预测来作为浅层卷积块的标签，逐渐引导浅层网络的训练以及参数更新。
优选的，所述超参数的数值由以下步骤获得：
设定所述超参数的初始值为λ0，且λ0＝0，将λ0在0到1之间依次增加d，其中d∈[0,1]，获得多个不同的超参数λ1并确定多个不同的框架损失函数Lall；
通过多个所述不同的框架损失函数Lall训练所述训练初始模型获得多个不同的人脸检测模型，计算出多个所述不同的人脸检测模型分别收敛之后的所述框架损失函数Lall的极小值；
比较多个所述不同的人脸检测模型分别收敛之后的所述框架损失函数Lall的极小值中的最小值，取所述最小值所对应的所述框架损失函数Lall中的超参数λ1为最终的超参数λ。
通过采用上述技术方案，在0到1之间不断的调整超参数，并获得使得人脸检测模型收敛之后获得较好的检测性能。
优选的，所述超参数的数值由以下步骤获得：
设定超参数的初始值为λ0，且λ0＝0，将λ0在0到1之间依次增加d1，获得多个不同的超参数λ1并确定多个不同的框架损失函数Lall；
通过多个所述不同的框架损失函数Lall分别训练初始模型获得多个不同的人脸检测模型，计算出多个所述不同的人脸检测模型分别收敛之后的框架损失函数Lall的极小值；
比较多个所述不同的人脸检测模型分别收敛之后的所述框架损失函数Lall的极小值中的最小值，获得所述最小值所对应的框架损失函数Lall中的超参数λ1；
在[λ1-t,λ1+t]之间依次增加d2,获得多个不同的超参数λ2并确定多个不同的所述框架损失函数Lall,其中t∈[0,0.1]，d2∈[0,t]；
通过多个所述不同的超参数λ2确定的多个所述不同的框架损失函数Lall训练所述训练初始模型获得多个不同的人脸检测模型，计算出多个所述不同的人脸检测模型分别收敛之后的所述框架损失函数Lall的极小值；
比较多个所述不同的人脸检测模型分别收敛之后的所述框架损失函数Lall的极小值中的最小值，取所述最小值所对应的所述框架损失函数Lall中的超参数λ2为最终的超参数λ。
通过采用上述技术方案，在0到1之间不断的调整超参数，在确定一个超参数λ1之后继续缩小范围进行二次调整，经过二次调整后使得人脸检测模型收敛之后获得更好的检测性能。
第二方面，本申请还提出了一种伪造人脸检测方法，包括以下步骤：
获取测试样本，将所述测试样本输入人脸检测模型中，所述人脸检测模型预先基于第一方面的方法训练得到；
输出所述人脸检测模型最后一层残差卷积块的分类结果，将所述最后一层所述残差卷积块的分类结果作为判别是否伪造人脸的依据。
通过采用上述技术方案，由于人脸检测模型预先基于第一方面的方法训练得到，使用该人脸检测模型去检测真假人脸的准确率较高。
第三方面，本申请还提出了一种人脸检测模型生成装置，所述装置包括：
第一获取模块，所述第一获取模块用于获取训练样本，所述训练样本包括真实样本和伪造样本；
训练模块，所述训练模块用于将训练样本输入训练初始模型，所述训练初始模型包括多层残差神经网络和多个二分类器，多个所述二分类器分别用于提取所述多层残差神经网络中每层残差卷积块的残差特征并进行分类；
确定模块，所述确定模块通过第一方面的方法将训练初始模型训练成人脸检测模型。
第四方面，本申请还提出了一种伪造人脸检测装置，所述装置包括：
第二获取模块，所述第二获取模块用于获取由图像采集设备采集的测试样本；
测试模块，所述测试模块用于将测试样本输入人脸检测模型中，所述人脸检测模型预先基于权利要求第一方面所述的方法训练得到，并输出最后一层残差卷积块的分类结果。
第五方面，本申请还提出了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面或者第二方面所述的方法。
本申请提出了一种人脸检测模型生成方法，针对每层残差卷积块分别建立引导约束损失函数，从而将后一个所述残差卷积块的分类结果作为前一个所述残差卷积块的标签，利用深层的卷积块分类预测来作为浅层的卷积块的标签，逐渐引导浅层网络的训练以及参数更新。相比于直接利用标签来约束低层的特征信息，利用深层特征信息来引导浅层特征信息的分类，可以起到循序渐进的效果，引导网络低层卷积块的参数更新，使得低层信息能辅助分类结果的判断，同时，本申请还提出一种伪造人脸检测方法，伪造人脸检测方法中使用的人脸检测模型预先基于第一方面的方法训练得到，使用该人脸检测模型去检测真假人脸的准确率较高。
附图说明
包括附图以提供对实施例的进一步理解并且附图被并入本说明书中并且构成本说明书的一部分。附图图示了实施例并且与描述一起用于解释本发明的原理。将容易认识到其它实施例和实施例的很多预期优点，因为通过引用以下详细描述，它们变得被更好地理解。附图的元件不一定是相互按照比例的。同样的附图标记指代对应的类似部件。
图1是本申请一个实施例中的人脸检测模型生成方法的流程图。
图2是本申请一个实施例中的人脸检测模型生成方法的框架结构示意图。
图3是本申请一个实施例中的ResNet残差网络单元的结构图。
图4是本申请一个实施例中的ResNet50残差网络的网络结构图。
图5是本申请一个实施例中超参数的数值的获得步骤的流程图。
图6是本申请另一个实施例中超参数的数值的获得步骤的流程图。
图7是本申请一个实施例中的一种人脸检测模型生成装置的模块结构示意图。
图8是本申请一个实施例中的一种伪造人脸检测装置的模块结构示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
下面将结合附图对本发明作详细的介绍。
图1示出了本申请一个实施例中的人脸检测模型生成方法的流程图，图2示出了本申请一个实施例中的人脸检测模型生成方法的框架结构示意图，结合参考图1和图2，该方法包括以下步骤：
步骤101：获取训练样本，将所述训练样本输入多层残差神经网络，分别提取所述多层残差神经网络中每层残差卷积块的残差特征并分别输入针对该层残差卷积块建立的二分类器中进行分类，获得训练初始模型。
在本实施例中，训练样本包括真实样本和伪造样本，使用的多层残差神经网络为在ImageNet上训练过的ResNet50神经网络。
ImageNet是一个用于视觉对象识别软件研究的大型可视化数据库。超过1400万的图像URL被ImageNet手动注释，以指示图片中的对象；在至少一百万个图像中，还提供了边界框。ImageNet包含2万多个类别，一个典型的类别，如“气球”或“草莓”，包含数百个图像。第三方图像URL的注释数据库可以直接从ImageNet免费获得，但是，实际的图像不属于ImageNet。
ResNet网络的关键在于其结构中的残差单元，如图3所示，在残差网络单元中包含了跨层连接，图中的曲线可以将输入直接跨层传递，进行了同等映射，之后与经过卷积操作的结果相加。假设输入图像为x，输出为H(x)，中间经过卷积之后的输出为F(x)的非线性函数，那最终的输出为H(x)＝F(x)+x,这样的输出仍然可以进行非线性变换，残差指的是“差”，也就是F(x)，而网络也就转化为求残差函数F(x)＝H(x)-x，这样残差函数要比F(x)＝H(x)更加容易优化。relu激活函数在神经网络模型学习过程中具有十分重要的作用，它的作用是在模型学习中引入非线性因素，使神经网络可以拟合任何非线性函数。
ResNet50的网络结构如图4所示，输入INPUT经过ResNet50的5个阶段(阶段0、阶段1、阶段2、阶段3、阶段4)得到输出OUTPUT，其中阶段0不包含残差块，可以视其为对输入INPUT的预处理，后4个阶段都包含了残差卷积块。
本实施例中，二分类器从输入到输出依次包括BN层、FC层以及Softmax层。
BN，全称Batch Normalization，是2015年提出的一种方法，在进行深度网络训练时，大都会采取这种算法。其中，BN层的作用主要有加快网络的训练和收敛的速度、控制梯度爆炸防止梯度消失以及防止过拟合。
经过ResNet50的4个残差卷积块分别提取特征，每个残差卷积块获得的特征经过一个BN层，其表达式如下所示：
Fi＝BN(Bi{Ii|θ1,θ2,…,θn})；
其中，BN代表BN层，Bi代表主干网络ResNet50，Ii代表输入RGB图像，θ1,θ2,…,θn代表残差卷积块的参数。紧接着特征经过FC层，FC层为全连接层，起到分类器的作用，对前层的特征进行一个加权和，之后特征经过Softmax层的Softmax函数预测属于每一类的概率。
步骤102：针对每层残差卷积块分别建立引导约束损失函数LG_i，从而将后一个所述残差卷积块的分类结果作为前一个所述残差卷积块的标签，所述引导约束损失函数LG_i具体为：
Figure BDA0003381943650000101
其中，Si+1表示后一个所述残差卷积块的分类结果，Si表示前一个所述残差卷积块的分类结果，B代表批处理大小，||Si+1-Si||2表示第i+1个的分类结果和第i个的分类结果的二范数，从而将后一个所述残差卷积块的分类结果作为前一个所述残差卷积块的标签，希望第i个的分类结果尽可能靠近第i+1的分类结果。
步骤103：建立最后一层所述残差卷积块的分类结果与真实标签的主干网络损失函数
Figure BDA0003381943650000102
在本实施例中，主干网络损失函数
Figure BDA0003381943650000103
具体为：
Figure BDA0003381943650000104
其中ε∈[0,1]，K是人脸的类别数，p(k)代表预测属于类别k的概率。
该主干网络损失函数
Figure BDA0003381943650000105
为ResNet50网络常用的标签平滑正则化的交叉熵损失函数。
步骤104：将所述引导约束损失函数LG_i与所述主干网络损失函数
Figure BDA0003381943650000106
合并获得框架损失函数Lall；
其中，将所述引导约束损失函数LG_i与所述主干网络损失函数
Figure BDA0003381943650000109
合并获得框架损失函数Lall具体包括：
将每个所述引导约束损失函数LG_i分别乘以一个超参数获得系数损失函数，将所述主干网络损失函数
Figure BDA0003381943650000108
与各个所述系数损失函数相加获得所述框架损失函数Lall，所述框架损失函数Lall具体为：
Figure BDA0003381943650000111
其中，λ为超参数，且λ∈[0,1]。
由于本实施例中的主干网络为ResNet50，则Lall表现为：
Figure BDA0003381943650000112
参照图5，在一个可选的实施例方式中，超参数的数值由以下步骤获得：
步骤201：设定所述超参数的初始值为0，将在0到1之间依次增加d，获得多个不同的超参数并确定多个不同的框架损失函数。
该步骤具体为：从λ1开始，设定所述超参数λ1的初始值为λ0，且λ0＝0，将λ0在0到1之间依次增加d，其中d∈[0,1]，获得多个不同的超参数λ1并确定多个不同的框架损失函数Lall，本实施例中的d优选为0.1。
步骤202：通过多个所述不同的框架损失函数Lall训练所述训练初始模型获得多个不同的人脸检测模型，计算出多个所述不同的人脸检测模型分别收敛之后的所述框架损失函数Lall的极小值；
步骤203：比较多个所述不同的人脸检测模型分别收敛之后的所述框架损失函数Lall的极小值中的最小值，取所述最小值所对应的所述框架损失函数Lall中的超参数λ1为最终的超参数λ1。
接着从λ2开始，重复上述步骤201至步骤203，获得最终的超参数λ2；
最后从λ3开始，重复上述步骤201至步骤203，获得最终的超参数λ3。
参照图6，在另一个可选的实施例方式中，超参数的数值由以下步骤获得：
步骤301：设定超参数的初始值为0，将在0到1之间依次增加d1，获得多个不同的超参数并确定多个不同的框架损失函数。
该步骤具体为：从λ1开始，设定所述超参数λ1的初始值为λ0，且λ0＝0，将λ0在0到1之间依次增加d1，获得多个不同的超参数λ1并确定多个不同的框架损失函数Lall；本实施例中，d1优选为0.1；
步骤302：通过多个所述不同的框架损失函数Lall分别训练初始模型获得多个不同的人脸检测模型，计算出多个所述不同的人脸检测模型分别收敛之后的框架损失函数Lall的极小值；
步骤303：比较多个所述不同的人脸检测模型分别收敛之后的所述框架损失函数Lall的极小值中的最小值，获得所述最小值所对应的框架损失函数Lall中的超参数λ1；
步骤304：继续缩小超参数的范围,获得多个不同的超参数并确定多个不同的所述框架损失函数。
该步骤具体为：在[λ1-t,λ1+t]之间依次增加d2,获得多个不同的超参数λ2并确定多个不同的所述框架损失函数Lall,其中t∈[0,0.1]，d2∈[0,t]；在该实施例中，t优选为0.1，d2优选为0.05。
步骤305：通过多个所述不同的超参数λ2确定的多个所述不同的框架损失函数Lall训练所述训练初始模型获得多个不同的人脸检测模型，计算出多个所述不同的人脸检测模型分别收敛之后的所述框架损失函数Lall的极小值；
步骤306：比较多个所述不同的人脸检测模型分别收敛之后的所述框架损失函数Lall的极小值中的最小值，取所述最小值所对应的所述框架损失函数Lall中的超参数λ2为最终的超参数λ1。
接着从λ2开始，重复上述步骤301至步骤306，获得最终的超参数λ2；
最后从λ3开始，重复上述步骤301至步骤306，获得最终的超参数λ3。
通过该实施方式中的方法获得的λ1、λ2、λ3精度更高，本申请优选使用该实施方式中的方法获得的λ1、λ2、λ3，且本申请通过该方法获得最终的λ1、λ2、λ3分别为0.25，0.5，0.75，即该实施方式中的Lall最终为：
Figure BDA0003381943650000131
步骤105：基于所述框架损失函数Lall对所述训练初始模型进行训练并获得最终的人脸检测模型。
进一步参考图7，作为对上述各图所示方法的实现，本申请提供了一种人脸检测模型生成装置的一个实施例，该装置实施例与图1所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
本申请实施例公开的一种人脸检测模型生成装置包括：
第一获取模块401，第一获取模块401用于获取训练样本，训练样本包括真实样本和伪造样本；
训练模块402，训练模块402用于将训练样本输入训练初始模型，训练初始模型包括多层残差神经网络和多个二分类器，多个二分类器分别用于提取多层残差神经网络中每层残差卷积块的残差特征并进行分类；
确定模块403，确定模块403通过上述人脸检测模型生成方法将训练初始模型训练成人脸检测模型。
本申请还公开了一种伪造人脸检测方法，包括以下步骤：
获取测试样本，将所述测试样本输入人脸检测模型中，所述人脸检测模型预先基于上述的人脸检测模型生成方法的方法训练得到；
输出所述人脸检测模型最后一层残差卷积块的分类结果，将所述最后一层所述残差卷积块的分类结果作为判别是否伪造人脸的依据。
进一步参考图8，作为对上述伪造人脸检测方法的实现，本申请提供了伪造人脸检测装置的一个实施例，该装置具体可以应用于各种电子设备中。
本申请实施例公开的一种伪造人脸检测装置包括：
第二获取模块501，所述第二获取模块501用于获取由图像采集设备采集的测试样本；
测试模块502，所述测试模块502用于将测试样本输入人脸检测模型中，所述人脸检测模型预先基于上述伪造人脸检测方法训练得到，并输出最后一层残差卷积块的分类结果。
根据本申请公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行图1所示的方法的程序代码。在该计算机程序被中央处理单元(CPU)和图形处理器(GPU)执行时，执行本申请的方法中限定的上述功能。
需要说明的是，本申请的计算机可读介质可以是计算机可读信号介质或者计算机可读介质或者是上述两者的任意组合。计算机可读介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的装置、装置或器件，或者任意以上的组合。计算机可读介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行装置、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行装置、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本申请的操作的计算机程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中，例如，可以描述为：一种处理器包括获取模块、分析模块和输出模块。其中，这些模块的名称在某种情况下并不构成对该模块本身的限定。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (11)

1.一种人脸检测模型生成方法，其特征在于，包括以下步骤：
获取训练样本，将所述训练样本输入多层残差神经网络，分别提取所述多层残差神经网络中每层残差卷积块的残差特征并分别输入针对该层残差卷积块建立的二分类器中进行分类，获得训练初始模型；
针对每层残差卷积块分别建立引导约束损失函数LG_i，从而将后一个所述残差卷积块的分类结果作为前一个所述残差卷积块的标签，所述引导约束损失函数LG_i具体为：
Figure FDA0003381943640000011
其中，Si+1表示后一个所述残差卷积块的分类结果，Si表示前一个所述残差卷积块的分类结果，B代表批处理大小；
建立最后一层所述残差卷积块的分类结果与真实标签的主干网络损失函数
Figure FDA0003381943640000012
将所述引导约束损失函数LG_i与所述主干网络损失函数
Figure FDA0003381943640000013
合并获得框架损失函数Lall；
基于所述框架损失函数Lall对所述训练初始模型进行训练并获得人脸检测模型。
2.根据权利要求1所述的一种人脸检测模型生成方法，其特征在于：所述二分类器从输入到输出依次包括BN层、FC层以及Softmax层。
3.根据权利要求1所述的一种人脸检测模型生成方法，其特征在于：所述多层残差神经网络为ResNet50神经网络。
4.根据权利要求3所述的一种人脸检测模型生成方法，其特征在于：所述主干网络损失函数
Figure FDA0003381943640000014
具体为：
Figure FDA0003381943640000021
其中ε∈[0,1]，K是人脸的类别数，p(k)代表预测属于类别k的概率。
5.根据权利要求4所述的一种人脸检测模型生成方法，其特征在于：所述将所述引导约束损失函数LG_i与所述主干网络损失函数
Figure FDA0003381943640000022
合并获得框架损失函数Lall具体包括：
将每个所述引导约束损失函数LG_i分别乘以一个超参数获得系数损失函数，将所述主干网络损失函数
Figure FDA0003381943640000023
与各个所述系数损失函数相加获得所述框架损失函数Lall，所述框架损失函数Lall具体为：
Figure FDA0003381943640000024
其中，λ为超参数，且λ∈[0,1]。
6.根据权利要求5所述的一种人脸检测模型生成方法，其特征在于，所述超参数的数值由以下步骤获得：
设定所述超参数的初始值为λ0，且λ0＝0，将λ0在0到1之间依次增加d，其中d∈[0,1]，获得多个不同的超参数λ1并确定多个不同的框架损失函数Lall；
通过多个所述不同的框架损失函数Lall训练所述训练初始模型获得多个不同的人脸检测模型，计算出多个所述不同的人脸检测模型分别收敛之后的所述框架损失函数Lall的极小值；
比较多个所述不同的人脸检测模型分别收敛之后的所述框架损失函数Lall的极小值中的最小值，取所述最小值所对应的所述框架损失函数Lall中的超参数λ1为最终的超参数λ。
7.根据权利要求5所述的一种人脸检测模型生成方法，其特征在于，所述超参数的数值由以下步骤获得：
设定超参数的初始值为λ0，且λ0＝0，将λ0在0到1之间依次增加d1，获得多个不同的超参数λ1并确定多个不同的框架损失函数Lall；
通过多个所述不同的框架损失函数Lall分别训练初始模型获得多个不同的人脸检测模型，计算出多个所述不同的人脸检测模型分别收敛之后的框架损失函数Lall的极小值；
比较多个所述不同的人脸检测模型分别收敛之后的所述框架损失函数Lall的极小值中的最小值，获得所述最小值所对应的框架损失函数Lall中的超参数λ1；
在[λ1-t,λ1+t]之间依次增加d2,获得多个不同的超参数λ2并确定多个不同的所述框架损失函数Lall,其中t∈[0,0.1]，d2∈[0,t]；
通过多个所述不同的超参数λ2确定的多个所述不同的框架损失函数Lall训练所述训练初始模型获得多个不同的人脸检测模型，计算出多个所述不同的人脸检测模型分别收敛之后的所述框架损失函数Lall的极小值；
比较多个所述不同的人脸检测模型分别收敛之后的所述框架损失函数Lall的极小值中的最小值，取所述最小值所对应的所述框架损失函数Lall中的超参数λ2为最终的超参数λ。
8.一种伪造人脸检测方法，其特征在于，包括以下步骤：
获取测试样本，将所述测试样本输入人脸检测模型中，所述人脸检测模型预先基于权利要求1-7任一所述的方法训练得到；
输出所述人脸检测模型最后一层残差卷积块的分类结果，将所述最后一层所述残差卷积块的分类结果作为判别是否伪造人脸的依据。
9.一种人脸检测模型生成装置，其特征在于，所述装置包括：
第一获取模块，所述第一获取模块用于获取训练样本，所述训练样本包括真实样本和伪造样本；
训练模块，所述训练模块用于将训练样本输入训练初始模型，所述训练初始模型包括多层残差神经网络和多个二分类器，多个所述二分类器分别用于提取所述多层残差神经网络中每层残差卷积块的残差特征并进行分类；
确定模块，所述确定模块通过权利要求1-7任一所述的方法将训练初始模型训练成人脸检测模型。
10.一种伪造人脸检测装置，其特征在于，所述装置包括：
第二获取模块，所述第二获取模块用于获取由图像采集设备采集的测试样本；
测试模块，所述测试模块用于将测试样本输入人脸检测模型中，所述人脸检测模型预先基于权利要求1-7任一所述的方法训练得到，并输出最后一层残差卷积块的分类结果。
11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-8中任一所述的方法。
CN202111436624.4A 2021-11-29 2021-11-29 人脸检测模型生成方法和装置、伪造人脸检测方法和装置 Pending CN114220145A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111436624.4A CN114220145A (zh) 2021-11-29 2021-11-29 人脸检测模型生成方法和装置、伪造人脸检测方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111436624.4A CN114220145A (zh) 2021-11-29 2021-11-29 人脸检测模型生成方法和装置、伪造人脸检测方法和装置

Publications (1)

Publication Number Publication Date
CN114220145A true CN114220145A (zh) 2022-03-22

Family

ID=80698848

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111436624.4A Pending CN114220145A (zh) 2021-11-29 2021-11-29 人脸检测模型生成方法和装置、伪造人脸检测方法和装置

Country Status (1)

Country Link
CN (1) CN114220145A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114841340A (zh) * 2022-04-22 2022-08-02 马上消费金融股份有限公司 深度伪造算法的识别方法、装置、电子设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110490028A (zh) * 2018-05-15 2019-11-22 成都视观天下科技有限公司 基于深度学习的人脸识别网络训练方法、设备及存储介质
WO2021134871A1 (zh) * 2019-12-30 2021-07-08 深圳市爱协生科技有限公司 基于局部二值模式和深度学习的合成人脸图像取证方法
US20210232813A1 (en) * 2020-01-23 2021-07-29 Tongji University Person re-identification method combining reverse attention and multi-scale deep supervision

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110490028A (zh) * 2018-05-15 2019-11-22 成都视观天下科技有限公司 基于深度学习的人脸识别网络训练方法、设备及存储介质
WO2021134871A1 (zh) * 2019-12-30 2021-07-08 深圳市爱协生科技有限公司 基于局部二值模式和深度学习的合成人脸图像取证方法
US20210232813A1 (en) * 2020-01-23 2021-07-29 Tongji University Person re-identification method combining reverse attention and multi-scale deep supervision

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SHAN JIA 等: "Spoofing and Anti-Spoofing with Wax Figure Faces", IEEE TRANSACTIONS ON INFORMATION FORENSICS AND SECURITY, 12 October 2019 (2019-10-12), pages 1 - 11 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114841340A (zh) * 2022-04-22 2022-08-02 马上消费金融股份有限公司 深度伪造算法的识别方法、装置、电子设备及存储介质
CN114841340B (zh) * 2022-04-22 2023-07-28 马上消费金融股份有限公司 深度伪造算法的识别方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN109583501B (zh) 图片分类、分类识别模型的生成方法、装置、设备及介质
CN111539942B (zh) 基于多尺度深度特征融合的人脸深度篡改图像的检测方法
CN111259940B (zh) 一种基于空间注意力地图的目标检测方法
CN110866471A (zh) 人脸图像质量评价方法及装置、计算机可读介质、通信终端
CN111310672A (zh) 基于时序多模型融合建模的视频情感识别方法、装置及介质
CN114973062B (zh) 基于Transformer的多模态情感分析方法
CN112818861A (zh) 一种基于多模态上下文语义特征的情感分类方法及系统
CN113657115B (zh) 一种基于讽刺识别和细粒度特征融合的多模态蒙古文情感分析方法
CN111582397A (zh) 一种基于注意力机制的cnn-rnn图像情感分析方法
CN114783034B (zh) 基于局部敏感特征与全局特征融合的人脸表情识别方法
WO2023035896A1 (zh) 视频的识别方法、装置、可读介质和电子设备
US20210056353A1 (en) Joint representation learning from images and text
CN111653270B (zh) 语音处理方法、装置、计算机可读存储介质及电子设备
CN111914734A (zh) 面向短视频场景的主题情感分析方法
CN114694255B (zh) 基于通道注意力与时间卷积网络的句子级唇语识别方法
CN116704585A (zh) 一种基于质量感知的人脸识别方法
CN111008570B (zh) 一种基于压缩-激励伪三维网络的视频理解方法
CN114120074B (zh) 基于语义增强的图像识别模型的训练方法和训练装置
CN114220145A (zh) 人脸检测模型生成方法和装置、伪造人脸检测方法和装置
CN112560668B (zh) 一种基于场景先验知识的人体行为识别方法
CN116682110B (zh) 图像处理方法、装置、设备及介质
CN116958642A (zh) 一种图片分类方法、装置、电子设备及存储介质
CN117033626A (zh) 一种文本审核方法、装置、设备及存储介质
CN110705638A (zh) 一种利用深度网络学习模糊信息特征技术的信用评级预测分类方法
CN113887504B (zh) 强泛化性的遥感图像目标识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination