CN113887357B - 一种人脸表示攻击检测方法、系统、装置及介质 - Google Patents
一种人脸表示攻击检测方法、系统、装置及介质 Download PDFInfo
- Publication number
- CN113887357B CN113887357B CN202111111825.7A CN202111111825A CN113887357B CN 113887357 B CN113887357 B CN 113887357B CN 202111111825 A CN202111111825 A CN 202111111825A CN 113887357 B CN113887357 B CN 113887357B
- Authority
- CN
- China
- Prior art keywords
- domain
- sample
- training
- samples
- initial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 47
- 238000012549 training Methods 0.000 claims abstract description 94
- 238000000034 method Methods 0.000 claims abstract description 39
- 239000013598 vector Substances 0.000 claims description 67
- 230000006870 function Effects 0.000 claims description 16
- 238000012216 screening Methods 0.000 claims description 10
- 230000015654 memory Effects 0.000 claims description 9
- 238000005070 sampling Methods 0.000 claims description 6
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 238000002372 labelling Methods 0.000 claims description 2
- 238000012545 processing Methods 0.000 abstract description 3
- 238000005516 engineering process Methods 0.000 description 6
- 230000009286 beneficial effect Effects 0.000 description 5
- 238000010606 normalization Methods 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000005457 optimization Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 239000010410 layer Substances 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000006467 substitution reaction Methods 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 238000001727 in vivo Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000007787 long-term memory Effects 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 239000002356 single layer Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/2431—Multiple classes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Abstract
本发明公开了一种人脸表示攻击检测方法、系统、装置及介质，其中方法包括：构建单边领域对抗模型，所述单边领域对抗模型包括特征提取器，领域判别器和分类器；获取训练样本，根据训练样本构建对齐的人脸图像数据库，从人脸图像数据库中获取源域和目标域；根据源域训练所述单边领域对抗模型，以及构建包含目标域的样本的初始集合；根据初始集合重新训练所述单边领域对抗模型；采用训练获得的所述单边领域对抗模型进行人脸表示攻击检测。本发明在单边领域泛化方法的基础上通过将目标域数据加入单边领域对抗训练中，充分地利用了目标域数据提供的信息，有效地增强了模型的泛化能力。本发明可广泛应用于图像处理和生物安全技术领域。
Description
技术领域
本发明涉及图像处理和生物安全技术领域，尤其涉及一种人脸表示攻击检测方法、系统、装置及介质。
背景技术
目前，人脸识别技术凭借其准确性，非接触性，便捷性，非强制性而被广泛应用在各个现实场景中，如人脸支付，自助服务，设备解锁，智能家居等。然而，传统的人脸识别技术依然存在着安全隐患，在互联网和社交媒体日益发达的当下，其他用户的照片，视频和一些私人数据容易被不法分子获得并利用以假冒合法用户成功通过人脸识别系统的检测。这种欺骗人脸识别系统的手段被称为人脸表示攻击，而检测这类攻击的方法，称为人脸活体检测。
活体检测技术对输入到人脸识别系统的图像进行检测，判断其拍摄对象是合法用户的真实人脸还是合法用户的照片、视频、面具和蜡像等与合法用户面部相似度高的对象。人脸活体检测算法的核心在于提取人脸图像中最具有判别力的特征，以此来区分合法人脸和攻击人脸。传统的检测方法基于手工制作的特征，常见的有LBP(局部二进制模式)，HOG(方向梯度直方图)，DoG(高斯差分算子)等等。这些特征与传统的分类器，如SVM(支持向量机)结合用于活体检测中的二分类。目前，随着深度学习技术在图像处理领域的成功，使用深度卷积神经网络或者长短时记忆网络提取特征已经成为当前活体检测最主流的形式。然而，基于深度学习的方法是数据驱动的，当前活体检测领域的公开数据集规模较小，模型在训练中容易过拟合于有限的训练样本。除此之外，训练集(源域)和测试集(目标域)的拍摄环境，对象身份，设备分辨率存在很大差异，模型容易受到这些不相关因素的干扰。由于上述难点，基于深度学习的方法在跨数据集测试场景下会性能骤降，难以应用到实际场景中。即使是当前较先进的SSDG(单边域泛化)方法，也存在着不能利用目标域的信息，检测精度不足的情况。因此，提供一种检测精度更高，泛化性能更强的跨域活体检测算法是本领域技术人员必须解决的问题。
发明内容
为至少一定程度上解决现有技术中存在的技术问题之一，本发明的目的在于提供一种人脸表示攻击检测方法、系统、装置及介质。
本发明所采用的技术方案是：
一种人脸表示攻击检测方法，包括以下步骤：
构建单边领域对抗模型，所述单边领域对抗模型包括特征提取器，领域判别器和分类器；
获取训练样本，根据训练样本构建对齐的人脸图像数据库，从人脸图像数据库中获取源域和目标域；
根据源域训练所述单边领域对抗模型，以及构建包含目标域的样本的初始集合；
根据初始集合重新训练所述单边领域对抗模型；
采用训练获得的所述单边领域对抗模型进行人脸表示攻击检测。
进一步，所述根据训练样本构建对齐的人脸图像数据库，包括：
对人脸图像数据库中的人脸图像进行人脸关键点检测，通过仿射变换将人脸图像进行对齐，获得对齐的人脸图像数据库。
进一步，所述根据源域训练所述单边领域对抗模型，包括：
将所述源域的真实样本输入特征提取器，输出真实样本的第一特征向量；
领域判别器对第一特征向量所属的域进行判别，特征提取器采用输出的第一特征向量混淆领域判别器的判断，特征提取器和领域判别器交替进行训练和优化；
将源域的所有样本输入特征提取器提取第二特征向量，分类器对第二特征向量进行真实人脸和攻击人脸的二分类，训练分类器和特征提取器优化分类误差；
其中，所述源域的所有样本包括真实样本和攻击样本。
进一步，所述构建包含目标域的样本的初始集合，包括：
采用特征提取器提取目标域的所有样本的特征；
分类器接收目标域每一个样本的特征，并利用预设的分类判别函数对特征输出真实样本概率以及欺骗样本概率；
根据输出真实样本概率和欺骗样本概率获取目标域样本，对获取的目标域样本打上伪标签加入初始集合。
进一步，所述根据初始集合重新训练所述单边领域对抗模型，包括：
在训练的最初轮次设定新增集合为空集；
采用新域和所有源域对所述单边领域对抗模型进行一个轮次的训练；其中，新域由初始集合与新增集合构成；
在每一个训练轮次结束后，采用分类器对目标域中未加入初始集合的样本进行概率预测，取其中预测概率大于预设阈值的样本打上伪标签构建待筛选集合；其中样本选取的数量不超过随训练轮次线性增长的采样系数；
根据伪标签对样本进行筛选，清空本轮次的新增集合，并将筛选的样本用于下一轮次的训练。
进一步，所述根据初始集合重新训练所述单边领域对抗模型这一步骤中，还包括对伪标签进行筛选的步骤：
采用特征提取器提取初始集合中真实样本和欺骗样本的特征向量，构建初始真实特征向量集和初始欺骗特征向量集；
对于待筛选集合中的每一个样本都输入特征提取器中提取第三特征向量，计算第三特征向量到对应类别的初始特征向量集的第一距离，以及计算第三特征向量到非对应类别的初始特征向量集的第二距离；其中，初始特征向量集包括初始真实特征向量集和初始欺骗特征向量集；
如果第一距离小于第二距离，则保留待筛选样本的伪标签，将待筛选样本加入新增集合；否则，剔除待筛选样本。
进一步，特征提取器和领域判别器交替进行训练的过程中，采用的对抗损失的表达式如下：
其中，D表示领域判别器，Gr表示特征提取器，Xr表示真实人脸样本，E表示数学期望，x表示当前输入到模型中的样本，y表示样本的标签；YD表示所有样本的域标签集合，特征提取器Gr以最大化对抗损失LAda为优化目标，而域判别器则以最小化对抗损失LAda为优化目标。
本发明所采用的另一技术方案是：
一种人脸表示攻击检测系统，包括：
模型构建模块，用于构建单边领域对抗模型，所述单边领域对抗模型包括特征提取器，领域判别器和分类器；
样本采集模块，用于获取训练样本，根据训练样本构建对齐的人脸图像数据库，从人脸图像数据库中获取源域和目标域；
模型初次训练模块，用于根据源域训练所述单边领域对抗模型，以及构建包含目标域的样本的初始集合；
模型再次训练模块，用于根据初始集合重新训练所述单边领域对抗模型；
检测应用模块，用于采用训练获得的所述单边领域对抗模型进行人脸表示攻击检测。
本发明所采用的另一技术方案是：
一种人脸表示攻击检测装置，包括：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现上所述方法。
本发明所采用的另一技术方案是：
一种计算机可读存储介质，其中存储有处理器可执行的程序，所述处理器可执行的程序在由处理器执行时用于执行如上所述方法。
本发明的有益效果是：本发明在单边领域泛化方法的基础上通过将目标域数据加入单边领域对抗训练中，充分地利用了目标域数据提供的信息，有效地增强了模型的泛化能力。
附图说明
为了更清楚地说明本发明实施例或者现有技术中的技术方案，下面对本发明实施例或者现有技术中的相关技术方案附图作以下介绍，应当理解的是，下面介绍中的附图仅仅为了方便清晰表述本发明的技术方案中的部分实施例，对于本领域的技术人员而言，在无需付出创造性劳动的前提下，还可以根据这些附图获取到其他附图。
图1是本实施例中一种人脸表示攻击检测方法的步骤流程图；
图2是本实施例中单边领域对抗模型的整体框图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。对于以下实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。
在本发明的描述中，需要理解的是，涉及到方位描述，例如上、下、前、后、左、右等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
在本发明的描述中，若干的含义是一个或者多个，多个的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。
本发明的描述中，除非另有明确的限定，设置、安装、连接等词语应做广义理解，所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。
如图1所示，本实施例提供一种人脸表示攻击检测方法，该人脸表示攻击检测方法包括下列步骤：
S1、构建单边领域对抗模型，单边领域对抗模型包括特征提取器，领域判别器和分类器。
单边领域对抗模型包括特征提取器，领域判别器和分类器。现有的活体检测公开数据集规模较小，可以选用复杂度较小的模型。特征提取器可以使用主流的神经网络，如残差神经网络，MobileNet等。领域判别器和分类器可以使用常见的分类网络，如全连接神经网络，全卷积神经网络等。
在一些可选的实施中，采用在ImageNet数据集上预训练过的ResNet18模型作为特征提取器。领域判别器和分类器直接采用简单的二层全连接网络和单层全连接网络。
S2、获取训练样本，根据训练样本构建对齐的人脸图像数据库，从人脸图像数据库中获取源域和目标域。
本实施例选择已经公开的人脸表示攻击视频数据集OULU-NPU(下文表示为O)、CASIA-FASD(下文表示为C)、REPLAY-ATTACK(下文表示为I)和MSU-MFSD(下文表示为M)，四个数据集都包括真实人脸视频和攻击人脸视频。随机提取O、C、I数据集每个视频的一帧分别作为三个源域，提取M数据集每个视频的两帧作为目标域。为了保证深度网络提取特征时，不受人脸姿势，图像背景等无关因素的影响，本实施例对所有帧图像使用MTCNN进行人脸关键点检测(包括左眼，右眼，鼻子，左嘴角，右嘴角)，并通过仿射变换将人脸图像进行对齐，最后将图像统一裁剪到256×256大小。
S3、根据源域训练单边领域对抗模型。
训练单边领域对抗模型，将每个源域的真实样本送入特征提取器得到真实样本的特征向量，领域判别器需要对特征向量所属的域进行判别，特征提取器则需要使其输出的特征向量能够混淆领域判别器的判断。特征提取器和领域判别器交替进行训练和优化。同时，对源域的所有样本，包括真实样本和攻击样本，都送入特征提取器提取特征向量，分类器对特征向量进行真实人脸和攻击人脸的二分类，训练分类器和特征提取器优化分类误差。
将每个源域的真实人脸样本和欺骗样本分离出来，分别表示为Xr和Xf，然后分别用特征提取器Gr和Gf对真实样本Xr和欺骗样本Xf进行特征提取，由于多个源域数据集的采集方式不同，攻击类型不同，因此从不同数据集中提取的特征的尺度之间会存在比较大的差异，对于特征尺度比较大的部分，即使网络的权重和参数产生微小的变动，其结果也会有比较大的变化，这使得对抗学习的收敛变得更加困难，会影响到最后的泛化效果。因此采用特征归一化对于特征提取器提取的特征进行l2范数的归一化，即将每一个特征向量都除以他们的l2范数，从而将特征的尺度变换到相同的区间。Gr和Gf提取的相应归一化特征分别表示为Zr和Zf，其中Gr和Gf共享相同的权重。判别器D需要尽可能地判别Zr来自于哪一个域，特征提取器Gr则需要混淆判别器D的判别，两者交替训练，形成对抗，促使特征提取器提取出与域无关的特征，对抗损失表示如下：
其中，YD表示所有样本的域标签集合，特征提取器Gr以最大化对抗损失LAda为优化目标，而域判别器则以最小化对抗损失LAda为优化目标。为了使特征提取器和领域判别器可以同步优化，在判别器之前加入一个梯度反转层GRL，即在对抗训练中对特征提取器进行优化时，在领域判别器的梯度反向传播到特征提取器之前，对梯度乘以一个λ，其中：
这里k是当前迭代数占总迭代数的比例，λ随迭代数从0增长到1，可以避免早期训练阶段噪声信号的影响。
将Zr和Zf送入分类器分类，分类器在对人脸图像进行分类时使用softmax函数来表示概率，其决策边界可用下式来表示：
其中W1和W0是分类器的最后一层全连接层分别用于输出真实样本和欺骗样本置信度的权重，对分类器进行权重归一化操作，即将W1和W0进行l2范数归一化使得W的模固定为1，并且将偏置b置为0。权重归一化后的分类器决策边界只与角度有关，学习得到的特征将具有更加明显的角分布。
使用交叉熵损失LCls优化分类器C和特征提取器Gr和Gf。
训练中还引入一个非对称三元组损失，对于非对称三元组损失来说，不再把样本进行简单的二分类，而是把每个源域的欺骗样本各自当作一类，把所有的真实样本总的看作一类，因此总共得到了四个类别，由于真实样本类含有来自于三个域的样本，而其它类均只含有来自于一个域的样本，因此称这种分类是非对称的。非对称三元组损失的表达式如下：
其中，表示锚定样本，f(x)表示特征提取器对样本提取的归一化特征，/>表示类别标签与锚定样本相同的样本，/>表示类别标签与锚定样本相同的样本。非对称三元组损失是要让同一个类的特征向量之间的差距比不同的类之间的特征向量的差距小于阈值α，本实施例中阈值α取0.1。通过优化这样的损失函数就可以实现特征空间上非对称分类的目的。
训练单边领域对抗模型的总损失如下，
L＝LCls+λ1LAda+λ2LAsTrip
其中λ1和λ2是平衡各项损失的权重,在本实施例中取λ1＝0.4，λ2＝1。训练神经网络时使用的优化方法为随机梯度下降法，其中权重衰减设置为5e-4，动量设置为0.9。初始学习率设置为0.001，迭代次数达到1500之后，学习率衰减为0.0001。
S4、构建包含目标域的样本的初始集合。
待特征提取器，领域判别器，分类器均训练完成后，需要构建包含目标域简单样本的初始集合。
对目标域的所有样本使用特征提取器提取归一化特征，分类器接收目标域每一个样本的特征并利用Softmax分类函数对深度特征输出真实样本的概率以及欺骗样本的概率。取真实样本概率和欺骗样本概率最高的各k/2个目标域样本分别打上伪标签加入初始集合，在本实施例中k取20。
S5、根据初始集合重新训练单边领域对抗模型。
确定初始集合后，需要对单边领域对抗模型重新进行训练，步骤如下S51-S54：
S51、在训练的最初轮次设定新增集合为空集。
S52、将由初始集合与新增集合构成的新域和所有源域用于单边领域对抗模型一个轮次的训练。
S53、每一个训练轮次结束后，使用分类器对目标域未加入初始集合的样本进行概率预测，取其中预测概率大于阈值的样本打上伪标签，其中选取的数量不超过随训练轮次线性增长的采样系数。
S54、对上一步的伪标签进行筛选，清空本轮次的新增集合并加入筛选后的样本参与下一轮次的训练。
基于课程学习的策略重新训练单边领域对抗模型。在初始轮次设定新增集合为空集，将新增集合与S4中构建的初始集合取并集作为第四个源域。基于四个源域和目标域按照S3中的训练方式重新训练单边领域对抗模型，每一个训练轮次结束后，使用分类器对目标域未加入初始集合的样本进行概率预测，取其中预测概率大于阈值的样本打上伪标签，其中选取的数量不超过随训练轮次线性增长的采样系数。在本实施例中，真实概率的阈值取0.99，欺骗样本的概率取0.7，采样系数为0.18t(t为训练的轮次)。对上述伪标签进行筛选，步骤如下：
A1、使用特征提取器分别提取初始集合中真实样本和欺骗样本的特征向量，将各类的全部特征向量作为该类别的原型，分别设为Mr(真实样本的原型)和Mf(欺骗样本的原型)。
A2、对于每一个待筛选的样本，设定其特征向量q到其伪标签对应类别原型M1的距离为：
其中表示特征向量q和p之间的距离。计算特征向量q到其伪标签对应类别原型M1的距离，即计算q与原型M1中每一个特征向量之间的距离，并取其中最大的距离。
A3、对于每一个待筛选的样本，设定其特征向量q到其伪标签非对应类别原型M2的距离为：
计算特征向量q到其伪标签非对应类别原型M2的距离，即计算q与原型M2中每一个特征向量之间的距离，并取其中最小的距离。
A4、对于每一个待筛选的样本，若dH(q,M1)≤dH *(q,M2),则保留其伪标签，否则剔除该样本。
清空上一轮次的新增集合并加入保留伪标签的新增样本参与下一轮次的训练。单边领域对抗模型从包含简单样本的初始集合开始训练，随着迭代次数的增大逐渐加入更加复杂的新增样本，使得模型在训练初期能够花更少的时间在复杂的训练样本上，并且可以引导模型的训练朝着更佳的局部最优进行。
在一些可选的实施方式中，还包括确定分类器最终分类的阈值，具体为：选取目标域中的m/2个真实样本和m/2个欺骗样本(m小于目标域的样本量)，将其全部送入特征提取器提取特征向量，分类器接收所有特征向量，作ROC(receiver operating characteristiccurve，受试者操作特性曲线)图，取等错误率点处的阈值作为分类器最终分类的阈值。
在本实施例中，单边领域对抗模型训练完成后，选取目标域中的80个真实样本和80个欺骗样本，将其全部送入特征提取器提取归一化特征向量，分类器接收所有特征向量，作ROC(receiver operating characteristic curve，受试者操作特性曲线)图，取等错误率点处的阈值作为分类器最终分类的阈值。
通过上述技术方案的描述，可以看到本发明在单边领域泛化方法的基础上，通过将目标域数据加入单边领域对抗训练，将域泛化方法转化为域适配方法，充分利用目标域的信息，提高模型的泛化能力，在添加目标域加入训练的过程中，采用课程学习的策略，让模型从最简单的目标域样本开始训练，并且逐渐过渡到更加复杂的样本，使得模型在训练初期能够花更少的时间在复杂的训练样本上，可以引导模型的训练朝着更佳的局部最优进行。采用伪标签筛选，剔除了新增集合中的不确定样本，减轻了分类错误的样本对模型的影响，提高了模型的判别能力。
S6、采用训练获得的单边领域对抗模型进行人脸表示攻击检测。
综上所述，本实施例提供了一种基于课程学习和单边域适配的人脸表示攻击检测方法，在单边域泛化网络模型的基础上，对于拥有无标签的目标域数据的场景，利用课程学习的策略渐进性地为目标域打伪标签，充分的利用了目标域数据提供的信息，有效增强模型的泛化能力，并采用伪标签筛选的策略构建新的域加入对抗训练剥离出真伪样本的共性，从而进一步提高了攻击检测的准确率。
该方法相对于现有技术，具有如下有益效果：
(1)本实施例在单边领域泛化方法的基础上通过将目标域数据加入单边领域对抗训练中，充分地利用了目标域数据提供的信息，有效地增强了模型的泛化能力。
(2)本实施例采用课程学习的策略渐近地将目标域样本加入训练，让模型先从最简单的样本开始学习，并逐渐进阶到更加复杂的样本和知识，可以使得模型在训练初期能够花更少的时间在复杂的训练样本上，并且可以引导模型的训练朝着更佳的局部最优进行。
(3)本实施例采用伪标签筛选的方式，剔除了新增集合中的不确定样本，减轻了分类错误的样本对模型的影响，提高了模型的判别能力。
本实施例还提供一种人脸表示攻击检测系统，包括：
模型构建模块，用于构建单边领域对抗模型，所述单边领域对抗模型包括特征提取器，领域判别器和分类器；
样本采集模块，用于获取训练样本，根据训练样本构建对齐的人脸图像数据库，从人脸图像数据库中获取源域和目标域；
模型初次训练模块，用于根据源域训练所述单边领域对抗模型，以及构建包含目标域的样本的初始集合；
模型再次训练模块，用于根据初始集合重新训练所述单边领域对抗模型；
检测应用模块，用于采用训练获得的所述单边领域对抗模型进行人脸表示攻击检测。
本实施例的一种人脸表示攻击检测系统，可执行本发明方法实施例所提供的一种人脸表示攻击检测方法，可执行方法实施例的任意组合实施步骤，具备该方法相应的功能和有益效果。
本实施例还提供一种人脸表示攻击检测装置，包括：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现图1所示的方法。
本实施例的一种人脸表示攻击检测装置，可执行本发明方法实施例所提供的一种人脸表示攻击检测方法，可执行方法实施例的任意组合实施步骤，具备该方法相应的功能和有益效果。
本申请实施例还公开了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行图1所示的方法。
本实施例还提供了一种存储介质，存储有可执行本发明方法实施例所提供的一种人脸表示攻击检测方法的指令或程序，当运行该指令或程序时，可执行方法实施例的任意组合实施步骤，具备该方法相应的功能和有益效果。
在一些可选择的实施例中，在方框图中提到的功能/操作可以不按照操作示图提到的顺序发生。例如，取决于所涉及的功能/操作，连续示出的两个方框实际上可以被大体上同时地执行或所述方框有时能以相反顺序被执行。此外，在本发明的流程图中所呈现和描述的实施例以示例的方式被提供，目的在于提供对技术更全面的理解。所公开的方法不限于本文所呈现的操作和逻辑流程。可选择的实施例是可预期的，其中各种操作的顺序被改变以及其中被描述为较大操作的一部分的子操作被独立地执行。
此外，虽然在功能性模块的背景下描述了本发明，但应当理解的是，除非另有相反说明，所述的功能和/或特征中的一个或多个可以被集成在单个物理装置和/或软件模块中，或者一个或多个功能和/或特征可以在单独的物理装置或软件模块中被实现。还可以理解的是，有关每个模块的实际实现的详细讨论对于理解本发明是不必要的。更确切地说，考虑到在本文中公开的装置中各种功能模块的属性、功能和内部关系的情况下，在工程师的常规技术内将会了解该模块的实际实现。因此，本领域技术人员运用普通技术就能够在无需过度试验的情况下实现在权利要求书中所阐明的本发明。还可以理解的是，所公开的特定概念仅仅是说明性的，并不意在限制本发明的范围，本发明的范围由所附权利要求书及其等同方案的全部范围来决定。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。
计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
在本说明书的上述描述中，参考术语“一个实施方式/实施例”、“另一实施方式/实施例”或“某些实施方式/实施例”等的描述意指结合实施方式或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施方式，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施方式进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。
以上是对本发明的较佳实施进行了具体说明，但本发明并不限于上述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。
Claims (7)
1.一种人脸表示攻击检测方法，其特征在于，包括以下步骤：
构建单边领域对抗模型，所述单边领域对抗模型包括特征提取器，领域判别器和分类器；获取训练样本，根据训练样本构建对齐的人脸图像数据库，从人脸图像数据库中获取源域和目标域；
根据源域训练所述单边领域对抗模型，以及构建包含目标域的样本的初始集合；
根据初始集合重新训练所述单边领域对抗模型；
采用训练获得的所述单边领域对抗模型进行人脸表示攻击检测；
所述根据源域训练所述单边领域对抗模型，包括：
将所述源域的真实样本输入特征提取器，输出真实样本的第一特征向量；
领域判别器对第一特征向量所属的域进行判别，特征提取器采用输出的第一特征向量混淆领域判别器的判断，特征提取器和领域判别器交替进行训练和优化；
将源域的所有样本输入特征提取器提取第二特征向量，分类器对第二特征向量进行真实人脸和攻击人脸的二分类，训练分类器和特征提取器优化分类误差；
其中，所述源域的所有样本包括真实样本和攻击样本；
所述根据初始集合重新训练所述单边领域对抗模型，包括：
在训练的最初轮次设定新增集合为空集；
采用新域和所有源域对所述单边领域对抗模型进行一个轮次的训练；其中，新域由初始集合与新增集合构成；
在每一个训练轮次结束后，采用分类器对目标域中未加入初始集合的样本进行概率预测，取其中预测概率大于预设阈值的样本打上伪标签构建待筛选集合；其中样本选取的数量不超过随训练轮次线性增长的采样系数；
根据伪标签对样本进行筛选，清空本轮次的新增集合，并将筛选的样本用于下一轮次的训练；
所述根据初始集合重新训练所述单边领域对抗模型这一步骤中，还包括对伪标签进行筛选的步骤：
采用特征提取器提取初始集合中真实样本和欺骗样本的特征向量，构建初始真实特征向量集和初始欺骗特征向量集；
对于待筛选集合中的每一个样本都输入特征提取器中提取第三特征向量，计算第三特征向量到对应类别的初始特征向量集的第一距离，以及计算第三特征向量到非对应类别的初始特征向量集的第二距离；其中，初始特征向量集包括初始真实特征向量集和初始欺骗特征向量集；
如果第一距离小于第二距离，则保留待筛选样本的伪标签，将待筛选样本加入新增集合；
否则，剔除待筛选样本。
2.根据权利要求1所述的一种人脸表示攻击检测方法，其特征在于，所述根据训练样本构建对齐的人脸图像数据库，包括：
对人脸图像数据库中的人脸图像进行人脸关键点检测，通过仿射变换将人脸图像进行对齐，获得对齐的人脸图像数据库。
3.根据权利要求1所述的一种人脸表示攻击检测方法，其特征在于，所述构建包含目标域的样本的初始集合，包括：
采用特征提取器提取目标域的所有样本的特征；
分类器接收目标域每一个样本的特征，并利用预设的分类判别函数对特征输出真实样本概率以及欺骗样本概率；
根据输出真实样本概率和欺骗样本概率获取目标域样本，对获取的目标域样本打上伪标签加入初始集合。
4.根据权利要求2所述的一种人脸表示攻击检测方法，其特征在于，特征提取器和领域判别器交替进行训练的过程中，采用的对抗损失的表达式如下：
其中，D表示领域判别器，Gr表示特征提取器，Xr表示真实人脸样本，E表示数学期望，x表示当前输入到模型中的样本，y表示样本的标签；YD表示所有样本的域标签集合，特征提取器Gr以最大化对抗损失LAda为优化目标，而域判别器则以最小化对抗损失LAda为优化目标。
5.一种人脸表示攻击检测系统，其特征在于，包括：
模型构建模块，用于构建单边领域对抗模型，所述单边领域对抗模型包括特征提取器，领域判别器和分类器；
样本采集模块，用于获取训练样本，根据训练样本构建对齐的人脸图像数据库，从人脸图像数据库中获取源域和目标域；
模型初次训练模块，用于根据源域训练所述单边领域对抗模型，以及构建包含目标域的样本的初始集合；
模型再次训练模块，用于根据初始集合重新训练所述单边领域对抗模型；
检测应用模块，用于采用训练获得的所述单边领域对抗模型进行人脸表示攻击检测；
所述根据源域训练所述单边领域对抗模型，包括：
将所述源域的真实样本输入特征提取器，输出真实样本的第一特征向量；
领域判别器对第一特征向量所属的域进行判别，特征提取器采用输出的第一特征向量混淆领域判别器的判断，特征提取器和领域判别器交替进行训练和优化；
将源域的所有样本输入特征提取器提取第二特征向量，分类器对第二特征向量进行真实人脸和攻击人脸的二分类，训练分类器和特征提取器优化分类误差；
其中，所述源域的所有样本包括真实样本和攻击样本；
所述根据初始集合重新训练所述单边领域对抗模型，包括：
在训练的最初轮次设定新增集合为空集；
采用新域和所有源域对所述单边领域对抗模型进行一个轮次的训练；其中，新域由初始集合与新增集合构成；
在每一个训练轮次结束后，采用分类器对目标域中未加入初始集合的样本进行概率预测，取其中预测概率大于预设阈值的样本打上伪标签构建待筛选集合；其中样本选取的数量不超过随训练轮次线性增长的采样系数；
根据伪标签对样本进行筛选，清空本轮次的新增集合，并将筛选的样本用于下一轮次的训练；
所述根据初始集合重新训练所述单边领域对抗模型这一步骤中，还包括对伪标签进行筛选的步骤：
采用特征提取器提取初始集合中真实样本和欺骗样本的特征向量，构建初始真实特征向量集和初始欺骗特征向量集；
对于待筛选集合中的每一个样本都输入特征提取器中提取第三特征向量，计算第三特征向量到对应类别的初始特征向量集的第一距离，以及计算第三特征向量到非对应类别的初始特征向量集的第二距离；其中，初始特征向量集包括初始真实特征向量集和初始欺骗特征向量集；
如果第一距离小于第二距离，则保留待筛选样本的伪标签，将待筛选样本加入新增集合；
否则，剔除待筛选样本。
6.一种人脸表示攻击检测装置，其特征在于，包括：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现权利要求1-4任一项所述方法。
7.一种计算机可读存储介质，其中存储有处理器可执行的程序，其特征在于，所述处理器可执行的程序在由处理器执行时用于执行如权利要求1-4任一项所述方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111111825.7A CN113887357B (zh) | 2021-09-23 | 2021-09-23 | 一种人脸表示攻击检测方法、系统、装置及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111111825.7A CN113887357B (zh) | 2021-09-23 | 2021-09-23 | 一种人脸表示攻击检测方法、系统、装置及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113887357A CN113887357A (zh) | 2022-01-04 |
| CN113887357B true CN113887357B (zh) | 2024-04-12 |
Family
ID=79009986
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111111825.7A Active CN113887357B (zh) | 2021-09-23 | 2021-09-23 | 一种人脸表示攻击检测方法、系统、装置及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113887357B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115171199B (zh) * | 2022-09-05 | 2022-11-18 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置及计算机设备、存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109583342A (zh) * | 2018-11-21 | 2019-04-05 | 重庆邮电大学 | 基于迁移学习的人脸活体检测方法 |
| CN111835784A (zh) * | 2020-07-22 | 2020-10-27 | 苏州思必驰信息科技有限公司 | 用于重放攻击检测系统的数据泛化方法及系统 |
| WO2021073417A1 (zh) * | 2019-10-18 | 2021-04-22 | 平安科技（深圳）有限公司 | 表情生成方法、装置、设备及存储介质 |
| CN113128287A (zh) * | 2019-12-31 | 2021-07-16 | 暗物智能科技(广州)有限公司 | 训练跨域人脸表情识别模型、人脸表情识别的方法及系统 |
-
2021
- 2021-09-23 CN CN202111111825.7A patent/CN113887357B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109583342A (zh) * | 2018-11-21 | 2019-04-05 | 重庆邮电大学 | 基于迁移学习的人脸活体检测方法 |
| WO2021073417A1 (zh) * | 2019-10-18 | 2021-04-22 | 平安科技（深圳）有限公司 | 表情生成方法、装置、设备及存储介质 |
| CN113128287A (zh) * | 2019-12-31 | 2021-07-16 | 暗物智能科技(广州)有限公司 | 训练跨域人脸表情识别模型、人脸表情识别的方法及系统 |
| CN111835784A (zh) * | 2020-07-22 | 2020-10-27 | 苏州思必驰信息科技有限公司 | 用于重放攻击检测系统的数据泛化方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113887357A (zh) | 2022-01-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110443143B (zh) | 多分支卷积神经网络融合的遥感图像场景分类方法 | |
| CN109583342B (zh) | 基于迁移学习的人脸活体检测方法 | |
| CN110348319B (zh) | 一种基于人脸深度信息和边缘图像融合的人脸防伪方法 | |
| CN111814584B (zh) | 基于多中心度量损失的多视角环境下车辆重识别方法 | |
| Bendale et al. | Towards open set deep networks | |
| CN109117879B (zh) | 图像分类方法、装置及系统 | |
| CN112384948A (zh) | 用于图像分割的生成对抗网络 | |
| Li et al. | Adversarial open-world person re-identification | |
| CN111753881A (zh) | 一种基于概念敏感性量化识别对抗攻击的防御方法 | |
| JP2022141931A (ja) | 生体検出モデルのトレーニング方法及び装置、生体検出の方法及び装置、電子機器、記憶媒体、並びにコンピュータプログラム | |
| CN111046673A (zh) | 一种用于防御文本恶意样本的对抗生成网络及其训练方法 | |
| CN111062424A (zh) | 小样本食品图像识别模型训练方法及食品图像识别方法 | |
| CN112560710B (zh) | 一种用于构建指静脉识别系统的方法及指静脉识别系统 | |
| CN106203373B (zh) | 一种基于深度视觉词袋模型的人脸活体检测方法 | |
| CN115240280A (zh) | 人脸活体检测分类模型的构建方法、检测分类方法及装置 | |
| CN113887357B (zh) | 一种人脸表示攻击检测方法、系统、装置及介质 | |
| CN117218707B (zh) | 一种基于积极扰动的Deepfake人脸检测方法 | |
| CN109101984B (zh) | 一种基于卷积神经网络的图像识别方法及装置 | |
| CN113807237B (zh) | 活体检测模型的训练、活体检测方法、计算机设备及介质 | |
| CN111553202B (zh) | 进行活体检测的神经网络的训练方法、检测方法及装置 | |
| CN113723215B (zh) | 活体检测网络的训练方法、活体检测方法及装置 | |
| CN113033305B (zh) | 活体检测方法、装置、终端设备和存储介质 | |
| CN114093003A (zh) | 一种更具欺诈辨别性的人脸活体检测方法及其网络模型 | |
| CN112257688A (zh) | 一种基于gwo-oselm的非接触式手掌活体检测方法及装置 | |
| CN113516107B (zh) | 一种图像检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |