CN110309798A - 一种基于域自适应学习和域泛化的人脸欺骗检测方法 - Google Patents

一种基于域自适应学习和域泛化的人脸欺骗检测方法 Download PDF

Info

Publication number
CN110309798A
CN110309798A CN201910602971.6A CN201910602971A CN110309798A CN 110309798 A CN110309798 A CN 110309798A CN 201910602971 A CN201910602971 A CN 201910602971A CN 110309798 A CN110309798 A CN 110309798A
Authority
CN
China
Prior art keywords
domain
face
encoder
network
parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910602971.6A
Other languages
English (en)
Other versions
CN110309798B (zh
Inventor
王宇飞
胡永健
李雄越
蔡楚鑫
刘琲贝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sino Singapore International Joint Research Institute
Original Assignee
Sino Singapore International Joint Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sino Singapore International Joint Research Institute filed Critical Sino Singapore International Joint Research Institute
Priority to CN201910602971.6A priority Critical patent/CN110309798B/zh
Publication of CN110309798A publication Critical patent/CN110309798A/zh
Application granted granted Critical
Publication of CN110309798B publication Critical patent/CN110309798B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于域自适应学习和域泛化的人脸欺骗检测方法,主要步骤如下:构建以深度残差网络为基础的编码器;构建用于检测人脸欺骗的分类器;构建用于指引特征符合拉普拉斯分布的判别器;利用三个部件组成训练网络;构建网络训练的损失函数;设置模型优化算法;处理训练数据集样本图像改变其尺寸;训练优化网络参数;处理测试图像改变其尺寸;利用训练好的编码器和分类器进行人脸欺骗的检测。本发明通过最大均值差异MMD训练编码器提取源域训练数据的共同特征,同时结合对抗自编码器AAE技术,使得特征符合拉普拉斯分布,进一步提高了检测方法的泛化性能,有效提升了该方法在面对实际应用中复杂条件下人脸欺骗攻击的检测性能。

Description

一种基于域自适应学习和域泛化的人脸欺骗检测方法
技术领域
本发明涉及计算机视觉和人工智能技术领域,具体涉及一种基于域自适应学习和域泛化的人脸欺骗检测方法。
背景技术
人脸识别一直是计算机视觉领域的热门研究方向。由于人脸识别的身份非侵入性和可交互性,使得其在用户身份认证中的应用越来越广泛。而与此同时,随着网络和各种智能设备的普及,人脸识别系统受到欺骗攻击的频率也越来越频繁,攻击方式也越来越多样化。因此,提高人脸识别系统的欺骗检测能力,能有效增强系统的安全性,具有重要的研究意义与迫切的实际需求。
人脸欺骗检测在近年得到了重视,许多学者围绕该领域开展研究,诞生了多种不同类型的人脸欺骗检测方法。Chingovska等人在2012年的BIOSIG(InternationalConference of the Biometrics Special Interest Group)国际会议上发表论文《On theeffectiveness of local binary patterns in face anti-spoofing》,探索了LBP算法在人脸欺骗检测中的有效性,并在REPLAY-ATTACK数据库的测试中达到了15%的半总误差率。Boulkenafet等人在2015年ICIP(IEEE International Conference on ImageProcessing)国际会议上发表论文《Face anti-spoofing based on color textureanalysis》,从亮度和颜色两方面联合分析了人脸欺骗图像的纹理信息,在CASIA和REPLAY-ATTACK这两个人脸反欺骗基准数据集上取得了较好的效果。除了上述基于传统特征工程的检测方法外,近年随着深度神经网络技术的发展,研究者们也纷纷尝试将深度学习应用到人脸欺骗检测领域。Lucena等人在2017年的International Conference Image Analysisand Recognition国际会议上发表论文《Transfer learning using convolutionalneural networks for face anti-spoofing》,使用迁移学习方法将在IMAGENET上训练好的卷积神经网络应用于人脸欺骗检测数据库,在选取并冻结了VGG的卷积层的基础上添加了自己的全连接层,分别在REPLAY-ATTACK和3DMAD数据库上取得了99.04%和100%的正确率以及1.20%和0.00%的半总误差率。Xu等人在2015年的ACPR(Asian Conference onPattern Recognition)国际会议上发表论文《Learning temporal features using LSTM-CNN architecture for face anti-spoofing》,使用结合长短时记忆网络单元和卷积神经网络的深度神经网络结构,在CASIA数据库上的检测错误率为5.93%。Feng等人在2016年Journal of Visual Communication and Image Representation期刊上发表论文《Integration of image quality and motion cues for face anti-spoofing:A neuralnetwork approach》,提出了一种基于分层神经网络的多线索集成框架,利用Shearlet进行人脸图像质量评估,并使用自动编码器自动学习基于动作的面部活性特征,在REPLAY-ATTACK和3DMAD数据库上均取得了100%的正确率。上述基于深度神经网络的人脸欺骗检测方法在单个数据集上训练并测试都已取得较好的效果,然而对于利用其它数据集进行跨库测试的情况,检测到准确率则往往明显下降,这表明上述人类欺骗检测方法的泛化能力仍不理想。
在实际应用中,人脸欺骗检测系统的训练集数据和实际的攻击数据可能存在巨大差异,这要求人脸欺骗检测系统能在只有源域训练数据,而目标域测试数据未知的情况下,构建有效的预测模型。为了实现该要求,不少学者针对域自适应和域泛化技术进行了研究。Blitzer等人在2006年Conference on Empirical Methods in Natural LanguageProcessing会议上发表论文《Domain adaptation with structural correspondencelearning》,引入了结构对应学习以获取域的泛化特征。Yang等人在2013年IJCAI(International Joint Conference on Artificial Intelligence)会议上发表论文《Multi-view discriminant transfer learning》,提出了一种基于正则相关分析的模型,使用最大均值差异(Maximum Mean Discrepancy,MMD)测度作为域之间数据分布距离进行域泛化。Muandet等人在2013年ICML(International Conference on Machine Learning)会议发表论文《Domain generalization via invariant feature representation》,提出了域不变分量分析算法来学习基于多个源域数据的经验映射,在保持条件函数关系的同时最小化域间的数据分布匹配误差。Xu等人在2014年ECCV(European Conference onComputer Vision)会议上发表论文《Exploiting low-rank structure from latentdomains for domain generalization》,提出了一种基于样本支持向量机的方法来发现被发现的源域共享的潜在信息。上述方法对于提高检测系统的泛化性能具有一定效果,但仍然存在对已知源域数据过度拟合的问题。在现实条件下,人脸欺骗检测系统将面对不同的成像质量、分辨率、背景情况、光照强度等条件,获得的数据也将分布各异。同时系统面对的人脸欺骗攻击也可能包括照片攻击、视频攻击、面具攻击等多种形式,难以事先预计,进一步增加了检测方法泛化的难度。上述方法虽然使得人脸欺骗检测系统在跨库检测性能上有一定的提升,但距离直接应用于现实生活还存在一定差距。迄今为止,泛化性能达到实用要求的人脸欺骗检测方法尚未见报道。
发明内容
本发明的目的是为了解决现有技术中的上述缺陷,提供一种基于域自适应学习和域泛化的人脸欺骗检测方法。该方法有效克服了现有技术泛化能力不足的缺点,增强了人脸欺骗检测系统的跨库检测能力,提高了其实用性。
本发明利用最大均值差异MMD指引多源域数据共同特征的提取,使用深度残差网络作为提取特征的编码器,同时结合对抗自编码器(AdversarialAutoencoder,AAE)技术,使得从源域数据中提取的特征尽可能符合拉普拉斯分布,以抑制特征过拟合到源域,提高系统对于未知目标域检测数据的泛化能力。
本发明的目的可以通过采取如下技术方案达到:
一种基于域自适应学习和域泛化的人脸欺骗检测方法,该人脸欺骗检测方法包括如下步骤:
S1、构建以深度残差网络为基础的编码器E。编码器的输入为3通道的彩色图像,接着依次为步幅stride为1的16通道输出3×3卷积层、3个RESNET_BLOCK模块、1个32通道输出的RESNET_BLOCK2模块、2个RESNET_BLOCK模块、1个64通道输出的RESNET_BLOCK2模块、2个RESNET_BLOCK模块、1个128通道输出的RESNET_BLOCK2模块、2个RESNET_BLOCK模块和1个全局池化层,最终输出128维特征。
其中,RESNET_BLOCK模块输入特征图后经过两个分支,分支1不经过任何处理,分支2依次包括步幅stride为1的3×3卷积层、BN层、ReLU激活函数、步幅stride为1的3×3卷积层、BN层,其后两分支特征图按位置相加融合,再经过ReLU激活函数输出。模块内所有特征图的分辨率和通道数保持不变。
其中,RESNET_BLOCK2模块输入特征图后经过两个分支,分支1包括1个步幅stride为2且输出通道数翻倍的1×1卷积层,分支2依次包括步幅stride为2且输出通道数翻倍的3×3卷积层、BN层、ReLU激活函数、stride为1的3×3卷积层、BN层,其后两分支特征图按位置相加融合,再经过ReLU激活函数输出。特征图经过该模块后分辨率缩减1/2,通道数增加1倍。
S2、构建用于检测人脸欺骗的分类器C。分类器输入为128维特征,依次经过1单元的全连接层、sigmoid激活函数,输出真实人脸与攻击人脸的二分类结果。
S3、构建用于指引特征符合拉普拉斯分布的判别器D。判别器输入为128维特征,依次经过128单元的全连接层、ReLU激活函数、1单元的全连接层、sigmoid激活函数,输出特征来自编码器或来自随机拉普拉斯分布序列的二分类结果。
S4、将编码器E的输出作为分类器C的输入,同时将编码器E的输出与随机拉普拉斯序列发生器的输出一同作为判别器D的输入,构建训练网络,使用He方法对训练网络参数进行初始化,即对于输入节点数为Nl的一层神经网络,从均值为0,方差为2/Nl的正态分布中随机抽取数值,作为网络中参数的初始值。
S5、构建训练网络的损失函数。将分类器C的损失函数设置为:
其中y为训练样本的标签,为训练样本的预测值,n为一批同时送入网络进行训练的样本数量。将判别器D的损失函数设置为:
Jgan=Eh~p(h)[logD(h)]+Ex~p(x)[log(1-D(E(x))]
其中h为随机生成的拉普拉斯分布序列,x为编码器输入的图像样本,E(·)表示编码器的输出,D(·)表示判别器的输出。设置两个源域数据编码器输出特征之间的MMD损失函数为:
其中Hi和Hj分别为源域i和j经编码器生成的一批128维特征,n0为一个源域中同时送入网络进行训练的样本数量,aip表示Hi中的第p个128维特征,aiq、ajp和ajq的定义与之类似。k(·)为高斯核函数,在计算时将标准差参数分别取为1、5、10,以三次计算结果的均值作为核函数值,即有:
对于总共有K个源域的情况,各源域训练样本数量和总样本数量的关系为n=K×n0,定义多域的MMD损失函数为:
最终得到系统整体的损失函数为:
L=Lerror0Rmmd1Jgan2Ω(θ)
其中Ω(θ)为编码器和分类器参数的L2正则项,即编码器和分类器所有参数的平方均值。各权重的取值为λ0=2,λ1=0.1,λ2=0.0001。
S6、设置模型优化算法,采用Adam算法进行参数优化,设置学习率为0.0001,一阶平滑参数β1=0.9,二阶平滑参数β2=0.999,e=10-8
S7、对源域的训练数据进行处理,利用Lanczos插值算法,将所有训练集的图像尺寸统一变为64×64×3。
S8、冻结判别器D参数,解冻编码器E和分类器C参数,从各源域获取相同数量的样本,送入网络进行训练,以损失函数L最小化为目标调整参数。
S9、冻结编码器E和分类器C参数,解冻判别器D参数,从各源域获取相同数量的样本,同时从随机拉普拉斯序列发生器获取同样数量的样本,送入网络进行训练,以损失函数L最大化为目标调整参数。
S10、重复进行步骤S8和S9的操作,直至网络参数稳定。
S11、处理目标域测试数据,同样利用Lanczos插值算法,将所有测试图像尺寸统一变为64×64×3。
S12、将测试图像送入训练好的编码器E,再将其输出送入训练好的分类器C,得到测试图像是否为人脸欺骗攻击的检测结果。
在上述方法的步骤S1中,RESNET_BLOCK模块可以在保持特征图分辨率和通道数不变的情况下采用其他残差网络模块结构。
在上述方法的步骤S2中,RESNET_BLOCK2模块可以在保证特征图分辨率缩减1/2,通道数增加1倍的情况下采用其他残差网络模块结构。
在上述方法的步骤S7和步骤S11中,可以利用Lanczos插值算法,将图像尺寸变为128×128×3。
在上述方法的步骤S1中,RESNET_BLOCK模块可以在保持特征图分辨率和通道数不变的情况下采用其他残差网络模块结构。
在上述方法的步骤S1中,RESNET_BLOCK2模块可以在保证特征图分辨率缩减1/2,通道数增加1倍的情况下采用其他残差网络模块结构。
在上述方法的步骤S5中,可以使用其他任意参数初始化方法对网络参数进行初始化。
在上述方法的步骤S7中,可以使用其他任意参数优化算法对网络参数进行调整。
本发明相对于现有技术具有如下的优点及效果:
1、本发明提供了一种基于域自适应学习和域泛化的人脸欺骗检测方法,通过利用MMD损失函数与AAE相关技术,促使从多个源域训练数据集中提取的共同特征符合拉普拉斯分布,提高了检测方法的泛化性能,有效提升了该方法在面对实际应用中复杂条件下人脸欺骗攻击的检测性能;
2、本发明深度利用残差网络作为特征提取的编码器基础,借助深度残差网络强大的特征提取能力,充分挖掘图像信息,提高了模型提取有用特征的能力,从而实现了复杂条件下人脸欺骗检测准确率的提升;
3、本发明对原有AAE框架进行了优化,根据检测任务的实际需要,去除了解码器,从而有效压缩了模型规模,提高了模型训练效率。
附图说明
图1是本发明公开的基于域自适应学习和域泛化的人脸欺骗检测方法的整体流程框图;
图2是本发明实施例的编码器结构图;
图3是本发明实施例的编码器中RESNET_BLOCK模块结构图;
图4是本发明实施例的编码器中RESNET_BLOCK2模块结构图;
图5是本发明实施例的分类器结构图;
图6是本发明实施例的判别器结构图;
图7是本发明方法的训练网络整体结构图;
图8是本发明方法的测试网络整体结构图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例
本实施例公开了一种基于域自适应学习和域泛化的人脸欺骗检测方法,包括模型训练和模型测试两部分。
下面REPLAY-ATTACK数据库为例详细介绍本发明的实施过程。是在不同光照环境下拍摄制作的,一共由1300段视频组成。视频分辨率均为320×240,帧率均为25fps。根据视频背景的复杂程度,视频可以分为背景单一的controlled类型和背景复杂的adverse类型。根据欺骗攻击的情况,攻击视频可以分为人脸保持稳定的fixed类型和人脸出现晃动的hand类型。将上述两对不同的类型相互组合,获得四组不同的攻击视频。结合对应的原始真实视频,将视频分帧保存为图像,组成四个数据集,分别命名为fixed_adverse,fixed_controlled,hand_adverse,hand_controlled。四个数据集分布差异很大,可以验证检测方法的跨库泛化性能。以其中一个数据集作为目标域测试数据,其余三个作为源域训练数据,分别进行实验。实验在Win10系统上进行的,使用3.6.7版本的Python,2.2.4版本的Keras,Keras的后端为1.12.0版本的TensorFlow,CUDA版本为9.0.0,cudnn版本为7.1.4。整体的实施流程如图1所示,具体的实施步骤如下:
S1、构建以深度残差网络为基础的编码器E。
编码器的网络结构如图2所示,其输入为64×64×3的图像数据,输出为128维的特征向量。编码器中的RESNET_BLOCK模块结构如图3所示,RESNET_BLOCK2模块结构如图4所示。
S2、构建用于检测人脸欺骗的分类器C。
分类器的网络结构如图5所示,其输入为128维特征,输出真实人脸与攻击人脸的二分类结果。
S3、构建用于指引特征符合拉普拉斯分布的判别器D。
判别器的网络结构如图6所示,其输入为128维特征,输出为特征来自编码器或来自随机拉普拉斯分布序列的二分类结果。
S4、构建训练网络。
将编码器E的输出作为分类器C的输入,同时将E的输出与随机拉普拉斯序列发生器的输出一同作为判别器D的输入,构建训练网络,如图7所示,并使用He方法对网络参数进行初始化,即对于输入节点数为Nl的一层神经网络,从均值为0,方差为2/Nl的正态分布中随机抽取数值,作为网络中参数的初始值。
S5、构建网络训练的损失函数。
将分类器C的损失函数设置为:
其中y为训练样本的标签,为训练样本的预测值,n为一批同时送入网络进行训练的样本数量,在本实施例中n=64×3=192。将判别器D的损失函数设置为:
Jgan=Eh~p(h)[logD(h)]+Ex~p(x)[log(1-D(E(x))]
其中h为随机生成的拉普拉斯分布序列,x为编码器输入的图像样本,E(·)表示编码器的输出,D(·)表示判别器的输出。设置两个源域数据编码器输出特征之间的MMD损失函数为:
其中Hi和Hj分别为源域i和j经编码器生成的一批128维特征,n0为一个源域中同时送入网络进行训练的样本数量,本实施例中n0=64,aip表示Hi中的第p个128维特征,aiq、ajp和ajq的定义与之类似。k(·)为高斯核函数,在计算时将标准差参数分别取为1、5、10,以三次计算结果的均值作为核函数值,即有:
对于总共有K个源域的情况,定义多域的MMD损失函数为:
在本实施例中K=3。最终得到系统整体的损失函数为:
L=Lerror0Rmmd1Jgan2Ω(θ)
其中Ω(θ)为编码器和分类器参数的L2正则项,即编码器和分类器所有参数的平方均值。各权重的取值为λ0=2,λ1=0.1,λ2=0.0001。
S6、设置模型优化算法。
本实施例采用Adam算法进行参数优化,设置学习率为0.0001,一阶平滑参数β1=0.9,二阶平滑参数β2=0.999,e=10-8
S7、对源域的训练数据进行处理。
利用Lanczos插值算法,将所有训练集的图像尺寸统一变为64×64×3。
S8、训练编码器及分类器。
冻结判别器D参数,解冻编码器E和分类器C参数,从各源域分别获取64幅图像,送入网络进行训练,以损失函数L最小化为目标调整参数。
S9、训练判别器。
冻结编码器E和分类器C参数,解冻判别器D参数,从各源域分别获取64幅图像,同时从随机拉普拉斯序列发生器获取64个序列,送入网络进行训练,以损失函数L最大化为目标调整参数。
S10、迭代调整参数。
重复进行步骤S8和步骤S9的操作,直至网络参数稳定。
S11、处理目标域测试数据。
同样利用Lanczos插值算法,将所有测试图像尺寸统一变为64×64×3。
S12、组成测试网络进行检测。
将训练好的编码器E和分类器C组合构成测试网络,如图8所示。将测试图像送入其中,得到测试图像是否为人脸欺骗攻击的检测结果。
本实施例以0.5为检测阈值,将分类器输出大于阈值的样本判断为真实人脸图像,将不大于阈值的样本判断为人脸欺骗攻击图像。以前述四个数据集其中一个作为目标域测试数据,其余三个作为源域训练数据,分别进行训练与测试,所得结果如下表所示:
表1.不同数据集的训练与测试结果表
从上述实验结果可见,本发明方法对于源域训练数据与目标域测试数据分布差异较大的情况,仍然能保持较高的跨库检测性能,表明本发明所提出的检测方法具有良好的泛化能力,可应用于复杂的实际检测情况,证明了本发明方法的有效性。
上述实施例为本发明较佳的实施方式,但本发明的实施方式并不受上述实施例的限制,其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化,均应为等效的置换方式,都包含在本发明的保护范围之内。

Claims (8)

1.一种基于域自适应学习和域泛化的人脸欺骗检测方法,其特征在于,所述的人脸欺骗检测方法包括如下步骤:
S1、构建以深度残差网络为基础的编码器E;
S2、构建用于检测人脸欺骗的分类器C;
S3、构建用于指引特征符合拉普拉斯分布的判别器D;
S4、将编码器E的输出作为分类器C的输入,同时将编码器E的输出与随机拉普拉斯序列发生器的输出一同作为判别器D的输入,构建训练网络,使用He方法对训练网络参数进行初始化,即对于输入节点数为Nl的一层神经网络,从均值为0,方差为2/Nl的正态分布中随机抽取数值,作为网络中参数的初始值;
S5、构建训练网络的损失函数,首先将分类器C的损失函数设置为:
其中y为训练样本的标签,为训练样本的预测值,n为一批同时送入网络进行训练的样本数量;
然后将判别器D的损失函数设置为:
Jgan=Eh~p(h)[logD(h)]+Ex~p(x)[log(1-D(E(x))]
其中h为随机生成的拉普拉斯分布序列,x为编码器输入的图像样本,E(·)表示编码器的输出,D(·)表示判别器的输出;
接着设置两个源域数据编码器输出特征之间的MMD损失函数为:
其中Hi和Hj分别为源域i和j经编码器生成的一批128维特征,n0为一个源域中同时送入网络进行训练的样本数量,aip表示Hi中的第p个128维特征,aiq、ajp和ajq的定义与之类似,k(·)为高斯核函数,在计算时将标准差参数分别取为1、5、10,以三次计算结果的均值作为核函数值,即有:
对于总共有K个源域的情况,各源域训练样本数量和总样本数量的关系为n=K×n0,定义多域的MMD损失函数为:
最终得到系统整体的损失函数为:
L=Lerror0Rmmd1Jgan2Ω(θ)
其中Ω(θ)为编码器和分类器参数的L2正则项,即编码器和分类器所有参数的平方均值,各权重的取值为λ0=2,λ1=0.1,λ2=0.0001;
S6、采用Adam算法进行参数优化,设置Adam算法参数;
S7、对源域的训练数据进行处理,利用Lanczos插值算法,将所有训练集的图像尺寸统一;
S8、冻结判别器D参数,解冻编码器E和分类器C参数,从各源域获取相同数量的样本,送入网络进行训练,以损失函数L最小化为目标调整参数;
S9、冻结编码器E和分类器C参数,解冻判别器D参数,从各源域获取相同数量的样本,同时从随机拉普拉斯序列发生器获取同样数量的样本,送入网络进行训练,以损失函数L最大化为目标调整参数;
S10、重复进行步骤S8和S9的操作,直至网络参数稳定;
S11、处理目标域测试数据,同样利用Lanczos插值算法,将所有测试图像尺寸统一;
S12、将测试图像送入训练好的编码器E,再将其输出送入训练好的分类器C,得到测试图像是否为人脸欺骗攻击的检测结果。
2.根据权利要求1所述的一种基于域自适应学习和域泛化的人脸欺骗检测方法,其特征在于,所述的编码器E的输入为3通道的彩色图像,接着依次为步幅stride为1的16通道输出3×3卷积层、3个RESNET_BLOCK模块、1个32通道输出的RESNET_BLOCK2模块、2个RESNET_BLOCK模块、1个64通道输出的RESNET_BLOCK2模块、2个RESNET_BLOCK模块、1个128通道输出的RESNET_BLOCK2模块、2个RESNET_BLOCK模块和1个全局池化层,最终输出128维特征;
其中,所述的RESNET_BLOCK模块输入特征图后经过两个分支,分支1不经过任何处理,分支2依次包括步幅stride为1的3×3卷积层、BN层、ReLU激活函数、步幅stride为1的3×3卷积层、BN层,其后两分支特征图按位置相加融合,再经过ReLU激活函数输出;
其中,所述的RESNET_BLOCK2模块输入特征图后经过两个分支,分支1包括1个步幅stride为2且输出通道数翻倍的1×1卷积层,分支2依次包括步幅stride为2且输出通道数翻倍的3×3卷积层、BN层、ReLU激活函数、stride为1的3×3卷积层、BN层,其后两分支特征图按位置相加融合,再经过ReLU激活函数输出。
3.根据权利要求1所述的一种基于域自适应学习和域泛化的人脸欺骗检测方法,其特征在于,所述的分类器C输入为128维特征,依次经过1单元的全连接层、sigmoid激活函数,输出真实人脸与攻击人脸的二分类结果。
4.根据权利要求1所述的一种基于域自适应学习和域泛化的人脸欺骗检测方法,其特征在于,所述的判别器D输入为128维特征,依次经过128单元的全连接层、ReLU激活函数、1单元的全连接层、sigmoid激活函数,输出特征来自编码器或来自随机拉普拉斯分布序列的二分类结果。
5.根据权利要求1所述的一种基于域自适应学习和域泛化的人脸欺骗检测方法,其特征在于,所述的步骤S6中Adam算法的参数设置如下:
设置学习率为0.0001,一阶平滑参数β1=0.9,二阶平滑参数β2=0.999,e=10-8
6.根据权利要求1所述的一种基于域自适应学习和域泛化的人脸欺骗检测方法,其特征在于,所述的RESNET_BLOCK模块内所有特征图的分辨率和通道数保持不变。
7.根据权利要求1所述的一种基于域自适应学习和域泛化的人脸欺骗检测方法,其特征在于,所述的RESNET_BLOCK2模块输入特征图后,特征图经过该模块后分辨率缩减1/2,通道数增加1倍。
8.根据权利要求1所述的一种基于域自适应学习和域泛化的人脸欺骗检测方法,其特征在于,所述的步骤S4和步骤S11中,利用Lanczos插值算法,将图像尺寸变为128×128×3。
CN201910602971.6A 2019-07-05 2019-07-05 一种基于域自适应学习和域泛化的人脸欺骗检测方法 Active CN110309798B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910602971.6A CN110309798B (zh) 2019-07-05 2019-07-05 一种基于域自适应学习和域泛化的人脸欺骗检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910602971.6A CN110309798B (zh) 2019-07-05 2019-07-05 一种基于域自适应学习和域泛化的人脸欺骗检测方法

Publications (2)

Publication Number Publication Date
CN110309798A true CN110309798A (zh) 2019-10-08
CN110309798B CN110309798B (zh) 2021-05-11

Family

ID=68078963

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910602971.6A Active CN110309798B (zh) 2019-07-05 2019-07-05 一种基于域自适应学习和域泛化的人脸欺骗检测方法

Country Status (1)

Country Link
CN (1) CN110309798B (zh)

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110991299A (zh) * 2019-11-27 2020-04-10 中新国际联合研究院 一种物理域上针对人脸识别系统的对抗样本生成方法
CN111160313A (zh) * 2020-01-02 2020-05-15 华南理工大学 一种基于lbp-vae异常检测模型的人脸表示攻击检测方法
CN111242193A (zh) * 2020-01-06 2020-06-05 深圳壹账通智能科技有限公司 基于迁移学习的电子商务欺诈检测方法、装置及存储介质
CN111460931A (zh) * 2020-03-17 2020-07-28 华南理工大学 基于颜色通道差值图特征的人脸欺骗检测方法及系统
CN111582449A (zh) * 2020-05-07 2020-08-25 广州视源电子科技股份有限公司 一种目标域检测网络的训练方法、装置、设备及存储介质
CN111695406A (zh) * 2020-04-23 2020-09-22 西安电子科技大学 一种基于红外线的人脸识别反欺骗方法、系统及终端
CN111738455A (zh) * 2020-06-02 2020-10-02 山东大学 一种基于集成域自适应的故障诊断方法及系统
CN111767808A (zh) * 2020-06-16 2020-10-13 厦门市美亚柏科信息股份有限公司 一种目标重识别的方法、装置、系统及计算机存储介质
CN112115916A (zh) * 2020-09-29 2020-12-22 西安电子科技大学 域适应Faster R-CNN半监督SAR检测方法
CN112329438A (zh) * 2020-10-27 2021-02-05 中科极限元(杭州)智能科技股份有限公司 基于域对抗训练的自动谎言检测方法及系统
CN112580576A (zh) * 2020-12-28 2021-03-30 华南理工大学 基于多尺度光照不变性纹理特征的人脸欺骗检测方法及系统
CN112668453A (zh) * 2020-12-24 2021-04-16 平安科技(深圳)有限公司 视频识别方法及相关设备
CN112699550A (zh) * 2020-12-28 2021-04-23 山东大学 一种基于迁移学习的切削力神经网络预测模型训练方法
CN112784790A (zh) * 2021-01-29 2021-05-11 厦门大学 一种基于元学习的泛化性伪造脸检测方法
CN112801037A (zh) * 2021-03-01 2021-05-14 山东政法学院 一种基于连续帧间差异的人脸篡改检测方法
CN113033410A (zh) * 2021-03-26 2021-06-25 中山大学 基于自动数据增强的域泛化行人重识别方法、系统及介质
CN113312965A (zh) * 2021-04-14 2021-08-27 重庆邮电大学 一种人脸未知欺骗攻击活体检测方法及系统
CN113486875A (zh) * 2021-09-08 2021-10-08 浙江大学 基于词分离和自适应的跨域人脸表示攻击检测方法和系统
CN114863536A (zh) * 2022-05-25 2022-08-05 中新国际联合研究院 一种基于复合特征空间的生成人脸检测方法
CN115565210A (zh) * 2021-06-30 2023-01-03 长沙理工大学 一种基于特征级联的轻量级人脸融合攻击检测的方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106295522A (zh) * 2016-07-29 2017-01-04 武汉理工大学 一种基于多角度人脸和环境信息的两级防欺骗检测方法
CN106446772A (zh) * 2016-08-11 2017-02-22 天津大学 一种人脸识别系统中的防欺骗方法
US20180034852A1 (en) * 2014-11-26 2018-02-01 Isityou Ltd. Anti-spoofing system and methods useful in conjunction therewith
CN108875461A (zh) * 2017-05-16 2018-11-23 深圳市祈飞科技有限公司 一种人脸活体检测方法以及装置
CN109886244A (zh) * 2019-03-01 2019-06-14 北京视甄智能科技有限公司 一种人脸识别活体检测方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180034852A1 (en) * 2014-11-26 2018-02-01 Isityou Ltd. Anti-spoofing system and methods useful in conjunction therewith
CN106295522A (zh) * 2016-07-29 2017-01-04 武汉理工大学 一种基于多角度人脸和环境信息的两级防欺骗检测方法
CN106446772A (zh) * 2016-08-11 2017-02-22 天津大学 一种人脸识别系统中的防欺骗方法
CN108875461A (zh) * 2017-05-16 2018-11-23 深圳市祈飞科技有限公司 一种人脸活体检测方法以及装置
CN109886244A (zh) * 2019-03-01 2019-06-14 北京视甄智能科技有限公司 一种人脸识别活体检测方法及装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
K. PATEL ET AL: "Cross-database face anti-spoofing with robust feature representation", 《IN CHINESE CONFERENCE ON BIO-METRIC RECOGNITION》 *
ZINELABIDINE BOULKENAFET ET AL: "Face anti-spoofing based on color texture analysis", 《2015 IEEE INTERNATIONAL CONFERENCE ON IMAGE PROCESSING (ICIP)》 *
张笑楠等: "基于残差网络的三维人脸识别方法", 《内江师范学院学报》 *

Cited By (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110991299B (zh) * 2019-11-27 2023-03-14 中新国际联合研究院 一种物理域上针对人脸识别系统的对抗样本生成方法
CN110991299A (zh) * 2019-11-27 2020-04-10 中新国际联合研究院 一种物理域上针对人脸识别系统的对抗样本生成方法
CN111160313A (zh) * 2020-01-02 2020-05-15 华南理工大学 一种基于lbp-vae异常检测模型的人脸表示攻击检测方法
CN111160313B (zh) * 2020-01-02 2023-04-07 华南理工大学 一种基于lbp-vae异常检测模型的人脸表示攻击检测方法
CN111242193A (zh) * 2020-01-06 2020-06-05 深圳壹账通智能科技有限公司 基于迁移学习的电子商务欺诈检测方法、装置及存储介质
CN111460931A (zh) * 2020-03-17 2020-07-28 华南理工大学 基于颜色通道差值图特征的人脸欺骗检测方法及系统
CN111460931B (zh) * 2020-03-17 2023-01-31 华南理工大学 基于颜色通道差值图特征的人脸欺骗检测方法及系统
CN111695406B (zh) * 2020-04-23 2023-04-07 西安电子科技大学 一种基于红外线的人脸识别反欺骗方法、系统及终端
CN111695406A (zh) * 2020-04-23 2020-09-22 西安电子科技大学 一种基于红外线的人脸识别反欺骗方法、系统及终端
CN111582449A (zh) * 2020-05-07 2020-08-25 广州视源电子科技股份有限公司 一种目标域检测网络的训练方法、装置、设备及存储介质
CN111738455A (zh) * 2020-06-02 2020-10-02 山东大学 一种基于集成域自适应的故障诊断方法及系统
CN111767808A (zh) * 2020-06-16 2020-10-13 厦门市美亚柏科信息股份有限公司 一种目标重识别的方法、装置、系统及计算机存储介质
CN112115916A (zh) * 2020-09-29 2020-12-22 西安电子科技大学 域适应Faster R-CNN半监督SAR检测方法
CN112115916B (zh) * 2020-09-29 2023-05-02 西安电子科技大学 域适应Faster R-CNN半监督SAR检测方法
CN112329438A (zh) * 2020-10-27 2021-02-05 中科极限元(杭州)智能科技股份有限公司 基于域对抗训练的自动谎言检测方法及系统
CN112329438B (zh) * 2020-10-27 2024-03-08 中科极限元(杭州)智能科技股份有限公司 基于域对抗训练的自动谎言检测方法及系统
CN112668453A (zh) * 2020-12-24 2021-04-16 平安科技(深圳)有限公司 视频识别方法及相关设备
CN112668453B (zh) * 2020-12-24 2023-11-14 平安科技(深圳)有限公司 视频识别方法及相关设备
WO2022134418A1 (zh) * 2020-12-24 2022-06-30 平安科技(深圳)有限公司 视频识别方法及相关设备
CN112699550A (zh) * 2020-12-28 2021-04-23 山东大学 一种基于迁移学习的切削力神经网络预测模型训练方法
CN112580576B (zh) * 2020-12-28 2023-06-20 华南理工大学 基于多尺度光照不变性纹理特征的人脸欺骗检测方法及系统
CN112580576A (zh) * 2020-12-28 2021-03-30 华南理工大学 基于多尺度光照不变性纹理特征的人脸欺骗检测方法及系统
CN112784790B (zh) * 2021-01-29 2022-05-10 厦门大学 一种基于元学习的泛化性伪造脸检测方法
CN112784790A (zh) * 2021-01-29 2021-05-11 厦门大学 一种基于元学习的泛化性伪造脸检测方法
CN112801037A (zh) * 2021-03-01 2021-05-14 山东政法学院 一种基于连续帧间差异的人脸篡改检测方法
CN113033410A (zh) * 2021-03-26 2021-06-25 中山大学 基于自动数据增强的域泛化行人重识别方法、系统及介质
CN113312965A (zh) * 2021-04-14 2021-08-27 重庆邮电大学 一种人脸未知欺骗攻击活体检测方法及系统
CN115565210A (zh) * 2021-06-30 2023-01-03 长沙理工大学 一种基于特征级联的轻量级人脸融合攻击检测的方法
CN113486875A (zh) * 2021-09-08 2021-10-08 浙江大学 基于词分离和自适应的跨域人脸表示攻击检测方法和系统
CN114863536A (zh) * 2022-05-25 2022-08-05 中新国际联合研究院 一种基于复合特征空间的生成人脸检测方法
CN114863536B (zh) * 2022-05-25 2024-05-24 中新国际联合研究院 一种基于复合特征空间的生成人脸检测方法

Also Published As

Publication number Publication date
CN110309798B (zh) 2021-05-11

Similar Documents

Publication Publication Date Title
CN110309798A (zh) 一种基于域自适应学习和域泛化的人脸欺骗检测方法
Jin et al. Generative adversarial network technologies and applications in computer vision
Meng et al. Sample fusion network: An end-to-end data augmentation network for skeleton-based human action recognition
Zhou et al. BranchGAN: Unsupervised mutual image-to-image transfer with a single encoder and dual decoders
Liu et al. Learning human pose models from synthesized data for robust RGB-D action recognition
CN111783521B (zh) 基于低秩先验引导的域不变信息分离的行人重识别方法
CN108416751A (zh) 一种基于深度辅助全分辨率网络的新视点图像合成方法
Liang et al. An improved DualGAN for near-infrared image colorization
Zhu et al. Face Photo-Sketch Synthesis via Knowledge Transfer.
CN112418041A (zh) 一种基于人脸正面化的多姿态人脸识别方法
CN111797702A (zh) 基于空间局部二值模式与光流梯度的人脸伪造视频检测方法
CN110335299A (zh) 一种基于对抗网络的单目深度估计系统实现方法
Zhou et al. Towards multi-domain face synthesis via domain-invariant representations and multi-level feature parts
Xu [Retracted] Fast Modelling Algorithm for Realistic Three‐Dimensional Human Face for Film and Television Animation
CN114495163B (zh) 基于类别激活映射的行人重识别生成学习方法
Chen et al. Colorization of infrared images based on feature fusion and contrastive learning
Bian et al. Conditional adversarial consistent identity autoencoder for cross-age face synthesis
Shao et al. Multi-view face recognition via well-advised pose normalization network
Xia et al. 3D information guided motion transfer via sequential image based human model refinement and face-attention GAN
Han et al. Face merged generative adversarial network with tripartite adversaries
Lin et al. Privacy-protected person re-identification via virtual samples
Zhang et al. TCFAP-Net: Transformer-based Cross-feature Fusion and Adaptive Perception Network for large-scale point cloud semantic segmentation
Lee et al. Boundary-aware camouflaged object detection via deformable point sampling
Zeng et al. Realistic frontal face reconstruction using coupled complementarity of far-near-sighted face images
Deng Image recognition algorithm based on information fusion combining sparsity and synergy

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant