CN110443203A - 基于对抗生成网络的人脸欺骗检测系统对抗样本生成方法 - Google Patents

基于对抗生成网络的人脸欺骗检测系统对抗样本生成方法 Download PDF

Info

Publication number
CN110443203A
CN110443203A CN201910723573.XA CN201910723573A CN110443203A CN 110443203 A CN110443203 A CN 110443203A CN 201910723573 A CN201910723573 A CN 201910723573A CN 110443203 A CN110443203 A CN 110443203A
Authority
CN
China
Prior art keywords
sample
network
face
parameter
fraud detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910723573.XA
Other languages
English (en)
Other versions
CN110443203B (zh
Inventor
蔡楚鑫
胡永健
王宇飞
刘琲贝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sino Singapore International Joint Research Institute
Original Assignee
Sino Singapore International Joint Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sino Singapore International Joint Research Institute filed Critical Sino Singapore International Joint Research Institute
Priority to CN201910723573.XA priority Critical patent/CN110443203B/zh
Publication of CN110443203A publication Critical patent/CN110443203A/zh
Application granted granted Critical
Publication of CN110443203B publication Critical patent/CN110443203B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于对抗生成网络的人脸欺骗检测系统对抗样本生成方法，通过应用对抗生成网络技术，能够根据原始样本图像大批量快速生成对抗样本；同时利用眼镜形状掩模，使添加的对抗扰动限制于眼镜形状的范围之中，便于后续实际制作出来进行现实物理攻击，使对抗样本更具实用价值。另一方面，本发明通过将不同的人脸欺骗检测网络或传统方法接入整体训练框架，可以便捷地生成针对不同检测方法的对抗样本。本发明有效解决了人脸欺骗检测系统在训练过程中缺乏足够对抗样本的问题，能够自动大规模地生成人脸欺骗检测方法的对抗样本，降低了大量获取用于网络训练的对抗样本的难度，有利于提高人脸欺骗检测方法及人脸识别系统的安全可靠性。

Description

基于对抗生成网络的人脸欺骗检测系统对抗样本生成方法
技术领域
本发明涉及计算机视觉和人工智能技术领域，具体涉及一种基于对抗生成网络的人脸欺骗检测系统对抗样本生成方法。
背景技术
人脸识别技术具有身份非侵入性和可交互性等特点，在用户身份认证中的应用越来越广泛，与人脸识别相关联的技术也成为了计算机视觉领域的热门研究方向。但与此同时，随着技术的发展，人脸识别系统受到欺骗攻击的风险日益提高。为保证人脸检测系统的可靠性，人脸欺骗检测技术也越来越受到重视。近年来随着人工智能技术的发展，针对人脸欺骗检测技术的对抗攻击已显示出威力，成为人脸识别系统安全性的重大威胁。为了应对针对人脸欺骗检测的对抗攻击，一个重要的手段是利用大量对抗攻击样本来对系统进行训练。因此，生成高质量的人脸欺骗检测系统对抗样本，将可以为提高人脸检测系统安全性提供基础训练数据，具有重要的研究意义与迫切的实际需求。
人脸欺骗检测在近年开始越发受到学术界及工业界的重视，众多资源被投入到该领域，诞生了多项成果。特别是随着深度学习技术的发展，不少基于深度学习的方法取得了较好的检测效果。例如，Xu等人在2015年的Asian Conference on Pattern Recognition会议上发表了论文《Learning temporal features using LSTM-CNN architecture forface anti-spoofing》，结合长短时记忆网络和卷积神经网络，对人脸欺骗攻击视频进行检测。Feng等人在2016年Journal of Visual Communication and Image Representation期刊上发表了论文《Integration of image quality and motion cues for face anti-spoofing:A neural network approach》，提出基于分层神经网络的多线索集成框架，利用自动编码器自动学习基于动作的面部活性特征，从而进行人脸欺骗检测。Lucena等人在2017年的International Conference Image Analysis and Recognition会议上发表了论文《Transfer learning using convolutional neural networks for face anti-spoofing》，将在大规模数据库上训练得到的卷积网络模型，使用迁移学习方法扩展到人脸欺骗检测应用当中。上述基于深度学习的人脸欺骗检测方法已取得了较好的检测效果，能够对人脸欺骗攻击进行较为准确的分辨。
然而，深度学习技术很容易受到对抗攻击。Szegedy等人在2013年就发表了论文《Intriguing properties of neural networks》，提出深度神经网络易受对抗样本攻击的特性，即通过对输入进行人眼不可察觉的细微的扰动，可以使深度神经网络以较高的置信度输出任意想要的分类。Goodfellow等人在2015年发表论文《Explaining and HarnessingAdversarial Examples》，解释了对抗样本的生成原因，并通过在熊猫图片中添加微小噪声，在人眼无法察觉的情况下使神经网络以高置信度将图片分类为长臂猿的例子，展示了对抗样本对于深度学习系统的严重威胁。他们在2016年进一步发表了论文《Adversarialexamples in the physical world》，介绍了根据所需的深度网络输出结果，利用梯度上升的方法向输入图像添加微弱扰动，进而生成能够有效误导深度网络分类结果的对抗样本的方法，进一步展示了深度学习网络在对抗样本攻击下的脆弱性。
在本发明技术方案的研究过程中得出：为提高人脸欺骗检测方法的检测性能，避免对抗样本危害人脸识别系统的安全性，最为有效的方法是利用大量的对抗样本来进行训练，提高系统的鲁棒性。然而，在实际应用当中，获取大量对抗训练样本是较为困难的。Goodfellow等人提出的方法运算复杂度较高，并且需要针对特定一副图像生成特定的扰动，难以大规模应用。为了大规模生成对抗样本用于训练，Sharif等人在2017年发表论文《Adversarial Generative Nets:Neural Network Attacks on State-of-the-Art FaceRecognition》，提出利用对抗生成网络来大量生成能使人脸识别系统错认人脸的对抗样本。然而，对于人脸欺骗检测，目前尚无大规模生成对抗样本的方法见诸报道。这使得针对人类欺骗检测方法难以获得大量对抗样本来进行训练，无法有效抵御该类对抗样本攻击。
发明内容
本发明的目的是为了解决现有技术中的上述缺陷，提供一种基于对抗生成网络的人脸欺骗检测系统对抗样本生成方法，该方法能够自动大规模地生成人脸欺骗检测方法的对抗样本，降低了大量获取用于网络训练的对抗样本的难度，具有重要的现实应用价值。
本发明通过应用对抗生成网络技术，能够根据原始样本图像大批量快速生成对抗样本。同时利用眼镜形状掩模，使添加的对抗扰动限制于眼镜形状的范围之中，便于后续实际制作出来进行现实物理攻击，使对抗样本更具实用价值。另一方面，通过将不同的人脸欺骗检测网络或传统方法接入整体训练框架，可以便捷地生成针对不同检测方法的对抗样本。本发明有效解决了人脸欺骗检测系统在训练过程中缺乏足够对抗样本的问题，有利于提高人脸欺骗检测方法及人脸识别系统的安全可靠性。
本发明的目的可以通过采取如下技术方案达到：
一种基于对抗生成网络的人脸欺骗检测系统对抗样本生成方法，该对抗样本生成方法包括以下步骤：
S1、构建用于判断人脸是否真实的判别器D：判别器D输入为分辨率112×112，具有RGB三个颜色通道的彩色图像，接着依次通过stride为2的32通道输出5×5卷积层、LeakyReLU激活函数、stride为2的64通道输出5×5卷积层、Leaky ReLU激活函数、BN层、stride为2的128通道输出5×5卷积层、Leaky ReLU激活函数、BN层、stride为2的64通道输出5×5卷积层、Leaky ReLU激活函数、BN层、1单元的全连接层、sigmoid激活函数，输出待测图像是否来自真实人脸的二分类结果；
S2、构建用于生成对抗样本扰动的生成器G：生成器G输入为100维的高斯白噪声序列，其后通过14592单元的全连接层、BN层，再将14592维特征转换为分辨率6×19、通道数128的特征图，特征图其后依次通过stride为2的128通道输出5×5反卷积层、BN层、stride为2的64通道输出5×5反卷积层、BN层、stride为2的32通道输出5×5反卷积层、BN层、stride为2的3通道输出5×5反卷积层、tanh激活函数，输出分辨率为24×76×3，取值为[-1，1]的对抗扰动矩阵；
S3、对训练样本进行预处理：利用人脸检测方法，获取图像中的人脸位置，并将人脸位置裁剪出来，利用Lanczos插值算法，转换为分辨率112×112的图像进行保存，作为输入网络的样本；同时利用人脸关键点检测算法，获取输入样本中人双眼位置的关键点；
S4、构建眼镜形状的对抗扰动掩模：根据人眼关键点位置，生成矩形内框，使得内框距离内眼角关键点、外眼角关键点、上眼皮较高关键点、下眼皮较低关键点均为3个像素，将内框向外扩展5个像素，得到矩形外框，将内外框之间的区域作为眼镜框掩模，将双眼眼镜框掩模水平中点用直线相连，并将直线宽度设定为5个像素，得到眼镜横梁掩模，眼镜框与眼镜横梁共同组成眼睛形状的对抗扰动掩模；
S5、将生成器G生成的对抗扰动矩阵左上角像素置于输入样本图像的(35,16)坐标位置，将眼镜形状掩模置于其上，将扰动矩阵在掩模内的元素值乘以255，将在掩模外的元素置为0，将所得结果与输入样本图像相加，将相加后的像素进行四舍五入的取整，并进行[0,255]范围的截断，得到对抗样本；
S6、将实际样本及对抗样本输入到判别器D以及需要进行对抗攻击的人脸欺骗检测网络F当中，构建整体的训练网络，并使用参数初始化方法对网络参数进行初始化对网络参数进行初始化；
使用任意用于人脸欺骗检测的深度网络或传统方法作为攻击对象，接入整体训练框架
S7、构建网络训练的损失函数：
将判别器D的损失函数设置为：
LD＝E[logD(x)]+E[log(1-D(M(x,G(z)))]
其中x为未添加扰动的样本，z为高斯白噪声序列，G(·)为生成器G的输出，M(x,G(z))为生成器输出经过掩模操作并添加到原始样本后生成的对抗样本，D(·)表示判别器的输出；
将生成器G的损失函数设置为：
LG＝E[log(1-D(M(x,G(z)))]-0.25×LF
其中LF为需要对抗攻击的人脸欺骗检测网络F的损失函数，定义为：
其中y为训练样本是否为人脸欺骗样本的实际标签，为训练样本的预测值，n为一批同时送入网络进行训练的样本数量；
S8、设置模型优化算法，采用Adam参数优化算法进行参数优化，分别设置学习率、一阶平滑参数β1、二阶平滑参数β2和避免运算过程中分母为0的常数e；
S9、冻结生成器G和检测网络F参数，解冻判别器D参数，获取一定数量的原始图像样本，同时获取同样数量的高斯白噪声序列样本，利用生成器G及掩模过程获取对抗攻击样本，将原始图像样本及对抗攻击样本送入判别器D进行训练，以损失函数LD最大化为目标调整判别器D参数；
S10、冻结判别器D和检测网络F参数，解冻生成器G参数，获取一定数量的原始图像样本，同时获取同样数量的高斯白噪声序列样本，利用生成器G及掩模过程送获取对抗攻击样本，将原始图像样本及对抗攻击样本送入判别器D及检测网络F，以损失函数LG最小化为目标调整生成器G参数；
S11、重复进行步骤S9和S10的操作，直至网络参数稳定；
S12、对实际应用数据进行预处理，按照步骤S3获取112×112分辨率图像及双眼关键点，按步骤S4获取眼镜形状掩模；
S13、将100维高斯白噪声序列送入训练好的生成器G，再将其输出结合眼睛形状掩模及原始样本图像，按照步骤S5获得对抗样本。
进一步地，在上述方法的步骤S3中，使用基于SSD(Single Shot MultiBoxDetector，单步多框检测器)网络的人脸检测算法获取图像中的人脸位置，将图像输入SSD网络，从网络的输出中获得人脸区域的坐标。
进一步地，在上述方法的步骤S3中，使用基于2DFAN(2D Face AlignmentNetwork，二维人脸对齐网络)网络的人脸关键点检测算法获取输入样本中人双眼位置的关键点，将图像输入2DFAN网络，从网络的输出中获得人双眼位置关键点的坐标。
进一步地，在上述方法的步骤S6中，使用He方法对网络参数进行初始化。
进一步地，在上述方法的步骤S6中，使用任意用于人脸欺骗检测的深度网络或传统方法作为攻击对象，接入整体训练框架。
进一步地，在上述方法的步骤S8中，采用Adam算法对网络参数进行调整，设置学习率为5×10-5，一阶平滑参数β1＝0.5,二阶平滑参数β2＝0.999，防止分母为0的常数e＝10-8。
本发明相对于现有技术具有如下的优点及效果：
1、本发明提供了一种基于对抗生成网络的人脸欺骗检测系统对抗样本生成方法，通过深度学习的相关技术，可以大批量快速地生成对抗样本，为人脸欺骗检测系统的训练提供了大量高质量的对抗训练样本，有利于提高人脸欺骗检测方法的鲁棒性，提高人脸识别系统抵御对抗样本攻击的安全性；
2、本发明利用人脸眼部关键点位置生成眼镜形状掩模，通过掩模使添加的对抗扰动限制于眼镜形状的范围之中，便于后续实际制作出来进行现实物理攻击，这使得本发明生成的对抗样本更具实用价值；
3、本发明所构建的对抗扰动生成器结构简单，有效限制了模型规模，提高了模型训练效率，同时在实际应用时也有利于节约计算资源，提高对抗样本的生成效率。
4、本发明可以将任意用于人脸欺骗检测的深度网络或传统方法作为攻击对象，接入整体训练框架，训练针对该方法的对抗扰动生成器，进而大量生成针对特定人脸欺骗检测方法的对抗样本，应用起来灵活便捷。
附图说明
图1是本发明中公开的基于对抗生成网络的人脸欺骗检测系统对抗样本生成方法的流程步骤图；
图2是本发明方法中判别器结构图；
图3是本发明方法中生成器结构图；
图4是本发明方法中训练网络整体结构图；
图5是本发明方法中测试网络整体结构图；
图6是本发明方法所生成对抗样本的示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例
本实施例公开了一种基于对抗生成网络的人脸欺骗检测系统对抗样本生成方法，包括模型训练和模型应用两部分。
下面以REPLAY-ATTACK数据库为例详细介绍本实施例中对抗样本生成方法的实施过程。该数据库由1300段视频组成，视频分辨率均为320×240。利用数据库中的训练集数据来对对抗扰动生成器进行训练，然后利用测试集数据进行测试。实验在Win10系统上进行的，使用3.6.7版本的Python，2.2.4版本的Keras，Keras的后端为1.12.0版本的TensorFlow，CUDA版本为9.0.0，cudnn版本为7.1.4。整体的实施流程如图1所示，具体的实施步骤如下：
第一步，构建用于判断人脸是否真实的判别器D。
判别器的网络结构如图2所示，其输入为分辨率112×112，具有RGB三个颜色通道的彩色图像，输出为待测图像是否来自真实人脸的二分类结果。
第二步，构建用于生成对抗样本扰动的生成器G。
生成器的网络结构如图3所示，其输入为100维的高斯白噪声序列，输出分辨率为24×76×3，取值为[-1，1]的对抗扰动矩阵。
第三步，对训练样本进行预处理。
利用基于SSD(Single Shot MultiBox Detector，单步多框检测器)网络的人脸检测方法，获取REPLAY-ATTACK数据库训练集图像中的人脸位置，并将人脸位置裁剪出来，利用Lanczos插值算法，转换为分辨率112×112的图像进行保存，作为输入网络的样本。同时利用基于2DFAN(2D Face Alignment Network，二维人脸对齐网络)网络的人脸关键点检测算法，获取输入样本中人双眼位置的关键点。
第四步，构建眼镜形状的对抗扰动掩模。
根据人眼关键点位置，生成矩形内框，使得内框距离内眼角关键点、外眼角关键点、上眼皮较高关键点、下眼皮较低关键点均为3个像素。将内框向外扩展5个像素，得到矩形外框，将内外框之间的区域作为眼镜框掩模。将双眼眼镜框掩模水平中点用直线相连，并将直线宽度设定为5个像素，得到眼镜横梁掩模。眼镜框与眼镜横梁共同组成眼睛形状的对抗扰动掩模。
第五步，生成训练用的对抗样本。
将生成器G生成的对抗扰动矩阵左上角像素置于输入样本图像的(35,16)坐标位置，将眼镜形状掩模置于其上，将扰动矩阵在掩模内的元素值乘以255，将在掩模外的元素置为0。将所得结果与输入样本图像相加，将相加后的像素进行四舍五入的取整，并进行[0,255]范围的截断，得到对抗样本。
第六步，构建整体的训练网络。
将实际样本及对抗样本输入到判别器D以及需要进行对抗攻击的人脸欺骗检测网络F当中，构建整体的训练网络，如图4所示，并使用He方法对网络参数进行初始化。本实施例中人脸欺骗检测网络F选择FASNet，网络参数已训练好，并在训练过程中保持冻结不变。
第七步，构建网络训练的损失函数。
将判别器D的损失函数设置为：
LD＝E[logD(x)]+E[log(1-D(M(x,G(z)))]
其中x为未添加扰动的样本，z为高斯白噪声序列，G(·)为生成器G的输出，M(x,G(z))为生成器输出经过掩模操作并添加到原始样本后生成的对抗样本，D(·)表示判别器的输出。
将生成器G的损失函数设置为：
LG＝E[log(1-D(M(x,G(z)))]-0.25×LF
其中LF为需要对抗攻击的人脸欺骗检测网络F的损失函数，定义为：
其中y为训练样本是否为人脸欺骗样本的实际标签，为训练样本的预测值，n为一批同时送入网络进行训练的样本数量，在本实施例中n＝40。
第八步，设置模型优化算法。
本实施例采用Adam算法进行参数优化，设置学习率为5×10-5，一阶平滑参数β1＝0.5,二阶平滑参数β2＝0.999，e＝10-8。
第九步，训练判别器。
冻结生成器G和检测网络F参数，解冻判别器D参数，获取20张原始图像样本，同时获取20个高斯白噪声序列样本，将高斯白噪声序列送入生成器G并利用掩模过程获取20张对抗攻击样本图像，将原始图像样本及对抗攻击样本共40个样本送入判别器D进行训练，以损失函数LD最大化为目标调整判别器D参数。
第十步、训练生成器。
冻结判别器D和检测网络F参数，解冻生成器G参数，获取20张原始图像样本，同时获取20个高斯白噪声序列样本，将高斯白噪声序列送入生成器G并利用掩模过程获取20张对抗攻击样本图像，将原始图像样本及对抗攻击样本共40个样本送入判别器D及检测网络F，以损失函数LG最小化为目标调整生成器G参数。
第十一步、迭代调整参数。
重复进行第九步和第十步的操作，直至网络参数稳定。
第十二步，对实际应用数据进行预处理。
按照第三步处理REPLAY-ATTACK数据库测试集中的图像样本，获取112×112分辨率图像及双眼关键点，按第四步获取眼镜形状掩模。
第十三步，组成应用网络进行对抗样本生成。
将训练好的生成器G和眼睛形状扰动掩模组合构成应用网络，如图5所示。将100维高斯白噪声序列送入训练好的生成器G，再将其输出结合眼睛形状掩模及原始样本图像，按照第五步获得对抗样本。
本实施分别对REPLAY-ATTACK数据库中的real样本和attack样本进行对抗样本的生成，其后用FASNet人脸欺骗检测网络检测对抗样本。将FASNet错误分类的样本数与样本总数的比率定义为欺骗率，实验结果如下表1所示：
表1.实验结果表
针对样本 欺骗率
real 45％
attack 100％
从上述实验结果可见，本发明方法所生成的对抗样本具有较高的质量，能使FASNet人脸欺骗检测网络较大几率地输出错误的分类结果，证明了本发明方法的有效性。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (8)

1.一种基于对抗生成网络的人脸欺骗检测系统对抗样本生成方法，其特征在于，所述的对抗样本生成方法包括以下步骤：
S1、构建用于判断人脸是否真实的判别器D：判别器D输入为分辨率112×112，具有RGB三个颜色通道的彩色图像，输出为待测图像是否来自真实人脸的二分类结果；
S2、构建用于生成对抗样本扰动的生成器G：生成器G输入为100维的高斯白噪声序列，输出分辨率为24×76×3，取值为[-1，1]的对抗扰动矩阵；
S3、对训练样本进行预处理：利用人脸检测方法，获取图像中的人脸位置，并将人脸位置裁剪出来，利用Lanczos插值算法，转换为分辨率112×112的图像进行保存，作为输入网络的样本；同时利用人脸关键点检测算法，获取输入样本中人双眼位置的关键点；
S4、构建眼镜形状的对抗扰动掩模：根据人眼关键点位置，生成矩形内框，使得内框距离内眼角关键点、外眼角关键点、上眼皮较高关键点、下眼皮较低关键点均为3个像素，将内框向外扩展5个像素，得到矩形外框，将内外框之间的区域作为眼镜框掩模，将双眼眼镜框掩模水平中点用直线相连，并将直线宽度设定为5个像素，得到眼镜横梁掩模，眼镜框与眼镜横梁共同组成眼睛形状的对抗扰动掩模；
S5、将生成器G生成的对抗扰动矩阵左上角像素置于输入样本图像的(35,16)坐标位置，将眼镜形状掩模置于其上，将扰动矩阵在掩模内的元素值乘以255，将在掩模外的元素置为0，将所得结果与输入样本图像相加，将相加后的像素进行四舍五入的取整，并进行[0,255]范围的截断，得到对抗样本；
S6、将实际样本及对抗样本输入到判别器D以及需要进行对抗攻击的人脸欺骗检测网络F当中，构建整体的训练网络，并使用参数初始化方法对网络参数进行初始化对网络参数进行初始化；
使用任意用于人脸欺骗检测的深度网络或传统方法作为攻击对象，接入整体训练框架
S7、构建网络训练的损失函数：
将判别器D的损失函数设置为：
LD＝E[logD(x)]+E[log(1-D(M(x,G(z)))]
其中x为未添加扰动的样本，z为高斯白噪声序列，G(·)为生成器G的输出，M(x,G(z))为生成器输出经过掩模操作并添加到原始样本后生成的对抗样本，D(·)表示判别器的输出；
将生成器G的损失函数设置为：
LG＝E[log(1-D(M(x,G(z)))]-0.25×LF
其中LF为需要对抗攻击的人脸欺骗检测网络F的损失函数，定义为：
其中y为训练样本是否为人脸欺骗样本的实际标签，为训练样本的预测值，n为一批同时送入网络进行训练的样本数量；
S8、设置模型优化算法，采用参数优化算法进行参数优化，分别设置学习率、一阶平滑参数β1、二阶平滑参数β2和避免运算过程中分母为0的常数e；
S9、冻结生成器G和检测网络F参数，解冻判别器D参数，获取一定数量的原始图像样本，同时获取同样数量的高斯白噪声序列样本，利用生成器G及掩模过程获取对抗攻击样本，将原始图像样本及对抗攻击样本送入判别器D进行训练，以损失函数LD最大化为目标调整判别器D参数；
S10、冻结判别器D和检测网络F参数，解冻生成器G参数，获取一定数量的原始图像样本，同时获取同样数量的高斯白噪声序列样本，利用生成器G及掩模过程送获取对抗攻击样本，将原始图像样本及对抗攻击样本送入判别器D及检测网络F，以损失函数LG最小化为目标调整生成器G参数；
S11、重复进行步骤S9和S10的操作，直至网络参数稳定；
S12、对实际应用数据进行预处理，按照步骤S3获取112×112分辨率图像及双眼关键点，按步骤S4获取眼镜形状掩模；
S13、将100维高斯白噪声序列送入训练好的生成器G，再将其输出结合眼睛形状掩模及原始样本图像，按照步骤S5获得对抗样本。
2.根据权利要求1所述的基于对抗生成网络的人脸欺骗检测系统对抗样本生成方法，其特征在于，所述的判别器D输入为分辨率112×112，具有RGB三个颜色通道的彩色图像，接着依次通过stride为2的32通道输出5×5卷积层、Leaky ReLU激活函数、stride为2的64通道输出5×5卷积层、Leaky ReLU激活函数、BN层、stride为2的128通道输出5×5卷积层、Leaky ReLU激活函数、BN层、stride为2的64通道输出5×5卷积层、Leaky ReLU激活函数、BN层、1单元的全连接层、sigmoid激活函数，输出为待测图像是否来自真实人脸的二分类结果。
3.根据权利要求1所述的基于对抗生成网络的人脸欺骗检测系统对抗样本生成方法，其特征在于，所述的生成器G输入为100维的高斯白噪声序列，其后通过14592单元的全连接层、BN层，再将14592维特征转换为分辨率6×19、通道数128的特征图，特征图其后依次通过stride为2的128通道输出5×5反卷积层、BN层、stride为2的64通道输出5×5反卷积层、BN层、stride为2的32通道输出5×5反卷积层、BN层、stride为2的3通道输出5×5反卷积层、tanh激活函数，输出分辨率为24×76×3，取值为[-1，1]的对抗扰动矩阵。
4.根据权利要求1所述的基于对抗生成网络的人脸欺骗检测系统对抗样本生成方法，其特征在于，所述的步骤S3中，使用基于SSD网络的人脸检测算法获取图像中的人脸位置。
5.根据权利要求1所述的基于对抗生成网络的人脸欺骗检测系统对抗样本生成方法，其特征在于，所述的步骤S3中，使用基于2DFAN网络的人脸关键点检测算法获取输入样本中人双眼位置的关键点。
6.根据权利要求1所述的基于对抗生成网络的人脸欺骗检测系统对抗样本生成方法，其特征在于，所述的步骤S6中，使用He方法对网络参数进行初始化。
7.根据权利要求1所述的基于对抗生成网络的人脸欺骗检测系统对抗样本生成方法，其特征在于，所述的步骤S6中，使用任意用于人脸欺骗检测的深度网络或传统方法作为攻击对象，接入整体训练框架。
8.根据权利要求1所述的基于对抗生成网络的人脸欺骗检测系统对抗样本生成方法，其特征在于，所述的步骤S8中，采用Adam算法对网络参数进行调整，设置学习率为5×10-5，一阶平滑参数β1＝0.5,二阶平滑参数β2＝0.999，防止分母为0的常数e＝10-8。
CN201910723573.XA 2019-08-07 2019-08-07 基于对抗生成网络的人脸欺骗检测系统对抗样本生成方法 Active CN110443203B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910723573.XA CN110443203B (zh) 2019-08-07 2019-08-07 基于对抗生成网络的人脸欺骗检测系统对抗样本生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910723573.XA CN110443203B (zh) 2019-08-07 2019-08-07 基于对抗生成网络的人脸欺骗检测系统对抗样本生成方法

Publications (2)

Publication Number Publication Date
CN110443203A true CN110443203A (zh) 2019-11-12
CN110443203B CN110443203B (zh) 2021-10-15

Family

ID=68433523

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910723573.XA Active CN110443203B (zh) 2019-08-07 2019-08-07 基于对抗生成网络的人脸欺骗检测系统对抗样本生成方法

Country Status (1)

Country Link
CN (1) CN110443203B (zh)

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110991299A (zh) * 2019-11-27 2020-04-10 中新国际联合研究院 一种物理域上针对人脸识别系统的对抗样本生成方法
CN111160217A (zh) * 2019-12-25 2020-05-15 中山大学 一种行人重识别系统对抗样本生成方法及系统
CN111340214A (zh) * 2020-02-21 2020-06-26 腾讯科技（深圳）有限公司 对抗攻击模型的训练方法及装置
CN111626925A (zh) * 2020-07-24 2020-09-04 支付宝(杭州)信息技术有限公司 一种对抗补丁的生成方法及装置
CN111639589A (zh) * 2020-05-28 2020-09-08 西北工业大学 基于对抗学习和类颜色空间的视频虚假人脸检测方法
CN111738735A (zh) * 2020-07-23 2020-10-02 腾讯科技（深圳）有限公司 一种图像数据处理方法、装置和相关设备
CN111737691A (zh) * 2020-07-24 2020-10-02 支付宝(杭州)信息技术有限公司 对抗样本的生成方法和装置
CN111783621A (zh) * 2020-06-29 2020-10-16 北京百度网讯科技有限公司 人脸表情识别及模型训练的方法、装置、设备及存储介质
CN111914633A (zh) * 2020-06-22 2020-11-10 华南理工大学 基于人脸特征时域稳定性的换脸视频篡改检测方法及其应用
CN111985504A (zh) * 2020-08-17 2020-11-24 中国平安人寿保险股份有限公司 基于人工智能的翻拍检测方法、装置、设备及介质
CN112000578A (zh) * 2020-08-26 2020-11-27 支付宝(杭州)信息技术有限公司 人工智能系统的测试方法和装置
CN112200075A (zh) * 2020-10-09 2021-01-08 西安西图之光智能科技有限公司 一种基于异常检测的人脸防伪方法
CN112488023A (zh) * 2020-12-08 2021-03-12 西北工业大学 基于梯度扰动的电磁信号智能识别系统诱骗方法
CN112801037A (zh) * 2021-03-01 2021-05-14 山东政法学院 一种基于连续帧间差异的人脸篡改检测方法
CN112802048A (zh) * 2021-01-28 2021-05-14 清华大学 具有不对称结构的图层生成对抗网络生成方法及装置
CN113379001A (zh) * 2021-07-16 2021-09-10 支付宝(杭州)信息技术有限公司 针对图像识别模型的处理方法及装置
CN113780123A (zh) * 2021-08-27 2021-12-10 广州大学 一种对抗样本生成方法、系统、计算机设备和存储介质
CN114005170A (zh) * 2022-01-05 2022-02-01 中国科学院自动化研究所 基于视觉对抗重构的DeepFake防御方法和系统
CN114241569A (zh) * 2021-12-21 2022-03-25 中国电信股份有限公司 人脸识别攻击样本的生成方法、模型训练方法及相关设备
CN114333029A (zh) * 2021-12-31 2022-04-12 北京瑞莱智慧科技有限公司 模板图像生成方法、装置及存储介质
JP2022082493A (ja) * 2020-11-23 2022-06-02 同▲済▼大学 ノイズチャネルに基づくランダム遮蔽回復の歩行者再識別方法
CN114882323A (zh) * 2022-07-08 2022-08-09 第六镜科技(北京)集团有限责任公司 对抗样本生成方法、装置、电子设备及存储介质
CN114898450A (zh) * 2022-07-14 2022-08-12 中国科学院自动化研究所 基于生成模型的人脸对抗口罩样本生成方法和系统
WO2022222143A1 (zh) * 2021-04-23 2022-10-27 中国科学院深圳先进技术研究院 人工智能系统的安全性检测方法、装置及终端设备
CN115272534A (zh) * 2022-07-29 2022-11-01 中国电信股份有限公司 人脸图像保护方法、保护装置、电子设备和可读存储介质
CN117591921A (zh) * 2024-01-19 2024-02-23 中国传媒大学 基于欺骗与反欺骗理论的对抗生成欺骗检测方法
CN112488023B (zh) * 2020-12-08 2024-05-31 西北工业大学 基于梯度扰动的电磁信号智能识别系统诱骗方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105095856A (zh) * 2015-06-26 2015-11-25 上海交通大学 基于掩膜的有遮挡人脸识别方法
CN105809085A (zh) * 2014-12-29 2016-07-27 深圳Tcl数字技术有限公司 人眼定位方法及装置
US20180268055A1 (en) * 2017-03-15 2018-09-20 Nec Laboratories America, Inc. Video retrieval system based on larger pose face frontalization
CN109377429A (zh) * 2018-11-13 2019-02-22 广东同心教育科技有限公司 一种人脸识别素质教育智慧评价系统
CN109977841A (zh) * 2019-03-20 2019-07-05 中南大学 一种基于对抗深度学习网络的人脸识别方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105809085A (zh) * 2014-12-29 2016-07-27 深圳Tcl数字技术有限公司 人眼定位方法及装置
CN105095856A (zh) * 2015-06-26 2015-11-25 上海交通大学 基于掩膜的有遮挡人脸识别方法
US20180268055A1 (en) * 2017-03-15 2018-09-20 Nec Laboratories America, Inc. Video retrieval system based on larger pose face frontalization
CN109377429A (zh) * 2018-11-13 2019-02-22 广东同心教育科技有限公司 一种人脸识别素质教育智慧评价系统
CN109977841A (zh) * 2019-03-20 2019-07-05 中南大学 一种基于对抗深度学习网络的人脸识别方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
ISRAEL A. LAURENSI R. 等: "Style Transfer Applied to Face Liveness Detection with User-Centered Models", 《ARXIV.ORG》 *
MAHMOOD SHARIF 等: "A General Framework for Adversarial Examples with Objectives", 《ARXIV.ORG》 *
曹琨 等: "基于条件生成对抗网络的人脸补全算法", 《传感器与微系统》 *

Cited By (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110991299B (zh) * 2019-11-27 2023-03-14 中新国际联合研究院 一种物理域上针对人脸识别系统的对抗样本生成方法
CN110991299A (zh) * 2019-11-27 2020-04-10 中新国际联合研究院 一种物理域上针对人脸识别系统的对抗样本生成方法
CN111160217A (zh) * 2019-12-25 2020-05-15 中山大学 一种行人重识别系统对抗样本生成方法及系统
CN111160217B (zh) * 2019-12-25 2023-06-23 中山大学 一种行人重识别系统对抗样本生成方法及系统
CN111340214A (zh) * 2020-02-21 2020-06-26 腾讯科技（深圳）有限公司 对抗攻击模型的训练方法及装置
CN111340214B (zh) * 2020-02-21 2021-06-08 腾讯科技（深圳）有限公司 对抗攻击模型的训练方法及装置
WO2021164334A1 (zh) * 2020-02-21 2021-08-26 腾讯科技（深圳）有限公司 对抗攻击模型的训练方法及装置、对抗图像的产生方法及装置、电子设备及存储介质
CN111639589A (zh) * 2020-05-28 2020-09-08 西北工业大学 基于对抗学习和类颜色空间的视频虚假人脸检测方法
CN111639589B (zh) * 2020-05-28 2022-04-19 西北工业大学 基于对抗学习和类颜色空间的视频虚假人脸检测方法
CN111914633A (zh) * 2020-06-22 2020-11-10 华南理工大学 基于人脸特征时域稳定性的换脸视频篡改检测方法及其应用
CN111914633B (zh) * 2020-06-22 2023-06-30 华南理工大学 基于人脸特征时域稳定性的换脸视频篡改检测方法及其应用
CN111783621A (zh) * 2020-06-29 2020-10-16 北京百度网讯科技有限公司 人脸表情识别及模型训练的方法、装置、设备及存储介质
CN111783621B (zh) * 2020-06-29 2024-01-23 北京百度网讯科技有限公司 人脸表情识别及模型训练的方法、装置、设备及存储介质
CN111738735A (zh) * 2020-07-23 2020-10-02 腾讯科技（深圳）有限公司 一种图像数据处理方法、装置和相关设备
CN111738735B (zh) * 2020-07-23 2021-07-13 腾讯科技（深圳）有限公司 一种图像数据处理方法、装置和相关设备
CN111626925B (zh) * 2020-07-24 2020-12-01 支付宝(杭州)信息技术有限公司 一种对抗补丁的生成方法及装置
CN111737691A (zh) * 2020-07-24 2020-10-02 支付宝(杭州)信息技术有限公司 对抗样本的生成方法和装置
CN111626925A (zh) * 2020-07-24 2020-09-04 支付宝(杭州)信息技术有限公司 一种对抗补丁的生成方法及装置
CN111985504B (zh) * 2020-08-17 2021-05-11 中国平安人寿保险股份有限公司 基于人工智能的翻拍检测方法、装置、设备及介质
CN111985504A (zh) * 2020-08-17 2020-11-24 中国平安人寿保险股份有限公司 基于人工智能的翻拍检测方法、装置、设备及介质
CN112000578A (zh) * 2020-08-26 2020-11-27 支付宝(杭州)信息技术有限公司 人工智能系统的测试方法和装置
CN112200075A (zh) * 2020-10-09 2021-01-08 西安西图之光智能科技有限公司 一种基于异常检测的人脸防伪方法
JP7136500B2 (ja) 2020-11-23 2022-09-13 同▲済▼大学 ノイズチャネルに基づくランダム遮蔽回復の歩行者再識別方法
JP2022082493A (ja) * 2020-11-23 2022-06-02 同▲済▼大学 ノイズチャネルに基づくランダム遮蔽回復の歩行者再識別方法
CN112488023B (zh) * 2020-12-08 2024-05-31 西北工业大学 基于梯度扰动的电磁信号智能识别系统诱骗方法
CN112488023A (zh) * 2020-12-08 2021-03-12 西北工业大学 基于梯度扰动的电磁信号智能识别系统诱骗方法
CN112802048A (zh) * 2021-01-28 2021-05-14 清华大学 具有不对称结构的图层生成对抗网络生成方法及装置
CN112801037A (zh) * 2021-03-01 2021-05-14 山东政法学院 一种基于连续帧间差异的人脸篡改检测方法
WO2022222143A1 (zh) * 2021-04-23 2022-10-27 中国科学院深圳先进技术研究院 人工智能系统的安全性检测方法、装置及终端设备
CN113379001A (zh) * 2021-07-16 2021-09-10 支付宝(杭州)信息技术有限公司 针对图像识别模型的处理方法及装置
CN113780123B (zh) * 2021-08-27 2023-08-08 广州大学 一种对抗样本生成方法、系统、计算机设备和存储介质
CN113780123A (zh) * 2021-08-27 2021-12-10 广州大学 一种对抗样本生成方法、系统、计算机设备和存储介质
CN114241569B (zh) * 2021-12-21 2024-01-02 中国电信股份有限公司 人脸识别攻击样本的生成方法、模型训练方法及相关设备
CN114241569A (zh) * 2021-12-21 2022-03-25 中国电信股份有限公司 人脸识别攻击样本的生成方法、模型训练方法及相关设备
CN114333029A (zh) * 2021-12-31 2022-04-12 北京瑞莱智慧科技有限公司 模板图像生成方法、装置及存储介质
CN114005170A (zh) * 2022-01-05 2022-02-01 中国科学院自动化研究所 基于视觉对抗重构的DeepFake防御方法和系统
CN114882323A (zh) * 2022-07-08 2022-08-09 第六镜科技(北京)集团有限责任公司 对抗样本生成方法、装置、电子设备及存储介质
CN114882323B (zh) * 2022-07-08 2022-10-14 第六镜科技(北京)集团有限责任公司 对抗样本生成方法、装置、电子设备及存储介质
CN114898450A (zh) * 2022-07-14 2022-08-12 中国科学院自动化研究所 基于生成模型的人脸对抗口罩样本生成方法和系统
CN115272534A (zh) * 2022-07-29 2022-11-01 中国电信股份有限公司 人脸图像保护方法、保护装置、电子设备和可读存储介质
CN115272534B (zh) * 2022-07-29 2024-02-02 中国电信股份有限公司 人脸图像保护方法、保护装置、电子设备和可读存储介质
CN117591921A (zh) * 2024-01-19 2024-02-23 中国传媒大学 基于欺骗与反欺骗理论的对抗生成欺骗检测方法
CN117591921B (zh) * 2024-01-19 2024-05-07 中国传媒大学 基于欺骗与反欺骗理论的对抗生成欺骗检测方法

Also Published As

Publication number Publication date
CN110443203B (zh) 2021-10-15

Similar Documents

Publication Publication Date Title
CN110443203A (zh) 基于对抗生成网络的人脸欺骗检测系统对抗样本生成方法
CN110991299B (zh) 一种物理域上针对人脸识别系统的对抗样本生成方法
CN108537743B (zh) 一种基于生成对抗网络的面部图像增强方法
CN109815893B (zh) 基于循环生成对抗网络的彩色人脸图像光照域归一化的方法
CN112766160B (zh) 基于多级属性编码器和注意力机制的人脸替换方法
CN108596041B (zh) 一种基于视频的人脸活体检测方法
CN110516616A (zh) 一种基于大规模rgb以及近红外数据集的双重认证人脸防伪方法
CN110414350A (zh) 基于注意力模型的双路卷积神经网络的人脸防伪检测方法
CN109523513A (zh) 基于稀疏重建彩色融合图像的立体图像质量评价方法
CN108985200A (zh) 一种基于终端设备的非配合式的活体检测算法
CN109902613A (zh) 一种基于迁移学习和图像增强的人体特征提取方法
CN104537381B (zh) 一种基于模糊不变特征的模糊图像识别方法
CN109977887A (zh) 一种抗年龄干扰的人脸识别方法
CN114241517A (zh) 基于图像生成和共享学习网络的跨模态行人重识别方法
CN109584162A (zh) 一种基于生成网络的图像超分辨率重构的方法
CN112434608A (zh) 一种基于双流结合网络的人体行为识别方法及系统
CN107145841A (zh) 一种基于矩阵的低秩稀疏人脸识别方法及其系统
CN111797702A (zh) 基于空间局部二值模式与光流梯度的人脸伪造视频检测方法
Yuan et al. Flgc-fusion gan: an enhanced fusion gan model by importing fully learnable group convolution
CN114677722A (zh) 一种融合多尺度特征的多监督人脸活体检测方法
Oh et al. Deep visual discomfort predictor for stereoscopic 3d images
CN114882537A (zh) 一种基于神经辐射场的手指新视角图像生成方法
CN113810683A (zh) 一种客观评估水下视频质量的无参考评价方法
CN109636867A (zh) 图像处理方法、装置及电子设备
CN113034371A (zh) 一种基于特征嵌入的红外与可见光图像融合方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant