CN115984979A - 一种面向未知对抗攻击的人脸伪造识别方法及装置 - Google Patents
一种面向未知对抗攻击的人脸伪造识别方法及装置 Download PDFInfo
- Publication number
- CN115984979A CN115984979A CN202310063019.XA CN202310063019A CN115984979A CN 115984979 A CN115984979 A CN 115984979A CN 202310063019 A CN202310063019 A CN 202310063019A CN 115984979 A CN115984979 A CN 115984979A
- Authority
- CN
- China
- Prior art keywords
- face
- image
- actual
- confrontation
- clean
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 238000012545 processing Methods 0.000 claims abstract description 48
- 238000012549 training Methods 0.000 claims abstract description 40
- 238000001514 detection method Methods 0.000 claims abstract description 32
- 238000003860 storage Methods 0.000 claims abstract description 14
- 238000009826 distribution Methods 0.000 claims abstract description 7
- 238000004422 calculation algorithm Methods 0.000 claims description 12
- 238000010586 diagram Methods 0.000 claims description 12
- 238000010606 normalization Methods 0.000 claims description 11
- 230000004913 activation Effects 0.000 claims description 10
- 238000009432 framing Methods 0.000 claims description 9
- 238000013507 mapping Methods 0.000 claims description 8
- 230000007246 mechanism Effects 0.000 claims description 8
- 238000012216 screening Methods 0.000 claims description 7
- 238000003062 neural network model Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 4
- 238000005520 cutting process Methods 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 239000000203 mixture Substances 0.000 claims 1
- 230000003042 antagnostic effect Effects 0.000 abstract description 6
- 230000006870 function Effects 0.000 description 23
- 230000007123 defense Effects 0.000 description 14
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000000137 annealing Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000004821 distillation Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Image Analysis (AREA)
Abstract
本公开实施例提供一种面向未知对抗攻击的人脸伪造识别方法、装置、电子设备及存储介质，包括：获取包含人脸的实际图像；对所述实际图像进行人脸检测处理，得到实际人脸区域图像，以及对所述实际人脸区域图像进行重建处理，得到实际人脸重建图像；将所述实际人脸重建图像输入至预先训练的对抗人脸判别网络，预测得到所述实际图像的人脸真伪性；其中，所述对抗人脸判别网络采用干净人脸数据集和添加扰动噪声的对抗人脸图像集训练得到。本公开实施例将所述实际人脸区域图像数据进行重建，改变对抗性扰动的分布模式，抑制对抗噪声，同时保留人脸伪造痕迹；采用添加扰动噪声的对抗人脸图像集训练对抗人脸判别网络，提高所述判别网络模型的鲁棒性。
Description
技术领域
本公开实施例属于图像处理技术领域，具体涉及一种面向未知对抗攻击的人脸伪造识别方法、装置、电子设备及存储介质。
背景技术
随着深度伪造技术的发展，面向人脸的伪造应用越来越广，针对人脸真伪鉴别的技术也应运而生，人脸伪造图片鉴别技术主要包括基于传统图像取证的方法、基于生物特征的检测方法以及基于空间特征的检测方法。基于传统图像取证的方法与基于生物特征的方法都是需要基于手动设定的或关注的伪造特征与区域进行鉴别，基于空间特征的检测方法则面向单张图片的伪造特征进行提取与判别，目前主流方法都是基于深度神经网络进行特征提取与鉴别，而且面临着一个主要的共性问题，易受对抗攻击影响。对抗攻击是通过添加人无法察觉的细微干扰而导致自动识别模型识别错误的一种面向机器学习算法的干扰手段。对抗攻击主要包括白盒攻击和黑盒攻击两种手段[1]。白盒攻击通过某个特定的模型的结构和参数进行攻击，而黑盒攻击则通常无法获取模型的详细参数，只能依靠简单的输入和输出映射信息来对未知模型进行攻击，黑盒攻击更多地应用于实际应用中。
目前面向黑盒攻击的防御算法主要包括数据层面防御和模型层面防御，数据层面防御包括在训练阶段修改模型参数和在测试阶段修改输入数据，其中在训练阶段修改模型参数的方法主要包括对抗训练，而在测试阶段修改输入数据的方法主要包括数据压缩、去噪等；模型层面的防御方法主要包括两种：修改网络和附加网络，修改网络的通用方法包括更改损失函数或激活函数、防御蒸馏和正则化等。使用附加网络的防御方法指的是将深度鉴别网络与对抗样本生成网络进行联合对抗训练，以提高模型的鲁棒性。添加附加网络为目前通常使用的防御方法，这个方法的优势在于不过多依靠于数据集样本，如“Adversarial Examples Improve
Image Recognition”一文中的提出的AdvProp方法，通过增加一个使用AuxiliaryBN的生成网络生成对抗噪声(使用PGD)，通过联合防御训练，实现网络模型识别的鲁棒性。
现有技术中至少存在如下问题：目前主流的人脸深度伪造鉴别算法都是基于深度神经网络进行特征提取与鉴别的，这些网络模型虽然能在干净图片中得到理想的效果，却容易受到针对神经网络模型设计的对抗攻击的干扰，从而识别失败。如何防御对抗攻击是现在提高鉴别鲁邦性的关键问题，由于在实际应用中，通常面对的都是未知攻击，目前的防御方式主要通过修改数据和模型的方式进行，面向对抗攻击的防御技术具有以下几个问题：1)面向对抗攻击的防御大多仅针对固定的几种已知攻击方法能取得良好的效果，无法应对知攻击带来的风险；2)存在对目标模型参数的依赖问题。
参考文件1：易平,王科迪,黄程,等.人工智能对抗攻击研究综述[J].上海交通大学学报,2018(10):1298-1306.
发明内容
本公开实施例旨在至少解决现有技术中存在的技术问题之一，提供一种面向未知对抗攻击的人脸伪造识别方法、装置、电子设备及存储介质。
本公开实施例的一个方面提供一种面向未知对抗攻击的人脸伪造识别方法。所述方法包括：
获取包含人脸的实际图像；
对所述实际图像进行人脸检测处理，得到实际人脸区域图像，以及对所述实际人脸区域图像进行重建处理，得到实际人脸重建图像；
将所述实际人脸重建图像输入至预先训练的对抗人脸判别网络，预测得到所述实际图像的人脸真伪性；其中，所述对抗人脸判别网络采用干净人脸数据集和添加扰动噪声的对抗人脸图像集训练得到。
可选的，所述对抗人脸判别网络采用下述步骤训练得到：
获取未添加干扰的人脸真实图像以及人脸伪造图像，并将所述人脸真实图像和所述人脸伪造图像进行人脸检测处理，得到干净人脸区域图像数据集，以及将部分人脸区域图像进行重建处理，得到人脸重建图像数据集；其中，所述干净人脸区域图像数据集和所述人脸重建图像数据集共同组成所述干净人脸数据集；
从所述干净人脸数据集选取部分目标干净人脸图像，将所述目标干净人脸图像输入至预先设定的通用性扰动噪声生成网络，生成所述对抗人脸图像；
将所述干净人脸图像和所述对抗人脸图像输入待训练的所述对抗人脸判别网络进行训练，得到训练好的所述对抗人脸判别网络。
可选的，所述对抗人脸判别网络为EfficientNet网络模型，所述将所述干净人脸图像和所述对抗人脸图像输入待训练的所述对抗人脸判别网络进行训练，包括：
将所述干净人脸图像和所述对抗人脸图像分别输入到所述EfficientNet网络模型中进行正向传播计算损失，其中，所述EfficientNet网络模型设置有第一损失函数和第二损失函数；
将所述干净人脸图像输入第一损失函数Lc(θ,xc,)计算其损失值；θ为EfficientNet网络模型的参数，xc为干净人脸图像，y为真/伪标签；
将所述对抗人脸图像输入第二损失函数La(,xa,)计算其损失值；其中，xa为对抗人脸图像。
利用min-max优化算法计算所述干净人脸图像和所述对抗人脸图像损失的梯度反向传播，更新所述EfficientNet网络模型参数，直到最终的损失函数收敛，得到训练好的EfficientNet网络模型，最终的损失函数为：
其中，xc为为干净人脸图像，y为真/伪标签，∈代表添加的扰动噪声，xc+∈为对抗人脸图像，xc+∈＝xa；S代表扰动噪声允许的扰动范围，θ是EfficientNet网络模型的参数，
为数据分布，
表示训练样本与标签的差异。
可选的，所述通用性扰动噪声生成网络包括：卷积层和三个反卷积层，卷积层采用DenseNet网络，对输入的所述干净人脸图像进行卷积处理后得到特征图，输出的特征图尺寸为7×7×256；经过一个Baztch Normalization即BN处理，再经过ReLU激活函数得到特征映射图，作为下一层反卷积层的输入；
所述反卷积层的卷积核大小均为5×5，每个所述反卷积层经过一个BaztchNormalization即BN处理，再经过相应激活函数得到特征映射图，作为下一个反卷积层的输入。
可选的，所述对所述实际图像进行人脸检测处理，得到实际人脸区域图像，包括：
调整所述实际图像为预设尺寸；
将调整好尺寸的实际图像输入至MobileNet神经网络模型进行特征提取，输出特征图；
采用预设的锚框机制对所述特征图进行锚框，利用Soft-NMS算法对所述锚框进行筛选，得到人脸检测框，并对所述人脸检测框进行切割，得到实际人脸区域图像。
可选的，所述对所述实际人脸区域图像进行重建处理，得到实际人脸重建图像，包括：
采用高斯模糊、方框模糊、Kawase模糊、双重模糊、散景模糊和方向模糊中至少一者对所述人脸区域图像进行模糊处理；
采用基于小波变换的直线型扩张的SDWNet网络对模糊后的所述人脸区域图像进行去模糊处理，得到所述实际人脸重建图像。
本公开实施例的一个方面提供一种面向未知对抗攻击的人脸伪造识别装置。所述装置，包括：
获取模块，用于获取包含人脸的实际图像；
重建模块，用于对所述实际图像进行人脸检测处理，得到实际人脸区域图像，以及对所述实际人脸区域图像进行重建处理，得到实际人脸重建图像；
识别模块，用于将所述实际人脸重建图像输入至预先训练的对抗人脸判别网络，预测得到所述实际图像的人脸真伪性。
可选的，所述装置还包括训练模块，所述训练模块用于：
获取未添加干扰的人脸真实图像以及人脸伪造图像，并将所述人脸真实图像和所述人脸伪造图像进行人脸检测处理，得到干净人脸区域图像数据集，以及将部分人脸区域图像进行重建处理，得到人脸重建图像数据集；其中，所述干净人脸区域图像数据集和所述人脸重建图像数据集共同组成所述干净人脸数据集；
从所述干净人脸数据集选取部分目标干净人脸图像，将所述目标干净人脸图像输入至预先设定的通用性扰动噪声生成网络，生成所述对抗人脸图像；
将所述干净人脸图像和所述对抗人脸图像输入待训练的所述对抗人脸判别网络进行训练，得到训练好的所述对抗人脸判别网络。
本公开实施例的一个方面提供一种电子设备。包括：一个或多个处理器；
存储单元，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，能使得所述一个或多个处理器实现根据上述的方法。
本公开实施例的一个方面提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时能实现根据如上所述的方法。
本公开实施例的面向未知对抗攻击的人脸伪造识别方法中，采用人脸图像数据重建和添加附加网络进行对抗训练相结合的方法，首先将所述实际人脸区域图像数据进行高质量的重建，可以改变对抗性扰动的分布模式，抑制对抗噪声，同时保留人脸伪造痕迹；增加添加扰动噪声的对抗人脸图像集训练所述对抗人脸判别网络，提高所述判别网络模型的鲁棒性；本公开实施例从数据和网络两个层面进行对抗攻击防御，可从多个维度弥补仅从数据或网络单一方面防御的缺陷。
附图说明
图1为本公开实施例的一种面向未知对抗攻击的人脸伪造识别方法的流程图；
图2为本公开实施例的一种面向未知对抗攻击的人脸伪造识别装置的结构示意图。
具体实施方式
为使本领域技术人员更好地理解本公开实施例的技术方案，下面结合附图和具体实施方式对本公开实施例作进一步详细描述。
如图1所示，一种面向未知对抗攻击的人脸伪造识别方法S100，所述方法S100包括：
S110、获取包含人脸的实际图像。
本公开实施例可以采用现有的图像采集设备获取视频或图片等中的包含人脸的实际图像，所述包含人脸的实际图像为待识别的包含人脸的实际图像，所述实际图像中可能包括人脸伪造图像。
S120、对所述实际图像进行人脸检测处理，得到实际人脸区域图像，以及对所述实际人脸区域图像进行重建处理，得到实际人脸重建图像。
本公开实施例采用改进的MobileNet网络，结合适用于移动端GPU高效运行的新型锚框机制以及Soft-NMS算法实现对实际图像中非受限人脸图像的检测获取实际人脸区域图像。非受限人脸检测是指无遮挡的人脸检测，主要用于伪造视频检测的应用场景。所述MobileNet网络为轻量级卷积神经网络，采用更紧凑的轻量级特征提取方法，可以实现实时对视频中人脸进行检测。这里的新型锚框机制减少了锚框，降低了计算复杂度，能够加快最后的运行速度，可以部署在移动端。也可以用其他方法锚框筛选，本公开实施例采用Soft-NMS算法进行锚框筛选准确率更高一些。
示例性的，所述对所述实际图像进行人脸检测处理，得到实际人脸区域图像，包括：
S121、调整所述实际图像为预设尺寸。
作为一个示例，该步骤将所述实际图像进行归一化处理，将所述实际图像缩放至统一尺寸128×128。
S122、将调整好尺寸的实际图像输入至MobileNet神经网络模型进行特征提取，输出特征图。
所述MobileNet是一个轻量级卷积神经网络，它进行卷积的参数比标准卷积要少很多，可以实时从实际图像中提取特征图。所述特征图的尺寸包括：8×8和16×16。
示例性的，所述MobileNet神经网络模型包括：一个2D卷积层和五个单BlazeBlock和六个双BlazeBlock；所述2D卷积层采用5×5×3×24的可形变卷积网络层。
本公开实施例的所述2D卷积层可以增加感受野，采用该MobileNet神经网络模型可以尽可能的保留特征。
S123、采用预设的锚框机制对所述特征图进行锚框，利用Soft-NMS算法对所述锚框进行筛选，得到人脸检测框，并对所述人脸检测框进行切割，得到实际人脸区域图像。
作为一个示例，预设的锚框机制减少了锚框数量，降低了计算复杂度，能够加快最后的运行速度，可以部署在移动端。本公开实施例采用Soft-NMS算法进行锚框筛选准确率更高一些。也可以采用其他方法锚框筛选，这里不限定。一张实际图像中可能检测出多长人脸区域，那么需要将检测出来的不同人脸区域切割出来，得到对应的实际人脸区域图像。
示例性的，所述锚框机制为在所述特征图上的每个像素位置设置六个8×8的和两个16×16的锚框，锚框的长宽比为1：1。
作为一个示例，所述锚框机制在所述特征图上的每个像素位置设置六个8×8的和两个16×16的锚框以此减少了锚框数量，由于人脸长宽比的变化有限，所以，锚框的长宽比可以设为1：1。
示例性的，所述对所述实际人脸区域图像进行重建处理，得到实际人脸重建图像，包括：
S124、采用高斯模糊、方框模糊、Kawase模糊、双重模糊、散景模糊和方向模糊中至少一者对所述人脸区域图像进行模糊处理。
作为一个示例，这里，可以将模糊半径可以设置为5，也可以根据实际情况调整，这里不限定。本公开实施例可以采用上述6中模糊方法先后对所述人脸图像进行模糊处理，这里不限定模糊顺序。本领域技术人员可以实际情况进行模糊处理。人脸区域图像尺寸会有不同，将所述人脸区域图像进行模糊处理之前先将所述人脸区域图像的尺寸进行归一化处理，统一调整至416×416，对于小于416×416大小的人脸图像以像素灰度值0分别从行和列向两边进行补充。
S124、采用基于小波变换的直线型扩张的SDWNet网络对模糊后的所述人脸区域图像进行去模糊处理，得到所述实际人脸重建图像。
作为一个示例，对步骤S123模糊处理的人脸区域图像进行去模糊处理，实现对人脸区域图像的恢复。如果人脸区域图像加了对抗扰动，对人脸区域图像去模糊恢复人脸区域图像，可以对改变扰动，抑制对抗噪声。本公开实施例通过对人脸区域图像进行模糊与去模糊处理，实现人脸区域图像的重建，以限制或改变对抗攻击对人脸图区域像的扰动，提高识别准确率。
示例性的，所述SDWNet网络模型训练过程包括：
将batch size训练集样本数量设为8；learning rate学习率从4×10-4开始采用余弦退火的方法进行自适应调整；
在以Gopro数据集训练的模型参数为SDWNet网络模型初始训练参数，微调所述参数，训练若干个epoch学习的回合数至SDWNet网络模型最优。
作为一个示例，可以训练100个左右的epoch学习的回合数。本公开实施例采用SDWNet网络模型对所述人脸区域图像进行训练去模糊处理，有助于高频纹理细节的重建与恢复，能够更好地保留人脸区域图像伪造微弱的痕迹，并且SDWNet网络模型结构简单，利于训练，收敛快。batch size训练集样本数量设为8，使得所述SDWNet网络模型快速收敛。
S130、将所述实际人脸重建图像输入至预先训练的对抗人脸判别网络，预测得到所述实际图像的人脸真伪性；其中，所述对抗人脸判别网络采用干净人脸数据集和添加扰动噪声的对抗人脸图像集训练得到。
不难理解的，所述实际人脸重建图像为人脸真实图像时输出预测结果为“真”，为人脸伪造图像时预测结果为“伪”。本公开实施例采用干净人脸数据集和添加扰动噪声的对抗人脸图像集训练所述对抗人脸判别网络，增强了所述对抗人脸判别网络的鲁棒性。
示例性的，所述对抗人脸判别网络采用下述步骤训练得到：
S131、获取未添加干扰的人脸真实图像以及人脸伪造图像，并将所述人脸真实图像和所述人脸伪造图像进行人脸检测处理，得到干净人脸区域图像数据集，以及将部分人脸区域图像进行重建处理，得到人脸重建图像数据集；其中，所述干净人脸区域图像数据集和所述人脸重建图像数据集共同组成所述干净人脸数据集。
作为一个示例，可以采用上述步骤S120的人脸检测处理和重建处理方法，得到干净人脸区域图像数据集人脸重建图像数据集，这里，对所述干净人脸区域图像进行重建可以起到扩充数据集的作用，增加所述对抗人脸判别网络的泛化性。
S132、从所述干净人脸数据集选取部分目标干净人脸图像，将所述目标干净人脸图像输入至预先设定的通用性扰动噪声生成网络，生成所述对抗人脸图像。
作为一个示例，所述通用性扰动噪声生成网络为所述对抗人脸判别网络中的附加网络，旨在训练所述对抗人脸判别网络时，对所述目标干净人脸图像添加扰动噪声，生成所述对抗人脸图像。
S133、将所述干净人脸图像和所述对抗人脸图像输入待训练的所述对抗人脸判别网络进行训练，得到训练好的所述对抗人脸判别网络。
可以理解的，所述目标干净人脸图像和所述对抗人脸图像对应的真/伪标签作为所述对抗人脸判别网络的输出，对所述对抗人脸判别网络进行训练，得到训练好的所述对抗人脸判别网络。
示例性的，所述对抗人脸判别网络为EfficientNet网络模型，采用AdvProp的训练方法对所述Efficientnet网络模型进行对抗训练，所述将所述干净人脸图像和所述对抗人脸图像输入待训练的所述对抗人脸判别网络进行训练，包括：
将所述干净人脸图像和所述对抗人脸图像分别输入到所述EfficientNet网络模型中进行正向传播计算损失，其中，所述EfficientNet网络模型设置有第一损失函数和第二损失函数；
将所述干净人脸图像输入第一损失函数Lc(θ,xc,y)计算其损失值；其中，θ为EfficientNet网络模型的参数，xc为干净人脸图像，y为真/伪标签；
将所述对抗人脸图像输入第二损失函数La(,xa,y)计算其损失值；其中，xa为对抗人脸图像。
利用min-max优化算法计算所述干净人脸图像和所述对抗人脸图像损失的梯度反向传播，更新所述EfficientNet网络模型参数，直到最终的损失函数收敛，得到训练好的EfficientNet网络模型，最终的损失函数为：
其中，xc为为干净人脸图像，y为真/伪标签，∈代表添加的扰动噪声，xc+∈为对抗人脸图像，xc+∈＝xa；S代表扰动噪声允许的扰动范围，θ是EfficientNet网络模型的参数，
为数据分布，
表示训练样本与标签的差异。
本公开实施例采用Advprop的方法对基于EfficientNet网络的所述对抗人脸判别网络进行训练，所述EfficientNet网络模型内附加的通用性扰动噪声生成网络生成的对抗人脸图像训练EfficientNet网络模型，提高所述EfficientNet网络模型的鲁棒性，而且EfficientNet网络模型结构简单，易于训练，可轻量化部署，应用范围广，可适用于移动终端。具体的，AdvProp的训练方法中利用主BN计算干净人脸图像的损失值，利用辅助BN计算对抗人脸图像的损失值，使用训练好的对抗人脸判别网络识别实际图像时，去掉辅助BN，这里不赘述。
示例性的，所述通用性扰动噪声生成网络包括：卷积层和三个反卷积层，卷积层采用DenseNet网络，对输入的所述干净人脸图像进行卷积处理后得到特征图，输出的特征图尺寸为7×7×256；经过一个Batch Normalization即BN处理，再经过ReLU激活函数得到特征映射图，作为下一层反卷积层的输入；
所述反卷积层的卷积核大小均为5×5，每个所述反卷积层经过一个BatchNormalization即BN处理，再经过相应激活函数得到特征映射图，作为下一个反卷积层的输入。
具体的，如表1所示，卷积层采用DenseNet网络，对输入的所述干净人脸图像进行下采样处理。所述DenseNet网络参数更少，特征连接性更高。
第一Conv2DTranspose反卷积层包括128个5×5的卷积核，所述卷积层的输出作为所述第一Conv2DTranspose反卷积层的输入，进行上采样反卷积操作，将特征放大，卷积步长s设置为1，padding的值设置为same，反卷积处理后得到特征图，经过一个BatchNormalization即BN处理，再经过ReLU激活函数得到特征映射图，作为第二Conv2DTranspose反卷积层的输入。
第二Conv2DTranspose反卷积层包括64个5×5的卷积核，所述第一Conv2DTranspose反卷积层的输出作为所述第二Conv2DTranspose反卷积层的输入，进行上采样反卷积操作，将特征放大，卷积步长s设置为1，padding的值设置为same，反卷积处理后得到特征图，经过一个Batch Normalization即BN处理，再经过ReLU激活函数得到特征映射图，作为第三Conv2DTranspose反卷积层的输入。
第三Conv2DTranspose反卷积层包括1个5×5的卷积核，所述第二Conv2DTranspose反卷积层的输出作为所述第三Conv2DTranspose反卷积层的输入，进行上采样反卷积操作，将特征放大，卷积步长s设置为2，padding的值设置为same，反卷积处理后得到特征图，经过一个Batch Normalization即BN处理，再经过Tanh激活函数得到特征映射图；对每个反卷积层均进行Dropout处理，最终输出对抗人脸图像。
表1扰动噪声生成网络
采用通用性扰动噪声生成网络每一次迭代，每一批次从步骤S132的干净人脸数据集中采样少量的干净人脸图像作为目标干净人脸图像输入通用性扰动噪声生成网络，生成对抗人脸图像，可以根据实际情况设置迭代次数。
作为一个示例，所述DenseNet网络是针对这个通用性扰动噪声生成设计的网络。所述通用性扰动噪声生成网络的每层采用BN作为归一化方法，所述扰动噪声生成网络对人脸图像添加噪声干扰，生成对抗人脸图像，通过增加对抗人脸图像训练对抗人脸判别网络，即EfficientNet网络模型，增强所述对抗人脸判别网络的鲁棒性。增加了通用性的扰动噪声，通常的可能会选用常用的方法如FGD，而本公开实施例的添加通用性扰动噪声更适用于未知对抗攻击。上采样每一层进行Dropout，Dropout可以防止过拟合。
本公开实施例每一步骤采用的神经网络等涉及的参数少，计算量小，适用于存储空间小的移动终端等设备。本公开实施例提出了一种面向未知对抗攻击的人脸伪造识别方法，人脸伪造识别中，面向未知攻击，通过对人脸图像进行变换与重建，以改变对抗性扰动的分布模式，同时可以最大程度的保留图像特征避免破坏伪造痕迹，最后输入至对抗人脸判别网络进行识别，所述对抗人脸判别网络通过添加附加的通用性扰动噪声生成网络生成对抗人脸图像样本与干净人脸图像样本共同对所述人脸对抗判别网络进行训练，增强了人脸伪造识别的准确率。本公开实施例从数据层面和网络层面进行对抗攻击的人脸伪造识别，可从多个维度弥补单个方法的缺陷。
本公开实施例的一个方面提供一种面向未知对抗攻击的人脸伪造识别装置。如图2所示，所述装置100包括：
获取模块110，用于获取包含人脸的实际图像；
重建模块120，用于对所述实际图像进行人脸检测处理，得到实际人脸区域图像，以及对所述实际人脸区域图像进行重建处理，得到实际人脸重建图像；
识别模块130，用于将所述实际人脸重建图像输入至预先训练的对抗人脸判别网络，预测得到所述实际图像的人脸真伪性。
具体的，采用现有的图像采集设备获取待识别的包含人脸的实际图像；所述重建模块120采用上文中步骤S120的方法对所述实际图像进行人脸检测处理，并对检测到的实际人脸区域图像进行重建，得到实际人脸重建图像。将实际人脸重建图像输入至由步骤130训练得到的对抗人脸判别网络的识别模块130进行识别，输出所述实际图像的人脸真伪性的识别结果。
本公开实施例的种面向未知对抗攻击的人脸伪造识别装置，对检测到的实际人脸区域图像进行重建，改变对抗性扰动的分布模式，同时保留人脸伪造痕迹，利用对抗人脸图像训练所述对抗人脸判别网络，提高所述对抗人脸判别网络的鲁棒性。本公开实施例的装置中，各模块涉及的计算量小，所占空间小，运行速度快，适用于多种场景，具有应用范围广，成本低的特点。
示例性的，所述装置还包括训练模块140，所述训练模块用于：
获取未添加干扰的人脸真实图像以及人脸伪造图像，并将所述人脸真实图像和所述人脸伪造图像进行人脸检测处理，得到干净人脸区域图像数据集，以及将部分人脸区域图像进行重建处理，得到人脸重建图像数据集；其中，所述干净人脸区域图像数据集和所述人脸重建图像数据集共同组成所述干净人脸数据集；
从所述干净人脸数据集选取部分目标干净人脸图像，将所述目标干净人脸图像输入至预先设定的通用性扰动噪声生成网络，生成所述对抗人脸图像；
将所述干净人脸图像和所述对抗人脸图像输入待训练的所述对抗人脸判别网络进行训练，得到训练好的所述对抗人脸判别网络。
具体的，所述训练模块中通过附加的通用性扰动噪声生成网络对输入的目标干净人脸图像添加扰动噪声，生成对抗人脸图像，结合干净人脸图像对所述对抗人脸判别网络进行训练，提高所述对抗人脸判别网络的鲁棒性，多维度改进增强识别效果。
本公开实施例的一个方面提供一种电子设备。包括：一个或多个处理器。
存储单元，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，能使得所述一个或多个处理器实现根据上述的方法。
其中，存储器和处理器采用总线方式连接，总线可以包括任意数量的互联的总线和桥，总线将一个或多个处理器和存储器的各种电路连接在一起。总线还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路连接在一起，这些都是本领域所公知的，因此，这里不赘述。总线接口在总线和收发机之间提供接口。收发机可以是一个元件，也可以是多个元件，比如多个接收器和发送器，提供用于在传输介质上与各种其他装置通信的单元。经处理器处理的数据通过天线在无线介质上进行传输，进一步，天线还接收数据并将数据传送给处理器。
处理器负责管理总线和通常的处理，还可以提供各种功能，包括定时，外围接口，电压调节、电源管理以及其他控制功能。而存储器可以被用于存储处理器在执行操作时所使用的数据。
本实施例的一种电子设备，通过实现如上所述的面向未知对抗攻击的人脸伪造识别方法，对获取的人脸的实际图像进行人脸检测处理和重建，识别准确率高，能更好地适应多种识别条件。
本公开实施例的一个方面提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时能实现根据如上所述的方法。
其中，计算机可读介质可以是本公开的系统、电子设备中所包含的，也可以单独存在。
计算机可读存储介质可是任何包含或存储程序的有形介质，其可以是电、磁、光、电磁、红外线、半导体的系统、装置、设备，更具体的例子包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、光纤、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件，或它们任意合适的组合。
计算机可读存储介质也可包括在基带中或作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码，其具体的例子包括但不限于电磁信号、光信号，或它们任意合适的组合。
本公开的实施例采用附加网络生成对抗人脸图像作为训练样本对所述对抗人脸判别网络进行训练，提高所述对抗人脸判别网络的鲁棒性，识别准确率高，能更好地适应多种识别条件。
可以理解的是，以上实施方式仅仅是为了说明本公开实施例的原理而采用的示例性实施方式，然而本公开实施例并不局限于此。对于本领域内的普通技术人员而言，在不脱离本公开实施例的精神和实质的情况下，可以做出各种变型和改进，这些变型和改进也视为本公开实施例的保护范围。
Claims (10)
1.一种面向未知对抗攻击的人脸伪造识别方法，其特征在于，所述方法包括：
获取包含人脸的实际图像；
对所述实际图像进行人脸检测处理，得到实际人脸区域图像，以及对所述实际人脸区域图像进行重建处理，得到实际人脸重建图像；
将所述实际人脸重建图像输入至预先训练的对抗人脸判别网络，预测得到所述实际图像的人脸真伪性；其中，所述对抗人脸判别网络采用干净人脸数据集和添加扰动噪声的对抗人脸图像集训练得到。
2.根据权利要求1所述的方法，其特征在于，所述对抗人脸判别网络采用下述步骤训练得到：
获取未添加干扰的人脸真实图像以及人脸伪造图像，并将所述人脸真实图像和所述人脸伪造图像进行人脸检测处理，得到干净人脸区域图像数据集，以及将部分人脸区域图像进行重建处理，得到人脸重建图像数据集；其中，所述干净人脸区域图像数据集和所述人脸重建图像数据集共同组成所述干净人脸数据集；
从所述干净人脸数据集选取部分目标干净人脸图像，将所述目标干净人脸图像输入至预先设定的通用性扰动噪声生成网络，生成所述对抗人脸图像；
将所述干净人脸图像和所述对抗人脸图像输入待训练的所述对抗人脸判别网络进行训练，得到训练好的所述对抗人脸判别网络。
3.根据权利要求2所述的方法，其特征在于，所述对抗人脸判别网络为EfficientNet网络模型，所述将所述干净人脸图像和所述对抗人脸图像输入待训练的所述对抗人脸判别网络进行训练，包括：
将所述干净人脸图像和所述对抗人脸图像分别输入到所述EfficientNet网络模型中进行正向传播计算损失，其中，所述EfficientNet网络模型设置有第一损失函数和第二损失函数；
将所述干净人脸图像输入第一损失函数Lc(θ,xc,y)计算其损失值；其中，θ为EfficientNet网络模型的参数，xc为干净人脸图像，y为真/伪标签；
将所述对抗人脸图像输入第二损失函数La(θ,xa,y)计算其损失值；其中，xa为对抗人脸图像。
利用min-max优化算法计算所述干净人脸图像和所述对抗人脸图像损失的梯度反向传播，更新所述EfficientNet网络模型参数，直到最终的损失函数收敛，得到训练好的EfficientNet网络模型，最终的损失函数为：
其中，xc为为干净人脸图像，y为真伪标签，∈代表添加的扰动噪声，xc+∈为对抗人脸图像，xc+∈＝xa；S代表扰动噪声允许的扰动范围，θ是EfficientNet网络模型的参数，
为数据分布，
表示训练样本与标签的差异。
4.根据权利要求2所述的方法，其特征在于，所述通用性扰动噪声生成网络包括：卷积层和三个反卷积层，卷积层采用DenseNet网络，对输入的所述干净人脸图像进行卷积处理后得到特征图，输出的特征图尺寸为7×7×256；经过一个Batch Normalization即BN处理，再经过ReLU激活函数得到特征映射图，作为下一层反卷积层的输入；
所述反卷积层的卷积核大小均为5×5，每个所述反卷积层经过一个BatchNormalization即BN处理，再经过相应激活函数得到特征映射图，作为下一个反卷积层的输入。
5.根据权利要求1至4任一项所述的方法，其特征在于，所述对所述实际图像进行人脸检测处理，得到实际人脸区域图像，包括：
调整所述实际图像为预设尺寸；
将调整好尺寸的实际图像输入至MobileNet神经网络模型进行特征提取，输出特征图；
采用预设的锚框机制对所述特征图进行锚框，利用Soft-NMS算法对所述锚框进行筛选，得到人脸检测框，并对所述人脸检测框进行切割，得到实际人脸区域图像。
6.根据权利要求5所述的方法，其特征在于，所述对所述实际人脸区域图像进行重建处理，得到实际人脸重建图像，包括：
采用高斯模糊、方框模糊、Kawase模糊、双重模糊、散景模糊和方向模糊中至少一者对所述人脸区域图像进行模糊处理；
采用基于小波变换的直线型扩张的SDWNet网络对模糊后的所述人脸区域图像进行去模糊处理，得到所述实际人脸重建图像。
7.一种面向未知对抗攻击的人脸伪造识别装置，其特征在于，所述装置，包括：
获取模块，用于获取包含人脸的实际图像；
重建模块，用于对所述实际图像进行人脸检测处理，得到实际人脸区域图像，以及对所述实际人脸区域图像进行重建处理，得到实际人脸重建图像；
识别模块，用于将所述实际人脸重建图像输入至预先训练的对抗人脸判别网络，预测得到所述实际图像的人脸真伪性。
8.根据权利要求7所述的装置，其特征在于，所述装置还包括训练模块，所述训练模块用于：
获取未添加干扰的人脸真实图像以及人脸伪造图像，并将所述人脸真实图像和所述人脸伪造图像进行人脸检测处理，得到干净人脸区域图像数据集，以及将部分人脸区域图像进行重建处理，得到人脸重建图像数据集；其中，所述干净人脸区域图像数据集和所述人脸重建图像数据集共同组成所述干净人脸数据集；
从所述干净人脸数据集选取部分目标干净人脸图像，将所述目标干净人脸图像输入至预先设定的通用性扰动噪声生成网络，生成所述对抗人脸图像；
将所述干净人脸图像和所述对抗人脸图像输入待训练的所述对抗人脸判别网络进行训练，得到训练好的所述对抗人脸判别网络。
9.一种电子设备，其特征在于，包括：一个或多个处理器；
存储单元，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，能使得所述一个或多个处理器实现根据权利要求1至6任一项所述的方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时能实现根据权利要求1至6任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310063019.XA CN115984979A (zh) | 2023-01-18 | 2023-01-18 | 一种面向未知对抗攻击的人脸伪造识别方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310063019.XA CN115984979A (zh) | 2023-01-18 | 2023-01-18 | 一种面向未知对抗攻击的人脸伪造识别方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115984979A true CN115984979A (zh) | 2023-04-18 |
Family
ID=85970253
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310063019.XA Pending CN115984979A (zh) | 2023-01-18 | 2023-01-18 | 一种面向未知对抗攻击的人脸伪造识别方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115984979A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116452923A (zh) * | 2023-06-16 | 2023-07-18 | 安徽大学 | 一种针对对抗攻击的协同防御策略和系统 |
| CN117218707A (zh) * | 2023-10-07 | 2023-12-12 | 南京信息工程大学 | 一种基于积极扰动的Deepfake人脸检测方法 |
-
2023
- 2023-01-18 CN CN202310063019.XA patent/CN115984979A/zh active Pending
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116452923A (zh) * | 2023-06-16 | 2023-07-18 | 安徽大学 | 一种针对对抗攻击的协同防御策略和系统 |
| CN116452923B (zh) * | 2023-06-16 | 2023-09-01 | 安徽大学 | 一种针对对抗攻击的协同防御策略和系统 |
| CN117218707A (zh) * | 2023-10-07 | 2023-12-12 | 南京信息工程大学 | 一种基于积极扰动的Deepfake人脸检测方法 |
| CN117218707B (zh) * | 2023-10-07 | 2024-04-16 | 南京信息工程大学 | 一种基于积极扰动的Deepfake人脸检测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113554089B (zh) | 一种图像分类对抗样本防御方法、系统及数据处理终端 | |
| CN113313657B (zh) | 一种用于低光照图像增强的非监督学习方法和系统 | |
| CN115984979A (zh) | 一种面向未知对抗攻击的人脸伪造识别方法及装置 | |
| CN111028163A (zh) | 一种基于卷积神经网络的联合图像去噪与弱光增强方法 | |
| CN112446357B (zh) | 一种基于胶囊网络的sar自动目标识别方法 | |
| CN112446835B (zh) | 图像恢复方法、图像恢复网络训练方法、装置和存储介质 | |
| CN111915486B (zh) | 基于图像超分辨重建的对抗样本防御方法 | |
| CN114626042B (zh) | 一种人脸验证攻击方法和装置 | |
| Zheng et al. | T-net: Deep stacked scale-iteration network for image dehazing | |
| CN112991345A (zh) | 图像真伪检测方法、装置、计算机设备和存储介质 | |
| CN116051408B (zh) | 一种基于残差自编码的图像深度去噪方法 | |
| CN113450290A (zh) | 基于图像修补技术的低照度图像增强方法及系统 | |
| CN114581318B (zh) | 一种低照明度图像增强方法及系统 | |
| CN116596792B (zh) | 一种面向智能船舶的内河雾天场景恢复方法、系统及设备 | |
| CN115358910A (zh) | 基于卷积神经网络去噪算法的数字水印攻击方法及系统 | |
| CN116152061A (zh) | 一种基于模糊核估计的超分辨率重建方法 | |
| CN118397359A (zh) | 一种用于提高模糊生物图像识别准确度的卷积计算方法 | |
| CN113221388B (zh) | 一种视觉感知扰动约束的黑盒深度模型对抗样本生成方法 | |
| CN117392036A (zh) | 基于照明幅度的低光图像增强方法 | |
| CN116452469B (zh) | 一种基于深度学习的图像去雾处理方法及装置 | |
| Jiang et al. | Haze relevant feature attention network for single image dehazing | |
| CN116311439A (zh) | 一种人脸验证隐私保护方法和装置 | |
| Kehar et al. | Efficient Single Image Dehazing Model Using Metaheuristics‐Based Brightness Channel Prior | |
| CN114913607A (zh) | 一种基于多特征融合的指静脉仿冒检测方法 | |
| CN114241204A (zh) | 图像识别方法、装置、设备、介质及计算机产品 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |