CN117593798B - 一种基于双分支特征增强的伪造人脸检测方法 - Google Patents

一种基于双分支特征增强的伪造人脸检测方法 Download PDF

Info

Publication number
CN117593798B
CN117593798B CN202311598459.1A CN202311598459A CN117593798B CN 117593798 B CN117593798 B CN 117593798B CN 202311598459 A CN202311598459 A CN 202311598459A CN 117593798 B CN117593798 B CN 117593798B
Authority
CN
China
Prior art keywords
features
input
module
characteristic
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311598459.1A
Other languages
English (en)
Other versions
CN117593798A (zh
Inventor
刘瑞霞
王其昌
舒明雷
徐鹏摇
刘照阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qilu University of Technology
Shandong Institute of Artificial Intelligence
Original Assignee
Qilu University of Technology
Shandong Institute of Artificial Intelligence
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qilu University of Technology, Shandong Institute of Artificial Intelligence filed Critical Qilu University of Technology
Priority to CN202311598459.1A priority Critical patent/CN117593798B/zh
Publication of CN117593798A publication Critical patent/CN117593798A/zh
Application granted granted Critical
Publication of CN117593798B publication Critical patent/CN117593798B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/247—Aligning, centring, orientation detection or correction of the image by affine transforms, e.g. correction due to perspective effects; Quadrilaterals, e.g. trapezoids
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/54—Extraction of image or video features relating to texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

一种基于双分支特征增强的伪造人脸检测方法，涉及人脸检测技术领域，利用了RGB图像和细粒度的频域信息，在每一条分支上分别应用了特征增强模块和网络卷积注意力模块来去除一些无用特征增强与伪造相关的特征，同时为了使模型只关注图像的局部区域，较少地关注全局信息，进一步增强所需要的特征，提出虚假检测模块，以指导模型关注局部伪影区域进一步增强伪造特征并作出最后的预测，检测的准确性明显提高。

Description

一种基于双分支特征增强的伪造人脸检测方法
技术领域
本发明涉及人脸检测技术领域，具体涉及一种基于双分支特征增强的伪造人脸检测方法。
背景技术
随着人工智能和计算机视觉技术的快速发展，一些换脸的开放软件和移动应用程序在社交网络上迅速流行起来，任何人都可以快速的创建虚假图像和视频，这是一把双刃剑，一方面可以对很多行业有积极的用途，包括电影、游戏和娱乐等各种商业领域，另一方面不法分子滥用、冒用、恶意利用伪造人脸信息进行违法行为，严重侵犯了个人隐私，影响了公共安全乃至国家安全。目前常用的伪造人脸检测方法主要是基于空间特征的检测方法和基于时空特征融合的检测方法，然而这些方法在现实世界部署时，面对不可见的攻击会出现性能下降等问题。
发明内容
本发明为了克服以上技术的不足，提供了一种检测准确性高的基于双分支特征增强的伪造人脸检测方法。
本发明克服其技术问题所采用的技术方案是：
一种基于双分支特征增强的伪造人脸检测方法，包括如下步骤：
a)获取N帧人脸图像，得到人脸图像集X，X＝{X1,X2,...,Xi,...,XN}，Xi为第i张人脸图像，i∈{1,...,N}；
b)获取第i张人脸图像Xi的左眼关键点及右眼关键点/>
c)对第i张人脸图像进行预处理，得到人脸RGB图像
d)将人脸RGB图像转换为频域图像/>
e)将人脸RGB图像输入到EfficientNet-B4模型中，输出得到低级纹理特征Fr，将频域图像/>输入到EfficientNet-B4模型中，输出得到低级纹理特征Ff；
f)建立特征增强模块，将低级纹理特征Fr输入到特征增强模块中，输出得到噪声增强的特征将低级纹理特征Ff输入到特征增强模块中，输出得到噪声增强的特征
g)建立网络卷积注意力模块，将噪声增强的特征输入到网络卷积注意力模块中，输出得到特征/>将噪声增强的特征/>输入到网络卷积注意力模块中，输出得到特征/>
h)建立虚假检测模块，将特征与特征/>输入到虚假检测模块中，输出得到特征F″″ch；
i)根据特征F″″ch得到人脸检测结果。
进一步的，步骤a)包括如下步骤：
a-1)利用cv2包中的VideoCapture函数从FaceForensics++数据集中等间距选取M帧图像；
a-2)利用dlib库中的get_frontal_face_detector函数对每帧图像进行人脸检测，如果该帧图像不包含人脸，则跳过该帧选取下一帧图像，如果该帧图像包含多个人脸，则利用RetinaFace算法计算该帧图像中每个人脸的置信度，选取置信度最高的人脸作为该帧的人脸图像，得到N帧人脸图像构成的X，X＝{X1,X2,...,Xi,...,XN}。
进一步的，步骤b)中同dlib库中的shape_predictor函数计算得到第i张人脸图像Xi的左眼关键点及右眼关键点/>进一步的，步骤c)包括如下步骤：
c-1)计算眼关键点和右眼关键点/>的坐标平均值，得到眼睛的中心坐标/>
c-2)根据眼睛的中心坐标利用match库中的atan2函数计算得到两眼中心连线相对于水平线的旋转角度θ；
c-3)根据旋转角度θ利用cv2库中getRotationMatrix2D函数计算得到仿射矩阵RM；
c-4)根据仿射矩阵RM利用cv2库中warpAffine函数对第i张人脸图像Xi进行放射变换，得到对齐后的人脸RGB图像R为实数空间，c为通道数，h为人脸RGB图像/>的高度，w为人脸RGB图像/>的宽度。进一步的，步骤d)包括如下步骤：
d-1)通过numpy库中的array函数将人脸RGB图像转换为Numpy数组/>d-2)通过numpy库中的astype函数将Numpy数组/>中的像素值转换为浮点数并进行归一化处理，得到浮点数的数组/>d-3)通过Pytorch中的torch.tensor()函数将浮点数的数组转换为张量/>
d-4)通过Pytorch中的torch.fft.fft2()函数将张量转换为频域图像
进一步的，步骤f)包括如下步骤：
f-1)特征增强模块由RGB流特征增强模块RFEM、频域流特征增强模块FFEM构成；f-2)RGB流特征增强模块RFEM由高斯滤波单元、双边滤波单元、PRELU单元构成，将低级纹理特征Fr输入到高斯滤波单元，通过cv2库中的GaussianBlur函数对低级纹理特征Fr进行高斯滤波，得到降低空间噪声的特征将特征/>输入到双边滤波单元中，通过cv2库中的bilateralFilter函数对特征/>进行双边滤波得到增强优化的特征/>将特征/>输入到PRELU单元中，利用torch库中的prelu激活函数对特征/>增加噪声的振幅，得到增强的特征/>将增强的特征/>与低级纹理特征Fr进行相加操作，得到噪声增强的特征/>
f-3)频域流特征增强模块FFEM由Sobel滤波单元、随机噪声增加单元、LeakeyReLU激活函数构成，将低级纹理特征Ff输入到Sobel滤波单元中，利用Sobel滤波器对低级纹理特征Ff进行卷积操作，得到优化的特征将优化的特征/>输入到随机噪声增加单元中，利用PyTorch中的torch.randn_like()函数生成随机噪声/>将随机噪声/>与低级纹理特征Ff进行相加操作，得到特征/>将特征/>输入到LeakeyReLU激活函数中，输出得到噪声增强的特征/>
进一步的，步骤g)包括如下步骤：
g-1)网络卷积注意力模块由通道注意力模块、空间注意力模块构成；
g-2)网络卷积注意力模块的通道注意力模块由全局平均池化层、全局最大池化层、第一卷积层、第一BatchNorm层、RelU函数、第二卷积层、第二BatchNorm层、Sigmoid函数构成，将噪声增强的特征输入到通道注意力模块的全局平均池化层中，输出得到特征将特征/>输入到通道注意力模块的全局最大池化层中，输出得到特征/>将特征与特征/>进行相加操作，得到特征/>将特征/>输入到通道注意力模块的第一卷积层中，输出得到特征/>将特征/>输入到通道注意力模块的BatchNorm层中，输出得到特征/>将特征/>输入到通道注意力模块的RelU函数中，输出得到特征/>将特征/>输入到通道注意力模块的第二卷积层中，输出得到特征/>将特征/>输入到通道注意力模块的第二BatchNorm层中，输出得到特征/>将特征/>输入到通道注意力模块的Sigmoid函数中，输出得到特征权重/>将特征权重/>与噪声增强的特征/>进行相乘操作，得到特征/>将噪声增强的特征/>输入到通道注意力模块的全局平均池化层中，输出得到特征/>将特征/>输入到通道注意力模块的全局最大池化层中，输出得到特征/>将特征/>与特征/>进行相加操作，得到特征/>将特征/>输入到通道注意力模块的第一卷积层中，输出得到特征/>将特征/>输入到通道注意力模块的BatchNorm层中，输出得到特征/>将特征/>输入到通道注意力模块的RelU函数中，输出得到特征/>将特征/>输入到通道注意力模块的第二卷积层中，输出得到特征将特征/>输入到通道注意力模块的第二BatchNorm层中，输出得到特征/>将特征/>输入到通道注意力模块的Sigmoid函数中，输出得到特征权重/>将特征权重与噪声增强的特征/>进行相乘操作，得到特征/>g-3)网络卷积注意力模块的空间注意力模块由全局平均池化层、全局最大池化层、卷积层、RelU函数、BatchNorm层、Sigmoid函数构成，将特征/>输入到间注意力模块的全局平均池化层中，输出得到特征将特征/>输入到间注意力模块的全局最大池化层中，输出得到特征/>将特征与特征/>通过torch.cat函数拼接在一起，得到特征/>将特征/>输入到空间注意力模块的卷积层中，输出得到特征/>将特征/>输入到空间注意力模块的RelU函数中，输出得到特征/>将特征/>输入到空间注意力模块的BatchNorm层中，输出得到特征/>将特征/>输入到空间注意力模块的Sigmoid函数中，输出得到特征权重将特征权重/>与特征/>进行相乘操作，得到特征/>c1为通道数，将特征/>输入到间注意力模块的全局平均池化层中，输出得到特征/>将特征/>输入到间注意力模块的全局最大池化层中，输出得到特征/>将特征/>与特征/>通过torch.cat函数拼接在一起，得到特征/>将特征/>输入到空间注意力模块的卷积层中，输出得到特征/>将特征/>输入到空间注意力模块的RelU函数中，输出得到特征/>将特征/>输入到空间注意力模块的BatchNorm层中，输出得到特征将特征/>输入到空间注意力模块的Sigmoid函数中，输出得到特征权重/>将特征权重/>与特征/>进行相乘操作，得到特征/>c2为通道数。
进一步的，步骤h)包括如下步骤：
h-1)虚假检测模块由第一FDM-Extra模块、第二FDM-Extra模块、第三FDM-Extra模块、Leaky ReLU函数、FDM-End模块、ReLU函数构成；
h-2)将特征与特征/>在通道维度上进行拼接操作，得到新的综合特征Fch，Fch∈R(c1+c2)×h×w；
h-3)虚假检测模块的第一FDM-Extra模块由第一卷积层、第一BatchNorm层、LeakyReLU函数、第二卷积层、第二BatchNorm层构成，将新的综合特征Fch输入到第一FDM-Extra模块的第一卷积层中，输出得到特征将特征/>输入到第一FDM-Extra模块的第一BatchNorm层中，输出得到特征/>将特征/>输入到第一FDM-Extra模块的Leaky ReLU函数中，输出得到特征/>将特征/>输入到第一FDM-Extra模块的第二卷积层中，输出得到特征/>将特征/>输入到第一FDM-Extra模块的第二BatchNorm层中，输出得到特征/>将特征/>与新的综合特征Fch进行残差连接，得到增强的特征F′ch；
h-4)虚假检测模块的第二FDM-Extra模块由第一卷积层、第一BatchNorm层、LeakyReLU函数、第二卷积层、第二BatchNorm层构成，将增强的特征F′ch输入到第二FDM-Extra模块的第一卷积层中，输出得到特征将特征/>输入到第二FDM-Extra模块的第一BatchNorm层中，输出得到特征/>将特征/>输入到第二FDM-Extra模块的Leaky ReLU函数中，输出得到特征/>将特征/>输入到第二FDM-Extra模块的第二卷积层中，输出得到特征/>将特征/>输入到第二FDM-Extra模块的第二BatchNorm层中，输出得到特征将特征/>与增强的特征F′ch进行残差连接，得到增强的特征F″ch；
h-5)虚假检测模块的第三FDM-Extra模块由第一卷积层、第一BatchNorm层、LeakyReLU函数、第二卷积层、第二BatchNorm层构成，将增强的特征F″ch输入到第三FDM-Extra模块的第一卷积层中，输出得到特征F″ch 1，将特征F″ch 1输入到第三FDM-Extra模块的第一BatchNorm层中，输出得到特征F″ch 2，将特征F″ch 2输入到第三FDM-Extra模块的Leaky ReLU函数中，输出得到特征F″ch 3，将特征F″ch 3输入到第三FDM-Extra模块的第二卷积层中，输出得到特征F″ch 4，将特征F″ch 4输入到第三FDM-Extra模块的第二BatchNorm层中，输出得到特征F″ch 5，将特征F″ch 5与增强的特征F″ch进行残差连接，得到增强的特征F″′ch；
h-6)将增强的特征F″′ch输入到虚假检测模块的Leaky ReLU函数中，输出得到特征F″′ch 1；
h-7)虚假检测模块的FDM-End模块由第一卷积层、BatchNorm层、Leaky ReLU函数、第二卷积层构成，将特征F″′ch 1输入到FDM-End模块的第一卷积层中，输出得到特征F″′ch 2，将特征F″′ch 2输入到FDM-End模块的BatchNorm层中，输出得到特征F″′ch 3，将特征F″′ch 3输入到FDM-End模块的Leaky ReLU函数中，输出得到特征F″′ch 4，将特征F″′ch 4输入到FDM-End模块的第二卷积层中，输出得到特征F″′ch 5,将特征F″′ch 5与特征F″′ch 1进行残差连接，得到增强的特征F″′ch 6；
h-8)将特征F″′ch 6输入到虚假检测模块的ReLU函数中，输出得到特征F″′ch。进一步的，步骤i)包括如下步骤：
i-1)将特征输入到全局平均池化层中，输出得到特征/>将特征/>输入到全连接层中，输出得到特征F″′out r；
i-2)将特征输入到全局平均池化层中，输出得到特征/>将特征/>输入到全连接层中，输出得到特征F″′out f；
i-3)将特征F″′out r、特征F″′out f、特征F″′ch进行拼接操作，得到最终的真伪特征Fout；
i-4)将最终的真伪特征Fout输入到全连接层中，输出得到特征F′out，将特征F′out输入到Sigmoid函数中，输出得到输出结果0或1，结果为0时表示第i张人脸图像Xi为虚假人脸，结果为1时表示第i张人脸图像Xi为真实人脸。
本发明的有益效果是：利用了RGB图像和细粒度的频域信息，在每一条分支上分别应用了特征增强模块和网络卷积注意力模块来去除一些无用特征增强与伪造相关的特征，同时为了使模型只关注图像的局部区域，较少地关注全局信息，进一步增强所需要的特征，提出虚假检测模块，以指导模型关注局部伪影区域进一步增强伪造特征并作出最后的预测。本发明方法使用对未知数据集上的虚假人脸检测，检测的准确性明显优于其他方法，模型的泛化性更强。
附图说明
图1为本发明的方法流程图；
图2为本发明的RGB特征增强模块RFEM的结构图
图3为本发明的频域特征增强模块FFEM结构图；
图4为本发明的网络卷积注意力网络的结构图；
图5为发明的虚假检测模块FDM结构图；
图6为本发明的分类器的结构图。
具体实施方式
下面结合附图1至附图6对本发明做进一步说明。
一种基于双分支特征增强的伪造人脸检测方法，包括如下步骤：
a)获取N帧人脸图像，得到人脸图像集X，X＝{X1,X2,...,Xi,...,XN}，Xi为第i张人脸图像，i∈{1,...,N}。
b)获取第i张人脸图像Xi的左眼关键点及右眼关键点/>
c)对第i张人脸图像进行预处理，得到人脸RGB图像
d)将人脸RGB图像转换为频域图像/>
e)将人脸RGB图像输入到EfficientNet-B4模型中，输出得到低级纹理特征Fr，将频域图像/>输入到EfficientNet-B4模型中，输出得到低级纹理特征Ff。
f)建立特征增强模块，将低级纹理特征Fr输入到特征增强模块中，输出得到噪声增强的特征将低级纹理特征Ff输入到特征增强模块中，输出得到噪声增强的特征
g)建立网络卷积注意力模块，将噪声增强的特征输入到网络卷积注意力模块中，输出得到特征/>将噪声增强的特征/>输入到网络卷积注意力模块中，输出得到特征/>
h)建立虚假检测模块，将特征与特征/>输入到虚假检测模块中，输出得到特征Fc′h″′。
i)根据特征Fc′h″′得到人脸检测结果。
分别对频域流和RGB流分支上提取的特征进行筛选和增强，然后使用网络卷积注意力模块来进一步增强伪造相关特征，最后主干网络提取的特征和经过增强的特征结合在一起作为伪影检测模块的输入来得到虚假检测特征，和最后双分支上精炼的特征结合作为分类器输入来判断真假。
为了验证本专利的可靠性，选取FF++数据集中C23的视频进行测试，评估指标选取ACC和AUC。
表1不同实验方法的比较
方法 ACC AUC
C-Conv 82.97％ 0.7848
Multi-task 85.61％ 0.7630
MesoNet 83.10％ 0.7914
Xception 95.73％ 0.7698
Face X-ray 94.82％ 0.8562
Two-branch 96.43％ 0.9564
F3-Net 97.52％ 0.9804
Mat 97.98％ 0.9865
SBI 98.95％ 0.9910
Ours 99.45％ 0.9958
从表1的实验结果可以看出，本专利提出的框架在FF++数据集中取到了不错的性能，在ACC指标上，相较于之前的方法大约有16.48％-0.5％的提升，在AUC指标上，相较于之前的方法有0.226-0.0048的提升。
在本发明的一个实施例中，步骤a)包括如下步骤：
a-1)利用cv2包中的VideoCapture函数从FaceForensics++数据集中等间距选取M帧图像。
a-2)利用dlib库中的get_frontal_face_detector函数对每帧图像进行人脸检测，如果该帧图像不包含人脸，则跳过该帧选取下一帧图像，如果该帧图像包含多个人脸，则利用RetinaFace算法计算该帧图像中每个人脸的置信度，选取置信度最高的人脸作为该帧的人脸图像，得到N帧人脸图像构成的X，X＝{X1，X2，...，Xi，...，XN}。
在本发明的一个实施例中，步骤b)中同dlib库中的shape_predictor函数计算得到第i张人脸图像Xi的左眼关键点及右眼关键点/>在本发明的一个实施例中，步骤c)包括如下步骤：
c-1)计算眼关键点和右眼关键点/>的坐标平均值，得到眼睛的中心坐标/>
c-2)根据眼睛的中心坐标利用match库中的atan2函数计算得到两眼中心连线相对于水平线的旋转角度θ。
c-3)根据旋转角度θ利用cv2库中getRotationMatrix2D函数计算得到仿射矩阵RM。
c-4)根据仿射矩阵RM利用cv2库中warpAffine函数对第i张人脸图像Xi进行放射变换，得到对齐后的人脸RGB图像R为实数空间，c为通道数，每个通道的特征图大小为8×8，h为人脸RGB图像/>的高度，w为人脸RGB图像/>的宽度。
在本发明的一个实施例中，步骤d)包括如下步骤：
d-1)通过numpy库中的array函数将人脸RGB图像转换为Numpy数组/>
d-2)通过numpy库中的astype函数将Numpy数组中的像素值转换为浮点数并进行归一化处理，得到浮点数的数组/>
d-3)通过Pytorch中的torch.tensor()函数将浮点数的数组转换为张量
d-4)通过Pytorch中的torch.fft.fft2()函数将张量转换为频域图像
在本发明的一个实施例中，步骤f)包括如下步骤：
f-1)特征增强模块由RGB流特征增强模块RFEM、频域流特征增强模块FFEM构成。
f-2)RGB流特征增强模块RFEM由高斯滤波单元、双边滤波单元、PRELU单元构成，将低级纹理特征Fr输入到高斯滤波单元，通过cv2库中的GaussianBlur函数对低级纹理特征Fr进行高斯滤波，得到降低空间噪声的特征将特征/>输入到双边滤波单元中，通过cv2库中的bilateralFilter函数对特征/>进行双边滤波得到增强优化的特征/>将特征/>输入到PRELU单元中，利用torch库中的prelu激活函数对特征/>增加噪声的振幅，得到增强的特征/>将增强的特征/>与低级纹理特征Fr进行相加操作，得到噪声增强的特征/>
f-3)频域流特征增强模块FFEM由Sobel滤波单元、随机噪声增加单元、LeakeyReLU激活函数构成，将低级纹理特征Ff输入到Sobel滤波单元中，利用Sobel滤波器对低级纹理特征Ff进行卷积操作，得到优化的特征将优化的特征/>输入到随机噪声增加单元中，利用PyTorch中的torch.randn_like()函数生成随机噪声/>将随机噪声/>与低级纹理特征Ff进行相加操作，得到特征F′f noi，将特征/>输入到LeakeyReLU激活函数中，输出得到噪声增强的特征/>
在本发明的一个实施例中，步骤g)包括如下步骤：
g-1)网络卷积注意力模块由通道注意力模块、空间注意力模块构成。
g-2)网络卷积注意力模块的通道注意力模块由全局平均池化层、全局最大池化层、第一卷积层、第一BatchNorm层、RelU函数、第二卷积层、第二BatchNorm层、Sigmoid函数构成，将噪声增强的特征输入到通道注意力模块的全局平均池化层中，输出得到特征将特征/>输入到通道注意力模块的全局最大池化层中，输出得到特征/>将特征与特征/>进行相加操作，得到特征/>将特征/>输入到通道注意力模块的第一卷积层中，输出得到特征/>将特征/>输入到通道注意力模块的BatchNorm层中，输出得到特征/>将特征/>输入到通道注意力模块的RelU函数中，输出得到特征/>将特征/>输入到通道注意力模块的第二卷积层中，输出得到特征/>将特征/>输入到通道注意力模块的第二BatchNorm层中，输出得到特征/>将特征/>输入到通道注意力模块的Sigmoid函数中，输出得到特征权重/>将特征权重/>与噪声增强的特征/>进行相乘操作，得到特征/>将噪声增强的特征/>输入到通道注意力模块的全局平均池化层中，输出得到特征/>将特征/>输入到通道注意力模块的全局最大池化层中，输出得到特征/>将特征/>与特征/>进行相加操作，得到特征/>将特征/>输入到通道注意力模块的第一卷积层中，输出得到特征/>将特征/>输入到通道注意力模块的BatchNorm层中，输出得到特征/>将特征/>输入到通道注意力模块的RelU函数中，输出得到特征/>将特征/>输入到通道注意力模块的第二卷积层中，输出得到特征将特征/>输入到通道注意力模块的第二BatchNorm层中，输出得到特征/>将特征/>输入到通道注意力模块的Sigmoid函数中，输出得到特征权重/>将特征权重与噪声增强的特征/>进行相乘操作，得到特征/>g-3)网络卷积注意力模块的空间注意力模块由全局平均池化层、全局最大池化层、卷积层、RelU函数、BatchNorm层、Sigmoid函数构成，将特征/>输入到间注意力模块的全局平均池化层中，输出得到特征将特征/>输入到间注意力模块的全局最大池化层中，输出得到特征/>将特征与特征/>通过torch.cat函数拼接在一起，得到特征/>将特征/>输入到空间注意力模块的卷积层中，输出得到特征/>将特征/>输入到空间注意力模块的RelU函数中，输出得到特征/>将特征/>输入到空间注意力模块的BatchNorm层中，输出得到特征/>将特征/>输入到空间注意力模块的Sigmoid函数中，输出得到特征权重将特征权重/>与特征/>进行相乘操作，得到特征/>c1为通道数，将特征/>输入到间注意力模块的全局平均池化层中，输出得到特征/>将特征/>输入到间注意力模块的全局最大池化层中，输出得到特征/>将特征/>与特征/>通过torch.cat函数拼接在一起，得到特征/>将特征/>输入到空间注意力模块的卷积层中，输出得到特征/>将特征/>输入到空间注意力模块的RelU函数中，输出得到特征/>将特征/>输入到空间注意力模块的BatchNorm层中，输出得到特征将特征/>输入到空间注意力模块的Sigmoid函数中，输出得到特征权重/>将特征权重/>与特征/>进行相乘操作，得到特征/>c2为通道数。
在本发明的一个实施例中，步骤h)包括如下步骤：
h-1)虚假检测模块由第一FDM-Extra模块、第二FDM-Extra模块、第三FDM-Extra模块、Leaky ReLU函数、FDM-End模块、ReLU函数构成。
h-2)将特征与特征/>在通道维度上进行拼接操作，得到新的综合特征Fch，Fch∈R(c1+c2)×h×w。
h-3)虚假检测模块的第一FDM-Extra模块由第一卷积层、第一BatchNorm层、LeakyReLU函数、第二卷积层、第二BatchNorm层构成，将新的综合特征Fch输入到第一FDM-Extra模块的第一卷积层中，输出得到特征将特征/>输入到第一FDM-Extra模块的第一BatchNorm层中，输出得到特征/>将特征/>输入到第一FDM-Extra模块的Leaky ReLU函数中，输出得到特征/>将特征/>输入到第一FDM-Extra模块的第二卷积层中，输出得到特征/>将特征/>输入到第一FDM-Extra模块的第二BatchNorm层中，输出得到特征/>将特征/>与新的综合特征Fch进行残差连接，得到增强的特征F′ch。
h-4)虚假检测模块的第二FDM-Extra模块由第一卷积层、第一BatchNorm层、LeakyReLU函数、第二卷积层、第二BatchNorm层构成，将增强的特征F′ch输入到第二FDM-Extra模块的第一卷积层中，输出得到特征将特征/>输入到第二FDM-Extra模块的第一BatchNorm层中，输出得到特征/>将特征/>输入到第二FDM-Extra模块的Leaky ReLU函数中，输出得到特征/>将特征/>输入到第二FDM-Extra模块的第二卷积层中，输出得到特征/>将特征/>输入到第二FDM-Extra模块的第二BatchNorm层中，输出得到特征将特征/>与增强的特征F′ch进行残差连接，得到增强的特征F″ch。
h-5)虚假检测模块的第三FDM-Extra模块由第一卷积层、第一BatchNorm层、LeakyReLU函数、第二卷积层、第二BatchNorm层构成，将增强的特征F″ch输入到第三FDM-Extra模块的第一卷积层中，输出得到特征F″ch 1，将特征F″ch 1输入到第三FDM-Extra模块的第一BatchNorm层中，输出得到特征F″′ch 2，将特征F″′ch 2输入到第三FDM-Extra模块的LeakyReLU函数中，输出得到特征F″ch 3，将特征F″′ch 3输入到第三FDM-Extra模块的第二卷积层中，输出得到特征F″ch 4，将特征F″ch 4输入到第三FDM-Extra模块的第二BatchNorm层中，输出得到特征F″ch 5，将特征F″ch 5与增强的特征F″ch进行残差连接，得到增强的特征F″′ch。
h-6)将增强的特征F″′ch输入到虚假检测模块的Leaky ReLU函数中，输出得到特征F″′ch 1。
h-7)虚假检测模块的FDM-End模块由第一卷积层、BatchNorm层、Leaky ReLU函数、第二卷积层构成，将特征F″′ch 1输入到FDM-End模块的第一卷积层中，输出得到特征F″′ch 2，将特征F″′ch 2输入到FDM-End模块的BatchNorm层中，输出得到特征F″′ch 3，将特征F″′ch 3输入到FDM-End模块的Leaky ReLU函数中，输出得到特征F″′ch 4，将特征F″′ch 4输入到FDM-End模块的第二卷积层中，输出得到特征F″′ch 5,将特征F″′ch 5与特征F″′ch 1进行残差连接，得到增强的特征F″′ch 6。
h-8)将特征F″′ch 6输入到虚假检测模块的ReLU函数中，输出得到特征F″″ch。在本发明的一个实施例中，步骤i)包括如下步骤：
i-1)将特征输入到全局平均池化层中，输出得到特征/>将特征/>输入到全连接层中，输出得到特征F″″out r。
i-2)将特征输入到全局平均池化层中，输出得到特征/>将特征/>输入到全连接层中，输出得到特征F″″out f。
i-3)将特征F″″out r、特征F″″out f、特征F″″ch进行拼接操作，得到最终的真伪特征Fout。
i-4)将最终的真伪特征Fout输入到全连接层中，输出得到特征F′out，将特征F′out输入到Sigmoid函数中，输出得到输出结果0或1，结果为0时表示第i张人脸图像Xi为虚假人脸，结果为1时表示第i张人脸图像Xi为真实人脸。
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于双分支特征增强的伪造人脸检测方法，其特征在于，包括如下步骤：
a)获取N帧人脸图像，得到人脸图像集X，X＝{X1,X2,...,Xi,...,XN}，Xi为第i张人脸图像，i∈{1,...,N}；
b)获取第i张人脸图像Xi的左眼关键点及右眼关键点/>
c)对第i张人脸图像进行预处理，得到人脸RGB图像
d)将人脸RGB图像转换为频域图像/>
e)将人脸RGB图像输入到EfficientNet-B4模型中，输出得到低级纹理特征Fr，将频域图像/>输入到EfficientNet-B4模型中，输出得到低级纹理特征Ff；
f)建立特征增强模块，将低级纹理特征Fr输入到特征增强模块中，输出得到噪声增强的特征将低级纹理特征Ff输入到特征增强模块中，输出得到噪声增强的特征/>
g)建立网络卷积注意力模块，将噪声增强的特征输入到网络卷积注意力模块中，输出得到特征/>将噪声增强的特征/>输入到网络卷积注意力模块中，输出得到特征
h)建立虚假检测模块，将特征与特征/>输入到虚假检测模块中，输出得到特征F″″ch；
i)根据特征F″″ch得到人脸检测结果；
步骤f)包括如下步骤：
f-1)特征增强模块由RGB流特征增强模块RFEM、频域流特征增强模块FFEM构成；
f-2)RGB流特征增强模块RFEM由高斯滤波单元、双边滤波单元、PRELU单元构成，将低级纹理特征Fr输入到高斯滤波单元，通过cv2库中的GaussianBlur函数对低级纹理特征Fr进行高斯滤波，得到降低空间噪声的特征将特征/>输入到双边滤波单元中，通过cv2库中的bilateralFilter函数对特征/>进行双边滤波得到增强优化的特征/>将特征输入到PRELU单元中，利用torch库中的prelu激活函数对特征/>增加噪声的振幅，得到增强的特征/>将增强的特征/>与低级纹理特征Fr进行相加操作，得到噪声增强的特征/>
f-3)频域流特征增强模块FFEM由Sobel滤波单元、随机噪声增加单元、LeakeyReLU激活函数构成，将低级纹理特征Ff输入到Sobel滤波单元中，利用Sobel滤波器对低级纹理特征Ff进行卷积操作，得到优化的特征将优化的特征/>输入到随机噪声增加单元中，利用PyTorch中的torch.randn_like()函数生成随机噪声/>将随机噪声/>与低级纹理特征Ff进行相加操作，得到特征/>将特征/>输入到LeakeyReLU激活函数中，输出得到噪声增强的特征/>
步骤g)包括如下步骤：
g-1)网络卷积注意力模块由通道注意力模块、空间注意力模块构成；
g-2)网络卷积注意力模块的通道注意力模块由全局平均池化层、全局最大池化层、第一卷积层、第一BatchNorm层、RelU函数、第二卷积层、第二BatchNorm层、Sigmoid函数构成，将噪声增强的特征输入到通道注意力模块的全局平均池化层中，输出得到特征/>将特征/>输入到通道注意力模块的全局最大池化层中，输出得到特征/>将特征/>与特征/>进行相加操作，得到特征/>将特征/>输入到通道注意力模块的第一卷积层中，输出得到特征/>将特征/>输入到通道注意力模块的BatchNorm层中，输出得到特征/>将特征/>输入到通道注意力模块的RelU函数中，输出得到特征/>将特征输入到通道注意力模块的第二卷积层中，输出得到特征/>将特征/>输入到通道注意力模块的第二BatchNorm层中，输出得到特征/>将特征/>输入到通道注意力模块的Sigmoid函数中，输出得到特征权重/>将特征权重/>与噪声增强的特征/>进行相乘操作，得到特征/>将噪声增强的特征/>输入到通道注意力模块的全局平均池化层中，输出得到特征/>将特征/>输入到通道注意力模块的全局最大池化层中，输出得到特征/>将特征/>与特征/>进行相加操作，得到特征/>将特征/>输入到通道注意力模块的第一卷积层中，输出得到特征/>将特征/>输入到通道注意力模块的BatchNorm层中，输出得到特征/>将特征/>输入到通道注意力模块的RelU函数中，输出得到特征/>将特征/>输入到通道注意力模块的第二卷积层中，输出得到特征将特征/>输入到通道注意力模块的第二BatchNorm层中，输出得到特征/>将特征/>输入到通道注意力模块的Sigmoid函数中，输出得到特征权重/>将特征权重与噪声增强的特征/>进行相乘操作，得到特征/>
g-3)网络卷积注意力模块的空间注意力模块由全局平均池化层、全局最大池化层、卷积层、RelU函数、BatchNorm层、Sigmoid函数构成，将特征输入到间注意力模块的全局平均池化层中，输出得到特征/>将特征/>输入到间注意力模块的全局最大池化层中，输出得到特征/>将特征/>与特征/>通过torch.cat函数拼接在一起，得到特征将特征/>输入到空间注意力模块的卷积层中，输出得到特征/>将特征/>输入到空间注意力模块的RelU函数中，输出得到特征/>将特征/>输入到空间注意力模块的BatchNorm层中，输出得到特征/>将特征/>输入到空间注意力模块的Sigmoid函数中，输出得到特征权重/>将特征权重/>与特征/>进行相乘操作，得到特征/> c1为通道数，将特征/>输入到间注意力模块的全局平均池化层中，输出得到特征/>将特征/>输入到间注意力模块的全局最大池化层中，输出得到特征将特征/>与特征/>通过torch.cat函数拼接在一起，得到特征/>将特征输入到空间注意力模块的卷积层中，输出得到特征/>将特征/>输入到空间注意力模块的RelU函数中，输出得到特征/>将特征/>输入到空间注意力模块的BatchNorm层中，输出得到特征/>将特征/>输入到空间注意力模块的Sigmoid函数中，输出得到特征权重/>将特征权重/>与特征/>进行相乘操作，得到特征/> c2为通道数；
步骤h)包括如下步骤：
h-1)虚假检测模块由第一FDM-Extra模块、第二FDM-Extra模块、第三FDM-Extra模块、Leaky ReLU函数、FDM-End模块、ReLU函数构成；
h-2)将特征与特征/>在通道维度上进行拼接操作，得到新的综合特征Fch，Fch∈R(c1+c2)×h×w；
h-3)虚假检测模块的第一FDM-Extra模块由第一卷积层、第一BatchNorm层、LeakyReLU函数、第二卷积层、第二BatchNorm层构成，将新的综合特征Fch输入到第一FDM-Extra模块的第一卷积层中，输出得到特征将特征/>输入到第一FDM-Extra模块的第一BatchNorm层中，输出得到特征/>将特征/>输入到第一FDM-Extra模块的Leaky ReLU函数中，输出得到特征/>将特征/>输入到第一FDM-Extra模块的第二卷积层中，输出得到特征/>将特征/>输入到第一FDM-Extra模块的第二BatchNorm层中，输出得到特征/>将特征/>与新的综合特征Fch进行残差连接，得到增强的特征F′ch；
h-4)虚假检测模块的第二FDM-Extra模块由第一卷积层、第一BatchNorm层、LeakyReLU函数、第二卷积层、第二BatchNorm层构成，将增强的特征Fc′h输入到第二FDM-Extra模块的第一卷积层中，输出得到特征将特征/>输入到第二FDM-Extra模块的第一BatchNorm层中，输出得到特征/>将特征/>输入到第二FDM-Extra模块的Leaky ReLU函数中，输出得到特征/>将特征/>输入到第二FDM-Extra模块的第二卷积层中，输出得到特征/>将特征/>输入到第二FDM-Extra模块的第二BatchNorm层中，输出得到特征将特征/>与增强的特征Fc′h进行残差连接，得到增强的特征Fc′h′；
h-5)虚假检测模块的第三FDM-Extra模块由第一卷积层、第一BatchNorm层、LeakyReLU函数、第二卷积层、第二BatchNorm层构成，将增强的特征Fc′h′输入到第三FDM-Extra模块的第一卷积层中，输出得到特征将特征/>输入到第三FDM-Extra模块的第一BatchNorm层中，输出得到特征/>将特征/>输入到第三FDM-Extra模块的Leaky ReLU函数中，输出得到特征/>将特征/>输入到第三FDM-Extra模块的第二卷积层中，输出得到特征/>将特征/>输入到第三FDM-Extra模块的第二BatchNorm层中，输出得到特征/>将特征/>与增强的特征Fc′h′进行残差连接，得到增强的特征Fc′h″；
h-6)将增强的特征Fc′h″输入到虚假检测模块的Leaky ReLU函数中，输出得到特征
h-7)虚假检测模块的FDM-End模块由第一卷积层、BatchNorm层、Leaky ReLU函数、第二卷积层构成，将特征输入到FDM-End模块的第一卷积层中，输出得到特征/>将特征输入到FDM-End模块的BatchNorm层中，输出得到特征/>将特征/>输入到FDM-End模块的Leaky ReLU函数中，输出得到特征/>将特征/>输入到FDM-End模块的第二卷积层中，输出得到特征/>将特征/>与特征/>进行残差连接，得到增强的特征
h-8)将特征输入到虚假检测模块的ReLU函数中，输出得到特征F″″ch；
步骤i)包括如下步骤：
i-1)将特征输入到全局平均池化层中，输出得到特征/>将特征/>输入到全连接层中，输出得到特征/>
i-2)将特征输入到全局平均池化层中，输出得到特征/>将特征/>输入到全连接层中，输出得到特征/>
i-3)将特征特征/>特征F″″ch进行拼接操作，得到最终的真伪特征Fout；
i-4)将最终的真伪特征Fout输入到全连接层中，输出得到特征F′out，将特征F′out输入到Sigmoid函数中，输出得到输出结果0或1，结果为0时表示第i张人脸图像Xi为虚假人脸，结果为1时表示第i张人脸图像Xi为真实人脸。
2.根据权利要求1所述的基于双分支特征增强的伪造人脸检测方法，其特征在于，步骤a)包括如下步骤：
a-1)利用cv2包中的VideoCapture函数从FaceForensics++数据集中等间距选取M帧图像；
a-2)利用dlib库中的get_frontal_face_detector函数对每帧图像进行人脸检测，如果该帧图像不包含人脸，则跳过该帧选取下一帧图像，如果该帧图像包含多个人脸，则利用RetinaFace算法计算该帧图像中每个人脸的置信度，选取置信度最高的人脸作为该帧的人脸图像，得到N帧人脸图像构成的X，X＝{X1,X2,...,Xi,...,XN}。
3.根据权利要求1所述的基于双分支特征增强的伪造人脸检测方法，其特征在于：步骤b)中同dlib库中的shape_predictor函数计算得到第i张人脸图像Xi的左眼关键点及右眼关键点/>
4.根据权利要求1所述的基于双分支特征增强的伪造人脸检测方法，其特征在于，步骤c)包括如下步骤：
c-1)计算眼关键点和右眼关键点/>的坐标平均值，得到眼睛的中心坐标
c-2)根据眼睛的中心坐标利用match库中的atan2函数计算得到两眼中心连线相对于水平线的旋转角度θ；
c-3)根据旋转角度θ利用cv2库中getRotationMatrix2D函数计算得到仿射矩阵RM；
c-4)根据仿射矩阵RM利用cv2库中warpAffine函数对第i张人脸图像Xi进行放射变换，得到对齐后的人脸RGB图像 R为实数空间，c为通道数，h为人脸RGB图像/>的高度，w为人脸RGB图像/>的宽度。
5.根据权利要求4所述的基于双分支特征增强的伪造人脸检测方法，其特征在于，步骤d)包括如下步骤：
d-1)通过numpy库中的array函数将人脸RGB图像转换为Numpy数组/>d-2)通过numpy库中的astype函数将Numpy数组/>中的像素值转换为浮点数并进行归一化处理，得到浮点数的数组/>
d-3)通过Pytorch中的torch.tensor()函数将浮点数的数组转换为张量/>
d-4)通过Pytorch中的torch.fft.fft2()函数将张量转换为频域图像/>
CN202311598459.1A 2023-11-28 2023-11-28 一种基于双分支特征增强的伪造人脸检测方法 Active CN117593798B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311598459.1A CN117593798B (zh) 2023-11-28 2023-11-28 一种基于双分支特征增强的伪造人脸检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311598459.1A CN117593798B (zh) 2023-11-28 2023-11-28 一种基于双分支特征增强的伪造人脸检测方法

Publications (2)

Publication Number Publication Date
CN117593798A CN117593798A (zh) 2024-02-23
CN117593798B true CN117593798B (zh) 2024-05-28

Family

ID=89917994

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311598459.1A Active CN117593798B (zh) 2023-11-28 2023-11-28 一种基于双分支特征增强的伪造人脸检测方法

Country Status (1)

Country Link
CN (1) CN117593798B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021248733A1 (zh) * 2020-06-12 2021-12-16 浙江大学 应用双分支三维卷积模型的人脸活体检测系统、终端及存储介质
WO2022151535A1 (zh) * 2021-01-15 2022-07-21 苏州大学 基于深度学习的人脸特征点检测方法
CN116453199A (zh) * 2023-05-19 2023-07-18 山东省人工智能研究院 基于复杂纹理区域伪造痕迹的gan生成人脸检测方法
CN116844242A (zh) * 2023-03-23 2023-10-03 长沙理工大学 基于双分支卷积抑制纹理网络的人脸伪造检测方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021248733A1 (zh) * 2020-06-12 2021-12-16 浙江大学 应用双分支三维卷积模型的人脸活体检测系统、终端及存储介质
WO2022151535A1 (zh) * 2021-01-15 2022-07-21 苏州大学 基于深度学习的人脸特征点检测方法
CN116844242A (zh) * 2023-03-23 2023-10-03 长沙理工大学 基于双分支卷积抑制纹理网络的人脸伪造检测方法及系统
CN116453199A (zh) * 2023-05-19 2023-07-18 山东省人工智能研究院 基于复杂纹理区域伪造痕迹的gan生成人脸检测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Inconsistency-Aware Wavelet Dual-Branch Network for Face Forgery Detection;Gengyun Jia等;IEEE Transactions on Biometrics;20210731;第3卷(第3期);全文 *
双分支网络架构下的图像相似度学习;卢健;马成贤;周嫣然;李哲;;测绘通报;20191225(12);全文 *
融合全局时序和局部空间特征的伪造人脸视频检测方法;陈鹏;梁涛;刘锦;戴娇;韩冀中;;信息安全学报;20200315(02);全文 *

Also Published As

Publication number Publication date
CN117593798A (zh) 2024-02-23

Similar Documents

Publication Publication Date Title
Nguyen et al. Modular convolutional neural network for discriminating between computer-generated images and photographic images
Li et al. Exploring adversarial fake images on face manifold
US11354797B2 (en) Method, device, and system for testing an image
Wei et al. Generative steganography network
Guo et al. Rethinking gradient operator for exposing AI-enabled face forgeries
Sanchez-Matilla et al. Exploiting vulnerabilities of deep neural networks for privacy protection
Aneja et al. TAFIM: Targeted adversarial attacks against facial image manipulations
CN112785478B (zh) 基于生成嵌入概率图的隐藏信息检测方法和系统
CN114677722A (zh) 一种融合多尺度特征的多监督人脸活体检测方法
Zhang et al. Deep adaptive hiding network for image hiding using attentive frequency extraction and gradual depth extraction
Hwang et al. Just one moment: Structural vulnerability of deep action recognition against one frame attack
CN108230269B (zh) 基于深度残差网络的去网格方法、装置、设备及存储介质
CN114299569A (zh) 一种基于眼球运动的安全人脸认证方法
CN114078201A (zh) 多目标类别对抗样本生成方法及相关设备
Meenakshi et al. A hybrid matrix factorization technique to free the watermarking scheme from false positive and negative problems
Rao et al. Towards JPEG-resistant image forgery detection and localization via self-supervised domain adaptation
CN117593798B (zh) 一种基于双分支特征增强的伪造人脸检测方法
Aminy et al. A Reversible Data Hiding Approach in Medical Images Using Difference Expansion
Esmaeilzehi et al. DMML: Deep Multi-Prior and Multi-Discriminator Learning for Underwater Image Enhancement
Liu et al. DH-GAN: Image manipulation localization via a dual homology-aware generative adversarial network
Lin et al. Source-ID-Tracker: Source Face Identity Protection in Face Swapping
CN117238011A (zh) 一种基于时空注意力引导融合的深度伪造检测方法
CN115936961B (zh) 基于少样本对比学习网络的隐写分析方法、设备及介质
CN116824695A (zh) 一种基于特征去噪的行人再识别非局部防御方法
CN116311439A (zh) 一种人脸验证隐私保护方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant