CN115457374B - 基于推理模式评估深伪图像检测模型泛化性方法及装置 - Google Patents

基于推理模式评估深伪图像检测模型泛化性方法及装置 Download PDF

Info

Publication number
CN115457374B
CN115457374B CN202211395358.XA CN202211395358A CN115457374B CN 115457374 B CN115457374 B CN 115457374B CN 202211395358 A CN202211395358 A CN 202211395358A CN 115457374 B CN115457374 B CN 115457374B
Authority
CN
China
Prior art keywords
inference
reasoning
generalization
units
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211395358.XA
Other languages
English (en)
Other versions
CN115457374A (zh
Inventor
李超
姚柯璐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Lab
Original Assignee
Zhejiang Lab
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Lab filed Critical Zhejiang Lab
Priority to CN202211395358.XA priority Critical patent/CN115457374B/zh
Publication of CN115457374A publication Critical patent/CN115457374A/zh
Application granted granted Critical
Publication of CN115457374B publication Critical patent/CN115457374B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/95—Pattern authentication; Markers therefor; Forgery detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及基于推理模式评估深伪图像检测模型泛化性方法及装置，属于深度学习可解释性应用技术领域；本方法可作为传统评估方法的一种补充，弥补传统方法仅依靠准确率下降率评估泛化性的片面性。本方法基于推理模式提出一种新的泛化性量化方法，从语义层面量化深伪图像检测模型建模的推理模式的复杂度。通过计算复杂度，能够精确的评估深伪图像检测模型的泛化性。本量化方法输出值越大，表示泛化性越强，反之表示泛化性越弱。

Description

基于推理模式评估深伪图像检测模型泛化性方法及装置
技术领域
本发明涉及深度学习、深伪检测及可解释性应用技术领域，特别涉及基于推理模式评估深伪图像检测模型泛化性方法及装置。
背景技术
随着深度学习技术和图像生成技术的大幅发展与应用，无需复杂的操作便可以生成逼真的图像和视频。例如，目前在领域内知名的DeepFake、FaceSwap技术等图像深度伪造技术。从视觉角度，深度伪造技术一般可划分四类：重现、替换、编辑、合成。重现是指使用源身份驱动目标身份，使得源身份的行为和目标身份一样，包括表情、嘴部、眼部、头部及躯干。替换是指使用源身份的内容替换目标身份，使得目标身份变成了源身份。编辑是指添加、更改或删除目标身份的属性，比如，更换目标对象的发型、衣服、胡须、年龄、体重、颜值、眼镜和种族等属性。合成是指在没有目标身份作为基础的情况下创建深度伪造角色，类似直接用对抗生成网络或者其它生成模型生成人脸，没有明确的目标，人脸和身体合成技术可以创建影视素材，生成电影和游戏角色。
从深度伪造图像的发展来看，早期，有研究提出一种基于LSTM模型的学习口腔形状和声音之间关联性的方法，仅通过音频即可合成对应的口部特征；有研究提出一种基于对抗生成模型的自动化实时换脸技术；以及出现伪造的色情视频，名人的面孔被换成色情演员的面孔，由Reddit用户使用自动编码器-解码器配对结构开发。后来，有研究提出了一种将源视频中的运动转移到另一个视频中目标人的方法，而不仅是换脸；有研究提出一种控制图片生成器并能编辑造假图片各方面特性的方法，比如肤色、头发颜色和背景内容，不同于图片生成方法，这是一种重大突破；有研究提出一种能使得真实人物图像说话的方法，基于生成对抗模型的元学习，该模型基于少量图像（few-shot）训练后，向其输入一张人物头像，可以生成人物头像开口说话的动图；甚至，网络上出现“一键式”智能脱衣软件Deepnude，迫于舆论压力，开发者快速下架；近期，更多的研究着重于在提高原生分辨率、提升深度伪造图像的制作效果等方面。这些技术提供了一种接口给使用者，使其能够通过内容交换来操纵图像\视频并合成新的图像/视频。生成的图片\视频真实度极高，即使是人眼也难以区分。
然而，该技术往往被带有不良目的的使用者用于制造虚假信息、制造色情视频等，伪造的图像和视频在社交媒体上进一步分享，用于传播名人假新闻、影响选举或操纵股价等恶意目的，为国家间的政治抹黑、军事欺骗、经济犯罪甚至恐怖主义行动等提供了新工具，给政治安全、经济安全、社会安全、国民安全等国家安全领域带来了诸多风险，给社会造成严重的负面影响。
为了减轻深度伪造技术带来的不利影响，如何检测深度伪造的图像这个难题已经引起越来越多的关注，现有的研究通过训练通用的分类器，让神经网络决定分析的特征，大量的研究者开发了深伪检测模型，基于标准的CNN架构提出改进策略，使得更加有效的检测伪造视频。例如，使用真假数据集训练基于CNN的孪生网络、使用HMN网络架构同时学习见过与未见过的脸部数据、使用集成方式将多种深度伪造CNN的预测结果输入至元分类器、利用视频流的时空特征来检测深度伪造，在视频上逐帧学习由面部操作产生的低级伪影表现出来的跨帧不一致的时间伪影，等等。但是这些方法存在一个共同的问题，即深伪检测模型泛化性差。具体来说，深伪检测模型在训练、测试数据集上取得了优异的检测精度，但是在实际应用中，面对检测时出现的模型未知的样本（即未经过模型训练的样本）时，模型的检测表现大幅下降，出现大量漏检、错检的案例。因此，我们需要在实际应用前对模型的泛化性进行精准的评估。
目前业内评估深伪检测模型泛化性的往往利用检测精度下降程度、方差-偏差曲线、交叉验证等统计数学方法。但是，依据统计的检测方法的检测准确性极大的依靠统计样本的数量。建立大量已标注的评测样本需要耗费大量人力物力，同时该检测方法并没有考虑到深伪检测模型内部的一些特性。
发明内容
本发明的目的在于提供基于推理模式评估深伪图像检测模型泛化性方法及装置，以克服现有技术中的不足。
为实现上述目的，本发明提供如下技术方案：
本发明公开了一种基于推理模式评估深伪图像检测模型泛化性方法，具体包括如下步骤：
S1、给定评测数据集与待评测的深伪检测模型；所述评测数据集中包含若干个样本图像；
S2、选择一个样本图像，在样本图像上划分若干个固定大小的区域，每个区域作为一个推理单元；
S3、在步骤S2的所有推理单元中，随机选择两个推理单元作为前景推理单元；
S4、在经过步骤S3选择后剩余的推理单元中，随机选择若干个推理单元构成背景推理单元；
S5、将未被步骤S3和步骤S4选择的推理单元作为基础推理单元；将基础推理单元的值修改为基准值；
S6、通过前景推理单元、背景推理单元和基础推理单元组成推理模式；其中背景推理单元和基础推理单元共同组成推理模式的推理背景；
S7、将推理模式输入到推理模式得分计算函数中，输出该推理模式对应的得分；
S8、迭代步骤S3至步骤S7；计算该样本图像的平均得分；
S9、遍历所有样本，计算评测数据集的平均得分，输出泛化性量化评测结果。
作为优选，步骤S1中样本图像的分辨率为224×224，样本图像的长和宽均为224。
作为优选，步骤S2具体包括如下子步骤：
S21、设定推理单元的大小；
S22、从左往右，从下而下，依次在样本上划分若干个大小与推理单元相同的区域，每个区域作为一个推理单元。
作为优选，步骤S21中推理单元的长和宽为14×14。
作为优选，步骤S3中，作为前景推理单元的两个推理单元之间的距离不大于3个推理单元。
作为优选，步骤S5中基准值为所有推理单元的平均值。
作为优选，步骤S8中迭代的次数大于等于100次。
本发明还公开了一种基于推理模式评估深伪图像检测模型泛化性装置，包括存储器和一个或多个处理器，所述存储器中存储有可执行代码，所述一个或多个处理器执行所述可执行代码时，用于实现上述的一种基于推理模式评估深伪图像检测模型泛化性方法。
本发明还公开了一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时，实现上述的一种基于推理模式评估深伪图像检测模型泛化性方法。
本发明的有益效果：
发明提出了基于推理模式评估深伪图像检测模型泛化性方法及装置，能够从语义层面评估深伪检测模型的泛化性，能够作为传统评估方式的一种补充，从而提升深伪检测模型泛化性评估的准确性；相比于传统依靠准确率下降程度判断泛化性的方式，本方法具有以下优势：
1.无需额外的数据与标注。传统评估方式需要提供不同领域的的评测数据，且需要人工标注数据类别。而本发明提出的方法直接计算模型内在特征，大大减少成本开销。
2.具备理论基础，评估结果可靠；本发明提出的方法建立在博弈论的基础上，对推理模式进行建模，计算推理模式的复杂度，并经过大量实验证明，结果可靠。
本发明的特征及优点将通过实施例结合附图进行详细说明。
附图说明
图1是本发明基于推理模式评估深伪图像检测模型泛化性方法的整体流程图；
图2是本发明基于推理模式的深伪检测模型泛化性迭代计算方法示意图；
图3是本发明实施例使用Deepfake算法伪造的样本的评估结果；
图4是本发明实施例使用Face2Face算法伪造的样本的评估结果；
图5是本发明实施例使用FaceSwap算法伪造的样本的评估结果；
图6是本发明实施例使用FaceShift算法伪造的样本的评估结果；
图7是本发明实施例使用NeuralTextures算法伪造的样本的评估结果；
图8是本发明三种模型在五种不同伪造数据上的泛化性量化评估结果；
图9是本发明基于推理模式评估深伪图像检测模型泛化性装置的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明了，下面通过附图及实施例，对本发明进行进一步详细说明。但是应该理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。
本发明基于推理模式评估深伪图像检测模型泛化性方法，具体包括如下步骤：
S1、给定评测数据集与待评测的深伪检测模型；所述评测数据集中包含若干个样本图像；
S2、选择一个样本图像，在样本图像上划分若干个固定大小的区域，每个区域作为一个推理单元；
S3、在步骤S2的所有推理单元中，随机选择两个推理单元作为前景推理单元；
S4、在经过步骤S3选择后剩余的推理单元中，随机选择若干个推理单元构成背景推理单元；
S5、将未被步骤S3和步骤S4选择的推理单元作为基础推理单元；将基础推理单元的值修改为基准值；
S6、通过前景推理单元、背景推理单元和基础推理单元组成推理模式；其中背景推理单元和基础推理单元共同组成推理模式的推理背景；
S7、将推理模式输入到推理模式得分计算函数中，输出该推理模式对应的得分；
S8、迭代步骤S3至步骤S7；计算该样本图像的平均得分；
S9、遍历所有样本，计算评测数据集的平均得分，输出泛化性量化评测结果。
在一种可行的实施例中，步骤S1中样本图像的分辨率为224×224，样本图像的长和宽均为224。
在一种可行的实施例中，步骤S2具体包括如下子步骤：
S21、设定推理单元的大小；
S22、从左往右，从下而下，依次在样本上划分若干个大小与推理单元相同的区域，每个区域作为一个推理单元。
在一种可行的实施例中，步骤S21中推理单元的长和宽为14×14。
在一种可行的实施例中，步骤S3中，作为前景推理单元的两个推理单元之间的距离不大于3个推理单元。
在一种可行的实施例中，步骤S5中基准值为所有推理单元的平均值。
在一种可行的实施例中，步骤S8中迭代的次数为100次。
实施例1：
将本发明提出的一种基于推理模式评估深伪图像检测模型泛化性方法应用到模型上，给定三个待评测模型，基于ResNet18架构，在FF++数据集上训练，训练策略不同，在与训练集上相同的测试集上均能够取得99%的识别精度，但是识别未知数据的性能不同；本实施例利用Deepfake方法生成伪造数据集作为评测数据集
Figure 100002_DEST_PATH_IMAGE001
，从语义层面定量评估三个深伪检测模型的泛化性，参阅图1：
步骤1、给定一个评测数据集
Figure 100002_DEST_PATH_IMAGE002
与一个待评测的深伪检测模型
Figure 100002_DEST_PATH_IMAGE003
,其中数据集包含140张样本图像，每张样本图像
Figure 100002_DEST_PATH_IMAGE004
的分辨率为224×224；图像的长和宽均为224；
步骤2、初始化推理单元。在步骤1提供的样本上，人工设定推理单元的长和宽，分别为14×14, 从左往右，从上而下，依次在样本上划分大小为14×14的区域，设置为推理单元
Figure 100002_DEST_PATH_IMAGE005
，每个区域作为一个推理单元。因此，样本
Figure 22839DEST_PATH_IMAGE004
能够被划分为256个单独的推理单元，其中
Figure 100002_DEST_PATH_IMAGE006
，所有推理单元
Figure 100002_DEST_PATH_IMAGE007
能够组合为整个样本。
步骤3：构建推理模式，参阅图2，
步骤3.1：构建前景推理单元；在步骤2划分完成的256个推理单元的中，随机选择两个推理单元
Figure 100002_DEST_PATH_IMAGE008
作为前景推理单元，两个推理单元
Figure 100002_DEST_PATH_IMAGE009
之间的距离由人工设定，根据先验知识，这里设定
Figure 471138DEST_PATH_IMAGE009
之间的距离为小于3个推理单元，即被选择的两个推理单元之间距离可以是1个推理单元、2个推理单元和3个推理单元。
步骤3.2：构建背景推理单元；在步骤3.1的基础上，从剩余的推理单元
Figure 100002_DEST_PATH_IMAGE010
中，随机选择26个的推理单元
Figure 516454DEST_PATH_IMAGE005
，构成背景
Figure 100002_DEST_PATH_IMAGE011
。这里，背景
Figure 721783DEST_PATH_IMAGE011
中推理单元的个数26；根据先验知识设定，大小为26表示背景复杂度简单，实验中发现，使用简单复杂度的背景推理单元计算泛化性更加精确。
步骤3.3：构建基础推理单元；基于步骤3.2，未被选择的推理单元为基础推理单元
Figure 100002_DEST_PATH_IMAGE012
（即除去前景、背景推理单元后，剩余的推理单元）。将属于基础推理单元的值修改为基准值，基准值设定为所有推理单元的平均值，其他推理单元的值保持不变。
步骤3.4：构建推理模式；基于步骤3.1-3.3，前景推理单元
Figure 129631DEST_PATH_IMAGE009
、背景推理单元
Figure 155355DEST_PATH_IMAGE011
、基础推理单元
Figure 100002_DEST_PATH_IMAGE013
,共三部分共同组成推理模式
Figure DEST_PATH_IMAGE014
。背景推理单元与基础推理单元共同组成推理背景
Figure 100002_DEST_PATH_IMAGE015
。
步骤4：获取推理模式得分。将推理模式
Figure 235438DEST_PATH_IMAGE014
输入到推理模式得分计算函数中，输出该模式对应的得分；
Figure 100002_DEST_PATH_IMAGE016
步骤5、迭代步骤3-步骤4，共计100次，对于单个评测样本，随机选择不同的前景推理单元，计算该样本的平均得分。
Figure 100002_DEST_PATH_IMAGE017
其中
Figure 100002_DEST_PATH_IMAGE018
；
Figure 100002_DEST_PATH_IMAGE019
表示样本
Figure 100002_DEST_PATH_IMAGE020
被划分的所有推理单元数目。
Figure 100002_DEST_PATH_IMAGE021
表示
Figure 100002_DEST_PATH_IMAGE022
被采样的概率。
Figure 100002_DEST_PATH_IMAGE023
表示所有
Figure 100002_DEST_PATH_IMAGE024
产生结果的期望；
步骤7、计算评测数据集平均得分，输出泛化性量化评测结果。
Figure DEST_PATH_IMAGE025
Figure DEST_PATH_IMAGE026
表示评测数据集中的样本编号，
Figure DEST_PATH_IMAGE027
表示评测数据集中的样本总数；
步骤8、给定模型A、模型B与模型C，其中模型A采用在FF++数据集上直接训练的策略，模型B在模型A的训练策略上添加了数据增强的训练策略，模型C在模型B的训练策略基础上增加了辅助结构，用于提升泛化性。使用deepfake伪造算法生成500张伪造样本，构建基于deepfake的泛化性评测数据集。执行步骤1-步骤7，计算每个模型在五种评测数据集上的泛化性量化评估结果，结果如图3、图8所示。由图可知，模型A的泛化性显著低于模型B和模型C，模型C的泛化性略优于模型B。
实施例2：
将本发明提出的一种基于推理模式评估深伪图像检测模型泛化性方法应用到模型上，给定三个待评测模型，基于ResNet18架构，在FF++数据集上训练，训练策略不同，在与训练集上相同的测试集上均能够取得99%的识别精度，但是识别未知数据的性能不同；本实施例利用Face2face方法生成伪造数据集作为评测数据集
Figure DEST_PATH_IMAGE028
，从语义层面定量评估三个深伪检测模型的泛化性，参阅图1：
步骤1、给定一个评测数据集
Figure 214764DEST_PATH_IMAGE002
与一个待评测的深伪检测模型
Figure 149222DEST_PATH_IMAGE003
,其中数据集包含140张样本图像，每张样本图像
Figure 345848DEST_PATH_IMAGE004
的分辨率为224×224；图像的长和宽均为224；
步骤2、初始化推理单元。在步骤1提供的样本上，人工设定推理单元的长和宽，分别为14×14, 从左往右，从上而下，依次在样本上划分大小为14×14的区域，设置为推理单元
Figure 365757DEST_PATH_IMAGE005
，每个区域作为一个推理单元。因此，样本
Figure 430665DEST_PATH_IMAGE004
能够被划分为256个单独的推理单元，其中
Figure 219629DEST_PATH_IMAGE006
，所有推理单元
Figure 194014DEST_PATH_IMAGE007
能够组合为整个样本。
步骤3：构建推理模式，参阅图2，
步骤3.1：构建前景推理单元；在步骤2划分完成的256个推理单元的中，随机选择两个推理单元
Figure 701219DEST_PATH_IMAGE008
作为前景推理单元，两个推理单元
Figure 179605DEST_PATH_IMAGE009
之间的距离由人工设定，根据先验知识，这里设定
Figure 88655DEST_PATH_IMAGE009
之间的距离为小于3个推理单元，即被选择的两个推理单元之间距离可以是1个推理单元、2个推理单元和3个推理单元。
步骤3.2：构建背景推理单元；在步骤3.1的基础上，从剩余的推理单元
Figure 751717DEST_PATH_IMAGE010
中，随机选择26个的推理单元
Figure 746218DEST_PATH_IMAGE005
，构成背景
Figure 28295DEST_PATH_IMAGE011
。这里，背景
Figure 791851DEST_PATH_IMAGE011
中推理单元的个数26；根据先验知识设定，大小为26表示背景复杂度简单，实验中发现，使用简单复杂度的背景推理单元计算泛化性更加精确。
步骤3.3：构建基础推理单元；基于步骤3.2，未被选择的推理单元为基础推理单元
Figure 642127DEST_PATH_IMAGE012
（即除去前景、背景推理单元后，剩余的推理单元）。将属于基础推理单元的值修改为基准值，基准值设定为所有推理单元的平均值，其他推理单元的值保持不变。
步骤3.4：构建推理模式；基于步骤3.1-3.3，前景推理单元
Figure 858345DEST_PATH_IMAGE009
、背景推理单元
Figure 740850DEST_PATH_IMAGE011
、基础推理单元
Figure 296596DEST_PATH_IMAGE013
,共三部分共同组成推理模式
Figure 832620DEST_PATH_IMAGE014
。背景推理单元与基础推理单元共同组成推理背景
Figure 536134DEST_PATH_IMAGE015
。
步骤4：获取推理模式得分。将推理模式
Figure 956751DEST_PATH_IMAGE014
输入到推理模式得分计算函数中，输出该模式对应的得分；
Figure 898162DEST_PATH_IMAGE016
步骤5、迭代步骤3-步骤4，共计100次，对于单个评测样本，随机选择不同的前景推理单元，计算该样本的平均得分。
Figure 90240DEST_PATH_IMAGE029
其中
Figure 281050DEST_PATH_IMAGE018
；
Figure 708620DEST_PATH_IMAGE019
表示样本
Figure 35696DEST_PATH_IMAGE020
被划分的所有推理单元数目。
Figure 647943DEST_PATH_IMAGE021
表示
Figure 529311DEST_PATH_IMAGE022
被采样的概率。
Figure 822890DEST_PATH_IMAGE023
表示所有
Figure 83101DEST_PATH_IMAGE024
产生结果的期望；
步骤7、计算评测数据集平均得分，输出泛化性量化评测结果。
Figure 538353DEST_PATH_IMAGE025
Figure 641438DEST_PATH_IMAGE026
表示评测数据集中的样本编号，
Figure 473128DEST_PATH_IMAGE027
表示评测数据集中的样本总数；
步骤8、给定模型A、模型B与模型C，其中模型A采用在FF++数据集上直接训练的策略，模型B在模型A的训练策略上添加了数据增强的训练策略，模型C在模型B的训练策略基础上增加了辅助结构，用于提升泛化性。使用Face2face伪造算法生成500张伪造样本，构建基于Face2face的泛化性评测数据集。执行步骤1-步骤7，计算每个模型在五种评测数据集上的泛化性量化评估结果，结果如图4、图8所示。由图可知，模型A的泛化性显著低于模型B和模型C，模型C的泛化性略优于模型B。
实施例3：
将本发明提出的一种基于推理模式评估深伪图像检测模型泛化性方法应用到模型上，给定三个待评测模型，基于ResNet18架构，在FF++数据集上训练，训练策略不同，在与训练集上相同的测试集上均能够取得99%的识别精度，但是识别未知数据的性能不同；本实施例利用FaceSwap方法生成伪造数据集作为评测数据集
Figure 102692DEST_PATH_IMAGE028
，从语义层面定量评估三个深伪检测模型的泛化性，参阅图1：
步骤1、给定一个评测数据集
Figure 728846DEST_PATH_IMAGE002
与一个待评测的深伪检测模型
Figure 319227DEST_PATH_IMAGE003
,其中数据集包含140张样本图像，每张样本图像
Figure 954608DEST_PATH_IMAGE004
的分辨率为224×224；图像的长和宽均为224；
步骤2、初始化推理单元。在步骤1提供的样本上，人工设定推理单元的长和宽，分别为14×14, 从左往右，从上而下，依次在样本上划分大小为14×14的区域，设置为推理单元
Figure 186481DEST_PATH_IMAGE005
，每个区域作为一个推理单元。因此，样本
Figure 186798DEST_PATH_IMAGE004
能够被划分为256个单独的推理单元，其中
Figure 61214DEST_PATH_IMAGE006
，所有推理单元
Figure 562602DEST_PATH_IMAGE007
能够组合为整个样本。
步骤3：构建推理模式，参阅图2，
步骤3.1：构建前景推理单元；在步骤2划分完成的256个推理单元的中，随机选择两个推理单元
Figure 838863DEST_PATH_IMAGE008
作为前景推理单元，两个推理单元
Figure 10081DEST_PATH_IMAGE009
之间的距离由人工设定，根据先验知识，这里设定
Figure 371792DEST_PATH_IMAGE009
之间的距离为小于3个推理单元，即被选择的两个推理单元之间距离可以是1个推理单元、2个推理单元和3个推理单元。
步骤3.2：构建背景推理单元；在步骤3.1的基础上，从剩余的推理单元
Figure 162025DEST_PATH_IMAGE010
中，随机选择26个的推理单元
Figure 292792DEST_PATH_IMAGE005
，构成背景
Figure 900491DEST_PATH_IMAGE011
。这里，背景
Figure 811815DEST_PATH_IMAGE011
中推理单元的个数26；根据先验知识设定，大小为26表示背景复杂度简单，实验中发现，使用简单复杂度的背景推理单元计算泛化性更加精确。
步骤3.3：构建基础推理单元；基于步骤3.2，未被选择的推理单元为基础推理单元
Figure 327110DEST_PATH_IMAGE012
（即除去前景、背景推理单元后，剩余的推理单元）。将属于基础推理单元的值修改为基准值，基准值设定为所有推理单元的平均值，其他推理单元的值保持不变。
步骤3.4：构建推理模式；基于步骤3.1-3.3，前景推理单元
Figure 515646DEST_PATH_IMAGE009
、背景推理单元
Figure 90984DEST_PATH_IMAGE011
、基础推理单元
Figure 240336DEST_PATH_IMAGE013
,共三部分共同组成推理模式
Figure 559322DEST_PATH_IMAGE014
。背景推理单元与基础推理单元共同组成推理背景
Figure 602364DEST_PATH_IMAGE015
。
步骤4：获取推理模式得分。将推理模式
Figure 348604DEST_PATH_IMAGE014
输入到推理模式得分计算函数中，输出该模式对应的得分；
Figure 968941DEST_PATH_IMAGE016
步骤5、迭代步骤3-步骤4，共计100次，对于单个评测样本，随机选择不同的前景推理单元，计算该样本的平均得分。
Figure DEST_PATH_IMAGE030
其中
Figure 560459DEST_PATH_IMAGE018
；
Figure 333374DEST_PATH_IMAGE019
表示样本
Figure 250515DEST_PATH_IMAGE020
被划分的所有推理单元数目。
Figure 499093DEST_PATH_IMAGE021
表示
Figure 159882DEST_PATH_IMAGE022
被采样的概率。
Figure 36571DEST_PATH_IMAGE023
表示所有
Figure 390192DEST_PATH_IMAGE024
产生结果的期望；
步骤7、计算评测数据集平均得分，输出泛化性量化评测结果。
Figure 860488DEST_PATH_IMAGE025
Figure 324967DEST_PATH_IMAGE026
表示评测数据集中的样本编号，
Figure 69544DEST_PATH_IMAGE027
表示评测数据集中的样本总数；
步骤8、给定模型A、模型B与模型C，其中模型A采用在FF++数据集上直接训练的策略，模型B在模型A的训练策略上添加了数据增强的训练策略，模型C在模型B的训练策略基础上增加了辅助结构，用于提升泛化性。使用FaceSwap伪造算法生成500张伪造样本，构建基于FaceSwap的泛化性评测数据集。执行步骤1-步骤7，计算每个模型在五种评测数据集上的泛化性量化评估结果，结果如图5、图8所示。由图可知，模型A的泛化性显著低于模型B和模型C，模型C的泛化性略优于模型B。
实施例4：
将本发明提出的一种基于推理模式评估深伪图像检测模型泛化性方法应用到模型上，给定三个待评测模型，基于ResNet18架构，在FF++数据集上训练，训练策略不同，在与训练集上相同的测试集上均能够取得99%的识别精度，但是识别未知数据的性能不同；本实施例利用Faceshift方法生成伪造数据集作为评测数据集
Figure 531750DEST_PATH_IMAGE028
，从语义层面定量评估三个深伪检测模型的泛化性，参阅图1：
步骤1、给定一个评测数据集
Figure 551658DEST_PATH_IMAGE002
与一个待评测的深伪检测模型
Figure 616566DEST_PATH_IMAGE003
,其中数据集包含140张样本图像，每张样本图像
Figure 405531DEST_PATH_IMAGE004
的分辨率为224×224；图像的长和宽均为224；
步骤2、初始化推理单元。在步骤1提供的样本上，人工设定推理单元的长和宽，分别为14×14, 从左往右，从上而下，依次在样本上划分大小为14×14的区域，设置为推理单元
Figure 38638DEST_PATH_IMAGE005
，每个区域作为一个推理单元。因此，样本
Figure 280263DEST_PATH_IMAGE004
能够被划分为256个单独的推理单元，其中
Figure 899594DEST_PATH_IMAGE006
，所有推理单元
Figure 808644DEST_PATH_IMAGE007
能够组合为整个样本。
步骤3：构建推理模式，参阅图2，
步骤3.1：构建前景推理单元；在步骤2划分完成的256个推理单元的中，随机选择两个推理单元
Figure 347073DEST_PATH_IMAGE008
作为前景推理单元，两个推理单元
Figure 341574DEST_PATH_IMAGE009
之间的距离由人工设定，根据先验知识，这里设定
Figure 748285DEST_PATH_IMAGE009
之间的距离为小于3个推理单元，即被选择的两个推理单元之间距离可以是1个推理单元、2个推理单元和3个推理单元。
步骤3.2：构建背景推理单元；在步骤3.1的基础上，从剩余的推理单元
Figure 511841DEST_PATH_IMAGE010
中，随机选择26个的推理单元
Figure 221171DEST_PATH_IMAGE005
，构成背景
Figure 702968DEST_PATH_IMAGE011
。这里，背景
Figure 664102DEST_PATH_IMAGE011
中推理单元的个数26；根据先验知识设定，大小为26表示背景复杂度简单，实验中发现，使用简单复杂度的背景推理单元计算泛化性更加精确。
步骤3.3：构建基础推理单元；基于步骤3.2，未被选择的推理单元为基础推理单元
Figure 282165DEST_PATH_IMAGE012
（即除去前景、背景推理单元后，剩余的推理单元）。将属于基础推理单元的值修改为基准值，基准值设定为所有推理单元的平均值，其他推理单元的值保持不变。
步骤3.4：构建推理模式；基于步骤3.1-3.3，前景推理单元
Figure 427976DEST_PATH_IMAGE009
、背景推理单元
Figure 131490DEST_PATH_IMAGE011
、基础推理单元
Figure 880003DEST_PATH_IMAGE013
,共三部分共同组成推理模式
Figure 618152DEST_PATH_IMAGE014
。背景推理单元与基础推理单元共同组成推理背景
Figure 669284DEST_PATH_IMAGE015
。
步骤4：获取推理模式得分。将推理模式
Figure 860094DEST_PATH_IMAGE014
输入到推理模式得分计算函数中，输出该模式对应的得分；
Figure 163031DEST_PATH_IMAGE016
步骤5、迭代步骤3-步骤4，共计100次，对于单个评测样本，随机选择不同的前景推理单元，计算该样本的平均得分。
Figure 958948DEST_PATH_IMAGE030
其中
Figure 508878DEST_PATH_IMAGE018
；
Figure 249301DEST_PATH_IMAGE019
表示样本
Figure 277300DEST_PATH_IMAGE020
被划分的所有推理单元数目。
Figure 662145DEST_PATH_IMAGE021
表示
Figure 382976DEST_PATH_IMAGE022
被采样的概率。
Figure 381936DEST_PATH_IMAGE023
表示所有
Figure 213625DEST_PATH_IMAGE024
产生结果的期望；
步骤7、计算评测数据集平均得分，输出泛化性量化评测结果。
Figure 452977DEST_PATH_IMAGE025
Figure 344710DEST_PATH_IMAGE026
表示评测数据集中的样本编号，
Figure 59725DEST_PATH_IMAGE027
表示评测数据集中的样本总数；
步骤8、给定模型A、模型B与模型C，其中模型A采用在FF++数据集上直接训练的策略，模型B在模型A的训练策略上添加了数据增强的训练策略，模型C在模型B的训练策略基础上增加了辅助结构，用于提升泛化性。使用Faceshift伪造算法生成500张伪造样本，构建基于Faceshift的泛化性评测数据集。执行步骤1-步骤7，计算每个模型在五种评测数据集上的泛化性量化评估结果，结果如图6、图8所示。由图可知，模型A的泛化性显著低于模型B和模型C，模型C的泛化性略优于模型B。
实施例5：
将本发明提出的一种基于推理模式评估深伪图像检测模型泛化性方法应用到模型上，给定三个待评测模型，基于ResNet18架构，在FF++数据集上训练，训练策略不同，在与训练集上相同的测试集上均能够取得99%的识别精度，但是识别未知数据的性能不同；本实施例利用NeuralTexture方法生成伪造数据集作为评测数据集
Figure 429526DEST_PATH_IMAGE028
，从语义层面定量评估三个深伪检测模型的泛化性，参阅图1：
步骤1、给定一个评测数据集
Figure 788963DEST_PATH_IMAGE002
与一个待评测的深伪检测模型
Figure 851597DEST_PATH_IMAGE003
,其中数据集包含140张样本图像，每张样本图像
Figure 539062DEST_PATH_IMAGE004
的分辨率为224×224；图像的长和宽均为224；
步骤2、初始化推理单元。在步骤1提供的样本上，人工设定推理单元的长和宽，分别为14×14, 从左往右，从上而下，依次在样本上划分大小为14×14的区域，设置为推理单元
Figure 978133DEST_PATH_IMAGE005
，每个区域作为一个推理单元。因此，样本
Figure 192077DEST_PATH_IMAGE004
能够被划分为256个单独的推理单元，其中
Figure 425612DEST_PATH_IMAGE006
，所有推理单元
Figure 849640DEST_PATH_IMAGE007
能够组合为整个样本。
步骤3：构建推理模式，参阅图2，
步骤3.1：构建前景推理单元；在步骤2划分完成的256个推理单元的中，随机选择两个推理单元
Figure 561244DEST_PATH_IMAGE008
作为前景推理单元，两个推理单元
Figure 895274DEST_PATH_IMAGE009
之间的距离由人工设定，根据先验知识，这里设定
Figure 299710DEST_PATH_IMAGE009
之间的距离为小于3个推理单元，即被选择的两个推理单元之间距离可以是1个推理单元、2个推理单元和3个推理单元。
步骤3.2：构建背景推理单元；在步骤3.1的基础上，从剩余的推理单元
Figure 961767DEST_PATH_IMAGE010
中，随机选择26个的推理单元
Figure 477062DEST_PATH_IMAGE005
，构成背景
Figure 665598DEST_PATH_IMAGE011
。这里，背景
Figure 240935DEST_PATH_IMAGE011
中推理单元的个数26；根据先验知识设定，大小为26表示背景复杂度简单，实验中发现，使用简单复杂度的背景推理单元计算泛化性更加精确。
步骤3.3：构建基础推理单元；基于步骤3.2，未被选择的推理单元为基础推理单元
Figure 639556DEST_PATH_IMAGE012
（即除去前景、背景推理单元后，剩余的推理单元）。将属于基础推理单元的值修改为基准值，基准值设定为所有推理单元的平均值，其他推理单元的值保持不变。
步骤3.4：构建推理模式；基于步骤3.1-3.3，前景推理单元
Figure 958542DEST_PATH_IMAGE009
、背景推理单元
Figure 1584DEST_PATH_IMAGE011
、基础推理单元
Figure 747823DEST_PATH_IMAGE013
,共三部分共同组成推理模式
Figure 118893DEST_PATH_IMAGE014
。背景推理单元与基础推理单元共同组成推理背景
Figure 241570DEST_PATH_IMAGE015
。
步骤4：获取推理模式得分。将推理模式
Figure 139118DEST_PATH_IMAGE014
输入到推理模式得分计算函数中，输出该模式对应的得分；
Figure 384155DEST_PATH_IMAGE016
步骤5、迭代步骤3-步骤4，共计100次，对于单个评测样本，随机选择不同的前景推理单元，计算该样本的平均得分。
Figure 695051DEST_PATH_IMAGE031
其中
Figure 293522DEST_PATH_IMAGE018
；
Figure 107894DEST_PATH_IMAGE019
表示样本
Figure 271635DEST_PATH_IMAGE020
被划分的所有推理单元数目。
Figure 7510DEST_PATH_IMAGE021
表示
Figure 206410DEST_PATH_IMAGE022
被采样的概率。
Figure 16234DEST_PATH_IMAGE023
表示所有
Figure 540756DEST_PATH_IMAGE024
产生结果的期望；
步骤7、计算评测数据集平均得分，输出泛化性量化评测结果。
Figure 498348DEST_PATH_IMAGE025
Figure 828835DEST_PATH_IMAGE026
表示评测数据集中的样本编号，
Figure 617800DEST_PATH_IMAGE027
表示评测数据集中的样本总数；
步骤8、给定模型A、模型B与模型C，其中模型A采用在FF++数据集上直接训练的策略，模型B在模型A的训练策略上添加了数据增强的训练策略，模型C在模型B的训练策略基础上增加了辅助结构，用于提升泛化性。使用NeuralTexture伪造算法生成500张伪造样本，构建基于NeuralTexture的泛化性评测数据集。执行步骤1-步骤7，计算每个模型在五种评测数据集上的泛化性量化评估结果，结果如图7、图8所示。由图可知，模型A的泛化性显著低于模型B和模型C，模型C的泛化性略优于模型B。
本发明基于推理模式评估深伪图像检测模型泛化性装置的实施例可以应用在任意具备数据处理能力的设备上，该任意具备数据处理能力的设备可以为诸如计算机等设备或装置。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在任意具备数据处理能力的设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，如图9所示，为本发明基于推理模式评估深伪图像检测模型泛化性装置所在任意具备数据处理能力的设备的一种硬件结构图，除了图9所示的处理器、内存、网络接口、以及非易失性存储器之外，实施例中装置所在的任意具备数据处理能力的设备通常根据该任意具备数据处理能力的设备的实际功能，还可以包括其他硬件，对此不再赘述。上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
本发明实施例还提供一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时，实现上述实施例中的基于推理模式评估深伪图像检测模型泛化性装置。
所述计算机可读存储介质可以是前述任一实施例所述的任意具备数据处理能力的设备的内部存储单元，例如硬盘或内存。所述计算机可读存储介质也可以是任意具备数据处理能力的设备的外部存储设备，例如所述设备上配备的插接式硬盘、智能存储卡(Smart Media Card，SMC)、SD卡、闪存卡(Flash Card）等。进一步的，所述计算机可读存储介质还可以既包括任意具备数据处理能力的设备的内部存储单元也包括外部存储设备。所述计算机可读存储介质用于存储所述计算机程序以及所述任意具备数据处理能力的设备所需的其他程序和数据，还可以用于暂时地存储已经输出或者将要输出的数据。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换或改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于推理模式评估深伪图像检测模型泛化性方法，其特征在于，具体包括如下步骤：
S1、给定评测数据集
Figure DEST_PATH_IMAGE001
与待评测的深伪检测模型
Figure DEST_PATH_IMAGE002
；所述评测数据集中包含若干个样本图像；
S2、选择一个样本图像
Figure DEST_PATH_IMAGE003
，在样本图像上划分若干个固定大小的区域，每个区域作为一个推理单元
Figure DEST_PATH_IMAGE004
；
S3、在步骤S2的所有推理单元
Figure DEST_PATH_IMAGE005
中，随机选择两个推理单元
Figure DEST_PATH_IMAGE006
作为前景推理单元；
S4、在经过步骤S3选择后剩余的推理单元
Figure DEST_PATH_IMAGE007
中，随机选择若干个推理单元构成背景推理单元
Figure DEST_PATH_IMAGE008
；
S5、将未被步骤S3和步骤S4选择的推理单元
Figure DEST_PATH_IMAGE009
作为基础推理单元；将基础推理单元的值修改为基准值；
S6、通过前景推理单元
Figure DEST_PATH_IMAGE010
、背景推理单元
Figure DEST_PATH_IMAGE011
和基础推理单元
Figure DEST_PATH_IMAGE012
组成推理模式
Figure DEST_PATH_IMAGE013
；其中背景推理单元和基础推理单元共同组成推理模式的推理背景
Figure 689297DEST_PATH_IMAGE014
；
S7、将推理模式
Figure DEST_PATH_IMAGE015
输入到推理模式得分计算函数中，输出该推理模式对应的得分；所述推理模式得分计算函数如下：
Figure DEST_PATH_IMAGE016
；
S8、迭代步骤S3至步骤S7；计算该样本图像的平均得分：
Figure DEST_PATH_IMAGE017
其中
Figure DEST_PATH_IMAGE018
；
Figure DEST_PATH_IMAGE019
表示样本图像
Figure 58967DEST_PATH_IMAGE003
被划分的所有推理单元数目；
Figure DEST_PATH_IMAGE020
表示
Figure 746694DEST_PATH_IMAGE014
被采样的概率；
Figure DEST_PATH_IMAGE021
表示所有
Figure 204220DEST_PATH_IMAGE010
产生结果的期望；
S9、遍历所有样本，计算评测数据集的平均得分，输出泛化性量化评测结果：
Figure DEST_PATH_IMAGE022
，其中
Figure DEST_PATH_IMAGE023
表示评测数据集中的样本编号，
Figure DEST_PATH_IMAGE024
表示评测数据集中的样本总数。
2.如权利要求1所述的一种基于推理模式评估深伪图像检测模型泛化性方法，其特征在于，步骤S1中样本图像的分辨率为224×224，样本图像的长和宽均为224。
3.如权利要求1所述的一种基于推理模式评估深伪图像检测模型泛化性方法，其特征在于，步骤S2具体包括如下子步骤：
S21、设定推理单元的大小；
S22、从左往右，从下而下，依次在样本上划分若干个大小与推理单元相同的区域，每个区域作为一个推理单元。
4.如权利要求3所述的一种基于推理模式评估深伪图像检测模型泛化性方法，其特征在于，步骤S21中推理单元的长和宽为14×14。
5.如权利要求1所述的一种基于推理模式评估深伪图像检测模型泛化性方法，其特征在于，步骤S3中，作为前景推理单元的两个推理单元之间的距离不大于3个推理单元。
6.如权利要求1所述的一种基于推理模式评估深伪图像检测模型泛化性方法，其特征在于，步骤S5中基准值为所有推理单元的平均值。
7.如权利要求1所述的一种基于推理模式评估深伪图像检测模型泛化性方法，其特征在于，步骤S8中迭代的次数大于等于100次。
8.一种基于推理模式评估深伪图像检测模型泛化性装置，其特征在于：包括存储器和一个或多个处理器，所述存储器中存储有可执行代码，所述一个或多个处理器执行所述可执行代码时，用于实现权利要求1-7任一项所述的一种基于推理模式评估深伪图像检测模型泛化性方法。
9.一种计算机可读存储介质，其特征在于：其上存储有程序，该程序被处理器执行时，实现权利要求1-7任一项所述的一种基于推理模式评估深伪图像检测模型泛化性方法。
CN202211395358.XA 2022-11-09 2022-11-09 基于推理模式评估深伪图像检测模型泛化性方法及装置 Active CN115457374B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211395358.XA CN115457374B (zh) 2022-11-09 2022-11-09 基于推理模式评估深伪图像检测模型泛化性方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211395358.XA CN115457374B (zh) 2022-11-09 2022-11-09 基于推理模式评估深伪图像检测模型泛化性方法及装置

Publications (2)

Publication Number Publication Date
CN115457374A CN115457374A (zh) 2022-12-09
CN115457374B true CN115457374B (zh) 2023-02-03

Family

ID=84310424

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211395358.XA Active CN115457374B (zh) 2022-11-09 2022-11-09 基于推理模式评估深伪图像检测模型泛化性方法及装置

Country Status (1)

Country Link
CN (1) CN115457374B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117573814B (zh) * 2024-01-17 2024-05-10 中电科大数据研究院有限公司 一种舆论态势评估方法、装置、系统以及存储介质

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0954764A (ja) * 1995-08-15 1997-02-25 Fujitsu Ltd モデルの汎化能力評価方法
JP4578125B2 (ja) * 2004-03-11 2010-11-10 学校法人明治大学 ファジィ推論モデルの最適化方法及びシステム
US11361197B2 (en) * 2018-06-29 2022-06-14 EMC IP Holding Company LLC Anomaly detection in time-series data using state inference and machine learning
CN112016618A (zh) * 2020-08-28 2020-12-01 方玉明 一种用于对图像语义分割模型泛化能力的度量方法
US20220083878A1 (en) * 2020-09-15 2022-03-17 Vingroup Joint Stock Company Label inference system
EP3975062A1 (en) * 2020-09-24 2022-03-30 Toyota Jidosha Kabushiki Kaisha Method and system for selecting data to train a model
CN112183501B (zh) * 2020-11-27 2021-02-19 北京智源人工智能研究院 深度伪造图像检测方法及装置
WO2022204803A1 (en) * 2021-04-01 2022-10-06 Kang Lee System and method for concise assessment generation using machine learning
CN113326400B (zh) * 2021-06-29 2024-01-12 合肥高维数据技术有限公司 基于深度伪造视频检测的模型的评价方法及系统
CN113435606A (zh) * 2021-07-01 2021-09-24 吉林大学 强化学习模型的优化方法、装置、存储介质及电子设备
CN113822160B (zh) * 2021-08-20 2023-09-19 西安交通大学 深度伪造检测模型的评测方法、系统及设备
CN114358089A (zh) * 2022-01-24 2022-04-15 北京蕴岚科技有限公司 基于脑电的语音评估模型的训练方法、装置及电子设备
CN115204192A (zh) * 2022-07-29 2022-10-18 展讯半导体(南京)有限公司 终端设备的ai推理性能评测方法及装置、存储介质、终端

Also Published As

Publication number Publication date
CN115457374A (zh) 2022-12-09

Similar Documents

Publication Publication Date Title
Liu et al. Hard negative generation for identity-disentangled facial expression recognition
CN111241958B (zh) 一种基于残差-胶囊网络的视频图像鉴别方法
Cao et al. 3D aided duet GANs for multi-view face image synthesis
Sun et al. Facial age synthesis with label distribution-guided generative adversarial network
Seow et al. A comprehensive overview of Deepfake: Generation, detection, datasets, and opportunities
CN111445548B (zh) 一种基于非配对图像的多视角人脸图像生成方法
Liu et al. A 3 GAN: an attribute-aware attentive generative adversarial network for face aging
Chanti et al. Improving bag-of-visual-words towards effective facial expressive image classification
CN113537027B (zh) 基于面部划分的人脸深度伪造检测方法及系统
CN115565238B (zh) 换脸模型的训练方法、装置、设备、存储介质和程序产品
CN113642621A (zh) 基于生成对抗网络的零样本图像分类方法
Wang et al. U-Net conditional GANs for photo-realistic and identity-preserving facial expression synthesis
CN115050064A (zh) 人脸活体检测方法、装置、设备及介质
Kim et al. Attended relation feature representation of facial dynamics for facial authentication
CN115457374B (zh) 基于推理模式评估深伪图像检测模型泛化性方法及装置
An Pedestrian re-recognition algorithm based on optimization deep learning-sequence memory model
Mallet et al. Using deep learning to detecting deepfakes
Garg et al. Facial expression recognition & classification using hybridization of ICA, GA, and neural network for human-computer interaction
Babnik et al. DifFIQA: Face image quality assessment using denoising diffusion probabilistic models
Arora et al. A review of techniques to detect the GAN-generated fake images
CN111259264A (zh) 一种基于生成对抗网络的时序评分预测方法
CN112200236B (zh) 人脸参数识别模型的训练方法、人脸参数的识别方法
Saealal et al. Three-Dimensional Convolutional Approaches for the Verification of Deepfake Videos: The Effect of Image Depth Size on Authentication Performance
CN114155572A (zh) 一种面部表情识别方法和系统
Luan et al. Learning unsupervised face normalization through frontal view reconstruction

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant