CN117133039A - 图像鉴伪模型训练方法、图像鉴伪方法、装置及电子设备 - Google Patents

图像鉴伪模型训练方法、图像鉴伪方法、装置及电子设备 Download PDF

Info

Publication number
CN117133039A
CN117133039A CN202311126138.1A CN202311126138A CN117133039A CN 117133039 A CN117133039 A CN 117133039A CN 202311126138 A CN202311126138 A CN 202311126138A CN 117133039 A CN117133039 A CN 117133039A
Authority
CN
China
Prior art keywords
image
period
true
false
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311126138.1A
Other languages
English (en)
Other versions
CN117133039B (zh
Inventor
王伟
董晶
彭勃
项伟
卓文琦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Automation of Chinese Academy of Science
Original Assignee
Institute of Automation of Chinese Academy of Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Automation of Chinese Academy of Science filed Critical Institute of Automation of Chinese Academy of Science
Priority to CN202311126138.1A priority Critical patent/CN117133039B/zh
Publication of CN117133039A publication Critical patent/CN117133039A/zh
Application granted granted Critical
Publication of CN117133039B publication Critical patent/CN117133039B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Collating Specific Patterns (AREA)

Abstract

本发明涉及图像处理技术领域，提供一种图像鉴伪模型训练方法、图像鉴伪方法、装置及电子设备，该方法通过图像鉴伪模型在不同时段的伪造类型的真伪图像样本上进行域增量学习，以提升图像鉴伪模型对新型伪造算法的快速适应能力，同时保持对原伪造图像的鉴别精度。而且，该方法在对当前时段的训练过程，只需要前一历史时段的真伪图像特征分布参数，利用其确定前一历史时段的真伪重建特征即可得到各历史时段的真伪重建特征，并不需要各历史时段的真伪图像特征，可以避免访问历史时段的真伪图像样本时可能造成的隐私泄露和数据安全问题，有利于隐私保护和信息安全。

Description

图像鉴伪模型训练方法、图像鉴伪方法、装置及电子设备
技术领域
本发明涉及图像处理技术领域，尤其涉及一种图像鉴伪模型训练方法、图像鉴伪方法、装置及电子设备。
背景技术
随着人脸编辑技术的快速发展，人脸内容取证引起了广泛的关注。在人脸图像鉴伪方面，即检测伪造人脸图像方面，主流研究方法是将人脸图像鉴伪任务建模成真伪二分类问题，并以深度神经网络为基础来构筑具体模型。此类方法通常需要获取海量的带标注人脸样本，以驱动人脸鉴伪模型进行特征学习和参数更新。这可能导致人脸鉴伪模型对训练数据的分布产生较强的依赖性，具体表现为：人脸鉴伪模型只能处理已学过的伪造人脸类型，却无法判断未见过的伪造人脸类型。在伪造人脸类型不断增多的场景下，这种性能降质问题愈发明显。
常规的解决方案是保存每个阶段的训练样本，当新型伪造人脸到达时，将新数据与历史数据直接合并，然后基于全部样本进行模型重训或微调。随着样本量的累积，获取新模型的时间成本和计算资源激增。因此，该方案仅在短期内可行，而不具备长期的现实性。
同时，考虑到访问人脸数据时可能造成的隐私泄露和数据安全问题，历史数据的重复使用往往受到限制，甚至不被允许，进而导致上述方案失去可行性。
发明内容
本发明提供一种图像鉴伪模型训练方法、图像鉴伪方法、装置及电子设备，用以解决现有技术中存在的缺陷。
本发明提供一种图像鉴伪模型训练方法，包括：
获取当前时段的真伪图像样本，并基于目标特征提取器，对当前时段的真伪图像样本进行特征提取，得到当前时段的真伪图像特征；
基于所述当前时段的前一历史时段的真伪图像特征分布参数，确定所述前一历史时段的真伪重建特征，并基于所述当前时段的真伪图像特征及所述当前时段的各历史时段的真伪重建特征，对所述当前时段的前一历史时段的图像分类器进行训练，得到目标图像分类器；
基于所述目标特征提取器和所述目标图像分类器，构建当前时段的图像鉴伪模型；
其中，所述目标特征提取器基于起始历史时段的真伪图像样本，对级联的初始特征提取器和初始图像分类器进行预训练得到，所述前一历史时段的真伪图像特征分布参数基于所述目标特征提取器对所述前一历史时段的真伪图像样本进行特征提取得到的所述前一历史时段的真伪图像特征确定并保存。
根据本发明提供的一种图像鉴伪模型训练方法，所述基于所述当前时段的前一历史时段的真伪图像特征分布参数，确定所述前一历史时段的真伪重建特征，包括：
基于标准高斯分布，确定随机噪声；
基于真伪尺度因子以及所述随机噪声，对所述前一历史时段的真伪图像特征分布的均值进行扰动，得到所述前一历史时段的真伪重建特征。
根据本发明提供的一种图像鉴伪模型训练方法，所述真伪尺度因子基于所述起始历史时段的真伪图像特征协方差以及图像特征维度计算得到。
根据本发明提供的一种图像鉴伪模型训练方法，所述基于所述当前时段的前一历史时段的真伪图像特征分布参数，确定所述前一历史时段的真伪重建特征，还包括：
基于所述前一历史时段的真伪图像特征的均值和方差，确定所述前一历史时段的真伪图像特征的高斯分布；
从所述前一历史时段的真伪图像特征的高斯分布中采样得到所述前一历史时段的真伪重建特征。
根据本发明提供的一种图像鉴伪模型训练方法，所述基于所述当前时段的真伪图像特征及所述当前时段的各历史时段的真伪重建特征，对所述当前时段的前一历史时段的图像分类器进行训练，得到目标图像分类器，包括：
将所述当前时段的真伪图像特征及所述当前时段的各历史时段的真伪重建特征分别输入至所述前一历史时段的图像分类器，得到所述前一历史时段的图像分类器输出的分类结果；
基于所述当前时段的各历史时段的真伪重建特征对应的类别标签和分类结果，以及所述当前时段的真伪图像特征对应的类别标签和分类结果，计算分类器损失，并基于所述分类器损失，对所述前一历史时段的图像分类器的结构参数进行迭代优化，得到所述目标图像分类器。
根据本发明提供的一种图像鉴伪模型训练方法，所述基于所述当前时段的各历史时段的真伪重建特征对应的类别标签和分类结果，以及所述当前时段的真伪图像特征对应的类别标签和分类结果，计算分类器损失，包括：
基于所述当前时段的各历史时段的真伪重建特征对应的类别标签及分类结果，计算第一损失，并基于所述当前时段的真伪图像特征对应的类别标签及分类结果，计算第二损失；
对所述第一损失和所述第二损失进行加权求和，确定所述分类器损失。
本发明还提供一种图像鉴伪方法，包括：
获取待鉴别图像；
将所述待鉴别图像输入至当前时段的图像鉴伪模型，得到所述图像鉴伪模型输出的所述待鉴别图像的真伪；
所述图像鉴伪模型基于上述的图像鉴伪模型训练方法训练得到。
本发明还提供一种图像鉴伪模型训练装置，包括：
特征提取模块，用于获取当前时段的真伪图像样本，并基于目标特征提取器，对当前时段的真伪图像样本进行特征提取，得到当前时段的真伪图像特征；
分类训练模块，用于基于所述当前时段的前一历史时段的真伪图像特征分布参数，确定所述前一历史时段的真伪重建特征，并基于所述当前时段的真伪图像特征及所述当前时段的各历史时段的真伪重建特征，对所述当前时段的前一历史时段的图像分类器进行训练，得到目标图像分类器；
模型构建模块，用于基于所述目标特征提取器和所述目标图像分类器，构建当前时段的图像鉴伪模型；
其中，所述目标特征提取器基于起始历史时段的真伪图像样本，对级联的初始特征提取器和初始图像分类器进行预训练得到，所述前一历史时段的真伪图像特征分布参数基于所述目标特征提取器对所述前一历史时段的真伪图像样本进行特征提取得到的所述前一历史时段的真伪图像特征确定并保存。
本发明还提供一种图像鉴伪装置，包括：
图像获取模块，用于获取待鉴别图像；
图像鉴伪模块，用于将所述待鉴别图像输入至图像鉴伪模型，得到所述图像鉴伪模型输出的所述待鉴别图像的真伪；
所述图像鉴伪模型基于上述的图像鉴伪模型训练方法训练得到。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述任一种所述的图像鉴伪模型训练方法或图像鉴伪方法。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述的图像鉴伪模型训练方法或图像鉴伪方法。
本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述的图像鉴伪模型训练方法或图像鉴伪方法。
本发明提供的图像鉴伪模型训练方法、图像鉴伪方法、装置及电子设备，该训练方法首先获取当前时段的真伪图像样本，并基于目标特征提取器，对当前时段的真伪图像样本进行特征提取，得到当前时段的真伪图像特征；然后基于当前时段的前一历史时段的真伪图像特征分布参数，确定前一历史时段的真伪重建特征，并基于当前时段的真伪图像特征及当前时段的各历史时段的真伪重建特征，对当前时段的前一历史时段的图像分类器进行训练，得到目标图像分类器；最后基于目标特征提取器和目标图像分类器，构建当前时段的图像鉴伪模型。该方法通过图像鉴伪模型在不同时段的伪造类型的真伪图像样本上进行域增量学习，以提升图像鉴伪模型对新型伪造算法的快速适应能力，同时保持对原伪造图像的鉴别精度。而且，该方法在对当前时段的训练过程，只需要前一历史时段的真伪图像特征分布参数，利用其确定前一历史时段的真伪重建特征即可得到各历史时段的真伪重建特征，并不需要各历史时段的真伪图像特征，可以避免访问历史时段的真伪图像样本时可能造成的隐私泄露和数据安全问题，在不重复访问历史时段的真伪图像样本作为学习范例的情况下，仅通过历史时段的真伪图像特征分布参数就可以进行历史时段的真伪图像特征的恢复与重建，有利于隐私保护和信息安全。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的图像鉴伪模型训练方法的流程示意图；
图2是本发明提供的迭代构建当前时段的图像鉴伪模型的流程示意图；
图3是本发明提供的图像鉴伪模型训练方法中抗遗忘机制的原理示意图；
图4是本发明提供的图像鉴伪方法的流程示意图；
图5是本发明提供的图像鉴伪模型训练装置的结构示意图；
图6是本发明提供的图像鉴伪装置的结构示意图；
图7是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的说明书和权利要求书中的术语“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。
现有技术中，为精准甄别伪造人脸与真实人脸图像或视频，人脸鉴伪技术被广泛应用和研究。
根据伪造线索的来源不同，可划分为如下四类：
第一类，基于手工特征的方法。此类方法通常需要根据专家经验来获取对应的手工特征，如篡改过程中遗留的物理痕迹、无法复现的生理信号、生成对抗网络(GenerativeAdversarial Network，GAN)图像特性等。
第二类，基于空域特征的方法。此类方法通常以深度神经网络(Deep NeuralNetwork，DNN)为基础，在各种学习机制和策略的共同指导下进行人脸鉴伪。例如，可以利用多个小的卷积模块来捕捉微观图像的微观特征，还可以如鉴伪模型Capsule-forensics，采用DNN学习真伪人脸图像或视频帧的特征表示。此外，还可以利用基于多头注意力的鉴伪方法，一方面利用残差结构增强浅层的纹理特征以关注高频伪造线索，另一方面提出区域独立损失和注意力引导的数据增强机制使网络的多个注意力通道关注不同区域、不同类型的伪造线索。
得益于DNN强大的学习能力和迅猛的发展速度，此类方法已成为应用最广泛、影响最深远的鉴伪技术。
第三类，基于频域特征的方法。由于现有伪造方法在合成人脸的过程中都包含了上采样步骤，使得伪造图像和真实图像在频域内的表征出现明显差异。因此，可以通过挖掘频域特征来进行人脸鉴伪。例如，基于频域特征的人脸鉴伪网络F3-Net，利用频率感知分解模块和局部频率统计模块以同时获取全局和局部的频域鉴伪信息。还可以在确认真实人脸图像与伪造人脸图像的相位谱差异比幅度谱差异更明显之后，重点利用相位特征进行鉴伪。
第四类，基于时序特征的方法。此类方法主要用于视频级的人脸鉴伪。例如，利用视频帧的时间不连续性实现更通用的人脸鉴伪。还可以从多实例学习的角度，设计时空实例，用于刻画帧间一致性以辅助鉴伪。此外，也可以利用时空不一致学习模块，对伪造视频的时空不一致特征进行更细粒度地刻画，既在水平方向上进行卷积操作以提取帧间不一致，又在垂直方向上进行卷积运算以挖掘时间特征。
尽管上述四类方法在公开数据集内的表现出色，部分方法的鉴别准确率达到95％及以上。在实际应用过程中，由于数据依赖性，现有方法往往难以应对日新月异的伪造人脸。
终身学习是一个具有挑战性的长期研究课题。为了对抗遗忘，让DNN能够对不同时段内的数据实现平稳、连续地自适应，研究人员设计了多种应对方法。
根据知识保留和传递方式的不同，可大致分成如下三类：
第一类，基于重放的方法。其核心思想是：存储与旧任务相关的知识(如关键样本、特征分布、梯度信息和模型参数等)在学习新任务时对其进行重放，然后通过新旧知识的共同学习来提升模型应对连续信息流的能力。典型的工作有iCaRL、GEM和PASS等。此类方法能够最大程度地保留或恢复旧知识，所得模型的抗遗忘能力最强。
第二类，基于正则化的方法。通过引入正则项约束，对网络参数的更新方向和幅度进行限制。例如：当与旧任务相关度较高的重要参数发生变化时，为减轻遗忘，使用L2损失对该行为进行惩罚。其代表性工作有：LwF、EWC和MAS等。由于DNN的记忆空间有限，此类方法通常需要对保存的新旧知识做出取舍。
第三类，基于参数孤立的方法。这类方法的核心思想是“隔离+集成”，通过构建多分支结构的大模型，让每个任务都能被分配到专有的、不同的参数以进行独立训训练。
随着时间的推移，此类方法的各项成本越来越高，而运行效率越来越低，不利于实际应用。
目前，仅有少量工作将终身学习思想运用到人脸鉴伪领域。例如，可以基于知识蒸馏和表示学习，设计多阶段的“教师-学生”双网络交互机制，用于对新的伪造人脸图像和GAN生成图像进行连续域自适应。还可以用伪造人脸图像的频谱信息作为输入，然后基于4种经典的终身学习方法LwF、iCaRL、GDumb和MIR，在有限的训练数据上对网络参数进行更新，最终获得了泛化性良好、通用性强的鉴伪模型。这两个工作均把“终身学习”当作一种技术手段，其主要目的是提升人脸鉴伪模型在新域上的性能表现，而不考虑旧域的记忆问题，本质上等同于“迁移学习”或“领域自适应”。此外，还可以直接将目光聚焦到“持续人脸鉴伪”任务上，建立基准库(Continual Deepfake Detection Benchmark，CDDB)，并可以在三种不同难度的鉴伪场景下，对现有的类增量学习方法进行广泛地测评。
综上所述，尽管现有的人脸鉴伪方法在各开源数据库内表现良好，当处理未知或全新的伪造类型时，却泛化能力欠佳，甚至是彻底失效。随着人脸合成技术的发展，伪造人脸的种类不断增多，这种性能降质问题愈发明显。
由此，本发明实施例中提供了一种图像鉴伪模型训练方法，通过该方法训练得到的图像鉴伪模型既可以应用于对人脸图像进行真伪鉴别，也可以应用于对票务图像、证件图像等其他图像进行真伪鉴别。
图1为本发明实施例中提供的一种图像鉴伪模型训练方法的流程示意图，如图1所示，该方法包括：
S11，获取当前时段的真伪图像样本，并基于目标特征提取器，对当前时段的真伪图像样本进行特征提取，得到当前时段的真伪图像特征；
S12，基于所述当前时段的前一历史时段的真伪图像特征分布参数，确定所述前一历史时段的真伪重建特征，并基于所述当前时段的真伪图像特征及所述当前时段的各历史时段的真伪重建特征，对所述当前时段的前一历史时段的图像分类器进行训练，得到目标图像分类器；
S13，基于所述目标特征提取器和所述目标图像分类器，构建当前时段的图像鉴伪模型；
其中，所述目标特征提取器基于起始历史时段的真伪图像样本，对级联的初始特征提取器和初始图像分类器进行预训练得到，所述前一历史时段的真伪图像特征分布参数基于所述目标特征提取器对所述前一历史时段的真伪图像样本进行特征提取得到的所述前一历史时段的真伪图像特征确定并保存。
具体地，本发明实施例中提供的一种图像鉴伪模型训练方法，其执行主体为图像鉴伪模型训练装置，该装置可以配置于计算机内，该计算机可以为本地计算机或云计算机，本地计算机可以是电脑、平板等，此处不作具体限定。
首先执行步骤S11，获取当前时段的真伪图像样本。当前时段的真伪图像样本可以包括当前时段的真实图像样本和伪造图像样本。
由于各时段的伪造图像通常是按照一定时间顺序被陆续发布的，因此可将其视为随时间变化的数据流，可以开展分阶段的终身学习。记t时段的一批训练样本构成的训练样本集合Dt可以表示为其中Xt表示t时段的图像样本集合，/>表示t时段的图像样本集合中的第i个图像样本，Yt表示t时段的图像样本集合对应的类别标签集合，/>表示t时段的图像样本集合中的第i个图像样本的类别标签，N表示图像维度，Kt表示t时段的图像样本集合中的图像样本数量。
若P(Xt)表示Xt的概率分布，P(Yt)表示Yt的分布。根据输入序列的类型，可将终身学习划分成下列三种子学习方式：
1)任务增量学习：在该场景中，要求不同时段的样本属于不同的任务，即Yt≠Yt+1；而属于同一任务的所有样本处于同一时段内，且满足独立同分布假设。
2)类增量学习：在该场景中，要求不同时段的样本属于同一任务(例如图像分类)的不同类别，且类别标签不存在重叠，即P(Xt)≠P(Xt+1)，Yt＝Yt+1，P(Yt)≠P(Yt+1)。
3)域增量学习：在该场景中，要求不同时段的样本属于同一任务的同一类别，但样本的总体分布发生了偏移，独立同分布的假设被打破，即P(Xt)≠P(Xt+1)，Yt＝Yt+1，P(Yt)＝P(Yt+1)。
深入分析图像鉴伪任务的特性，可以获得两点发现：其一，对每个伪造图像而言，图像鉴伪任务的最终目标是实现对真伪二分类，满足域增量学习的要求“不同时段到达的样本属于同一任务的同一类别”；其二，受到图像合成算法更新换代的影响，不同时段发布的伪造图像所囊括的伪造类型往往不尽相同，导致其总体分布也存在一定的差异，满足域增量学习的要求“不同时段的样本不是独立同分布的”。
由此，本发明实施例中选择将图像鉴伪终身学习建模成域增量学习问题。以每个时段的真伪图像样本视作一个独立的域，在每个时段内均执行真伪二分类任务，类别标签可以标记为
本发明实施例中，真实图像样本的类别标签可以标记为0，伪造图像样本的类别标签可以标记为1。然后，按照一定顺序逐域地训练图像鉴伪模型。在此过程中，要求图像鉴伪模型既能够克服域漂移所引起的旧域遗忘，又能够继续向新域迁移，最终在每个伪造图像上都拥有良好的鉴伪表现，实现图像鉴伪模型的终身学习。
由此，先利用目标特征提取器，对当前时段的真伪图像样本进行特征提取，得到当前时段的真伪图像特征。当前时段的真伪图像样本包括当前时段的真实图像样本和伪造图像样本。
目标特征提取器可以通过起始历史时段的真伪图像样本，对级联的初始特征提取器和初始图像分类器进行预训练得到。起始历史时段的真伪图像样本包括起始历史时段的真实图像样本和伪造图像样本。
初始特征提取器用于通过一个嵌入函数将输入图像从像素空间一一映射到特征空间，提取输入图像的图像特征，初始图像分类器用于通过线性函数将图像特征转换为输入图像分别属于真实图像和伪造图像的概率，并选择概率取值高的一方作为该输入图像的分类结果，即利用图像特征判断输入图像的真伪。可以理解的是，该初始图像分类器为二分类器。
在利用起始历史时段的真伪图像样本，对级联的初始特征提取器和初始图像分类器进行预训练时，即将初始图像鉴伪模型在第一个域D1上进行预训练，可以分别将该时段的真实图像样本和伪造图像样本输入至初始特征提取器，得到真实图像特征和伪造图像特征，然后分别将真实图像特征和伪造图像特征输入至初始图像分类器，得到真实图像样本的分类结果和伪造图像样本的分类结果，最后利用真实图像样本的类别标签及分类结果、伪造图像样本的类别标签及分类结果，采用交叉熵损失函数计算分类损失，并利用分类损失对初始特征提取器和初始图像分类器的结构参数进行迭代优化，得到备选特征提取器和备选图像分类器。
此处，交叉熵损失函数为二元交叉熵损失函数，得到的备选特征提取器和备选图像分类器的结构参数可以表示为：
其中，Φ表示特征提取器，G表示分类器，上标1表示起始历史时段，ξ1和θ1分别表示特征提取器和分类器在起始历史时段可学习的结构参数，X1表示起始历史时段的图像样本集合，包括起始历史时段的真实图像样本和伪造图像样本，Y1表示X1对应的类别标签集合，表示X1的分类结果集合P1(X1)与类别标签集合Y1的二元交叉熵损失。/>表示备选特征提取器的结构参数，/>表示备选图像分类器的结构参数。且有：K1为起始历史时段的真伪图像样本总数。
级联的初始特征提取器和初始图像分类器经上述预训练过程可以分别得到备选特征提取器和备选图像分类器。其中，备选特征提取器作为目标特征提取器，且ξ为目标特征提取器的结构参数，目标特征提取器可以表示为Φ(ξ)。备选特征提取器则进行下一历史时段的迭代训练。
然后执行步骤S12，利用当前时段的前一历史时段的真伪图像特征分布参数，确定前一历史时段的真伪重建特征。当前时段的前一历史时段的真伪图像特征分布参数可以通过目标特征提取器对前一历史时段的真伪图像样本进行特征提取得到的前一历史时段的真伪图像特征确定并保存，因此在当前时段不再需要各历史时段的真伪图像特征，只需要在对应的历史时段，通过其真伪图像特征确定真伪图像特征分布参数并保存即可。
各历史时段的真伪图像特征分布参数均可以包括真实图像特征分布参数和伪造图像特征分布参数，真实图像特征分布参数可以包括均值和方差，该均值为所有真实图像特征的均值，该方差为所有真实图像特征的方差，伪造图像特征分布参数也可以包括均值和方差，该均值为所有伪造图像特征的均值，该方差为所有伪造图像特征的方差。
对于任一历史时段，可以先通过目标特征提取器对该任一历史时段的真实图像样本进行特征提取得到真实图像特征，然后对该真实图像特征进行统计分析，得到所有真实图像特征的均值和方差，即得到真实图像特征分布参数。同样地，可以先通过目标特征提取器对该任一历史时段的伪造图像样本进行特征提取得到伪造图像特征，然后对该伪造图像特征进行统计分析，得到所有伪造图像特征的均值和方差，即得到伪造图像特征分布参数。
时段t的真伪图像特征分布参数可以表示为：
其中，表示t时段第c类图像特征分布的均值，/>表示t时段第c类图像特征分布的方差，下标c表示类别标签标识，c＝0表示真实，c＝1表示伪造。/>表示t时段第c类图像样本总数，/>表示t时段第c类图像样本集合。
由于在不同类型的伪造图像之间存在公有或相似特征，有选择地保存每个域中最具区分性的特征，可以减少训练时的内存占用，提高数据利用率。基于此，本发明实施例中引入特征重建方案，得到各历史时段的真伪重建特征。
各历史时段的真伪重建特征均可以包括不同历史时段的真实重建特征和伪造重建特征，任一历史时段的真实重建特征均可以利用该任一历史时段的真实图像特征分布参数确定，同样地，任一历史时段的伪造重建特征均可以通过该任一历史时段的伪造图像特征分布参数确定。
各历史时段的真实重建特征和伪造重建特征的重建方法可以相同，均可以在其真实特征分布的均值和伪造特征分布的均值的邻域内进行采样得到，也可以先分别对其真实图像特征和伪造图像特征进行分布重建，然后在重建的分布中采样得到，此处不作具体限定。
在利用当前时段的真伪图像特征及当前时段的各历史时段的真伪重建特征，对当前时段的前一历史时段的图像分类器进行训练时，可以分别将当前时段的真伪图像特征及各历史时段的真伪重建特征输入至前一历史时段的图像分类器，得到前一历史时段的图像分类器输出的真伪图像特征对应的分类结果和真伪重建特征对应的分类结果，最后利用真伪图像特征对应的类别标签及分类结果、真伪重建特征对应的类别标签及分类结果，采用交叉熵损失函数计算分类损失，并利用分类损失对前一历史时段的图像分类器的结构参数进行迭代优化，得到当前时段的目标图像分类器。
利用当前时段的真伪图像特征及当前时段的各历史时段的真伪重建特征，对当前时段的前一历史时段的图像分类器进行训练，可以得到可同时适应当前时段以及各历史时段的公共分类界面。
最后执行步骤S13，利用目标特征提取器和目标图像分类器，构建当前时段的图像鉴伪模型。当前时段的图像鉴伪模型可以通过直接将目标特征提取器与目标图像分类器进行级联的方式得到。
可以理解的是，该图像鉴伪模型训练方法，是不断迭代的过程，若时段t为当前时段，时段t+1到达后，时段t则变为历史时段，此时需要继续通过该图像鉴伪模型训练方法训练得到时段t+1的图像鉴伪模型。由于特征提取器从不同伪造算法所合成的图像或视频中学习到的特征分布在同一个特征空间内往往是相交的。这就意味着，存在一个公共的特征空间Ω∈RM，在其内部可以找到一个分类面，同时把属于不同域的伪造图像与真实图像都区分开。其中，M为特征维度。由此，本发明实施例中使用预训练得到的备选特征提取器作为目标特征提取器，并通过目标特征提取器以及不断进化的图像分类器来搭建具备终身学习能力的图像鉴伪模型。
本发明实施例中，当前时段的前一历史时段的真伪图像特征分布参数的计算、前一历史时段的真伪重建特征的确定以及理由当前时段的真伪图像特征及当前时段的各历史时段的真伪重建特征，对当前时段的前一历史时段的图像分类器进行训练，这三个步骤共同构成了抗遗忘机制。通过引入该抗遗忘机制，能够让图像鉴伪模型在无范例场景下实现对各时段的伪造图像的共同良好适应。
本发明实施例中提供的图像鉴伪模型训练方法，首先获取当前时段的真伪图像样本，并基于目标特征提取器，对当前时段的真伪图像样本进行特征提取，得到当前时段的真伪图像特征；然后基于当前时段的前一历史时段的真伪图像特征分布参数，确定前一历史时段的真伪重建特征，并基于当前时段的真伪图像特征及当前时段的各历史时段的真伪重建特征，对当前时段的前一历史时段的图像分类器进行训练，得到目标图像分类器；最后基于目标特征提取器和目标图像分类器，构建当前时段的图像鉴伪模型。该方法通过图像鉴伪模型在不同时段的伪造类型的真伪图像样本上进行域增量学习，以提升图像鉴伪模型对新型伪造算法的快速适应能力，同时保持对原伪造图像的鉴别精度。而且，该方法在对当前时段的训练过程，只需要前一历史时段的真伪图像特征分布参数，利用其确定前一历史时段的真伪重建特征即可得到各历史时段的真伪重建特征，并不需要各历史时段的真伪图像特征，可以避免访问历史时段的真伪图像样本时可能造成的隐私泄露和数据安全问题，在不重复访问历史时段的真伪图像样本作为学习范例的情况下，仅通过历史时段的真伪图像特征分布参数就可以进行历史时段的真伪图像特征的恢复与重建，有利于隐私保护和信息安全。
在上述实施例的基础上，所述基于所述当前时段的前一历史时段的真伪图像特征分布参数，确定所述前一历史时段的真伪重建特征，包括：
基于标准高斯分布，确定随机噪声；
基于真伪尺度因子以及所述随机噪声，对所述前一历史时段的真伪图像特征分布的均值进行扰动，得到所述前一历史时段的真伪重建特征。
具体地，本发明实施例中，在确定前一历史时段的真实重建特征和伪造重建特征时，可以先利用标准高斯分布，确定随机噪声。标准高斯分布可以表示为对标准高斯分布进行随机采样，即可得到随机噪声。此后，可以利用真伪尺度因子结合随机噪声，对前一历史时段的真伪图像特征分布的均值进行扰动。扰动的方式可以是基于真伪尺度因子以及随机噪声，确定扰动量，然后将扰动量添加到前一历史时段的真伪图像特征分布的均值上。
对于t时段来说，t时段的真伪重建特征可以表示为：
其中，为t时段第c类重建特征，/>为t时段第c类图像特征分布的均值，Δt为t时段的扰动量，a∈RM为随机噪声，其维度与图像特征维度相同。/>为t时段第c类尺度因子，用于控制重建特征与图像特征的偏离程度，可以根据经验来确定其取值。
由于扰动量取值较小，则t时段第c类重建特征会落在t时段第c类图像特征分布的均值的周围，因此可以认为t时段第c类重建特征对应的类别标签依然是第c类。
本发明实施例中，通过引入随机噪声与真伪尺度因子对前一历史时段的真伪图像分布的均值进行扰动，可以使得到的前一历史时段的真伪重建特征可以保留该前一历史时段的图像类别属性。
在上述实施例的基础上，所述真伪尺度因子基于所述起始历史时段的真伪图像特征协方差以及图像特征维度计算得到。
具体地，t时段的真伪尺度因子可以定义为t时段的真伪图像特征分布的平均方差，即通过t时段的真伪图像特征协方差以及图像特征维度计算得到。有：
其中，为t时段第c类图像特征分布，其为矩阵形式。Cov(·)函数表示t时段第c类特征图像的协方差，其为矩阵形式。Tr(·)函数表示求矩阵的迹。M为图像特征维度。
由于不同时段的变化幅度很小。因此，本发明实施例中各时段的/>均采用基于第一个域D1计算所得数值，即/>也就是说，各时段的真实尺度因子都利用起始历史时段的真实图像特征协方差以及图像特征维度计算得到，各时段的伪造尺度因子都利用起始历史时段的伪造图像特征协方差以及图像特征维度计算得到。
本发明实施例中，由于真伪尺度因子是利用起始历史时段的真伪图像特征协方差以及图像特征维度计算得到，只需要计算一次即可，并不需要重复计算，可以大大降低计算量，提高模型训练效率。
在上述实施例的基础上，所述基于所述当前时段的前一历史时段的真伪图像特征分布参数，确定所述前一历史时段的真伪重建特征，还包括：
基于所述前一历史时段的真伪图像特征分布的均值和方差，确定所述前一历史时段的真伪图像特征的高斯分布；
从所述前一历史时段的真伪图像特征的高斯分布中采样得到所述前一历史时段的真伪重建特征。
具体地，在确定前一历史时段的真伪重建特征时，还可以先利用前一历史时段的真伪图像特征分布的均值和方差，确定前一历史时段的真伪图像特征的高斯分布。即假定在特征空间中，各时段的真伪图像特征均服从单峰高斯分布，即：其中，/>表示t时段真实图像特征分布，/>表示t时段伪造图像特征分布，/>分别表示t时段真实图像特征服从高斯分布时的均值和方差，分别表示t时段伪造图像特征服从高斯分布时的均值和方差。
由此，在已知前一历史时段的真伪图像特征分布的均值和方差的情况下，可以直接利用前一历史时段的真伪图像特征分布的均值和方差重新建模得到前一历史时段的真伪图像特征服从的高斯分布。
此后，可以从前一历史时段的真伪图像特征的高斯分布中采样得到前一历史时段的真伪重建特征，即可以从前一历史时段的真实图像特征的高斯分布中采样得到前一历史时段的真实重建特征，该真实重建特征对应的类别标签即为真实；从前一历史时段的伪造图像特征的高斯分布中采样得到前一历史时段的伪造重建特征，该伪造重建特征对应的类别标签即为伪造。
本发明实施例中，通过对真伪图像特征进行分布重建，得到对应的高斯分布，进而通过对高斯分布进行采样得到真伪重建特征，可以使得到的真伪重建特征更加与对应时段匹配，可以提高真伪重建特征的准确性，进而提升图像鉴伪模型的性能。
在上述实施例的基础上，所述基于所述当前时段的真伪图像特征及所述当前时段的各历史时段的真伪重建特征，对所述当前时段的前一历史时段的图像分类器进行训练，得到目标图像分类器，包括：
将所述当前时段的真伪图像特征及所述当前时段的各历史时段的真伪重建特征分别输入至所述前一历史时段的图像分类器，得到所述前一历史时段的图像分类器输出的分类结果；
基于所述当前时段的各历史时段的真伪重建特征对应的类别标签和分类结果，以及所述当前时段的真伪图像特征对应的类别标签和分类结果，计算分类器损失，并基于所述分类器损失，对所述前一历史时段的图像分类器的结构参数进行迭代优化，得到所述目标图像分类器。
具体地，在对前一历史时段的图像分类器的结构参数进行迭代优化，得到目标图像分类器的过程中，可以先将当前时段的真伪图像特征及当前时段的各历史时段的真伪重建特征分别输入至前一历史时段的图像分类器，得到前一历史时段的图像分类器输出的分类结果。前一历史时段的图像分类器输出的分类结果可以包括当前时段的各历史时段的真伪重建特征对应的分类结果以及当前时段的真伪图像特征对应的分类结果。
例如当前时段的各历史时段的真伪重建特征分布可以表示为表示i(i∈[1,t-1])时段的真实重建特征分布和伪造重建特征分布的集合，对应的类别标签表示为/>表示i时段的真实重建特征对应的类别标签和伪造重建特征对应的类别标签的集合。当前时段的真伪图像特征表示为Φ(Xt；ξ)，对应的类别标签表示为Yt。
由此，当前时段的真伪图像特征对应的分类结果可以表示为：G(Φ(Xt；ξ)；θt)，当前时段的各历史时段的真伪重建特征对应的分类结果可以表示为：
因此，利用当前时段的各历史时段的真伪重建特征对应的类别标签和分类结果，以及当前时段的真伪图像特征对应的类别标签和分类结果，计算分类器损失。该分类器损失按时段可以分为第一损失和第二损失，该第一损失可以通过当前时段的各历史时段的真伪重建特征对应的类别标签及分类结果计算得到，该第二损失可以通过当前时段的真伪图像特征对应的类别标签及分类结果计算得到，通过对第一损失和第二损失进行加权求和，即可确定分类器损失。
本发明实施例中，分类器损失可以表示为：
其中，表示分类器损失，/>为第一损失，为第二损失，λ1和λ2分别表示第一损失和第二损失的权重系数，用于调节历史时段的真伪重建特征与当前时段的真伪图像特征的投入比例，防止模型在多时段上的性能表现发生失衡。
此后，利用分类器损失，可以对前一历史时段的图像分类器的结构参数进行迭代优化，即可得到当前时段的目标图像分类器。
图2给出了迭代构建当前时段的图像鉴伪模型的流程示意图，如图2所示，每个时段对应有一个数据集，例如第一个时段对应有数据集1，第二个时段对应有数据集2，……，第i个时段对应有数据集i，……，第M个时段对应有数据集M。数据集1可以包括第一个时段的真伪图像样本，用于对级联的初始特征提取器和初始图像分类器进行预训练，计算并保存第一个时段的真伪图像特征分布参数，同时将预训练得到的备选特征提取器作为目标特征提取器。
除数据集1之外的每个数据集均包括对应时段的真伪图像样本，还包括前一数据集中真伪图像样本对应的真伪重建特征，通过每个数据集可以训练对应时段的前一时段的图像分类器，计算并保存当前时段的真伪图像特征分布参数。
图3给出了抗遗忘机制的原理，如图3所示，t时段的真伪图像样本可以构成t时段的初始数据集初始数据集中的各真伪图像样本经目标特征提取器分别得到t时段的真实图像特征/>和伪造图像特征/>结合前t-1个时段的真实重建特征/>和伪造重建特征/>对t-1时段的图像分类器进行训练，得到t时段的目标图像分类器。
如图4所示，在上述实施例的基础上，本发明实施例中还提供了一种图像鉴伪方法，该方法包括：
S21，获取待鉴别图像；
S22，将所述待鉴别图像输入至当前时段的图像鉴伪模型，得到所述图像鉴伪模型输出的所述待鉴别图像的真伪；
所述图像鉴伪模型基于上述各实施例中提供的图像鉴伪模型训练方法训练得到。
具体地，本发明实施例中提供的图像鉴伪方法，其执行主体为图像鉴伪装置，该装置可以配置于计算机内，该计算机可以为本地计算机或云计算机，本地计算机可以是电脑、平板等，此处不作具体限定。
首先执行步骤S21，获取待鉴别图像。该待鉴别图像是指需要判断其是真实图像或伪造图像的图像，可以是待鉴别人脸图像。
然后执行步骤S22，将待鉴别图像输入至当前时段的图像鉴伪模型，得到图像鉴伪模型输出的待鉴别图像的真伪。该图像鉴伪模型中可以包括目标特征提取器和目标图像分类器，目标特征提取器可以用于提取待鉴别图像的图像特征，目标图像分类器可以用于利用图像特征判断待鉴别图像是真实图像还是伪造图像。
可以理解的是，该图像鉴伪模型基于上述各实施例中提供的图像鉴伪模型训练方法训练得到，具体训练过程参见上述各实施例，此处不作具体限定。
本发明实施例中提供的图像鉴伪方法，首先获取待鉴别图像；然后将待鉴别图像输入至当前时段的图像鉴伪模型，得到图像鉴伪模型输出的待鉴别图像的真伪。该方法利用了通过上述各实施例中提供的图像鉴伪模型训练方法训练得到的当前时段的图像鉴伪模型，可以保证鉴伪结果的准确性。
如图5所示，在上述实施例的基础上，本发明实施例中还提供了一种图像鉴伪模型训练装置，该装置包括：
特征提取模块51，用于获取当前时段的真伪图像样本，并基于目标特征提取器，对当前时段的真伪图像样本进行特征提取，得到当前时段的真伪图像特征；
分类训练模块52，用于基于所述当前时段的前一历史时段的真伪图像特征分布参数，确定所述前一历史时段的真伪重建特征，并基于所述当前时段的真伪图像特征及所述当前时段的各历史时段的真伪重建特征，对所述当前时段的前一历史时段的图像分类器进行训练，得到目标图像分类器；
模型构建模块53，用于基于所述目标特征提取器和所述目标图像分类器，构建当前时段的图像鉴伪模型；
其中，所述目标特征提取器基于起始历史时段的真伪图像样本，对级联的初始特征提取器和初始图像分类器进行预训练得到，所述前一历史时段的真伪图像特征分布参数基于所述目标特征提取器对所述前一历史时段的真伪图像样本进行特征提取得到的所述前一历史时段的真伪图像特征确定并保存。
在上述实施例的基础上，本发明实施例中提供的图像鉴伪模型训练装置，所述分类训练模块，具体用于：
基于标准高斯分布，确定随机噪声；
基于真伪尺度因子以及所述随机噪声，对所述前一历史时段的真伪图像特征分布的均值进行扰动，得到所述前一历史时段的真伪重建特征。
在上述实施例的基础上，本发明实施例中提供的图像鉴伪模型训练装置，所述真伪尺度因子基于所述起始历史时段的真伪图像特征协方差以及图像特征维度计算得到。
在上述实施例的基础上，本发明实施例中提供的图像鉴伪模型训练装置，所述分类训练模块，还具体用于：
基于所述前一历史时段的真伪图像特征的均值和方差，确定所述前一历史时段的真伪图像特征的高斯分布；
从所述前一历史时段的真伪图像特征的高斯分布中采样得到所述前一历史时段的真伪重建特征。
在上述实施例的基础上，本发明实施例中提供的图像鉴伪模型训练装置，所述分类训练模块，还具体用于：
将所述当前时段的真伪图像特征及所述当前时段的各历史时段的真伪重建特征分别输入至所述前一历史时段的图像分类器，得到所述前一历史时段的图像分类器输出的分类结果；
基于所述当前时段的各历史时段的真伪重建特征对应的类别标签和分类结果，以及所述当前时段的真伪图像特征对应的类别标签和分类结果，计算分类器损失，并基于所述分类器损失，对所述前一历史时段的图像分类器的结构参数进行迭代优化，得到所述目标图像分类器。
在上述实施例的基础上，本发明实施例中提供的图像鉴伪模型训练装置，所述分类训练模块，还具体用于：
基于所述当前时段的各历史时段的真伪重建特征对应的类别标签及分类结果，计算第一损失，并基于所述当前时段的真伪图像特征对应的类别标签及分类结果，计算第二损失；
对所述第一损失和所述第二损失进行加权求和，确定所述分类器损失。
具体地，本发明实施例中提供的图像鉴伪模型训练装置中各模块的作用与上述方法类实施例中各步骤的操作流程是一一对应的，实现的效果也是一致的，具体参见上述实施例，本发明实施例中对此不再赘述。
如图6所示，在上述实施例的基础上，本发明实施例中还提供了一种图像鉴伪装置，该装置包括：
图像获取模块61，用于获取待鉴别图像；
图像鉴伪模块62，用于将所述待鉴别图像输入至图像鉴伪模型，得到所述图像鉴伪模型输出的所述待鉴别图像的真伪；
所述图像鉴伪模型基于上述实施例中提供的图像鉴伪模型训练方法训练得到。
具体地，本发明实施例中提供的图像鉴伪装置中各模块的作用与上述方法类实施例中各步骤的操作流程是一一对应的，实现的效果也是一致的，具体参见上述实施例，本发明实施例中对此不再赘述。
图7示例了一种电子设备的实体结构示意图，如图7所示，该电子设备可以包括：处理器(Processor)710、通信接口(Communications Interface)720、存储器(Memory)730和通信总线740，其中，处理器710，通信接口720，存储器730通过通信总线740完成相互间的通信。处理器710可以调用存储器730中的逻辑指令，以执行上述各实施例中提供的图像鉴伪模型训练方法或图像鉴伪方法。
此外，上述的存储器730中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各实施例中提供的图像鉴伪模型训练方法或图像鉴伪方法。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例中提供的图像鉴伪模型训练方法或图像鉴伪方法。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种图像鉴伪模型训练方法，其特征在于，包括：
获取当前时段的真伪图像样本，并基于目标特征提取器，对当前时段的真伪图像样本进行特征提取，得到当前时段的真伪图像特征；
基于所述当前时段的前一历史时段的真伪图像特征分布参数，确定所述前一历史时段的真伪重建特征，并基于所述当前时段的真伪图像特征及所述当前时段的各历史时段的真伪重建特征，对所述当前时段的前一历史时段的图像分类器进行训练，得到目标图像分类器；
基于所述目标特征提取器和所述目标图像分类器，构建当前时段的图像鉴伪模型；
其中，所述目标特征提取器基于起始历史时段的真伪图像样本，对级联的初始特征提取器和初始图像分类器进行预训练得到，所述前一历史时段的真伪图像特征分布参数基于所述目标特征提取器对所述前一历史时段的真伪图像样本进行特征提取得到的所述前一历史时段的真伪图像特征确定并保存。
2.根据权利要求1所述的图像鉴伪模型训练方法，其特征在于，所述基于所述当前时段的前一历史时段的真伪图像特征分布参数，确定所述前一历史时段的真伪重建特征，包括：
基于标准高斯分布，确定随机噪声；
基于真伪尺度因子以及所述随机噪声，对所述前一历史时段的真伪图像特征分布的均值进行扰动，得到所述前一历史时段的真伪重建特征。
3.根据权利要求2所述的图像鉴伪模型训练方法，其特征在于，所述真伪尺度因子基于所述起始历史时段的真伪图像特征协方差以及图像特征维度计算得到。
4.根据权利要求1所述的图像鉴伪模型训练方法，其特征在于，所述基于所述当前时段的前一历史时段的真伪图像特征分布参数，确定所述前一历史时段的真伪重建特征，还包括：
基于所述前一历史时段的真伪图像特征的均值和方差，确定所述前一历史时段的真伪图像特征的高斯分布；
从所述前一历史时段的真伪图像特征的高斯分布中采样得到所述前一历史时段的真伪重建特征。
5.根据权利要求1-4中任一项所述的图像鉴伪模型训练方法，其特征在于，所述基于所述当前时段的真伪图像特征及所述当前时段的各历史时段的真伪重建特征，对所述当前时段的前一历史时段的图像分类器进行训练，得到目标图像分类器，包括：
将所述当前时段的真伪图像特征及所述当前时段的各历史时段的真伪重建特征分别输入至所述前一历史时段的图像分类器，得到所述前一历史时段的图像分类器输出的分类结果；
基于所述当前时段的各历史时段的真伪重建特征对应的类别标签和分类结果，以及所述当前时段的真伪图像特征对应的类别标签和分类结果，计算分类器损失，并基于所述分类器损失，对所述前一历史时段的图像分类器的结构参数进行迭代优化，得到所述目标图像分类器。
6.根据权利要求5所述的图像鉴伪模型训练方法，其特征在于，所述基于所述当前时段的各历史时段的真伪重建特征对应的类别标签和分类结果，以及所述当前时段的真伪图像特征对应的类别标签和分类结果，计算分类器损失，包括：
基于所述当前时段的各历史时段的真伪重建特征对应的类别标签及分类结果，计算第一损失，并基于所述当前时段的真伪图像特征对应的类别标签及分类结果，计算第二损失；
对所述第一损失和所述第二损失进行加权求和，确定所述分类器损失。
7.一种图像鉴伪方法，其特征在于，包括：
获取待鉴别图像；
将所述待鉴别图像输入至当前时段的图像鉴伪模型，得到所述图像鉴伪模型输出的所述待鉴别图像的真伪；
所述图像鉴伪模型基于如权利要求1-6中任一项所述的图像鉴伪模型训练方法训练得到。
8.一种图像鉴伪模型训练装置，其特征在于，包括：
特征提取模块，用于获取当前时段的真伪图像样本，并基于目标特征提取器，对当前时段的真伪图像样本进行特征提取，得到当前时段的真伪图像特征；
分类训练模块，用于基于所述当前时段的前一历史时段的真伪图像特征分布参数，确定所述前一历史时段的真伪重建特征，并基于所述当前时段的真伪图像特征及所述当前时段的各历史时段的真伪重建特征，对所述当前时段的前一历史时段的图像分类器进行训练，得到目标图像分类器；
模型构建模块，用于基于所述目标特征提取器和所述目标图像分类器，构建当前时段的图像鉴伪模型；
其中，所述目标特征提取器基于起始历史时段的真伪图像样本，对级联的初始特征提取器和初始图像分类器进行预训练得到，所述前一历史时段的真伪图像特征分布参数基于所述目标特征提取器对所述前一历史时段的真伪图像样本进行特征提取得到的所述前一历史时段的真伪图像特征确定并保存。
9.一种图像鉴伪装置，其特征在于，包括：
图像获取模块，用于获取待鉴别图像；
图像鉴伪模块，用于将所述待鉴别图像输入至图像鉴伪模型，得到所述图像鉴伪模型输出的所述待鉴别图像的真伪；
所述图像鉴伪模型基于如权利要求1-6中任一项所述的图像鉴伪模型训练方法训练得到。
10.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-6中任一项所述的图像鉴伪模型训练方法，或如权利要求7所述的图像鉴伪方法。
CN202311126138.1A 2023-09-01 2023-09-01 图像鉴伪模型训练方法、图像鉴伪方法、装置及电子设备 Active CN117133039B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311126138.1A CN117133039B (zh) 2023-09-01 2023-09-01 图像鉴伪模型训练方法、图像鉴伪方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311126138.1A CN117133039B (zh) 2023-09-01 2023-09-01 图像鉴伪模型训练方法、图像鉴伪方法、装置及电子设备

Publications (2)

Publication Number Publication Date
CN117133039A true CN117133039A (zh) 2023-11-28
CN117133039B CN117133039B (zh) 2024-03-15

Family

ID=88850660

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311126138.1A Active CN117133039B (zh) 2023-09-01 2023-09-01 图像鉴伪模型训练方法、图像鉴伪方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN117133039B (zh)

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104866869A (zh) * 2015-05-29 2015-08-26 武汉大学 基于分布差异与增量学习的时序sar图像分类方法
CN106776534A (zh) * 2016-11-11 2017-05-31 北京工商大学 词向量模型的增量式学习方法
CN107292269A (zh) * 2017-06-23 2017-10-24 中国科学院自动化研究所 基于透视失真特性的人脸图像鉴伪方法、存储、处理设备
CN111767992A (zh) * 2020-06-29 2020-10-13 西安宏规电子科技有限公司 一种基于卷积神经网络的双目标增量学习方法
US20210150345A1 (en) * 2019-11-14 2021-05-20 Qualcomm Incorporated Conditional Computation For Continual Learning
WO2021151313A1 (zh) * 2020-07-30 2021-08-05 平安科技（深圳）有限公司 证件鉴伪方法、装置、电子设备及存储介质
CN113449878A (zh) * 2021-06-24 2021-09-28 西安交通大学 数据分布式的增量学习方法、系统、设备及存储介质
WO2022073414A1 (zh) * 2020-10-09 2022-04-14 腾讯科技（深圳）有限公司 图像识别的方法、装置、计算设备和计算机可读存储介质
CN114495245A (zh) * 2022-04-08 2022-05-13 北京中科闻歌科技股份有限公司 人脸伪造图像鉴别方法、装置、设备以及介质
WO2022161286A1 (zh) * 2021-01-28 2022-08-04 腾讯科技（深圳）有限公司 图像检测方法、模型训练方法、设备、介质及程序产品
CN114913408A (zh) * 2022-05-07 2022-08-16 北京影数科技有限公司 一种基于深度学习的图像鉴伪方法及系统
CN115439878A (zh) * 2022-07-26 2022-12-06 中国科学院自动化研究所 目标重识别模型抗遗忘训练方法、目标重识别方法及装置
CN116128073A (zh) * 2023-02-23 2023-05-16 国网新疆电力有限公司信息通信公司 基于域增量学习的模型调优方法、装置、设备及存储介质
CN116310754A (zh) * 2023-02-16 2023-06-23 中国科学院计算技术研究所 检测伪造人脸图像视频的增量学习方法及系统

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104866869A (zh) * 2015-05-29 2015-08-26 武汉大学 基于分布差异与增量学习的时序sar图像分类方法
CN106776534A (zh) * 2016-11-11 2017-05-31 北京工商大学 词向量模型的增量式学习方法
CN107292269A (zh) * 2017-06-23 2017-10-24 中国科学院自动化研究所 基于透视失真特性的人脸图像鉴伪方法、存储、处理设备
US20210150345A1 (en) * 2019-11-14 2021-05-20 Qualcomm Incorporated Conditional Computation For Continual Learning
CN111767992A (zh) * 2020-06-29 2020-10-13 西安宏规电子科技有限公司 一种基于卷积神经网络的双目标增量学习方法
WO2021151313A1 (zh) * 2020-07-30 2021-08-05 平安科技（深圳）有限公司 证件鉴伪方法、装置、电子设备及存储介质
WO2022073414A1 (zh) * 2020-10-09 2022-04-14 腾讯科技（深圳）有限公司 图像识别的方法、装置、计算设备和计算机可读存储介质
WO2022161286A1 (zh) * 2021-01-28 2022-08-04 腾讯科技（深圳）有限公司 图像检测方法、模型训练方法、设备、介质及程序产品
CN113449878A (zh) * 2021-06-24 2021-09-28 西安交通大学 数据分布式的增量学习方法、系统、设备及存储介质
CN114495245A (zh) * 2022-04-08 2022-05-13 北京中科闻歌科技股份有限公司 人脸伪造图像鉴别方法、装置、设备以及介质
CN114913408A (zh) * 2022-05-07 2022-08-16 北京影数科技有限公司 一种基于深度学习的图像鉴伪方法及系统
CN115439878A (zh) * 2022-07-26 2022-12-06 中国科学院自动化研究所 目标重识别模型抗遗忘训练方法、目标重识别方法及装置
CN116310754A (zh) * 2023-02-16 2023-06-23 中国科学院计算技术研究所 检测伪造人脸图像视频的增量学习方法及系统
CN116128073A (zh) * 2023-02-23 2023-05-16 国网新疆电力有限公司信息通信公司 基于域增量学习的模型调优方法、装置、设备及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
WEI WANG ET AL.: "Exploring Adversarial Fake Images on Face Manifold", 《HTTPS://ARXIV.ORG/ABS/2101.03272》 *
YI DAI ET AL.: "Domain Incremental Lifelong Learning in an Open World", 《HTTPS://ARXIV.ORG/ABS/2305.06555》 *

Also Published As

Publication number Publication date
CN117133039B (zh) 2024-03-15

Similar Documents

Publication Publication Date Title
Qian et al. Thinking in frequency: Face forgery detection by mining frequency-aware clues
Zhang Deepfake generation and detection, a survey
Asnani et al. Reverse engineering of generative models: Inferring model hyperparameters from generated images
Chen et al. Automated design of neural network architectures with reinforcement learning for detection of global manipulations
KR20180038169A (ko) 딥 러닝 기반의 데이터특징을 이용한 도시영상의 안전도 분류방법
Ganguly et al. Visual attention-based deepfake video forgery detection
Chen et al. Identifying tampering operations in image operator chains based on decision fusion
CN111368911A (zh) 一种图像分类方法、装置和计算机可读存储介质
Kiruthika et al. Image quality assessment based fake face detection
CN112749686B (zh) 图像检测方法、装置、计算机设备及存储介质
Sun et al. Deepfake Detection Method Based on Cross‐Domain Fusion
CN117133039B (zh) 图像鉴伪模型训练方法、图像鉴伪方法、装置及电子设备
Wei et al. Auto-generating neural networks with reinforcement learning for multi-purpose image forensics
Alkishri et al. Evaluating the Effectiveness of a Gan Fingerprint Removal Approach in Fooling Deepfake Face Detection
CN112232378A (zh) 面向fMRI视觉分类的零次学习方法
Tyrrell et al. Algorithm-performance personas ‘for Siamese meta-learning and automated algorithm selection
Huda et al. Fake-checker: A fusion of texture features and deep learning for deepfakes detection
Carbonnelle et al. Discovering the mechanics of hidden neurons
Ugale et al. Image Splicing Forgery Detection Model Using Hybrid Boosting Machine
Shmatok et al. Finding the Fact of Transfer of the Embedded Information on the Basis of Statistical Methods of Pattern Recognition and Machine Learning
Liu et al. Disentangling different levels of GAN fingerprints for task-specific forensics
Rajesh et al. Hybrid Model for Deepfake Detection
US11973785B1 (en) Two-tier cybersecurity method
Kim et al. Crime Scene Detection in Surveillance Videos Using Variational AutoEncoder-Based Support Vector Data Description
CN114372559B (zh) 一种基于鲁棒软标签的深度适应网络的构建方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant