CN116630727B - 模型训练方法、深伪图像检测方法、装置、设备及介质 - Google Patents

模型训练方法、深伪图像检测方法、装置、设备及介质 Download PDF

Info

Publication number
CN116630727B
CN116630727B CN202310922307.6A CN202310922307A CN116630727B CN 116630727 B CN116630727 B CN 116630727B CN 202310922307 A CN202310922307 A CN 202310922307A CN 116630727 B CN116630727 B CN 116630727B
Authority
CN
China
Prior art keywords
image
sample
loss value
training
clustering
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310922307.6A
Other languages
English (en)
Other versions
CN116630727A (zh
Inventor
崔星辰
史宏志
温东超
赵健
张英杰
葛沅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Inspur Intelligent Technology Co Ltd
Original Assignee
Suzhou Inspur Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Inspur Intelligent Technology Co Ltd filed Critical Suzhou Inspur Intelligent Technology Co Ltd
Priority to CN202310922307.6A priority Critical patent/CN116630727B/zh
Publication of CN116630727A publication Critical patent/CN116630727A/zh
Application granted granted Critical
Publication of CN116630727B publication Critical patent/CN116630727B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0475—Generative networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/094—Adversarial learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G06V10/763—Non-hierarchical techniques, e.g. based on statistics of modelling distributions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种模型训练方法、深伪图像检测方法、装置、设备及介质，属于图像处理技术领域。该方法包括：将图像样本集输入至深伪图像检测模型得到训练图像集的图像来源聚类结果以及测试图像集中任一测试图像样本的图像来源分类结果；根据所述图像来源聚类结果得到第一预测损失值，根据所述图像来源分类结果以及图像来源标签得到第二预测损失值，根据所述第一预测损失值以及所述第二预测损失值得到总预测损失值；根据所述总预测损失值对所述深伪图像检测模型的参数进行修正。本发明提供的模型训练方法、深伪图像检测方法、装置、设备及介质，能够通过训练好的模型识别出图像中的GAN指纹信息，并对其分类，可以有效的深度伪造图像进行溯源。

Description

模型训练方法、深伪图像检测方法、装置、设备及介质
技术领域
本发明涉及图像处理技术领域，尤其涉及一种模型训练方法、深伪图像检测方法、装置、设备及介质。
背景技术
随着计算机技术的发展，通过生成对抗网络（Generative Adversarial Network，GAN）进行篡改或合成图像变得越来越容易，通过这种方式获得的图像被称作深度伪造图像。
应对上述问题，深度伪造图像的检测和溯源的技术应运而生。一类技术通过识别GAN网络生成的图像中存在的人眼无法察觉的生成对抗网络的固有属性特征（这类特征通常被称作“GAN指纹”），来判断待检测图像是否为深度伪造图像，但是这类技术无法检测出GAN网络所传递的隐性属性特征。另一类技术是预先通过隐写技术人为的在GAN网络训练集中添加信息，由于GAN网络具有传递性，因此该添加的信息也会出现在GAN网络生成的图像中，最后再通过检测生成图像中是否有这些信息，来达到检测深伪图像的目的，但是这类技术只能检测出GAN网络已知的一些属性特征，尤其是对于未知的隐性属性特征检测难度更大。可见，现有技术对于深伪图像的识别效率和精度均较为低下。
发明内容
本发明提供一种模型训练方法、深伪图像检测方法、装置、设备及介质，用以解决现有技术中对于深伪图像的识别效率和精度均较为低下的缺陷。
本发明提供一种模型训练方法，包括：
将图像样本集输入至深伪图像检测模型得到训练图像集的图像来源聚类结果以及测试图像集中任一测试图像样本的图像来源分类结果；其中，所述图像样本集包括训练图像集和测试图像集；任一图像集根据图像来源分类可被划分为真实图像样本和各种生成对抗网络所生成的伪造图像样本；
根据所述图像来源聚类结果得到第一预测损失值，根据所述图像来源分类结果以及图像来源标签得到第二预测损失值，根据所述第一预测损失值以及所述第二预测损失值得到总预测损失值；
根据所述总预测损失值对所述深伪图像检测模型的参数进行修正；
其中，所述深伪图像检测模型包括聚类模块和分类模块；所述将图像样本集输入至深伪图像检测模型得到训练图像集的图像来源聚类结果以及测试图像集中任一测试图像样本的图像来源分类结果，包括：
通过所述深伪图像检测模型的聚类模块从所述训练图像集中的每一训练图像样本提取出与图像内容无关的第一隐性特征向量样本，对多组所述第一隐性特征向量样本进行聚类，得到所述图像来源聚类结果；
通过所述深伪图像检测模型的分类模块对任一测试图像样本的第二隐性特征向量样本进行图像来源的预测，得到所述图像来源分类结果；
其中，所述图像来源标签是对所述测试图像样本标注出的图像来源。
根据本发明提供的一种模型训练方法，所述第一预测损失值为第三预测损失值和第四预测损失值之间的加和；
相应地，所述通过所述深伪图像检测模型的聚类模块从所述训练图像集中的每一训练图像样本提取出与图像内容无关的第一隐性特征向量样本，对多组所述第一隐性特征向量样本进行聚类，得到所述图像来源聚类结果，包括：
将所述训练图像集中的每一训练图像样本输入至所述聚类模块中的编码层，得到所述编码层输出的所述第一隐性特征向量样本后，根据所述第一隐性特征向量样本得到所述第三预测损失值；
将多组所述第一隐性特征向量样本输入至所述聚类模块中的聚类层，得到所述聚类层输出的所述图像来源聚类结果后，根据所述图像来源聚类结果以及图像来源类别标签得到所述第四预测损失值；
其中，所述图像来源类别标签是所述训练图像样本隶属于各种图像来源类别的概率所标注出的。
根据本发明提供的一种模型训练方法，所述将所述训练图像集中的每一训练图像样本输入至所述聚类模块中的编码层，得到所述编码层输出的所述第一隐性特征向量样本，包括：
将所述训练图像样本输入至所述编码层中的自编码器，得到所述自编码器对所述训练图像集还原出的重构训练图像样本；
将差异训练图像样本输入至所述编码层中的特征提取层，得到所述特征提取层从所述差异训练图像样本所提取出的所述第一隐性特征向量样本；
其中，所述差异训练图像样本为所述重构训练图像样本和所述训练图像样本之差；所述第三预测损失值用于对所述自编码器和所述特征提取层进行修正。
根据本发明提供的一种模型训练方法，所述自编码器包括编码器和解码器，所述特征提取层与所述自编码器共用同一个所述编码器进行特征提取；
相应地，所述将所述训练图像样本输入至所述编码层中的自编码器，得到所述自编码器对所述训练图像集还原出的重构训练图像样本，包括：
将所述训练图像样本输入至所述编码器，得到所述编码器从所述训练图像样本提取出的原始特征向量；
将所述原始特征向量输入至所述解码器，得到所述解码器对所述原始特征向量还原出的所述重构训练图像样本；
其中，所述第三预测损失值用于对所述自编码器进行修正。
根据本发明提供的一种模型训练方法，所述第三预测损失值是对第一子损失值、第二子损失值和第三子损失值进行加权求和得到；
其中，所述第一子损失值是根据所述训练图像样本和所述重构训练图像样本之间的均方差确定的；所述第二子损失值是根据所述训练图像样本与其他训练图像样本在特征空间中的距离确定的；所述第三子损失值是根据利用所述训练图像样本所提取出的原始特征向量分别在正样本特征空间和负样本特征空间的分布概率确定的。
根据本发明提供的一种模型训练方法，所述第三预测损失值可以表达为：
其中，为所述第三预测损失值；/>为所述第一子损失值；/>为所述第二子损失值；/>为所述第三子损失值；/>和/>分别为所述第二子损失值和所述第三子损失值对应的权重系数；/>为所述训练图像集中训练图像样本的数量， />为所述训练图像集中的第/>个训练图像样本，对于/>存在其对应的正样本/>和负样本/>，且设定负样本的总数/>小于/>；输入到所述自编码器后，先由所述编码器对/>进行特征提取操作得到所述原始特征向量，再由所述解码器对/>进行重构得到所述重构训练图像样本/>；/>为所述重构训练图像样本/>的特征表示。
根据本发明提供的一种模型训练方法，所述聚类层依托于深度聚类网络进行有监督训练；
相应地，所述将多组所述第一隐性特征向量样本输入至所述聚类模块中的聚类层，得到所述聚类层输出的所述图像来源聚类结果，包括：
将每一所述第一隐性特征向量样本以及对应标注的图像来源类别标签输入至所述聚类模块中的聚类层，得到所述聚类层输出的所述图像来源聚类结果；
其中，所述图像来源类别标签是依照图像来源类别集合对训练图像样本进行标注得到的一组概率集合；所述第四预测损失值用于对所述深度聚类网络及其网络变体进行修正。
根据本发明提供的一种模型训练方法，所述第四预测损失值是对第四子损失值、第五子损失值、第六子损失值和第七子损失值进行加权求和得到；
其中，所述第四子损失值是根据所述第一隐性特征向量样本分别属于某一图像来源类别及其簇中心的概率分布确定的；所述第五子损失值是根据所述第一隐性特征向量样本属于每一图像来源类别的实际匹配概率与期望匹配概率之间的相似度确定的；所述第六子损失值是根据对预设类别簇的簇中心所设置的正则项确定的；所述第七子损失值是根据预设类别簇的簇中心与所述第一隐性特征向量样本之间的距离确定的。
根据本发明提供的一种模型训练方法，所述第四预测损失值可以表达为：
其中，为所述第四预测损失值；/>为所述第四子损失值；/>为所述第五子损失值；/>为所述第六子损失值；/>为所述第七子损失值；/>和/>分别为所述第四子损失值、所述第五子损失值、所述第六子损失值和所述第七子损失值对应的权重系数；为所述训练图像集中训练图像样本的数量，/>表示聚类的簇数，/>表示分类任务的类别数目；/>为第/>个训练图像样本属于类别/>的概率，/>为从所述第一隐性特征向量样本中得到第/>个训练图像样本属于类别/>的簇中心的概率；/>为第/>个训练图像样本是否属于类别，/>为所述深伪图像检测模型所预测出的第/>个训练图像样本属于类别/>的概率；/>为第/>个训练图像样本的第一隐性特征向量，/>为第/>个训练图像样本所属类别的簇中心；/>为余弦相似度计算公式，/>表示聚类目标的簇中心矩阵。
根据本发明提供的一种模型训练方法，所述通过所述深伪图像检测模型的分类模块对任一测试图像样本的第二隐性特征向量样本进行图像来源的预测，得到所述图像来源分类结果，包括：
将所述测试图像集中的每一测试图像样本输入至所述分类模块中的编码层，得到所述编码层输出的所述第二隐性特征向量样本；
将所述第二隐性特征向量样本输入至所述分类模块中的分类层，得到所述分类层输出的第一图像来源分类结果后，根据所述第一图像来源分类结果以及第一图像来源标签得到所述第二预测损失值；
其中，所述分类模块与所述聚类模块共用一个编码层；所述第一图像来源分类结果用于指示所述测试图像样本属于真实图像或者伪造图像；所述第一图像来源标签包括真实图像标签和伪造图像标签；所述第二预测损失值用于对所述分类层所依托运行的分类网络进行修正。
根据本发明提供的一种模型训练方法，所述通过所述深伪图像检测模型的分类模块对任一测试图像样本的第二隐性特征向量样本进行图像来源的预测，得到所述图像来源分类结果，包括：
将所述测试图像集中的每一测试图像样本输入至所述分类模块中的编码层，得到所述编码层输出的所述第二隐性特征向量样本；
将所述第二隐性特征向量样本输入至所述分类模块中的分类层，得到所述分类层输出的第二图像来源分类结果后，根据所述第二图像来源分类结果以及第二图像来源标签得到所述第二预测损失值；
其中，所述分类模块与所述聚类模块共用一个编码层；所述第二图像来源分类结果用于指示所述测试图像样本属于真实图像或者某一生成对抗网络所生成的伪造图像；所述第二图像来源标签包括真实图像标签，以及根据所述训练图像集的图像来源聚类结果所设置的生成对抗网络标签；所述第二预测损失值用于对所述分类层所依托运行的分类网络进行修正。
根据本发明提供的一种模型训练方法，所述第二预测损失值是对第八子损失值和第九子损失值进行加权求和得到；
其中，所述第八子损失值是根据所述第二隐性特征向量样本属于每一图像来源的实际匹配概率与期望匹配概率之间的相似度确定的；所述第九子损失值是根据所述第二隐性特征向量样本预测出的图像来源与图像来源标签之间的相似度确定的。
根据本发明提供的一种模型训练方法，所述第二预测损失值可以表达为：
其中，为所述第二预测损失值；/>为所述第八子损失值；/>为所述第九子损失值；/>和/>分别为所述第八子损失值和所述第九子损失值对应的权重系数；/>为所述测试图像集中测试图像样本的数量，且每以训练图像样本都设置有/>个图像来源标签；/>为第/>个训练图像样本是否属于标签/>，/>为所述深伪图像检测模型所预测出的第/>个训练图像样本是否属于标签/>；/>为真实标签，/>为深伪图像检测模型预测得到的分类结果。
根据本发明提供的一种模型训练方法，所述图像样本集是对初始图像样本进行图像预处理后获得的，且所述图像样本集中的各图像样本具有相同的色彩通道和尺寸；
其中，所述初始图像样本包括初始真实图像样本和初始伪造图像样本；所述初始真实图像样本的获取来源包括开源网络资源，和/或，通过摄像装置拍摄得到的图像资源；所述初始伪造图像样本的获取来源包括开源网络资源，以及通过生成对抗网络对所述初始真实图像样本自行生成的图像资源。
本发明还提供一种深度伪造图像检测方法，包括：
获取待检测图像；
将所述待检测图像输入至深伪图像检测模型，得到所述深伪图像检测模型输出的检测结果；
其中，所述检测结果用于判定所述待检测图像属于真实图像或者伪造图像；所述深伪图像检测模型通过如上任一项所述的模型训练方法训练得到。
根据本发明提供的一种深度伪造图像检测方法，还包括：
所述待检测图像是对初始待检测图像进行图像预处理后获得的，且所述待检测图像与所述深伪图像检测模型训练所使用的样本图像集的任一样本图像具有相同的色彩通道和尺寸。
本发明还提供一种模型训练装置，包括：
识别模块，用于将图像样本集输入至深伪图像检测模型得到训练图像集的图像来源聚类结果以及测试图像集中任一测试图像样本的图像来源分类结果；其中，所述图像样本集包括训练图像集和测试图像集；任一图像集根据图像来源分类可被划分为真实图像样本和各种生成对抗网络所生成的伪造图像样本；
损失值计算模块，用于根据所述图像来源聚类结果得到第一预测损失值，根据所述图像来源分类结果以及图像来源标签得到第二预测损失值，根据所述第一预测损失值以及所述第二预测损失值得到总预测损失值；
模型训练模块，用于根据所述总预测损失值对所述深伪图像检测模型的参数进行修正；
其中，所述深伪图像检测模型包括聚类模块和分类模块；所述识别模块相应包括聚类单元和分类单元；
所述聚类单元，用于通过所述深伪图像检测模型的聚类模块从所述训练图像集中的每一训练图像样本提取出与图像内容无关的第一隐性特征向量样本，对多组所述第一隐性特征向量样本进行聚类，得到所述图像来源聚类结果；
所述分类单元，用于通过所述深伪图像检测模型的分类模块对任一测试图像样本的第二隐性特征向量样本进行图像来源的预测，得到所述图像来源分类结果；
其中，所述图像来源标签是对所述测试图像样本标注出的图像来源。
本发明还提供一种深度伪造图像检测装置，包括：
图像获取模块，用于获取待检测图像；
检测模块，用于将所述待检测图像输入至深伪图像检测模型，得到所述深伪图像检测模型输出的检测结果；
其中，所述检测结果用于判定所述待检测图像属于真实图像或者伪造图像；所述深伪图像检测模型通过如上任一项所述的模型训练方法训练得到。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述模型训练方法，实现如上述任一种所述深度伪造图像检测方法。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述模型训练方法，实现如上述任一种所述深度伪造图像检测方法。
本发明提供的模型训练方法、深伪图像检测方法、装置、设备及介质，通过对训练图像样本提取出与图像内容无关的第一隐性特征向量样本，利用第一隐性特征向量样本进行聚类得到第一预测损失值，再以图像来源聚类结果所指示的来源类型为分类依据，通过对测试图像样本提取出与图像内容无关的第二隐性特征向量样本，利用第二隐性特征向量样本进行分类得到第二预测损失值，最后根据第一预测损失值和第二预测损失值所得到的总预测损失值来进行深伪图像检测模型的参数修正。能够通过训练好的模型识别出图像中的GAN指纹信息，并对其分类，可以有效的深度伪造图像进行溯源。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的模型训练方法的流程示意图；
图2是本发明提供的自编码器的结构示意图；
图3是本发明提供的深度聚类网络的结构示意图；
图4是本发明提供的深度伪造图像检测方法的流程示意图之一；
图5是本发明提供的深度伪造图像检测方法的流程示意图之二；
图6是本发明提供的模型训练装置的结构示意图；
图7是本发明提供的深度伪造图像检测装置的结构示意图；
图8是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本申请中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。
应当理解，在本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
图1是本发明提供的模型训练方法的流程示意图。如图1所示，本发明实施例提供的模型训练方法，包括：步骤101、将图像样本集输入至深伪图像检测模型得到训练图像集的图像来源聚类结果以及测试图像集中任一测试图像样本的图像来源分类结果。
其中，所述图像样本集包括训练图像集和测试图像集。任一图像集根据图像来源分类可被划分为真实图像样本和各种生成对抗网络所生成的伪造图像样本。
其中，所述深伪图像检测模型包括聚类模块和分类模块。所述将图像样本集输入至深伪图像检测模型得到训练图像集的图像来源聚类结果以及测试图像集中任一测试图像样本的图像来源分类结果，包括：
步骤101-1、通过所述深伪图像检测模型的聚类模块从所述训练图像集中的每一训练图像样本提取出与图像内容无关的第一隐性特征向量样本，对多组所述第一隐性特征向量样本进行聚类，得到所述图像来源聚类结果。
步骤101-2、通过所述深伪图像检测模型的分类模块对任一测试图像样本的第二隐性特征向量样本进行图像来源的预测，得到所述图像来源分类结果。
其中，所述图像来源标签是对所述测试图像样本标注出的图像来源。
需要说明的是，本发明实施例提供的模型训练方法的执行主体是模型训练装置。
需要说明的是，本申请实施例提供的模型训练方法适用于通过电子设备训练出可以识别出真实图像和深伪图像的深伪图像检测模型。
上述电子设备可以以各种形式来实施。例如，本申请实施例中描述的电子设备可以包括诸如移动电话、智能电话、笔记本电脑、数字广播接收器、个人数字助理（PersonalDigital Assistant，PDA）、平板电脑（Portable Android Device ，PAD）、便携式多媒体播放器（Portable Media Player，PMP）、导航装置、智能手环、智能手表等等的移动终端，以及诸如数字TV、台式计算机等等的固定终端。下面，假设电子设备是移动终端。然而，本领域技术人员将理解的是，除了特别用于移动目的的元件之外，根据本申请实施例的构造也能够应用于固定类型的终端。
其中，深伪图像检测模型包括聚类模块和分类模块，且深伪图像检测模型是基于图像样本集以及预先确定的图像样本的来源（即其来源可以为通过摄像设备拍摄到的真实图像，或者是由生成对抗网络所伪造出的深伪图像）进行训练后得到。
可选地，将图像样本集划分为训练图像集和测试图像集，本发明实施例对训练集和测试集的样本比例不作具体限定。
示例性地，将60%的样本数据作为训练集，其余的40%样本数据作为测试集。
在图像样本集中，一部分为通过摄像设备对自然界真实物体拍摄到的真实图像样本，另一部分为各种生成对抗网络生成的深伪图像样本。在此基础上，像样本集划分为训练图像集和测试图像集，使得任一图像集均混有真实图像样本和深伪图像样本，本发明实施例对训练集和测试机的样本比例不作具体限定。
例如，将60%的图像样本作为训练图像集，其余的40%图像样本作为测试图像集。且本发明的训练图像集可采用任意类型的图像，如人脸图像、猫图像、家具图像等。
具体地，在步骤101中，模型训练装置利用训练图像集和测试图像集对深伪图像检测模型进行训练时执行步骤101-1和步骤101-2，其具体过程如下：
首先，将图像样本集输入至深伪图像检测模型后，通过深伪图像检测模型从训练图像集中的每一张训练图像样本进行特征提取，对所提取出的多组第一隐性特征向量样本利用神经网络对其进行聚类，通过训练好的聚类模块对同一生成对抗网络生成的图像的特征进行聚类得到图像来源聚类结果。
然后，模型训练装置在深伪图像检测模型具备完善的聚类功能的基础上添加分类功能，即需要将测试图像样本经步骤101-1中的特征提取处理后，由深伪图像检测模型对第二隐性特征向量样本进行图像来源的识别和分类，对于任一测试图像样本训练好的分类模块所得到的图像来源分类结果皆属于图像来源聚类结果中所包含的图像来源类别。
其中，第一隐性特征向量样本，是指在特征层面上的与对应的训练图像样本内容无关的特征向量，此部分特征容易包含肉眼不可见的GAN指纹信息，尤其是通过GAN网络所传递的隐性属性特征，故得以排除图像内容为检测和溯源带来的干扰。
第二隐性特征向量样本，是指在特征层面上的与对应的测试图像样本内容无关的特征向量，此部分特征容易包含肉眼不可见的GAN指纹信息，尤其是通过GAN网络所传递的隐性属性特征，故得以排除图像内容为检测和溯源带来的干扰。
步骤102、根据所述图像来源聚类结果得到第一预测损失值，根据所述图像来源分类结果以及图像来源标签得到第二预测损失值，根据所述第一预测损失值以及所述第二预测损失值得到总预测损失值。
具体地，在步骤102中，模型训练装置通过深伪图像检测模型对训练图像样本执行步骤101-1的前向传播过程所输出的图像来源聚类结果后，利用损失函数计算出每一训练图像样本的图像来源聚类结果和其本身是不同图像来源的概率值之间的差异值，即第一预测损失值。
还通过深伪图像检测模型对测试图像样本执行步骤101-2的前向传播过程所输出的图像来源分类结果后，利用损失函数计算出测试图像样本的图像来源分类结果和其对应标注的图像来源标签所指示的真实图像来源之间的差异值，即第二预测损失值。
最后，将第一预测损失值和第二预测损失值求和，得到总预测损失值。
步骤103、根据所述总预测损失值对所述深伪图像检测模型的参数进行修正。
具体地，在步骤103中，模型训练装置利用总预测损失值对深伪图像检测模型进行反向传播去更新模型的各个参数，来降低真实值与预测值之间的损失，使得模型生成的预测值往真实值方向靠拢。
现有技术，在同时引入聚类和分类的模型训练中，一般是先把用于实现聚类功能的模型训练好，再对用于实现分类功能的部分进行训练，即聚类损失值与分类损失值是单独进行优化的，训练得到的模型为二阶段的模型，训练复杂度高。
而在本发明实施例中，利用第一预测损失值和第二预测损失值得到的总预测损失值，利用总预测损失值进行场景识别模型的训练，既有利于避免在场景识别过程中忽略了局部特征的问题，提高场景识别的准确性，也可以使得训练得到的场景识别模型为一阶段的端到端模型，简化模型结构，降低模型训练的复杂程度。
本发明实施例通过对训练图像样本提取出与图像内容无关的第一隐性特征向量样本，利用第一隐性特征向量样本进行聚类得到第一预测损失值，再以图像来源聚类结果所指示的来源类型为分类依据，通过对测试图像样本提取出与图像内容无关的第二隐性特征向量样本，利用第二隐性特征向量样本进行分类得到第二预测损失值，最后根据第一预测损失值和第二预测损失值所得到的总预测损失值来进行深伪图像检测模型的参数修正。能够通过训练好的模型识别出图像中的GAN指纹信息，并对其分类，可以有效的深度伪造图像进行溯源。
在上述任一实施例的基础上，所述第一预测损失值为第三预测损失值和第四预测损失值之间的加和。
需要说明的是，深伪图像检测模型是一种神经网络模型，神经网络的结构和参数包括但不限于神经网络的输入层，隐含层和输出层的层数，以及每一层的权重参数等。本发明实施例对神经网络的种类和结构不作具体限定。
优选地，深伪图像检测模型是一种前馈神经网络。
可选地，该模型由输入层、隐藏层和输出层构成，其中：
输入层在整个网络的最前端部分，直接接收图像样本。
隐藏层可以有一层或多层，通过自身的神经元对输入向量以加权求和的方式来进行运算，将图像样本的特征向量映射成图像来源聚类结果和图像来源分类结果。
输出层是最后一层，用来输出最终的图像来源分类结果，根据不同的需求输出图像来源分类结果的类型，这个值可以是一个分类向量值，也可以是一个类似线性回归那样产生的连续的值，还可以是别的复杂类型的值或者向量，本发明实施例对此不作具体限定。
具体地，深伪图像检测模型中的隐藏层至少包括编码层和聚类层，故在对模型训练过程中输出图像来源聚类结果后所计算得到的第一预测损失值是由对编码层进行反向传播的第三预测损失值，以及对聚类层进行后向传播的第四预测损失值进行累加求和得到的。
相应地，所述通过所述深伪图像检测模型的聚类模块从所述训练图像集中的每一训练图像样本提取出与图像内容无关的第一隐性特征向量样本，对多组所述第一隐性特征向量样本进行聚类，得到所述图像来源聚类结果，包括：将所述训练图像集中的每一训练图像样本输入至所述聚类模块中的编码层，得到所述编码层输出的所述第一隐性特征向量样本后，根据所述第一隐性特征向量样本得到所述第三预测损失值。
具体地，模型训练装置的编码层接收到由输入层发送的训练图像样本，从像素领域上提取出与训练图像样本的图像内容无关的像素数据，再将其映射成特征向量，使编码层所输出的第一隐性特征向量样本从特征层面上也与训练图像样本的图像内容无关。
紧接着，利用训练图像样本生成第一隐性特征向量样本所涉及到的像素层面上的差异计算得到第三预测损失值。
将多组所述第一隐性特征向量样本输入至所述聚类模块中的聚类层，得到所述聚类层输出的所述图像来源聚类结果后，根据所述图像来源聚类结果以及图像来源类别标签得到所述第四预测损失值。
其中，所述图像来源类别标签是所述训练图像样本隶属于各种图像来源类别的概率所标注出的。
具体地，模型训练装置的聚类层接收到由编码层发送的多组第一隐性特征向量样本，通过对选择的特征进行转换形成新的突出特征后，基于某种距离函数进行相似度度量所得到的簇生成图像来源聚类结果。
紧接着，利用图像来源聚类结果所包含的类别簇分别和对训练图像样本相应标注的图像来源类别标签所包含的其自身隶属于各种图像来源类别的概率之间的差异计算得到第四预测损失值。
本发明实施例通过编码层对训练图像样本提取出与图像内容无关的第一隐性特征向量样本，并在生成第一隐性特征向量样本后进行反向传播时计算得到第三预测损失值，再通过聚类层对训练图像集对应的多组第一隐性特征向量样本聚类得到图像来源聚类结果，并在生成图像来源聚类结果后进行反向传播时计算得到第四预测损失值，最后根据第三预测损失值和第四预测损失值所得到的第一预测损失值来进行深伪图像检测模型中用于执行聚类功能那一部分进行参数修正。能够通过对同一生成对抗网络生成的图像的特征进行聚类，再以此为分类依据对深伪图像进行检测和溯源，可以有效提高效率和准确度。
在上述任一实施例的基础上，将所述训练图像集中的每一训练图像样本输入至所述聚类模块中的编码层，得到所述编码层输出的所述第一隐性特征向量样本，包括：将所述训练图像样本输入至所述编码层中的自编码器，得到所述自编码器对所述训练图像集还原出的重构训练图像样本。
需要说明的是，编码层由自编码器和特征提取层构成，用于对本层修正的第三预测损失值可以为自编码器的预测损失值和特征提取层的预测损失值的加和。
具体地，模型训练装置经自编码器对训练图像样本先进行降维得到的原图再特征空间上的表示后，再将这个低维度隐藏特征表示还原为与原图尺寸相同的重构训练图像样本。
将差异训练图像样本输入至所述编码层中的特征提取层，得到所述特征提取层从所述差异训练图像样本所提取出的所述第一隐性特征向量样本。
其中，所述差异训练图像样本为所述重构训练图像样本和所述训练图像样本之差。
具体地，模型训练装置将训练图像样本与其所对应的重构训练图像样本作差后，将所得到的差异训练图像样本输入至特征提取层，由特征提取层对差异训练图像样本进行降维处理，将所提取出的第一隐性特征向量样本输出。
本发明实施例通过自编码器对训练图像样本还原出的重构训练图像样本和训练图像样本作差，得到与图像内容无关的差异训练图像样本，再将差异训练图像样本输入到特征提取网络中，所提取到的第一隐性特征向量样本可认为是从特征层面上的与图像内容无关。能够将与图像内容无关的特征作为生成对抗网络所传递的特征，最大程度的排除图像内容为检测和溯源带来的干扰。
图2是本发明提供的自编码器的结构示意图。在上述任一实施例的基础上，如图2所示，自编码器200包括编码器210和解码器220，所述特征提取层与所述自编码器200共用同一个所述编码器210进行特征提取。
其中，所述第三预测损失值用于对所述自编码器进行修正。
具体地，自编码器200由一个用于特征提取的编码器210和一个用于重构图像的解码器220构成，除了自编码器200和特征提取层相互独立各自执行功能的情况外，还可以使特征提取层共享自编码器200的编码器210所执行的特征提取操作。
如此，编码器210将训练图像样本映射到特征空间，再从这个特征空间映射回像素空间进行重构所形成的图像与训练图像样本之间的差异计算第三预测损失值。
相应地，所述将所述训练图像样本输入至所述编码层中的自编码器，得到所述自编码器对所述训练图像集还原出的重构训练图像样本，包括：将所述训练图像样本输入至所述编码器，得到所述编码器从所述训练图像样本提取出的原始特征向量。
具体地，模型训练装置将训练图像样本输入至编码器210后，从将训练图像样本所处的像素空间进行降维，提取出原始特征向量。
将所述原始特征向量输入至所述解码器，得到所述解码器对所述原始特征向量还原出的所述重构训练图像样本。
具体地，将训练图像样本所对应的原始特征向量输入至解码器220后，将特征尽可能的还原成与输入图像在像素空间中高度相似的重构训练图像样本。
紧接着，将对重构训练图像样本和训练图像样本作差得到的差异训练图像样本再回传至编码器210进行特征提取，得到从特征层面上的与训练图像样本的图像内容无关的第一隐性特征向量样本。
本发明实施例通过自编码器对训练图像样本还原出的重构训练图像样本和训练图像样本作差，得到与图像内容无关的差异训练图像样本，再将差异训练图像样本输入到自编码器中的编码器进行特征提取。能极大程度上排除了图像内容因素带来的干扰，且保留了GAN指纹相关信息，位后续的特征聚类也起到了积极地作用。
在上述任一实施例的基础上，第三预测损失值是对第一子损失值、第二子损失值和第三子损失值进行加权求和得到。
其中，所述第一子损失值是根据所述训练图像样本和所述重构训练图像样本之间的均方差确定的。所述第二子损失值是根据所述训练图像样本与其他训练图像样本在特征空间中的距离确定的。所述第三子损失值是根据利用所述训练图像样本所提取出的原始特征向量分别在正样本特征空间和负样本特征空间的分布概率确定的。
具体地，在自编码器200的损失函数设计上，除了常用的均方误差损失和正则项外，添加对比损失的损失函数，其中：
第一子损失值作为均方误差损失，是根据训练图像样本和重构训练图像样本之间的均方差确定的，主要用于约束编码器-解码器网络生成的重构图像能够尽可能的接近原始图像的重构损失，可以使模型学习到一组稳定的、有意义的图像特征向量，并提高生成图像的质量。
第二子损失值是正则损失函数可以约束训练图像样本与其他训练图像样本在编码器210所学习到的特征具有稳定性和泛化性，提升模型的泛化能力。
训练图像集可以根据样本类别划分成一定比例的正样本和负样本，第三子损失值作为对比损失可以使同一类别的样本在特征空间中距离尽可能近，不同类别在特征空间中的距离尽可能远，因此加入对比损失函数可以提升模型提取出的特征的判别性，为后续图像特征的处理和应用做准备。
本发明实施例通过自编码器在进行参数修正时，除了继续沿用自编码器常用的均方误差损失和正则项，还通过加入判别损失函数，有助于编码器提取的特征具有判别性，对后续的特征聚类过程起到积极作用。
在上述任一实施例的基础上，所述第三预测损失值可以表达为：
其中，为所述第三预测损失值。/>为所述第一子损失值。/>为所述第二子损失值。/>为所述第三子损失值。/>和/>分别为所述第二子损失值和所述第三子损失值对应的权重系数。/>为所述训练图像集中训练图像样本的数量， />为所述训练图像集中的第/>个训练图像样本，对于/>存在其对应的正样本/>和负样本/>，且设定负样本的总数/>小于/>；输入到所述自编码器后，先由所述编码器对/>进行特征提取操作得到所述原始特征向量，再由所述解码器对/>进行重构得到所述重构训练图像样本/>；/>为所述重构训练图像样本/>的特征表示。
具体地，训练图像集是一批大小为的图像张量，/>表示该数据集中的任意一张训练图像样本，则有/>。本图像集中，对于/>存在其对应的正样本/>和负样本/>，且设定负样本的数量为/>（/>）。
相对应的，每个训练图像样本输入到自编码器200后，先由编码器210对/>进行特征提取操作，得到相应的原始特征向量/>后，再将原始特征向量/>输入到解码器220，从特征空间映射至像素空间，得到重构训练图像样本/>。由自编码器的性质可知重构训练图像样本/>与/>在内容上相似度很高，因此差异训练图像样本可以理解为 />与/>在像素角度的相似度差值，即为/>在像素层面上排除与其内容相关的结果。再将差异训练图像样本传入训练好的编码器，则得到的特征可以理解为与内容无关的特征。故自编码器200的第三预测损失值/>包含三部分的损失函数，分别为利用均方误差损失函数计算得到的第一子损失值/>，利用正则损失函数计算得到的第二子损失值/>和用于表征对比损失的第三子损失值/>，其计算公式如下：
其中，为/>的转置。/>和/>分别为所述第二子损失值和所述第三子损失值对应的权重系数，均为超参数。其取值可以根据具体情况设定，本发明实施例对此不作具体限定。
示例性地，，/>。
本发明实施例在自编码器在进行参数修正时，通过将自编码器常用的均方误差损失和正则项，以及新加入的判别损失函数进行加权，能够平衡自编码器各个损失函数的贡献，使隶属于特征提取的部分具有判别性。
图3是本发明提供的深度聚类网络的结构示意图。在上述任一实施例的基础上，如图3所示，所述聚类层依托于深度聚类网络进行有监督训练。
相应地，所述将多组所述第一隐性特征向量样本输入至所述聚类模块中的聚类层，得到所述聚类层输出的所述图像来源聚类结果，包括：将每一所述第一隐性特征向量样本以及对应标注的图像来源类别标签输入至所述聚类模块中的聚类层，得到所述聚类层输出的所述图像来源聚类结果。
其中，所述图像来源类别标签是依照图像来源类别集合对训练图像样本进行标注得到的一组概率集合。所述第四预测损失值用于对所述深度聚类网络及其网络变体进行修正。
需要说明的是，聚类层可以依托于有监督训练的深度聚类网络进行数据处理，该网络的输出可以分为两个分支，一个是聚类分支一个是分类的分支，聚类分支将自编码器输出的特征向量输入到clustering model中进行聚类，这里的clustering model使用的可以是常见的K-means算法、均值偏移聚类算法、DBSCAN聚类算法等。
而分类的分支则可以是简单的分类器。两个分支共享CNN的网络参数，聚类结果作为伪标签提供给分类器进行训练，通过分类的训练进行反向传播优化网络的参数。
具体地，模型训练装置经深度聚类网络利用其所包含的自编码器对训练图像样本提取出的与图像内容无关的第一隐性特征向量样本，结合第一隐性特征向量样本对应标注的图像来源类别标签（该标签表示了训练图像样本是真实图像还是经过某一特定的GAN网络生成的图像），按照某个特定标准把一个数据集分割成不同的类或簇，最终得到由多个簇组成的图像来源聚类结果。
其中，深度聚类网络由自编码器和聚类层构成，用于对本层修正的第四预测损失值可以主要聚焦在聚类损失上。
本发明实施例基于深度学习的有监督聚类方法，对自编码器输出的第一隐性特征向量样本以及其所对应的图像来源类别标签进行监督训练，以此来提高聚类的效果和泛化性能。
在上述任一实施例的基础上，所述第四预测损失值是对第四子损失值、第五子损失值、第六子损失值和第七子损失值进行加权求和得到。
其中，所述第四子损失值是根据所述第一隐性特征向量样本分别属于某一图像来源类别及其簇中心的概率分布确定的。所述第五子损失值是根据所述第一隐性特征向量样本属于每一图像来源类别的实际匹配概率与期望匹配概率之间的相似度确定的。所述第六子损失值是根据对预设类别簇的簇中心所设置的正则项确定的。所述第七子损失值是根据预设类别簇的簇中心与所述第一隐性特征向量样本之间的距离确定的。
具体地，在深度聚类网络的损失函数设计上，除了常用的聚类目标损失，类别标签损失和正则化损失外，添加余弦距离损失，其中：
第四子损失值作为聚类目标损失，是根据图像来源聚类结果所预测出的训练图像样本相对于每一图像来源类别簇的簇中心的概率分布和图像来源类别标签所包含的概率分布之间的差异确定的，主要用于约束聚深度聚类网络使得同一个簇内的数据对象的相似性尽可能大，同时不在同一个簇中的数据对象的差异性也尽可能地大。
第五子损失值作为类别标签损失，是根据图像来源聚类结果所预测出的训练图像样本属于中每一图像来源类别簇的实际概率值和图像来源类别标签所包含的期望概率值之间的差异确定的，主要用于约束聚深度聚类网络的聚类质量。
第六子损失值是正则损失函数可以约束深度聚类网络中所设置的预设类别簇的簇中心对进行更新迭代的过程中具有稳定性和泛化性，提升模型的泛化能力。
第七子损失值是余弦距离损失函数求得的，余弦距离主要关注向量的夹角和方向，而不是大小和绝对位置，夹角越小的向量越可能是同一类的向量，可以有效减少尺度变化和方向变化带来的误差。
本发明实施例通过深度聚类网络在进行参数修正时，除了继续沿用深度聚类网络常用的聚类目标损失，类别标签损失和正则化损失外，添加余弦距离损失。能够通过余弦距离可以度量不同向量的相似度，可以使网络更加关注特征相近的样本，从而优化聚类的效果。
在上述任一实施例的基础上，所述第四预测损失值可以表达为：
其中，为所述第四预测损失值。/>为所述第四子损失值；/>为所述第五子损失值。/>为所述第六子损失值。/>为所述第七子损失值。/>和/>分别为所述第四子损失值、所述第五子损失值、所述第六子损失值和所述第七子损失值对应的权重系数。为所述训练图像集中训练图像样本的数量，/>表示聚类的簇数，/>表示分类任务的类别数目。/>为第/>个训练图像样本属于类别/>的概率，/>为从所述第一隐性特征向量样本中得到第/>个训练图像样本属于类别/>的簇中心的概率。/>为第/>个训练图像样本是否属于类别，/>为所述深伪图像检测模型所预测出的第/>个训练图像样本属于类别/>的概率。/>为第/>个训练图像样本的第一隐性特征向量，/>为第/>个训练图像样本所属类别的簇中心。/>为余弦相似度计算公式，/>表示聚类目标的簇中心矩阵。
具体地，训练图像集是一批大小为的图像张量。另外，/>表示聚类的簇数，/>表示分类任务的类别数目，其中/>和/>都是超参数，需要根据任务需求和数据集情况进行设置。
相对应的，每个训练图像样本输入到深度聚类网络后，先由自编码器输出与内容无关的第一隐性特征向量样本后进行聚类操作时，表示样本/>属于类别/>的概率，/>表示从网络输出的特征向量中得到样本/>属于类别/>的簇中心的概率。/>表示样本i是否属于类别/>，/>表示网络输出的预测样本/>属于类别/>的概率（即本发明可以采用交叉熵损失作为标签损失函数），/>表示样本/>的特征向量，/>表示/>所属类别的簇中心，中心簇的初始采用随机选取的方式，选取K个中心簇，后续在计算过程中，采用类似k-means对中心簇更新的方法，对中心簇进行更新迭代。故深度聚类网络的第四预测损失值/>包含四部分的损失函数，分别用于表征聚类误差的第四子损失值/>，用于表征标签误差的第五子损失值 />，利用正则损失函数计算得到的第六子损失值/>和用于表征余弦距离损失的第七子损失值，其计算公式如下：
/>
其中，表示余弦相似度计算公式，其具体计算公式可以为/>。表示聚类目标的簇中心矩阵，并利用该矩阵来计算正则项，（即本发明采用L2范数来计算正则项损失）。/>和/>分别为第四子损失值、第五子损失值、第六子损失值和第七子损失值对应的权重系数，均为超参数。其取值可以根据具体情况设定，本发明实施例对此不作具体限定。
示例性地，和/>。
本发明实施例在深度聚类网络在进行参数修正时，通过将用于对网络聚类功能进行修正的聚类目标损失，类别标签损失和正则化损失外，以及新加入的添加余弦距离损失进行加权，能够深度聚类网络各个损失函数的贡献，可以排除向量大小和绝对位置的敏感性对网络的影响，进一步提高网络的鲁棒性。
在上述任一实施例的基础上，所述通过所述深伪图像检测模型的分类模块对任一测试图像样本的第二隐性特征向量样本进行图像来源的预测，得到所述图像来源分类结果，包括：将所述测试图像集中的每一测试图像样本输入至所述分类模块中的编码层，得到所述编码层输出的所述第二隐性特征向量样本。
其中，所述分类模块与所述聚类模块共用一个编码层。
具体地，模型训练装置将测试图像集中的每一测试图像样本输入至自编码器200后，执行步骤101-1的处理过程，从将测试图像样本所处的特征空间中提取出图像内容无关的第二隐性特征向量样本。
将所述第二隐性特征向量样本输入至所述分类模块中的分类层，得到所述分类层输出的第一图像来源分类结果后，根据所述第一图像来源分类结果以及第一图像来源标签得到所述第二预测损失值。
其中，所述第一图像来源分类结果用于指示所述测试图像样本属于真实图像或者伪造图像。所述第一图像来源标签包括真实图像标签和伪造图像标签。所述第二预测损失值用于对所述分类层所依托运行的分类网络进行修正。
需要说明的是，深伪图像检测模型的隐藏层还包括分类层。
具体地，模型训练装置的分类层接收到由编码层发送的第二隐性特征向量样本，通过训练图像集训练出的分类器，再通过分类器去预测未知数据不同的数据划分开，其过程是通过训练数据集中不同的数据划分开而获得的一个分类器，去预测未知数据会归类于一个类别的可能性，以此得到第一图像来源分类结果。
紧接着，利用第一图像来源分类结果所包含的归属类别和对测试图像样本相应标注的第一图像来源标签所包含的其自身所隶属得图像来源类别之间的差异计算得到第四预测损失值。
其中，第一图像来源标签的标记内容仅包含真实图像标签和伪造图像标签，以使得分类层可以对任一测试图像样本判断出其图像来源归属于真实图像或者是由GAN所伪造出的图像。
本发明实施例通过编码层对测试图像样本提取出与图像内容无关的第二隐性特征向量样本，再通过分类层对第二隐性特征向量样本分类得到图像来源分类结果，并在生成图像来源分类结果后进行反向传播时计算得到第二预测损失值，最后根据第二预测损失值来进行深伪图像检测模型中用于执行分类功能那一部分进行参数修正。实现对待检测图像的最终分类，将其分类为真实图像或由GAN网络生成的深度伪造图像，可以有效提高效率和准确度。
在上述任一实施例的基础上，所述通过所述深伪图像检测模型的分类模块对任一测试图像样本的第二隐性特征向量样本进行图像来源的预测，得到所述图像来源分类结果，包括：将所述测试图像集中的每一测试图像样本输入至所述分类模块中的编码层，得到所述编码层输出的所述第二隐性特征向量样本。
其中，所述分类模块与所述聚类模块共用一个编码层。
具体地，模型训练装置将测试图像集中的每一测试图像样本输入至自编码器200后，执行步骤101-1的处理过程，从将测试图像样本所处的特征空间中提取出图像内容无关的第二隐性特征向量样本。
将所述第二隐性特征向量样本输入至所述分类模块中的分类层，得到所述分类层输出的第二图像来源分类结果后，根据所述第二图像来源分类结果以及第二图像来源标签得到所述第二预测损失值。
其中，所述第二图像来源分类结果用于指示所述测试图像样本属于真实图像或者某一生成对抗网络所生成的伪造图像。所述第二图像来源标签包括真实图像标签，以及根据所述训练图像集的图像来源聚类结果所设置的生成对抗网络标签。所述第二预测损失值用于对所述分类层所依托运行的分类网络进行修正。
具体地，模型训练装置的分类层接收到由编码层发送的第二隐性特征向量样本，通过训练图像集训练出的分类器，再通过分类器去预测未知数据不同的数据划分开，其过程是通过训练数据集中不同的数据划分开而获得的一个分类器，去预测未知数据会归类于一个类别的可能性，以此得到第二图像来源分类结果。
紧接着，利用第二图像来源分类结果所包含的归属于各类别的概率值和对测试图像样本相应标注的第二图像来源标签所包含的其自身所隶属各图像来源类别的概率值之间的差异计算得到第四预测损失值。
其中，第二图像来源标签的标记内容仅包含真实图像标签和多种生成对抗网络标签，以使得分类层可以对任一测试图像样本判断出其图像来源归属于真实图像或者是由某一GAN所伪造出的图像。
可以理解的是，本发明实施例中分类层可以为独立于深度聚类网络而独立设置的分类器，此时深度聚类网络秩序执行聚类这一条功能。
网络结构将聚类和分类两个任务结合起来，两个任务使用同一个网络，共享网络的参数，通过聚类得到的结果作为伪标签（pseudo-labels），提供给网络的分类器进行训练，更新网络的参数。这种互学习的方法有利两种任务的相互促进，从而各自得到更好的效果。
本发明实施例通过编码层对测试图像样本提取出与图像内容无关的第二隐性特征向量样本，再通过分类层对第二隐性特征向量样本分类得到图像来源分类结果，并在生成图像来源分类结果后进行反向传播时计算得到第二预测损失值，最后根据第二预测损失值来进行深伪图像检测模型中用于执行分类功能那一部分进行参数修正。实现对待检测图像的最终分类并溯源，将其分类为真实图像或由具体哪一个GAN网络生成的深度伪造图像，可以有效提高效率和准确度。
在上述任一实施例的基础上，所述第二预测损失值是对第八子损失值和第九子损失值进行加权求和得到。
其中，所述第八子损失值是根据所述第二隐性特征向量样本属于每一图像来源的实际匹配概率与期望匹配概率之间的相似度确定的。所述第九子损失值是根据所述第二隐性特征向量样本预测出的图像来源与图像来源标签之间的相似度确定的。
具体地，在深度聚类网络中关于分类的损失函数设计中，可以在传统的损失函数基础上，添加余弦角度作为损失函数的一部分，其中：
第八子损失值作为分类目标损失，是根据图像来源分类结果所预测出的测试图像样本属于中每一图像来源类别的实际概率值和图像来源标签所包含的相应期望概率值之间的差异确定的，主要用于约束聚深度聚类网络的分类质量。
第九子损失值是余弦距离损失函数求得的，余弦距离主要关注向量的夹角，夹角越小的向量越可能测试图像样本最接近的分类，可以有效减少尺度变化和方向变化带来的误差。
本发明实施例通过深度聚类网络在进行参数修正时，除了继续沿用深度聚类网络在执行分类任务是常用的分类目标损失外，添加余弦角度损失。能够鼓励网络预测结果的向量与真实标签的向量之间的角度更小，从而提高分类准确度。
在上述任一实施例的基础上，所述第二预测损失值可以表达为：
其中，为所述第二预测损失值；/>为所述第八子损失值；/>为所述第九子损失值；/>和/>分别为所述第八子损失值和所述第九子损失值对应的权重系数；/>为所述测试图像集中测试图像样本的数量，且每以训练图像样本都设置有/>个图像来源标签；/>为第/>个训练图像样本是否属于标签/>，/>为所述深伪图像检测模型所预测出的第/>个训练图像样本是否属于标签/>；/>为真实标签，/>为深伪图像检测模型预测得到的分类结果。
具体地，测试图像集是一批大小为的图像张量。每个样本都有/>个图像来源标签（即至少包括一个真实图像标签和/>个生成对抗网络标签）。/>表示样本/>是否属于标签/>，若/>表示属于该标签，/>表示不属于该标签。/>表示网络预测输出样本/>属于标签/>的概率。故分类层的第二预测损失值/>包含两部分的损失函数，分别用于表征分类误差的第八子损失值/>，以及用于表征余弦角度损失的第九子损失值/>，其计算公式如下：
/>
其中，中先计算真实标签/>和网络预测结果/>的夹角，在计算两者之间的相似度。/>和/>分别为第八子损失值和第九子损失值对应的权重系数，均为超参数。其取值可以根据具体情况设定，本发明实施例对此不作具体限定。
示例性地，，/>。
本发明实施例在深度聚类网络中的分类分支在进行参数修正时，通过将用于对网络分类功能进行修正的聚类目标损失外，以及新加入的添加余弦角度损失进行加权，能够深度聚类网络各个损失函数的贡献，通过鼓励网络预测结果的向量与真实标签的向量之间的角度更小，从而提高预测准确度，进一步提高网络的鲁棒性。
在上述任一实施例的基础上，所述模型训练方法，还包括：所述图像样本集是对初始图像样本进行图像预处理后获得的，且所述图像样本集中的各图像样本具有相同的色彩通道和尺寸。
其中，所述初始图像样本包括初始真实图像样本和初始伪造图像样本。所述初始真实图像样本的获取来源包括开源网络资源，和/或，通过摄像装置拍摄得到的图像资源。所述初始伪造图像样本的获取来源包括开源网络资源，以及通过生成对抗网络对所述初始真实图像样本自行生成的图像资源。
具体地，在步骤101之前，模型训练装置需要对每一个初始图像样本进行预处理操作，以将其色彩通道和尺寸统一后整合成图像样本集。
其中，初始图像样本可根据其图像来源不同大致可分为初始真实图像样本和初始伪造图像样本。
初始真实图像样本，是指基于自然界真实存在人或物所捕捉的图像，本发明实施例对初始真实图像样本的获取途径不作具体限定。
示例性地，初始真实图像样本可以通过直接使用摄像装置拍摄得到，也可以从一些开源网络资源中获取。
初始伪造图像样本，是指各种生成对抗网络中的两个神经网络相互对抗，第一个用于生成图像，第二个用于判别该输出是否真实。生成对抗网络经过交替优化训练后，生成的深度伪造内容可以与真实的人或物无异，这些虚假信息的发布容易引发网络安全问题，本发明实施例对初始伪造图像样本的获取途径不作具体限定。
示例性地，初始伪造图像样本可以通过各种对抗生成网络对真实图像进行处理获取的，也可以从一些开源网络资源中获取。
示例性地，本发明实施例提供的初始图像样本均为的人脸图像，将所有人脸图像均采用固定尺寸，且三通道（R、G、B三个通道）的彩色图像。当输入图像是单通道的灰度图像或者其他形式的图像，本发明也可以进行扩展来适应输入图像（通道）的变化。
本发明实施例在模型训练之前通过对初始图像样本进行预处理，能使得有利于模式识别的信息得到增强，不利于模式识别的信息被抑制，扩大图像中不同物体特征之间的差别，为图像的信息提取及其识别奠定良好的基础。
图4是本发明提供的深度伪造图像检测方法的流程示意图之一。在上述任一实施例的基础上，如图4所示，本发明实施例提供的深度伪造图像检测方法，包括：步骤401、获取待检测图像。
需要说明的是，本发明实施例提供的深度伪造图像检测方法的执行主体是深度伪造图像检测装置。
需要说明的是，本申请实施例提供的深度伪造图像检测方法适用于通过电子设备识别出真实图像和深伪图像。
上述电子设备可以以各种形式来实施。例如，本申请实施例中描述的电子设备可以包括诸如移动电话、智能电话、笔记本电脑、数字广播接收器、个人数字助理（PersonalDigital Assistant，PDA）、平板电脑（Portable Android Device ，PAD）、便携式多媒体播放器（Portable Media Player，PMP）、导航装置、智能手环、智能手表等等的移动终端，以及诸如数字TV、台式计算机等等的固定终端。下面，假设电子设备是移动终端。然而，本领域技术人员将理解的是，除了特别用于移动目的的元件之外，根据本申请实施例的构造也能够应用于固定类型的终端。
具体地，在步骤401中，深度伪造图像检测装置接收由用户上传的待检测图像。
步骤402、将所述待检测图像输入至深伪图像检测模型，得到所述深伪图像检测模型输出的检测结果。
其中，所述检测结果用于判定所述待检测图像属于真实图像或者伪造图像。所述深伪图像检测模型通过如上任一项所述的模型训练方法训练得到。
具体地，在步骤402中，深度伪造图像检测装置将待检测图像输入至经任一项所述的模型训练方法训练好的深伪图像检测模型，得到由深伪图像检测模型输出的关于待检测图像的检测结果。
其中，检测结果，主要用于判定待检测图像属于真实图像或者伪造图像，其表征形式由模型本身的输出形式相关，本发明实施例对此不作具体限定。
示例性地，检测结果可以被映射为一个二值化数值，例如，“1”表示待检测图像为真实图像，而“0” 表示待检测图像为伪造图像。
示例性地，检测结果可以被映射为一个概率值数组，该数组包括一个表征待检测图像隶属于真实图像的概率值和多个表征待检测图像分别隶属于不同GAN的概率值。将该数组中最大的概率值元素映射为待检测图像最终结果，即待检测图像可以溯源到由哪一个GAN生成。
图5是本发明提供的深度伪造图像检测方法的流程示意图之二。如图5所示，本发明实施例给出一个深度伪造图像检测方法的完整实施过程：
（1）待检测图像被深伪图像检测模型的输入层接收，并传递至隐藏层进行处理。
（2）待检测图像来到隐藏层后，首先由自编码器提取出与待检测图像的图像内容无关的隐性特征向量。
（3）紧接着，由深度聚类网络的两个分支对该隐性特征向量进行处理，先通过对特征聚类得到的结果作为伪标签，提供给网络的分类器进行训练，更新分类网络的参数。
（4）再利用更新后的分类网路分支对特征进行相应的分类，实现对待检测图像最终的分类结果，将其分类为真实图像或由某一个GAN网络生成的深度伪造图像。
（5）将分类结果由输出层输出。
本发明实施例将待检测图像作为深伪图像检测模型的输入，输出的检测结果可以指示待检测图像为真实图像或由某一个GAN网络生成的深度伪造图像。能够通过训练好的模型识别出图像中的GAN指纹信息，并对其分类，可以有效的深度伪造图像进行溯源。
在上述任一实施例的基础上，该方法还包括：所述待检测图像是对初始待检测图像进行图像预处理后获得的，且所述待检测图像与所述深伪图像检测模型训练所使用的样本图像集的任一样本图像具有相同的色彩通道和尺寸。
具体地，在步骤401之前，深度伪造图像检测装置需要对每一个待检测图像进行预处理操作，以将其色彩通道和尺寸统一到与模型训练所使用的样本的色彩通道和尺寸。
本发明实施例在模型应用时通过对初始图像进行预处理，能使得有利于模式识别的信息得到增强，不利于模式识别的信息被抑制，扩大图像中不同物体特征之间的差别，为图像的信息提取及其识别奠定良好的基础。
图6是本发明提供的模型训练装置的结构示意图。基于上述任一实施例的内容，如图6所示，该装置包括：识别模块610、损失值计算模块620和模型训练模块630，其中：
识别模块610，用于将图像样本集输入至深伪图像检测模型得到训练图像集的图像来源聚类结果以及测试图像集中任一测试图像样本的图像来源分类结果。其中，所述图像样本集包括训练图像集和测试图像集。任一图像集根据图像来源分类可被划分为真实图像样本和各种生成对抗网络所生成的伪造图像样本。
损失值计算模块620，用于根据所述图像来源聚类结果得到第一预测损失值，根据所述图像来源分类结果以及图像来源标签得到第二预测损失值，根据所述第一预测损失值以及所述第二预测损失值得到总预测损失值。
模型训练模块630，用于根据所述总预测损失值对所述深伪图像检测模型的参数进行修正。
其中，所述深伪图像检测模型包括聚类模块和分类模块；所述识别模块610相应包括聚类单元611和分类单元612。
所述聚类单元611，用于通过所述深伪图像检测模型的聚类模块从所述训练图像集中的每一训练图像样本提取出与图像内容无关的第一隐性特征向量样本，对多组所述第一隐性特征向量样本进行聚类，得到所述图像来源聚类结果。
所述分类单元612，用于通过所述深伪图像检测模型的分类模块对任一测试图像样本的第二隐性特征向量样本进行图像来源的预测，得到所述图像来源分类结果。
其中，所述图像来源标签是对所述测试图像样本标注出的图像来源。
具体地，识别模块610、损失值计算模块620和模型训练模块630顺次电连接。
识别模块610利用训练图像集和测试图像集对深伪图像检测模型进行训练时顺次执行聚类单元611和分类单元612，其具体过程如下：
首先，聚类单元611将图像样本集输入至深伪图像检测模型后，通过深伪图像检测模型从训练图像集中的每一张训练图像样本进行特征提取，对所提取出的多组第一隐性特征向量样本利用神经网络对其进行聚类和分类，通过对同一生成对抗网络生成的图像的特征进行聚类得到图像来源聚类结果。
然后，分类单元612在深伪图像检测模型具备完善的聚类功能的基础上添加分类功能，即需要将测试图像样本经聚类单元611的特征提取处理后，由深伪图像检测模型对第二隐性特征向量样本进行图像来源的识别和分类，对于任一测试图像样本所得到的图像来源分类结果皆属于图像来源聚类结果中所包含的图像来源类别。
损失值计算模块620通过深伪图像检测模型对训练图像样本在聚类单元611的前向传播过程所输出的图像来源聚类结果后，利用损失函数计算出每一训练图像样本的图像来源聚类结果和其本身是不同图像来源的概率值之间的差异值，即第一预测损失值。
还通过深伪图像检测模型对测试图像样本在分类单元612的前向传播过程所输出的图像来源分类结果后，利用损失函数计算出测试图像样本的图像来源分类结果和其对应标注的图像来源标签所指示的真实图像来源之间的差异值，即第二预测损失值。
最后，将第一预测损失值和第二预测损失值求和，得到总预测损失值。
模型训练模块630利用总预测损失值对深伪图像检测模型进行反向传播去更新模型的各个参数，来降低真实值与预测值之间的损失，使得模型生成的预测值往真实值方向靠拢。
可选地，所述第一预测损失值为第三预测损失值和第四预测损失值之间的加和。
聚类单元611包括编码子单元和聚类子单元，其中：
编码子单元，用于将所述训练图像集中的每一训练图像样本输入至所述聚类模块中的编码层，得到所述编码层输出的所述第一隐性特征向量样本后，根据所述第一隐性特征向量样本得到所述第三预测损失值。
聚类子单元，用于将多组所述第一隐性特征向量样本输入至所述聚类模块中的聚类层，得到所述聚类层输出的所述图像来源聚类结果后，根据所述图像来源聚类结果以及图像来源类别标签得到所述第四预测损失值。
其中，所述图像来源类别标签是所述训练图像样本隶属于各种图像来源类别的概率所标注出的。
可选地，编码子单元，具体用于将所述训练图像样本输入至所述编码层中的自编码器，得到所述自编码器对所述训练图像集还原出的重构训练图像样本。
将差异训练图像样本输入至所述编码层中的特征提取层，得到所述特征提取层从所述差异训练图像样本所提取出的所述第一隐性特征向量样本。
其中，所述差异训练图像样本为所述重构训练图像样本和所述训练图像样本之差；所述第三预测损失值用于对所述自编码器和所述特征提取层进行修正。
可选地，所述自编码器包括编码器和解码器，所述特征提取层与所述自编码器共用同一个所述编码器进行特征提取。
编码子单元，具体用于将所述训练图像样本输入至所述编码器，得到所述编码器从所述训练图像样本提取出的原始特征向量。
将所述原始特征向量输入至所述解码器，得到所述解码器对所述原始特征向量还原出的所述重构训练图像样本。
其中，所述第三预测损失值用于对所述自编码器进行修正。
可选地，所述第三预测损失值是对第一子损失值、第二子损失值和第三子损失值进行加权求和得到。
其中，所述第一子损失值是根据所述训练图像样本和所述重构训练图像样本之间的均方差确定的；所述第二子损失值是根据所述训练图像样本与其他训练图像样本在特征空间中的距离确定的；所述第三子损失值是根据利用所述训练图像样本所提取出的原始特征向量分别在正样本特征空间和负样本特征空间的分布概率确定的。
可选地，所述第三预测损失值可以表达为：
其中，为所述第三预测损失值；/>为所述第一子损失值；/>为所述第二子损失值；/>为所述第三子损失值；/>和/>分别为所述第二子损失值和所述第三子损失值对应的权重系数；/>为所述训练图像集中训练图像样本的数量， />为所述训练图像集中的第/>个训练图像样本，对于/>存在其对应的正样本/>和负样本/>，且设定负样本的总数/>小于/>；输入到所述自编码器后，先由所述编码器对/>进行特征提取操作得到所述原始特征向量，再由所述解码器对/>进行重构得到所述重构训练图像样本/>；/>为所述重构训练图像样本/>的特征表示。
可选地，所述聚类层依托于深度聚类网络进行有监督训练。
相应地，聚类子单元，具体用于将每一所述第一隐性特征向量样本以及对应标注的图像来源类别标签输入至所述聚类模块中的聚类层，得到所述聚类层输出的所述图像来源聚类结果。
其中，所述图像来源类别标签是依照图像来源类别集合对训练图像样本进行标注得到的一组概率集合；所述第四预测损失值用于对所述深度聚类网络及其网络变体进行修正。
可选地，所述第四预测损失值是对第四子损失值、第五子损失值、第六子损失值和第七子损失值进行加权求和得到；
其中，所述第四子损失值是根据所述第一隐性特征向量样本分别属于某一图像来源类别及其簇中心的概率分布确定的；所述第五子损失值是根据所述第一隐性特征向量样本属于每一图像来源类别的实际匹配概率与期望匹配概率之间的相似度确定的；所述第六子损失值是根据对预设类别簇的簇中心所设置的正则项确定的；所述第七子损失值是根据预设类别簇的簇中心与所述第一隐性特征向量样本之间的距离确定的。
可选地，所述第四预测损失值可以表达为：
/>
其中，为所述第四预测损失值；/>为所述第四子损失值；/>为所述第五子损失值；/>为所述第六子损失值；/>为所述第七子损失值；/>和/>分别为所述第四子损失值、所述第五子损失值、所述第六子损失值和所述第七子损失值对应的权重系数；为所述训练图像集中训练图像样本的数量，/>表示聚类的簇数，/>表示分类任务的类别数目；/>为第/>个训练图像样本属于类别/>的概率，/>为从所述第一隐性特征向量样本中得到第/>个训练图像样本属于类别/>的簇中心的概率；/>为第/>个训练图像样本是否属于类别，/>为所述深伪图像检测模型所预测出的第/>个训练图像样本属于类别/>的概率；/>为第/>个训练图像样本的第一隐性特征向量，/>为第/>个训练图像样本所属类别的簇中心；/>为余弦相似度计算公式，/>表示聚类目标的簇中心矩阵。
可选地，分类单元612包括降维子单元和分类子单元，其中：
降维子单元，用于将所述测试图像集中的每一测试图像样本输入至所述分类模块中的编码层，得到所述编码层输出的所述第二隐性特征向量样本。
分类子单元，用于将所述第二隐性特征向量样本输入至所述分类模块中的分类层，得到所述分类层输出的第一图像来源分类结果后，根据所述第一图像来源分类结果以及第一图像来源标签得到所述第二预测损失值。
其中，所述第一图像来源分类结果用于指示所述测试图像样本属于真实图像或者伪造图像。所述第一图像来源标签包括真实图像标签和伪造图像标签。所述第二预测损失值用于对所述分类层所依托运行的分类网络进行修正。
可选地，所述第二预测损失值是对第八子损失值和第九子损失值进行加权求和得到；
其中，所述第八子损失值是根据所述第二隐性特征向量样本属于每一图像来源的实际匹配概率与期望匹配概率之间的相似度确定的；所述第九子损失值是根据所述第二隐性特征向量样本预测出的图像来源与图像来源标签之间的相似度确定的。
可选地，所述第二预测损失值可以表达为：
其中，为所述第二预测损失值；/>为所述第八子损失值；/>为所述第九子损失值；/>和/>分别为所述第八子损失值和所述第九子损失值对应的权重系数；/>为所述测试图像集中测试图像样本的数量，且每以训练图像样本都设置有/>个图像来源标签；/>为第/>个训练图像样本是否属于标签/>，/>为所述深伪图像检测模型所预测出的第/>个训练图像样本是否属于标签/>；/>为真实标签，/>为深伪图像检测模型预测得到的分类结果。
可选地，该装置还包括样本预处理模块，其中：
样本预处理模块，用于所述图像样本集是对初始图像样本进行图像预处理后获得的，且所述图像样本集中的各图像样本具有相同的色彩通道和尺寸。
其中，所述初始图像样本包括初始真实图像样本和初始伪造图像样本。所述初始真实图像样本的获取来源包括开源网络资源，和/或，通过摄像装置拍摄得到的图像资源。所述初始伪造图像样本的获取来源包括开源网络资源，以及通过生成对抗网络对所述初始真实图像样本自行生成的图像资源。
本发明实施例提供的模型训练装置，用于执行本发明上述模型训练方法，其实施方式与本发明提供的模型训练方法的实施方式一致，且可以达到相同的有益效果，此处不再赘述。
本发明实施例通过对训练图像样本提取出与图像内容无关的第一隐性特征向量样本，利用第一隐性特征向量样本进行聚类得到第一预测损失值，再以图像来源聚类结果所指示的来源类型为分类依据，通过对测试图像样本提取出与图像内容无关的第二隐性特征向量样本，利用第二隐性特征向量样本进行分类得到第二预测损失值，最后根据第一预测损失值和第二预测损失值所得到的总预测损失值来进行深伪图像检测模型的参数修正。能够通过训练好的模型识别出图像中的GAN指纹信息，并对其分类，可以有效的深度伪造图像进行溯源。
图7是本发明提供的深度伪造图像检测装置的结构示意图。基于上述任一实施例的内容，如图7所示，该装置包括：图像获取模块710和检测模块720，其中：
图像获取模块710，用于获取待检测图像。
检测模块720，用于将所述待检测图像输入至深伪图像检测模型，得到所述深伪图像检测模型输出的检测结果。
其中，所述检测结果用于判定所述待检测图像属于真实图像或者伪造图像。所述深伪图像检测模型通过如上任一项所述的模型训练方法训练得到。
具体地，图像获取模块710和检测模块720顺次电连接。
图像获取模块710接收由用户上传的待检测图像。
检测模块720将待检测图像输入至经任一项所述的模型训练方法训练好的深伪图像检测模型，得到由深伪图像检测模型输出的关于待检测图像的检测结果。
可选地，该装置还包括图像预处理模块，其中：
图像预处理模块，用于所述待检测图像是对初始待检测图像进行图像预处理后获得的，且所述待检测图像与所述深伪图像检测模型训练所使用的样本图像集的任一样本图像具有相同的色彩通道和尺寸。
本发明实施例提供的深度伪造图像检测装置，用于执行本发明上述深度伪造图像检测方法，其实施方式与本发明提供的深度伪造图像检测方法的实施方式一致，且可以达到相同的有益效果，此处不再赘述。
本发明实施例将待检测图像作为深伪图像检测模型的输入，输出的检测结果可以指示待检测图像为真实图像或由某一个GAN网络生成的深度伪造图像。能够通过训练好的模型识别出图像中的GAN指纹信息，并对其分类，可以有效的深度伪造图像进行溯源。
图8示例了一种电子设备的实体结构示意图，如图8所示，该电子设备可以包括：处理器（processor）810、通信接口（Communications Interface）820、存储器（memory）830和通信总线840，其中，处理器810，通信接口820，存储器830通过通信总线840完成相互间的通信。处理器810可以调用存储器830中的逻辑指令，以执行模型训练方法，该方法包括：将图像样本集输入至深伪图像检测模型得到训练图像集的图像来源聚类结果以及测试图像集中任一测试图像样本的图像来源分类结果；其中，所述图像样本集包括训练图像集和测试图像集；任一图像集根据图像来源分类可被划分为真实图像样本和各种生成对抗网络所生成的伪造图像样本；根据所述图像来源聚类结果得到第一预测损失值，根据所述图像来源分类结果以及图像来源标签得到第二预测损失值，根据所述第一预测损失值以及所述第二预测损失值得到总预测损失值；根据所述总预测损失值对所述深伪图像检测模型的参数进行修正；其中，所述深伪图像检测模型包括聚类模块和分类模块；所述将图像样本集输入至深伪图像检测模型得到训练图像集的图像来源聚类结果以及测试图像集中任一测试图像样本的图像来源分类结果，包括：通过所述深伪图像检测模型的聚类模块从所述训练图像集中的每一训练图像样本提取出与图像内容无关的第一隐性特征向量样本，对多组所述第一隐性特征向量样本进行聚类，得到所述图像来源聚类结果；通过所述深伪图像检测模型的分类模块对任一测试图像样本的第二隐性特征向量样本进行图像来源的预测，得到所述图像来源分类结果；其中，所述图像来源标签是对所述测试图像样本标注出的图像来源。还可以执行深度伪造图像检测方法，该方法包括：获取待检测图像；将所述待检测图像输入至深伪图像检测模型，得到所述深伪图像检测模型输出的检测结果；其中，所述检测结果用于判定所述待检测图像属于真实图像或者伪造图像；所述深伪图像检测模型通过如上任一项所述的模型训练方法训练得到。
此外，上述的存储器830中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的模型训练方法，该方法包括：将图像样本集输入至深伪图像检测模型得到训练图像集的图像来源聚类结果以及测试图像集中任一测试图像样本的图像来源分类结果；其中，所述图像样本集包括训练图像集和测试图像集；任一图像集根据图像来源分类可被划分为真实图像样本和各种生成对抗网络所生成的伪造图像样本；根据所述图像来源聚类结果得到第一预测损失值，根据所述图像来源分类结果以及图像来源标签得到第二预测损失值，根据所述第一预测损失值以及所述第二预测损失值得到总预测损失值；根据所述总预测损失值对所述深伪图像检测模型的参数进行修正；其中，所述深伪图像检测模型包括聚类模块和分类模块；所述将图像样本集输入至深伪图像检测模型得到训练图像集的图像来源聚类结果以及测试图像集中任一测试图像样本的图像来源分类结果，包括：通过所述深伪图像检测模型的聚类模块从所述训练图像集中的每一训练图像样本提取出与图像内容无关的第一隐性特征向量样本，对多组所述第一隐性特征向量样本进行聚类，得到所述图像来源聚类结果；通过所述深伪图像检测模型的分类模块对任一测试图像样本的第二隐性特征向量样本进行图像来源的预测，得到所述图像来源分类结果；其中，所述图像来源标签是对所述测试图像样本标注出的图像来源。还可以执行深度伪造图像检测方法，该方法包括：获取待检测图像；将所述待检测图像输入至深伪图像检测模型，得到所述深伪图像检测模型输出的检测结果；其中，所述检测结果用于判定所述待检测图像属于真实图像或者伪造图像；所述深伪图像检测模型通过如上任一项所述的模型训练方法训练得到。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的模型训练方法，该方法包括：将图像样本集输入至深伪图像检测模型得到训练图像集的图像来源聚类结果以及测试图像集中任一测试图像样本的图像来源分类结果；其中，所述图像样本集包括训练图像集和测试图像集；任一图像集根据图像来源分类可被划分为真实图像样本和各种生成对抗网络所生成的伪造图像样本；根据所述图像来源聚类结果得到第一预测损失值，根据所述图像来源分类结果以及图像来源标签得到第二预测损失值，根据所述第一预测损失值以及所述第二预测损失值得到总预测损失值；根据所述总预测损失值对所述深伪图像检测模型的参数进行修正；其中，所述深伪图像检测模型包括聚类模块和分类模块；所述将图像样本集输入至深伪图像检测模型得到训练图像集的图像来源聚类结果以及测试图像集中任一测试图像样本的图像来源分类结果，包括：通过所述深伪图像检测模型的聚类模块从所述训练图像集中的每一训练图像样本提取出与图像内容无关的第一隐性特征向量样本，对多组所述第一隐性特征向量样本进行聚类，得到所述图像来源聚类结果；通过所述深伪图像检测模型的分类模块对任一测试图像样本的第二隐性特征向量样本进行图像来源的预测，得到所述图像来源分类结果；其中，所述图像来源标签是对所述测试图像样本标注出的图像来源。还可以执行深度伪造图像检测方法，该方法包括：获取待检测图像；将所述待检测图像输入至深伪图像检测模型，得到所述深伪图像检测模型输出的检测结果；其中，所述检测结果用于判定所述待检测图像属于真实图像或者伪造图像；所述深伪图像检测模型通过如上任一项所述的模型训练方法训练得到。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (20)

1.一种模型训练方法，其特征在于，包括：
将图像样本集输入至深伪图像检测模型得到训练图像集的图像来源聚类结果以及测试图像集中任一测试图像样本的图像来源分类结果；其中，所述图像样本集包括训练图像集和测试图像集；任一图像集根据图像来源分类可被划分为真实图像样本和各种生成对抗网络所生成的伪造图像样本；
根据所述图像来源聚类结果得到第一预测损失值，根据所述图像来源分类结果以及图像来源标签得到第二预测损失值，根据所述第一预测损失值以及所述第二预测损失值得到总预测损失值；
根据所述总预测损失值对所述深伪图像检测模型的参数进行修正；
其中，所述深伪图像检测模型包括聚类模块和分类模块；所述将图像样本集输入至深伪图像检测模型得到训练图像集的图像来源聚类结果以及测试图像集中任一测试图像样本的图像来源分类结果，包括：
通过所述深伪图像检测模型的聚类模块从所述训练图像集中的每一训练图像样本提取出与图像内容无关的第一隐性特征向量样本，对多组所述第一隐性特征向量样本进行聚类，得到所述图像来源聚类结果；
通过所述深伪图像检测模型的分类模块对任一测试图像样本的第二隐性特征向量样本进行图像来源的预测，得到所述图像来源分类结果；
其中，所述图像来源标签是对所述测试图像样本标注出的图像来源；
任一隐性特征向量样本包括在特征层面上的与对应的图像样本内容无关的特征向量，以表征通过GAN网络所传递的隐性属性特征。
2.根据权利要求1所述的模型训练方法，其特征在于，所述第一预测损失值为第三预测损失值和第四预测损失值之间的加和；
相应地，所述通过所述深伪图像检测模型的聚类模块从所述训练图像集中的每一训练图像样本提取出与图像内容无关的第一隐性特征向量样本，对多组所述第一隐性特征向量样本进行聚类，得到所述图像来源聚类结果，包括：
将所述训练图像集中的每一训练图像样本输入至所述聚类模块中的编码层，得到所述编码层输出的所述第一隐性特征向量样本后，根据所述第一隐性特征向量样本得到所述第三预测损失值；
将多组所述第一隐性特征向量样本输入至所述聚类模块中的聚类层，得到所述聚类层输出的所述图像来源聚类结果后，根据所述图像来源聚类结果以及图像来源类别标签得到所述第四预测损失值；
其中，所述图像来源类别标签是所述训练图像样本隶属于各种图像来源类别的概率所标注出的。
3.根据权利要求2所述的模型训练方法，其特征在于，所述将所述训练图像集中的每一训练图像样本输入至所述聚类模块中的编码层，得到所述编码层输出的所述第一隐性特征向量样本，包括：
将所述训练图像样本输入至所述编码层中的自编码器，得到所述自编码器对所述训练图像集还原出的重构训练图像样本；
将差异训练图像样本输入至所述编码层中的特征提取层，得到所述特征提取层从所述差异训练图像样本所提取出的所述第一隐性特征向量样本；
其中，所述差异训练图像样本为所述重构训练图像样本和所述训练图像样本之差；所述第三预测损失值用于对所述自编码器和所述特征提取层进行修正。
4.根据权利要求3所述的模型训练方法，其特征在于，所述自编码器包括编码器和解码器，所述特征提取层与所述自编码器共用同一个所述编码器进行特征提取；
相应地，所述将所述训练图像样本输入至所述编码层中的自编码器，得到所述自编码器对所述训练图像集还原出的重构训练图像样本，包括：
将所述训练图像样本输入至所述编码器，得到所述编码器从所述训练图像样本提取出的原始特征向量；
将所述原始特征向量输入至所述解码器，得到所述解码器对所述原始特征向量还原出的所述重构训练图像样本；
其中，所述第三预测损失值用于对所述自编码器进行修正。
5.根据权利要求4所述的模型训练方法，其特征在于，所述第三预测损失值是对第一子损失值、第二子损失值和第三子损失值进行加权求和得到；
其中，所述第一子损失值是根据所述训练图像样本和所述重构训练图像样本之间的均方差确定的；所述第二子损失值是根据所述训练图像样本与其他训练图像样本在特征空间中的距离确定的；所述第三子损失值是根据利用所述训练图像样本所提取出的原始特征向量分别在正样本特征空间和负样本特征空间的分布概率确定的。
6.根据权利要求5所述的模型训练方法，其特征在于，所述第三预测损失值可以表达为：
；
其中，为所述第三预测损失值；/>为所述第一子损失值；/>为所述第二子损失值；为所述第三子损失值；/>和/>分别为所述第二子损失值和所述第三子损失值对应的权重系数；/>为所述训练图像集中训练图像样本的数量，/>为所述训练图像集中的第/>个训练图像样本，对于/>存在其对应的正样本/>和负样本/>，且设定负样本的总数/>小于/>；/>输入到所述自编码器后，先由所述编码器对/>进行特征提取操作得到所述原始特征向量/>，再由所述解码器对/>进行重构得到所述重构训练图像样本/>；/>为所述重构训练图像样本/>的特征表示。
7.根据权利要求2所述的模型训练方法，其特征在于，所述聚类层依托于深度聚类网络进行有监督训练；
相应地，所述将多组所述第一隐性特征向量样本输入至所述聚类模块中的聚类层，得到所述聚类层输出的所述图像来源聚类结果，包括：
将每一所述第一隐性特征向量样本以及对应标注的图像来源类别标签输入至所述聚类模块中的聚类层，得到所述聚类层输出的所述图像来源聚类结果；
其中，所述图像来源类别标签是依照图像来源类别集合对训练图像样本进行标注得到的一组概率集合；所述第四预测损失值用于对所述深度聚类网络及其网络变体进行修正。
8.根据权利要求7所述的模型训练方法，其特征在于，所述第四预测损失值是对第四子损失值、第五子损失值、第六子损失值和第七子损失值进行加权求和得到；
其中，所述第四子损失值是根据所述第一隐性特征向量样本分别属于某一图像来源类别及其簇中心的概率分布确定的；所述第五子损失值是根据所述第一隐性特征向量样本属于每一图像来源类别的实际匹配概率与期望匹配概率之间的相似度确定的；所述第六子损失值是根据对预设类别簇的簇中心所设置的正则项确定的；所述第七子损失值是根据预设类别簇的簇中心与所述第一隐性特征向量样本之间的距离确定的。
9.根据权利要求8所述的模型训练方法，其特征在于，所述第四预测损失值可以表达为：
；
其中，为所述第四预测损失值；/>为所述第四子损失值；/>为所述第五子损失值；/>为所述第六子损失值；/>为所述第七子损失值；/>和/>分别为所述第四子损失值、所述第五子损失值、所述第六子损失值和所述第七子损失值对应的权重系数；/>为所述训练图像集中训练图像样本的数量，/>表示聚类的簇数，/>表示分类任务的类别数目；/>为第/>个训练图像样本属于类别/>的概率，/>为从所述第一隐性特征向量样本中得到第/>个训练图像样本属于类别/>的簇中心的概率；/>为第/>个训练图像样本是否属于类别/>，为所述深伪图像检测模型所预测出的第/>个训练图像样本属于类别/>的概率；/>为第/>个训练图像样本的第一隐性特征向量，/>为第/>个训练图像样本所属类别的簇中心；/>为余弦相似度计算公式，/>表示聚类目标的簇中心矩阵。
10.根据权利要求1所述的模型训练方法，其特征在于，所述通过所述深伪图像检测模型的分类模块对任一测试图像样本的第二隐性特征向量样本进行图像来源的预测，得到所述图像来源分类结果，包括：
将所述测试图像集中的每一测试图像样本输入至所述分类模块中的编码层，得到所述编码层输出的所述第二隐性特征向量样本；
将所述第二隐性特征向量样本输入至所述分类模块中的分类层，得到所述分类层输出的第一图像来源分类结果后，根据所述第一图像来源分类结果以及第一图像来源标签得到所述第二预测损失值；
其中，所述分类模块与所述聚类模块共用一个编码层；所述第一图像来源分类结果用于指示所述测试图像样本属于真实图像或者伪造图像；所述第一图像来源标签包括真实图像标签和伪造图像标签；所述第二预测损失值用于对所述分类层所依托运行的分类网络进行修正。
11.根据权利要求1所述的模型训练方法，其特征在于，所述通过所述深伪图像检测模型的分类模块对任一测试图像样本的第二隐性特征向量样本进行图像来源的预测，得到所述图像来源分类结果，包括：
将所述测试图像集中的每一测试图像样本输入至所述分类模块中的编码层，得到所述编码层输出的所述第二隐性特征向量样本；
将所述第二隐性特征向量样本输入至所述分类模块中的分类层，得到所述分类层输出的第二图像来源分类结果后，根据所述第二图像来源分类结果以及第二图像来源标签得到所述第二预测损失值；
其中，所述分类模块与所述聚类模块共用一个编码层；所述第二图像来源分类结果用于指示所述测试图像样本属于真实图像或者某一生成对抗网络所生成的伪造图像；所述第二图像来源标签包括真实图像标签，以及根据所述训练图像集的图像来源聚类结果所设置的生成对抗网络标签；所述第二预测损失值用于对所述分类层所依托运行的分类网络进行修正。
12.根据权利要求10或者11所述的模型训练方法，其特征在于，所述第二预测损失值是对第八子损失值和第九子损失值进行加权求和得到；
其中，所述第八子损失值是根据所述第二隐性特征向量样本属于每一图像来源的实际匹配概率与期望匹配概率之间的相似度确定的；所述第九子损失值是根据所述第二隐性特征向量样本预测出的图像来源与图像来源标签之间的相似度确定的。
13.根据权利要求12所述的模型训练方法，其特征在于，所述第二预测损失值可以表达为：
；
其中，为所述第二预测损失值；/>为所述第八子损失值；/>为所述第九子损失值；/>和分别为所述第八子损失值和所述第九子损失值对应的权重系数；/>为所述测试图像集中测试图像样本的数量，且每以训练图像样本都设置有/>个图像来源标签；/>为第/>个训练图像样本是否属于标签/>，/>为所述深伪图像检测模型所预测出的第/>个训练图像样本是否属于标签/>；/>为真实标签，/>为深伪图像检测模型预测得到的分类结果。
14.根据权利要求1所述的模型训练方法，其特征在于，还包括：
所述图像样本集是对初始图像样本进行图像预处理后获得的，且所述图像样本集中的各图像样本具有相同的色彩通道和尺寸；
其中，所述初始图像样本包括初始真实图像样本和初始伪造图像样本；所述初始真实图像样本的获取来源包括开源网络资源，和/或，通过摄像装置拍摄得到的图像资源；所述初始伪造图像样本的获取来源包括开源网络资源，以及通过生成对抗网络对所述初始真实图像样本自行生成的图像资源。
15.一种深度伪造图像检测方法，其特征在于，包括：
获取待检测图像；
将所述待检测图像输入至深伪图像检测模型，得到所述深伪图像检测模型输出的检测结果；
其中，所述检测结果用于判定所述待检测图像属于真实图像或者伪造图像；所述深伪图像检测模型通过如权利要求1至14任一项所述的模型训练方法训练得到。
16.根据权利要求15所述的深度伪造图像检测方法，其特征在于，还包括：
所述待检测图像是对初始待检测图像进行图像预处理后获得的，且所述待检测图像与所述深伪图像检测模型训练所使用的样本图像集的任一样本图像具有相同的色彩通道和尺寸。
17.一种模型训练装置，其特征在于，包括：
识别模块，用于将图像样本集输入至深伪图像检测模型得到训练图像集的图像来源聚类结果以及测试图像集中任一测试图像样本的图像来源分类结果；其中，所述图像样本集包括训练图像集和测试图像集；任一图像集根据图像来源分类可被划分为真实图像样本和各种生成对抗网络所生成的伪造图像样本；
损失值计算模块，用于根据所述图像来源聚类结果得到第一预测损失值，根据所述图像来源分类结果以及图像来源标签得到第二预测损失值，根据所述第一预测损失值以及所述第二预测损失值得到总预测损失值；
模型训练模块，用于根据所述总预测损失值对所述深伪图像检测模型的参数进行修正；
其中，所述深伪图像检测模型包括聚类模块和分类模块；所述识别模块相应包括聚类单元和分类单元；
所述聚类单元，用于通过所述深伪图像检测模型的聚类模块从所述训练图像集中的每一训练图像样本提取出与图像内容无关的第一隐性特征向量样本，对多组所述第一隐性特征向量样本进行聚类，得到所述图像来源聚类结果；
所述分类单元，用于通过所述深伪图像检测模型的分类模块对任一测试图像样本的第二隐性特征向量样本进行图像来源的预测，得到所述图像来源分类结果；
其中，所述图像来源标签是对所述测试图像样本标注出的图像来源；
任一隐性特征向量样本包括在特征层面上的与对应的图像样本内容无关的特征向量，以表征通过GAN网络所传递的隐性属性特征。
18.一种深度伪造图像检测装置，其特征在于，包括：
图像获取模块，用于获取待检测图像；
检测模块，用于将所述待检测图像输入至深伪图像检测模型，得到所述深伪图像检测模型输出的检测结果；
其中，所述检测结果用于判定所述待检测图像属于真实图像或者伪造图像；所述深伪图像检测模型通过如权利要求1至14任一项所述的模型训练方法训练得到。
19.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至14任一项所述模型训练方法，或者实现如权利要求15至16任一项所述深度伪造图像检测方法。
20.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至14任一项所述模型训练方法，或者实现如权利要求15至16任一项所述深度伪造图像检测方法。
CN202310922307.6A 2023-07-26 2023-07-26 模型训练方法、深伪图像检测方法、装置、设备及介质 Active CN116630727B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310922307.6A CN116630727B (zh) 2023-07-26 2023-07-26 模型训练方法、深伪图像检测方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310922307.6A CN116630727B (zh) 2023-07-26 2023-07-26 模型训练方法、深伪图像检测方法、装置、设备及介质

Publications (2)

Publication Number Publication Date
CN116630727A CN116630727A (zh) 2023-08-22
CN116630727B true CN116630727B (zh) 2023-11-03

Family

ID=87610338

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310922307.6A Active CN116630727B (zh) 2023-07-26 2023-07-26 模型训练方法、深伪图像检测方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN116630727B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116824647B (zh) * 2023-08-29 2024-01-23 苏州浪潮智能科技有限公司 图像伪造识别方法、网络训练方法、装置、设备及介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113553906A (zh) * 2021-06-16 2021-10-26 之江实验室 基于类中心域对齐的判别无监督跨域行人重识别方法
CN116188956A (zh) * 2023-01-31 2023-05-30 湖南大学 一种深度伪造人脸图像检测的方法及相关设备
CN116403290A (zh) * 2023-03-23 2023-07-07 南京大学 一种基于自监督域聚类与域泛化的活体检测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113553906A (zh) * 2021-06-16 2021-10-26 之江实验室 基于类中心域对齐的判别无监督跨域行人重识别方法
CN116188956A (zh) * 2023-01-31 2023-05-30 湖南大学 一种深度伪造人脸图像检测的方法及相关设备
CN116403290A (zh) * 2023-03-23 2023-07-07 南京大学 一种基于自监督域聚类与域泛化的活体检测方法

Also Published As

Publication number Publication date
CN116630727A (zh) 2023-08-22

Similar Documents

Publication Publication Date Title
Shang et al. PRRNet: Pixel-Region relation network for face forgery detection
CN110188829B (zh) 神经网络的训练方法、目标识别的方法及相关产品
CN107111782B (zh) 神经网络结构及其方法
CN111027576B (zh) 基于协同显著性生成式对抗网络的协同显著性检测方法
Wang et al. Semi-supervised generative adversarial hashing for image retrieval
EP4085369A1 (en) Forgery detection of face image
Singh et al. Steganalysis of digital images using deep fractal network
CN108520215B (zh) 基于多尺度联合特征编码器的单样本人脸识别方法
CN116630727B (zh) 模型训练方法、深伪图像检测方法、装置、设备及介质
CN111723815B (zh) 模型训练方法、图像处理方法、装置、计算机系统和介质
CN113095370A (zh) 图像识别方法、装置、电子设备及存储介质
CN110222572A (zh) 跟踪方法、装置、电子设备及存储介质
CN112651333B (zh) 静默活体检测方法、装置、终端设备和存储介质
CN114612987A (zh) 一种表情识别方法及装置
CN113569607A (zh) 动作识别方法、装置、设备以及存储介质
CN110610131B (zh) 人脸运动单元的检测方法、装置、电子设备及存储介质
CN114358249A (zh) 目标识别模型训练、目标识别方法及装置
Niu et al. Boundary-aware RGBD salient object detection with cross-modal feature sampling
CN113033305B (zh) 活体检测方法、装置、终端设备和存储介质
CN116860964A (zh) 基于医疗管理标签的用户画像分析方法、装置及服务器
CN111506691B (zh) 一种基于深度匹配模型的轨迹匹配方法和系统
CN114677611A (zh) 数据识别方法、存储介质及设备
CN117150369B (zh) 超重预测模型的训练方法及电子设备
CN113076833B (zh) 年龄识别模型的训练方法、人脸年龄识别方法及相关装置
CN116993839B (zh) 编码方式筛选方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant