CN116822623A - 一种生成对抗网络联合训练方法、装置、设备及存储介质 - Google Patents

一种生成对抗网络联合训练方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN116822623A
CN116822623A CN202311096567.9A CN202311096567A CN116822623A CN 116822623 A CN116822623 A CN 116822623A CN 202311096567 A CN202311096567 A CN 202311096567A CN 116822623 A CN116822623 A CN 116822623A
Authority
CN
China
Prior art keywords
fingerprint
network
image
generated
generating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311096567.9A
Other languages
English (en)
Other versions
CN116822623B (zh
Inventor
崔星辰
史宏志
温东超
赵健
葛沅
张英杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Inspur Intelligent Technology Co Ltd
Original Assignee
Suzhou Inspur Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Inspur Intelligent Technology Co Ltd filed Critical Suzhou Inspur Intelligent Technology Co Ltd
Priority to CN202311096567.9A priority Critical patent/CN116822623B/zh
Publication of CN116822623A publication Critical patent/CN116822623A/zh
Application granted granted Critical
Publication of CN116822623B publication Critical patent/CN116822623B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/098—Distributed learning, e.g. federated learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0475—Generative networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/094—Adversarial learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/1365—Matching; Classification
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Human Computer Interaction (AREA)
  • Collating Specific Patterns (AREA)

Abstract

本发明公开了一种生成对抗网络联合训练方法、装置、设备及存储介质，涉及计算机技术领域。方法包括：获取发布者构建的生成对抗网络，以及预先构建的指纹解码网络；将指纹信息作为生成对抗网络的部分输入，对生成对抗网络和指纹解码网络进行联合训练，得到训练后的生成对抗网络和训练后的指纹解码网络；其中，训练后的生成对抗网络中嵌入有指纹信息，训练后的指纹解码网络用于检测图像中的指纹信息；其中，生成对抗网络包括生成器和判别器，指纹解码网络的输入为生成器输出的生成图像，指纹解码网络输出的解码信息反馈给生成器；判别器的输入为生成器输出的生成图像，判别器输出的判别结果反馈给生成器。保证了指纹嵌入的效率和指纹识别的准确度。

Description

一种生成对抗网络联合训练方法、装置、设备及存储介质
技术领域
本发明涉及计算机技术领域，特别涉及一种生成对抗网络联合训练方法、装置、设备及存储介质。
背景技术
目前，随着计算机技术的发展，通过生成对抗网络(GAN，GenerativeAdversarialNetwork)进行篡改或合成图像变得越来越容易，通过这种方式获得的图像被称作深度伪造图像。应对上述问题，深度伪造图像的检测(detection)和溯源(attribution)技术应运而生。
相关技术中，根据生成对抗网络固有属性来检测深度伪造图像，或者，根据生成对抗网络的传递性利用指纹来检测深度伪造图像，但是仍存在准确性不够高的问题。如何提高指纹识别的准确率，进而提升深度伪造图像的检测和溯源的准确度是目前亟待解决问题。
发明内容
有鉴于此，本发明的目的在于提供一种生成对抗网络联合训练方法、装置、设备及存储介质，能够提高指纹嵌入的效率以及指纹识别的准确度。其具体方案如下：
第一方面，本发明公开了一种生成对抗网络联合训练方法，包括：
获取发布者构建的生成对抗网络，以及预先构建的指纹解码网络；
将指纹信息作为所述生成对抗网络的部分输入，对所述生成对抗网络和所述指纹解码网络进行联合训练，得到训练后的生成对抗网络和训练后的指纹解码网络；
其中，所述训练后的生成对抗网络中嵌入有所述指纹信息，所述训练后的生成对抗网络生成的图像包含所述指纹信息，所述训练后的指纹解码网络用于检测图像中的指纹信息；其中，所述生成对抗网络包括生成器和判别器，所述指纹解码网络的输入为所述生成器输出的生成图像，所述指纹解码网络输出的解码信息反馈给所述生成器；所述判别器的输入为所述生成器输出的生成图像，所述判别器输出的判别结果反馈给所述生成器。
可选的，所述对所述生成对抗网络和所述指纹解码网络进行联合训练，包括：
根据所述指纹解码网络的损失、所述生成对抗网络中生成器的损失和判别器的损失构造联合损失函数；
利用所述联合损失函数对所述生成对抗网络和所述指纹解码网络进行联合训练。
可选的，所述根据所述指纹解码网络的损失、所述生成对抗网络中生成器的损失和判别器的损失构造联合损失函数，包括：
分别为所述指纹解码网络的每类损失对应的子损失函数、所述生成对抗网络中生成器的每类损失对应的子损失函数和判别器的每类损失对应的子损失函数配置超参数；
基于所有子损失函数，以及每个子损失函数对应的超参数构建得到所述联合损失函数。
可选的，所述生成器对应的子损失函数包括第一子损失函数和第二子损失函数；所述第一子损失函数用于表征生成器生成的图像与真实图像之间的差距，所述第二子损失函数用于表征同一噪声下不同指纹信息作为输入时生成图像的差距。
可选的，所述判别器对应的子损失函数包括第三子损失函数和第四子损失函数；所述第三子损失函数用于表征判别器对真实图像及生成图像的判别与实际的差距，所述第四子损失函数用于表征判别器对相同噪声下不同指纹生成的图像的判别的差距。
可选的，所述指纹解码网络对应的子损失函数包括第五子损失函数和第六子损失函数；所述第五子损失函数用于表征纹解码网络输出的解码后指纹与实际指纹信息的差距，所述第六子损失函数用于表征纹解码网络输出的解码后噪声与实际噪声信息的差距。
可选的，所述联合损失函数为：
；
其中，其中G（•）表示生成器，D（•）表示判别器，F（•）表示指纹解码网络；G（z，c）表示生成器生成的图片，生成器输入为噪声z和指纹信息c；x表示真实图像，表示指纹信息为ci时解码器解码出的指纹，/>表示二范数的平方，F(G(z，c))表示解码器解码出的用以生成图像的噪声；/>均为超参数。
可选的，所述将指纹信息作为所述生成对抗网络的部分输入，包括：
向所述生成对抗网络中添加线性层；所述线性层的输出为所述生成对抗网络中生成器内的映射网络的输入；
将用于生成图像的随机噪声和所述指纹信息输入至所述生成对抗网络，利用所述线性层提取所述指纹信息的指纹特征，根据所述随机噪声和所述指纹特征进行网络训练；所述指纹特征的维度与所述映射网络的维度相同。
可选的，所述对所述生成对抗网络和所述指纹解码网络进行联合训练，包括：
将所述随机噪声和所述指纹特征输入至所述生成对抗网络的生成器中，得到所述生成器输出的生成图像；
将所述生成图像和真实图像输入至所述生成对抗网络的判别器中，利用所述判别器判断所述生成图像的真假，并将判别结果反馈给所述生成器。
可选的，所述指纹解码网络以待检测图像为输入，以待检测图像对应的输入噪声和指纹信息为输出。
可选的，所述指纹解码网络为基于卷积层、全连接层和激活函数构建的。
可选的，所述训练后的指纹解码网络检测图像中的指纹信息的过程，包括：
通过卷积层和激活函数对所述待检测图像进行特征提取，得到所述待检测图像对应的图像特征；
通过下采样层对所述图像特征进行下采样，得到预设尺寸的特征图；
通过多个卷积层对所述特征图进行特征提取，并将提取到的特征输入至全连接层；
根据所述全连接层的输出，得到所述待检测图像对应的输入噪声对应的特征，以及所述待检测图像对应的指纹信息的特征；
通过归一化指数函数生成所述待检测图像对应的指纹信息。
可选的，所述将指纹信息作为所述生成对抗网络的部分输入，对所述生成对抗网络和所述指纹解码网络进行联合训练之前，还包括：
获取指纹长度，根据所述指纹长度确定序列长度；
根据所述序列长度生成随机的0-1序列，并将所述0-1序列作为所述指纹信息。
可选的，所述获取指纹长度，包括：
获取指纹长度范围；所述指纹长度范围为根据指纹的重复概率以及嵌入和识别难度确定的；
在所述指纹长度范围内选取指纹长度。
可选的，所述获取指纹长度，包括：
获取预设指纹长度。
可选的，所述得到训练后的生成对抗网络和训练后的指纹解码网络之后，还包括：
将所述训练后的生成对抗网络发布给申请者，以便所述申请者利用所述指纹嵌入后的生成对抗网络进行图像生成，得到新生成图像；所述新生成图像中包含所述指纹信息。
又一方面，本发明公开了一种深度伪造图像检测方法，应用于前述的训练后的指纹解码网络，包括：
获取待检测图像，并通过所述训练后的指纹解码网络检测所述待检测图像的指纹信息；
根据检测结果判断所述待检测图像是否为所述训练后的生成对抗网络生成的图像；
若是所述训练后的生成对抗网络生成的图像，则判定所述待检测图像为深度伪造图像。
可选的，所述判定所述待检测图像为深度伪造图像之后，还包括：
根据所述待检测图像包含的目标指纹信息和映射关系进行深度伪造图像溯源；所述映射关系为根据申请者使用生成对抗网络的情况构建的申请者与生成对抗网络的映射关系。
又一方面，本发明公开了一种生成对抗网络联合训练装置，包括：
网络获取模块，用于获取发布者构建的生成对抗网络，以及预先构建的指纹解码网络；
网络训练模块，用于将指纹信息作为所述生成对抗网络的部分输入，对所述生成对抗网络和所述指纹解码网络进行联合训练，得到训练后的生成对抗网络和训练后的指纹解码网络；
其中，所述训练后的生成对抗网络中嵌入有所述指纹信息，所述训练后的生成对抗网络生成的图像包含所述指纹信息，所述训练后的指纹解码网络用于检测图像中的指纹信息；其中，所述生成对抗网络包括生成器和判别器，所述指纹解码网络的输入为所述生成器输出的生成图像，所述指纹解码网络输出的解码信息反馈给所述生成器；所述判别器的输入为所述生成器输出的生成图像，所述判别器输出的判别结果反馈给所述生成器。
又一方面，本发明公开了一种深度伪造图像检测装置，包括：
图像获取模块，用于获取待检测图像，并通过如前述的训练后的指纹解码网络检测所述待检测图像的指纹信息；
图像生成判断模块，用于根据检测结果判断所述待检测图像是否为所述训练后的生成对抗网络生成的图像；
深度伪造图像判定模块，用于若是所述训练后的生成对抗网络生成的图像，则判定所述待检测图像为深度伪造图像。
第三方面，本发明公开了一种电子设备，包括：
存储器，用于保存计算机程序；
处理器，用于执行所述计算机程序，以实现前述的生成对抗网络联合训练方法，以及深度伪造图像检测方法。
第四方面，本发明公开了一种计算机可读存储介质，用于存储计算机程序；其中计算机程序被处理器执行时实现前述的生成对抗网络联合训练方法，以及深度伪造图像检测方法。
本发明中，获取发布者构建的生成对抗网络，以及预先构建的指纹解码网络；将指纹信息作为所述生成对抗网络的部分输入，对所述生成对抗网络和所述指纹解码网络进行联合训练，得到训练后的生成对抗网络和训练后的指纹解码网络；其中，所述训练后的生成对抗网络中嵌入有所述指纹信息，所述训练后的生成对抗网络生成的图像包含所述指纹信息，所述训练后的指纹解码网络用于检测图像中的指纹信息；其中，所述生成对抗网络包括生成器和判别器，所述指纹解码网络的输入为所述生成器输出的生成图像，所述指纹解码网络输出的解码信息反馈给所述生成器；所述判别器的输入为所述生成器输出的生成图像，所述判别器输出的判别结果反馈给所述生成器。
可见，通过将指纹信息直接作为生成对抗网络的输入，使生成对抗网络高效率的学习指纹的特征，以便在生成对抗网络隐写嵌入特定的指纹信息，使生成对抗网络生成的图像中隐藏有指纹信息，并通过对生成对抗网络和指纹解码网络进行联合训练，以便利用训练后的指纹解码网络进行指纹解码，提高指纹解码的速率和准确度，提高指纹嵌入和识别能力，从而实现对深度伪造图像进行高效并准确的检测。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明提供的一种生成对抗网络联合训练方法流程图；
图2为本发明提供的一种具体的生成对抗网络结构示意图；
图3为本发明提供的一种具体的指纹嵌入及识别系统结构示意图；
图4为本发明提供的一种具体的深度伪造图像检测方法流程图；
图5为本发明提供的一种生成对抗网络联合训练装置结构示意图；
图6为本发明提供的一种深度伪造图像检测装置结构示意图；
图7为本发明提供的一种电子设备结构图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
现有技术中，根据生成对抗网络固有属性来检测深度伪造图像，或者，根据生成对抗网络的传递性利用指纹来检测深度伪造图像，但是仍存在准确性不够高的问题。为克服上述技术问题，本发明提出一种生成对抗网络联合训练方法，能够提高指纹嵌入的效率以及指纹识别的准确度。
本发明实施例公开了一种生成对抗网络联合训练方法，参见图1所示，该方法可以包括以下步骤：
步骤S11：获取发布者构建的生成对抗网络，以及预先构建的指纹解码网络。
本实施例中，首先获取发布者构建的生成对抗网络，可以理解的是，当生成对抗网络的发布者在发布其构建的生成对抗网络时，通过本实施例对应的系统，为生成对抗网络嵌入特定的指纹信息，然后再发放给特定的申请人，该申请人利用申请的生成对抗网络的生成的图像中即会包含嵌入网络的指纹信息。
步骤S12：将指纹信息作为所述生成对抗网络的部分输入，对所述生成对抗网络和所述指纹解码网络进行联合训练，得到训练后的生成对抗网络和训练后的指纹解码网络；
本实施例中，所述训练后的生成对抗网络中嵌入有所述指纹信息，所述训练后的生成对抗网络生成的图像包含所述指纹信息，所述训练后的指纹解码网络用于检测图像中的指纹信息；其中，所述生成对抗网络包括生成器和判别器，所述指纹解码网络的输入为所述生成器输出的生成图像，所述指纹解码网络输出的解码信息反馈给所述生成器；所述判别器的输入为所述生成器输出的生成图像，所述判别器输出的判别结果反馈给所述生成器。
本实施例中，将指纹信息作为生成对抗网络的部分输入直接输入到网络中，以便网络学习指纹的特征，从而经指纹信息嵌入生成对抗网络。将指纹信息作为生成对抗网络输入的一部分，通过生成对抗网络的生成器输出图像，得到包含指纹信息的图像。可以理解的是，相关技术中，采用在生成对抗网络的训练集中添加指纹信息，利用训练集进行网络训练实现指纹嵌入，但是这种方式学习效率很低，学习一种指纹的特征就需要大量的训练集，而且当需要更换指纹信息来学习时，则需要重新组建训练集，而将指纹信息直接输入到网络中则没有上述的弊端。
本实施例中，所述将指纹信息作为所述生成对抗网络的部分输入，对所述生成对抗网络和所述指纹解码网络进行联合训练之前，还包括：获取指纹长度，根据所述指纹长度确定序列长度；根据所述序列长度生成随机的0-1序列，并将所述0-1序列作为所述指纹信息。即首先，确定嵌入指纹的长度，并随机生成对应长度的由0和1组成的序列作为指纹信息。
本实施例中，所述获取指纹长度，可以包括：获取指纹长度范围；所述指纹长度范围为根据指纹的重复概率以及嵌入和识别难度确定的；在所述指纹长度范围内选取指纹长度。即待嵌入的指纹的长度应该兼顾重复概率低和嵌入、识别容易等因素；可以理解的是，指纹长度太短，可能会导致分配给不同的申请人的指纹完全一致，这不利于后续的溯源工作；若指纹长度太长，会导致图像容易失真，会加大后面网络训练的难度。
本实施例中，所述获取指纹长度，可以包括：获取预设指纹长度。即除了在预设的指纹长度范围内选取长度，也可以直接预设一个指纹长度。进一步需要说明的是，也可以根据实际应用场景，对指纹长度进行调整。
本实施例中，所述将指纹信息作为所述生成对抗网络的部分输入，可以包括：向所述生成对抗网络中添加线性层；所述线性层的输出为所述生成对抗网络中生成器内的映射网络的输入；将用于生成图像的随机噪声和所述指纹信息输入至所述生成对抗网络，利用所述线性层提取所述指纹信息的指纹特征，根据所述随机噪声和所述指纹特征进行网络训练；所述指纹特征的维度与所述映射网络的维度相同。通过改进生成对抗网络的结构，可以使指纹的嵌入更加隐蔽，以达到不影响生成图像质量的目的。例如图2所示一种具体的生成对抗网络结构示意图，对生成对抗网络的结构进行了改进，为了将被编码后的指纹信息作为网络输入的一部分，让指纹信息直接参与图像的生成，并利用生成对抗网络的传递性，使生成的图像都具有指纹信息，本实施例中，生成器的输入除了用于生成图像的噪声外还包括指纹信息，并且通过在生成器前添加一个线性层，用于提取指纹信息的特征，其输出特征维度与生成器中的映射网络保持一致，然后，该指纹信息特征，会作为映射网络的一个输入，参与到后续的图像生成中。由此，可以保证训练好的生成对抗网络输出的图像中包含GAN指纹信息。
本实施例中，所述对所述生成对抗网络和所述指纹解码网络进行联合训练，包括：将所述随机噪声和所述指纹特征输入至所述生成对抗网络的生成器中，得到所述生成器输出的生成图像；将所述生成图像和真实图像输入至所述生成对抗网络的判别器中，利用所述判别器判断所述生成图像的真假，并将判别结果反馈给所述生成器。即首先将预设指纹通过预设好的线性层，用以提取预设指纹的特征，然后将指纹特征和随机噪声一同输入到生成器中，用以生成带有指纹信息的深度伪造图像，判别器的输入为深度伪造图像和真实图像，最终输出深度伪造图像的判别为真或假。
本实施例中，所述指纹解码网络以待检测图像为输入，以待检测图像对应的输入噪声和指纹信息为输出。本实施例中，所述指纹解码网络为基于卷积层、全连接层和激活函数构建的。本实施例设计了一种指纹解码网络，该解码网络的输入是生成对抗网络生成的图像，输出为两部分，一部分是用于生成该图像的噪声，另一部分为嵌入的指纹信息，即指纹解码网络的目标是还原嵌入的指纹信息和生成图像所用的噪声信息。指纹解码网络由一系列的卷积层、全连接层和激活函数组成。即指纹解码网络除了输入层和输出层外，隐藏层由多个卷积层、全连接层和激活函数组成。
本实施例中，所述训练后的指纹解码网络检测图像中的指纹信息的过程，可以包括：通过卷积层和激活函数对所述待检测图像进行特征提取，得到所述待检测图像对应的图像特征；通过下采样层对所述图像特征进行下采样，得到预设尺寸的特征图；通过多个卷积层对所述特征图进行特征提取，并将提取到的特征输入至全连接层；根据所述全连接层的输出，得到所述待检测图像对应的输入噪声对应的特征，以及所述待检测图像对应的指纹信息的特征；通过归一化指数函数生成所述待检测图像对应的指纹信息。
以输入图像分辨率是128×128×3，噪声特征维度为512，指纹特征维度为50举例，具体的操作为：首先，将输入图像进行逐级下采样，具体为通过一个卷积层对输入图像进行特征提取。该卷积层通道数为32，卷积核大小为3×3，步长为1，且采用渗漏的随机纠正线性（LeakyReLU（Rectified Linear Unit））激活函数，接着通过一个下采样层对提取到的特征进行下采样。该下采样层使用了2×2的最大池化操作，将特征图的宽和高分辨率降低至原来的一半，持续上述操作，直至将图像特征图提取为8x8的特征图，然后通过多个卷积层对特征图进行特征提取，最后通过1个全连接层输出维度为562的特征，其中512维为输入噪声，50维为GAN指纹信息。再将GAN指纹信息的特征通过归一化指数函数（softmax函数），得到GAN指纹信息的0/1表达形式。特别需要说明的是，本处为举例说明，实际操作中，图像的分辨率，卷积通道的设定，卷积核的设定，指纹的长度，输入噪声和指纹信息的维度等参数，都可以按照需求，自行修改。
本实施例中，所述指纹解码网络的输入为所述生成对抗网络中生成器输出的生成图像，所述指纹解码网络输出的解码信息反馈给所述生成器；生成对抗网络中判别器的输入为所述生成器输出的生成图像，所述判别器输出的判别结果反馈给所述生成器。例如图3所示为一种具体的指纹嵌入及识别系统，为生成器、判别器和指纹解码网络联合训练示意图。生成器输出的生成图像输入给判别器，判别器判定其真假，并反馈给生成器，督促生成器生成以假乱真的图像；生成器将生成图像输入指纹解码网络，指纹解码网络根据图像，解码出对应的指纹信息和生成该图像的噪声，并将信息反馈给生成器，督促生成器调整生成图像时的策略，二者最终达到既能生成带有嵌入指纹信息的图像，又可以做到准确的指纹解码的目的。即图5中各模块组合在一起，形成指纹嵌入和识别系统，用以对待鉴定图像进行检测和溯源。通过改进生成对抗网络的结构和设计解码网络，进一步保证了指纹嵌入的效率和识别的准确度，从而提升生成对抗网络联合训练和溯源的准确率。
本实施例中，所述对所述生成对抗网络和所述指纹解码网络进行联合训练，包括：根据所述指纹解码网络的损失、所述生成对抗网络中生成器的损失和判别器的损失构造联合损失函数；利用所述联合损失函数对所述生成对抗网络和所述指纹解码网络进行联合训练。即综合指纹解码网络的损失、生成对抗网络中生成器的损失和判别器的损失构造联合损失函数，再利用联合损失函数对生成对抗网络和指纹解码网络进行联合训练，联合训练生成对抗网络和指纹解码网络，可以提高网络识别的准确性并节约训练成本。可见，通过改进生成对抗网络的网络结构、构建指纹解码网络，并构建联合损失函数进行联合训练，提高生成对抗网络和指纹解码网络的综合能力，进而提高深度伪造图像识别的能力。
本实施例中，所述根据所述指纹解码网络的损失、所述生成对抗网络中生成器的损失和判别器的损失构造联合损失函数，包括：分别为所述指纹解码网络的每类损失对应的子损失函数、所述生成对抗网络中生成器的每类损失对应的子损失函数和判别器的每类损失对应的子损失函数配置超参数；基于所有子损失函数，以及每个子损失函数对应的超参数构建得到所述联合损失函数。即生成器的损失可能包含一种或多种，需要为每种损失配置对应的超参数，判别器和指纹解码网络同理。
本实施例中，所述生成器对应的子损失函数包括第一子损失函数和第二子损失函数；所述第一子损失函数用于表征生成器生成的图像与真实图像之间的差距，所述第二子损失函数用于表征同一噪声下不同指纹信息作为输入时生成图像的差距。即生成器具体包含两类损失，一类是生成器生成的图像与真实图像之间的差距，一类是同一噪声下不同指纹信息作为输入时生成图像的差距。
本实施例中，所述判别器对应的子损失函数包括第三子损失函数和第四子损失函数；所述第三子损失函数用于表征判别器对真实图像及生成图像的判别与实际的差距，所述第四子损失函数用于表征判别器对相同噪声下不同指纹生成的图像的判别的差距。即判别器具体包含两类损失，一类是表征判别器对真实图像及生成图像的判别与实际的差距，一类是判别器对相同噪声下不同指纹生成的图像的判别的差距。
本实施例中，所述指纹解码网络对应的子损失函数包括第五子损失函数和第六子损失函数；所述第五子损失函数用于表征纹解码网络输出的解码后指纹与实际指纹信息的差距，所述第六子损失函数用于表征纹解码网络输出的解码后噪声与实际噪声信息的差距。即指纹解码网络具体包含两类损失，一类是纹解码网络输出的解码后指纹与实际指纹信息的差距，一类是解码网络输出的解码后噪声与实际噪声信息的差距。
本实施例中，所述联合损失函数为：
；
其中，其中G（•）表示生成器，D（•）表示判别器，F（•）表示指纹解码网络；G（z，c）表示生成器生成的图片，生成器输入为噪声z和指纹信息c；x表示真实图像，表示指纹信息为ci时解码器解码出的指纹，/>表示二范数的平方，F(G(z，c))表示解码器解码出的用以生成图像的噪声，/>均为超参数。
联合损失函数第一部分是生成器损失，即生成器对应的第一子损失函数，含义是用于衡量生成器生成的图像与真实图像之间的差距；第二部分也是生成器损失，即生成器对应的第二子损失函数/>，表示同一噪声，不同指纹作为输入时，生成图像的距离，以此约束生成器，使其在同一噪声不同指纹的情况下，生成的图像保持一致。第三部分是判别器损失，即判别器对应的第三子损失函数，为了约束判别器对真实数据和虚假数据的分类，其作用是使判别器能够正确的区分真实图像和合成图像；第四部分是判别器损失，即判别器对应的第四子损失函数/>，其作用是，由同一噪声不同指纹生成的图像，判别器应该有相同的判别度。第五部分是解码器损失，即指纹解码网络对应的第五子损失函数/>，用以约束指纹解码网络，其作用是使指纹解码网络的输出指纹与图像中嵌入的指纹保持一致；第六部分也是解码网络损失，即指纹解码网络对应的第六子损失函数/>，是输入的噪声变量z与指纹解码器对生成图像解码后的噪声z的欧式距离，二者欧氏距离越近，则说明指纹解码器的准确度越高，因此可以从另一个维度来约束指纹解码器的准确度。/>均为超参数。在实施例中，优选的，/>，/>。当然，也可以根据实际情况，设置上述超参数的具体数值。
可见，综合指纹解码网络的损失、生成对抗网络中生成器的损失和判别器的损失构造联合损失函数，再利用联合损失函数对生成对抗网络和指纹解码网络进行联合训练，联合训练生成对抗网络和指纹解码网络，可以提高网络识别的准确性并节约训练成本。
本实施例中，所述得到训练后的生成对抗网络和训练后的指纹解码网络之后，还包括：将所述训练后的生成对抗网络发布给申请者，以便所述申请者利用所述指纹嵌入后的生成对抗网络进行图像生成，得到新生成图像；所述新生成图像中包含所述指纹信息。即生成者可以利用该网络进行图像生成，但生成的图像中会包含指纹信息。
本实施例中，获取发布者构建的生成对抗网络，以及预先构建的指纹解码网络；将指纹信息作为所述生成对抗网络的部分输入，对所述生成对抗网络和所述指纹解码网络进行联合训练，得到训练后的生成对抗网络和训练后的指纹解码网络；其中，所述训练后的生成对抗网络中嵌入有所述指纹信息，所述训练后的生成对抗网络生成的图像包含所述指纹信息，所述训练后的指纹解码网络用于检测图像中的指纹信息；其中，所述生成对抗网络包括生成器和判别器，所述指纹解码网络的输入为所述生成器输出的生成图像，所述指纹解码网络输出的解码信息反馈给所述生成器；所述判别器的输入为所述生成器输出的生成图像，所述判别器输出的判别结果反馈给所述生成器。
可见，通过将指纹信息直接作为生成对抗网络的输入，使生成对抗网络高效率的学习指纹的特征，以便在生成对抗网络隐写嵌入特定的指纹信息，使生成对抗网络生成的图像中隐藏有指纹信息，并通过对生成对抗网络和指纹解码网络进行联合训练，以便利用训练后的指纹解码网络进行指纹解码，提高指纹解码的速率和准确度，提高指纹嵌入和识别能力，从而实现对深度伪造图像进行高效并准确的检测。
本发明实施例公开了一种深度伪造图像检测方法，参见图4所示，该方法可以包括以下步骤：
步骤S21：获取待检测图像，并通过所述训练后的指纹解码网络检测所述待检测图像的指纹信息。
本实施例中，获取待检测图像，此时的待检测图像可能是利用嵌入了指纹信息的生成对抗网络生成的，也可能不是，通过指纹解码网络检测待检测图像的指纹信息，即嵌入图片的指纹信息并不会影响图片的显示，直观去看是无法辨析的，因此本实施例中通过构建的指纹解码网络解析指纹，也就是说，指纹解码网络可以解码出图像中隐写的指纹信息。最后根据检测结果判断是否为深度伪造图像，即在前期为生成对抗网络添加特定的信息，在后期对该特定信息进行检测，来进行深度伪造图像的识别和追溯其来源。由此，利用指纹解码网络对初步解析出的指纹的检错和纠错，提升指纹识别的准确率，进而提升深度伪造图像的检测和溯源的准确度。本实施例可用于社交媒体监管、新闻、广告监管等多个领域，在帮助企业和个人防止虚假信息传播等方面发挥重要作用。
本实施例中，对深度伪造图像的检测和溯源依赖于指纹的检测和识别，类比人的指纹，由于每个人都有其独特的指纹，因此可以根据指纹来判别人的身份。相同的，指纹信息是随机生成的，每一个生成对抗网络生成的图像也都有其独特的被隐写的指纹信息，只要能够识别这一信息，即可对深度伪造图像进行检测和溯源。
步骤S22：根据检测结果判断所述待检测图像是否为所述训练后的生成对抗网络生成的图像。
即若检测出包含指纹信息即可认为是利用生成对抗网络生成的深度伪造图像，若为检测出指纹可以认为是正常图像。
步骤S23：若是所述训练后的生成对抗网络生成的图像，则判定所述待检测图像为深度伪造图像。
也即若检测出待检测图像包含指纹信息，则判定待检测图像为深度伪造图像；若未检测出待检测图像包含指纹信息，则判定待检测图像不是深度伪造图像。
本实施例中，所述判定所述待检测图像为深度伪造图像之后，还包括：根据所述待检测图像包含的目标指纹信息和映射关系进行深度伪造图像溯源；所述映射关系为根据申请者使用生成对抗网络的情况构建的申请者与生成对抗网络的映射关系。
即根据申请者与生成对抗网络的使用关系，构建申请者与生成对抗网络的映射关系，比如申请者A的指纹是x，申请者B的指纹是y，由此可以基于指纹信息查询指纹与网络的映射关系确定出深度伪造图像对应的生成对抗网络，再查询申请者与生成对抗网络的映射关系，确定制造深度伪造图像的申请者，由此实现深度伪造图像的溯源。也就是说，记录申请人和指纹的对应关系，并建立一个申请人和指纹一一对应的数据库，用以存储申请人和指纹的对应关系，以此来进行后续的溯源工作。当后续出现深度伪造图像的滥用情景时，通过检测该深度伪造图像中的指纹，即可追溯其来源。特别说明的是，为了提高深度伪造图像中，指纹的嵌入和检测精度，特意改进了相关的生成对抗网络结构，并设计相应的指纹解码网络。
本实施例中，在判定待检测图像为深度伪造图像时，根据待检测图像包含的目标指纹信息和映射关系进行深度伪造图像溯源，确定生成伪造图像的申请者。即将待检测的图像，输入到指纹解码网络中，得到解析出的指纹信息，再将其与预先存好的指纹信息进行比对，若发现能比对上，则检测和溯源取得成功。根据申请者与生成对抗网络的使用关系，构建申请者与生成对抗网络的映射关系，由此可以基于指纹信息查询指纹与网络的映射关系确定出深度伪造图像对应的生成对抗网络，再查询申请者与生成对抗网络的映射关系，确定制造深度伪造图像的申请者，由此实现深度伪造图像的溯源。
由上可见，本实施例中获取待检测图像，并通过所述训练后的指纹解码网络检测所述待检测图像的指纹信息；根据检测结果判断所述待检测图像是否为所述训练后的生成对抗网络生成的图像；若是所述训练后的生成对抗网络生成的图像，则判定所述待检测图像为深度伪造图像。通过将指纹信息直接作为生成对抗网络的输入进行网络训练，使生成对抗网络高效率的学习指纹的特征，以便在生成对抗网络隐写嵌入特定的指纹信息，使生成对抗网络生成的图像中隐藏有指纹信息，再通过指纹解码网络进行指纹解码，利用指纹解码网络提高指纹解码的速率和准确度，提高指纹嵌入和识别能给，从而实现对深度伪造图像进行高效并准确的检测。
相应的，本发明实施例还公开了一种生成对抗网络联合训练装置，参见图5所示，该装置包括：
网络获取模块11，用于获取发布者构建的生成对抗网络，以及预先构建的指纹解码网络；
网络训练模块12，用于将指纹信息作为所述生成对抗网络的部分输入，对所述生成对抗网络和所述指纹解码网络进行联合训练，得到训练后的生成对抗网络和训练后的指纹解码网络；
其中，所述训练后的生成对抗网络中嵌入有所述指纹信息，所述训练后的生成对抗网络生成的图像包含所述指纹信息，所述训练后的指纹解码网络用于检测图像中的指纹信息；其中，所述生成对抗网络包括生成器和判别器，所述指纹解码网络的输入为所述生成器输出的生成图像，所述指纹解码网络输出的解码信息反馈给所述生成器；所述判别器的输入为所述生成器输出的生成图像，所述判别器输出的判别结果反馈给所述生成器。
由上可见，获取发布者构建的生成对抗网络，以及预先构建的指纹解码网络；将指纹信息作为所述生成对抗网络的部分输入，对所述生成对抗网络和所述指纹解码网络进行联合训练，得到训练后的生成对抗网络和训练后的指纹解码网络；其中，所述训练后的生成对抗网络中嵌入有所述指纹信息，所述训练后的生成对抗网络生成的图像包含所述指纹信息，所述训练后的指纹解码网络用于检测图像中的指纹信息；其中，所述生成对抗网络包括生成器和判别器，所述指纹解码网络的输入为所述生成器输出的生成图像，所述指纹解码网络输出的解码信息反馈给所述生成器；所述判别器的输入为所述生成器输出的生成图像，所述判别器输出的判别结果反馈给所述生成器。
可见，通过将指纹信息直接作为生成对抗网络的输入，使生成对抗网络高效率的学习指纹的特征，以便在生成对抗网络隐写嵌入特定的指纹信息，使生成对抗网络生成的图像中隐藏有指纹信息，并通过对生成对抗网络和指纹解码网络进行联合训练，以便利用训练后的指纹解码网络进行指纹解码，提高指纹解码的速率和准确度，提高指纹嵌入和识别能力，从而实现对深度伪造图像进行高效并准确的检测。
在一些具体实施例中，所述网络训练模块，用于具体可以包括：
联合损失函数构建单元，用于根据所述指纹解码网络的损失、所述生成对抗网络中生成器的损失和判别器的损失构造联合损失函数；
训练单元，用于利用所述联合损失函数对所述生成对抗网络和所述指纹解码网络进行联合训练。
在一些具体实施例中，所述联合损失函数构建单元具体可以包括：
超参数配置单元，用于分别为所述指纹解码网络的每类损失对应的子损失函数、所述生成对抗网络中生成器的每类损失对应的子损失函数和判别器的每类损失对应的子损失函数配置超参数；
函数构建单元，用于基于所有子损失函数，以及每个子损失函数对应的超参数构建得到所述联合损失函数。
在一些具体实施例中，所述生成器对应的子损失函数包括第一子损失函数和第二子损失函数；所述第一子损失函数用于表征生成器生成的图像与真实图像之间的差距，所述第二子损失函数用于表征同一噪声下不同指纹信息作为输入时生成图像的差距。
在一些具体实施例中，所述判别器对应的子损失函数包括第三子损失函数和第四子损失函数；所述第三子损失函数用于表征判别器对真实图像及生成图像的判别与实际的差距，所述第四子损失函数用于表征判别器对相同噪声下不同指纹生成的图像的判别的差距。
在一些具体实施例中，所述指纹解码网络对应的子损失函数包括第五子损失函数和第六子损失函数；所述第五子损失函数用于表征纹解码网络输出的解码后指纹与实际指纹信息的差距，所述第六子损失函数用于表征纹解码网络输出的解码后噪声与实际噪声信息的差距。
在一些具体实施例中，所述联合损失函数为：
；
其中，其中G（•）表示生成器，D（•）表示判别器，F（•）表示指纹解码网络；G（z，c）表示生成器生成的图片，生成器输入为噪声z和指纹信息c；x表示真实图像，表示指纹信息为ci时解码器解码出的指纹，/>表示二范数的平方，F(G(z，c))表示解码器解码出的用以生成图像的噪声，/>均为超参数。
在一些具体实施例中，所述网络训练模块12具体可以包括：
线性层添加单元，用于向所述生成对抗网络中添加线性层；所述线性层的输出为所述生成对抗网络中生成器内的映射网络的输入；
训练单元，用于将用于生成图像的随机噪声和所述指纹信息输入至所述生成对抗网络，利用所述线性层提取所述指纹信息的指纹特征，根据所述随机噪声和所述指纹特征进行网络训练；所述指纹特征的维度与所述映射网络的维度相同。
在一些具体实施例中，所述网络训练模块12具体可以包括：
生成器训练单元，用于将所述随机噪声和所述指纹特征输入至所述生成对抗网络的生成器中，得到所述生成器输出的生成图像；
判别器训练单元，用于将所述生成图像和真实图像输入至所述生成对抗网络的判别器中，利用所述判别器判断所述生成图像的真假，并将判别结果反馈给所述生成器。
在一些具体实施例中，所述指纹解码网络具体可以为以待检测图像为输入，以待检测图像对应的输入噪声和指纹信息为输出。
在一些具体实施例中，所述指纹解码网络具体可以为基于卷积层、全连接层和激活函数构建的。
在一些具体实施例中，所述训练后的指纹解码网络用于通过卷积层和激活函数对所述待检测图像进行特征提取，得到所述待检测图像对应的图像特征；通过下采样层对所述图像特征进行下采样，得到预设尺寸的特征图；通过多个卷积层对所述特征图进行特征提取，并将提取到的特征输入至全连接层；根据所述全连接层的输出，得到所述待检测图像对应的输入噪声对应的特征，以及所述待检测图像对应的指纹信息的特征；通过归一化指数函数生成所述待检测图像对应的指纹信息。
在一些具体实施例中，所述生成对抗网络联合训练装置具体可以包括：
指纹长度获取单元，用于获取指纹长度，根据所述指纹长度确定序列长度；
指纹信息生成单元，用于根据所述序列长度生成随机的0-1序列，并将所述0-1序列作为所述指纹信息。
在一些具体实施例中，所述指纹长度获取单元具体可以包括：
指纹长度范围获取单元，用于获取指纹长度范围；所述指纹长度范围为根据指纹的重复概率以及嵌入和识别难度确定的；
指纹长度选取单元，用于在所述指纹长度范围内选取指纹长度。
在一些具体实施例中，所述指纹长度获取单元具体可以包括：
预设指纹长度获取单元，用于获取预设指纹长度。
在一些具体实施例中，所述生成对抗网络联合训练装置具体可以包括：
发布单元，用于将所述训练后的生成对抗网络发布给申请者，以便所述申请者利用所述指纹嵌入后的生成对抗网络进行图像生成，得到新生成图像；所述新生成图像中包含所述指纹信息。
相应的，本发明实施例还公开了一种深度伪造图像检测装置，参见图6所示，该装置包括：
图像获取模块21，用于获取待检测图像，并通过如前述的训练后的指纹解码网络检测所述待检测图像的指纹信息；
图像生成判断模块22，用于根据检测结果判断所述待检测图像是否为所述训练后的生成对抗网络生成的图像；
深度伪造图像判定模块23，用于若是所述训练后的生成对抗网络生成的图像，则判定所述待检测图像为深度伪造图像。
由上可见，本实施例中获取待检测图像，并通过所述训练后的指纹解码网络检测所述待检测图像的指纹信息；根据检测结果判断所述待检测图像是否为所述训练后的生成对抗网络生成的图像；若是所述训练后的生成对抗网络生成的图像，则判定所述待检测图像为深度伪造图像。通过将指纹信息直接作为生成对抗网络的输入进行网络训练，使生成对抗网络高效率的学习指纹的特征，以便在生成对抗网络隐写嵌入特定的指纹信息，使生成对抗网络生成的图像中隐藏有指纹信息，再通过指纹解码网络进行指纹解码，利用指纹解码网络提高指纹解码的速率和准确度，提高指纹嵌入和识别能给，从而实现对深度伪造图像进行高效并准确的检测。
在一些具体实施例中，所述深度伪造图像检测装置具体可以包括：
溯源单元，用于根据所述待检测图像包含的目标指纹信息和映射关系进行深度伪造图像溯源；所述映射关系为根据申请者使用生成对抗网络的情况构建的申请者与生成对抗网络的映射关系。
进一步的，本发明实施例还公开了一种电子设备参见图7所示，图中的内容不能被认为是对本申请的使用范围的任何限制。图7为本申请实施例提供的一种电子设备30的结构示意图。该电子设备30，具体可以包括：至少一个处理器31、至少一个存储器32、电源33、通信接口34、输入输出接口35和通信总线36。其中，所述存储器32用于存储计算机程序，所述计算机程序由所述处理器31加载并执行，以实现前述任一实施例公开的生成对抗网络联合训练方法中的相关步骤，以及深度伪造图像检测方法中的相关步骤。
本实施例中，电源33用于为电子设备30上的各硬件设备提供工作电压；通信接口34能够为电子设备30创建与外界设备之间的数据传输通道，其所遵循的通信协议是能够适用于本发明技术方案的任意通信协议，在此不对其进行具体限定；输入输出接口35，用于获取外界输入数据或向外界输出数据，其具体的接口类型可以根据具体应用需要进行选取，在此不进行具体限定。
另外，存储器32作为资源存储的载体，可以是只读存储器、随机存储器、磁盘或者光盘等，其上所存储的资源包括操作系统321、计算机程序322及包括联合损失函数构建单元在内的数据323等，存储方式可以是短暂存储或者永久存储。
其中，操作系统321用于管理与控制电子设备30上的各硬件设备以及计算机程序322，以实现处理器31对存储器32中海量数据323的运算与处理，其可以是WindowsServer、Netware、Unix、Linux等。计算机程序322除了包括能够用于完成前述任一实施例公开的由电子设备30执行的深度伪造图像检测方法以及深度伪造图像检测方法的计算机程序之外，还可以进一步包括能够用于完成其他特定工作的计算机程序。
进一步的，本发明实施例还公开了一种计算机存储介质，所述计算机存储介质中存储有计算机可执行指令，所述计算机可执行指令被处理器加载并执行时，实现前述任一实施例公开的生成对抗网络联合训练方法步骤，以及深度伪造图像检测方法中的相关步骤。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器（RAM）、内存、只读存储器（ROM）、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上对本发明所提供的一种生成对抗网络联合训练方法、装置、设备及介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (22)

1.一种生成对抗网络联合训练方法，其特征在于，包括：
获取发布者构建的生成对抗网络，以及预先构建的指纹解码网络；
将指纹信息作为所述生成对抗网络的部分输入，对所述生成对抗网络和所述指纹解码网络进行联合训练，得到训练后的生成对抗网络和训练后的指纹解码网络；
其中，所述训练后的生成对抗网络中嵌入有所述指纹信息，所述训练后的生成对抗网络生成的图像包含所述指纹信息，所述训练后的指纹解码网络用于检测图像中的指纹信息；其中，所述生成对抗网络包括生成器和判别器，所述指纹解码网络的输入为所述生成器输出的生成图像，所述指纹解码网络输出的解码信息反馈给所述生成器；所述判别器的输入为所述生成器输出的生成图像，所述判别器输出的判别结果反馈给所述生成器。
2.根据权利要求1所述的生成对抗网络联合训练方法，其特征在于，所述对所述生成对抗网络和所述指纹解码网络进行联合训练，包括：
根据所述指纹解码网络的损失、所述生成对抗网络中生成器的损失和判别器的损失构造联合损失函数；
利用所述联合损失函数对所述生成对抗网络和所述指纹解码网络进行联合训练。
3.根据权利要求2所述的生成对抗网络联合训练方法，其特征在于，所述根据所述指纹解码网络的损失、所述生成对抗网络中生成器的损失和判别器的损失构造联合损失函数，包括：
分别为所述指纹解码网络的每类损失对应的子损失函数、所述生成对抗网络中生成器的每类损失对应的子损失函数和判别器的每类损失对应的子损失函数配置超参数；
基于所有子损失函数，以及每个子损失函数对应的超参数构建得到所述联合损失函数。
4.根据权利要求3所述的生成对抗网络联合训练方法，其特征在于，所述生成器对应的子损失函数包括第一子损失函数和第二子损失函数；所述第一子损失函数用于表征生成器生成的图像与真实图像之间的差距，所述第二子损失函数用于表征同一噪声下不同指纹信息作为输入时生成图像的差距。
5.根据权利要求3所述的生成对抗网络联合训练方法，其特征在于，所述判别器对应的子损失函数包括第三子损失函数和第四子损失函数；所述第三子损失函数用于表征判别器对真实图像及生成图像的判别与实际的差距，所述第四子损失函数用于表征判别器对相同噪声下不同指纹生成的图像的判别的差距。
6.根据权利要求3所述的生成对抗网络联合训练方法，其特征在于，所述指纹解码网络对应的子损失函数包括第五子损失函数和第六子损失函数；所述第五子损失函数用于表征纹解码网络输出的解码后指纹与实际指纹信息的差距，所述第六子损失函数用于表征纹解码网络输出的解码后噪声与实际噪声信息的差距。
7.根据权利要求3所述的生成对抗网络联合训练方法，其特征在于，所述联合损失函数为：
；
其中，其中G（•）表示生成器，D（•）表示判别器，F（•）表示指纹解码网络；G（z，c）表示生成器生成的图片，生成器输入为噪声z和指纹信息c；x表示真实图像，表示指纹信息为ci时解码器解码出的指纹，/>表示二范数的平方，F(G(z，c))表示解码器解码出的用以生成图像的噪声；/>均为超参数。
8.根据权利要求1所述的生成对抗网络联合训练方法，其特征在于，所述将指纹信息作为所述生成对抗网络的部分输入，包括：
向所述生成对抗网络中添加线性层；所述线性层的输出为所述生成对抗网络中生成器内的映射网络的输入；
将用于生成图像的随机噪声和所述指纹信息输入至所述生成对抗网络，利用所述线性层提取所述指纹信息的指纹特征，根据所述随机噪声和所述指纹特征进行网络训练；所述指纹特征的维度与所述映射网络的维度相同。
9.根据权利要求8所述的生成对抗网络联合训练方法，其特征在于，所述对所述生成对抗网络和所述指纹解码网络进行联合训练，包括：
将所述随机噪声和所述指纹特征输入至所述生成对抗网络的生成器中，得到所述生成器输出的生成图像；
将所述生成图像和真实图像输入至所述生成对抗网络的判别器中，利用所述判别器判断所述生成图像的真假，并将判别结果反馈给所述生成器。
10.根据权利要求1所述的生成对抗网络联合训练方法，其特征在于，所述指纹解码网络以待检测图像为输入，以待检测图像对应的输入噪声和指纹信息为输出。
11.根据权利要求10所述的生成对抗网络联合训练方法，其特征在于，所述指纹解码网络为基于卷积层、全连接层和激活函数构建的。
12.根据权利要求11所述的生成对抗网络联合训练方法，其特征在于，所述训练后的指纹解码网络检测图像中的指纹信息的过程，包括：
通过卷积层和激活函数对所述待检测图像进行特征提取，得到所述待检测图像对应的图像特征；
通过下采样层对所述图像特征进行下采样，得到预设尺寸的特征图；
通过多个卷积层对所述特征图进行特征提取，并将提取到的特征输入至全连接层；
根据所述全连接层的输出，得到所述待检测图像对应的输入噪声对应的特征，以及所述待检测图像对应的指纹信息的特征；
通过归一化指数函数生成所述待检测图像对应的指纹信息。
13.根据权利要求1所述的生成对抗网络联合训练方法，其特征在于，所述将指纹信息作为所述生成对抗网络的部分输入，对所述生成对抗网络和所述指纹解码网络进行联合训练之前，还包括：
获取指纹长度，根据所述指纹长度确定序列长度；
根据所述序列长度生成随机的0-1序列，并将所述0-1序列作为所述指纹信息。
14.根据权利要求13所述的生成对抗网络联合训练方法，其特征在于，所述获取指纹长度，包括：
获取指纹长度范围；所述指纹长度范围为根据指纹的重复概率以及嵌入和识别难度确定的；
在所述指纹长度范围内选取指纹长度。
15.根据权利要求13所述的生成对抗网络联合训练方法，其特征在于，所述获取指纹长度，包括：
获取预设指纹长度。
16.根据权利要求1至15任一项所述的生成对抗网络联合训练方法，其特征在于，所述得到训练后的生成对抗网络和训练后的指纹解码网络之后，还包括：
将所述训练后的生成对抗网络发布给申请者，以便所述申请者利用所述指纹嵌入后的生成对抗网络进行图像生成，得到新生成图像；所述新生成图像中包含所述指纹信息。
17.一种深度伪造图像检测方法，其特征在于，应用于如权利要求1至16任一项所述的训练后的指纹解码网络，包括：
获取待检测图像，并通过所述训练后的指纹解码网络检测所述待检测图像的指纹信息；
根据检测结果判断所述待检测图像是否为所述训练后的生成对抗网络生成的图像；
若是所述训练后的生成对抗网络生成的图像，则判定所述待检测图像为深度伪造图像。
18.根据权利要求17所述的深度伪造图像检测方法，其特征在于，所述判定所述待检测图像为深度伪造图像之后，还包括：
根据所述待检测图像包含的目标指纹信息和映射关系进行深度伪造图像溯源；所述映射关系为根据申请者使用生成对抗网络的情况构建的申请者与生成对抗网络的映射关系。
19.一种生成对抗网络联合训练装置，其特征在于，包括：
网络获取模块，用于获取发布者构建的生成对抗网络，以及预先构建的指纹解码网络；
网络训练模块，用于将指纹信息作为所述生成对抗网络的部分输入，对所述生成对抗网络和所述指纹解码网络进行联合训练，得到训练后的生成对抗网络和训练后的指纹解码网络；
其中，所述训练后的生成对抗网络中嵌入有所述指纹信息，所述训练后的生成对抗网络生成的图像包含所述指纹信息，所述训练后的指纹解码网络用于检测图像中的指纹信息；其中，所述生成对抗网络包括生成器和判别器，所述指纹解码网络的输入为所述生成器输出的生成图像，所述指纹解码网络输出的解码信息反馈给所述生成器；所述判别器的输入为所述生成器输出的生成图像，所述判别器输出的判别结果反馈给所述生成器。
20.一种深度伪造图像检测装置，其特征在于，包括：
图像获取模块，用于获取待检测图像，并通过如权利要求1至16任一项所述训练后的指纹解码网络检测所述待检测图像的指纹信息；
图像生成判断模块，用于根据检测结果判断所述待检测图像是否为所述训练后的生成对抗网络生成的图像；
深度伪造图像判定模块，用于若是所述训练后的生成对抗网络生成的图像，则判定所述待检测图像为深度伪造图像。
21.一种电子设备，其特征在于，包括：
存储器，用于保存计算机程序；
处理器，用于执行所述计算机程序，以实现如权利要求1至16任一项所述的生成对抗网络联合训练方法，以及权利要求17或18所述的深度伪造图像检测方法。
22.一种计算机可读存储介质，其特征在于，用于存储计算机程序；其中计算机程序被处理器执行时实现如权利要求1至16任一项所述的生成对抗网络联合训练方法，以及权利要求17或18所述的深度伪造图像检测方法。
CN202311096567.9A 2023-08-29 2023-08-29 一种生成对抗网络联合训练方法、装置、设备及存储介质 Active CN116822623B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311096567.9A CN116822623B (zh) 2023-08-29 2023-08-29 一种生成对抗网络联合训练方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311096567.9A CN116822623B (zh) 2023-08-29 2023-08-29 一种生成对抗网络联合训练方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN116822623A true CN116822623A (zh) 2023-09-29
CN116822623B CN116822623B (zh) 2024-01-12

Family

ID=88141413

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311096567.9A Active CN116822623B (zh) 2023-08-29 2023-08-29 一种生成对抗网络联合训练方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN116822623B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117787171A (zh) * 2023-12-25 2024-03-29 苏州异格技术有限公司 基于多判别器的cgan图像转换的fpga拥塞预测方法及装置
CN117809139A (zh) * 2024-02-29 2024-04-02 苏州元脑智能科技有限公司 合成图像识别的网络训练方法以及合成图像识别方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109447906A (zh) * 2018-11-08 2019-03-08 北京印刷学院 一种基于生成对抗网络的图片合成方法
CN113870371A (zh) * 2021-12-03 2021-12-31 浙江霖研精密科技有限公司 基于生成对抗网络的图片颜色变换装置、方法和存储介质
WO2022126480A1 (zh) * 2020-12-17 2022-06-23 深圳先进技术研究院 基于Wasserstein生成对抗网络模型的高能图像合成方法、装置
CN115830723A (zh) * 2023-02-23 2023-03-21 苏州浪潮智能科技有限公司 一种训练集图像的相关方法和相关装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109447906A (zh) * 2018-11-08 2019-03-08 北京印刷学院 一种基于生成对抗网络的图片合成方法
WO2022126480A1 (zh) * 2020-12-17 2022-06-23 深圳先进技术研究院 基于Wasserstein生成对抗网络模型的高能图像合成方法、装置
CN113870371A (zh) * 2021-12-03 2021-12-31 浙江霖研精密科技有限公司 基于生成对抗网络的图片颜色变换装置、方法和存储介质
CN115830723A (zh) * 2023-02-23 2023-03-21 苏州浪潮智能科技有限公司 一种训练集图像的相关方法和相关装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117787171A (zh) * 2023-12-25 2024-03-29 苏州异格技术有限公司 基于多判别器的cgan图像转换的fpga拥塞预测方法及装置
CN117809139A (zh) * 2024-02-29 2024-04-02 苏州元脑智能科技有限公司 合成图像识别的网络训练方法以及合成图像识别方法
CN117809139B (zh) * 2024-02-29 2024-05-03 苏州元脑智能科技有限公司 合成图像识别的网络训练方法以及合成图像识别方法

Also Published As

Publication number Publication date
CN116822623B (zh) 2024-01-12

Similar Documents

Publication Publication Date Title
Al-Qershi et al. Evaluation of copy-move forgery detection: datasets and evaluation metrics
CN112487365B (zh) 信息隐写方法及信息检测方法及装置
CN111444873A (zh) 视频中人物真伪的检测方法、装置、电子设备及存储介质
Kadam et al. [Retracted] Efficient Approach towards Detection and Identification of Copy Move and Image Splicing Forgeries Using Mask R‐CNN with MobileNet V1
CN116822623B (zh) 一种生成对抗网络联合训练方法、装置、设备及存储介质
Wei et al. Controlling neural learning network with multiple scales for image splicing forgery detection
WO2019017178A1 (en) METHOD AND APPARATUS FOR DYNAMICALLY IDENTIFYING A USER OF AN ACCOUNT FOR DISPLAYING IMAGES
CN104636764A (zh) 一种图像隐写分析方法以及其装置
Li et al. Steganographic security analysis from side channel steganalysis and its complementary attacks
CN109710628B (zh) 信息处理方法及装置、系统、计算机及可读存储介质
Ouyang et al. A semi-fragile watermarking tamper localization method based on QDFT and multi-view fusion
Shen et al. HQA‐Trans: An end‐to‐end high‐quality‐awareness image translation framework for unsupervised cross‐domain pedestrian detection
CN112041847A (zh) 提供具有隐私标签的图像
Huang et al. Robust simultaneous localization and mapping in low‐light environment
Waleed et al. Comprehensive display of digital image copy-move forensics techniques
CN116911883A (zh) 基于ai鉴真技术和溯源量化的农产防伪溯源方法及云平台
CN116824647A (zh) 图像伪造识别方法、网络训练方法、装置、设备及介质
CN116740794A (zh) 人脸伪造图像鉴别方法、系统、设备及存储介质
Valehi et al. A graph matching algorithm for user authentication in data networks using image-based physical unclonable functions
Chowdhury et al. Review on deep fake: A looming technological threat
Partala et al. Improving robustness of biometric identity determination with digital watermarking
Prabakar et al. Hybrid deep learning model for copy move image forgery detection
Lee et al. Mobile‐based flower species recognition in the natural environment
de Jongh et al. Performance evaluation of automated fingerprint identification systems for specific conditions observed in casework using simulated fingermarks
CN113628089A (zh) 图像处理方法、装置、存储介质及计算机设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant