CN114841340A - 深度伪造算法的识别方法、装置、电子设备及存储介质 - Google Patents

深度伪造算法的识别方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN114841340A
CN114841340A CN202210431851.6A CN202210431851A CN114841340A CN 114841340 A CN114841340 A CN 114841340A CN 202210431851 A CN202210431851 A CN 202210431851A CN 114841340 A CN114841340 A CN 114841340A
Authority
CN
China
Prior art keywords
image
network
authenticity
face
algorithm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210431851.6A
Other languages
English (en)
Other versions
CN114841340B (zh
Inventor
王淳
曾定衡
周迅溢
王洪斌
蒋宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mashang Xiaofei Finance Co Ltd
Original Assignee
Mashang Xiaofei Finance Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mashang Xiaofei Finance Co Ltd filed Critical Mashang Xiaofei Finance Co Ltd
Priority to CN202210431851.6A priority Critical patent/CN114841340B/zh
Publication of CN114841340A publication Critical patent/CN114841340A/zh
Application granted granted Critical
Publication of CN114841340B publication Critical patent/CN114841340B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation

Abstract

本申请公开了一种深度伪造算法的识别方法、装置、电子设备及存储介质，涉及人工智能领域。在本申请的实施例中，可以预先对N个目标伪造算法分别训练一个特征提取网络，再利用N个特征提取网络对待识别人脸图像提取N个人脸特征，这N个人脸特征可以反映出各个目标伪造算法的特性，接着根据N个人脸特征确定出属于各个目标伪造算法的概率，进而通过比较概率值即可确定出待识别人脸图像究竟由哪种目标伪造算法制作得到，可以丰富伪造检测技术的功能。

Description

深度伪造算法的识别方法、装置、电子设备及存储介质
技术领域
本申请涉及人工智能技术领域，尤其涉及一种深度伪造算法的识别方法、装置、电子设备及存储介质。
背景技术
在基于图像、视频的相关人脸识别技术的普及过程中，图像、视频的安全性显得尤为重要。然而，随着人脸伪造技术的日益成熟，伪造人脸出现的概率大幅上升，给风险控制带来了新的挑战。面对人脸伪造技术的威胁，针对性的研究伪造检测技术，能够识别出一张人脸图像或视频是真实拍摄而得，还是被伪造技术篡改编辑过。然而，目前伪造检测技术所实现的功能较为单一，无法满足使用需求。
发明内容
鉴于上述问题，本申请提出了一种深度伪造算法的识别方法、装置、电子设备及存储介质，能解决上述问题。
第一方面，本申请实施例提供了一种模型训练方法，所述方法包括：获取目标伪造算法Fn对应的多个样本图像对，每个所述样本图像对包括一个真实图和伪造图，每个所述样本图像对中的伪造图由所述目标伪造算法Fn基于该样本图像对中的真实图生成；其中，n为正整数；将多个所述样本图像对输入公共特征提取网络
Figure BDA0003611038970000011
对应得到每个所述样本图像对中真实图的第一人脸特征和伪造图的第二人脸特征，所述公共特征提取网络
Figure BDA0003611038970000012
用于提取样本图像对中真实图与伪造图之间共有的特征；将每个所述样本图像对的所述第一人脸特征和所述第二人脸特征输入判别网络
Figure BDA0003611038970000013
对应得到每个所述样本图像对中真实图的第一真伪判别结果和伪造图的第二真伪判别结果；基于每个所述样本图像对对应的所述第一人脸特征、所述第二人脸特征、所述第一真伪判别结果和所述第二真伪判别结果，训练所述公共特征提取网络
Figure BDA0003611038970000014
和所述判别网络
Figure BDA0003611038970000015
应当说明，本实施例可以利用每种目标伪造算法Fn对应的多个样本图像对训练公共特征提取网络和判别网络。在训练过程中可以通过公共特征提取网络可以提取样本图像对中真实图和伪造图的特征，再结合判别网络利用真实图和伪造图之间共有的特征对真实图和伪造图来判断真伪，通过真实图和伪造图的特征以及判别网络的真伪判别结果来训练公共特征提取网络和判别网络，使训练后的公共特征提取网络能更准确地提取出样本图像对中真实图与伪造图之间共有的特征，为提取真实图与伪造图之间的非共有特征做准备。
第二方面，本申请实施例提供了一种深度伪造算法的识别方法，所述方法包括：获取待识别人脸图像的N个目标真伪特征，每个所述目标真伪特征由对应深度伪造算法提取得到；将每个所述目标真伪特征输入预先训练的伪造算法分类网络，所述伪造算法分类网络用于确定所述待识别人脸图像由每个所述深度伪造算法生成的概率，得到伪造概率；将所述伪造概率满足预设概率条件的深度伪造算法确定为所述待识别伪造算法。
应当说明，本实施例可以获取待识别人脸图像的N个目标真伪特征，每个目标真伪特征由对应深度伪造算法提取得到，这N目标真伪特征可以反映出各个深度伪造算法的特性，因此可以根据N个目标真伪特征确定待识别人脸图像由每个深度伪造算法生成的概率，得到伪造概率，进而通过比较伪造概率即可准确地确定出待识别人脸图像究竟由哪种深度伪造算法制作得到，可以丰富伪造检测技术的功能。
第三方面，本申请实施例提供了一种模型训练装置，所述装置包括：图像对获取模块、公共特征提取模块、真伪判别模块以及模型训练模块。其中，图像对获取模块，用于获取目标伪造算法Fn对应的多个样本图像对，每个所述样本图像对包括一个真实图和伪造图，每个所述样本图像对中的伪造图由所述目标伪造算法Fn基于该样本图像对中的真实图生成；其中，n为正整数；公共特征提取模块，用于将多个所述样本图像对输入公共特征提取网络
Figure BDA0003611038970000021
对应得到每个所述样本图像对中真实图的第一人脸特征和伪造图的第二人脸特征，所述公共特征提取网络
Figure BDA0003611038970000022
用于提取样本图像对中真实图与伪造图之间共有的特征；真伪判别模块，用于将每个所述样本图像对的所述第一人脸特征和所述第二人脸特征输入判别网络
Figure BDA0003611038970000023
对应得到每个所述样本图像对中真实图的第一真伪判别结果和伪造图的第二真伪判别结果；模型训练模块，用于基于每个所述样本图像对对应的所述第一人脸特征、所述第二人脸特征、所述第一真伪判别结果和所述第二真伪判别结果，训练所述公共特征提取网络
Figure BDA0003611038970000024
和所述判别网络
Figure BDA0003611038970000025
第四方面，本申请实施例提供了一种模型训练装置，所述装置包括：特征提取模块、概率确定模块和算法确定模块。特征提取模块，用于获取待识别人脸图像的N个目标真伪特征，每个所述目标真伪特征由对应深度伪造算法提取得到；概率确定模块，用于将每个所述目标真伪特征输入预先训练的伪造算法分类网络，所述伪造算法分类网络用于确定所述待识别人脸图像由每个所述深度伪造算法生成的概率，得到伪造概率；算法确定模块，用于将所述伪造概率满足预设概率条件的深度伪造算法确定为所述待识别伪造算法。
第五方面，本申请实施例提供了一种电子设备，包括：一个或多个处理器；存储器；一个或多个应用程序，其中，所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个应用程序配置用于执行上述方法。
第六方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有程序代码，所述程序代码可被处理器调用执行上述方法。
第七方面，本申请实施例提供了一种包含指令的计算机程序产品，其特征在于，所述计算机程序产品中存储有指令，当其在计算机上运行时，使得计算机实现上述方法。
本申请的这些方面或其他方面在以下实施例的描述中会更加简明易懂。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了本申请一实施例提供的深度伪造算法的识别方法的一种应用环境示意图；
图2示出了本申请一实施例提供的模型训练方法的流程示意图；
图3示出了本申请一实施例提供的样本图像对的示意图；
图4示出了本申请一实施例提供的真实图与伪造图之间共有的特征的示意图；
图5示出了本申请另一实施例提供的真实图与伪造图之间共有的特征的示意图；
图6示出了本申请又一实施例提供的模型训练方法的处理过程示意图；
图7示出了本申请一实施例提供的真实图与伪造图之间的非共有特征的示意图；
图8示出了本申请另一实施例提供的模型训练方法的流程示意图；
图9示出了本申请一实施例提供的模型架构的示意图；
图10示出了本申请一实施例提供的真值表的示意图；
图11示出了本申请一实施例提供的深度伪造算法的识别方法的流程示意图；
图12示出了本申请一实施里提供的深度伪造算法的识别过程示意图；
图13示出了本申请一实施例提供的模型训练装置的模块框图；
图14示出了本申请一实施例提供的深度伪造算法的识别装置的模块框图；
图15示出了本申请一实施例提供的电子设备的结构框图；
图16示出了本申请一实施例提供的计算机可读存储介质的结构框图；
图17示出了本申请实施例提供的一种计算机程序产品的结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。
随着互联网产业的高速发展，近年来以机器学习与深度学习为标志性技术人工智能技术在视频图像、语音识别、自然语音处理等相关领域得到了广泛应用，尤其在人脸识别中的应用越加广泛。人脸识别在人工智能和大数据驱动下，展现出了巨大的发展潜力，其应用场景不断拓展，由安防等公共领域向支付及验证的商业领域逐步落地。然而，人脸识别是一把双刃剑，在技术持续演进、应用不断推广的同时，也带来了数据泄露、个人隐私遭受侵犯等信息安全问题。特别是随着人脸伪造技术的日益成熟，伪造人脸出现的概率大幅上升，给风险控制带来了新的挑战。以深度伪造方法(DeepFake)为例的人脸伪造技术所能实现的功能包括但不限于换脸(如将真实图片中的人脸换成另一个人)、二次编辑(如将某人的演讲视频二次编辑成不真实的言论)等等。深度伪造技术的特点是真实感强，当用于违法犯纪的场景时，将产生很大的危害。在一些场景中，攻击者获取图像采集设备采集到的人脸图像，采用某种伪造算法对采集到的人脸图像进行伪造处理后，再将伪造处理后的人脸图像输入到人脸识别系统中，在进行伪造处理时，可以将原本无法通过人脸识别的真实人脸(即采集到的人脸图像)，替换为能够通过人脸识别的伪造人脸(即伪造处理后的人脸图像)，从而达到使用伪造的身份入侵人脸识别系统的目的。
然而，在一些情况下，伪造检测技术仅仅能够识别出人脸图像或视频是真实人脸还是伪造人脸，其功能过于单一，无法满足使用需求。
本申请发明人经过研究后发现，大部分伪造检测方法都包含三个步骤：a)将真实的人脸图像(如图像采集设备对用户采集得到的人脸图像)编码成一系列特征图；b)对特征图做一些编辑；c)再将编辑后的特征图渲染为新的人脸图像，即伪造人脸。
大部分图像可以认为是由多个图层按顺序合并而成，可以将给定图像分解成多个图层，然后对其中至少一个图层进行编辑，再将所有图层合成为新图像。人脸伪造技术的原理与此类似，只是没有发生在图像层面，而是在特征图层面，因为在特征图层面的分解图层可以实现更加深层次的图像信息的分离，如分离人的身份信息和光照信息等。
发明人发现，在对真实人脸进行伪造时，或多或少会在伪造人脸中引入一些与真实人脸不同的人脸特征，在伪造检测的过程中，如果能寻找到这些不同的人脸特征就能够识别出人脸图像是否是伪造的。此外，发明人还发现，不同的伪造算法在伪造人脸中引入的人脸特征之间存在一定的不同，也就是说，通过分析伪造人脸中引入的与真实人脸不同的人脸特征即可识别出所采用的伪造算法。因此，在本申请的实施例中，可以预先对N个目标伪造算法分别训练一个特征提取网络，再利用N个特征提取网络对待识别人脸图像提取N个人脸特征，这N个人脸特征可以反映出各个目标伪造算法的特性，接着根据N个人脸特征确定出属于各个目标伪造算法的概率，进而通过比较概率值即可确定出待识别人脸图像究竟由哪种目标伪造算法制作得到，可以帮助防御者对伪造者的技术能力取证，进行针对性的防御。
为了更好理解本申请实施例提供的一种深度伪造算法的识别方法、装置、电子设备及存储介质，下面先对适用于本申请实施例的应用环境进行描述。
请参阅图1，图1示出了本申请一实施例提供的深度伪造算法的识别方法的一种应用环境示意图。示例性地，本申请实施例提供的深度伪造算法的识别方法、装置、电子设备及存储介质可以应用于电子设备。可选地，电子设备例如可以是如图1中所示的服务器130，服务器130可以通过网络与图像伪造设备120相连。其中，网络用以在服务器130和图像伪造设备120之间提供通信链路的介质。网络可以包括各种连接类型，例如有线通信链路、无线通信链路等等，本申请实施例对此不作限制。
可选地，在另一些实施例中，电子设备也可以是智能手机、平板、笔记本电脑等等。
需要说明的是，图像伪造设备120可以接收图像采集设备110发送的图像或视频，图像伪造设备120可以采用某种伪造算法对这些图像或视频进行伪造处理后，得到伪造处理后的图像或视频。可以理解的是，图像采集设备110发送的图像或视频中的人脸为真实人脸，伪造处理后的图像或视频为伪造人脸。
应该理解，图1中的服务器130、网络和图像伪造设备120、图像采集设备110仅仅是示意性的。根据实现需要，可以具有任意数目的服务器、网络、图像伪造设备和图像采集设备。示例性地，服务器130以及图像伪造设备120可以是物理服务器，也可以是由多个服务器组成的服务器集群等，图像采集设备110可以是手机、平板、相机、笔记本电脑等等设备等等。可以理解的是，本申请的实施例还可以允许多台图像采集设备110同时接入图像伪造设备120，也可以允许多台图像伪造设备120同时接入服务器130。
上述应用环境仅为方便理解所作的示例，可以理解的是，本申请实施例不仅局限于上述应用环境。
下面将通过具体实施例对本申请实施例提供的深度伪造算法的识别方法、装置、电子设备及存储介质进行详细说明。
请参阅图2，其示出了本申请一实施例提供的模型训练方法的流程示意图。下面将针对图2所示的流程进行详细的阐述，所述模型训练方法具体可以包括如下步骤：
步骤S210：获取目标伪造算法Fn对应的多个样本图像对，每个所述样本图像对包括一个真实图和伪造图，每个所述样本图像对中的伪造图由所述目标伪造算法Fn基于该样本图像对中的真实图生成；其中，n为正整数。
在本申请的实施例中，可以对N个目标伪造算法分别训练一个公共特征提取网络
Figure BDA0003611038970000041
和一个判别网络
Figure BDA0003611038970000042
在训练过程中，可以分别对N个目标伪造算法获取多个样本图像对，而每个样本图像对包括一个真实图和伪造图，一个样本图像对中的伪造图由一种目标伪造算法基于该样本图像对中的真实图生成。由此可见，真实图可以是由图像采集设备采集而得到的真实人脸，每个样本图像对对应一种目标伪造算法，而样本图像对中的伪造图可以由该样本图像对对应的目标伪造算法对该样本图像对内的真实图处理而得到。
应当说明，不同的目标伪造算法对应的样本图像对包括的真实图可以重复，即可以使用不同的目标伪造算法对同一个真实图进行伪造处理，而得到不同的伪造图。
作为一种实施方式，目标伪造算法Fn可以为N个目标伪造算法中任一个目标伪造算法，即n可以为1至N中的任一个整数，而N为正整数。
示例性地，若N＝2，则n可以取值为1或2，即2个目标伪造算法包括目标伪造算法F1和目标伪造算法F2。如图3所示，目标伪造算法F1获取到的样本图像对包括样本图像对1和样本图像对2，其中，样本图像对1中的伪造图1是真实图1基于目标伪造算法F1而生成的，样本图像对2中的伪造图2是真实图2基于目标伪造算法F1而生成的。而目标伪造算法F2获取到的样本图像对包括样本图像对3和样本图像对4，其中，样本图像对3中的伪造图3是真实图1基于目标伪造算法F2而生成的，样本图像对4中的伪造图4是真实图3基于目标伪造算法F2而生成的。
在本申请的实施例中，公共特征提取网络与目标伪造算法可以为一一对应关系，即公共特征提取网络
Figure BDA0003611038970000043
对应目标伪造算法Fn。因此，在一些实施方式中，可以使用同一目标伪造算法对应的多个样本图像对训练同一个公共特征提取网络
Figure BDA0003611038970000044
例如，请再次参见图3，使用目标伪造算法F1对应的样本图像对1与样本图像对2训练公共特征提取网络
Figure BDA0003611038970000045
使用目标伪造算法F2对应的样本图像对3与样本图像对4训练公共特征提取网络
Figure BDA0003611038970000046
等等。
步骤S220：将多个所述样本图像对输入公共特征提取网络
Figure BDA0003611038970000047
对应得到每个所述样本图像对中真实图的第一人脸特征和伪造图的第二人脸特征，所述公共特征提取网络
Figure BDA0003611038970000048
用于提取样本图像对中真实图与伪造图之间共有的特征。
在本申请实施例的模型训练过程中，可以将目标伪造算法Fn对应的多个样本图像对输入公共特征提取网络
Figure BDA0003611038970000049
中，对应可以得到每个样本图像对中真实图的第一人脸特征和伪造图的第二人脸特征。其中，公共特征提取网络
Figure BDA00036110389700000410
用于提取样本图像对中真实图与伪造图之间共有的特征。因此，通过模型训练，应当使第一人脸特征和第二人脸特征相同，也就是说，第一人脸特征和第二人脸特征为同一个样本图像对中真实图和伪造图之间共有的特征。
步骤S230：将每个所述样本图像对的所述第一人脸特征和所述第二人脸特征输入判别网络
Figure BDA00036110389700000411
对应得到每个所述样本图像对中真实图的第一真伪判别结果和伪造图的第二真伪判别结果。
接着，可以将目标伪造算法Fn对应的每个第一人脸特征和第二人脸特征输入判别网络
Figure BDA0003611038970000051
判别网络
Figure BDA0003611038970000052
可以对图像的真伪进行判断，因此对应可以得到每个样本图像对中真实图的第一真伪判别结果和伪造图的第二真伪判别结果。
由上述过程可知，通过模型训练，若第一人脸特征和第二人脸特征为同一个样本图像对中真实图和伪造图之间共有的特征，则判别网络对同一个样本图像对中真实图和伪造图的判别结果应当一致，即第一真伪判别结果与第二真伪判别结果一致。
步骤S240：基于每个所述样本图像对对应的所述第一人脸特征、所述第二人脸特征、所述第一真伪判别结果和所述第二真伪判别结果，训练所述公共特征提取网络
Figure BDA0003611038970000053
和所述判别网络
Figure BDA0003611038970000054
在模型训练过程中，公共特征提取网络
Figure BDA0003611038970000055
所提取的特征可能是不准确的，所提取的特征中可能包括样本图像对中真实图与伪造图之间的非共有特征，例如，对样本图像对1中真实图提取到的第一人脸特征中包括样本图像对1中伪造图中没有的特征。如图4所示，表示真实图的特征的方框与表示伪造图的特征的方框之间重合的部分即为真实图与伪造图之间共有的特征，此时真实图的第一人脸特征包括部分共有的特征和部分非共有的特征，伪造图的第二人脸特征也包括部分共有的特征和部分非共有的特征，第一人脸特征和第二人脸特征未重合，此时第一人脸特征和第二人脸特征不是同一个样本图像对中真实图和伪造图之间共有的特征。当判别网络基于第一人脸特征判断真实图的真伪，得到的第一真伪判别结果，与判别网络基于第二人脸特征判断伪造图的真伪，得到的第二真伪判别结果不相同。
基于此，在本申请的实施例中，可以基于目标伪造算法Fn对应的每个样本图像对对应的第一人脸特征、第二人脸特征、第一真伪判别结果和第二真伪判别结果，训练公共特征提取网络
Figure BDA0003611038970000056
和判别网络
Figure BDA0003611038970000057
示例性地，在训练过程中，计算第一人脸特征与第二人脸特征之间的差异以及第一真伪判别结果的数学期望与第二真伪判别结果的数学期望，调整公共特征提取网络
Figure BDA0003611038970000058
和判别网络
Figure BDA0003611038970000059
的网络参数，使得第一人脸特征与第二人脸特征之间的差异减小，且第一真伪判别结果的第一数学期望与第二真伪判别结果的第二数学期望也减少(相当于第一真伪判别结果中判别为真的数量与判别为伪的数量达到一致，第二真伪判别结果类似)。示例性地，可以设置经过预设次数的调整后停止训练，或者当第一人脸特征与第二人脸特征之间的差异以及第一真伪判别结果的数学期望与第二真伪判别结果的数学期望之和趋于稳定时停止训练。
在一些典型的实施方式中，训练完成后，同一个样本图像对对应的第一人脸特征和第二人脸特征一致且第一真伪判别结果与第二真伪判别结果一致。请参考图5，此时表示第一人脸特征的方框与表示第二人脸特征的方框均和表示真实图特征的方框与表示伪造图特征的方框之间重合部分相重合。
综上可知，在本申请的实施例中，通过公共特征提取网络分别对真实图和伪造图提取的特征以及判别网络的真伪判别结果来训练公共特征提取网络和判别网络，可以使训练后的公共特征提取网络能更准确地提取出样本图像对中真实图与伪造图之间共有的特征，为提取真实图与伪造图之间的非共有特征做准备。
在本申请的一些实施例中，对于获取目标伪造算法Fn，在基于每个样本图像对对应的第一人脸特征、第二人脸特征、第一真伪判别结果和第二真伪判别结果，训练公共特征提取网络
Figure BDA00036110389700000510
和判别网络
Figure BDA00036110389700000511
之后，还可以联合真伪特征提取网络
Figure BDA00036110389700000512
和渲染网络共同进行训练。
请参阅图6，其示出了本申请又一实施例提供的模型训练方法的流程示意图。下面将针对图6所示的流程进行详细的阐述，所述模型训练方法具体可以包括如下步骤：
步骤S610：获取目标伪造算法Fn对应的多个样本图像对，每个所述样本图像对包括一个真实图和伪造图，每个所述样本图像对中的伪造图由所述目标伪造算法Fn基于该样本图像对中的真实图生成；其中，n为正整数。
步骤S620：将多个所述样本图像对输入公共特征提取网络
Figure BDA00036110389700000513
对应得到每个所述样本图像对中真实图的第一人脸特征和伪造图的第二人脸特征，所述公共特征提取网络
Figure BDA00036110389700000514
用于提取样本图像对中真实图与伪造图之间共有的特征。
步骤S630：将每个所述样本图像对的所述第一人脸特征和所述第二人脸特征输入判别网络
Figure BDA0003611038970000061
对应得到每个所述样本图像对中真实图的第一真伪判别结果和伪造图的第二真伪判别结果。
步骤S640：基于每个所述样本图像对对应的所述第一人脸特征、所述第二人脸特征、所述第一真伪判别结果和所述第二真伪判别结果，训练所述公共特征提取网络
Figure BDA0003611038970000062
和所述判别网络
Figure BDA0003611038970000063
在本申请的实施例中，步骤S610到步骤S640的内容可以参考前述实施例的对应内容，本申请实施例在此不再赘述。
步骤S650：将训练完成的所述公共特征提取网络
Figure BDA0003611038970000064
作为初始公共特征提取网络
Figure BDA0003611038970000065
将训练完成的所述判别网络
Figure BDA0003611038970000066
作为初始判别网络
Figure BDA0003611038970000067
进一步地，在前述实施例的基础上，还可以联合真伪特征提取网络
Figure BDA0003611038970000068
和渲染网络共同进行训练。具体地，可以将前述实施例中训练完成的公共特征提取网络
Figure BDA0003611038970000069
作为初始公共特征提取网络
Figure BDA00036110389700000610
将前述实施例中训练完成的判别网络
Figure BDA00036110389700000611
作为初始判别网络
Figure BDA00036110389700000612
步骤S660：将检测图像输入真伪特征提取网络
Figure BDA00036110389700000613
得到所述检测图像的目标真伪特征，所述检测图像为每个所述样本图像对中的真实图或伪造图，所述真伪特征提取网络
Figure BDA00036110389700000614
用于提取样本图像对中真实图与伪造图之间的非共有特征。
在本申请的实施例中，真伪特征提取网络与目标伪造算法也可以为一一对应关系，即真伪特征提取网络
Figure BDA00036110389700000615
对应目标伪造算法Fn。因此，在一些实施方式中，可以使用同一目标伪造算法对应的多个样本图像对同时训练初始公共特征提取网络
Figure BDA00036110389700000616
以及真伪特征提取网络
Figure BDA00036110389700000617
示例性地，请再次参见图3，可以使用目标伪造算法F1对应的样本图像对1与样本图像对2同时训练初始公共特征提取网络
Figure BDA00036110389700000618
以及真伪特征提取网络
Figure BDA00036110389700000619
使用目标伪造算法F2对应的样本图像对3与样本图像对4同时训练初始公共特征提取网络
Figure BDA00036110389700000620
以及真伪特征提取网络
Figure BDA00036110389700000621
等等。
作为一种实施方式，对于目标伪造算法Fn，可以将每个样本图像对中的真实图或者伪造图作为检测图像，接着将检测图像输入真伪特征提取网络
Figure BDA00036110389700000622
得到检测图像的目标真伪特征。其中，真伪特征提取网络
Figure BDA00036110389700000623
用于提取同一个样本图像对中真实图与伪造图之间的非共有特征。与公共特征提取网络
Figure BDA00036110389700000624
类似，初始公共特征提取网络
Figure BDA00036110389700000625
也可以用于提取同一个样本图像对中真实图与伪造图之间共有的特征，也就是说，可以将多个样本图像对输入初始公共特征提取网络
Figure BDA00036110389700000626
对应得到每个样本图像对中真实图的第一人脸特征和伪造图的第二人脸特征。
步骤S670：将所述第一人脸特征与所述目标真伪特征输入渲染网络Gn得到第一渲染图，将所述第二人脸特征与所述目标真伪特征输入渲染网络得到第二渲染图。
步骤S680：基于所述第一渲染图、所述第二渲染图分别与所述检测图像之间的差异，训练所述初始公共特征提取网络
Figure BDA00036110389700000627
所述初始判别网络
Figure BDA00036110389700000628
所述真伪特征提取网络
Figure BDA00036110389700000629
和所述渲染网络Gn，以使所述第一渲染图与所述检测图像之间的差异相一致，和/或以使所述第二渲染图与所述检测图像之间的差异相一致，并且以使所述第一真伪判别结果与所述第二真伪判别结果相一致，和/或以使所述第一人脸特征和所述第二人脸特征相一致。
可选地，通过模型训练，真伪特征提取网络
Figure BDA00036110389700000630
对同一个样本图像对中真实图与伪造图之间提取得到的非共有特征，与初始公共特征提取网络
Figure BDA00036110389700000631
对该样本图像对中真实图与伪造图之间提取得到的共有特征，可以组成该样本图像对中真实图的完整特征或伪造图的完整特征。
在本申请实施例的模型训练过程中，可以将上述第一人脸特征与目标真伪特征输入渲染网络Gn得到第一渲染图，将上述第二人脸特征与目标真伪特征输入渲染网络得到第二渲染图。因此，通过模型训练，第一人脸特征和第二人脸特征为同一个样本图像对中真实图和伪造图之间共有的特征，而目标真伪特征为该样本图像对中真实图与伪造图之间提取得到的非共有特征，可以是该样本图像对的真实图中包括的而伪造图中不包括的特征，也可以是该样本图像对的伪造图中包括的而真实图中不包括的特征，这取决于检测图像是该样本图像对中真实图还是伪造图。若检测图像为该样本图像对中真实图，则经过模型训练后，将第一人脸特征与目标真伪特征输入渲染网络Gn得到的第一渲染图应当与真实图一致，并且将第二人脸特征与目标真伪特征输入渲染网络Gn得到的第二渲染图也与真实图一致；若检测图像为该样本图像对中伪造图，则经过模型训练后，将第一人脸特征与目标真伪特征输入渲染网络Gn得到的第一渲染图应当与伪造图一致，并且将第二人脸特征与目标真伪特征输入渲染网络Gn得到的第二渲染图也与伪造图一致。
然而，在模型训练过程中，初始公共特征提取网络
Figure BDA00036110389700000632
及真伪特征提取网络
Figure BDA00036110389700000633
所提取的特征可能是不准确的，例如初始公共特征提取网络
Figure BDA0003611038970000071
所提取的特征中可能包括样本图像对中真实图与伪造图之间的非共有特征，而真伪特征提取网络
Figure BDA0003611038970000072
所提取的特征中可能包括样本图像对中真实图与伪造图之间的共有特征。如图7所示，以检测图像为样本图像对中的真实图为例，其中，表示真实图的特征的方框与表示伪造图的特征的方框之间重合的部分即为真实图与伪造图之间共有的特征，此时真实图的第一人脸特征包括部分共有特征和部分非共有特征，目标真伪特征包括也部分共有特征和部分非共有特征，此时将第一人脸特征和目标真伪特征组合在一起并没有完全覆盖标识真实图特征的方框，即此时真伪特征提取网络
Figure BDA0003611038970000073
对同一个样本图像对中真实图与伪造图之间提取得到的非共有特征，与初始公共特征提取网络
Figure BDA0003611038970000074
对该样本图像对中真实图与伪造图之间提取得到的共有特征，还无法组成该样本图像对中真实图的完整特征。当渲染网络将第一人脸特征和目标真伪特征渲染为第一渲染图时，第一渲染图与真实图之间的差异较大。
基于此，在本申请的实施例中，可以基于第一渲染图、第二渲染图分别与检测图像之间的差异，训练初始公共特征提取网络
Figure BDA0003611038970000075
初始判别网络
Figure BDA0003611038970000076
真伪特征提取网络
Figure BDA0003611038970000077
和渲染网络Gn。示例性地，在训练过程中，可以计算第一渲染图与检测图像之间的差异、第二渲染图与检测图像之间的差异、第一人脸特征与第二人脸特征之间的差异、第一真伪判别结果的数学期望与第二真伪判别结果的数学期望的一个或多个值，调整初始公共特征提取网络
Figure BDA0003611038970000078
初始判别网络
Figure BDA0003611038970000079
真伪特征提取网络
Figure BDA00036110389700000710
和渲染网络Gn的网络参数，使得第一渲染图与检测图像之间的差异、第二渲染图与检测图像之间的差异、第一人脸特征与第二人脸特征之间的差异、第一真伪判别结果的数学期望与第二真伪判别结果的数学期望的一个或多个值趋于稳定。示例性地，可以设置经过预设次数的调整后停止训练，或者满足以下任一个条件或多个条件的组合时停止训练：第一渲染图与检测图像之间的差异相一致，并且第一真伪判别结果与第二真伪判别结果相一致；第二渲染图与检测图像之间的差异相一致，并且第一真伪判别结果的数学期望及第二真伪判别结果的数学期望均趋于稳定；第一人脸特征和第二人脸特征相一致。
综上可知，在本申请的实施例中，在公共特征提取网络
Figure BDA00036110389700000711
和判别网络
Figure BDA00036110389700000712
训练完成之后，还可以联合真伪特征提取网络
Figure BDA00036110389700000713
和渲染网络共同进行训练，可以使训练后的初始公共特征提取网络
Figure BDA00036110389700000714
准确提取出同一个样本图像对中真实图与伪造图之间的非共有特征，而训练后的真伪特征提取网络
Figure BDA00036110389700000715
则准确提取出同一个样本图像对中真实图与伪造图之间的共有特征。
本申请的另一些实施例中，对于获取目标伪造算法Fn，在基于每个样本图像对对应的第一人脸特征、第二人脸特征、第一真伪判别结果和第二真伪判别结果，训练公共特征提取网络
Figure BDA00036110389700000716
和判别网络
Figure BDA00036110389700000717
的同时，即可联合真伪特征提取网络
Figure BDA00036110389700000718
和渲染网络进行训练。
请参阅图8，其示出了本申请另一实施例提供的模型训练方法的流程示意图。下面将针对图8所示的流程进行详细的阐述，所述模型训练方法具体可以包括如下步骤：
步骤S810：获取目标伪造算法Fn对应的多个样本图像对，每个所述样本图像对包括一个真实图和伪造图，每个所述样本图像对中的伪造图由所述目标伪造算法Fn基于该样本图像对中的真实图生成；其中，n为正整数。
步骤S820：将多个所述样本图像对输入公共特征提取网络
Figure BDA00036110389700000719
对应得到每个所述样本图像对中真实图的第一人脸特征和伪造图的第二人脸特征，所述公共特征提取网络
Figure BDA00036110389700000720
用于提取样本图像对中真实图与伪造图之间共有的特征。
步骤S830：将每个所述样本图像对的所述第一人脸特征和所述第二人脸特征输入判别网络
Figure BDA00036110389700000721
对应得到每个所述样本图像对中真实图的第一真伪判别结果和伪造图的第二真伪判别结。
在本申请的实施例中，步骤S810到步骤S830的内容可以参考前述实施例的对应内容，本申请实施例在此不再赘述。
步骤S840：将检测图像输入真伪特征提取网络
Figure BDA00036110389700000722
得到所述检测图像的目标真伪特征，所述检测图像为每个所述样本图像对中的真实图或伪造图，所述真伪特征提取
Figure BDA00036110389700000723
网络用于提取样本图像对中真实图与伪造图之间的非共有特征。
在本申请的实施例中，对于目标伪造算法Fn，在训练公共特征提取网络
Figure BDA00036110389700000724
和判别网络
Figure BDA00036110389700000725
的同时，可以将每个样本图像对中的真实图或者伪造图作为检测图像，接着将检测图像输入真伪特征提取网络
Figure BDA00036110389700000726
得到检测图像的目标真伪特征。
步骤S850：将所述第一人脸特征与所述目标真伪特征输入渲染网络Gn得到第一渲染图，将所述第二人脸特征与所述目标真伪特征输入渲染网络Gn得到第二渲染图。
步骤S860：基于所述第一渲染图、所述第二渲染图分别与所述检测图像之间的差异，训练所述公共特征提取网络
Figure BDA0003611038970000081
和所述判别网络
Figure BDA0003611038970000082
所述真伪特征提取网络
Figure BDA0003611038970000083
和所述渲染网络Gn，以使所述第一渲染图与所述检测图像之间的差异相一致，和/或以使所述第二渲染图与所述检测图像之间的差异相一致，并且以使所述第一真伪判别结果与所述第二真伪判别结果相一致，和/或以使所述第一人脸特征和所述第二人脸特征相一致。
可选地，与上述实施例类似，通过模型训练，真伪特征提取网络
Figure BDA0003611038970000084
对同一个样本图像对中真实图与伪造图之间提取得到的非共有特征，与公共特征提取网络
Figure BDA0003611038970000085
对该样本图像对中真实图与伪造图之间提取得到的共有特征，可以组成该样本图像对中真实图的完整特征或伪造图的完整特征。
在本申请的实施例中，基于第一渲染图、第二渲染图分别与检测图像之间的差异，训练公共特征提取网络
Figure BDA0003611038970000086
和判别网络
Figure BDA0003611038970000087
真伪特征提取网络
Figure BDA0003611038970000088
和渲染网络Gn的过程与上述实施例中基于第一渲染图、第二渲染图分别与检测图像之间的差异，训练初始公共特征提取网络
Figure BDA0003611038970000089
初始判别网络
Figure BDA00036110389700000810
真伪特征提取网络
Figure BDA00036110389700000811
和渲染网络Gn的过程类似，不同的是，在同时训练上述四个网络之前，无需预先训练公共特征提取网络
Figure BDA00036110389700000812
和判别网络
Figure BDA00036110389700000813
类似的，在本申请的实施例中，通过同步训练公共特征提取网络
Figure BDA00036110389700000814
和判别网络
Figure BDA00036110389700000815
真伪特征提取网络
Figure BDA00036110389700000816
和渲染网络Gn，可以使训练后的公共特征提取网络
Figure BDA00036110389700000817
准确提取出同一个样本图像对中真实图与伪造图之间的非共有特征，而训练后的真伪特征提取网络
Figure BDA00036110389700000818
则准确提取出同一个样本图像对中真实图与伪造图之间的共有特征。
在一些实施方式中，可以将第一人脸特征、第二人脸特征与待训练人脸输入预先得到的渲染网络，在渲染网络中，根据第一人脸特征与待训练人脸特征确定第一预测图像，根据第二人脸特征与待训练人脸特征确定第二预测图像。
可选地，在本申请的实施例中，在基于第一渲染图、第二渲染图分别与检测图像之间的差异，同时训练公共特征提取网络
Figure BDA00036110389700000819
和判别网络
Figure BDA00036110389700000820
真伪特征提取网络
Figure BDA00036110389700000821
和渲染网络Gn，以满足以下任一个条件或多个条件的组合：第一渲染图与检测图像之间的差异相一致，且第一真伪判别结果与第二真伪判别结果相一致；第二渲染图与检测图像之间的差异相一致，且第一真伪判别结果与第二真伪判别结果相一致；第一人脸特征和第二人脸特征相一致。
例如，可以基于第一渲染图、第二渲染图分别与检测图像之间的差异，同时训练公共特征提取网络
Figure BDA00036110389700000822
和判别网络
Figure BDA00036110389700000823
真伪特征提取网络
Figure BDA00036110389700000824
和渲染网络Gn，以使第一渲染图与检测图像之间的差异相一致，并且使第一真伪判别结果与第二真伪判别结果相一致。也可以基于第一渲染图、第二渲染图分别与检测图像之间的差异，同时训练公共特征提取网络
Figure BDA00036110389700000825
和判别网络
Figure BDA00036110389700000826
真伪特征提取网络
Figure BDA00036110389700000827
和渲染网络Gn，以使第二渲染图与检测图像之间的差异相一致，并且使第一真伪判别结果与第二真伪判别结果相一致。还可以基于第一渲染图、第二渲染图分别与检测图像之间的差异，同时训练公共特征提取网络
Figure BDA00036110389700000828
和判别网络
Figure BDA00036110389700000829
真伪特征提取网络
Figure BDA00036110389700000830
和渲染网络Gn，以使第一人脸特征和第二人脸特征相一致。此外，还可以基于第一渲染图、第二渲染图分别与检测图像之间的差异，同时训练公共特征提取网络
Figure BDA00036110389700000831
和判别网络
Figure BDA00036110389700000832
真伪特征提取网络
Figure BDA00036110389700000833
和渲染网络Gn，以同时满足上述3个条件中的任2个条件，或者同时满足上述3个条件。
具体地，可以将第一渲染图与检测图像之间的差异作为第一差异，将第二渲染图与检测图像之间的差异作为第二差异，将第一人脸特征与第二人脸特征之间的差异作为的第三差异，将第一真伪判别结果的数学期望作为第一数学期望，将第二真伪判别结果的数学期望作为第二数学期望，再基于第一差异、第二差异、第三差异、第一数学期望以及第二数学期望训练公共特征提取网络
Figure BDA00036110389700000834
和判别网络
Figure BDA00036110389700000835
真伪特征提取网络
Figure BDA00036110389700000836
和渲染网络Gn，直至第一差异、第二差异、第三差异、第一数学期望以及第二数学期望之和趋于稳定且第一数学期望以及第二数学期望之和趋于稳定。
进一步地，可以基于第一差异、第二差异、第三差异、第一数学期望以及第二数学期望构建重构损失函数，基于第一数学期望以及第二数学期望构建判别网络损失函数，再基于重构损失函数及判别网络损失函数同时训练公共特征提取网络
Figure BDA00036110389700000837
和判别网络
Figure BDA00036110389700000838
真伪特征提取网络
Figure BDA00036110389700000839
和渲染网络Gn，直至重构损失函数与判别网络损失函数均收敛。
在一些实施方式中，为了使公共特征提取网络
Figure BDA00036110389700000840
及真伪特征提取网络
Figure BDA00036110389700000841
能够更好将真实图与伪造图之间的共有特征和非共有特征分开，即提取出与图像真伪强相关的真伪特征以及与图像真伪无关的公共特征，可以限制公共特征提取网络
Figure BDA0003611038970000091
及真伪特征提取网络
Figure BDA0003611038970000092
提取的真伪特征的维度，示例性地，若真实图或伪造图的完整特征的维度为d，则真伪特征的维度可以d的1/4。
在一些典型的实施方式中，可以将上述公共特征提取网络
Figure BDA0003611038970000093
及判别网络
Figure BDA0003611038970000094
共同组成生成式对抗网络(GAN，Generative Adversarial Networks)。GAN网络中公共特征提取网络
Figure BDA0003611038970000095
及判别网络
Figure BDA0003611038970000096
两者相互博弈，公共特征提取网络
Figure BDA0003611038970000097
努力生成能够让判别网络
Figure BDA0003611038970000098
出错的数据，而判别网络
Figure BDA0003611038970000099
则努力将公共特征提取网络
Figure BDA00036110389700000910
的输出数据和真实数据区分出来。
以3种目标伪造算法为例，即以N＝3为例，在对公共特征提取网络
Figure BDA00036110389700000911
和判别网络
Figure BDA00036110389700000912
真伪特征提取网络
Figure BDA00036110389700000913
和渲染网络Gn进行训练时，首先可以获取大量由真实图构成集合R1＝{Ireal}，调用目标伪造算法F1，构建训练数据集P1＝{<Ireal Ifake＞}，其中伪造图Ifake＝F1(Ireal)。如图9所示，构建并训练针对目标伪造算法F1的公共特征提取网络
Figure BDA00036110389700000914
判别网络
Figure BDA00036110389700000915
真伪特征提取网络
Figure BDA00036110389700000916
和渲染网络G1。
对于公共特征提取网络
Figure BDA00036110389700000917
本申请可以采用HRNet提取多尺度融合的特征，输出200个通道的(H/4,W/4)的特征图，即200个分辨率为输入图像1/4高和1/4宽的公共特征
Figure BDA00036110389700000918
其中，伪造图的公共特征为
Figure BDA00036110389700000919
(对应于前述实施例中的第一人脸特征)，真实图的公共特征为
Figure BDA00036110389700000920
(对应于前述实施例中的第二人脸特征)。
对于真伪特征提取网络
Figure BDA00036110389700000921
本申请可以采用HRNet提取多尺度融合的特征，输出56个通道的(H/4,W/4)的特征图，即56个分辨率为输入图像1/4高和1/4宽的真伪特征
Figure BDA00036110389700000922
可以使用“真伪特征提取网络”对检测图像提取真伪特征，检测图像可以是样本图像对中的真实图，也可以是样本图像对中的伪造图。其中，伪造图的真伪特征为
Figure BDA00036110389700000923
(即检测图像为伪造图时的目标真伪特征)，真实图的真伪特征为
Figure BDA00036110389700000924
(即检测图像为真实图时的目标真伪特征)。
对于判别网络
Figure BDA00036110389700000925
本申请采用堆叠多层平凡的卷积层(Conv-InstanceNorm-Relu)，利用stride＝2逐渐下采样到(H/32,W/32)后，接上全局平均池化层(GlobalAverage Pooling)后进行分类。其中，“判别网络”
Figure BDA00036110389700000926
和“公共特征提取网络”
Figure BDA00036110389700000927
构成GAN。
对于渲染网络G1，本申请可以交替使用Conv-InstanceNorm-Relu和PixelShuffle层，生成(H，W)的“渲染图”
Figure BDA00036110389700000928
其中，当检测图像为伪造图时，根据
Figure BDA00036110389700000929
和
Figure BDA00036110389700000930
可以得到渲染图
Figure BDA00036110389700000931
(对应于检测图像为伪造图时的第一渲染图)，根据
Figure BDA00036110389700000932
和
Figure BDA00036110389700000933
可以得到渲染图
Figure BDA00036110389700000934
(对应于检测图像为伪造图时的第二渲染图)；当检测图像为真实图时，根据
Figure BDA00036110389700000935
和
Figure BDA00036110389700000936
可以得到渲染图
Figure BDA00036110389700000937
(对应于检测图像为真实图时的第一渲染图)；当检测图像为伪造图时，根据
Figure BDA00036110389700000938
和
Figure BDA00036110389700000939
可以得到渲染图
Figure BDA00036110389700000940
(对应于检测图像为伪造图时的第二渲染图)。
基于上述第一渲染图与检测图像之间的第一差异、第二渲染图与检测图像之间的第二差异、第一人脸特征与所述第二人脸特征之间的第三差异以及第一真伪判别结果的第一数学期望与第二真伪判别结果的第二数学期望可以构建重构损失函数：
Figure BDA00036110389700000941
基于上述第一真伪判别结果的第一数学期望与第二真伪判别结果的第二数学期望构建判别网络损失函数：
Figure BDA00036110389700000942
其中，λ1、λ2、λ3……λ8为预先设置的权重参数，IA表示所述检测图像，Iout表示所述第一渲染图或所述第一渲染图，
Figure BDA00036110389700000943
表示所述第一人脸特征，
Figure BDA00036110389700000944
表示所述第二人脸特征，L1表示1-范数，L2表示2-范数，Lssim、LVGG均用于表示两个图像之间的差异，
Figure BDA0003611038970000101
表示每个所述样本图像对中第一真伪判别结果的第一数学期望、
Figure BDA0003611038970000102
表示每个所述样本图像对中第二真伪判别结果的第二数学期望。
基于上述重构损失函数及判别网络损失函数训练公共特征提取网络
Figure BDA0003611038970000103
和所述判别网络
Figure BDA0003611038970000104
所述真伪特征提取网络
Figure BDA0003611038970000105
和所述渲染网络G1，直至重构损失函数及判别网络损失函数收敛，并且得到的渲染图可以满足如图10所示的真值表，也就是说，使得伪造图的公共特征与检测图像的真伪特征得到的渲染图与检测图像一致，伪造图的公共特征与检测图像的真伪特征得到的渲染图也与检测图像一致。
在一些实施方式中，在上述公共特征提取网络
Figure BDA0003611038970000106
和判别网络
Figure BDA0003611038970000107
真伪特征提取网络
Figure BDA0003611038970000108
和渲染网络G1的训练过程中，可以从训练数据集P1中按照多个批次随机选择目标伪造算法F1对应的样本图像对进行迭代训练。每次迭代可以选择M个样本图像对构成一个批次的样本图像对，其中M例如可以为24。接着，在对批次内的样本图像对进行处理时，将批次内的每个样本图像对构建三元组，每个三元组包括<伪造图Ifake，真实图Ireal，检测图像>，接着将三元组送入上述公共特征提取网络
Figure BDA0003611038970000109
和判别网络
Figure BDA00036110389700001010
真伪特征提取网络
Figure BDA00036110389700001011
和渲染网络G1，交替计算重构损失函数及判别网络损失函数，利用随机梯度下降算法进行训练。多次迭代训练直到两个损失函数均收敛，训练完成后即可得到目标伪造算法F1对应的公共特征提取网络
Figure BDA00036110389700001012
和判别网络
Figure BDA00036110389700001013
真伪特征提取网络
Figure BDA00036110389700001014
和渲染网络G1。
可以理解的是，构建并训练目标伪造算法F2对应的公共特征提取网络
Figure BDA00036110389700001015
和判别网络
Figure BDA00036110389700001016
真伪特征提取网络
Figure BDA00036110389700001017
和渲染网络G2的过程，以及目标伪造算法F3对应的公共特征提取网络
Figure BDA00036110389700001018
和判别网络
Figure BDA00036110389700001019
真伪特征提取网络
Figure BDA00036110389700001020
和渲染网络G3的过程可以参考前述步骤，本申请实施例对此不再赘述。
经过前述实施例中对四个网络的训练，可以使训练后得到的公共特征提取网络
Figure BDA00036110389700001021
及真伪特征提取网络
Figure BDA00036110389700001022
能够将人脸图像的真伪特征和公共特征分离，从而可以提取出用于判定图像真伪的特征。
本申请实施例采用渲染网络对样本图像对中的真实图、伪造图及检测图像提取到的共有特征及非共有特征进行处理得到第一渲染图和第二渲染图，再通过训练上述四个网络，使第一渲染图、第二渲染图均与检测图像一致，则可以确保得共有特征及非共有特征共同包含完整的特征图，足以渲染出完整的图像。相比判别式训练，本申请可以获得更为丰富的真伪特征，对下游任务更为友好。
此外，渲染网络的处理过程可以稳定公共特征提取网络的训练，防止上述GAN的训练塌缩到无意义的解(例如，公共特征提取网络一直输出0，也能让判别网络无法区分图像的真伪。这一现象称为模式崩塌)。若公共特征提取网络陷入模式崩塌，则渲染网络无法获取到足够的特征图，则第一渲染图与检测图像之间以及第二渲染图与检测图像之间均会产生很大的差异，从而在训练时修正公共特征提取网络的参数。
可以理解的是，对于每种目标伪造算法，均可以使用上述模型训练方法训练对应的公共特征提取网络
Figure BDA00036110389700001023
及真伪特征提取网络
Figure BDA00036110389700001024
最终，在对N中目标伪造算法各自训练完成后，可以得到N个公共特征提取网络
Figure BDA00036110389700001025
及真伪特征提取网络
Figure BDA00036110389700001026
在上述训练过程中，可以将渲染网络Gn替换为特征提取网络，该特征提取网络可以用于提取图像的完整特征。进一步地，可以同时对公共特征提取网络
Figure BDA00036110389700001027
和判别网络
Figure BDA00036110389700001028
真伪特征提取网络
Figure BDA00036110389700001029
和特征提取网络进行训练。具体地，基于公共特征提取网络
Figure BDA00036110389700001030
提取得到第一人脸特征、第二人脸特征以及基于真伪特征提取网络
Figure BDA00036110389700001031
提取得到目标真伪特征，并且将第一人脸特征和目标真伪特征组合为一个完整的第一待检测人脸特征，将第二人脸特征和目标真伪特征组合为一个完整的第二待检测人脸特征，将检测图像输入特征提取网络得到检测图像的目标特征。接着，基于第一待检测人脸特征、所述第二待检测人脸特征分别与目标特征之间的差异，训练公共特征提取网络
Figure BDA00036110389700001032
和判别网络
Figure BDA00036110389700001033
真伪特征提取网络
Figure BDA00036110389700001034
和特征提取网络，以满足以下任一个条件或多个条件的组合：第一待检测人脸特征与目标特征之间的差异相一致，且第一真伪判别结果与第二真伪判别结果相一致；第二待检测人脸特征与目标特征之间的差异相一致，且第一真伪判别结果与第二真伪判别结果相一致；第一人脸特征和第二人脸特征相一致。
本申请实施例中，可以对待识别人脸图像分别提取N个深度伪造算法各自对应的N个人脸特征，这N个人脸特征可以反映出各个目标伪造算法的特性，接着根据N个人脸特征确定出属于各个目标伪造算法的概率，进而通过比较概率值即可确定出待识别人脸图像究竟由哪种目标伪造算法制作得到。请参阅图11，其示出了本申请一实施例提供的深度伪造算法的识别方法的流程示意图。下面将针对图11所示的流程进行详细的阐述，所述深度伪造算法的识别具体可以包括如下步骤：
步骤S1110：获取待识别人脸图像的N个目标真伪特征，每个所述目标真伪特征由对应深度伪造算法提取得到。
在一些实施方式中，待识别人脸图像可以是对真实人脸进行伪造处理后得到的伪造人脸。其中，真实人脸可以是图像采集设备对用户采集得到的人脸图像，可以反映出真实用户的人脸信息。
以安防、人脸支付等应用场景为例，通常会实时采集用户的人脸图像，然后采用人脸识别系统对该人脸图像进行识别，根据用户的人脸特征来验证用户身份。在一些情况下，可能会存在不法分子对人脸识别系统进行攻击。示例性地，攻击者获取采集到的人脸图像，采用某种伪造算法对采集到的人脸图像进行伪造处理后，再将伪造处理后的人脸图像输入到人脸识别系统中，在进行伪造处理时，可以将原本无法通过人脸识别的真实人脸(即采集到的人脸图像)，替换为能够通过人脸识别的伪造人脸(即伪造处理后的人脸图像)，从而达到使用伪造的身份入侵人脸识别系统的目的。
其中，由于攻击者进行伪造处理的伪造算法对人脸识别系统来说处于黑盒状态，即人脸识别系统的开发人员无法拿到具体的伪造算法的模型，因此无法确定攻击者对真实人脸的哪部分特征进行了伪造，也就无法进行针对性防御，同时由于无法对攻击者的技术能力取证，也就无法对攻击者的身份进行定位。
基于此，在一些实施例中，在对人脸图像进行人脸识别时，若识别出该人脸图像为伪造人脸，可以采用本申请实施例所示的方法将该人脸图像作为待识别人脸图像进行深度伪造算法的识别。
其中，可以对每个深度伪造算法分别提取一个目标真伪特征。
可选地，本申请可以对N种目标伪造算法分别训练一个公共特征提取网络，每个公共特征提取网络可以对待识别人脸图像提取得到公共特征，接着分别从待识别人脸图像中去除公共特征，即可得到每种目标伪造算法对应的目标真伪特征。在本实施方式下，具体地，每个目标真伪特征为待识别人脸图像除去对应的目标公共特征得到，每个目标公共特征由对应深度伪造算法的公共特征提取网络对待识别人脸图像提取得到，每个深度伪造算法对应的公共特征提取网络可以预先按照上述模型训练方法对应的任一实施例训练得到。
可选地，本申请可以对N种目标伪造算法分别训练一个真伪特征提取网络，每个真伪特征提取网络可以对待识别人脸图像提取得到真伪特征，则可以将每个真伪特征作为每种目标伪造算法对应的目标真伪特征。在本实施方式下，具体地，每个目标真伪特征由对应深度伪造算法的真伪特征提取网络对待识别人脸图像提取得到，每个深度伪造算法对应的真伪特征提取网络可以预先按照上述模型训练方法对应的任一实施例训练得到。
需要说明的是，真伪特征提取网络所提取的目标真伪特征是与待识别人脸图像的真伪强相关的特征。可选地，目标真伪特征可以是待识别人脸图像与该待识别人脸图像对应的真实人脸之间的特征差异。例如，若某种目标伪造算法对真实人脸的眼部特征进行调整后得到了待识别人脸图像，即是说，待识别人脸图像与该真实人脸仅仅是眼部特征不同，其他特征相同，通过该眼部特征即可识别出该待识别人脸图像的真伪，则可以将该眼部特征提取出来作为目标真伪特征。
其中，由于每种目标伪造算法对真实人脸的处理方式各有不同，而对每种目标伪造算法分别获得的目标真伪特征是最能代表该目标伪造算法的特征，因此可使用目标真伪特征来区分不同的目标伪造算法。
步骤S1120：将每个所述目标真伪特征输入预先训练的伪造算法分类网络，所述伪造算法分类网络用于确定所述待识别人脸图像由每个所述深度伪造算法生成的概率，得到伪造概率。
步骤S1130：将所述伪造概率满足预设概率条件的深度伪造算法确定为所述待识别伪造算法。
在本申请的实施例中，预先训练的伪造算法分类网络可以根据N个目标真伪特征识别出待识别人脸图像所采用的伪造算法。因此，本申请实施例首先会将N个目标真伪特征输入到伪造算法分类网络中，如图12所示。具体地，在伪造算法分类网络中，可以根据N个目标真伪特征来确定待识别伪造算法属于各个目标伪造算法的概率。
可选地，在训练伪造算法分类网络时，将所有N个目标伪造算法各自对应的公共特征提取网络的模型参数固定，可以分别使用N个目标伪造算法各自对应的公共特征提取网络对图像训练集中的每个伪造图像提取到N个公共特征，再分别根据N个公共特征中的每个公共特征确定目标真伪特征。将N个目标真伪特征拼接到一起，作为伪造算法分类网络的输入，训练伪造算法分类网络。需要说明的是，上述N个目标真伪特征也可以由N个目标伪造算法分别对应的真伪特征提取网络对图像训练集中的每个伪造图像提取得到。
其中，图像训练集可以包括多个伪造图像，每个伪造图像由N个目标伪造算法中的任一个目标伪造算法基于真实图像而生成。可选地，该真实图像可以与上述样本图像对中的真实图相同，也可以不相同。可选地，伪造算法分类网络的损失函数可采用交叉熵损失函数。
由于N个公共特征提取网分别对应于一个具体的目标伪造算法，且只由该目标伪造算法所对应多个样本图像对训练得到，因此当输入图像是对由此目标伪造算法构造的伪造图像时，获得的目标真伪特征是最能代表该目标伪造算法的特征；而当输入图像是由其他目标伪造算法构造的伪造图像时，则由于目标伪造算法的本质差异，会给出较为模糊的目标真伪特征。也就是说，目标真伪特征能够区分出不同目标伪造算法之间的差异，因此可以训练一个伪造算法分类网络，通过判别出哪个目标伪造算法对应的目标真伪特征更为明显，而识别出生成待检测图像的目标伪造算法。
在一些典型的实施方式中，伪造算法分类网络可以由分类主干网络C和分类网络组成。其中，分类主干网络可以采用ResNet50网络，其第一层卷积的输入通道数为N个目标真伪特征的特征维数之和。分类网络可以采用一层全连接层(fully connected layers，FC)，后接Softmax层；分类的个数为目标伪造算法的数量N。
以2种目标伪造算法为例，即N＝2，则伪造算法分类网络对图像训练集中的每个伪造图像预测而得到的预测伪造算法可以为
Figure BDA0003611038970000121
基于图像训练集中每个伪造图像对应的预测伪造算法与目标伪造算法之间的误差可以构建伪造算法分类网络的损失函数。可选地，伪造算法分类网络的损失函数可以为
Figure BDA0003611038970000122
其中，
Figure BDA0003611038970000123
为图像训练集中每个伪造图像对应的预测伪造算法，l为图像训练集中每个伪造图像对应的目标伪造算法。在一些实施方式中，可以基于上述伪造算法分类网络的损失函数对伪造算法分类网络进行训练，直到该损失函数收敛。
可以理解的是，任何一种深度伪造算法对真实人脸的特征的编辑均无法完全做到以假乱真，极大可能存在不自然、不和谐的因素。例如，若目标伪造算法F1是对真实人脸的眼部特征进行调整后生成伪造人脸，则伪造人脸在眼部位置所呈现出来的图像，可能与眼周位置所呈现出来的图像不一致，例如眼部位置的皮肤纹理与眼周位置的皮肤纹理差异较大等等。
因此，在一些实施方式中，因此，可以通过比较目标真伪特征与待识别人脸图像内剩余的人脸特征之间的差异性，来确定待识别人脸图像由每个所述深度伪造算法生成的概率。及伪造概率。进一步地，可以比较目标真伪特征与待识别人脸图像内相邻的人脸特征的特征值之间的差异性，来确定伪造概率。可选地，目标真伪特征与待识别人脸图像内相邻的人脸特征之间的特征值之间的差异性越大，目标伪造算法对应的伪造概率也越大。
在本申请的实施例中，将伪造概率满足预设概率条件的深度伪造算法确定为待识别伪造算法。可选地，可以将待识别伪造算法识别为伪造概率大于预设概率阈值的目标伪造算法。进一步地，可以将待识别伪造算法识别为伪造概率最大的目标伪造算法。
综上所述，本实施例提供的深度伪造算法的识别方法，可以获取待识别人脸图像的N个目标真伪特征，每个目标真伪特征由对应深度伪造算法提取得到，这N目标真伪特征可以反映出各个深度伪造算法的特性，因此可以根据N个目标真伪特征确定待识别人脸图像由每个深度伪造算法生成的概率，得到伪造概率，通过比较伪造概率即可准确地确定出待识别人脸图像究竟由哪种深度伪造算法制作得到，进而可以帮助防御者对伪造者的技术能力进行取证，对针对性的防御提供了很大的帮助。
请参阅图13，示出了本申请一实施例提供的模型训练装置的模块框图。具体地，该模型训练装置可以包括：图像对获取模块1310、公共特征提取模块1320、真伪判别模块1330以及模型训练模块1340。
其中，图像对获取模块1310，用于获取目标伪造算法Fn对应的多个样本图像对，每个所述样本图像对包括一个真实图和伪造图，每个所述样本图像对中的伪造图由所述目标伪造算法Fn基于该样本图像对中的真实图生成；其中，n为正整数；公共特征提取模块1320，用于将多个所述样本图像对输入公共特征提取网络
Figure BDA0003611038970000131
对应得到每个所述样本图像对中真实图的第一人脸特征和伪造图的第二人脸特征，所述公共特征提取网络
Figure BDA0003611038970000132
用于提取样本图像对中真实图与伪造图之间共有的特征；真伪判别模块1330，用于将每个所述样本图像对的所述第一人脸特征和所述第二人脸特征输入判别网络
Figure BDA0003611038970000133
对应得到每个所述样本图像对中真实图的第一真伪判别结果和伪造图的第二真伪判别结果；模型训练模块1340，用于基于每个所述样本图像对对应的所述第一人脸特征、所述第二人脸特征、所述第一真伪判别结果和所述第二真伪判别结果，训练所述公共特征提取网络
Figure BDA0003611038970000134
和所述判别网络
Figure BDA0003611038970000135
在一些实施方式中，模型训练装置还可以包括：初始化模块，用于将训练完成的所述公共特征提取网络
Figure BDA0003611038970000136
作为初始公共特征提取网络
Figure BDA0003611038970000137
将训练完成的所述判别网络
Figure BDA0003611038970000138
作为初始判别网络
Figure BDA0003611038970000139
第一真伪特征提取模块，用于将检测图像输入真伪特征提取网络
Figure BDA00036110389700001310
得到所述检测图像的目标真伪特征，所述检测图像为每个所述样本图像对中的真实图或伪造图，所述真伪特征提取网络
Figure BDA00036110389700001311
用于提取样本图像对中真实图与伪造图之间的非共有特征；第一渲染模块，用于将所述第一人脸特征与所述目标真伪特征输入渲染网络Gn得到第一渲染图，将所述第二人脸特征与所述目标真伪特征输入渲染网络得到第二渲染图；第一训练模块，用于基于所述第一渲染图、所述第二渲染图分别与所述检测图像之间的差异，训练所述初始公共特征提取网络
Figure BDA00036110389700001312
所述初始判别网络
Figure BDA00036110389700001313
所述真伪特征提取网络
Figure BDA00036110389700001314
和所述渲染网络Gn，以使所述第一渲染图与所述检测图像之间的差异相一致，和/或以使所述第二渲染图与所述检测图像之间的差异相一致，并且以使所述第一真伪判别结果与所述第二真伪判别结果相一致，和/或以使所述第一人脸特征和所述第二人脸特征相一致。
在一些实施方式中，模型训练模块1340可以包括：第二真伪特征提取模块，用于将检测图像输入真伪特征提取网络
Figure BDA00036110389700001315
得到所述检测图像的目标真伪特征，所述检测图像为每个所述样本图像对中的真实图或伪造图，所述真伪特征提取
Figure BDA00036110389700001316
网络用于提取样本图像对中真实图与伪造图之间的非共有特征；第二渲染模块，用于将所述第一人脸特征与所述目标真伪特征输入渲染网络Gn得到第一渲染图，将所述第二人脸特征与所述目标真伪特征输入渲染网络Gn得到第二渲染图；第二训练模块，用于基于所述第一渲染图、所述第二渲染图分别与所述检测图像之间的差异，训练所述公共特征提取网络
Figure BDA00036110389700001317
和所述判别网络
Figure BDA00036110389700001318
所述真伪特征提取网络
Figure BDA00036110389700001319
和所述渲染网络Gn，以使所述第一渲染图与所述检测图像之间的差异相一致，和/或以使所述第二渲染图与所述检测图像之间的差异相一致，并且以使所述第一真伪判别结果与所述第二真伪判别结果相一致，和/或以使所述第一人脸特征和所述第二人脸特征相一致。
进一步地，上述第二训练模块可以包括：差异获取模块，用于获取所述第一渲染图与所述检测图像之间的第一差异、所述第二渲染图与所述检测图像之间的第二差异、所述第一人脸特征与所述第二人脸特征之间的第三差异、所述第一真伪判别结果的第一数学期望以及所述第二真伪判别结果的第二数学期望；差异比较模块，用于基于所述第一差异、第二差异、第三差异、第一数学期望以及第二数学期望训练所述公共特征提取网络
Figure BDA00036110389700001320
和所述判别网络
Figure BDA00036110389700001321
所述真伪特征提取网络
Figure BDA00036110389700001322
和所述渲染网络Gn，直至所述第一差异、第二差异、第三差异、第一数学期望及第二数学期望之和趋于稳定且所述第一数学期望及所述第二数学期望之和趋于稳定。
进一步地，差异比较模块可以包括：函数构建模块，用于基于所述第一差异、第二差异、第三差异、第一数学期望以及第二数学期望构建重构损失函数，基于第一数学期望及第二数学期望构建判别网络损失函数；函数比较模块，用于基于所述重构损失函数及判别网络损失函数训练所述公共特征提取网络
Figure BDA00036110389700001323
和所述判别网络
Figure BDA00036110389700001324
所述真伪特征提取网络
Figure BDA00036110389700001325
和所述渲染网络Gn，直至所述重构损失函数与所述判别网络损失函数均收敛。
更近一步地，所述重构损失函数为：
Figure BDA00036110389700001326
所述判定网络损失函数为：
Figure BDA0003611038970000141
其中，λ1、λ2、λ3……λ8为预先设置的权重参数，IA表示所述检测图像，Iout表示所述第一渲染图或所述第一渲染图，
Figure BDA0003611038970000142
表示所述第一人脸特征，
Figure BDA0003611038970000143
表示所述第二人脸特征，L1表示1-范数，L2表示2-范数，Lssim、LVGG均用于表示两个图像之间的差异，
Figure BDA0003611038970000144
表示每个所述样本图像对中第一真伪判别结果的第一数学期望、
Figure BDA0003611038970000145
表示每个所述样本图像对中第二真伪判别结果的第二数学期望。
请参阅图14，示出了本申请一实施例提供的深度伪造算法的识别装置的模块框图。具体地，该深度伪造算法的识别装置可以包括：特征提取模块1410、概率确定模块1420以及算法确定模块1430。
特征提取模块1410，用于获取待识别人脸图像的N个目标真伪特征，每个所述目标真伪特征由对应深度伪造算法提取得到；概率确定模块1420，用于将每个所述目标真伪特征输入预先训练的伪造算法分类网络，所述伪造算法分类网络用于确定所述待识别人脸图像由每个所述深度伪造算法生成的概率，得到伪造概率；算法确定模块1430，用于将所述伪造概率满足预设概率条件的深度伪造算法确定为所述待识别伪造算法。
进一步地，特征提取模块1410可以包括：第一特征提取模块，用于每个所述目标真伪特征为所述待识别人脸图像除去对应的目标公共特征得到，每个所述目标公共特征由对应深度伪造算法的公共特征提取网络对待识别人脸图像提取得到，每个所述深度伪造算法对应的公共特征提取网络预先通过上述模型训练装置训练得到。
进一步地，特征提取模块1410还可以包括：第二特征提取模块，用于每个所述目标真伪特征由对应深度伪造算法的真伪特征提取网络对待识别人脸图像提取得到，每个所述深度伪造算法对应的真伪特征提取网络预先通过上述模型训练装置训练得到。
进一步地，上述概率确定模块1420可以用于将所述待识别伪造算法识别为伪造概率最大的深度伪造算法。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述装置中模块/单元/子单元/组件的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，所显示或讨论的模块相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
另外，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
请参阅图15，其示出了本申请一实施例提供的电子设备的结构框图。本实施例中的所述电子设备可以包括一个或多个如下部件：处理器1510、存储器1520以及一个或多个应用程序，其中一个或多个应用程序可以被存储在存储器1520中并被配置为由一个或多个处理器1510执行，一个或多个应用程序配置用于执行如前述方法实施例所描述的方法。
其中，电子设备可以为移动、便携式并执行无线通信的各种类型的计算机系统设备中的任何一种。具体的，电子设备可以为移动电话或智能电话(例如，基于iPhone TM，基于Android TM的电话)、便携式游戏设备(例如Nintendo DS TM，PlayStation PortableTM，Gameboy Advance TM，iPhone TM)、膝上型电脑、PDA、便携式互联网设备、音乐播放器以及数据存储设备，其他手持设备以及诸如智能手表、智能手环、耳机、吊坠等，电子设备还可以为其他的可穿戴设备(例如，诸如电子眼镜、电子衣服、电子手镯、电子项链、电子纹身、电子设备或头戴式设备(HMD))。
电子设备还可以是多个电子设备中的任何一个，多个电子设备包括但不限于蜂窝电话、智能电话、智能手表、智能手环、其他无线通信设备、个人数字助理、音频播放器、其他媒体播放器、音乐记录器、录像机、照相机、其他媒体记录器、收音机、医疗设备、车辆运输仪器、计算器、可编程遥控器、寻呼机、膝上型计算机、台式计算机、打印机、上网本电脑、个人数字助理(PDA)、便携式多媒体播放器(PMP)、运动图像专家组(MPEG-1或MPEG-2)音频层3(MP3)播放器，便携式医疗设备以及数码相机及其组合。
在一些情况下，电子设备可以执行多种功能(例如，播放音乐，显示视频，存储图片以及接收和发送电话呼叫)。如果需要，电子设备可以是诸如蜂窝电话、媒体播放器、其他手持设备、腕表设备、吊坠设备、听筒设备或其他紧凑型便携式设备。
可选地，电子设备也可以是服务器，例如可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(ContentDelivery Network，内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器，还可以是提供人脸识别、自动驾驶、工业互联网服务、数据通信(如4G、5G等)等专门或平台服务器。
处理器1510可以包括一个或者多个处理核。处理器1510利用各种接口和线路连接整个电子设备内的各个部分，通过运行或执行存储在存储器1520内的指令、应用程序、代码集或指令集，以及调用存储在存储器1520内的数据，执行电子设备的各种功能和处理数据。可选地，处理器1510可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、可编程逻辑阵列(ProgrammableLogic Array，PLA)中的至少一种硬件形式来实现。处理器1510可集成中央处理器(CentralProcessing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器1510中，单独通过一块通信芯片进行实现。
存储器1520可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。存储器1520可用于存储指令、应用程序、代码、代码集或指令集。存储器1520可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等。存储数据区还可以电子设备在使用中所创建的数据(比如电话本、音视频数据、聊天记录数据)等。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的电子设备的处理器1510、存储器1520的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
请参考图16，其示出了本申请一实施例提供的计算机可读存储介质的结构框图。该计算机可读存储介质1600中存储有程序代码，所述程序代码可被处理器调用执行上述方法实施例中所描述的方法。
计算机可读存储介质1600可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。可选地，计算机可读存储介质1600包括非易失性计算机可读存储介质(non-transitory computer-readable storage medium)。计算机可读存储介质1600具有执行上述方法中的任何方法步骤的程序代码1610的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码1610可以例如以适当形式进行压缩。其中，计算机可读存储介质1600可以是如只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random AccessMemory，简称RAM)、SSD、带电可擦可编程只读存储器(Electrically ErasableProgrammable read only memory，简称EEPROM)或快闪存储器(Flash Memory，简称Flash)等。
在一些实施例中，如图17所示，提供了一种计算机程序产品1700，该计算机程序产品1700包括计算机程序/指令1710，该计算机程序/指令1710存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机程序/指令，处理器执行该计算机程序/指令，使得该计算机设备执行上述各方法实施例中的步骤。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、SSD、Flash)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例的方法。
最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (15)

1.一种模型训练方法，其特征在于，所述方法包括：
获取目标伪造算法Fn对应的多个样本图像对，每个所述样本图像对包括一个真实图和伪造图，每个所述样本图像对中的伪造图由所述目标伪造算法Fn基于该样本图像对中的真实图生成；其中，n为正整数；
将多个所述样本图像对输入公共特征提取网络
Figure FDA0003611038960000011
对应得到每个所述样本图像对中真实图的第一人脸特征和伪造图的第二人脸特征，所述公共特征提取网络
Figure FDA0003611038960000012
用于提取样本图像对中真实图与伪造图之间共有的特征；
将每个所述样本图像对的所述第一人脸特征和所述第二人脸特征输入判别网络
Figure FDA0003611038960000013
对应得到每个所述样本图像对中真实图的第一真伪判别结果和伪造图的第二真伪判别结果；
基于每个所述样本图像对对应的所述第一人脸特征、所述第二人脸特征、所述第一真伪判别结果和所述第二真伪判别结果，训练所述公共特征提取网络
Figure FDA0003611038960000014
和所述判别网络
Figure FDA0003611038960000015
2.根据权利要求1所述的方法，其特征在于，所述基于每个所述样本图像对对应的所述第一人脸特征、所述第二人脸特征、所述第一真伪判别结果和所述第二真伪判别结果，训练所述公共特征提取网络
Figure FDA0003611038960000016
和所述判别网络
Figure FDA0003611038960000017
之后，还包括：
将训练完成的所述公共特征提取网络
Figure FDA0003611038960000018
作为初始公共特征提取网络
Figure FDA0003611038960000019
将训练完成的所述判别网络
Figure FDA00036110389600000110
作为初始判别网络
Figure FDA00036110389600000111
将检测图像输入真伪特征提取网络
Figure FDA00036110389600000112
得到所述检测图像的目标真伪特征，所述检测图像为每个所述样本图像对中的真实图或伪造图，所述真伪特征提取网络
Figure FDA00036110389600000113
用于提取样本图像对中真实图与伪造图之间的非共有特征；
将所述第一人脸特征与所述目标真伪特征输入渲染网络Gn得到第一渲染图，将所述第二人脸特征与所述目标真伪特征输入渲染网络得到第二渲染图；
基于所述第一渲染图、所述第二渲染图分别与所述检测图像之间的差异，训练所述初始公共特征提取网络
Figure FDA00036110389600000114
所述初始判别网络
Figure FDA00036110389600000115
所述真伪特征提取网络
Figure FDA00036110389600000116
和所述渲染网络Gn，以使所述第一渲染图与所述检测图像之间的差异相一致，和/或以使所述第二渲染图与所述检测图像之间的差异相一致，并且以使所述第一真伪判别结果与所述第二真伪判别结果相一致，和/或以使所述第一人脸特征和所述第二人脸特征相一致。
3.根据权利要求1所述的方法，其特征在于，所述基于每个所述样本图像对对应的所述第一人脸特征、所述第二人脸特征、所述第一真伪判别结果和所述第二真伪判别结果，训练所述公共特征提取网络
Figure FDA00036110389600000117
和所述判别网络
Figure FDA00036110389600000118
包括：
将检测图像输入真伪特征提取网络
Figure FDA00036110389600000119
得到所述检测图像的目标真伪特征，所述检测图像为每个所述样本图像对中的真实图或伪造图，所述真伪特征提取
Figure FDA00036110389600000120
网络用于提取样本图像对中真实图与伪造图之间的非共有特征；
将所述第一人脸特征与所述目标真伪特征输入渲染网络Gn得到第一渲染图，将所述第二人脸特征与所述目标真伪特征输入渲染网络Gn得到第二渲染图；
基于所述第一渲染图、所述第二渲染图分别与所述检测图像之间的差异，训练所述公共特征提取网络
Figure FDA00036110389600000121
和所述判别网络
Figure FDA00036110389600000122
所述真伪特征提取网络
Figure FDA00036110389600000123
和所述渲染网络Gn，以使所述第一渲染图与所述检测图像之间的差异相一致，和/或以使所述第二渲染图与所述检测图像之间的差异相一致，并且以使所述第一真伪判别结果与所述第二真伪判别结果相一致，和/或以使所述第一人脸特征和所述第二人脸特征相一致。
4.根据权利要求3所述的方法，其特征在于，所述基于所述第一渲染图、所述第二渲染图分别与所述检测图像之间的差异，训练所述公共特征提取网络
Figure FDA00036110389600000124
和所述判别网络
Figure FDA00036110389600000125
所述真伪特征提取网络
Figure FDA00036110389600000126
和所述渲染网络Gn，以使所述第一渲染图与所述检测图像之间的差异相一致，和/或以使所述第二渲染图与所述检测图像之间的差异相一致，并且以使所述第一真伪判别结果与所述第二真伪判别结果相一致，和/或以使所述第一人脸特征和所述第二人脸特征相一致，包括：
获取所述第一渲染图与所述检测图像之间的第一差异、所述第二渲染图与所述检测图像之间的第二差异、所述第一人脸特征与所述第二人脸特征之间的第三差异、所述第一真伪判别结果的第一数学期望以及所述第二真伪判别结果的第二数学期望；
基于所述第一差异、第二差异、第三差异、第一数学期望以及第二数学期望训练所述公共特征提取网络
Figure FDA0003611038960000021
和所述判别网络
Figure FDA0003611038960000022
所述真伪特征提取网络
Figure FDA0003611038960000023
和所述渲染网络Gn，直至所述第一差异、第二差异、第三差异、第一数学期望及第二数学期望之和趋于稳定且所述第一数学期望及所述第二数学期望之和趋于稳定。
5.根据权利要求4所述的方法，其特征在于，所述基于所述第一差异、第二差异、第三差异第一数学期望以及第二数学期望训练所述公共特征提取网络
Figure FDA0003611038960000024
和所述判别网络
Figure FDA0003611038960000025
所述真伪特征提取网络
Figure FDA0003611038960000026
和所述渲染网络Gn，直至所述第一差异、第二差异、第三差异、第一数学期望及第二数学期望之和趋于稳定且所述第一数学期望及所述第二数学期望之和趋于稳定，包括：
基于所述第一差异、第二差异、第三差异、第一数学期望以及第二数学期望构建重构损失函数，基于第一数学期望及第二数学期望构建判别网络损失函数；
基于所述重构损失函数及判别网络损失函数训练所述公共特征提取网络
Figure FDA0003611038960000027
和所述判别网络
Figure FDA0003611038960000028
所述真伪特征提取网络
Figure FDA0003611038960000029
和所述渲染网络Gn，直至所述重构损失函数与所述判别网络损失函数均收敛。
6.根据权利要求5所述的方法，其特征在于，所述重构损失函数为：
Figure FDA00036110389600000210
所述判定网络损失函数为：
Figure FDA00036110389600000211
其中，λ1、λ2、λ3……λ8为预先设置的权重参数，IA表示所述检测图像，Iout表示所述第一渲染图或所述第一渲染图，
Figure FDA00036110389600000212
表示所述第一人脸特征，
Figure FDA00036110389600000213
表示所述第二人脸特征，L1表示1-范数，L2表示2-范数，Lssim、LVGG均用于表示两个图像之间的差异，
Figure FDA00036110389600000214
表示每个所述样本图像对中第一真伪判别结果的第一数学期望、
Figure FDA00036110389600000215
表示每个所述样本图像对中第二真伪判别结果的第二数学期望。
7.一种深度伪造算法的识别方法，其特征在于，所述方法包括：
获取待识别人脸图像的N个目标真伪特征，每个所述目标真伪特征由对应深度伪造算法提取得到；
将每个所述目标真伪特征输入预先训练的伪造算法分类网络，所述伪造算法分类网络用于确定所述待识别人脸图像由每个所述深度伪造算法生成的概率，得到伪造概率；
将所述伪造概率满足预设概率条件的深度伪造算法确定为所述待识别伪造算法。
8.根据权利要求7所述的方法，其特征在于，所述每个所述目标真伪特征由对应深度伪造算法提取得到，包括：
每个所述目标真伪特征为所述待识别人脸图像除去对应的目标公共特征得到，每个所述目标公共特征由对应深度伪造算法的公共特征提取网络对待识别人脸图像提取得到，每个所述深度伪造算法对应的公共特征提取网络预先按照如权利要求1-6任一项所述的方法训练得到。
9.根据权利要求7所述的方法，其特征在于，所述每个所述目标真伪特征由对应深度伪造算法提取得到，包括：
每个所述目标真伪特征由对应深度伪造算法的真伪特征提取网络对待识别人脸图像提取得到，每个所述深度伪造算法对应的真伪特征提取网络预先按照如权利要求2-6任一项所述的方法训练得到。
10.根据权利要求7所述的方法，其特征在于，所述将所述伪造概率满足预设概率条件的深度伪造算法确定为所述待识别伪造算法，包括：
将所述待识别伪造算法识别为伪造概率最大的深度伪造算法。
11.一种模型训练装置，其特征在于，所述装置包括：
图像对获取模块，用于获取目标伪造算法Fn对应的多个样本图像对，每个所述样本图像对包括一个真实图和伪造图，每个所述样本图像对中的伪造图由所述目标伪造算法Fn基于该样本图像对中的真实图生成；其中，n为正整数；
公共特征提取模块，用于将多个所述样本图像对输入公共特征提取网络
Figure FDA0003611038960000031
对应得到每个所述样本图像对中真实图的第一人脸特征和伪造图的第二人脸特征，所述公共特征提取网络
Figure FDA0003611038960000032
用于提取样本图像对中真实图与伪造图之间共有的特征；
真伪判别模块，用于将每个所述样本图像对的所述第一人脸特征和所述第二人脸特征输入判别网络
Figure FDA0003611038960000033
对应得到每个所述样本图像对中真实图的第一真伪判别结果和伪造图的第二真伪判别结果；
模型训练模块，用于基于每个所述样本图像对对应的所述第一人脸特征、所述第二人脸特征、所述第一真伪判别结果和所述第二真伪判别结果，训练所述公共特征提取网络
Figure FDA0003611038960000034
和所述判别网络
Figure FDA0003611038960000035
12.一种深度伪造算法的识别装置，其特征在于，所述装置包括：
特征提取模块，用于获取待识别人脸图像的N个目标真伪特征，每个所述目标真伪特征由对应深度伪造算法提取得到；
概率确定模块，用于将每个所述目标真伪特征输入预先训练的伪造算法分类网络，所述伪造算法分类网络用于确定所述待识别人脸图像由每个所述深度伪造算法生成的概率，得到伪造概率；
算法确定模块，用于将所述伪造概率满足预设概率条件的深度伪造算法确定为所述待识别伪造算法。
13.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储器；
一个或多个程序，其中所述一个或多个程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行如权利要求1至10任一项所述的方法。
14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有程序代码，所述程序代码可被处理器调用执行如权利要求1至10任一项所述的方法。
15.一种包含指令的计算机程序产品，其特征在于，所述计算机程序产品中存储有指令，当其在计算机上运行时，使得计算机实现如权利要求1至10任一项所述的方法。
CN202210431851.6A 2022-04-22 2022-04-22 深度伪造算法的识别方法、装置、电子设备及存储介质 Active CN114841340B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210431851.6A CN114841340B (zh) 2022-04-22 2022-04-22 深度伪造算法的识别方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210431851.6A CN114841340B (zh) 2022-04-22 2022-04-22 深度伪造算法的识别方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN114841340A true CN114841340A (zh) 2022-08-02
CN114841340B CN114841340B (zh) 2023-07-28

Family

ID=82565288

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210431851.6A Active CN114841340B (zh) 2022-04-22 2022-04-22 深度伪造算法的识别方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN114841340B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115171199A (zh) * 2022-09-05 2022-10-11 腾讯科技（深圳）有限公司 图像处理方法、装置及计算机设备、存储介质

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107958067A (zh) * 2017-12-05 2018-04-24 焦点科技股份有限公司 一种基于无标注自动特征提取的大规模电商图片检索系统
CN111461089A (zh) * 2020-06-17 2020-07-28 腾讯科技（深圳）有限公司 一种人脸检测的方法、人脸检测模型的训练方法及装置
CN111738244A (zh) * 2020-08-26 2020-10-02 腾讯科技（深圳）有限公司 图像检测方法、装置、计算机设备和存储介质
CN112766189A (zh) * 2021-01-25 2021-05-07 北京有竹居网络技术有限公司 深度伪造检测方法、装置、存储介质及电子设备
CN113240575A (zh) * 2021-05-12 2021-08-10 中国科学技术大学 人脸伪造视频效果增强方法
CN113313054A (zh) * 2021-06-15 2021-08-27 中国科学技术大学 人脸伪造视频检测方法、系统、设备与存储介质
CN113642427A (zh) * 2021-07-29 2021-11-12 中国人民解放军战略支援部队信息工程大学 一种针对人工智能伪造的图像保护方法
CN113723295A (zh) * 2021-08-31 2021-11-30 浙江大学 一种基于图像域频域双流网络的人脸伪造检测方法
CN113762138A (zh) * 2021-09-02 2021-12-07 恒安嘉新（北京）科技股份公司 伪造人脸图片的识别方法、装置、计算机设备及存储介质
CN114170655A (zh) * 2021-11-29 2022-03-11 西安电子科技大学 一种基于知识蒸馏的人脸伪造线索迁移方法
CN114220145A (zh) * 2021-11-29 2022-03-22 厦门市美亚柏科信息股份有限公司 人脸检测模型生成方法和装置、伪造人脸检测方法和装置
CN114333078A (zh) * 2021-12-01 2022-04-12 马上消费金融股份有限公司 活体检测方法、装置、电子设备及存储介质
CN114360034A (zh) * 2022-03-18 2022-04-15 武汉大学 基于三胞胎网络的深度伪造人脸检测方法、系统及设备

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107958067A (zh) * 2017-12-05 2018-04-24 焦点科技股份有限公司 一种基于无标注自动特征提取的大规模电商图片检索系统
CN111461089A (zh) * 2020-06-17 2020-07-28 腾讯科技（深圳）有限公司 一种人脸检测的方法、人脸检测模型的训练方法及装置
CN111738244A (zh) * 2020-08-26 2020-10-02 腾讯科技（深圳）有限公司 图像检测方法、装置、计算机设备和存储介质
CN112766189A (zh) * 2021-01-25 2021-05-07 北京有竹居网络技术有限公司 深度伪造检测方法、装置、存储介质及电子设备
CN113240575A (zh) * 2021-05-12 2021-08-10 中国科学技术大学 人脸伪造视频效果增强方法
CN113313054A (zh) * 2021-06-15 2021-08-27 中国科学技术大学 人脸伪造视频检测方法、系统、设备与存储介质
CN113642427A (zh) * 2021-07-29 2021-11-12 中国人民解放军战略支援部队信息工程大学 一种针对人工智能伪造的图像保护方法
CN113723295A (zh) * 2021-08-31 2021-11-30 浙江大学 一种基于图像域频域双流网络的人脸伪造检测方法
CN113762138A (zh) * 2021-09-02 2021-12-07 恒安嘉新（北京）科技股份公司 伪造人脸图片的识别方法、装置、计算机设备及存储介质
CN114170655A (zh) * 2021-11-29 2022-03-11 西安电子科技大学 一种基于知识蒸馏的人脸伪造线索迁移方法
CN114220145A (zh) * 2021-11-29 2022-03-22 厦门市美亚柏科信息股份有限公司 人脸检测模型生成方法和装置、伪造人脸检测方法和装置
CN114333078A (zh) * 2021-12-01 2022-04-12 马上消费金融股份有限公司 活体检测方法、装置、电子设备及存储介质
CN114360034A (zh) * 2022-03-18 2022-04-15 武汉大学 基于三胞胎网络的深度伪造人脸检测方法、系统及设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
曹本: "基于深度学习特征提取的人脸认证算法研究", 《中国优秀硕士学位论文全文数据库信息科技辑》, no. 04, pages 138 - 2764 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115171199A (zh) * 2022-09-05 2022-10-11 腾讯科技（深圳）有限公司 图像处理方法、装置及计算机设备、存储介质

Also Published As

Publication number Publication date
CN114841340B (zh) 2023-07-28

Similar Documents

Publication Publication Date Title
US11830230B2 (en) Living body detection method based on facial recognition, and electronic device and storage medium
CN109492627B (zh) 一种基于全卷积网络的深度模型的场景文本擦除方法
CN111461089A (zh) 一种人脸检测的方法、人脸检测模型的训练方法及装置
CN110188829B (zh) 神经网络的训练方法、目标识别的方法及相关产品
CN110222728B (zh) 物品鉴别模型的训练方法、系统及物品鉴别方法、设备
WO2023098128A1 (zh) 活体检测方法及装置、活体检测系统的训练方法及装置
CN111144314B (zh) 一种篡改人脸视频检测方法
CN111444873A (zh) 视频中人物真伪的检测方法、装置、电子设备及存储介质
CN111160313A (zh) 一种基于lbp-vae异常检测模型的人脸表示攻击检测方法
US20230281833A1 (en) Facial image processing method and apparatus, device, and storage medium
CN111160555A (zh) 基于神经网络的处理方法、装置及电子设备
CN113553954A (zh) 行为识别模型的训练方法及装置、设备、介质和程序产品
CN114841340B (zh) 深度伪造算法的识别方法、装置、电子设备及存储介质
KR20200020107A (ko) 기계학습을 이용한 획 기반 수기 서명 인증 방법 및 시스템
CN115171199A (zh) 图像处理方法、装置及计算机设备、存储介质
CN113689527B (zh) 一种人脸转换模型的训练方法、人脸图像转换方法
CN110414593B (zh) 图像处理方法及装置、处理器、电子设备及存储介质
CN112257628A (zh) 一种户外比赛运动员的身份识别方法、装置及设备
CN115731620A (zh) 检测对抗攻击的方法和训练对抗攻击检测模型的方法
CN114463805B (zh) 深度伪造检测方法、装置、存储介质及计算机设备
CN115578768A (zh) 图像检测网络的训练方法、图像检测方法和系统
CN112215076B (zh) 一种基于双塔网络的深度笔迹鉴定方法及装置
CN114463859B (zh) 活体检测的对抗样本生成方法、装置、电子设备及存储介质
CN114463799A (zh) 一种活体检测方法、装置及计算机可读存储介质
CN115222966A (zh) 对抗数据生成方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant