CN113361455B - 人脸鉴伪模型的训练方法、相关装置及计算机程序产品 - Google Patents

Abstract

本公开提供了人脸鉴伪模型的训练方法、装置、电子设备、存储介质及计算机程序产品，涉及人工智能领域，具体涉及计算机视觉和深度学习技术，可应用于人脸识别等场景。方法的一具体实施方式包括：执行如下训练操作，直至达到预设结束条件：获取相对应的真实人脸图像和合成人脸图像；通过噪声添加网络在合成人脸图像中添加噪声，得到人脸噪声图像，并通过判别网络识别真实人脸图像和人脸噪声图像中的人脸对象的真实性，以采用对抗方式训练噪声添加网络和判别网络；将训练后的判别网络确定为人脸鉴伪模型。本公开提高了人脸鉴伪模型的泛化能力和鲁棒性。

Description

人脸鉴伪模型的训练方法、相关装置及计算机程序产品

技术领域

本公开涉及人工智能领域，具体涉及计算机视觉和深度学习技术，尤其涉及人脸鉴伪模型的训练方法、装置、电子设备、存储介质以及计算机程序产品，可应用于人脸识别等场景。

背景技术

人脸鉴伪，即检测一张人脸图像是否为合成或AI(Artificial Intelligence，人工智能)编辑的人脸图像，是人脸识别系统的基础功能，可以保证人脸识别系统的安全性。使用深度学习技术的人脸鉴伪方法是本领域的主流方法，称为深度鉴伪技术。AI合成人脸图像具有多样化的特点，现有基于深度学习的深度鉴伪算法通过有限的合成人脸图像数据进行训练。

发明内容

本公开提供了一种人脸鉴伪模型的训练方法、装置、电子设备、存储介质以及计算机程序产品。

根据第一方面，提供了一种人脸鉴伪模型的训练方法，包括：执行如下训练操作，直至达到预设结束条件：获取相对应的真实人脸图像和合成人脸图像；通过噪声添加网络在合成人脸图像中添加噪声，得到人脸噪声图像，并通过判别网络识别真实人脸图像和人脸噪声图像中的人脸对象的真实性，以采用对抗方式训练噪声添加网络和判别网络，其中，噪声添加网络以生成判别网络无法分辨人脸对象的真实性的人脸噪声图像为目标，判别网络以能够识别真实人脸图像和人脸噪声图像中的人脸对象的真实性为目标；将训练后的判别网络确定为人脸鉴伪模型。

根据第二方面，提供了用于识别人脸对象真实性的方法，包括：获取待识别图像；通过人脸鉴伪模型识别待识别图像中的人脸对象的真实性，得到识别结果，其中，人脸鉴伪模型通过如第一方面任一实现方式描述的方法训练得到。

根据第三方面，提供了一种人脸鉴伪模型的训练装置，包括：训练单元，被配置成执行如下训练操作，直至达到预设结束条件：获取相对应的真实人脸图像和合成人脸图像；通过噪声添加网络在合成人脸图像中添加噪声，得到人脸噪声图像，并通过判别网络识别真实人脸图像和人脸噪声图像中的人脸对象的真实性，以采用对抗方式训练噪声添加网络和判别网络，其中，噪声添加网络以生成判别网络无法分辨人脸对象的真实性的人脸噪声图像为目标，判别网络以能够识别真实人脸图像和人脸噪声图像中的人脸对象的真实性为目标；确定单元，被配置成将训练后的判别网络确定为人脸鉴伪模型。

根据第四方面，提供了用于识别人脸对象真实性的装置，包括：获取单元，被配置成获取待识别图像；识别单元，被配置成通过人脸鉴伪模型识别待识别图像中的人脸对象的真实性，得到识别结果，其中，人脸鉴伪模型通过如第一方面任一实现方式描述的方法训练得到。

根据第五方面，提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如第一方面、第二方面任一实现方式描述的方法。

根据第六方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，计算机指令用于使计算机执行如第一方面、第二方面任一实现方式描述的方法。

根据第七方面，提供了一种计算机程序产品，包括：计算机程序，计算机程序在被处理器执行时实现如第一方面、第二方面任一实现方式描述的方法。

根据本公开的技术，在合成人脸图像上添加噪声得到人脸噪声图像，并基于对抗方式训练噪声添加网络和判别网络，以将训练后的判别网络确定为人脸鉴伪模型，提高了人脸鉴伪模型的泛化能力和鲁棒性。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1是根据本公开的一个实施例可以应用于其中的示例性系统架构图；

图2是根据本公开的人脸鉴伪模型的训练方法的一个实施例的流程图；

图3是根据本实施例的人脸鉴伪模型的训练方法的应用场景的示意图；

图4是根据本公开的人脸鉴伪模型的训练方法的又一个实施例的流程图；

图5是根据本公开的人脸鉴伪模型的训练方法的又一个实施例的结构示意图；

图6是根据本公开的用于识别人脸对象真实性的方法的一个实施例的流程图；

图7是根据本公开的人脸鉴伪模型的训练装置的一个实施例的结构图；

图8是根据本公开的用于识别人脸对象真实性的装置的一个实施例的结构图；

图9是适于用来实现本公开实施例的计算机系统的结构示意图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

本公开的技术方案中，所涉及的用户个人信息的获取，存储和应用等，均符合相关法律法规的规定，且不违背公序良俗。

图1示出了可以应用本公开的人脸鉴伪模型的训练方法及装置、用于识别人脸对象真实性的方法及装置的示例性架构100。

如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。终端设备101、102、103之间通信连接构成拓扑网络，网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

终端设备101、102、103可以是支持网络连接从而进行数据交互和数据处理的硬件设备或软件。当终端设备101、102、103为硬件时，其可以是支持网络连接，信息获取、交互、显示、处理等功能的各种电子设备，包括但不限于车载智能设备、监控设备、智能手机、平板电脑、电子书阅读器、膝上型便携计算机和台式计算机等等。当终端设备101、102、103为软件时，可以安装在上述所列举的电子设备中。其可以实现成例如用来提供分布式服务的多个软件或软件模块，也可以实现成单个软件或软件模块。在此不做具体限定。

服务器105可以是提供各种服务的服务器，例如接收终端设备发送的待识别图像，识别待识别图像中的人脸对象的真实性的后台服务器。服务器可以通过对抗训练的方式训练得到人脸鉴伪模型。具体的，在合成人脸图像上添加噪声得到人脸噪声图像，并基于对抗方式训练噪声添加网络和判别网络，以将训练后的判别网络确定为人脸鉴伪模型。作为示例，服务器105可以是云端服务器。

需要说明的是，服务器可以是硬件，也可以是软件。当服务器为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当服务器为软件时，可以实现成多个软件或软件模块(例如用来提供分布式服务的软件或软件模块)，也可以实现成单个软件或软件模块。在此不做具体限定。

还需要说明的是，本公开的实施例所提供的人脸鉴伪模型的训练方法、用于识别人脸对象真实性的方法可以由服务器执行，也可以由终端设备执行，还可以由服务器和终端设备彼此配合执行。相应地，人脸鉴伪模型的训练装置、用于识别人脸对象真实性的装置包括的各个部分(例如各个单元)可以全部设置于服务器中，也可以全部设置于终端设备中，还可以分别设置于服务器和终端设备中。

应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。当人脸鉴伪模型的训练方法、用于识别人脸对象真实性的方法运行于其上的电子设备不需要与其他电子设备进行数据传输时，该系统架构可以仅包括人脸鉴伪模型的训练方法、用于识别人脸对象真实性的方法运行于其上的电子设备(例如服务器或终端设备)。

请参考图2，图2为本公开实施例提供的一种人脸鉴伪模型的训练方法的流程图，其中，流程200包括以下步骤：

步骤201，执行如下训练操作，直至达到预设结束条件：

本实施例中，人脸鉴伪模型的训练方法的执行主体(例如，图1中的终端设备或服务器)可以执行如后续步骤2011-2012所示的训练操作，直至得到预设结束条件。

其中，预设结束条件可以根据训练过程中的实际情况具体设置，包括但不限于是训练次数超过预设的训练次数阈值、训练时间超过预设的训练时间阈值、训练损失趋于收敛。

步骤2011，获取相对应的真实人脸图像和合成人脸图像。

本实施例中，上述执行主体可以通过有线或无线通信方式从远程，或从本地获取相对应的真实人脸图像和合成人脸图像。

真实人脸图像表征图像中的人脸对象是基于真实人物摄取得到，而不是通过人工智能等人脸合成技术编辑得到的人脸对象。例如，通过摄像机、录像机等图像摄取设备对真实人物的脸部进行拍摄而得到的人脸图像。

合成人脸图像与真实人脸图像相对应，表征合成图像基于真实人脸图像通过人工智能等技术手段合成。真实人脸图像可以包括多个图像，通过多个图像的人脸对象，可以得到合成人脸图像中的人脸对象。本实施例中，合成人脸图像可以是通过各种手段得到的合成人脸图像，包括但不限于是换脸、融合多个图像中的人脸对象、表情转移等手段。

本实施例中，上述执行主体中可以预先设置真实人脸图像库和合成人脸图像库，真实人脸图像库中的真实人脸图像与合成人脸图像库中的合成人脸图像相对应。在每次训练操作中，从真实人脸图像库和合成人脸图像库中选取未经过训练的真实人脸图像和合成人脸图像。

步骤2012，通过噪声添加网络在合成人脸图像中添加噪声，得到人脸噪声图像，并通过判别网络识别真实人脸图像和人脸噪声图像中的人脸对象的真实性，以采用对抗方式训练噪声添加网络和判别网络。

本实施例中，上述执行主体可以通过噪声添加网络在合成人脸图像中添加噪声，得到人脸噪声图像，并通过判别网络识别真实人脸图像和人脸噪声图像中的人脸对象的真实性，以采用对抗方式训练噪声添加网络和判别网络。其中，噪声添加网络以生成判别网络无法分辨人脸对象的真实性的人脸噪声图像为目标，判别网络以能够识别真实人脸图像和人脸噪声图像中的人脸对象的真实性为目标。

噪声添加网络可以是具有重构输入信息为加入噪声后的目标信息的功能的神经网络。作为示例，噪声添加网络可以是自编码网络。通过自编码网络，可以在合成人脸图像上添加椒盐噪声、随机噪声、高斯噪声等类型的噪声中的一种或多种。

得到人脸噪声图像后，上述执行主体可以将人脸噪声图像和人脸噪声图像对应的真实人脸图像输入判别网络，通过判别网络判别人脸噪声图像中的人脸对象和真实人脸图像中的人脸对象的真实性。当判定人脸对象具有真实性时，表征该人脸对象是真实的人脸对象。人脸噪声图像对应的真实人脸图像，为人脸噪声图像所基于的合成人脸图像对应的真实人脸图像。

训练过程中，噪声添加网络和判别网络之间的对抗性，具体体现在噪声添加网络的训练目标和判别网络的训练目标之间的对抗性。

步骤202，将训练后的判别网络确定为人脸鉴伪模型。

本实施例中，上述执行主体可以将训练后的判别网络确定为人脸鉴伪模型，用于识别待识别图像中的人脸对象的真实性。

继续参见图3，图3是根据本实施例的人脸鉴伪模型的训练方法的应用场景的一个示意图300。在图3的应用场景中，服务器301首先从数据库302中获取了真实人脸图像库和合成人脸图像库。然后，服务器301执行如下训练操作：分别从真实人脸图像库和合成人脸图像库选取相对应的真实人脸图像303和合成人脸图像304，通过噪声添加网络305在合成人脸图像304中添加噪声，得到人脸噪声图像306，并通过判别网络307识别真实人脸图像303和人脸噪声图像306中的人脸对象的真实性。在每次的训练操作中采用对抗方式训练噪声添加网络305和判别网络307。噪声添加网络307以生成判别网络307无法分辨人脸对象的真实性的人脸噪声图像为目标，判别网络307以能够识别真实人脸图像和人脸噪声图像中的人脸对象的真实性为目标。经过多次的训练操作后，响应于达到预设结束条件(例如，训练次数超过预设的训练次数阈值)，结束训练过程，并将训练后的判别网络307确定为人脸鉴伪模型。

本实施例中，在合成人脸图像上添加噪声得到人脸噪声图像，并基于对抗方式训练噪声添加网络和判别网络，以将训练后的判别网络确定为人脸鉴伪模型，提高了人脸鉴伪模型的泛化能力和鲁棒性。

在本实施例的一些可选的实现方式中，判别网络包括预训练的第一判别子网络和预训练的第二判别子网络。其中，预训练，表征第一判别子网络和第二判别子网络对未添加噪声的合成人脸图像具有较好的识别能力。第一判别子网络和第二判别子网络可以是结构相同的判别网络也可以是结构不同的判别网络。

本实现方式中，上述执行主体可以通过如下方式执行上述步骤2012：

第一，固定第一判别子网络，训练噪声添加网络，直至第一判别子网络将噪声添加网络生成的人脸噪声图像中的人脸对象识别为真实人脸对象。

本实现方式中，固定第一判别子网络表征固定第一判别子网络中的参数，在训练过程中并不对第一判别子网络的模型参数进行更新。基于预训练的第一判别子网络良好的识别人脸对象的真实性的能力，在训练过程的第一阶段，只训练噪声添加网络，以提高噪声添加网络生成人脸噪声图像的能力。

第二，响应于确定第一判别子网络将噪声添加网络生成的人脸噪声图像中的人脸对象识别为真实人脸对象，采用对抗方式同时训练第二判别子网络和噪声添加网络。

当第一判别子网络将噪声添加网络生成的人脸噪声图像中的人脸对象识别为真实人脸对象时，表征噪声添加网络具有良好的生成人脸噪声图像的能力，可以迷惑第一判别子网络。此时，进入模型训练的第二阶段，采用对抗方式同时训练第二判别子网络和噪声添加网络。需要说明的时，与第二判别子网络同时训练的噪声添加网络是经过第一阶段的训练过程的噪声添加网络。其中，对抗方式表征噪声添加网络以生成第二判别子网络无法分辨人脸对象的真实性的人脸噪声图像为目标，第二判别子网络以能够识别真实人脸图像和噪声添加网络生成的人脸噪声图像中的人脸对象的真实性为目标。

本实施例中，噪声添加网络生成的人脸噪声图像在攻击第一判别子网络的同时，又保证第二判别子网络能够对抗人脸噪声图像，最终，第二判别子网络能够正确分类出人脸噪声图像中的人脸对象的真实性，进一步提高了人脸鉴伪模型的泛化能力和鲁棒性。

在本实施例的一些可选的实现方式中，判别网络包括预训练的、异构的多个第一判别子网络和预训练的、异构的多个第二判别子网络，多个第一判别子网络与多个第二判别子网络一一对应。作为示例，预训练的、异构的第一判别子网络包括D₁,D₂,…,D_n，预训练的、异构的第二判别子网络包括C₁,C₂,…,C_n，其中D_i＝C_i。异构的判别子网络可以是适用于分类任务的任何神经网络，包括但不限于残差神经网络、挤压与激励网络等网络模型。

本实现方式中，上述执行主体可以通过如下方式执行上述步骤2012：

第一，固定多个第一判别子网络，训练噪声添加网络，直至多个第一判别子网络将噪声添加网络生成的人脸噪声图像中的人脸对象识别为真实人脸对象。

第二，响应于确定多个第一判别子网络将噪声添加网络生成的人脸噪声图像中的人脸对象识别为真实人脸对象，采用对抗方式同时训练多个第二判别子网络和噪声添加网络。

本实现方式中，对抗方式表征噪声添加网络以生成多个第二判别子网络无法分辨人脸对象的真实性的人脸噪声图像为目标，多个第二判别子网络以能够识别真实人脸图像和噪声添加网络生成的人脸噪声图像中的人脸对象的真实性为目标。

本实现方式中，噪声添加网络生成的人脸噪声图像在攻击第一判别子网络的同时，又保证第二判别子网络能够对抗人脸噪声图像，并且，在此基础上，采用多个且异构的第一判别子网络和第二判别子网络的方式，提高了训练后的多个第二判别子网络的可靠性。

在上述实现方式所表征的判别网络包括预训练的、异构的多个第一判别子网络和预训练的、异构的多个第二判别子网络的情形下，在本实施例的一些可选的实现方式中，上述执行主体通过如下方式执行上述步骤202：将训练后的多个第二判别子网络确定为人脸鉴伪模型。

本实现方式中，基于训练后的多个第二判别子网络的可靠性，从而将多个第二判别子网络确定为人脸鉴伪模型，以通过多个第二判别子网络联合起来进行待识别图像的识别，进一步提高了人脸鉴伪模型的识别准确度。

在本实施例的一些可选的实现方式中，上述执行主体可以通过如下方式在合成人脸图像上添加噪声：

第一，确定合成人脸图像中的人脸对象的关键点。

作为示例，上述执行主体可以通过关键点检测模型确定合成人脸图像中的人脸对象的关键点。其中，人脸关键点检测模型用于表征包括人脸对象的图像与人脸对象的关键点之间的对应关系。例如，关键点检测模型可以首先对合成人脸图像进行特征提取，得到特征信息；然后，根据特征信息确定合成人脸图像中人脸对象的关键点。

第二，根据关键点，生成对应于合成人脸图像中的人脸对象的掩码。

本实现方式中，通过人脸对象的关键点，例如表征人脸对象的轮廓信息的关键点，上述执行主体可以确定出人脸对象所占的区域，进而生成人脸二进制掩码。掩码可以通过掩码图像的形式进行表征。

第三，通过噪声添加网络在合成人脸图像上添加噪声，得到噪声图像。

本实现方式中，噪声图像中所有区域中均被添加了噪声。

第四，根据掩码和噪声图像，得到在合成人脸图像中的人脸对象上添加噪声的人脸噪声图像。

具体的，首先，将噪声图像和掩码进行按像素相乘，即可得到只在人脸区域存在噪声的噪声图像；然后，将只在人脸区域存在噪声的噪声图像与合成人脸图像进行按像素相加，得到只在人脸区域存在噪声的人脸噪声图像。

由于人脸鉴伪模型用于识别图像中人脸对象的真实性，因而，本实现方式中，只在人脸噪声图像中的人脸对象上添加噪声，提高了噪声添加的针对性。并且，在采用对抗方式训练噪声添加网络和判别网络的过程中，降低了判别网络所处理的图像数据量。

在本实施例的一些可选的实现方式中，上述执行主体可以通过如下方式执行上述步骤2011：

第一，从训练样本集中选取真实人脸图像。

本实现方式中，上述执行主体可以通过图像摄取、截图等方式获取包括真实人脸对象的图像作为真实人脸图像，建立训练样本集。进而，在每次训练操作中，从训练样本集中选取为训练过的真实人脸图像。

第二，通过预训练的生成网络，生成真实人脸图像对应的合成人脸图像。

预训练的生成网络表征生成网络具有良好的图像合成能力，所生成的合成人脸图像中的人脸对象可对抗预训练的判别网络的识别。

本实现方式中，利用预训练的生成网络得到真实人脸图像对应的合成人脸图像，提高了合成人脸图像的获取效率。在预训练的生成网络和判别网络的基础上，进行针对噪声的对抗训练，提高了训练速度。

继续参考图4，示出了根据本公开的方法的一个人脸鉴伪模型的训练方法实施例的示意性流程400，包括以下步骤：

步骤401，执行如下训练操作，直至达到预设结束条件：

步骤4011，从训练样本集中选取真实人脸图像。

步骤4012，通过预训练的生成网络，生成真实人脸图像对应的合成人脸图像。

步骤4013，确定合成人脸图像中的人脸对象的关键点。

步骤4014，根据关键点，生成对应于合成人脸图像中的人脸对象的掩码。

步骤4015，通过噪声添加网络在合成人脸图像上添加噪声，得到噪声图像。

步骤4016，根据掩码和噪声图像，得到在合成人脸图像中的人脸对象上添加噪声的人脸噪声图像。

步骤4017，固定多个第一判别子网络，训练噪声添加网络，直至多个第一判别子网络将噪声添加网络生成的人脸噪声图像中的人脸对象识别为真实人脸对象。

其中，多个第一判别子网络为预训练的、异构的判别子网络。

步骤4018，响应于确定多个第一判别子网络将噪声添加网络生成的人脸噪声图像中的人脸对象识别为真实人脸对象，采用对抗方式同时训练多个第二判别子网络和噪声添加网络。

其中，多个第二判别子网络为预训练的、异构的判别子网络。

其中，噪声添加网络以生成多个第二判别子网络无法分辨人脸对象的真实性的人脸噪声图像为目标，多个第二判别子网络以能够识别真实人脸图像和人脸噪声图像中的人脸对象的真实性为目标。

步骤402，将训练后的多个第二判别子网络确定为人脸鉴伪模型。

继续参见图5，示出了人脸鉴伪模型的训练装置的一个具体实施方式的结构示意图500。首先，将两个真实人脸图像501、502输入预训练的生成网络503，得到合成人脸图像504；然后，得到合成人脸图像504的掩码图像505，以及通过自编码网络506得到合成人脸图像504的噪声图像507；然后，将掩码图像505和噪声图像507进行按像素相乘，得到只在人脸区域存在噪声的人脸区域噪声图像508；然后，将只在人脸区域存在噪声的噪声图像508与合成人脸图像504进行按像素相加，得到只在人脸区域存在噪声的人脸噪声图像509。在训练过程中的第一阶段，固定多个第一判别子网络510，训练自编码网络506，直至多个第一判别子网络510将自编码网络506生成的人脸噪声图像509中的人脸对象识别为真实人脸对象。响应于确定多个第一判别子网络510将自编码网络506生成的人脸噪声图像509中的人脸对象识别为真实人脸对象，进入训练过程中的第二阶段，采用对抗方式同时训练多个第二判别子网络511和自编码网络506。

从本实施例中可以看出，与图2对应的实施例相比，本实施例中的人脸鉴伪模型的训练方法的流程400具体说明了噪声的添加过程、人脸鉴伪模型的训练过程，进一步提高了人脸鉴伪模型的准确度和鲁棒性。

继续参考图6，示出了根据本公开的方法的一个用于识别人脸对象真实性的方法实施例的示意性流程600，包括以下步骤：

步骤601，获取待识别图像。

本实施例中，用于识别人脸对象真实性的方法的执行主体(例如，图1中的终端设备或服务器)可以通过有线或无线通信方式从远程，或从本地获取待识别图像。

待识别图像为包括人脸对象的图像。作为示例，待识别图像可以是摄像装置所摄取的人脸图像、通过视频截取得到的人脸图像。

步骤602，通过人脸鉴伪模型识别待识别图像中的人脸对象的真实性，得到识别结果。

本实施例中，上述执行主体可以通过人脸鉴伪模型识别待识别图像中的人脸对象的真实性，得到识别结果。其中，人脸鉴伪模型通过如实施例200、400中的训练方式训练得到。

本实施例中，通过基于添加噪声后的合成人脸图像、采用对抗方式训练得到的人脸鉴伪模型进行人脸对象的真实性的识别，提高了识别结果的准确度。

继续参考图7，作为对上述各图所示方法的实现，本公开提供了一种人脸鉴伪模型的训练装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。

如图7所示，人脸鉴伪模型的训练装置包括：训练单元701，被配置成执行如下训练操作，直至达到预设结束条件：获取相对应的真实人脸图像和合成人脸图像；通过噪声添加网络在合成人脸图像中添加噪声，得到人脸噪声图像，并通过判别网络识别真实人脸图像和人脸噪声图像中的人脸对象的真实性，以采用对抗方式训练噪声添加网络和判别网络，其中，噪声添加网络以生成判别网络无法分辨人脸对象的真实性的人脸噪声图像为目标，判别网络以能够识别真实人脸图像和人脸噪声图像中的人脸对象的真实性为目标；确定单元702，被配置成将训练后的判别网络确定为人脸鉴伪模型。

在本实施例的一些可选的实现方式中，判别网络包括预训练的第一判别子网络和预训练的第二判别子网络；以及训练单元701，进一步被配置成：固定第一判别子网络，训练噪声添加网络，直至第一判别子网络将噪声添加网络生成的人脸噪声图像中的人脸对象识别为真实人脸对象；响应于确定第一判别子网络将噪声添加网络生成的人脸噪声图像中的人脸对象识别为真实人脸对象，采用对抗方式同时训练第二判别子网络和噪声添加网络。

在本实施例的一些可选的实现方式中，判别网络包括预训练的、异构的多个第一判别子网络和预训练的、异构的多个第二判别子网络，多个第一判别子网络与多个第二判别子网络一一对应；以及训练单元701，进一步被配置成：固定多个第一判别子网络，训练噪声添加网络，直至多个第一判别子网络将噪声添加网络生成的人脸噪声图像中的人脸对象识别为真实人脸对象；响应于确定多个第一判别子网络将噪声添加网络生成的人脸噪声图像中的人脸对象识别为真实人脸对象，采用对抗方式同时训练多个第二判别子网络和噪声添加网络。

在本实施例的一些可选的实现方式中，确定单元702，进一步被配置成：将训练后的多个第二判别子网络确定为人脸鉴伪模型。

在本实施例的一些可选的实现方式中，训练单元701，进一步被配置成：确定合成人脸图像中的人脸对象的关键点；根据关键点，生成对应于合成人脸图像中的人脸对象的掩码；通过噪声添加网络在合成人脸图像上添加噪声，得到噪声图像；根据掩码和噪声图像，得到在合成人脸图像中的人脸对象上添加噪声的人脸噪声图像。

在本实施例的一些可选的实现方式中，训练单元701，进一步被配置成：从训练样本集中选取真实人脸图像；通过预训练的生成网络，生成真实人脸图像对应的合成人脸图像。

本实施例中，在合成人脸图像上添加噪声得到人脸噪声图像，并基于对抗方式训练噪声添加网络和判别网络，以将训练后的判别网络确定为人脸鉴伪模型，提高了人脸鉴伪模型的泛化能力和鲁棒性。

继续参考图8，作为对上述各图所示方法的实现，本公开提供了一种用于识别人脸对象真实性的装置的一个实施例，该装置实施例与图6所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。

如图8所示，用于识别人脸对象真实性的装置包括：获取单元801，被配置成获取待识别图像；识别单元802，被配置成通过人脸鉴伪模型识别待识别图像中的人脸对象的真实性，得到识别结果。其中，人脸鉴伪模型通过如实施例200、400描述的方法训练得到。

本实施例中，通过基于添加噪声后的合成人脸图像、采用对抗方式训练得到的人脸鉴伪模型进行人脸对象的真实性的识别，提高了识别结果的准确度。

根据本公开的实施例，本公开还提供了一种电子设备，该电子设备包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，该指令被至少一个处理器执行，以使至少一个处理器执行时能够实现上述任意实施例所描述的人脸鉴伪模型的训练方法。

根据本公开的实施例，本公开还提供了一种可读存储介质，该可读存储介质存储有计算机指令，该计算机指令用于使计算机执行时能够实现上述任意实施例所描述的人脸鉴伪模型的训练方法。

本公开实施例提供了一种计算机程序产品，该计算机程序在被处理器执行时能够实现上述任意实施例所描述的人脸鉴伪模型的训练方法。

图9示出了可以用来实施本公开的实施例的示例电子设备900的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图9所示，设备900包括计算单元901，其可以根据存储在只读存储器(ROM)902中的计算机程序或者从存储单元908加载到随机访问存储器(RAM)903中的计算机程序，来执行各种适当的动作和处理。在RAM903中，还可存储设备900操作所需的各种程序和数据。计算单元901、ROM 902以及RAM 903通过总线904彼此相连。输入/输出(I/O)接口905也连接至总线904。

设备900中的多个部件连接至I/O接口905，包括：输入单元906，例如键盘、鼠标等；输出单元907，例如各种类型的显示器、扬声器等；存储单元908，例如磁盘、光盘等；以及通信单元909，例如网卡、调制解调器、无线通信收发机等。通信单元909允许设备900通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元901可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元901的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元901执行上文所描述的各个方法和处理，例如人脸鉴伪模型的训练方法。例如，在一些实施例中，人脸鉴伪模型的训练方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元908。在一些实施例中，计算机程序的部分或者全部可以经由ROM 902和/或通信单元909而被载入和/或安装到设备900上。当计算机程序加载到RAM 903并由计算单元901执行时，可以执行上文描述的人脸鉴伪模型的训练方法的一个或多个步骤。备选地，在其他实施例中，计算单元901可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行人脸鉴伪模型的训练方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决传统物理主机与虚拟专用服务器(VPS，Virtual Private Server)服务中存在的管理难度大，业务扩展性弱的缺陷；也可以为分布式系统的服务器，或者是结合了区块链的服务器。

根据本公开实施例的技术方案，在合成人脸图像上添加噪声得到人脸噪声图像，并基于对抗方式训练噪声添加网络和判别网络，以将训练后的判别网络确定为人脸鉴伪模型，提高了人脸鉴伪模型的泛化能力和鲁棒性。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开提供的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (15)

1.一种人脸鉴伪模型的训练方法，包括：

执行如下训练操作，直至达到预设结束条件：获取相对应的真实人脸图像和合成人脸图像；通过噪声添加网络在所述合成人脸图像中添加噪声，得到人脸噪声图像，并通过判别网络识别所述真实人脸图像和所述人脸噪声图像中的人脸对象的真实性，以采用对抗方式训练所述噪声添加网络和所述判别网络，其中，所述噪声添加网络以生成所述判别网络无法分辨人脸对象的真实性的人脸噪声图像为目标，所述判别网络以能够识别所述真实人脸图像和所述人脸噪声图像中的人脸对象的真实性为目标；

将训练后的判别网络确定为所述人脸鉴伪模型；

其中，所述判别网络包括预训练的第一判别子网络和预训练的第二判别子网络；以及所述通过噪声添加网络在所述合成人脸图像中添加噪声，得到人脸噪声图像，并通过判别网络识别所述真实人脸图像和所述人脸噪声图像中的人脸对象的真实性，以采用对抗方式训练所述噪声添加网络和所述判别网络，包括：

固定所述第一判别子网络，训练所述噪声添加网络，直至所述第一判别子网络将所述噪声添加网络生成的人脸噪声图像中的人脸对象识别为真实人脸对象；

响应于确定所述第一判别子网络将所述噪声添加网络生成的人脸噪声图像中的人脸对象识别为真实人脸对象，采用对抗方式同时训练所述第二判别子网络和所述噪声添加网络。

2.根据权利要求1所述的方法，其中，所述判别网络包括预训练的、异构的多个第一判别子网络和预训练的、异构的多个第二判别子网络，所述多个第一判别子网络与所述多个第二判别子网络一一对应；以及

所述固定所述第一判别子网络，训练所述噪声添加网络，直至所述第一判别子网络将所述噪声添加网络生成的人脸噪声图像中的人脸对象识别为真实人脸对象，包括：

固定所述多个第一判别子网络，训练所述噪声添加网络，直至所述多个第一判别子网络将所述噪声添加网络生成的人脸噪声图像中的人脸对象识别为真实人脸对象；以及

所述响应于确定所述第一判别子网络将所述噪声添加网络生成的人脸噪声图像中的人脸对象识别为真实人脸对象，采用对抗方式同时训练所述第二判别子网络和训练后的噪声添加网络，包括：

响应于确定所述多个第一判别子网络将所述噪声添加网络生成的人脸噪声图像中的人脸对象识别为真实人脸对象，采用对抗方式同时训练所述多个第二判别子网络和所述噪声添加网络。

3.根据权利要求2所述的方法，其中，所述将训练后的判别网络确定为所述人脸鉴伪模型，包括：

将训练后的所述多个第二判别子网络确定为所述人脸鉴伪模型。

4.根据权利要求1-3中任一项所述的方法，其中，所述通过噪声添加网络在所述合成人脸图像中添加噪声，包括：

确定所述合成人脸图像中的人脸对象的关键点；

根据所述关键点，生成对应于所述合成人脸图像中的人脸对象的掩码；

通过所述噪声添加网络在所述合成人脸图像上添加噪声，得到噪声图像；

根据所述掩码和所述噪声图像，得到在所述合成人脸图像中的人脸对象上添加噪声的人脸噪声图像。

5.根据权利要求1-3中任一项所述的方法，其中，所述获取相对应的真实人脸图像和合成人脸图像，包括：

从训练样本集中选取真实人脸图像；

通过预训练的生成网络，生成所述真实人脸图像对应的合成人脸图像。

6.一种用于识别人脸对象真实性的方法，包括：

获取待识别图像；

通过人脸鉴伪模型识别所述待识别图像中的人脸对象的真实性，得到识别结果，其中，所述人脸鉴伪模型通过权利要求1-5中任一项所述的方法 训练得到。

7.一种人脸鉴伪模型的训练装置，包括：

训练单元，被配置成执行如下训练操作，直至达到预设结束条件：获取相对应的真实人脸图像和合成人脸图像；通过噪声添加网络在所述合成人脸图像中添加噪声，得到人脸噪声图像，并通过判别网络识别所述真实人脸图像和所述人脸噪声图像中的人脸对象的真实性，以采用对抗方式训练所述噪声添加网络和所述判别网络，其中，所述噪声添加网络以生成所述判别网络无法分辨人脸对象的真实性的人脸噪声图像为目标，所述判别网络以能够识别所述真实人脸图像和所述人脸噪声图像中的人脸对象的真实性为目标；

确定单元，被配置成将训练后的判别网络确定为所述人脸鉴伪模型；

其中，所述判别网络包括预训练的第一判别子网络和预训练的第二判别子网络；以及所述训练单元，进一步被配置成：

固定所述第一判别子网络，训练所述噪声添加网络，直至所述第一判别子网络将所述噪声添加网络生成的人脸噪声图像中的人脸对象识别为真实人脸对象；响应于确定所述第一判别子网络将所述噪声添加网络生成的人脸噪声图像中的人脸对象识别为真实人脸对象，采用对抗方式同时训练所述第二判别子网络和所述噪声添加网络。

8.根据权利要求7所述的装置，其中，所述判别网络包括预训练的、异构的多个第一判别子网络和预训练的、异构的多个第二判别子网络，所述多个第一判别子网络与所述多个第二判别子网络一一对应；以及

所述训练单元，进一步被配置成：

固定所述多个第一判别子网络，训练所述噪声添加网络，直至所述多个第一判别子网络将所述噪声添加网络生成的人脸噪声图像中的人脸对象识别为真实人脸对象；响应于确定所述多个第一判别子网络将所述噪声添加网络生成的人脸噪声图像中的人脸对象识别为真实人脸对象，采用对抗方式同时训练所述多个第二判别子网络和所述噪声添加网络。

9.根据权利要求8所述的装置，其中，所述确定单元，进一步被配置成：

将训练后的所述多个第二判别子网络确定为所述人脸鉴伪模型。

10.根据权利要求7-9中任一项所述的装置，其中，所述训练单元，进一步被配置成：

确定所述合成人脸图像中的人脸对象的关键点；根据所述关键点，生成对应于所述合成人脸图像中的人脸对象的掩码；通过所述噪声添加网络在所述合成人脸图像上添加噪声，得到噪声图像；根据所述掩码和所述噪声图像，得到在所述合成人脸图像中的人脸对象上添加噪声的人脸噪声图像。

11.根据权利要求7-9中任一项所述的装置，其中，所述训练单元，进一步被配置成：

从训练样本集中选取真实人脸图像；通过预训练的生成网络，生成所述真实人脸图像对应的合成人脸图像。

12.一种用于识别人脸对象真实性的装置，包括：

获取单元，被配置成获取待识别图像；

识别单元，被配置成通过人脸鉴伪模型识别所述待识别图像中的人脸对象的真实性，得到识别结果，其中，所述人脸鉴伪模型通过权利要求1-5中任一项所述的方法 训练得到。

13.一种电子设备，其特征在于，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-6中任一项所述的方法。

14.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行权利要求1-6中任一项所述的方法。

15.一种计算机程序产品，包括：计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-6中任一项所述的方法。

Images