CN116704566A - 人脸识别、用于人脸识别的模型训练方法、装置及设备 - Google Patents

Abstract

本说明书实施例公开了一种人脸识别、图像识别子模型、图像生成子模型的训练方法、装置及设备，该方法包括：获取待识别用户的第一人脸图像；将第一人脸图像输入至图像生成子模型中，生成第二人脸图像，第二人脸图像的清晰程度满足预设清晰度条件，且第二人脸图像对应的人脸特征信息与第一人脸图像对应的人脸特征信息之间的相似度大于第一预设阈值；将第二人脸图像输入至图像识别子模型中，通过图像识别子模型输出对待识别用户的识别结果。通过上述人脸识别方法，能够提高清晰程度较低的人脸图像的识别准确度。

Description

人脸识别、用于人脸识别的模型训练方法、装置及设备

技术领域

本申请涉及机器视觉领域，尤其涉及一种人脸识别、图像识别子模型、图像生成子模型的训练方法、装置及设备。

背景技术

人脸识别技术，是基于人的脸部特征信息进行身份识别的一种生物识别技术，该技术已广泛用于政府、电子商务、安全防务等各领域。

目前，通常采用的人脸识别方法是通过获取待识别的人脸图像，然后，将获取到的待识别的人脸图像与信息库中预先存储的待识别的人脸图像对应的真实人脸图像进行人脸比对得到识别结果。然而，目前在对待识别用户进行人脸识别时，在获取待识别用户的人脸图像的过程中，可能会受到光照等外部因素的影响，使得获取到的待识别的人脸图像清晰程度较低，这样通过上述方式进行识别时，识别的准确度低下，为此，需要提供一种能够提高清晰程度较低的人脸图像的识别准确度的技术方案。

发明内容

本说明书实施例的目的是提供一种能够提高清晰程度较低的人脸图像的识别准确度的技术方案。

为了解决上述技术问题，本说明书实施例是这样实现的：

第一方面，本说明书实施例提供了一种人脸识别方法，所述方法包括：

获取待识别用户的第一人脸图像；

将所述第一人脸图像输入至图像生成子模型中，生成第二人脸图像，所述第二人脸图像的清晰程度满足预设清晰度条件，且所述第二人脸图像对应的人脸特征信息与所述第一人脸图像对应的人脸特征信息之间的相似度大于第一预设阈值；

将所述第二人脸图像输入至图像识别子模型中，通过所述图像识别子模型输出对所述待识别用户的识别结果。

第二方面，本说明书实施例提供了一种图像识别子模型的训练方法，所述方法包括：

获取预设数量的存在标签的第一人脸样本图像对，所述第一人脸样本图像对包括相同标签的第一图像和第二图像，所述第一图像为待识别的图像，所述第二图像为与所述待识别的图像对应的真实图像，其中，所述第一图像的清晰程度不满足预设清晰度条件；

基于所述第一图像，通过所述图像生成子模型生成第一生成图像，所述第一生成图像的清晰程度满足所述预设清晰度条件，且所述第一图像对应的人脸特征信息与所述第一生成图像对应的人脸特征信息之间的相似度大于第一预设阈值，其中，所述图像生成子模型为经过预先训练得到的；

基于所述第一生成图像所包含的第一人脸特征信息、所述第二图像所包含的第二人脸特征信息，以及所述第一图像所包含的第三人脸特征信息，对所述图像识别子模型进行迭代训练，直到所述图像识别子模型对应的第一损失函数收敛的情况下，得到训练后的图像识别子模型。

第三方面，本说明书实施例提供了一种图像生成子模型的训练方法，所述方法包括：

获取预设数量的存在标签的第二人脸样本图像对，所述第二人脸样本图像对包括相同标签的第三图像和第四图像，所述第三图像的清晰程度不满足预设清晰度条件，所述第四图像的清晰程度满足所述预设清晰度条件；

基于所述第三图像，通过图像生成子模型生成第二生成图像，所述第二生成图像的清晰程度满足所述预设清晰度条件，且所述第三图像包含的第四人脸特征信息与所述第二生成图像包含的第五人脸特征信息之间的第一相似度大于第一预设阈值；

基于所述第四人脸特征信息与所述第四图像所包含的第六人脸特征信息之间的第二相似度、以及所述第四人脸特征信息与所述第五人脸特征信息之间的第一相似度，对所述图像生成子模型进行迭代训练，直到所述第一相似度数值大于第一预设阈值，所述第二相似度数值大于第二预设阈值的情况下，得到训练后的图像生成子模型。

第四方面，本说明书实施例提供了一种人脸识别装置，所述装置包括：

第一获取模块，被配置为获取待识别用户的第一人脸图像；

第一输入模块，被配置为将所述第一人脸图像输入至图像生成子模型中，生成第二人脸图像，所述第二人脸图像的清晰程度满足预设清晰度条件，且所述第二人脸图像对应的人脸特征信息与所述第一人脸图像对应的人脸特征信息之间的相似度大于第一预设阈值；

第二输入模块，被配置为将所述第二人脸图像输入至图像识别子模型中，通过所述图像识别子模型输出对所述待识别用户的识别结果。

第五方面，本说明书实施例提供了一种图像识别子模型的训练装置，所述装置包括：

第二获取模块，被配置为获取预设数量的存在标签的第一人脸样本图像对，所述第一人脸样本图像对包括相同标签的第一图像和第二图像，所述第一图像为待识别的图像，所述第二图像为与所述待识别的图像对应的真实图像，其中，所述第一图像的清晰程度不满足预设清晰度条件；

第一生成模块，被配置为基于所述第一图像，通过所述图像生成子模型生成第一生成图像，所述第一生成图像的清晰程度满足所述预设清晰度条件，且所述第一图像对应的人脸特征信息与所述第一生成图像对应的人脸特征信息之间的相似度大于第一预设阈值，其中，所述图像生成子模型为经过预先训练得到的；

第一训练模块，被配置为基于所述第一生成图像所包含的第一人脸特征信息、所述第二图像所包含的第二人脸特征信息，以及所述第一图像所包含的第三人脸特征信息，对所述图像识别子模型进行迭代训练，直到所述图像识别子模型对应的第一损失函数收敛的情况下，得到训练后的图像识别子模型。

第六方面，本说明书实施例提供了一种图像生成子模型的训练装置，所述装置包括：

第三获取模块，被配置为获取预设数量的存在标签的第二人脸样本图像对，所述第二人脸样本图像对包括相同标签的第三图像和第四图像，所述第三图像的清晰程度不满足预设清晰度条件，所述第四图像的清晰程度满足所述预设清晰度条件；

第二生成模块，被配置为基于所述第三图像，通过图像生成子模型生成第二生成图像，所述第二生成图像的清晰程度满足所述预设清晰度条件，且所述第三图像包含的第四人脸特征信息与所述第二生成图像包含的第五人脸特征信息之间的第一相似度大于第一预设阈值；

第二训练模块，被配置为基于所述第四人脸特征信息与所述第四图像所包含的第六人脸特征信息之间的第二相似度、以及所述第四人脸特征信息与所述第五人脸特征信息之间的第一相似度，对所述图像生成子模型进行迭代训练，直到所述第一相似度数值大于第一预设阈值，所述第二相似度数值大于第二预设阈值的情况下，得到训练后的图像生成子模型。

第七方面，本说明书实施例提供了一种人脸识别设备，所述设备包括：

处理器；以及

被安排成存储计算机可执行指令的存储器，所述可执行指令被配置由所述处理器执行，所述可执行指令包括用于执行如第一方面所述的方法中的步骤。

第八方面，本说明书实施例提供了一种图像识别子模型的训练设备，所述设备包括：

处理器；以及

被安排成存储计算机可执行指令的存储器，所述可执行指令被配置由所述处理器执行，所述可执行指令包括用于执行如第二方面所述的方法中的步骤。

第九方面，本说明书实施例提供了一种图像生成子模型的训练设备，所述设备包括：

处理器；以及

被安排成存储计算机可执行指令的存储器，所述可执行指令被配置由所述处理器执行，所述可执行指令包括用于执行如第三方面所述的方法中的步骤。

第十方面，本说明书实施例还提供了一种存储介质，其中，所述存储介质用于存储计算机可执行指令，所述可执行指令使得计算机执行如第一方面中所述的方法中的步骤。

第十一方面，本说明书实施例还提供了一种存储介质，其中，所述存储介质用于存储计算机可执行指令，所述可执行指令使得计算机执行如第二方面中所述的方法中的步骤。

第十二方面，本说明书实施例还提供了一种存储介质，其中，所述存储介质用于存储计算机可执行指令，所述可执行指令使得计算机执行如第三方面中所述的方法中的步骤。

可以看出，本说明书实施例通过将第一人脸图像输入至图像生成子模型中，生成第二人脸图像，然后，再通过图像识别子模型对上述第二人脸图像进行识别的方法，由于通过上述图像生成子模型生成的第二人脸图像的人脸特征信息与上述第一人脸图像对应的人脸特征信息之间的相似度大于第一预设阈值，从而可以保证生成的第二人脸图像中所包含的人脸特征信息与上述获取到的第一人脸图像所包含的人脸特征信息保持一致的前提下，提高了待识别人脸图像的清晰程度，之后再对保留了原始人脸特征信息且清晰程度较高的人脸图像进行识别，能够得到更加准确有效的识别结果，从而提高了人脸识别的准确度。

附图说明

为了更清楚地说明本说明书实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本说明书一种人脸识别方法实施例；

图2为本说明书一种人脸识别系统架构示意图；

图3为本说明书一种图像识别子模型的训练方法实施例；

图4为本说明书一种图像生成子模型的训练方法实施例；

图5为本说明书又一种图像生成子模型的训练方法实施例；

图6为本说明书又一种图像识别子模型的训练方法实施例；

图7为本说明书一种人脸识别装置实施例；

图8为本说明书又一种图像识别子模型的训练装置实施例；

图9为本说明书一种图像生成子模型的训练装置实施例；

图10为本说明书一种人脸识别设备实施例。

具体实施方式

为了使本技术领域的人员更好地理解本说明书中的技术方案，下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本说明书保护的范围。

本申请的发明构思如下：人脸识别技术，是基于人的脸部特征信息进行身份识别的一种生物识别技术，该技术已广泛用于政府、电子商务、安全防务等各领域。目前，通常采用的人脸识别方法是通过获取待识别的人脸图像，然后，将获取到的待识别的人脸图像与信息库中预先存储的待识别的人脸图像对应的真实人脸图像进行人脸比对得到识别结果。然而，目前在对待识别用户进行人脸识别时，在获取待识别用户的人脸图像的过程中，可能会受到光照等外部因素的影响，使得获取到的待识别的人脸图像清晰程度较低，这样通过上述方式进行识别时，识别的准确度低下。基于上述问题，本技术方案通过在检测到获取到的待识别用户的第一人脸图像的清晰程度不满足预设清晰度条件的情况下，将第一人脸图像输入至图像识别子模型中，通过图像生成子模型生成第二人脸图像，然后，再通过图像识别子模型对上述第二人脸图像进行识别的方法，由于通过上述图像生成子模型生成的第二人脸图像的人脸特征信息与上述第一人脸图像对应的人脸特征信息之间的相似度大于第一预设阈值，从而可以保证生成的第二人脸图像中所包含的人脸特征信息与上述获取到的第一人脸图像所包含的人脸特征信息保持一致的前提下，提高了待识别人脸图像的清晰程度，之后再对保留了原始人脸特征信息且清晰程度较高的人脸图像进行识别，能够得到更加准确有效的识别结果，从而提高了人脸识别的准确度。

如图1所示，本说明书实施例提供一种人脸识别方法，该方法的执行主体可以为服务器，其中，该服务器可以是独立的一个服务器，也可以是由多个不同的服务器构成的服务器集群，该服务器可以是某网站的后台服务器，也可以是提供人脸识别的服务器等，具体可以根据实际情况设定。该方法可以应用于人脸识别。

如图2所示，本说明书实施例中的人脸识别方法对应的系统架构中可以包括服务器201和一个或多个终端设备202，服务器201与每个终端设备202之间通信连接，终端设备202可以包括多种，例如，手机、平板电脑等移动终端设备，还可以如笔记本电脑等终端设备，还可以如智能手表、手环等可穿戴设备等。终端设备202可以向服务器201发送某人脸识别请求，服务器201通过预先设定的处理机制对获取到的待识别的第一人脸图像进行识别，可以将上述第一人脸识别结果发送给终端设备202。

该方法具体可以包括以下步骤：

在步骤S102中，获取待识别用户的第一人脸图像。

其中，上述第一人脸图像可以是通过终端设备的摄像组件获取的经用户授权的人脸的数字图像。终端设备可以如上述的终端设备202，该终端设备可以为移动终端设备、可穿戴设备或其它设备等，具体可以根据实际情况设定。第一人脸图像可以是在用户办理某项业务时需要对用户身份信息进行验证的情况下，通过终端设备获取的经用户授权的人脸图像等。

在实施中，通常采用的人脸识别方法是通过获取待识别的人脸图像，然后，将获取到的待识别的人脸图像与信息库中预先存储的待识别的人脸图像对应的真实人脸图像进行人脸比对得到识别结果。然而，目前在对待识别用户进行人脸识别时，在获取待识别用户的人脸图像的过程中，可能会受到光照等外部因素的影响，使得获取到的待识别的人脸图像清晰程度较低，这样通过上述方式进行识别时，识别的准确度低下，基于此，需要提供一种能够提高清晰程度较低的人脸图像的识别准确度的技术方案。本说明书实施例提供一种可实现的处理方式，具体可以包括以下内容：

在一种可选的实现方式中，当用户办理某项业务时，在需要对用户身份信息进行验证的情况下，终端设备的显示屏幕上可以显示用于指示用户进行人脸识别的控件，用户可以点击该控件，这样，终端设备可以接收到进行人脸识别的指令信息，通过启动摄像组件获取待识别用户的第一人脸图像，并可以将上述第一人脸图像加密后发送至上述服务器，这样，服务器可以获取到待识别用户的第一人脸图像。

在步骤S104中，将第一人脸图像输入至图像生成子模型中，生成第二人脸图像，第二人脸图像的清晰程度满足预设清晰度条件，且第二人脸图像对应的人脸特征信息与第一人脸图像对应的人脸特征信息之间的相似度大于第一预设阈值。

作为示例，本说明书实施例中可以通过预先训练好的预设模型对获取到的待识别用户的第一人脸图像进行识别，上述预设模型可以为本说明书实施例提供的可以用于对获取的待识别用户的第一人脸图像进行人脸识别的模型，上述预设模型中可以包括图像生成子模型以及图像识别子模型。本说明书实施例中可以通过预先训练好的图像生成子模型以及图像识别子模型对获取到的待识别用户的第一人脸图像进行识别。上述图像生成子模型可以用于对输入的待识别用户第一人脸图像进行处理，从而生成清晰程度满足上述预设清晰度条件的第二人脸图像，且所生成的第二人脸图像所包含的人脸特征信息与上述第一人脸图像所包含的人脸特征信息之间的相似度大于第一预设阈值。上述图像生成子模型可以是基于任一种算法通过模型训练而生成的模型：GAN网络算法、CGAN网络算法、DCGAN网络算法、ACGAN网络算法。上述图像识别子模型用于基于从服务器获取的预先存储的与该用户对应的真实人脸图像对上述第二人脸图像进行识别。上述真实人脸图像可以为上述用户在注册某项业务时提供的身份信息中的人脸图像。该身份信息可以为身份证信息、社保卡信息、军官证信息等可以证明用户身份且包含用户人脸图像的信息。

在一种可选的实现方式中，上述服务器通过上述步骤S102的处理获取到待识别用户的第一人脸图像后，可以将上述获取的第一人脸图像输入至预设模型中，通过上述预设模型中的图像生成子模型对上述第一人脸图像进行处理，得到清晰程度大于上述预设清晰度阈值的第二人脸图像，或者，上述服务器通过上述步骤S102的处理获取到待识别用户的第一人脸图像后，可以将上述获取的第一人脸图像输入至图像生成子模型中，通过上述图像生成子模型对上述第一人脸图像进行处理，得到清晰程度大于上述预设清晰度阈值的第二人脸图像。

在一种可选的实现方式中，上述终端设备通过上述步骤S102的处理获取到待识别用户的第一人脸图像后，再利用预设在终端设备的图像生成子模型对上述第一人脸图像进行处理，得到清晰程度大于上述预设清晰度阈值的第二人脸图像。在本实施例中，通过在终端设备上部署图像生成子模型，在终端设备上实现将第一人脸图像处理成第二人脸图像，从而减轻服务器的计算压力，为服务器释放出更多的计算能力。

在步骤S106中，将第二人脸图像输入至图像识别子模型中，通过图像识别子模型输出对待识别用户的识别结果。

在一种可选的实现方式中，上述服务器通过上述步骤S104的处理获取到清晰程度满足预设条件的第二人脸图像后，可以获取与该用户对应的真实人脸图像，并将上述真实人脸图像和上述第二人脸图像输入至上述图像识别子模型中，通过上述图像识别子模型输出对用户的识别结果。

可以看出，本说明书实施例通过将第一人脸图像输入至图像生成子模型中，生成第二人脸图像，然后，再通过图像识别子模型对上述第二人脸图像进行识别的方法，由于通过上述图像生成子模型生成的第二人脸图像的人脸特征信息与上述第一人脸图像对应的人脸特征信息之间的相似度大于第一预设阈值，从而可以保证生成的第二人脸图像中所包含的人脸特征信息与上述获取到的第一人脸图像所包含的人脸特征信息保持一致的前提下，提高了待识别人脸图像的清晰度，进而有效提高了人脸识别的准确度。

进一步的，考虑到在人脸识别过程中，可能存在一定数量的清晰程度满足上述预设清晰度条件的第一人脸图像，这样，为了提高人脸识别的效率，可以仅对获取到的第一人脸图像的清晰度不满足上述预设清晰度条件的图像输入至上述图像生成子模型中，生成第二人脸图像。上述步骤S104的处理方法可以多种多样，以下再提供一种可选的处理方法，具体可以参见下述步骤M2-步骤M4的具体处理过程。

在步骤M2中，检测第一人脸图像的清晰程度。

在步骤M4中，若第一人脸图像的清晰程度不满足预设清晰度条件，则将第一人脸图像输入至图像生成子模型中，生成第二人脸图像。

在一种可选的实现方式中，上述服务器通过上述步骤S102的处理获取到待识别用户的第一人脸图像后，可以通过预设算法对上述第一人脸图像的清晰程度进行检测，在检测到上述第一人脸图像清晰程度小于预设清晰度阈值的情况下，或者，在检测到上述第一人脸图像的模糊程度大于预设模糊度阈值的情况下，可以将上述获取的第一人脸图像输入至上述图像生成子模型中，通过上述图像生成子模型对上述第一人脸图像进行处理，得到清晰程度大于上述预设清晰度阈值的第二人脸图像。

这样，通过对获取的待识别用户的第一图像的清晰程度进行检测，对于那些检测出的图像清晰程度满足上述预设清晰度条件的第一人脸图像，则可以直接输入至上述图像识别子模型中进行识别，有效提高了人脸识别的效率。

进一步的，上述步骤S104的处理方法可以多种多样，以下再提供一种可选的处理方法，具体可以参见下述步骤N2-步骤N4的具体处理过程。

在步骤N2中，将第一人脸图像输入至图像生成子模型中，通过图像生成子模型提取第一人脸图像中的预设人脸关键点的特征信息。

作为示例，上述预设人脸关键点的特征信息可以包括：眼睛、眉毛、鼻子、嘴巴特征信息中的一种或多种。

在步骤N4中，在第一人脸图像中的预设人脸关键点的特征信息不变的基础上，生成第二人脸图像。

在一种可选的实现方式中，上述执行主体通过上述步骤N2的处理提取到第一人脸图像中所包含的预设人脸关键点的特征信息后，可以确定上述预设人脸关键点在上述第一人脸图像中的分布信息，然后，可以基于上述预设人脸关键点在第一人脸图像中的分布信息，生成清晰程度满足上述预设清晰度条件的第二人脸图像。

这样，通过提取第一人脸图像中所包含的预设人脸关键点的特征信息，然后，基于上述预设人脸关键点的特征信息生成清晰程度满足上述预设清晰度条件的第二人脸图像的方法，使得经上述图像生成子模型生成的第二人脸图像的人脸特征信息与上述第一人脸图像对应的人脸特征信息之间的相似度大于第一预设阈值，从而可以保证生成的第二人脸图像中所包含的人脸特征信息与上述获取到的第一人脸图像所包含的人脸特征信息保持一致的前提下，提高了待识别人脸图像的清晰度，进而有效提高了人脸识别的准确度。

以上为本说明书实施例提供的人脸识别方法，基于同样的思路，如图3所示，本说明书实施例还提供一种图像识别子模型的训练方法，具体可以参见下述步骤S202-步骤S206的具体处理过程。

在步骤S202中，获取预设数量的存在标签的第一人脸样本图像对，第一人脸样本图像对包括相同标签的第一图像和第二图像，第一图像为待识别的图像，第二图像为与待识别的图像对应的真实图像，其中，第一图像的清晰程度不满足预设清晰度条件。

在一种可选的实现方式中，上述服务器可以预先从第一数据库中获取人脸样本图像，然后，从上述获取到的人脸样本图像中筛选出图像清晰程度小于预设清晰度阈值的人脸样本图像，将上述筛选的人脸样本图像作为第一图像，并获取与上述第一图像对应的真实人脸图像，将上述真实人脸图像作为与该第一图像对应的第二图像，然后，通过与上述第一人脸样本图像对应的第一图像和第二图像构建第一人脸样本图像对，并对上述第一人脸样本图像对标记对应的标签，将上述存在标签的第一人脸样本图像对存储在第二数据库中，这样，当需要对上述图像识别子模型进行训练时，上述服务器可以通过上述第二数据库获取预设数量的存在标签的第一人脸样本图像对。

在步骤S204中，基于第一图像，通过图像生成子模型生成第一生成图像，第一生成图像的清晰程度满足预设清晰度条件，且第一图像对应的人脸特征信息与第一生成图像对应的人脸特征信息之间的相似度大于第一预设阈值，其中，图像生成子模型为经过预先训练得到的。

作为示例，上述训练后的图像生成子模型可以是基于预设GAN网络的图像生成子模型，或者，也可以是基于除GAN网络外的其他神经网络模型等，上述预设GAN网络可以为GAN网络、CGAN网络、ACGAN网络、DCGAN网络等，本说明书实施例对上述训练后的图像生成子模型的具体类型不作具体限定。上述训练后的图像生成子模型可以将图像清晰程度不满足上述预设清晰度条件的第一图像进行处理，生成图像清晰程度满足上述预设清晰度条件的第一生成图像，且第一图像对应的人脸特征信息与第一生成图像对应的人脸特征信息之间的相似度大于第一预设阈值，上述第一预设阈值可以为95％、98％等，本说明书实施例对上述第一预设阈值的具体数值不作具体限定。

在步骤S206中，基于第一生成图像所包含的第一人脸特征信息、第二图像所包含的第二人脸特征信息，以及第一图像所包含的第三人脸特征信息，对图像识别子模型进行迭代训练，直到图像识别子模型对应的第一损失函数收敛的情况下，得到训练后的图像识别子模型。

在一种可选的实现方式中，通过上述步骤S204的处理，上述图像生成子模型生成第一生成图像后，可以对上述第一生成图像、第二图像、以及上述第一图像中所包含的人脸特征信息进行提取，得到第一生成图像所包含的第一人脸特征信息、第二图像所包含的第二人脸特征信息，以及第一图像所包含的第三人脸特征信息，并基于上述第一人脸特征信息与第三人脸特征信息之间的相似度、上述第一人脸特征信息与第二人脸特征信息之间的相似度、以及上述第二人脸特征信息与上述第三人脸特征信息之间的相似度，对上述图像识别子模型进行迭代训练，直到图像识别子模型对应的第一损失函数收敛的情况下，得到训练后的图像识别子模型。

可以看出，本说明书实施例在对上述图像识别子模型训练的过程中，通过训练后的图像生成子模型基于上述第一图像生成清晰程度满足预设清晰度条件的第一生成图像，然后，基于上述第一生成图像所包含的人脸特征信息、第二图像所包含的人脸特征信息，以及第一图像所包含的人脸特征信息，对图像识别子模型进行迭代训练，直到图像识别子模型对应的第一损失函数收敛的情况下，得到训练后的图像识别子模型的方法，由于上述过程中通过上述图像生成子模型生成的第一生成图像的人脸特征信息与上述第一人脸图像对应的人脸特征信息之间的相似度大于第一预设阈值，这样，在对上述图像识别子模型进行模型训练的过程中，可以在保证生成的第一生成图像中所包含的人脸特征信息与上述第一图像所包含的人脸特征信息保持一致的前提下，使用清晰程度满足上述预设清晰度条件的第一生成图像代替上述第一图像来进行模型训练，由于上述用于对图像识别子模型进行模型训练的第一生成图像清晰程度满足预设条件，避免了在使用清晰程度不满足上述预设条件的第一图像进行模型训练时可能引入其他噪声而导致模型训练不准确的问题，从而进一步提高了模型训练的准确度。

进一步的，本说明书提供的一个多个实施例中，上述图像识别子模型对应的第一损失函数的确定方法可以多种多样，以下再提供一种可选的第一损失函数的确定方法，具体可以参见下述描述的具体内容。

上述第一损失函数可以包括图像生成子模型对应的图像生成损失函数，以及图像识别子模型对应的图像识别损失函数，其中，可以基于第一人脸特征信息与第三人脸特征信息之间的相似度确定图像生成损失函数。

上述图像识别损失函数可以包括第一图像识别损失函数和第二图像识别损失函数，其中，可以基于第二人脸特征信息与第三人脸特征信息之间的相似度确定第一图像识别损失函数，基于第一人脸特征信息与第二人脸特征信息之间的相似度确定第二图像识别损失函数。

由于本说明书实施例提供的模型训练方法中，在确定上述图像识别子模型的第一损失函数的过程中不仅考虑到与上述图像生成子模型对应的图像生成损失函数，而且还考虑到的与图像识别子模型对应的第一图像识别损失函数和第二图像识别损失函数，进而有效提高了所训练图像识别子模型的准确度。

在一种可选的实现方式中，在通过上述步骤S204的处理，上述图像生成子模型生成第一生成图像后，可以基于上述第一人脸特征信息与上述第二人脸特征信息之间的相似度，对上述图像生成子模型进行迭代训练；基于上述图像识别子模型对应的第一人脸特征信息与第二人脸特征信息之间的相似度、以及上述图像识别子模型对应的第二人脸特征信息与上述第三人脸特征信息之间的相似度，对上述图像识别子模型进行迭代训练，直到上述图像生成子模型对应的图像生成损失函数，以及图像识别子模型对应的第一图像识别损失函数和第二图像识别损失函数均收敛的情况下，得到训练后的图像识别子模型。

进一步的，本说明书提供的一个或多个实施例中，上述图像识别子模型对应的第一损失函数的确定方法可以多种多样，以下再提供一种可选的第一损失函数的确定方法，具体可以参见下述步骤A2-步骤A4的具体处理过程。

在步骤A2中，确定图像生成损失函数对应的第一权重、第一图像识别损失函数对应的第二权重、以及第二图像识别损失函数对应的第三权重。

考虑到，本说明书提供的实施例中在训练图像识别子模型的过程中，已经预先对上述图像生成子模型训练完成，且经过上述图像生成子模型生成的第一生成图像的清晰程度满足预设清晰度条件，且第一图像对应的人脸特征信息与第一生成图像对应的人脸特征信息之间的相似度大于第一预设阈值。因此，在对上述图像识别子模型进行训练的过程中，为了进一步提高图像识别子模型的识别准确率，可以为上述图像识别子模型对应的图像识别损失函数分配较大的权重，而对上述图像生成子模型对应的图像生成损失函数分配相对较小的权重。

作为示例，上述第一权重的数值可以同时小于第二权重的数值以及上述第三权重的数值。上述第二权重的数值可以大于上述第三权重的数值，或者，上述第二权重的数值也可以小于上述第三权重的数值，上述第一权重、第二权重、第三权重的具体数值可以依据实际情况进行设置，本说明书实施例对上述第一权重、第二权重、第三权重所对应的具体数值不作具体限定。

在步骤A4中，基于图像生成损失函数、第一图像识别损失函数、第二图像识别损失函数，以及第一权重、第二权重，以及第三权重，确定图像识别子模型对应的第一损失函数。

需要说明的是，本说明书实施例提供的方法，需要分别对图像生成子模型和图像识别子模型进行训练，对图像生成子模型进行训练，就需要设置针对图像生成子模型的损失函数，即图像生成损失函数；在对图像识别子模型进行训练时，由于需要对未经过图像生成子模型处理的第一图像与将第一图像输入至图像生成子模型得到的第一生成图像进行判别，因此，就需要考虑设置针对图像识别子模型的损失函数，而该损失函数需要考虑两个部分，即第一图像与第二图像所包含的人脸特征信息之间的相似度对应的损失函数，以及第一生成图像与第二图像所包含的人脸特征信息之间的相似度对应的损失函数，即第一图像识别损失函数和第二图像识别损失函数。

在一种可选的实现方式中，可以基于下述公式确定与图像识别子模型对应的第一损失函数：

Loss_dc＝λ₂cos(G(y1,z)，y1)+λ₃fr(y1,y2)+λ₄fr(G(y1,z)，y2)

其中，上述Loss_dc可以表示图像识别子模型对应的第一损失函数。上述cos(G(y1,z)，y1)可以表示上述由图像生成子模型生成的第一生成图像G(y1,z)与上述第一图像y1所包含的人脸特征信息之间的相似度(即第一人脸特征信息与第三人脸特征信息之间的相似度)，fr(y1,y2)表示图像识别子模型中输入第一生成图像对应的第一图像y1与第二图像y2所包含的人脸特征信息之间的相似度，fr(G(y1,z)，y2)可以表示图像识别子模型中输入第一生成图像与第二图像所包含的人脸特征信息之间的相似度，λ₂可以表示第一权重，λ₃可以表示第二权重，λ₄可以表示第三权重，G可以表示图像生成子模型，z可以表示预设噪声数据。

由于本说明书实施例提供的模型训练方法中，在确定上述图像识别子模型的第一损失函数的过程中，同时考虑了图像生成子模型对应的图像生成损失函数，以及图像识别子模型对应的第一图像识别损失函数和第二图像识别损失函数，使得训练后的模型能够兼顾其中的两个子模型的性能(即图像生成子模型生成图像的性能和图像识别子模型对图像的识别性能)。此外，由于本说明书提供的实施例中在训练图像识别子模型的过程中，已经预先对上述图像生成子模型完成了一个阶段的训练，使得该图像生成子模型生成的第一生成图像达到一定的要求(即第一生成图像的清晰程度满足预设清晰度条件，且第一图像对应的人脸特征信息与第一生成图像对应的人脸特征信息之间的相似度大于第一预设阈值)，因此，在对图像识别子模型进行训练的过程中，为了进一步提高图像识别子模型的识别准确率，可以为上述图像识别子模型对应的图像识别损失函数分配较大的权重，而对图像生成子模型对应的图像生成损失函数分配相对较小的权重，这样，通过加权的方式对上述图像识别子模型进行有针对性的训练，从而进一步提升了模型训练的效率以及模型训练的准确性。

进一步的，考虑到在训练图像识别子模型过程中可能存在的由于训练样本中少部分标签类别对应的样本数量过多由此导致的长尾效应问题，从而影响到所训练得到的图像识别子模型的识别准确率的问题，基于此，本说明书提供的一个多个实施例中，上述预设数量的第一人脸样本图像对包括多个标签类别，各标签类别对应的第一人脸样本图像对的数量满足预设数量条件。

在一种可选的实现方式中，以上述标签类别为长头发类别、短头发类别、戴眼镜类别、以及不戴眼镜类别等，在进行对上述图像识别子模型进行模型训练的过程中，可以分别选取相同预设数量的长头发类别、短头发类别、戴眼镜类别、以及不戴眼镜类别的第一人脸样本图像作为训练样本，例如，分别选取100张从上述长头发类别、短头发类别、戴眼镜类别、以及不戴眼镜类别的第一人脸样本图像中各选取100张人脸图像来作为训练上述图像识别子模型的训练样本。这样，由于在对上述图像识别子模型训练过程中，第一人脸样本图像中所包含的各标签类别对应的第一人脸样本图像对的数量满足预设数量条件，从而有效避免了由于存在长尾效应问题而影响图像识别子模型识别准确率的问题，进而提高了所训练的图像识别子模型的识别准确率。

以上本说明书实施例主要描述了训练图像识别子模型的具体的过程，上述训练后的图像识别子模型的作用是可以对输入上述图像识别子模型中的清晰程度不满足预设清晰度条件的人脸图像进行处理，生成清晰程度满足上述预设清晰度条件的人脸图像，且能够保证上述生成的人脸图像所包含的人脸特征信息与上述输入图像识别子模型的人脸图像对应的人脸特征信息之间的相似度大于第一预设阈值，也即上述图像生成子模型可以在保证输入图像识别子模型的人脸图像所对应的人脸特征信息不发生改变的情况下，生成清晰程度满足上述预设清晰度条件的人脸图像，从而有效提高了图像识别子模型对待识别用户进行识别的准确性。以下对上述图像识别子模型的具体训练过程进行详细的说明。

如图4所示，本说明书实施例还提供一种图像生成子模型的训练方法，具体可以参见下述步骤S302-步骤S306的具体处理过程。

在步骤S302中，获取预设数量的存在标签的第二人脸样本图像对，第二人脸样本图像对包括相同标签的第三图像和第四图像，第三图像的清晰程度不满足预设清晰度条件，第四图像的清晰程度满足预设清晰度条件。

在一种可选的实现方式中，上述服务器可以预先从第三数据库中获取人脸样本图像，然后，从上述获取到的人脸样本图像中筛选出图像清晰程度小于预设清晰度阈值的人脸样本图像，将上述筛选的人脸样本图像作为第三图像，并获取与上述第一图像对应的相同用户清晰程度大于预设清晰度阈值的清晰人脸图像，将上述清晰人脸图像作为与该第三图像对应的第四图像，然后，通过与上述第二人脸样本图像对应的第三图像和第四图像构建第二人脸样本图像对，并对上述第二人脸样本图像对标记对应的标签，将上述存在标签的第二人脸样本图像对存储在第四数据库中，这样，当需要对上述图像识别子模型进行训练时，上述服务器可以通过上述第四数据库获取预设数量的存在标签的第二人脸样本图像对。

在步骤S304中，基于第三图像，通过图像生成子模型生成第二生成图像，第二生成图像的清晰程度满足预设清晰度条件，且第三图像包含的第四人脸特征信息与第二生成图像包含的第五人脸特征信息之间的第一相似度大于第一预设阈值。

上述步骤S304的具体处理过程可以参见前述实施例中步骤S204的具体处理过程。

在步骤S306中，基于第四人脸特征信息与第四图像所包含的第六人脸特征信息之间的第二相似度、以及第四人脸特征信息与第五人脸特征信息之间的第一相似度，对图像生成子模型进行迭代训练，直到第一相似度数值大于第一预设阈值，第二相似度数值大于第二预设阈值的情况下，得到训练后的图像生成子模型。

在一种可选的实现方式中，通过上述步骤S304的处理，上述图像生成子模型生成第二生成图像后，上述图像生成子模型可以分别对上述第二生成图像、第二生成图像对应的第四图像、以及上述第二生成图像对应的第三图像中所包含的人脸特征信息进行提取，得到第二生成图像所包含的第五人脸特征信息、第二生成图像对应的第四图像所包含的第六人脸特征信息，以及第二生成图像对应的第三图像所包含的第四人脸特征信息，并基于上述第四人脸特征信息与第六人脸特征信息之间的第一相似度、以及上述第四人脸特征信息与第五人脸特征信息之间的二相似度，对上述图像生成子模型进行迭代训练，直到第一相似度数值大于第一预设阈值，上述第二相似度数值大于第二预设阈值的情况下，得到训练后的图像生成子模型。

可以看出，本说明书实施例在对上述图像生成子模型进行训练的过程中，通过基于第四人脸特征信息与第四图像所包含的第六人脸特征信息之间的第二相似度、以及第四人脸特征信息与第五人脸特征信息之间的第一相似度，对图像生成子模型进行迭代训练，直到第一相似度数值大于第一预设阈值，第二相似度数值大于第二预设阈值的情况下，得到训练后的图像生成子模型的方法，使得通过上述图像生成子模型生成的图像中所包含的人脸特征信息与输入的图像中所包含的人脸特征信息之间的相似度大于第一预设阈值，有效提高了图像生成模型生成图像的准确度。

进一步的，本说明书实施例提供的一个或多个实施例中，上述步骤S304的处理方法可以多种多样，以下再提供一种可选的处理方法，具体可以参见下述步骤C2的具体处理过程。

在步骤C2中，将第三图像、第三图像的标签以及预设噪声数据输入至图像生成子模型中，得到第二生成图像。

作为示例，上述图像生成子模型可以为ACGAN网络中的生成模型。

上述步骤S306的处理过程可以多种多样，以下再提供一种可选的处理方法，具体可以参见下述步骤C4-步骤C8的具体处理过程。

在步骤C4中，将第二生成图像、第三图像的标签以及第四图像输入判别模型中，得到针对第三图像的判别结果。

作为示例，上述判别模型可以为ACGAN网络中的判别模型。上述判别结果可以包括第二生成图像为真图像信息，或第二生成图像为假图像信息，以及第二生成图像对应标签所属类别信息。

在步骤C6中，基于判别结果，以及判别模型对应的判别损失函数和图像生成子模型对应的图像生成损失函数，分别确定判别模型对应的损失信息和图像生成子模型对应的损失信息。

作为示例，判别损失函数基于有效性判别损失子函数与标签判别损失子函数之和确定，图像生成损失函数基于标签判别损失子函数与有效性判别损失子函数之差确定；或者，判别损失函数基于有效性判别损失子函数、标签判别损失子函数以及梯度惩罚项之和确定，梯度惩罚项由梯度惩罚项的权重、第二生成图像和第四图像中采样得到的人脸特征信息，以及判别模型对应的梯度确定；图像生成损失函数基于标签判别损失子函数与预设损失子函数之和，并与有效性判别损失子函数之差确定，预设损失子函数用于确定第三图像与第二生成图像之间的损失信息；有效性判别损失子函数基于第四图像与第二生成图像属于真实分布的概率确定，标签判别损失子函数基于第四图像与第二生成图像对应标签分类概率确定。

在步骤C8中，基于图像生成子模型对应的损失信息对图像生成子模型的模型参数进行更新，以及基于判别模型对应的损失信息对判别模型的模型参数进行更新，直到图像生成子模型对应的图像生成损失函数，以及判别模型对应的判别损失函数收敛的情况下，得到训练后的图像生成子模型，以及训练后的判别模型。

在一种可选的实现方式中，当上述图像生成损失函数基于标签判别损失子函数与预设损失子函数进做求和运算得到第一结果，基于第一结果与上述有效性判别损失子函数之差确定时，上述图像生成损失函数可以表示为：

Loss_G＝lc+Lx-Ls

其中，Loss_G可以表征图像生成损失函数，Lc可以表征标签判别损失子函数，Lx可以表征预设损失子函数，Ls可以表征有效性判别损失子函数，

Lc＝E[logP(C＝c|y＝x_real)]+E[logP(c＝c|G(x,label,z))]；

其中，C可以表征真实图像(如第四图像)来自真实数据分布的概率对数期望；c可以表征生成图像(如第二生成图像)来自非真实数据分布的概率对数期望；P(C＝c|y＝x_real)可以表征第四图像中所包含的人脸特征信息的分布来自同一人脸标签对应的分布概率；logP(c＝c|y＝x_real)可以表征第四图像中所包含的人脸特征信息的分布来自同一人脸标签对应的分布概率的对数；E[logP(C＝c|y＝x_real)]可以表征第四图像中所包含的人脸特征信息的分布来自同一人脸标签对应的分布概率对数的期望；P(C＝c|G(x,label,z))可以表征上述第二生成图像G(x,label,z)中所包含的人脸特征信息的分布来自同一人脸标签对应的分布概率；上述logP(C＝c|G(x,label,z))可以表征上述第二生成图像G(x,label,z)中所包含的人脸特征信息的分布来自同一人脸标签对应的分布概率的对数；上述E[logP(C＝c|G(x,label,z))]可以表征上述第二生成图像G(x,label,z)中所包含的人脸特征信息的分布来自同一人脸标签对应的分布概率对数的期望。

Lx＝λ₁cos(F(G(x,label,z)),F(x))；

其中，cos(F(G(x,label,z)),F(x))可以表征第二生成图像和第三图像间的相似度；F可以表征利用预训练的主干网络backbone提取特征向量，例如：利用预训练的主干网络backbone提取512维特征向量；λ₁可以表征约束cos相似度的权重。

Ls＝-E[logP(S＝real|y＝x_real)]-E[logP(S＝fake|G(x,label,z))]；

其中，S＝real可以表征真实数据分布；y可以表征真实的清晰程度满足预设清晰度条件的数据；S＝fake可以表征非真实的数据分布；label可以表征清晰程度不满足预设清晰度条件的图像标签；P(S＝real|y＝x_real)可以表征上述第四图像中所包含的人脸特征信息的分布来自真实分布的概率；logP(S＝real|y＝x_real)可以表征上述第四图像中所包含的人脸特征信息的分布来自真实分布概率的对数；E[logP(S＝real|y＝x_real)]可以表征上述第四图像中所包含的人脸特征信息的分布来自真实分布概率对数的期望；P(S＝fake|G(x,label,z))可以表征上述第二生成图像G(x,label,z)所包含的人脸特征信息的分布来自非真实分布的概率；E[logP(S＝fake|G(x,label,z))]表征上述第二生成图像G(x,label,z)所包含的人脸特征信息的分布来自非真实分布概率的期望。

也即，上述图像生成损失函数可以表示为：

Loss_G＝-E[logP(S＝real|y＝x_real)]-E[logP(S＝fake|G(x,label,z))]

+E[logP(C＝c|y＝x_real)]+E[logP(C＝c|G(x,label,z))]

+λ₁cos(F(G(x,label,z)),F(x))

这样，由于在确定上述图像生成损失函数的过程中考虑了第二生成图像和第三图像间的相似度(也即预设损失子函数)，使得经过上述图像生成子模型生成的第二生成图像与第三图像之间的相似度大于第一预设阈值，从而可以保证生成的第二生成图像中所包含的人脸特征信息与上述第三图像所包含的人脸特征信息保持一致，从而提高了图像生成子模型的准确性。

考虑到，在对判别模型进行训练的过程中，可能存在对上述图像生成子模型生成的图像(如第二生成图像)以及从真实人脸图像(如第四图像)中采集到的人脸特征信息并非来自于样本空间内，这样会降低判别模型的准确度，而梯度惩罚项能够解决上述问题，基于此，本说明书提供的判别模型所对应的损失函数中除了需要包括判别模型中常用的损失函数(如下述公式中除梯度惩罚项之外的损失函数)的基础上，还需要添加了梯度惩罚项，通过梯度惩罚项可以确保处于样本空间内，并可以确保/>是来自于真实人脸图像和生成人脸图像的人脸特征信息，进而有效提高了判别模型的准确性。

当上述判别损失函数基于有效性判别损失子函数、标签判别损失子函数以及梯度惩罚项之和确定时，上述判别损失函数可以表示为：

Loss_D＝Lc+Ls+Lz

其中，Loss_D可以表征判别损失函数，Lc可以表征标签判别损失子函数，Ls可以表征有效性判别损失子函数，Lz可以表征梯度惩罚项，其中，

也即，上述判别损失函数可以表示为：

其中，为梯度惩罚项，β表示梯度惩罚项的权重，/>表示第二生成图像G(x,label,z)和第四图像x_real中采样得到的人脸特征信息，即ε∈[0,1]。/>表示计算关于/>的梯度，||.||₂表示计算矩阵二范数。如上所述，上述梯度惩罚项可以确保/>处于样本空间内，并可以确保是来自于真实人脸图像和生成人脸图像的人脸特征信息，进而有效提高了判别模型的准确性。

由于上述训练过程中采用的是基于对抗的方式进行的模型训练(即基于ACGAN网络的训练方式进行模型训练)，这样，在通过上述梯度惩罚项提高判别模型的准确性后，可以基于该判别模型对抗训练上述图像生成子模型，从而进一步提高了图像生成子模型的准确性。

在另一种可选的实现方式中，当上述图像生成损失函数基于标签判别损失子函数与有效性判别损失子函数之差确定，上述判别损失函数基于有效性判别损失子函数与标签判别损失子函数之和确定时，上述图像生成损失函数可以表示为：

Loss_G＝Lc-Ls

也即，上述图像生成损失函数可以表示为：

Loss_G＝-E[logP(S＝real|y＝x_real)]-E[logP(S＝fake|G(x,label,z))]

+E[logP(C＝c|y＝x_real)]+E[logP(C＝c|G(x,label,z))]

由于上述训练过程中采用的是基于对抗的方式进行的模型训练(即基于ACGAN网络的训练方式进行模型训练)，可以基于该判别模型对抗训练上述图像生成子模型，从而提高了图像生成子模型的准确性。

上述判别损失函数可以表示为：

Loss_D＝Lc+Ls

也即，上述判别损失函数可以表示为：

Loss_D＝E[logP(S＝real|y＝x_real)]+E[logP(S＝fake|G(x,label,z))]

+E[logP(C＝c|y＝x_real)]+E[logP(C＝c|G(x,label,z))]

由于上述训练过程中采用的是基于对抗的方式进行的模型训练(即基于ACGAN网络的训练方式进行模型训练)，这样，可以基于该判别模型对抗训练上述图像生成子模型，从而提高了图像生成子模型的准确性。

可以看出，本说明书实施例在对上述图像生成子模型进行训练的过程中，通过基于第四人脸特征信息与第四图像所包含的第六人脸特征信息之间的第二相似度、以及第四人脸特征信息与第五人脸特征信息之间的第一相似度，对图像生成子模型进行迭代训练，直到第一相似度数值大于第一预设阈值，第二相似度数值大于第二预设阈值的情况下，得到训练后的图像生成子模型的方法，使得通过上述图像生成子模型生成的图像中所包含的人脸特征信息与输入的图像中所包含的人脸特征信息之间的相似度大于第一预设阈值，有效提高了图像生成模型生成图像的准确度。

以下通过具体的场景对上述图像识别子模型的训练过程，以及上述图像生成子模型的训练过程进行详细说明，具体可以包括以下两方面内容：

第一方面，如图5所示，图5为对图像生成子模型的训练过程的示意图，上述对图像生成子模型的训练过程可以包括下述步骤E2-步骤E6的具体处理过程。

在步骤E2中，获取预设数量的有标签的第二人脸样本图像，如真实场景下含不同人脸ID的生活照片，其中人脸ID的生活照片含有模糊图像，人脸ID是对应的类别标签。针对每个人脸ID可以获取100张第二人脸样本图像，其中存在大量的模糊图像。第一个人脸ID图像表示为，以此类推，第n个人脸ID图像表示为/>。测试的人脸数据集：一半数据集可以是人脸照片一致的(真实场景下相同人脸的不同生活照片)，一半数据集可以是人脸照片不一致(真实场景下不同人脸的生活照片)。可以将不同的第二人脸样本图像中的人脸按照统一尺寸进行裁剪、对齐操作，得到统一尺寸的人脸照片。

在步骤E4中，从标签类别C对应的人脸ID数据中每次选取一对数据进行训练，其中一个人脸图像为第三图像(模糊图像x)，另外一个人脸图像为第四图像(如高清的图像y)。将人脸ID对应的模糊图像x、对应的ID标签类别C和噪声数据z输入到图像生成子模型G中，得到第二生成图像G(x,label,z)。将第二生成图像G(x,label,z)、高清人脸图像y和对应的人脸ID标签类别C输入到判别模型D中，输出属于不同人脸ID分类信息(如C＝1、C＝2、…)、第二生成图像G(x,label,z)是否与高清图像y相似(即相似度数值大于预设阈值)或相同的信息(可以用0或1表示)。其中模糊图像x和对应的人脸ID标签label是图像生成子模型G中的额外条件c。判别模型D判别包括生成数据是否来自真实数据的分布，生成数据的类标签是否来自额外的标签类型。

其中，上述图像生成子模型G的损失函数可以表示为：

Loss_G＝-E[logP(S＝real|y＝x_real)]-E[logP(S＝fake|G(x,label,z))]+E[logP(C＝c|y＝x_real)]+E[logP(C＝c|G(x,label,z))]+Loss1；

其中，Loss1可以为λ₁cos(F(G(x,label,z)),F(x))；

其中，P(S＝real|y＝x_real)可以表征真实高清图像来自真实分布的概率，P(S＝fake|G(x,label,z))可以表征生成图像G(x,label,z)不是来自真实分布的概率。x_fake＝G(x,label,z)、P(C＝c|y＝x_real)表示真实高清图像来自同一人脸ID类的分布概率，P(C＝c|G(x,label,z))表示生成图像G(x,label,z)来自同一人脸ID类的分布概率，E可以表示对应的期望，F可以表示利用预训练的主干网络backbone提取特征向量(例如可以提取512维特征向量等)。

λ₁cos(F(G(x,label,z)),F(x))表示第二生成图像和输入第三图像间的相似度。λ₁是约束上述相似度的权重。

判别模型D的损失函数可以表示为：

在一种可选的实现方式中，对于第一个标签人脸ID图像数据通过将模糊人脸图像/>输入图像生成子模型G，得到第二生成图像G/>利用预训练的主干网络提取第二生成图像G/>和人脸高清图像y的人脸特征信息，将第二生成图像特征和人脸高清图像的人脸特征信息输入判别模型D，计算二者的余弦相似度，输入n种类别中的某一种类别c_i(i＝1,…,n)；n组标签人脸图像数据(x,y)，利用图像生成子模型G和判别模型D，最后得到K组类别c₁,…,c_n。这样，通过有标签数据的监督训练，得到图像生成子模型G对应的参数和判别模型D对应的模型参数。在指定的迭代次数中，利用上述步骤E2中的测试的人脸数据集，对上述图像生成子模型和判别模型进行测试，然后，通过利用判别模型G判别上述图像生成子模型G产生的人脸图像和上述高清人脸图像间真伪和分类信息，计算判别模型G的判别精度和分类精度。

在步骤E6中，分别确定上述图像生成子模型G和判别模型D的对应的损失函数是否收敛。判别模型D输出不同人脸ID数据的分布函数概率P(S|X)和不同人脸数据对应不同人脸ID分类信息的概率P(C|X)，X表示判别模型D的输入数据。若上述图像生成子模型G和判别模型收敛，则固定有标签数据的图像生成子模型G对应的模型参数，从而得到训练后的图像生成子模型。

第二方面，如图6所示，图6为对上述图像识别子模型进行模型训练的示意图，上述对图像识别子模型的训练过程可以包括下述步骤F2-步骤F6的具体处理过程。

在步骤F2中，获取预设数量的存在标签的第一人脸样本图像对，第一人脸样本图像对中所包含的各标签类别对应的第一人脸样本图像对的数量满足预设数量条件。

上述步骤F2的具体实现过程可以参见前述说明书实施例步骤S202的具体实现方式，以及前述说明书实施例中有关预设数量描述的具体实现方式。

在步骤F4中，基于第一图像，通过图像生成子模型生成第一生成图像，第一生成图像的清晰程度满足预设清晰度条件，且第一图像对应的人脸特征信息与第一生成图像对应的人脸特征信息之间的相似度大于第一预设阈值，其中，图像生成子模型为经过预先训练得到的。

步骤F4的具体处理过程可以参见前述说明书实施例中步骤S204的具体处理过程。

在步骤F6中，基于第一生成图像所包含的第一人脸特征信息、第二图像所包含的第二人脸特征信息，以及第一图像所包含的第三人脸特征信息，对图像识别子模型进行迭代训练，直到图像识别子模型对应的第一损失函数收敛的情况下，得到训练后的图像识别子模型。

作为示例，上述第一损失函数可以为：

Loss_dc＝λ₂cos(G(y1,z)，y1)+λ₃fr(y1,y2)+λ₄fr(G(y1,z)，y2)

loss1＝cos(G(y1,z)，y1)

loss2＝fr(y1,y2)

loss3＝fr(G(y1,z)，y2)

其中，上述Loss_dc可以表示图像识别子模型对应的第一损失函数。loss1可以表示第一生成图像G(y1,z)和第一图像y1所包含的人脸特征信息之间的相似度，loss2可以表示第一图像y1和第二图像y2所包含的人脸特征信息之间的相似度，loss3可以表示第一生成图像G(y1,z)和第二图像y2所包含的人脸特征信息之间的相似度，上述各表达式含义具体也可以如前述内容所示。

可以看出，本说明书实施例在对上述图像识别子模型训练的过程中，通过图像生成子模型基于上述第一图像生成清晰程度满足预设清晰度条件的第一生成图像，然后，基于上述第一生成图像所包含的人脸特征信息、第二图像所包含的人脸特征信息，以及第一图像所包含的人脸特征信息，对图像识别子模型进行迭代训练，直到图像识别子模型对应的第一损失函数收敛的情况下，得到训练后的图像识别子模型的方法，由于上述过程中通过上述图像生成子模型生成的第一生成图像的人脸特征信息与上述第一人脸图像对应的人脸特征信息之间的相似度大于第一预设阈值，这样，在对上述图像识别子模型进行模型训练的过程中，可以在保证生成的第一生成图像中所包含的人脸特征信息与上述第一图像所包含的人脸特征信息保持一致的前提下，使用清晰程度满足上述预设清晰度条件的第一生成图像代替上述第一图像来进行模型训练，由于上述用于对图像识别子模型进行模型训练的第一生成图像清晰程度满足预设清晰度条件，避免了在使用清晰程度不满足上述预设清晰度条件的第一图像进行模型训练时可能引入其他噪声而导致模型训练不准确的问题，从而进一步提高了模型训练的准确度。

上述各个步骤的具体处理过程可以参见前述相关内容，在此不再赘述。

上述人脸识别处理可以应用于多种不同的场景中，例如，支付场景下的人脸识别和验证，或者，手机解锁场景下的人脸识别等，以下提供一种具体的场景对上述人脸识别应用的具体处理过程进行详细说明，具体可以参见下述内容：

在一种可选的实现方式中，当用户办理办理贷款业务时，需要对用户身份信息进行验证，此时，终端设备的显示屏幕上可以显示用于指示用户进行人脸识别的控件，用户可以点击该控件，这样，终端设备可以接收到进行人脸识别的指令信息，通过启动摄像组件获取待识别用户的第一人脸图像，并在用户授权的情况下将第一人脸图像加密后发送至上述服务器，服务器可以获取到待识别用户的第一人脸图像。这样，在服务器获取到上述第一人脸图像之后，可以对上述第一人脸图像的清晰程度进行检测，若检测到上述第一人脸图像的清晰程度不满足预设清晰度条件的情况下，则可以将上述第一人脸图像输入至上述图像生成子模型中，通过上述图像生成子模型生成第二人脸图像，之后，将上述生成的第二人脸图像输入至上述图上识别子模型中，通过上述图像识别子模型输出对上述待识别用户的识别结果。

在另一种可选的实现方式中，当用户办理办理贷款业务时，用户可以点击终端设备的显示屏幕上显示的用于指示用户进行人脸识别的控件，这样，终端设备可以通过启动摄像组件获取待识别用户的第一人脸图像以及第一身份证件图像，并在用户授权的情况下将第一人脸图像以及第一身份证件图像加密后发送至上述服务器，服务器可以获取到待识别用户的第一人脸图像以及第一身份证件图像。这样，在服务器获取到上述第一人脸图像以及第一身份证件图像之后，可以对上述第一人脸图像的清晰程度以及第一身份证件图像的清晰程度进行检测，若检测到上述第一人脸图像的清晰程度和/或第一身份证件图像的清晰程度不满足预设清晰度条件的情况下，则可以将上述第一人脸图像和/或第一身份证件图像输入至上述图像生成子模型中，通过上述图像生成子模型生成第二人脸图像和/或第二身份证件图像，之后，将上述生成的第二人脸图像和/或第二身份证件图像输入至上述图上识别子模型中，通过上述图像识别子模型输出对上述待识别用户的识别结果。

以上为本说明书实施例提供的人脸识别方法，基于同样的思路，本说明书实施例还提供一种人脸识别装置，该人脸识别装置中包括如上述实施例中的服务器的所有功能单元，如图7所示。

该人脸识别装置包括：第一获取模块701、第一输入模块702和第二输入模块703，其中：

第一获取模块701，被配置为获取待识别用户的第一人脸图像；

第一输入模块702，被配置为将所述第一人脸图像输入至图像生成子模型中，生成第二人脸图像，所述第二人脸图像的清晰程度满足预设清晰度条件，且所述第二人脸图像对应的人脸特征信息与所述第一人脸图像对应的人脸特征信息之间的相似度大于第一预设阈值；

第二输入模块703，被配置为将所述第二人脸图像输入至图像识别子模型中，通过所述图像识别子模型输出对所述待识别用户的识别结果。

可以看出，本说明书实施例通过将第一人脸图像输入至图像生成子模型中，生成第二人脸图像，然后，再通过图像识别子模型对上述第二人脸图像进行识别的方法，由于通过上述图像生成子模型生成的第二人脸图像的人脸特征信息与上述第一人脸图像对应的人脸特征信息之间的相似度大于第一预设阈值，从而可以保证生成的第二人脸图像中所包含的人脸特征信息与上述获取到的第一人脸图像所包含的人脸特征信息保持一致的前提下，提高了待识别人脸图像的清晰程度，之后再对保留了原始人脸特征信息且清晰程度较高的人脸图像进行识别，能够得到更加准确有效的识别结果，从而提高了人脸识别的准确度。

可选地，上述第一输入模块，包括：

检测单元，被配置为检测所述第一人脸图像的清晰程度；

第一输入单元，被配置为若所述第一人脸图像的清晰程度不满足预设清晰度条件，则将所述第一人脸图像输入至图像生成子模型中，生成第二人脸图像。可选地，上述图像生成子模型是基于任一种算法通过模型训练而生成的模型：GAN网络算法、CGAN网络算法、DCGAN网络算法、ACGAN网络算法。

可选地，上述第一输入模块，包括：

第二输入单元，被配置为将所述第一人脸图像输入至图像生成子模型中，通过所述图像生成子模型提取所述第一人脸图像中的预设人脸关键点的特征信息；

处理单元，被配置为在所述第一人脸图像中的预设人脸关键点的特征信息不变的基础上，生成第二人脸图像。

本说明书实施例提供的人脸识别装置能够实现上述人脸识别方法对应的实施例中的各个过程，为避免重复，这里不再赘述。

需要说明的是，本说明书实施例提供的人脸识别装置与本说明书实施例提供的人脸识别方法基于同一发明构思，因此该实施例的具体实施可以参见前述人脸识别方法的实施，重复之处不再赘述。

对应上述实施例提供的图像识别子模型的训练方法，基于相同的技术构思，如图8所示，本说明书实施例还提供了一种图像识别子模型的训练装置。

该图像识别子模型的训练装置包括：第二获取模块801、第一生成模块802和第一训练模块803，其中：

第二获取模块801，被配置为获取预设数量的存在标签的第一人脸样本图像对，所述第一人脸样本图像对包括相同标签的第一图像和第二图像，所述第一图像为待识别的图像，所述第二图像为与所述待识别的图像对应的真实图像，其中，所述第一图像的清晰程度不满足预设清晰度条件；

第一生成模块802，被配置为基于所述第一图像，通过所述图像生成子模型生成第一生成图像，所述第一生成图像的清晰程度满足所述预设清晰度条件，且所述第一图像对应的人脸特征信息与所述第一生成图像对应的人脸特征信息之间的相似度大于第一预设阈值，其中，所述图像生成子模型为经过预先训练得到的；

第一训练模块803，被配置为基于所述第一生成图像所包含的第一人脸特征信息、所述第二图像所包含的第二人脸特征信息，以及所述第一图像所包含的第三人脸特征信息，对所述图像识别子模型进行迭代训练，直到所述图像识别子模型对应的第一损失函数收敛的情况下，得到训练后的图像识别子模型。

可选地，所述第一损失函数包括所述图像生成子模型对应的图像生成损失函数，以及所述图像识别子模型对应的图像识别损失函数，其中，基于所述第一人脸特征信息与所述第三人脸特征信息之间的相似度确定所述图像生成损失函数。可选地，所述图像识别损失函数包括第一图像识别损失函数和第二图像识别损失函数，其中，基于所述第二人脸特征信息与所述第三人脸特征信息之间的相似度确定所述第一图像识别损失函数，基于所述第一人脸特征信息与所述第二人脸特征信息之间的相似度确定所述第二图像识别损失函数。

可选地，所述装置还包括：

第一确定模块，被配置为确定所述图像生成损失函数对应的第一权重、所述第一图像识别损失函数对应的第二权重、以及所述第二图像识别损失函数对应的第三权重；

第二确定模块，被配置为基于所述图像生成损失函数、所述第一图像识别损失函数、所述第二图像识别损失函数，以及所述第一权重、所述第二权重，以及所述第三权重，确定所述图像识别子模型对应的第一损失函数。

可选地，所述预设数量的第一人脸样本图像对包括多个标签类别，各标签类别对应的第一人脸样本图像对的数量满足预设数量条件。

可以看出，本说明书实施例在对上述图像识别子模型训练的过程中，通过训练后的图像生成子模型基于上述第一图像生成清晰程度满足预设清晰度条件的第一生成图像，然后，基于上述第一生成图像所包含的人脸特征信息、第二图像所包含的人脸特征信息，以及第一图像所包含的人脸特征信息，对图像识别子模型进行迭代训练，直到图像识别子模型对应的第一损失函数收敛的情况下，得到训练后的图像识别子模型的方法，由于上述过程中通过上述图像生成子模型生成的第一生成图像的人脸特征信息与上述第一人脸图像对应的人脸特征信息之间的相似度大于第一预设阈值，这样，在对上述图像识别子模型进行模型训练的过程中，可以在保证生成的第一生成图像中所包含的人脸特征信息与上述第一图像所包含的人脸特征信息保持一致的前提下，使用清晰程度满足上述预设清晰度条件的第一生成图像代替上述第一图像来进行模型训练，由于上述用于对图像识别子模型进行模型训练的第一生成图像清晰程度满足预设条件，避免了在使用清晰程度不满足上述预设条件的第一图像进行模型训练时可能引入其他噪声而导致模型训练不准确的问题，从而进一步提高了模型训练的准确度。

本说明书实施例提供的图像识别子模型的训练装置能够实现上述图像识别子模型的训练方法对应的实施例中的各个过程，为避免重复，这里不再赘述。

需要说明的是，本说明书实施例提供的图像识别子模型的训练装置与本说明书实施例提供的图像识别子模型的训练方法基于同一发明构思，因此该实施例的具体实施可以参见前述图像识别子模型的训练方法的实施，重复之处不再赘述。

对应上述实施例提供的图像生成子模型的训练方法，基于相同的技术构思，如图9所示，本说明书实施例还提供了一种图像生成子模型的训练装置。

该图像生成子模型的训练装置包括：第三获取模块901、第二生成模块902和第二训练模块903，其中：第三获取模块901，被配置为获取预设数量的存在标签的第二人脸样本图像对，所述第二人脸样本图像对包括相同标签的第三图像和第四图像，所述第三图像的清晰程度不满足预设清晰度条件，所述第四图像的清晰程度满足所述预设清晰度条件；

第二生成模块902，被配置为基于所述第三图像，通过所述图像生成子模型生成第二生成图像，所述第二生成图像的清晰程度满足所述预设清晰度条件，且所述第三图像包含的第四人脸特征信息与所述第二生成图像包含的第五人脸特征信息之间的第一相似度大于第一预设阈值；

第二训练模块903，被配置为基于所述第四人脸特征信息与所述第四图像所包含的第六人脸特征信息之间的第二相似度、以及所述第四人脸特征信息与所述第五人脸特征信息之间的第一相似度，对所述图像生成子模型进行迭代训练，直到所述第一相似度数值大于第一预设阈值，所述第二相似度数值大于第二预设阈值的情况下，得到训练后的图像生成子模型。

可选地，所述第二生成模块，包括：

第三输入单元，被配置为将所述第三图像、所述第三图像的标签以及预设噪声数据输入至所述图像生成子模型中，得到第二生成图像；

所述第二训练模块，包括：

第四输入单元，被配置为将所述第二生成图像、所述第三图像的标签以及所述第四图像输入判别模型中，得到针对所述第三图像的判别结果；

迭代训练单元，被配置为基于所述判别结果，以及所述判别模型对应的判别损失函数和所述图像生成子模型对应的图像生成损失函数，分别确定所述判别模型对应的损失信息和所述图像生成子模型对应的损失信息；

基于所述图像生成子模型对应的损失信息对所述图像生成子模型的模型参数进行更新，以及基于所述判别模型对应的损失信息对所述判别模型的模型参数进行更新，直到所述图像生成子模型对应的图像生成损失函数，以及所述判别模型对应的判别损失函数收敛的情况下，得到训练后的图像生成子模型，以及训练后的判别模型，其中，所述图像生成损失函数由所述第一相似度确定，所述判别损失函数由所述第二相似度确定。

可选地，所述判别损失函数基于有效性判别损失子函数与标签判别损失子函数之和确定，所述图像生成损失函数基于标签判别损失子函数与所述有效性判别损失子函数之差确定；

或者，所述判别损失函数基于有效性判别损失子函数、标签判别损失子函数以及梯度惩罚项之和确定，所述梯度惩罚项由所述梯度惩罚项的权重、所述第二生成图像和所述第四图像中采样得到的人脸特征信息，以及所述判别模型对应的梯度确定；所述图像生成损失函数基于所述标签判别损失子函数与预设损失子函数之和，并与所述有效性判别损失子函数之差确定，所述预设损失子函数用于确定所述第三图像与所述第二生成图像之间的损失信息；

所述有效性判别损失子函数基于所述第四图像与所述第二生成图像属于真实分布的概率确定，所述标签判别损失子函数基于所述第四图像与所述第二生成图像对应标签分类概率确定。可以看出，本说明书实施例在对上述图像生成子模型进行训练的过程中，通过基于所述第四人脸特征信息与所述第四图像所包含的第六人脸特征信息之间的第二相似度、以及所述第四人脸特征信息与所述第五人脸特征信息之间的第一相似度，对所述图像生成子模型进行迭代训练，直到所述第一相似度数值大于第一预设阈值，所述第二相似度数值大于第二预设阈值的情况下，得到训练后的图像生成子模型的方法，使得通过上述图像生成子模型生成的图像中所包含的人脸特征信息与输入的图像中所包含的人脸特征信息之间的相似度大于第一预设阈值，有效提高了图像生成子模型生成图像的准确度。本说明书实施例提供的图像生成子模型的训练装置能够实现上述图像生成子模型的训练方法对应的实施例中的各个过程，为避免重复，这里不再赘述。

需要说明的是，本说明书实施例提供的图像生成子模型的训练装置与本说明书实施例提供的图像生成子模型的训练方法基于同一发明构思，因此该实施例的具体实施可以参见前述模型训练方法的实施，重复之处不再赘述。

对应上述实施例提供的人脸识别方法，基于相同的技术构思，本说明书实施例还提供了一种人脸识别设备，该人脸识别设备用于执行上述的人脸识别方法，图10为实现本说明书各个实施例的一种人脸识别设备的硬件结构示意图，图10所示的人脸识别设备1000包括但不限于：射频单元1001、网络模块1002、音频输出单元1003、输入单元1004、传感器1005、用户输入单元1006、接口单元1007、存储器1008、处理器1009、以及电源1010等部件。本领域技术人员可以理解，图10中示出的人脸识别设备结构并不构成对人脸识别设备的限定，人脸识别设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

其中，接口单元1007，用于获取待识别用户的第一人脸图像；

处理器1009，用于将所述第一人脸图像输入至图像生成子模型中，生成第二人脸图像，所述第二人脸图像的清晰程度满足预设清晰度条件，且所述第二人脸图像对应的人脸特征信息与所述第一人脸图像对应的人脸特征信息之间的相似度大于第一预设阈值；

输入单元1004，用于将所述第二人脸图像输入至图像识别子模型中，通过所述图像识别子模型输出对所述待识别用户的识别结果。

可选地，处理器1009，用于检测所述第一人脸图像的清晰程度；

处理器1009，用于若所述第一人脸图像的清晰程度不满足预设清晰度条件，则将所述第一人脸图像输入至图像生成子模型中，生成第二人脸图像。

可选地，所述图像生成子模型是基于任一种算法通过模型训练而生成的模型：GAN网络算法、CGAN网络算法、DCGAN网络算法、ACGAN网络算法。

可选地，输入单元1004，用于将所述第一人脸图像输入至图像生成子模型中，通过所述图像生成子模型提取所述第一人脸图像中的预设人脸关键点的特征信息。

处理器1009，用于在所述第一人脸图像中的预设人脸关键点的特征信息不变的基础上，生成第二人脸图像。需要说明的是，本说明书实施例提供的人脸识别设备1000能够实现上述人脸识别方法实施例中人脸识别设备实现的各个过程，为避免重复，这里不再赘述。

优选的，本说明书实施例还提供一种人脸识别设备，包括处理器1009，存储器1008，存储在存储器1008上并可在所述处理器1009上运行的计算机程序，该计算机程序被处理器1009执行时实现上述人脸识别方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

对应上述实施例提供的图像识别子模型的训练方法，基于相同的技术构思，本说明书实施例还提供了一种图像识别子模型的训练设备，该图像识别子模型的训练设备用于执行上述的图像识别子模型的训练方法，图10为实现本说明书各个实施例的一种图像识别子模型的训练设备的硬件结构示意图。本领域技术人员可以理解，图10中示出的图像识别子模型的训练设备结构并不构成对图像识别子模型的训练设备的限定，图像识别子模型的训练设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

其中，接口单元1007，用于获取预设数量的存在标签的第一人脸样本图像对，所述第一人脸样本图像对包括相同标签的第一图像和第二图像，所述第一图像为待识别的图像，所述第二图像为与所述待识别的图像对应的真实图像，其中，所述第一图像的清晰程度不满足预设清晰度条件；

处理器1009，用于基于所述第一图像，通过图像生成子模型生成第一生成图像，所述第一生成图像的清晰程度满足所述预设清晰度条件，且所述第一图像对应的人脸特征信息与所述第一生成图像对应的人脸特征信息之间的相似度大于第一预设阈值，其中，所述图像生成子模型为经过预先训练得到的；

处理器1009，用于基于所述第一生成图像所包含的第一人脸特征信息、所述第二图像所包含的第二人脸特征信息，以及所述第一图像所包含的第三人脸特征信息，对图像识别子模型进行迭代训练，直到所述图像识别子模型对应的第一损失函数收敛的情况下，得到训练后的图像识别子模型。

本说明书实施例中，所述第一损失函数包括所述图像生成子模型对应的图像生成损失函数，以及图像识别子模型对应的图像识别损失函数，其中，基于所述第一人脸特征信息与所述第三人脸特征信息之间的相似度确定所述图像生成损失函数。本说明书实施例中，所述图像识别损失函数包括第一图像识别损失函数和第二图像识别损失函数，其中，基于所述第二人脸特征信息与所述第三人脸特征信息之间的相似度确定所述第一图像识别损失函数，基于所述第一人脸特征信息与所述第二人脸特征信息之间的相似度确定所述第二图像识别损失函数。

本说明书实施例中，处理器1009，用于确定所述图像生成损失函数对应的第一权重、所述第一图像识别损失函数对应的第二权重、以及所述第二图像识别损失函数对应的第三权重；

处理器1009，用于基于所述图像生成损失函数、所述第一图像识别损失函数、所述第二图像识别损失函数，以及所述第一权重、所述第二权重，以及所述第三权重，确定所述图像识别子模型对应的第一损失函数。

本说明书实施例中，所述预设数量的第一人脸样本图像对包括多个标签类别，各标签类别对应的第一人脸样本图像对的数量满足预设数量条件。

需要说明的是，本说明书实施例提供的一种图像识别子模型的训练设备1000能够实现上述图像识别子模型的训练方法实施例中的各个过程，为避免重复，这里不再赘述。

优选的，本说明书实施例还提供一种图像识别子模型的训练设备，包括处理器1009，存储器1008，存储在存储器1008上并可在所述处理器1009上运行的计算机程序，该计算机程序被处理器1009执行时实现上述图像识别子模型的训练方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

对应上述实施例提供的图像生成子模型的训练方法，基于相同的技术构思，本说明书实施例还提供了一种图像生成子模型的训练设备，该图像生成子模型的训练设备用于执行上述的图像生成子模型的训练方法，图10为实现本说明书各个实施例的一种图像生成子模型的训练设备的硬件结构示意图。本领域技术人员可以理解，图10中示出的图像生成子模型的训练设备结构并不构成对图像生成子模型的训练设备的限定，图像生成子模型的训练设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

本说明书实施例中，接口单元1007，用于获取预设数量的存在标签的第二人脸样本图像对，所述第二人脸样本图像对包括相同标签的第三图像和第四图像，所述第三图像的清晰程度不满足预设清晰度条件，所述第四图像的清晰程度满足所述预设清晰度条件；

处理器1009，用于基于所述第三图像，通过所述图像生成子模型生成第二生成图像，所述第二生成图像的清晰程度满足所述预设清晰度条件，且所述第三图像包含的第四人脸特征信息与所述第二生成图像包含的第五人脸特征信息之间的第一相似度大于第一预设阈值；

处理器1009，用于基于所述第四人脸特征信息与所述第四图像所包含的第六人脸特征信息之间的第二相似度、以及所述第四人脸特征信息与所述第五人脸特征信息之间的第一相似度，对所述图像生成子模型进行迭代训练，直到所述第一相似度数值大于第一预设阈值，所述第二相似度数值大于第二预设阈值的情况下，得到训练后的图像生成子模型。

本说明书实施例中，输入单元1004，用于将所述第三图像、所述第三图像的标签以及预设噪声数据输入至所述图像生成子模型中，得到第二生成图像；

输入单元1004，用于将所述第二生成图像、所述第三图像的标签以及所述第四图像输入判别模型中，得到针对所述第三图像的判别结果；

处理器1009，用于基于所述判别结果，以及所述判别模型对应的判别损失函数和所述图像生成子模型对应的图像生成损失函数，分别确定所述判别模型对应的损失信息和所述图像生成子模型对应的损失信息；

基于所述图像生成子模型对应的损失信息对所述图像生成子模型的模型参数进行更新，以及基于所述判别模型对应的损失信息对所述判别模型的模型参数进行更新，直到所述图像生成子模型对应的图像生成损失函数，以及所述判别模型对应的判别损失函数收敛的情况下，得到训练后的图像生成子模型，以及训练后的判别模型。

可选地，所述判别损失函数基于有效性判别损失子函数与标签判别损失子函数之和确定，所述图像生成损失函数基于标签判别损失子函数与所述有效性判别损失子函数之差确定；

或者，所述判别损失函数基于有效性判别损失子函数、标签判别损失子函数以及梯度惩罚项之和确定，所述梯度惩罚项由所述梯度惩罚项的权重、所述第二生成图像和所述第四图像中采样得到的人脸特征信息，以及所述判别模型对应的梯度确定；所述图像生成损失函数基于所述标签判别损失子函数与预设损失子函数之和，并与所述有效性判别损失子函数之差确定，所述预设损失子函数用于确定所述第三图像与所述第二生成图像之间的损失信息；

所述有效性判别损失子函数基于所述第四图像与所述第二生成图像属于真实分布的概率确定，所述标签判别损失子函数基于所述第四图像与所述第二生成图像对应标签分类概率确定。需要说明的是，本说明书实施例提供的一种图像生成子模型的训练设备1000能够实现上述图像生成子模型的训练方法实施例中实现的各个过程，为避免重复，这里不再赘述。

优选的，本说明书实施例还提供一种图像生成子模型的训练设备，包括处理器1009，存储器1008，存储在存储器1008上并可在所述处理器1009上运行的计算机程序，该计算机程序被处理器1009执行时实现上述图像生成子模型的训练方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

进一步地，基于上述图1-图6所示的方法，本说明书一个或多个实施例还提供了一种存储介质，用于存储计算机可执行指令信息，一种具体的实施例中，该存储介质可以为U盘、光盘、硬盘等，该存储介质存储的计算机可执行指令信息在被处理器执行时，能实现以下流程：

获取待识别用户的第一人脸图像；

将所述第一人脸图像输入至图像生成子模型中，生成第二人脸图像，所述第二人脸图像的清晰程度满足预设清晰度条件，且所述第二人脸图像对应的人脸特征信息与所述第一人脸图像对应的人脸特征信息之间的相似度大于第一预设阈值；

将所述第二人脸图像输入至图像识别子模型中，通过所述图像识别子模型输出对所述待识别用户的识别结果。

或者，能实现以下流程：

获取预设数量的存在标签的第一人脸样本图像对，所述第一人脸样本图像对包括相同标签的第一图像和第二图像，所述第一图像为待识别的图像，所述第二图像为与所述待识别的图像对应的真实图像，其中，所述第一图像的清晰程度不满足预设清晰度条件；

基于所述第一图像，通过图像生成子模型生成第一生成图像，所述第一生成图像的清晰程度满足所述预设清晰度条件，且所述第一图像对应的人脸特征信息与所述第一生成图像对应的人脸特征信息之间的相似度大于第一预设阈值，其中，所述图像生成子模型为经过预先训练得到的；

基于所述第一生成图像所包含的第一人脸特征信息、所述第二图像所包含的第二人脸特征信息，以及所述第一图像所包含的第三人脸特征信息，对所述图像识别子模型进行迭代训练，直到所述图像识别子模型对应的第一损失函数收敛的情况下，得到训练后的图像识别子模型。

或者，能实现以下流程：

获取预设数量的存在标签的第二人脸样本图像对，所述第二人脸样本图像对包括相同标签的第三图像和第四图像，所述第三图像的清晰程度不满足预设清晰度条件，所述第四图像的清晰程度满足所述预设清晰度条件；

基于所述第三图像，通过图像生成子模型生成第二生成图像，所述第二生成图像的清晰程度满足所述预设清晰度条件，且所述第三图像包含的第四人脸特征信息与所述第二生成图像包含的第五人脸特征信息之间的第一相似度大于第一预设阈值；

基于所述第四人脸特征信息与所述第四图像所包含的第六人脸特征信息之间的第二相似度、以及所述第四人脸特征信息与所述第五人脸特征信息之间的第一相似度，对所述图像生成子模型进行迭代训练，直到所述第一相似度数值大于第一预设阈值，所述第二相似度数值大于第二预设阈值的情况下，得到训练后的图像生成子模型。需要说明的是，本说明书实施例提供的存储介质能够实现上述人脸识别方法实施例中人脸识别设备实现的各个过程，或者，本说明书实施例提供的存储介质能够实现上述图像识别子模型的训练方法实施例中图像识别子模型的训练设备实现的各个过程，或者，本说明书实施例提供的存储介质能够实现上述图像生成子模型的训练方法实施例中图像生成子模型的训练设备实现的各个过程，为避免重复，这里不再赘述。

上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本领域技术人员应明白，本说明书的实施例可提供为方法、系统或计算机程序产品。因此，本说明书一个或多个实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本说明书一个或多个实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本说明书一个或多个实施例可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书一个或多个实施例，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本说明书的实施例而已，并不用于限制本说明书。对于本领域技术人员来说，本说明书可以有各种更改和变化。凡在本说明书的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本说明书的权利要求范围之内。

Claims (14)

1.一种人脸识别方法，其特征在于，所述方法包括：

获取待识别用户的第一人脸图像；

将所述第一人脸图像输入至图像生成子模型中，生成第二人脸图像，所述第二人脸图像的清晰程度满足预设清晰度条件，且所述第二人脸图像对应的人脸特征信息与所述第一人脸图像对应的人脸特征信息之间的相似度大于第一预设阈值；

将所述第二人脸图像输入至图像识别子模型中，通过所述图像识别子模型输出对所述待识别用户的识别结果。

2.根据权利要求1所述的方法，其特征在于，所述将所述第一人脸图像输入至图像生成子模型中，生成第二人脸图像，包括：

检测所述第一人脸图像的清晰程度；

若所述第一人脸图像的清晰程度不满足预设清晰度条件，则将所述第一人脸图像输入至图像生成子模型中，生成第二人脸图像。

3.根据权利要求1所述的方法，其特征在于，所述将所述第一人脸图像输入至图像生成子模型中，生成第二人脸图像，包括：

将所述第一人脸图像输入至图像生成子模型中，通过所述图像生成子模型提取所述第一人脸图像中的预设人脸关键点的特征信息；

在所述第一人脸图像中的预设人脸关键点的特征信息不变的基础上，生成第二人脸图像。

4.一种图像识别子模型的训练方法，其特征在于，所述方法包括：

获取预设数量的存在标签的第一人脸样本图像对，所述第一人脸样本图像对包括相同标签的第一图像和第二图像，所述第一图像为待识别的图像，所述第二图像为与所述待识别的图像对应的真实图像，其中，所述第一图像的清晰程度不满足预设清晰度条件；

基于所述第一图像，通过所述图像生成子模型生成第一生成图像，所述第一生成图像的清晰程度满足所述预设清晰度条件，且所述第一图像对应的人脸特征信息与所述第一生成图像对应的人脸特征信息之间的相似度大于第一预设阈值，其中，所述图像生成子模型为经过预先训练得到的；

基于所述第一生成图像所包含的第一人脸特征信息、所述第二图像所包含的第二人脸特征信息，以及所述第一图像所包含的第三人脸特征信息，对所述图像识别子模型进行迭代训练，直到所述图像识别子模型对应的第一损失函数收敛的情况下，得到训练后的图像识别子模型。

5.根据权利要求4所述的方法，其特征在于，

所述第一损失函数包括所述图像生成子模型对应的图像生成损失函数，以及所述图像识别子模型对应的图像识别损失函数，其中，基于所述第一人脸特征信息与所述第三人脸特征信息之间的相似度确定所述图像生成损失函数。

6.根据权利要求5所述的方法，其特征在于，所述图像识别损失函数包括第一图像识别损失函数和第二图像识别损失函数，其中，基于所述第二人脸特征信息与所述第三人脸特征信息之间的相似度确定所述第一图像识别损失函数，基于所述第一人脸特征信息与所述第二人脸特征信息之间的相似度确定所述第二图像识别损失函数。

7.根据权利要求6所述的方法，其特征在于，所述方法还包括：

确定所述图像生成损失函数对应的第一权重、所述第一图像识别损失函数对应的第二权重、以及所述第二图像识别损失函数对应的第三权重；

基于所述图像生成损失函数、所述第一图像识别损失函数、所述第二图像识别损失函数，以及所述第一权重、所述第二权重，以及所述第三权重，确定所述图像识别子模型对应的第一损失函数。

8.根据权利要求7所述的方法，其特征在于，所述预设数量的第一人脸样本图像对包括多个标签类别，各所述标签类别对应的第一人脸样本图像对的数量满足预设数量条件。

9.一种图像生成子模型的训练方法，其特征在于，所述方法包括：

获取预设数量的存在标签的第二人脸样本图像对，所述第二人脸样本图像对包括相同标签的第三图像和第四图像，所述第三图像的清晰程度不满足预设清晰度条件，所述第四图像的清晰程度满足所述预设清晰度条件；

基于所述第三图像，通过图像生成子模型生成第二生成图像，所述第二生成图像的清晰程度满足所述预设清晰度条件，且所述第三图像包含的第四人脸特征信息与所述第二生成图像包含的第五人脸特征信息之间的第一相似度大于第一预设阈值；

基于所述第四人脸特征信息与所述第四图像所包含的第六人脸特征信息之间的第二相似度、以及所述第四人脸特征信息与所述第五人脸特征信息之间的第一相似度，对所述图像生成子模型进行迭代训练，直到所述第一相似度数值大于第一预设阈值，所述第二相似度数值大于第二预设阈值的情况下，得到训练后的图像生成子模型。

10.根据权利要求9所述的方法，其特征在于，所述基于所述第三图像，通过所述图像生成子模型生成第二生成图像，包括：

将所述第三图像、所述第三图像的标签以及预设噪声数据输入至所述图像生成子模型中，得到第二生成图像；

所述基于所述第四人脸特征信息与所述第六人脸特征信息之间的第二相似度、以及所述第四人脸特征信息与所述第五人脸特征信息之间的第一相似度，对所述图像生成子模型进行迭代训练，直到所述第一相似度数值大于第一预设阈值，所述第二相似度数值大于第二预设阈值的情况下，得到训练后的图像生成子模型，包括：

将所述第二生成图像、所述第三图像的标签以及所述第四图像输入判别模型中，得到所述第三图像的判别结果；

基于所述判别结果，以及所述判别模型对应的判别损失函数和所述图像生成子模型对应的图像生成损失函数，分别确定所述判别模型对应的损失信息和所述图像生成子模型对应的损失信息；

基于所述图像生成子模型对应的损失信息对所述图像生成子模型的模型参数进行更新，以及基于所述判别模型对应的损失信息对所述判别模型的模型参数进行更新，直到所述图像生成子模型对应的图像生成损失函数，以及所述判别模型对应的判别损失函数收敛的情况下，得到训练后的图像生成子模型，以及训练后的判别模型。

11.根据权利要求10所述的方法，其特征在于，所述判别损失函数基于有效性判别损失子函数与标签判别损失子函数之和确定，所述图像生成损失函数基于标签判别损失子函数与所述有效性判别损失子函数之差确定；

或者，所述判别损失函数基于有效性判别损失子函数、标签判别损失子函数以及梯度惩罚项之和确定，所述梯度惩罚项由所述梯度惩罚项的权重、所述第二生成图像和所述第四图像中采样得到的人脸特征信息，以及所述判别模型对应的梯度确定；所述图像生成损失函数基于所述标签判别损失子函数与预设损失子函数之和，并与所述有效性判别损失子函数之差确定，所述预设损失子函数用于确定所述第三图像与所述第二生成图像之间的损失信息；

所述有效性判别损失子函数基于所述第四图像与所述第二生成图像属于真实分布的概率确定，所述标签判别损失子函数基于所述第四图像与所述第二生成图像对应标签分类概率确定。

12.一种人脸识别装置，其特征在于，所述装置包括：

第一获取模块，被配置为获取待识别用户的第一人脸图像；

第一输入模块，被配置为将所述第一人脸图像输入至图像生成子模型中，生成第二人脸图像，所述第二人脸图像的清晰程度满足预设清晰度条件，且所述第二人脸图像对应的人脸特征信息与所述第一人脸图像对应的人脸特征信息之间的相似度大于第一预设阈值；

第二输入模块，被配置为将所述第二人脸图像输入至图像识别子模型中，通过所述图像识别子模型输出对所述待识别用户的识别结果。

13.一种人脸识别设备，其特征在于，所述人脸识别设备包括：

处理器；以及

被安排成存储计算机可执行指令的存储器，所述可执行指令被配置由所述处理器执行，所述可执行指令包括用于执行如权利要求1-3，或4-8，或9-11任一项所述的方法中的步骤。

14.一种存储介质，其特征在于，所述存储介质用于存储计算机可执行指令，所述可执行指令使得计算机执行如权利要求1-3，或4-8，或9-11任一项所述的方法中的步骤。