CN110956079A - 人脸识别模型构建方法、装置、计算机设备和存储介质 - Google Patents

Abstract

本申请涉及人脸识别的一种人脸识别模型构建方法，所述方法包括：获取多个样本图像数据，通过特征提取模型对样本图像数据进行特征提取，得到多个种族标识对应的种族人脸特征；根据种族人脸特征确定多个种族标识对应的种族人脸特征集，利用种族人脸特征集训练得到初始人脸生成模型；对初始人脸生成模型进行验证，验证通过后得到所需的人脸生成模型；利用人脸生成模型合成多个种族标识对应的种族人脸合成图像；提取种族人脸合成图像的人脸特征并添加至种族人脸特征集中；利用种族人脸特征集对初始人脸识别模型进行训练和验证，得到所需的人脸识别模型。采用本方法能够有效生成种族人脸识别准确率较高的人脸识别模型，以有效提高人脸识别的准确率。

Description

人脸识别模型构建方法、装置、计算机设备和存储介质

技术领域

本申请涉及计算机技术领域，特别是涉及人脸识别的一种人脸识别模型构建方法、装置、计算机设备和存储介质。

背景技术

随着计算机技术的迅速发展，人脸识别技术不断成熟。生成对抗模型是近些年人工智能的重要突破之一，并引起社会各界的广泛关注。训练生成对抗模型也需要庞大的算力以及大量的数据，基于单个独立任务训练的生成对抗模型并无法直接用于其他任务。

现有的方式中，通常利用大量人脸图像数据进行模型训练的数据来源比较有限，例如至局限于特定区域的人脸图像，训练数据集的数据种类不平衡，使得训练得到的模型对于不同种类的识别等准确率不高。

发明内容

基于此，有必要针对上述技术问题，提供一种能够有效地生成种族人脸识别准确率较高的人脸识别模型的人脸识别模型构建方法、装置、计算机设备和存储介质。

一种人脸识别模型构建方法，所述方法包括：

获取多个样本图像数据，所述样本图像数据包括种族标识；

将所述多个样本图像数据输入至特征提取模型，通过所述特征提取模型对所述样本图像数据进行特征提取，得到多个种族标识对应的种族人脸特征；

根据所述种族人脸特征确定多个种族标识对应的种族人脸特征集，利用所述种族人脸特征集对人脸生成网络模型进行训练，得到初始人脸生成模型；

根据预设指标值对所述初始人脸生成模型进行验证，当验证通过后，得到所需的人脸生成模型；

利用所述人脸生成模型合成多个种族标识对应的种族人脸合成图像；

提取多个种族人脸合成图像的人脸特征，将所述人脸特征根据种族标识添加至对应的种族人脸特征集中；

利用所述种族人脸特征集对初始人脸识别模型进行训练和验证，得到所需的人脸识别模型。

在其中一个实施例中，所述利用所述种族人脸特征集对人脸生成模型进行训练，得到初始人脸生成模型的步骤包括：利用所述种族人脸特征集对人脸生成网络模型进行训练，得到训练结果；根据所述训练结果计算当前种族人脸特征与目标种族人脸特征的差异值；根据所述差异值计算并更新网络超参数，根据所述网络超参数调整训练周期和损失函数；利用更新的网络超参数和调节后的损失函数对所述人脸生成网络模型进行持续训练，得到初始人脸生成模型。

在其中一个实施例中，所述利用所述人脸生成模型合成多个种族标识对应的种族人脸合成图像的步骤包括：获取所述样本图像数据的样本人脸特征，对所述样本人脸特征分配多个种族标识的种族人脸特征；利用风格迁移网络根据所述种族人脸特征确定保留特征属性；利用人脸合成网络根据所述样本人脸特征和所述保留特征属性进行合成，生成多个目标种族标识对应的种族人脸合成图像。

在其中一个实施例中，所述利用所述种族人脸特征集对初始人脸识别模型进行训练和验证，得到所需的人脸识别模型的步骤包括：利用所述种族人脸特征集对初始人脸识别模型进行训练，得到多个种族标识对应的种族特征网络；根据所述多个种族标识对应的种族特征网络生成初始辨别器；获取验证集数据；所述验证集数据中包括多个种族人脸图像；利用所述验证集数据对所述初始辨别器进行验证；当所述验证集数据中满足预设阈值的数量达到预设阈值时，停止训练，得到训练完成的人脸识别模型。

在其中一个实施例中，所述方法还包括：获取终端发送的待识别人脸图像，对所述待识别人脸图像进行预处理；将所述预处理后的待识别人脸图像输入至所述人脸识别模型，通过人脸识别模型对待识别人脸图像进行特征提取，提取出对应的人脸特征；根据种族特征网络对所述待识别人脸图像进行种族特征提取，得到种族人脸特征；根据所述人脸特征和所述种族特征对所述待识别人脸图像进行分类，得到对应的种族标识。

在其中一个实施例中，所述方法还包括：获取所述种族标识对应的人脸信息库；根据所述种族标识和所述人脸特征在所述人脸信息库中进行人脸匹配，提取匹配度满足预设阈值的匹配结果；获取所述匹配结果对应的目标人脸图像和身份信息，将所述目标人脸图像和身份信息发送至所述终端。

一种人脸识别模型构建装置，所述装置包括：

数据获取模块，用于获取多个样本图像数据，所述样本图像数据包括种族标识；

特征提取模块，用于将所述多个样本图像数据输入至特征提取模型，通过所述特征提取模型对所述样本图像数据进行特征提取，得到多个种族标识对应的种族人脸特征；

人脸生成模型构建模块，用于根据所述种族人脸特征确定多个种族标识对应的种族人脸特征集，利用所述种族人脸特征集对人脸生成网络模型进行训练，得到初始人脸生成模型；根据预设指标值对所述初始人脸生成模型进行验证，当验证通过后，得到所需的人脸生成模型；

人脸图像合成模块，用于利用所述人脸生成模型合成多个种族标识对应的种族人脸合成图像；

人脸识别模型构建模块，用于提取多个种族人脸合成图像的人脸特征，将所述人脸特征根据种族标识添加至对应的种族人脸特征集中；利用所述种族人脸特征集对初始人脸识别模型进行训练和验证，得到所需的人脸识别模型。

在其中一个实施例中，所述人脸生成模型构建模块还用于利用所述种族人脸特征集对人脸生成网络模型进行训练，得到训练结果；根据所述训练结果计算当前种族人脸特征与目标种族人脸特征的差异值；根据所述差异值计算并更新网络超参数，根据所述网络超参数调整训练周期和损失函数；利用更新的网络超参数和调节后的损失函数对所述人脸生成网络模型进行持续训练，得到初始人脸生成模型。

一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现本申请任意一个实施例中提供的人脸识别模型构建方法的步骤。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现本申请任意一个实施例中提供的人脸识别模型构建方法的步骤。

上述人脸识别模型构建方法、装置、计算机设备和存储介质，服务器获取多个样本图像数据，通过特征提取模型对多个样本图像数据进行特征提取，从而提取得到多个种族标识对应的种族人脸特征。服务器进一步根据种族人脸特征确定多个种族标识对应的种族人脸特征集，进而利用种族人脸特征集对人脸生成网络模型进行训练，能够有效得到初始人脸生成模型；根据预设指标值对初始人脸生成模型进行验证，当验证通过后，得到所需的人脸生成模型。通过对大量不同种族类别的种族人脸特征集训练人脸生成模型，从而能够准确有效地训练得到基于多个种族类别的人脸生成模型。服务器进一步利用人脸生成模型的风格迁移网络合成多个种族标识对应的种族人脸合成图像，通过将多个种族人脸合成图像的人脸特征添加至对应的种族人脸特征集中，并利用种族人脸特征集中的人脸特征训练得到人脸识别模型，从而能够有效地生成种族人脸识别准确率较高的人脸识别模型，以有效提高对人脸图像进行人脸识别的准确率。

附图说明

图1为一个实施例中人脸识别模型构建方法的应用场景图；

图2为一个实施例中人脸识别模型构建方法的流程示意图；

图3为一个实施例中构建人脸生成模型步骤的流程示意图；

图4为一个实施例中构建人脸识别模型步骤的流程示意图；

图5为一个实施例中人脸识别模型构建装置的结构框图；

图6为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请提供的人脸识别模型构建方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。服务器104获取多个样本图像数据，通过特征提取模型对多个样本图像数据进行特征提取，得到多个种族标识对应的种族人脸特征。根据种族人脸特征确定多个种族标识对应的种族人脸特征集，进而利用种族人脸特征集对人脸生成网络模型进行训练，能够有效得到初始人脸生成模型；根据预设指标值对初始人脸生成模型进行验证，当验证通过后，得到所需的人脸生成模型。服务器104进一步利用人脸生成模型合成多个种族标识对应的种族人脸合成图像，将多个种族人脸合成图像的人脸特征添加至对应的种族人脸特征集中，利用种族人脸特征集中的人脸特征对人脸识别模型进行训练，从而能够有效地生成种族人脸识别准确率较高的人脸识别模型，以用于服务器对终端102发送的待识别人脸图像进行人脸识别。其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

在一个实施例中，如图2所示，提供了一种人脸识别模型构建方法，以该方法应用于图1中的服务器为例进行说明，包括以下步骤：

步骤202，获取多个样本图像数据，样本图像数据包括种族标识。

其中，样本图像数据为包括多个种族的人脸图像，每个人脸图像包括对应的种族标识。

服务器可以预先从本地数据库或多个第三方平台数据库中获取大量的样本图像数据作为训练集数据，并对大量训练集数据进行预处理，得到预处理后的样本图像数据。例如，可以对人脸图像进行对抗损失、图像平滑项以及特征图差异等图像预处理。

步骤204，将多个样本图像数据输入至特征提取模型，通过特征提取模型对样本图像数据进行特征提取，得到多个种族标识对应的种族人脸特征。

服务器对多个样本图像数据进行预处理后，获取已训练的特征提取模型，进而通过特征提取模型对多个样本图像数据进行特征提取。具体地，服务器利用特征提取模型识别样本图像数据中的人脸关键点特征，例如，可以识别出样本图像数据中的人脸关键点以及五官位置等。服务器则根据人脸关键点特征提取出样本图像数据对应的人脸特征，进一步对样本图像数据对应的人脸特征进行分类分析，得到样本图像数据对应的种族人脸特征。

其中，人脸特征可以包括肤色、五官、轮廓以及五官间距等多个特征。例如，服务器可以利用图像抽取网络对所有的样本图像数据进行特征抽取，然后使用聚类算法kmeans对抽取的人脸特征进行聚类分析，并根据聚类数量进行特征筛选，提取出达到标准的人脸特征，以将一些算法难以区分的图片剔除。

步骤206，根据种族人脸特征确定多个种族标识对应的种族人脸特征集，利用种族人脸特征集对人脸生成网络模型进行训练，得到初始人脸生成模型。

步骤208，根据预设指标值对初始人脸生成模型进行验证，当验证通过后，得到所需的人脸生成模型。

服务器提取出样本图像数据中的多个种族人脸特征后，将多个种族人脸特征输入至预设的神经网络模型中进行训练，训练出每个种族标识对应的种族人脸特征，并生成多个种族标识对应的种族人脸特征集。服务器进而利用种族人脸特征集对人脸生成网络模型进行训练，从而训练得到初始人脸生成模型。

服务器进一步获取验证集数据，其中，验证集数据可以是未标注的多个种族人脸图像。服务器则将验证集数据输入至初始人脸生成模型中进行机器学习，得到验证结果。服务器则根据预设指标值对初始人脸生成模型进行验证，当验证通过后，得到所需的人脸生成模型。

其中，人脸生成模型中可以包括生成器和辨别器，生成器即为人脸生成模型，人脸生成模型包括了Mapping映射网络、卷积层网络和Synthesis合成网络。Mapping网络用于将输入的随机的输入向量投射到正确的向量分布区域，进而转换为符合分布要求的中间向量。Synthesis网络用于生成图片。训练完成后，利用FID(frechet inception distance)指数来评估训练得到的初始人脸生成模型。例如，当FID指数低于4.45则验证通过，表示该模型已充分训练完成，进而得到所需的人脸生成模型。

步骤210，利用人脸生成模型合成多个种族标识对应的种族人脸图像。

其中，人脸生成模型中还包括风格迁移网络。风格迁移网络用于利用算法学习特定目标风格，然后再把这种风格应用到另外一张图片上。

服务器训练得到人脸生成模型后，进一步利用人脸生成模型的风格迁移网络合成多个种族标识对应的种族人脸图像。具体地，服务器可以利用多个种族的人脸特征集，根据多个种族的人脸特征风格，利用风格迁移将样本图像数据转换合成多个种族标识对应的人脸图像；并对合成的种族人脸图像进行验证，验证生成的人脸图像的分辨率和人脸清晰度是否达到预设指标，与满足预设指标，则验证通过，从而得到多个种族标识对应的种族人脸图像。

步骤212，提取多个种族人脸合成图像的人脸特征，将人脸特征根据种族标识添加至对应的种族人脸特征集中。

步骤214，利用种族人脸特征集对初始人脸识别模型进行训练和验证，得到所需的人脸识别模型。

其中，种族人脸特征库中包括相应种族人脸对应的多种特定特征。例如，可以包括特种族对应的肤色、五官、轮廓以及五官间距等多个种族人脸特征。

服务器进一步获取多个种族的人脸图像以及对应的人脸特征，并将多个种族标识的人脸特征分别添加至多个种族标识的种族人脸特征集中。服务器进一步获取预设的人脸识别神经网络，利用多个种族人脸特征集中的大量人脸特征向量对初始人脸识别模型进行训练，进而训练得到所需的生成人脸识别模型，以进行人脸识别。具体地，服务器可以将种族人脸特征集生成训练集和验证集，利用训练集中的多个种族人脸特征对初始人脸识别模型进行训练后，进一步利用验证集中的多个种族人脸特征对初始人脸识别模型进行验证，直到得到满足条件的人脸识别模型。通过对大量不同种族的人脸图像进行训练，并利用训练的种族人脸特征合成不同种族的人脸图像。进一步通过将大量不同种族的人脸图像的种族人脸特征生成种族人脸特征库，并训练基于种族特征识别的人脸识别模型，从而能够有效地生成种族人脸识别准确率高的人脸识别模型。

上述人脸识别模型构建方法中，服务器获取多个样本图像数据，通过特征提取模型对多个样本图像数据进行特征提取，从而提取得到多个种族标识对应的种族人脸特征。服务器进一步根据种族人脸特征确定多个种族标识对应的种族人脸特征集，进而利用种族人脸特征集对人脸生成网络模型进行训练，能够有效得到初始人脸生成模型；根据预设指标值对初始人脸生成模型进行验证，当验证通过后，得到所需的人脸生成模型。通过对大量不同种族类别的种族人脸特征集训练人脸生成模型，从而能够准确有效地训练得到基于多个种族类别的人脸生成模型。服务器进一步利用人脸生成模型的风格迁移网络合成多个种族标识对应的种族人脸合成图像，通过将多个种族人脸合成图像的人脸特征添加至对应的种族人脸特征集中，并利用种族人脸特征集中的人脸特征训练得到人脸识别模型，从而能够有效地生成种族人脸识别准确率较高的人脸识别模型，以用于后续准确有效地对人脸图像进行人脸识别。

在一个实施例中，如图3所示，对利用种族人脸特征集对人脸生成模型进行训练，得到初始人脸生成模型的步骤，具体包括以下内容：

步骤302，利用种族人脸特征集对人脸生成网络模型进行训练，得到训练结果。

步骤304，根据训练结果计算当前种族人脸特征与目标种族人脸特征的差异值。

步骤306，根据差异值计算并更新网络超参数，根据网络超参数调整训练周期和损失函数。

步骤308，利用更新的网络超参数和调节后的损失函数对人脸生成网络模型进行持续训练，得到初始人脸生成模型。

服务器获取多个样本图像数据，样本图像数据包括了种族标识。服务器获取预设的特征提取模型，将多个样本图像数据输入至特征提取模型中，通过特征提取模型对多个样本图像数据进行特征提取，从而提取得到多个种族标识对应的种族人脸特征。服务器进一步根据种族人脸特征确定多个种族标识对应的种族人脸特征集，得到多个种族标识对应的种族人脸特征集。

服务器可以获取预置的神经网络模型。其中，预置的神经网络模型中包括多个网络层和预设的网络超参数。网络超参数是在训练神经网络模型之前预先设置的参数，通常情况下，需要对网络超参数进行优化，以学习得到一组最优网络超参数，以提高学习的性能和效果。预置的神经网络模型中还包括损失函数。在机器学习中，需要衡量神经网络输出和所预期的输出之间的差异大小。损失函数则用于反映当前网络输出和实际结果之间一种量化之后的差异程度，即损失函数的函数值越大，反映出模型预测的结果越不准确。

具体地，服务器则利用种族人脸特征集对人脸生成网络模型进行训练。其中，人脸生成网络模型可以是预设的神经网络模型。例如，服务器可以通过神经网络模型中包括多个网络层，利用多个种族人脸特征对网络层进行多次训练，每一次训练可以得到相应的训练结果。服务器则根据每次的训练结果，去计算当前种族人脸特征与目标种族人脸特征的差异值。服务器则利用计算得到的差异值计算相应的网络超参数，并对初始的网络超参数进行更新。服务器进而根据网络超参数调整神经网络模型的训练周期和损失函数，并进一步利用更新的网络超参数和调节后的损失函数对人脸生成网络模型进行持续训练，直到损失函数的函数值满足预设阈值时，得到初始人脸生成模型。通过在训练过程中不断调整模型的参数和损失函数，从而能够有效提高人脸生成模型的训练准确度。

例如，预置的神经网络模型可以为深度神经网络，其中包括多个深度卷积网络层，深度卷积分类网络具有良好的特征提取能力，不同层提取的特征具有不同的含义，每一个训练好的网络都可以视为是一个良好的特征提取器。另外，深度神经网络可以由多层非线性函数组成，用于完成输入图像到输出的映射。

服务器利用种族人脸特征集训练得到初始人脸生成模型后，进一步获取验证集数据。其中，验证集数据可以是未标注的多个种族人脸图像。服务器则将验证集数据输入至初始人脸生成模型中进行机器学习，得到验证结果。服务器则根据预设指标值对初始人脸生成模型进行验证，当验证通过后，得到所需的人脸生成模型。通过利用大量不同种族的种族人脸特征训练人脸生成模型，从而能够准确有效地训练得到基于多个种族的人脸生成模型。

在一个实施例中，利用人脸生成模型合成多个种族标识对应的种族人脸合成图像的步骤，具体包括以下内容：获取样本图像数据的样本人脸特征，对样本人脸特征分配多个种族标识的种族人脸特征；利用风格迁移网络根据种族人脸特征确定保留特征属性；利用人脸合成网络根据样本人脸特征和保留特征属性进行合成，生成多个目标种族标识对应的种族人脸合成图像。

服务器获取多个样本图像数据，通过特征提取模型对多个样本图像数据进行特征提取，从而提取得到多个种族标识对应的种族人脸特征。服务器进一步根据所述种族人脸特征确定多个种族标识对应的种族人脸特征集，得到多个种族标识对应的种族人脸特征集，并利用种族人脸特征集训练得到初始人脸生成模型；根据预设指标值对初始人脸生成模型进行验证，当验证通过后，得到所需的人脸生成模型。服务器进一步利用人脸生成模型的风格迁移网络合成多个种族标识对应的种族人脸图像。

其中，样本图像数据为真实的多个种族标识的人脸图像。样本图像数据中的样本人脸特征可以为提取出的每个样本图像数据对应的种族人脸特征。服务器训练得到人脸生成模型后，可以进一步利用人脸生成模型对样本图像数据为数据源，合成样本图像数据对应多个种族标识的种族人脸图像。

具体地，服务器获取样本图像数据中的样本人脸特征，对样本人脸特征分配多个其他种族标识的种族人脸特征。服务器进而通过人脸生成模型中的风格迁移网络对样本人脸特征和分配的多个种族人脸特征进行风格迁移分析，根据种族标识的类型确定每个种族标识对应需要保留的保留特征属性，并利用人脸生成模型中的合成网络根据样本人脸特征和保留特征属性进行合成，从而合成得到样本人脸特征对应多个目标种族标识的种族人脸合成图像。通过利用大量种族人脸特征训练出基于多个种族的人脸生成模型，对样本图像进行进一步合成，从而能够有效地合成多个种族的种族人脸合成图像，以生成大量的不同种族的人脸图像。

在其中一个实施例中，人脸生成模型可以包括Mapping映射网络、卷基层网络和Synthesis合成网络。其中，Mapping网络用于将输入的随机的输入向量投射到正确的向量分布区域，进而转换为符合分布要求的中间向量。Synthesis网络用于合成不同种族的人脸合成图像。服务器通过将已知的输入向量和随机向量输入至Mapping网络。其中，已知的输入向量可以为样本人脸特征，随机向量可以为服务器对样本人脸特征随机分配多个种族标识的种族人脸特征。服务器则通过Mapping网络将输入向量和随机向量转换为中间向量，并将转换得到的中间向量输入至Synthesis网络。其中，Synthesis网络可以有18层，基本结构可以为4*4到1024*1024递进。将中间向量在16*16至32*32过程中进行融合，从而使得最终生成的人脸图片依然保持异族人的面部特征以及肤色等特征，而发型、眼睛闭合、姿势以及眼睛等可以是来自随机的人脸图片中的特征，还可以包括雀斑、发髻线的准确位置、皱纹、使图像更逼真的特征等，以增加各种输出的特征的清晰度和逼真度。

例如，人脸生成模型可以为StyleGAN模型。其中，当需要利用当前的印度人脸合成对应的马来西亚人脸时，服务器可以将当前的印度人脸作为输入向量，通过映射网络层映射得到随机的马来人脸向量。根据当前印度人脸向量与马来人脸向量确定待保留特征属性，进而利用StyleGAN模型中基于风格迁移的合成网络，在高分辨率区间64*64到1024*1024中，将当前印度人脸向量与马来人脸向量进行特征合成。其中，这个区间会保留印度人脸或马来人脸的绝大部分特征，而背景颜色、头发颜色以及背景光线，以及脸部微观特征等可以来自于随机向量，或者两者特征较强的背景特征，进而通过合成网络根据当前印度人脸向量与马来人脸向量以及待保留特征属性生成特定的马来西亚种族的人脸图像。

进一步的，服务器合成多个种族标识对应的人脸图像后，还可以对合成的人脸图像进行图像增强。具体地，服务器针对人脸生成模型中的Mapping网络输出的中间向量进行截断处理，对中间向量的向量值乘以0.9、0.8以及0.7，以此来细微调整合成人脸的发型、眼睛以及表情等，从而得到分辨率更高的种族人脸合成图像。

在一个实施例中，如图4所示，利用种族人脸特征集对初始人脸识别模型进行训练和验证，得到所需的人脸识别模型的步骤，具体包括以下内容：

步骤402，利用种族人脸特征集对初始人脸识别模型进行训练，得到多个种族标识对应的种族特征网络。

步骤404，根据多个种族标识对应的种族特征网络生成初始辨别器。

步骤406，获取验证集数据；验证集数据中包括多个种族人脸图像。

步骤408，利用验证集数据对初始辨别器进行验证。

步骤410，当验证集数据中满足预设阈值的数量达到预设阈值时，停止训练，得到训练完成的人脸识别模型。

服务器获取多个样本图像数据后，通过特征提取模型对多个样本图像数据进行特征提取，得到多个种族标识对应的种族人脸特征。服务器进一步根据种族人脸特征确定多个种族标识对应的种族人脸特征集，得到多个种族标识对应的种族人脸特征集，并利用种族人脸特征集生成初始人脸生成模型。根据预设指标值对初始人脸生成模型进行验证，当验证通过后，得到所需的人脸生成模型。服务器则利用人脸生成模型合成多个种族标识对应的种族人脸合成图像。

服务器可以将合成的多个种族人脸合成图像作为训练人脸识别模型的其中一部分训练数据。服务器则提取多个种族人脸合成图像的人脸特征向量，将多个人脸特征向量根据种族标识分别添加至对应的种族人脸特征集中。服务器进而利用种族人脸特征集对人脸识别模型进行训练，从而生成基于种族识别的人脸识别模型。

具体地，服务器将多个种族标识的种族人脸特征集中的大量种族人脸特征数据作为训练数据，种族人脸特征包括了种族标识。服务器利用种族人脸特征集对初始人脸识别模型进行训练，得到多个种族标识对应的种族特征网络。服务器进而根据训练得到的多个种族标识对应的种族特征网络生成初始的辨别器。服务器进一步获取验证集数据，其中，验证集数据中包括了未标注的多个种族人脸图像。服务器则利用验证集数据对初始的辨别器进行验证；当验证集中数据的满足预设阈值的数量达到预设比值时，则停止训练，进而得到训练完成的人脸识别模型。通过利用种族人脸特征库的大量种族人脸特征训练出人脸识别模型，由此能够有效地训练得到基于种族人脸特征的识别准确率较高的人脸识别模型。

在一个实施例中，该方法还包括：获取终端发送的待识别人脸图像，对待识别人脸图像进行预处理；将预处理后的待识别人脸图像输入至人脸识别模型，通过人脸识别模型对待识别人脸图像进行特征提取，提取出对应的人脸特征；根据种族特征网络对待识别人脸图像进行种族特征提取，得到种族人脸特征；根据人脸特征和种族特征对待识别人脸图像进行分类，得到对应的种族标识。

服务器获取多个样本图像数据后，通过特征提取模型对多个样本图像数据进行特征提取，得到多个种族标识对应的种族人脸特征。服务器进一步根据种族人脸特征确定多个种族标识对应的种族人脸特征集，得到多个种族标识对应的种族人脸特征集，并利用种族人脸特征集生成初始人脸生成模型。根据预设指标值对初始人脸生成模型进行验证，当验证通过后，得到所需的人脸生成模型。服务器则利用人脸生成模型合成多个种族标识对应的种族人脸合成图像。提取多个种族人脸合成图像的人脸特征，并根据种族标识添加至对应的种族人脸特征集中，服务器进而利用种族人脸特征集中的人脸特征训练得到人脸识别模型。

服务器生成人脸识别模型后，终端则可以向服务器发送人脸识别请求，人脸识别请求中携带待识别人脸图像。服务器获取终端发送的待识别人脸图像后，对待识别人脸图像进行预处理。将预处理后的待识别人脸图像输入至人脸识别模型，通过人脸识别模型对待识别人脸图像进行特征提取，提取出对应的人脸特征。服务器进而根据种族特征网络提取种族特征，根据人脸特征和种族特征对待识别人脸进行分类，从而得到待识别人脸图像对应的种族标识。通过利用人脸识别模型对待识别人脸图像进行分类识别，能够准确有效地识别出待识别人脸图像的种族类型。

在一个实施例中，该方法还包括：获取种族标识对应的人脸信息库；根据种族标识和人脸特征在人脸信息库中进行人脸匹配，提取匹配度满足预设阈值的匹配结果；获取匹配结果对应的目标人脸图像和身份信息，将目标人脸图像和身份信息发送至终端。

服务器获取终端发送的待识别人脸图像后，对待识别人脸图像进行预处理。将预处理后的待识别人脸图像输入至人脸识别模型，通过人脸识别模型对待识别人脸图像进行特征提取，提取出对应的人脸特征。服务器进而根据种族特征网络提取种族特征，根据人脸特征和种族特征对待识别人脸进行分类，得到待识别人脸图像对应的种族标识后，服务器进一步获取种族标识对应的人脸信息库。例如，种族标识对应的人脸信息库可以为官方机构的身份信息数据库，如公安数据库。服务器则根据种族标识和人脸特征在特定人脸信息库中进行人脸匹配，提取匹配度满足预设阈值的匹配结果。服务器进而获取匹配结果对应的目标人脸图像和身份信息，并将目标人脸图像和身份信息发送至所述终端。通过利用基于种族的人脸识别模型进行人脸识别，可以准确有效地识别特定场景中的不明种族和身份的人，例如可以快速有效地识别出特定区域内的犯罪嫌疑人等。

应该理解的是，虽然图2-4的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-4中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图5所示，提供了一种人脸识别模型构建装置，包括：数据获取模块502、特征提取模块504、人脸生成模型构建模块506、人脸图像合成模块508和人脸识别模型构建模块510，其中：

数据获取模块502，用于获取多个样本图像数据，样本图像数据包括种族标识；

特征提取模块504，用于将多个样本图像数据输入至特征提取模型，通过特征提取模型对样本图像数据进行特征提取，得到多个种族标识对应的种族人脸特征；

人脸生成模型构建模块506，用于根据种族人脸特征确定多个种族标识对应的种族人脸特征集，利用种族人脸特征集对人脸生成网络模型进行训练，得到初始人脸生成模型；根据预设指标值对初始人脸生成模型进行验证，当验证通过后，得到所需的人脸生成模型；

人脸图像合成模块508，用于利用人脸生成模型合成多个种族标识对应的种族人脸合成图像；

人脸识别模型构建模块510，用于提取多个种族人脸合成图像的人脸特征，将人脸特征根据种族标识添加至对应的种族人脸特征集中；利用种族人脸特征集对初始人脸识别模型进行训练和验证，得到所需的人脸识别模型。

在一个实施例中，人脸生成模型构建模块506还用于利用种族人脸特征集对人脸生成网络模型进行训练，得到训练结果；根据训练结果计算当前种族人脸特征与目标种族人脸特征的差异值；根据差异值计算并更新网络超参数，根据网络超参数调整训练周期和损失函数；利用更新的网络超参数和调节后的损失函数对人脸生成网络模型进行持续训练，得到初始人脸生成模型。

在一个实施例中，人脸图像合成模块508还用于获取样本图像数据的样本人脸特征，对样本人脸特征分配多个种族标识的种族人脸特征；利用风格迁移网络根据种族人脸特征确定保留特征属性；利用人脸合成网络根据样本人脸特征和保留特征属性进行合成，生成多个目标种族标识对应的种族人脸合成图像。

在一个实施例中，人脸识别模型构建模块510还用于利用种族人脸特征集对初始人脸识别模型进行训练，得到多个种族标识对应的种族特征网络；根据多个种族标识对应的种族特征网络生成初始辨别器；获取验证集数据；验证集数据中包括多个种族人脸图像；利用验证集数据对初始辨别器进行验证；当验证集数据中满足预设阈值的数量达到预设阈值时，停止训练，得到训练完成的人脸识别模型。

在一个实施例中，该装置还包括人脸识别模块，用于获取终端发送的待识别人脸图像，对待识别人脸图像进行预处理；将预处理后的待识别人脸图像输入至人脸识别模型，通过人脸识别模型对待识别人脸图像进行特征提取，提取出对应的人脸特征；根据种族特征网络对待识别人脸图像进行种族特征提取，得到种族人脸特征；根据人脸特征和种族特征对待识别人脸图像进行分类，得到对应的种族标识。

在一个实施例中，人脸识别模块还用于获取种族标识对应的人脸信息库；根据种族标识和人脸特征在人脸信息库中进行人脸匹配，提取匹配度满足预设阈值的匹配结果；获取匹配结果对应的目标人脸图像和身份信息，将目标人脸图像和身份信息发送至终端。

关于人脸识别模型构建装置的具体限定可以参见上文中对于人脸识别模型构建方法的限定，在此不再赘述。上述人脸识别模型构建装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图6所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储样本图像数据和种族人脸特征集等数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现本申请任意一个实施例中提供的人脸识别模型构建方法的步骤。

本领域技术人员可以理解，图6中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现本申请任意一个实施例中提供的人脸识别模型构建方法的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种人脸识别模型构建方法，所述方法包括：

获取多个样本图像数据，所述样本图像数据包括种族标识；

将所述多个样本图像数据输入至特征提取模型，通过所述特征提取模型对所述样本图像数据进行特征提取，得到多个种族标识对应的种族人脸特征；

根据所述种族人脸特征确定多个种族标识对应的种族人脸特征集，利用所述种族人脸特征集对人脸生成网络模型进行训练，得到初始人脸生成模型；

根据预设指标值对所述初始人脸生成模型进行验证，当验证通过后，得到所需的人脸生成模型；

利用所述人脸生成模型合成多个种族标识对应的种族人脸合成图像；

提取多个种族人脸合成图像的人脸特征，将所述人脸特征根据种族标识添加至对应的种族人脸特征集中；

利用所述种族人脸特征集对初始人脸识别模型进行训练和验证，得到所需的人脸识别模型。

2.根据权利要求1所述的方法，其特征在于，所述利用所述种族人脸特征集对人脸生成模型进行训练，得到初始人脸生成模型的步骤包括：

利用所述种族人脸特征集对人脸生成网络模型进行训练，得到训练结果；

根据所述训练结果计算当前种族人脸特征与目标种族人脸特征的差异值；

根据所述差异值计算并更新网络超参数，根据所述网络超参数调整训练周期和损失函数；

利用更新的网络超参数和调节后的损失函数对所述人脸生成网络模型进行持续训练，得到初始人脸生成模型。

3.根据权利要求1所述的方法，其特征在于，所述利用所述人脸生成模型合成多个种族标识对应的种族人脸合成图像的步骤包括：

获取所述样本图像数据的样本人脸特征，对所述样本人脸特征分配多个种族标识的种族人脸特征；

利用风格迁移网络根据所述种族人脸特征确定保留特征属性；

利用人脸合成网络根据所述样本人脸特征和所述保留特征属性进行合成，生成多个目标种族标识对应的种族人脸合成图像。

4.根据权利要求1至3任意一项所述的方法，其特征在于，所述利用所述种族人脸特征集对初始人脸识别模型进行训练和验证，得到所需的人脸识别模型的步骤包括：

利用所述种族人脸特征集对初始人脸识别模型进行训练，得到多个种族标识对应的种族特征网络；

根据所述多个种族标识对应的种族特征网络生成初始辨别器；

获取验证集数据；所述验证集数据中包括多个种族人脸图像；

利用所述验证集数据对所述初始辨别器进行验证；

当所述验证集数据中满足预设阈值的数量达到预设阈值时，停止训练，得到训练完成的人脸识别模型。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

获取终端发送的待识别人脸图像，对所述待识别人脸图像进行预处理；

将所述预处理后的待识别人脸图像输入至所述人脸识别模型，通过人脸识别模型对待识别人脸图像进行特征提取，提取出对应的人脸特征；

根据种族特征网络对所述待识别人脸图像进行种族特征提取，得到种族人脸特征；

根据所述人脸特征和所述种族特征对所述待识别人脸图像进行分类，得到对应的种族标识。

6.根据权利要求5所述的方法，其特征在于，所述方法还包括：

获取所述种族标识对应的人脸信息库；

根据所述种族标识和所述人脸特征在所述人脸信息库中进行人脸匹配，提取匹配度满足预设阈值的匹配结果；

获取所述匹配结果对应的目标人脸图像和身份信息，将所述目标人脸图像和身份信息发送至所述终端。

7.一种人脸识别模型构建装置，所述装置包括：

数据获取模块，用于获取多个样本图像数据，所述样本图像数据包括种族标识；

特征提取模块，用于将所述多个样本图像数据输入至特征提取模型，通过所述特征提取模型对所述样本图像数据进行特征提取，得到多个种族标识对应的种族人脸特征；

人脸生成模型构建模块，用于根据所述种族人脸特征确定多个种族标识对应的种族人脸特征集，利用所述种族人脸特征集对人脸生成网络模型进行训练，得到初始人脸生成模型；根据预设指标值对所述初始人脸生成模型进行验证，当验证通过后，得到所需的人脸生成模型；

人脸图像合成模块，用于利用所述人脸生成模型合成多个种族标识对应的种族人脸合成图像；

人脸识别模型构建模块，用于提取多个种族人脸合成图像的人脸特征，将所述人脸特征根据种族标识添加至对应的种族人脸特征集中；利用所述种族人脸特征集对初始人脸识别模型进行训练和验证，得到所需的人脸识别模型。

8.根据权利要求7所述的装置，其特征在于，所述人脸生成模型构建模块还用于利用所述种族人脸特征集对人脸生成网络模型进行训练，得到训练结果；根据所述训练结果计算当前种族人脸特征与目标种族人脸特征的差异值；根据所述差异值计算并更新网络超参数，根据所述网络超参数调整训练周期和损失函数；利用更新的网络超参数和调节后的损失函数对所述人脸生成网络模型进行持续训练，得到初始人脸生成模型。

9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。

Images