CN114360007B - 人脸识别模型训练、人脸识别方法、装置、设备及介质 - Google Patents

人脸识别模型训练、人脸识别方法、装置、设备及介质 Download PDF

Info

Publication number
CN114360007B
CN114360007B CN202111576477.0A CN202111576477A CN114360007B CN 114360007 B CN114360007 B CN 114360007B CN 202111576477 A CN202111576477 A CN 202111576477A CN 114360007 B CN114360007 B CN 114360007B
Authority
CN
China
Prior art keywords
sample
face
sample image
determining
sub
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111576477.0A
Other languages
English (en)
Other versions
CN114360007A (zh
Inventor
王文安
殷俊
朱树磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN202111576477.0A priority Critical patent/CN114360007B/zh
Publication of CN114360007A publication Critical patent/CN114360007A/zh
Application granted granted Critical
Publication of CN114360007B publication Critical patent/CN114360007B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

本申请公开了一种人脸识别模型训练、人脸识别方法、装置、设备及介质，由于本申请在模型训练的过程中，将样本图像输入到原始的人脸识别模型中的第一子模型中，获得候选人脸特征向量，然后将该候选样本人脸特征向量、预先保存的邻接矩阵以及该样本图像对应的样本属性特征向量输入到该原始的人脸识别模型中的第二子模型中，进一步使得该第二子模型对属性以及人脸特征之间的关系进一步学习，进而输出更加准确的人脸特征向量，提高后续人脸识别的准确率。

Description

人脸识别模型训练、人脸识别方法、装置、设备及介质
技术领域
本申请涉及人脸识别技术领域，尤其涉及一种人脸识别模型训练、人脸识别方法、装置、设备及介质。
背景技术
伴随着深度学习的快速发展，人脸识别技术应运而生，现有技术中，常见的人脸识别技术主要是通过卷积神经网络对人脸特征进行特征提取与识别，常规的流程是先基于采集到的包含人脸的图像以及人脸检测模型，来划定人脸的人脸框，然后将该人脸框输入到特定的特征提取模型来提取人脸特征向量，将提取到的人脸特征向量进行相似度计算或者通过全连接层以及softmax函数输出分类结果。
但是真实场景下的人脸图像是复杂多变的，同一个人在不同的拍摄角度下，在不同年龄段，穿戴不同服饰，都会导致对同一个人脸的识别的人脸特征结果存在差异，并且部分人脸遮挡的情况，将会使这种差异更加的明显，因此人脸特征识别的准确性低，影响后续人脸的识别。
发明内容
本申请提供了一种人脸识别模型训练、人脸识别方法、装置、设备及介质，用以解决现有技术中人脸特征识别的准确性低，影响后续人脸的识别的问题。
本申请提供了一种人脸识别模型训练方法，所述方法包括：
针对样本集中的每个样本图像，其中，每个样本图像对应有标签，所述标签用于标识样本图像中包含的人脸的全局人脸特征向量和各个关键部位对应的部分人脸特征向量；将该样本图像输入到原始人脸识别模型中的第一子模型，确定该样本图像对应的候选样本人脸特征向量；将所述候选样本人脸特征向量、预先保存的邻接矩阵及该样本图像对应的样本属性特征向量输入到所述原始人脸识别模型中的第二子模型中，获取该样本图像的目标样本人脸特征向量、目标样本属性特征向量、该样本图像中各个样本属性对应的样本属性概率向量以及该样本图像中各个人脸对应的人脸概率向量；
根据每个样本图像对应的候选样本人脸特征向量，确定第一子损失值，根据每个样本图像对应的所述候选样本人脸特征向量以及每个样本图像对应的类中心特征向量，确定第二子损失值；根据每个样本图像的所述目标样本属性特征向量、预先保存的每个样本图像的样本属性对应的第一独热编码向量以及每个样本图像中各个样本属性对应的样本属性概率向量，确定第三子损失值；根据预先保存的每个样本图像对应的人脸的第二独热编码向量、每个样本图像中各个人脸对应的人脸概率向量，确定第四子损失值；根据所述第一子损失值、所述第二子损失值、所述第三子损失值以及所述第四子损失值，确定目标损失值；
根据所述目标损失值，对所述原始人脸识别模型进行训练。
进一步地，确定所述预先保存的邻接矩阵包括：
针对所有属性中的任意两个属性，确定该两个属性出现在同一个样本图像的第一数目，以及该第一数目与所述样本集中包含的每个样本图像的第二数目，将所述第一数目和所述第二数目的比值，确定为该两个属性在属性与属性对应的第一子邻接矩阵中对应的元素；
按照设定的顺序，将所述第一子邻接矩阵、预设的人脸关键部位与属性对应的第二子邻接矩阵、预设的属性与人脸关键部位对应的第三子邻接矩阵以及预设的人脸关键部位与人脸关键部位对应的第四子邻接矩阵进行拼接，将拼接完成的矩阵确定为邻接矩阵并保存。
进一步地，所述根据每个样本图像对应的候选样本人脸特征向量，确定第一子损失值包括：
针对每个样本图像，确定所述样本集中与该样本图像包含的人脸相同的第一目标样本图像，以及与该样本图像包含的人脸不相同的第二目标样本图像；确定该样本图像对应的候选样本人脸特征向量与所述第一目标样本图像的候选样本人脸特征向量之间的第一距离；确定该样本图像对应的候选样本人脸特征向量和所述第二目标样本图像的候选样本人脸特征向量之间的第二距离；确定该样本图像的所述第一距离和所述第二距离的第一差值，并确定所述第一差值与预设的第一数值的第一和值；
确定每个样本图像对应的第一和值的第二和值，将所述第二和值以及预设的第二数值的最大值，确定为第一子损失值。
进一步地，所述根据每个样本图像对应的候选样本人脸特征向量以及每个样本图像对应的类中心特征向量，确定第二子损失值包括：
针对每个样本图像，确定该样本图像对应的候选样本人脸特征向量以及该样本图像对应的类中心特征向量之间的第三距离；
确定每个样本图像对应的第三距离的第三和值，将所述第三和值与预设的第三数值的第一乘积确定为第二子损失值。
进一步地，所述根据每个样本图像的目标样本属性特征向量、预先保存的每个样本图像的样本属性对应的第一独热编码向量以及每个样本图像中各个样本属性对应的样本属性概率向量，确定第三子损失值包括：
针对每个样本图像的每个样本属性对应的样本属性概率向量，确定该样本图像的该样本属性的样本属性概率向量对应的第一对数向量，确定所述第一对数向量与该样本图像的该样本属性对应的第一独热编码向量对应的第二乘积向量；确定预设的第一向量与该样本图像的该样本属性对应的样本属性概率向量的第一差值向量；确定所述预设的第一向量与该样本图像的该样本属性对应的第一独热编码向量的第二差值向量，确定所述第一差值向量与所述第二差值向量对应的第二对数向量的第三乘积向量；确定该样本图像的该样本属性对应的向量的第二乘积向量和第三乘积向量之间的和值向量，将所述和值向量中每个分量的第四和值确定为该样本图像的该样本属性对应的损失值；
确定所有样本图像中所有样本属性对应的损失值的第一平均值；将所述第一平均值对应的负数确定为第三子损失值。
进一步地，所述根据预先保存的每个样本图像对应的人脸的第二独热编码向量、每个样本图像中各个人脸对应的人脸概率向量，确定第四子损失值包括：
针对每个样本图像，确定该样本图像中人脸对应的人脸概率向量对应的第三对数向量；确定所述第三对数向量与预先保存的该样本图像对应的人脸的第二独热编码向量的第四乘积向量，确定所述第四乘积向量中各个分量的第六和值；
确定每个样本图像对应的所述第六和值的第二平均值，将所述第二平均值对应的负数确定为第四子损失值。
本申请还提供了一种人脸识别方法，所述方法包括：
将待识别的目标图像输入到预先训练完成的人脸识别模型中，输出所述目标图像对应的目标人脸特征向量，其中，所述目标图像中包含待识别的用户的人脸；
根据所述目标人脸特征向量以及预先保存的每个用户的人脸特征向量，确定所述目标图像中包含的待识别用户的人脸与预先保存的每个用户的人脸的相似度；将所述相似度中最大值对应的预先保存的用户，确定为目标用户。
本申请还提供了一种人脸识别模型训练方法，所述方法包括：
第一确定模块，用于针对样本集中的每个样本图像，其中，每个样本图像对应有标签，所述标签用于标识样本图像中包含的人脸的全局人脸特征向量和各个关键部位对应的部分人脸特征向量；将该样本图像输入到原始人脸识别模型中的第一子模型，确定该样本图像对应的候选样本人脸特征向量；将所述候选样本人脸特征向量、预先保存的邻接矩阵及该样本图像对应的样本属性特征向量输入到所述原始人脸识别模型中的第二子模型中，获取该样本图像的目标样本人脸特征向量、目标样本属性特征向量、该样本图像中各个样本属性对应的样本属性概率向量以及该样本图像中各个人脸对应的人脸概率向量；根据每个样本图像对应的候选样本人脸特征向量，确定第一子损失值，根据每个样本图像对应的所述候选样本人脸特征向量以及每个样本图像对应的类中心特征向量，确定第二子损失值；根据每个样本图像的所述目标样本属性特征向量、预先保存的每个样本图像的样本属性对应的第一独热编码向量以及每个样本图像中各个样本属性对应的样本属性概率向量，确定第三子损失值；根据预先保存的每个样本图像对应的人脸的第二独热编码向量、每个样本图像中各个人脸对应的人脸概率向量，确定第四子损失值；根据所述第一子损失值、所述第二子损失值、所述第三子损失值以及所述第四子损失值，确定目标损失值；
训练模块，用于根据所述目标损失值，对所述原始人脸识别模型进行训练。
进一步地，所述第一确定模块，还用于针对所有属性中的任意两个属性，确定该两个属性出现在同一个样本图像的第一数目，以及该第一数目与所述样本集中包含的每个样本图像的第二数目，将所述第一数目和所述第二数目的比值，确定为该两个属性在属性与属性对应的第一子邻接矩阵中对应的元素；按照设定的顺序，将所述第一子邻接矩阵、预设的人脸关键部位与属性对应的第二子邻接矩阵、预设的属性与人脸关键部位对应的第三子邻接矩阵以及预设的人脸关键部位与人脸关键部位对应的第四子邻接矩阵进行拼接，将拼接完成的矩阵确定为邻接矩阵并保存。
进一步地，所述第一确定模块，具体用于针对每个样本图像，确定所述样本集中与该样本图像包含的人脸相同的第一目标样本图像，以及与该样本图像包含的人脸不相同的第二目标样本图像；确定该样本图像对应的候选样本人脸特征向量与所述第一目标样本图像的候选样本人脸特征向量之间的第一距离；确定该样本图像对应的候选样本人脸特征向量和所述第二目标样本图像的候选样本人脸特征向量之间的第二距离；确定该样本图像的所述第一距离和所述第二距离的第一差值，并确定所述第一差值与预设的第一数值的第一和值；确定每个样本图像对应的第一和值的第二和值，将所述第二和值以及预设的第二数值的最大值，确定为第一子损失值。
进一步地，所述第一确定模块，具体用于针对每个样本图像，确定该样本图像对应的候选样本人脸特征向量以及该样本图像对应的类中心特征向量之间的第三距离；确定每个样本图像对应的第三距离的第三和值，将所述第三和值与预设的第三数值的第一乘积确定为第二子损失值。
进一步地，所述第一确定模块，具体用于针对每个样本图像的每个样本属性对应的样本属性概率向量，确定该样本图像的该样本属性的样本属性概率向量对应的第一对数向量，确定所述第一对数向量与该样本图像的该样本属性对应的第一独热编码向量对应的第二乘积向量；确定预设的第一向量与该样本图像的该样本属性对应的样本属性概率向量的第一差值向量；确定所述预设的第一向量与该样本图像的该样本属性对应的第一独热编码向量的第二差值向量，确定所述第一差值向量与所述第二差值向量对应的第二对数向量的第三乘积向量；确定该样本图像的该样本属性对应的向量的第二乘积向量和第三乘积向量之间的和值向量，将所述和值向量中每个分量的第四和值确定为该样本图像的该样本属性对应的损失值；确定所有样本图像中所有样本属性对应的损失值的第一平均值；将所述第一平均值对应的负数确定为第三子损失值。
进一步地，所述第一确定模块，具体用于针对每个样本图像，确定该样本图像中人脸对应的人脸概率向量对应的第三对数向量；确定所述第三对数向量与预先保存的该样本图像对应的人脸的第二独热编码向量的第四乘积向量，确定所述第四乘积向量中各个分量的第六和值；确定每个样本图像对应的所述第六和值的第二平均值，将所述第二平均值对应的负数确定为第四子损失值。
本申请还提供了一种人脸识别装置，所述装置包括：
输出模块，用于将待识别的目标图像输入到预先训练完成的人脸识别模型中，输出所述目标图像对应的目标人脸特征向量，其中，所述目标图像中包含待识别的用户的人脸；
第二确定模块，用于根据所述目标人脸特征向量以及预先保存的每个用户的人脸特征向量，确定所述目标图像中包含的待识别用户的人脸与预先保存的每个用户的人脸的相似度；将所述相似度中最大值对应的预先保存的用户，确定为目标用户。
本申请还提供了一种电子设备，所述电子设备至少包括处理器和存储器，所述处理器用于执行存储器中存储的计算机程序时实现如上述任一所述人脸识别模型训练方法的步骤。
本申请还提供了一种计算机可读存储介质，其存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一所述人脸识别模型训练方法的步骤。
本申请还提供了一种电子设备，所述电子设备至少包括处理器和存储器，所述处理器用于执行存储器中存储的计算机程序时实现如上述任一所述人脸识别方法的步骤。
本申请还提供了一种计算机可读存储介质，其存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一所述人脸识别方法的步骤。
本申请中，针对样本集中的每个样本图像，其中，每个样本图像对应有标签，该标签用于标识样本图像中包含的人脸的全局人脸特征向量和各个关键部位对应的部分人脸特征向量，将该样本图像输入到原始人脸识别模型中的第一子模型，确定该样本图像对应的候选样本人脸特征向量，其中，该候选样本人脸特征向量包括候选全局人脸特征向量和各个关键部位对应的候选部分人脸特征向量，将该候选样本人脸特征向量、预先保存的邻接矩阵及该样本图像对应的样本属性特征向量输入到该原始人脸识别模型中的第二子模型中，获取该样本图像的目标样本人脸特征向量以及目标样本属性特征向量、该样本图像中各个样本属性对应的样本属性概率向量以及该样本图像中各个人脸对应的人脸概率向量，根据每个样本图像对应的候选样本人脸特征向量，确定第一子损失值，根据每个样本图像对应的该候选样本人脸特征向量以及每个样本图像对应的类中心特征向量，确定第二子损失值，根据每个样本图像的该目标样本属性特征向量、预先保存的每个样本图像的样本属性对应的第一独热编码向量以及每个样本图像中各个样本属性对应的样本属性概率向量，确定第三子损失值，根据预先保存的每个样本图像对应的人脸的第二独热编码向量、每个样本图像中各个人脸对应的人脸概率向量，确定第四子损失值，根据该第一子损失值、该第二子损失值、该第三子损失值以及该第四子损失值，确定目标损失值，根据该目标损失值，对该原始人脸识别模型进行训练。由于本申请在模型训练的过程中，将样本图像输入到原始的人脸识别模型中的第一子模型中，获得候选人脸特征向量，然后将该候选样本人脸特征向量、预先保存的邻接矩阵以及该样本图像对应的样本属性特征向量输入到该原始人脸识别模型的第二子模型中，进一步使得该第二子模型对属性以及人脸特征之间的关系进一步学习，进而输出更加准确的人脸特征向量，提高后续人脸识别的准确率。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请一些实施例提供的一种人脸识别模型训练方法的过程示意图；
图2为本申请一些实施例提供的一种人脸关键部位与属性之间的关联示意图；
图3为本申请一些实施例提供的一种人脸识别模型的训练过程示意图；
图4为本申请一些实施例提供的一种人脸识别方法的过程示意图；
图5为本申请一些实施例提供的一种人脸识别过程示意图；
图6为本申请一些实施例提供的一种人脸识别模型训练装置结构示意图；
图7为本申请一些实施例提供的一种人脸识别装置结构示意图；
图8为本申请一些实施例提供的一种电子设备的结构示意图；
图9为本申请一些实施例提供的一种电子设备的结构示意图。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚，下面将结合附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本申请保护的范围。
本申请中，针对样本集中的每个样本图像，其中，每个样本图像对应有标签，该标签用于标识样本图像中包含的人脸的全局人脸特征向量和各个关键部位对应的部分人脸特征向量，将该样本图像输入到原始人脸识别模型中的第一子模型，确定该样本图像对应的候选样本人脸特征向量，将该候选样本人脸特征向量、预先保存的邻接矩阵及该样本图像对应的样本属性特征向量输入到该原始人脸识别模型中的第二子模型中，获取该样本图像的目标样本人脸特征向量以及目标样本属性特征向量、该样本图像中各个样本属性对应的样本属性概率向量以及该样本图像中各个人脸对应的人脸概率向量，根据每个样本图像对应的候选样本人脸特征向量，确定第一子损失值，根据每个样本图像对应的该候选样本人脸特征向量以及每个样本图像对应的类中心特征向量，确定第二子损失值，根据每个样本图像的该目标样本属性特征向量、预先保存的每个样本图像的样本属性对应的第一独热编码向量以及每个样本图像中各个样本属性对应的样本属性概率向量，确定第三子损失值，根据预先保存的每个样本图像对应的人脸的第二独热编码向量、每个样本图像中各个人脸对应的人脸概率向量，确定第四子损失值，根据该第一子损失值、该第二子损失值、该第三子损失值以及该第四子损失值，确定目标损失值，根据该目标损失值，对该原始人脸识别模型进行训练。
为了输出更加准确的人脸特征向量，提高后续人脸识别的准确率，本申请实施例提供了一种人脸识别模型训练方法、装置、设备及介质。
实施例1：
图1为本申请一些实施例提供的一种人脸识别模型训练方法的过程示意图，该过程包括以下步骤：
S101：针对样本集中的每个样本图像，其中，每个样本图像对应有标签，所述标签用于标识样本图像中包含的人脸特征的人脸的全局人脸特征向量和各个关键部位对应的部分人脸特征向量；将该样本图像输入到原始人脸识别模型中的第一子模型，确定该样本图像对应的候选样本人脸特征向量；将所述候选样本人脸特征向量、预先保存的邻接矩阵及该样本图像对应的样本属性特征向量输入到所述原始人脸识别模型中的第二子模型中，获取该样本图像的目标样本人脸特征向量、目标样本属性特征向量、该样本图像中各个样本属性对应的样本属性概率向量以及该样本图像中各个人脸对应的人脸概率向量。
本申请实施例提供人脸识别模型训练方法应用于电子设备，该电子设备可以为智能终端、PC或者服务器等等。
在本申请中，为了获得精度高的人脸识别模型，预先配置有样本集，并根据样本集中包含的每个样本图像对该人脸识别模型进行训练。为了便于后续对该人脸识别模型进行训练，样本集中除了包含各个样本图像以外，还包含各个样本图像对应的标签，其中，该标签用于标识样本图像包含的人脸特征的人脸的全局人脸特征向量和各个关键部位对应的部分人脸特征向量。其中，该全局人脸特征向量中的各个分量分别为全局人脸特征的特征值，该全局人脸特征为整个人脸对应的特征，该各个关键部位对应的部分人脸特征向量可以包括鼻子对应的特征向量、眼睛对应的特征向量以及嘴巴对应的特征向量，且鼻子对应的特征向量、眼睛对应的特征向量以及嘴巴对应的特征向量中各个分量分别为鼻子对应的特征值、眼睛对应的特征值以及嘴巴对应的特征值。
其中，确定人脸特征的特征值的过程为现有技术，在此不做赘述。
由于样本集中包含大量的样本图像，因此，在获得一定数量的原始样本图像后，可以通过对原始样本图像进行镜像处理、模糊处理，锐化处理、对比度处理等等，获得处理后的图像，并将对原始样本图像处理后得到的图像、原始样本图像都确定为样本图像，以便后续对人脸识别模型进行训练。
为了对原始人脸识别模型进行训练，在本申请中，在获得样本集后，将该样本集中的每个样本图像依次都输入到该原始人脸识别模型的第一子模型中，针对每个样本图像，该原始人脸识别模型的第一子模型获得该样本图像对应的候选样本人脸特征向量，其中，该候选样本人脸特征向量包括候选全局人脸特征向量和各个关键部位对应的候选部分人脸特征向量，且候选全局人脸特征向量中的各个分量为预测的该样本图像对应的全局人脸特征对应的特征值，针对每个关键部位对应的候选部分人脸特征向量，该候选人脸特征向量中各个分量分别为预测的该关键部位对应的部分人脸特征对应的特征值。
为了提高人脸识别模型的精度，在本申请中，针对每个样本图像，在确定该样本图像的候选样本人脸特征向量后，将该候选样本人脸特征向量、预先保存的邻接矩阵以及该样本图像对应的样本属性特征向量依次输入到该原始人脸识别模型中的第二子模型中，其中，该第二子模型为图神经网络模型。获得该样本图像的目标样本人脸特征向量、目标样本属性特征向量、该样本图像中各个样本属性对应的样本属性概率向量以及该样本图像中各个人脸对应的人脸概率向量，其中，该样本图像的目标样本人脸特征向量也包括目标全局人脸特征向量和人脸的各个关键部位对应的目标部分人脸特征向量，且该目标全局人脸特征向量中每个分量为预测的该样本图像各个全局人脸特征对应的特征值，针对每个关键部位对应的目标部分人脸特征向量，该关键部位对应的目标人脸特征向量中每个分量为预测的该关键部位对应的部分人脸特征对应的特征值。且该样本图像的目标样本人脸特征比该样本图像的候选样本人脸特征的预测结果更准确。
其中，该目标样本属性特征向量中每个分量为预测的该样本图像各个属性对应的特征值，其中，针对该样本图像中每个样本属性，该样本属性对应的样本属性概率向量中每个分量为该样本属性归属于各个样本属性的概率值，其中，针对该样本图像中每个人脸，该样本图像中该人脸对应的人脸概率向量中每个分量为该样本图像的该人脸归属于各个人脸的概率值。
S102：根据每个样本图像对应的候选样本人脸特征向量，确定第一子损失值，根据每个样本图像对应的所述候选样本人脸特征向量以及每个样本图像对应的类中心特征向量，确定第二子损失值；根据每个样本图像的所述目标样本属性特征向量、预先保存的每个样本图像的样本属性对应的第一独热编码向量以及每个样本图像中各个样本属性对应的样本属性概率向量，确定第三子损失值；根据预先保存的每个样本图像对应的人脸的第二独热编码向量、每个样本图像中各个人脸对应的人脸概率向量，确定第四子损失值；根据所述第一子损失值、所述第二子损失值、所述第三子损失值以及所述第四子损失值，确定目标损失值。
在本申请中，可以在获取了样本集中包含的每个样本图像的目标样本人脸特征向量、每个样本图像的目标样本属性特征向量、每个样本图像中各个样本属性对应的样本属性概率向量以及每个样本图像中各个人脸对应的人脸概率向量后，对原始人脸别模型进行训练。
由于原始人脸识别模型是否训练完成的标准为该原始人脸识别模型当前的每个样本图像对应的损失值是否达到收敛条件，若是，则说明当前训练的原始人脸识别模型拥有较高的识别能力，识别准确率较高，因此可以确定该原始人脸模型训练完成。
在本申请中，为了完成对该原始人脸模型的训练，在确定样本集中包含的每个样本图像的目标样本人脸特征向量、每个样本图像的目标样本属性特征向量、每个样本图像中各个样本属性对应的样本属性概率向量以及每个样本图像中各个人脸对应的人脸概率向量后，可以根据每个样本图像的目标样本人脸特征向量、每个样本图像的目标样本属性特征向量、每个样本图像中各个样本属性对应的样本属性概率向量以及每个样本图像中各个人脸对应的人脸概率向量确定目标损失值。
在本申请中，可以根据每个样本图像对应的候选样本人脸特征向量，确定第一子损失值。其中，该第一子损失值为目标损失值的一部分。
由于样本集中预先保存了各个样本图像对应的标签，该标签为用于标识样本图像中包含的人脸的全局人脸特征向量和各个关键部位对应的部分人脸特征向量，其中，该全局人脸特征向量中的各个分量对应的元素为该样本图像中包含的各个全局人脸特征的特征值，该各个关键部位对应的部分人脸特征向量中的各个分量对应的元素为该样本图像中包含的各个关键部位对应的部分人脸特征的特征值。在本申请中，可以基于该每个样本图像对应的候选人脸特征向量以及每个样本图像对应的真实样本人脸特征向量，确定第一子损失值，具体的，可以根据
Figure BDA0003425289500000131
确定第一子损失值，其中，L1为第一子损失值，yi为第i个样本图像对应的候选人脸特征向量，xi为第i个样本图像对应的真实样本人脸特征向量，n为样本集中包含的样本图像的个数。
由于样本图像对应的候选样本人脸特征向量以及每个样本图像对应的类中心特征向量越接近，则说明当前人脸识别模型的识别准确率越高，此时目标损失值越小，因此还可以根据每个样本图像对应的候选样本人脸特征向量以及每个样本图像对应的类中心特征向量，确定第二子损失值，其中，该第二子损失值为该目标损失值的一部分。
具体的，可以针对每个样本图像，确定该样本图像的候选样本人脸特征向量以及该样本图像对应的类中心特征向量之间的差值向量，并将该差值向量对应的模长确定为第二子损失值，其中，该样本图像的候选样本人脸特征向量以及每个样本图像对应的类中心特征向量越接近，该第二差值向量对应的模长越小，该第二子损失值越小。
在本申请中，每个样本图像对应的类中心特征向量是原始人脸识别模型的第一子模型自己生成的，且在该原始人脸识别模型训练完成在之前，该每个样本图像对应的类中心特征向量是持续进行更新的，具体的，将样本集划分为多个批处理(batch),针对每个类，在每一个batch里更新一次该类对应的类中心特征向量，并在后续的每一个batch里，计算该类中包含的每个样本图像对应的候选样本人脸特征向量与该类中心特征向量的平均距离，将该平均距离加到该类对应的类中心特征向量上，来实现参数的修正，进而实现对每个样本图像对应的类中心特征向量进行更新，其中，该对每个图像对应的类中心特征向量进行更新的过程为现有技术，在此不做赘述。
在本申请中，可以根据每个样本图像的目标样本属性特征向量、预先保存的每个样本图像的样本属性对应的第一独热编码向量以及每个样本图像中各个样本属性对应的样本属性概率向量，确定第三子损失值，其中，该第三子损失值为该目标损失值的一部分。其中，该第一独热编码向量为预先根据样本图像中的样本属性的数量确定的，比如，若一个样本图像中包含两个样本属性，则该两个样本属性对应的第一独热编码向量分别为(1，0)以及(0，1)。
其中，确定独热编码的过程为现有技术，在此不作赘述。
在本申请中，还可以根据预先保存的每个样本图像对应的人脸的第二独热编码向量、每个样本图像中各个人脸对应的人脸概率向量，确定第四子损失值，其中，该第四子损失值为该目标损失值的一部分。其中，该第二独热编码向量为预先根据集中所有样本图像中的包含的所有人脸的数量确定的，比如，若一个样本集中包含两个人脸，则该两个人脸对应的第二独热编码向量分别为(1，0)以及(0，1)。
为了确定目标损失，在本申请中，根据第一子损失值、第二子损失值、第三子损失值以及第四子损失值，确定目标损失值，具体的，可以根据第一子损失值以及预设的第一权重、第二子损失值以及预设的第二权重、第三子损失值以及预设的第三权重、第四子损失值以及预设的第四权重，确定权重和，将该权重和确定为目标损失值，还可以将该第一子损失值、第二子损失值、第三子损失值以及第四子损失值中最大的损失值确定为目标损失值。
S103：根据所述目标损失值，对所述原始人脸识别模型进行训练。
在本申请中，在确定目标损失值之后，基于该目标损失值对该原始人脸识别模型进行训练，其中，该目标损失值越小，则说明该训练的人脸识别模型训练的结果越好，识别人脸特征的准确性越高。
由于本申请中，在训练的过程中，将样本图像输入到原始的人脸识别模型中的第一子模型中，获得候选人脸特征向量，然后将该候选样本人脸特征向量、预先保存的邻接矩阵以及该样本图像对应的样本属性特征向量输入到该原始人脸识别模型的第二子模型中，进一步使得该第二子模型对属性以及人脸特征之间的关系进一步学习，进而输出更加准确的人脸特征，提高后续人脸识别的准确率。
实施例2：
为了准确的确定邻接矩阵，在上述实施例的基础上，在本申请实施例中，确定所述预先保存的邻接矩阵包括：
针对所有属性中的任意两个属性，确定该两个属性出现在同一个样本图像的第一数目，以及该第一数目与所述样本集中包含的每个样本图像的第二数目，将所述第一数目和所述第二数目的比值，确定为该两个属性在属性与属性对应的第一子邻接矩阵中对应的元素；
按照设定的顺序，将所述第一子邻接矩阵、预设的人脸关键部位与属性对应的第二子邻接矩阵、预设的属性与人脸关键部位对应的第三子邻接矩阵以及预设的人脸关键部位与人脸关键部位对应的第四子邻接矩阵进行拼接，将拼接完成的矩阵确定为邻接矩阵并保存。
为了进一步提高人脸识别模型的精度，便于后续能够准确的确定待预测图像的人脸特征，在本申请中，在对原始的人脸识别模型进行训练的过程中，在确定样本图像对应的候选样本人脸特征向量之后，可以针对样本图像中各个人脸的特征之间的关系、各个人脸的特征与各个属性之间的关系、属性与属性之间的关系，确定邻接矩阵，其中，该邻接矩阵用于表征各个人脸的特征之间的关系、各个人脸的特征与各个属性之间的关系、属性与属性之间的关系。具体的，该邻接矩阵中包含四个子邻接矩阵，分别为体现属性与属性之间的关系的第一子邻接矩阵、体现人脸关键部位与属性之间的关系的第二子邻接矩阵、体现属性与人脸关键部位之间的关系的第三子邻接矩阵以及体现人脸关键部位与人脸关键部位之间的关系的第四子邻接矩阵。
在本申请中，为了确定第一子邻接矩阵，针对所有属性中的任意两个属性，针对任一样本图像，确定该两个属性是否同时出现在该样本图像中，若是，将该两个属性对应的数目加1，依次针对每个样本图像进行判断，确定该两个属性同时出现在样本图像中的第一数目，以及该第一数目与该样本集中包含的每个样本图像的第二数目，将该第一数目和第二数目的比值，确定为该两个属性在属性与属性对应的第一子邻接矩阵中对应的元素。其中，该第一子邻接矩阵中的包含的元素的数目等于该样本集中包含的所有属性的数目平方，比如，该样本集中包含的所有属性为10个，则该第一子邻接矩阵中包含的元素的数目为100个。其中，该第一子矩阵的行分别对应各个属性，列也分别对应各个属性，且针对同一个属性，该属性在该第一子矩阵对应的行数以及在该第一子矩阵对应的列数相同，具体的，该第一子邻接矩阵中各个元素代表的为第i个属性和第j个属性之间的关系对应的数值。
比如，头发发色对应的属性以及头发长短对应的属性出现在同一个样本图像的第一数目为100次，该样本集中包含的每个样本图像的第二数目为200次，且头发发色对应的属性在该第一子矩阵对应的行数为第2行，头发长短对应的属性在该第一子矩阵对应的列数为第3列，则该头发发色对应的属性以及头发长短对应的属性对应该第一子矩阵的第2行第3列，则在第一子邻接矩阵中第2行第3列处对应的元素为0.5。
在本申请中，预先设置了人脸关键部位与属性对应的第二子邻接矩阵，由于人脸关键部位和属性的特征之间可能是存在关联的，也可能是不存在关联的，比如，人脸的关键部位中的鼻子与属性中的鼻梁高低是存在关联的，人脸的关键部位中的鼻子与属性中的头发发色是不存在关联的，因此，该预先设置的人脸关键部位与属性对应的第二子邻接矩阵中，存在关联的人脸关键部位与属性在第二子邻接矩阵中对应的元素为1，不存在关联的人脸关键部位与属性在第二子邻接矩阵中对应的元素为0。其中，该第二子邻接矩阵中的包含的元素的数目等于人脸的关键部位的数目以及样本集中包含的所有属性的数目的乘积，比如，人脸的关键部位包括头发、眼睛、鼻子、嘴巴、下巴、脸颊以及全局人脸，也就是说，人脸关键部位的数量为7个，该样本集中包含的所有属性为10个，则该第二子邻接矩阵中包含的元素的数目为70个。其中，该第二子矩阵的行分别对应各个属性，列分别对应各个人脸关键部位，具体的，该第二子邻接矩阵中各个元素代表的为第i个属性和第j个人脸关键部位之间的关系对应的数值。
在本申请中，预先设置了属性与人脸关键部位对应的第三子邻接矩阵，同理，将存在关联的属性与人脸关键部位在第三子邻接矩阵中对应的元素为1，不存在关联的属性与人脸关键部位在第三子邻接矩阵中对应的元素为0。其中，该第三子邻接矩阵和第二子邻接矩阵中包含的元素的数目相同，也等于人脸的关键部位的数目以及样本集中包含的所有属性的数目的乘积，比如，人脸的关键部位包括头发、眼睛、鼻子、嘴巴、下巴、脸颊以及全局人脸，也就是说，人脸关键部位的数量为7个，该样本集中包含的所有属性为10个，则该第三子邻接矩阵中包含的元素的数目为70个。其中，该第三子矩阵的行分别对应各个人脸关键部位，列分别对应各个属性，具体的，该第三子邻接矩阵中各个元素代表的为第i个人脸关键部位和第j个属性之间的关系对应的数值。
图2为本申请一些实施例提供的一种人脸关键部位与属性之间的关联示意图，现针对图2进行说明。
与头发存在关联关系的属性包括发色、头发长短以及戴帽子，与眼睛存在关联关系的属性包括单眼皮、颜色以及戴墨镜，与鼻子存在关联关系的属性包括鼻梁高低，与嘴巴存在关联关系的属性包括厚唇以及露齿，与下巴存在关联关系的属性包括形状，与脸颊存在关联关系的属性包括脸颊胖瘦，与整个人脸存在关联关系的属性包括人种、性别、年龄以及侧脸。
在本申请中，预先设置了人脸关键部位与人脸关键部位对应的第四子邻接矩阵，由于人脸作为一个整体，该人脸上的任意两个关键部位一定是存在关联的，因此，在本申请中，该预先设置的人脸关键部位与人脸关键部位对应的第四子邻接矩阵中各元素均为1。其中，该第四子邻接矩阵中的包含的元素的数目等于人脸的关键部位的数目的平方，比如，人脸的关键部位包括头发、眼睛、鼻子、嘴巴、下巴、脸颊以及全局人脸，也就是说，人脸关键部位的数量为7个，则该第四子邻接矩阵中包含的元素的数目为49个。其中，该第四子矩阵的行分别对应各个人脸关键部位，列也分别对应各个人脸关键部位，具体的，该第四子邻接矩阵中各个元素代表的为第i个人脸关键部位和第j个人脸关键部位之间的关系对应的数值。
在本申请中，在确定属性与属性对应的第一子邻接矩阵、人脸关键部位与属性对应的第二子邻接矩阵、属性与人脸关键部位对应的第三子邻接矩阵以及人脸关键部位与人脸关键部位对应的第四子邻接矩阵之后，将该第一子邻接矩阵、第二子邻接矩阵、第三子邻接矩阵以及第四子邻接矩阵按照设定的顺序进行拼接，将拼接完成的矩阵确定为邻接矩阵并保存。
具体的，根据
Figure BDA0003425289500000181
将第一子邻接矩阵、第二子邻接矩阵、第三子邻接矩阵以及第四子邻接矩阵进行拼接，其中，M为拼接完成的邻接矩阵，AA为第一子邻接矩阵，AP为第二子邻接矩阵，PA为第三子邻接矩阵，PP为第四子邻接矩阵。
实施例3：
为了确定第一子损失值，在上述各实施例的基础上，在本申请实施例中，所述根据每个样本图像对应的候选样本人脸特征向量，确定第一子损失值包括：
针对每个样本图像，确定所述样本集中与该样本图像包含的人脸相同的第一目标样本图像，以及与该样本图像包含的人脸不相同的第二目标样本图像；确定该样本图像对应的候选样本人脸特征向量与所述第一目标样本图像的候选样本人脸特征向量之间的第一距离；确定该样本图像对应的候选样本人脸特征向量和所述第二目标样本图像的候选样本人脸特征向量之间的第二距离；确定该样本图像的所述第一距离和所述第二距离的第一差值，并确定所述第一差值与预设的第一数值的第一和值；
确定每个样本图像对应的第一和值的第二和值，将所述第二和值以及预设的第二数值的最大值，确定为第一子损失值。
由于相同的人脸对应的候选样本人脸特征向量之间的距离越接近，不同人脸对应的候选样本人脸特征向量之间的距离越远，则说明当前人脸识别模型越准确，此时目标损失值越小。
因此，为了确定第一子损失值，在本申请中，可以针对每个样本图像，确定样本集中与该样本图像包含的人脸相同的第一目标样本图像，以及与该样本图像包含的人脸不相同的第二目标样本图像，其中，该第一目标样本图像为样本集中与该样本图像包含的人脸相同的多张样本图像中随机的一个样本图像，该第二目标样本图像为样本集中与该样本图像包含的人脸不相同的多张样本图像中随机的一个样本图像。在确定第一目标样本图像和第二目标样本图像之后，确定该样本图像对应的候选样本人脸特征向量与该第一目标样本图像的候选样本人脸特征向量之间的第一距离，并确定该样本图像对应的候选样本人脸特征向量和该第二目标样本图像的候选样本人脸特征向量之间的第二距离，然后确定该样本图像的第一距离和第二距离的第一差值，并确定该第一差值与预设的第一数值的第一和值。其中，可以将该样本图像对应的候选样本人脸特征向量与该第一目标样本图像的候选样本人脸特征向量之间的余弦相似度确定为第一距离，将该样本图像对应的候选样本人脸特征向量和该第二目标样本图像的候选样本人脸特征向量之间的余弦相似度确定为第二距离。
在本申请中，为了确定第一距离和第二距离，将该样本图像对应的候选样本人脸特征向量与该第一目标样本图像的候选样本人脸特征向量之间的欧式确定为第一距离，将该样本图像对应的候选样本人脸特征向量和该第二目标样本图像的候选样本人脸特征向量之间的欧式距离确定为第二距离。
在确定每个样本图像对应的第一和值后，为了确定第一子损失值，确定每个样本图像对应的第一和值的第二和值，将该第二和值以及预设的第二数值的最大值，确定为第一子损失值，其中，该预设的第二数值为0。
其中，确定向量的欧式距离的过程为现有技术，在此不做赘述。
具体的，根据以下公式，确定第一子损失值：
Figure BDA0003425289500000201
其中，
Figure BDA0003425289500000202
为第一子损失值，ai为第i个样本图像对应的候选人脸特征向量，pi为与ai包含的人脸相同的第一目标样本图像的候选样本人脸特征向量，ni为与ai包含的人脸不相同的第二目标样本图像的候选样本人脸特征向量，d(ai,pi)为ai与pi的第一距离，d(ai,ni)为ai和ni的第二距离，margin为预设的第一数值，其中，该预设的第一数值可以为0、0.1等等，具体的，该预设的第一数值可以根据需求进行设置。0为预设的第二数值，N为样本集中包含的样本图像的数量。
实施例4：
为了确定第二在损失值，在上述各实施例的基础上，在本申请实施例中，所述根据每个样本图像对应的候选样本人脸特征向量以及每个样本图像对应的类中心特征向量，确定第二子损失值包括：
针对每个样本图像，确定该样本图像对应的候选样本人脸特征向量以及该样本图像对应的类中心特征向量之间的第三距离；
确定每个样本图像对应的第三距离的第三和值，将所述第三和值与预设的第三数值的第一乘积确定为第二子损失值。
在本申请中，由于样本图像对应的候选样本人脸特征向量以及每个样本图像对应的类中心特征向量越接近，则说明当前人脸识别模型的识别准确率越高，此时目标损失值越小。在本申请中，为了确定第二子损失值，可以针对每个样本图像，确定该样本图像对应的候选样本人脸特征向量以及该样本图像对应的类中心特征向量之间的第三距离，其中，可以将该样本图像对应的候选样本人脸特征向量以及该样本图像对应的类中心特征向量之间的余弦相似度确定为第三距离，还可以将该样本图像对应的候选样本人脸特征向量以及该样本图像对应的类中心特征向量之间的欧式距离确定为第三距离。
在确定每个样本图像对应的第三距离后，为了确定第二子损失值，确定每个样本图像对应的第三距离的第三和值，将该第三和值与预设的第三数值的第一乘积确定为第二子损失值，其中，该预设的第三数值为1/2。
其中，确定向量的欧式距离的过程为现有技术，在此不做赘述。
具体的，根据以下公式，确定第二子损失值：
Figure BDA0003425289500000211
其中，
Figure BDA0003425289500000213
为第二子损失值，xi为样本图像i对应的候选样本人脸特征向量，cyi为预先保存的该样本图像i对应的类中心特征向量，m为样本集中包含的样本图像的数目，
Figure BDA0003425289500000212
为样本图像i对应的候选样本人脸特征向量以及预先保存的该样本图像i对应的类中心特征向量之间的第三距离。
实施例5：
为了确定第三子损失值，在上述各实施例的基础上，在本申请实施例中，所述根据每个样本图像的目标样本属性特征向量、预先保存的每个样本图像的样本属性对应的第一独热编码向量以及每个样本图像中各个样本属性对应的样本属性概率向量，确定第三子损失值包括：
针对每个样本图像的每个样本属性对应的样本属性概率向量，确定该样本图像的该样本属性的样本属性概率向量对应的第一对数向量，确定所述第一对数向量与该样本图像的该样本属性对应的第一独热编码向量对应的第二乘积向量；确定预设的第一向量与该样本图像的该样本属性对应的样本属性概率向量的第一差值向量；确定所述预设的第一向量与该样本图像的该样本属性对应的第一独热编码向量的第二差值向量，确定所述第一差值向量与所述第二差值向量对应的第二对数向量的第三乘积向量；确定该样本图像的该样本属性对应的向量的第二乘积向量和第三乘积向量之间的和值向量，将所述和值向量中每个分量的第四和值确定为该样本图像的该样本属性对应的损失值；
确定所有样本图像中所有样本属性对应的损失值的第一平均值；将所述第一平均值对应的负数确定为第三子损失值。
在本申请中，为了确定第三子损失值，可以先针对每个样本图像的每个样本属性对应的样本属性概率向量，确定该样本图像的该样本属性的样本属性概率向量对应的第一对数向量，确定该第一对数向量与该样本图像的该样本属性对应的第一独热编码向量对应的第二乘积向量。其中，该第一对数向量对应的维度与该样本属性对应的第一独热编码向量对应的维度相同。
在确定该样本图像对应的第二乘积向量后，确定预设的第一向量与该样本图像的该样本属性对应的样本属性概率向量的第一差值向量，并确定该预设的第一向量与该样本图像的该样本属性对应的第一独热编码向量的第二差值向量。其中，该预设的第一向量的维度与该样本图像的该样本属性对应的样本属性概率向量维度相同，且该预设的第一向量中每个分量都为1。
在确定该样本图像对应的第一差值向量以及第二差值向量之后，确定该第二差值向量对应的第二对数向量，然后确定该第一差值向量与该第二对数向量的第三乘积向量，其中，该第一差值向量的维度与该第二对数向量的维度相同。再确定该样本图像的该样本属性对应的向量的第二乘积向量和第三乘积向量之间的和值向量，将该和值向量中每个分量的第四和值确定为该样本图像的该样本属性对应的损失值。
在确定每个样本图像的每个样本属性对应的损失值后，为了确定第三子损失值，确定所有样本图像中所有样本属性对应的损失值的第一平均值，将该第一平均值对应的负数确定为第三子损失值。
具体的，根据以下公式，确定第三子损失值：
Figure BDA0003425289500000221
其中，
Figure BDA0003425289500000224
为第三子损失值，
Figure BDA0003425289500000222
是第b个样本图像的样本属性i对应的第一独热编码向量，
Figure BDA0003425289500000223
是第b个样本图像的该样本属性i对应的样本属性概率向量，其中，NA为样本集中包含的样本属性的数量，n为样本集中包含的样本图像的数量，a为预设的第一向量，其中，该预设的第一向量中每个分量都为1。
实施例6：
为了确定第四子损失值，在上述各实施例的基础上，在本申请实施例中，所述根据预先保存的每个样本图像对应的人脸的第二独热编码向量、每个样本图像中各个人脸对应的人脸概率向量，确定第四子损失值包括：
针对每个样本图像，确定该样本图像中人脸对应的人脸概率向量对应的第三对数向量；确定所述第三对数向量与预先保存的该样本图像对应的人脸的第二独热编码向量的第四乘积向量，确定所述第四乘积向量中各个分量的第六和值；
确定每个样本图像对应的所述第六和值的第二平均值，将所述第二平均值对应的负数确定为第四子损失值。
在本申请中，为了确定第四子损失值，针对每个样本图像，确定该样本图像中人脸对应的人脸概率向量对应的第三对数向量，然后确定该第三对数向量与预先保存的该样本图像对应的人脸的第二独热编码向量的第四乘积向量。其中，该第三对数向量的维度与该第二独热编码向量的维度相同。
在确定该样本图像对应的第四乘积向量之后，确定该第四乘积向量中各个分量的第六和值，并确定每个样本图像对应的所述第六和值的第二平均值，将该第二平均值对应的负数确定为第四子损失值。
具体的，根据以下公式，确定第四子损失值：
Figure BDA0003425289500000231
其中，
Figure BDA0003425289500000232
为第四子损失值，q(i)是预先保存的该样本图像i对应的人脸的第二独热编码向量，o(i)为样本图像i中人脸对应的人脸概率向量，N为样本集中包含的样本图像的数量。
图3为本申请一些实施例提供的一种人脸识别模型的训练过程示意图，现针对图3进行说明。
先获得包含样本图像的样本集，将该样本集中的每个样本图像依次输入到原始人脸识别模型中的第一子模型，确定每个样本图像对应的候选样本人脸特征向量，根据该根据每个样本图像对应的候选样本人脸特征向量，确定第一子损失值，并根据该根据每个样本图像对应的候选样本人脸特征向量，确定第一子损失值以及每个样本图像对应的类中心特征向量，确定第二子损失值。
针对每个样本图像，将第一子模型中获得的该样本图像的候选样本人脸特征向量、预先保存的邻接矩阵及该样本图像对应的样本属性特征向量输入到原始人脸识别模型中的第二子模型中，获取该样本图像的目标样本人脸特征向量、目标样本属性特征向量、该样本图像中各个样本属性对应的样本属性概率向量以及该样本图像中各个人脸对应的人脸概率向量。
根据每个样本图像的目标样本属性特征向量、预先保存的每个样本图像的样本属性对应的第一独热编码向量以及每个样本图像中各个样本属性对应的样本属性概率向量，确定第三子损失值，根据预先保存的每个样本图像对应的人脸的第二独热编码向量、每个样本图像中各个人脸对应的人脸概率向量，确定第四子损失值。
根据该第一子损失值、第二子损失值、第三子损失值以及第四子损失值，确定目标损失值，并根据该目标损失值，对该原始人脸识别模型进行训练。
实施例7：
图4为本申请一些实施例提供的一种人脸识别方法的过程示意图，该过程包括以下步骤：
S401：将待识别的目标图像输入到预先训练完成的人脸识别模型中，输出所述目标图像对应的目标人脸特征向量，其中，所述目标图像中包含待识别的用户的人脸。
本申请实施例提供人脸识别方法应用于电子设备，该电子设备可以为智能终端、PC或者服务器等等。
在本申请中，为了识别目标图像中包含的待识别的用户的身份，预先训练完成了人脸识别模型，将该包含待识别的用户的人脸的待识别的目标图像输入到该预先训练完成的人脸识别模型中，输出该目标图像对应的目标人脸特征向量，其中，该目标人脸特征向量中的各个分量为预测的该目标图像对应的各个特征对应的特征值。
S402：根据所述目标人脸特征向量以及预先保存的每个用户的人脸特征向量，确定所述目标图像中包含的待识别用户的人脸与预先保存的每个用户的人脸的相似度；将所述相似度中最大值对应的预先保存的用户，确定为目标用户。
在获得该目标图像对应的目标人脸特征向量后，为了确定该目标图像中包含的用户的身份，确定该目标人脸特征向量与预先保存的每个用户的人脸特征向量之间的相似度，具体的，可以将该目标人脸特征向量与预先保存的每个用户的人脸特征向量之间的欧式距离，确定为该目标人脸特征向量与预先保存的每个用户的人脸特征向量之间的相似度，还可以先确定该目标人脸特征向量与预先保存的每个用户的人脸特征向量之间的差值向量，将该差值向量对应的模长，确定为该目标人脸特征向量与预先保存的每个用户的人脸特征向量之间的相似度，还可以将该目标人脸特征向量与预先保存的每个用户的人脸特征向量之间的余弦相似度，确定为该目标人脸特征向量与预先保存的每个用户的人脸特征向量之间的相似度等等。
在确定该目标人脸特征向量与预先保存的每个用户的人脸特征向量之间的相似度之后，为了确定该待识别的用户的身份，可以将相似度大于预设的相似度阈值时对应的预先保存的用户，确定为候选用户并显示，后续在接收到用户身份确认指令后，将该身份确认指令中携带的被选择的候选用户确定为目标用户。
在本申请中，还可以在确定该目标人脸特征向量与预先保存的每个用户的人脸特征向量之间的相似度之后，将相似度最大值对应的预先保存的用户，确定为目标用户。比如，预先保存了用户A、用户B和用户C，若该目标人脸特征向量与预先保存的用户A的人脸特征向量之间的相似度为90％，该目标人脸特征向量与预先保存的用户B的人脸特征向量之间的相似度为50％，该目标人脸特征向量与预先保存的用户C的人脸特征向量之间的相似度为30％，则确定目标用户为用户A。
在本申请中，该人脸识别方法中预先训练完成的人脸识别模型为通过上述实施例训练完成的人脸识别模型。
图5为本申请一些实施例提供的一种人脸识别过程示意图，现针对图5进行说明。
先基于样本集对该原始的人脸识别模型进行训练，获得训练完成的人脸识别模型，根据该训练完成的人脸识别模型以及测试集进行身份的预测和评估，其中，该样本集中包含用于训练的样本图像，该测试集中包含用于测试的测试图像。
实施例8：
图6为本申请一些实施例提供的一种人脸识别模型训练装置结构示意图，该装置包括：
第一确定模块601，用于针对样本集中的每个样本图像，其中，每个样本图像对应有标签，所述标签用于标识样本图像中包含的人脸的全局人脸特征向量和各个关键部位对应的部分人脸特征向量；将该样本图像输入到原始人脸识别模型中的第一子模型，确定该样本图像对应的候选样本人脸特征向量；将所述候选样本人脸特征向量、预先保存的邻接矩阵及该样本图像对应的样本属性特征向量输入到所述原始人脸识别模型中的第二子模型中，获取该样本图像的目标样本人脸特征向量、目标样本属性特征向量、该样本图像中各个样本属性对应的样本属性概率向量以及该样本图像中各个人脸对应的人脸概率向量；根据每个样本图像对应的候选样本人脸特征向量，确定第一子损失值，根据每个样本图像对应的所述候选样本人脸特征向量以及每个样本图像对应的类中心特征向量，确定第二子损失值；根据每个样本图像的所述目标样本属性特征向量、预先保存的每个样本图像的样本属性对应的第一独热编码向量以及每个样本图像中各个样本属性对应的样本属性概率向量，确定第三子损失值；根据预先保存的每个样本图像对应的人脸的第二独热编码向量、每个样本图像中各个人脸对应的人脸概率向量，确定第四子损失值；根据所述第一子损失值、所述第二子损失值、所述第三子损失值以及所述第四子损失值，确定目标损失值；
训练模块602，用于根据所述目标损失值，对所述原始人脸识别模型进行训练。
在一种可能的实施方式中，所述第一确定模块601，还用于针对所有属性中的任意两个属性，确定该两个属性出现在同一个样本图像的第一数目，以及该第一数目与所述样本集中包含的每个样本图像的第二数目，将所述第一数目和所述第二数目的比值，确定为该两个属性在属性与属性对应的第一子邻接矩阵中对应的元素；按照设定的顺序，将所述第一子邻接矩阵、预设的人脸关键部位与属性对应的第二子邻接矩阵、预设的属性与人脸关键部位对应的第三子邻接矩阵以及预设的人脸关键部位与人脸关键部位对应的第四子邻接矩阵进行拼接，将拼接完成的矩阵确定为邻接矩阵并保存。
在一种可能的实施方式中，所述第一确定模块601，具体用于针对每个样本图像，确定所述样本集中与该样本图像包含的人脸相同的第一目标样本图像，以及与该样本图像包含的人脸不相同的第二目标样本图像；确定该样本图像对应的候选样本人脸特征向量与所述第一目标样本图像的候选样本人脸特征向量之间的第一距离；确定该样本图像对应的候选样本人脸特征向量和所述第二目标样本图像的候选样本人脸特征向量之间的第二距离；确定该样本图像的所述第一距离和所述第二距离的第一差值，并确定所述第一差值与预设的第一数值的第一和值；确定每个样本图像对应的第一和值的第二和值，将所述第二和值以及预设的第二数值的最大值，确定为第一子损失值。
在一种可能的实施方式中，所述第一确定模块601，具体用于针对每个样本图像，确定该样本图像对应的候选样本人脸特征向量以及该样本图像对应的类中心特征向量之间的第三距离；确定每个样本图像对应的第三距离的第三和值，将所述第三和值与预设的第三数值的第一乘积确定为第二子损失值。
在一种可能的实施方式中，所述第一确定模块601，具体用于针对每个样本图像的每个样本属性对应的样本属性概率向量，确定该样本图像的该样本属性的样本属性概率向量对应的第一对数向量，确定所述第一对数向量与该样本图像的该样本属性对应的第一独热编码向量对应的第二乘积向量；确定预设的第一向量与该样本图像的该样本属性对应的样本属性概率向量的第一差值向量；确定所述预设的第一向量与该样本图像的该样本属性对应的第一独热编码向量的第二差值向量，确定所述第一差值向量与所述第二差值向量对应的第二对数向量的第三乘积向量；确定该样本图像的该样本属性对应的向量的第二乘积向量和第三乘积向量之间的和值向量，将所述和值向量中每个分量的第四和值确定为该样本图像的该样本属性对应的损失值；确定所有样本图像中所有样本属性对应的损失值的第一平均值；将所述第一平均值对应的负数确定为第三子损失值。
在一种可能的实施方式中，所述第一确定模块601，具体用于针对每个样本图像，确定该样本图像中人脸对应的人脸概率向量对应的第三对数向量；确定所述第三对数向量与预先保存的该样本图像对应的人脸的第二独热编码向量的第四乘积向量，确定所述第四乘积向量中各个分量的第六和值；确定每个样本图像对应的所述第六和值的第二平均值，将所述第二平均值对应的负数确定为第四子损失值。
实施例9：
图7为本申请一些实施例提供的一种人脸识别装置结构示意图，该装置包括：
输出模块701，用于将待识别的目标图像输入到预先训练完成的人脸识别模型中，输出所述目标图像对应的目标人脸特征向量，其中，所述目标图像中包含待识别的用户的人脸；
第二确定模块702，用于根据所述目标人脸特征向量以及预先保存的每个用户的人脸特征向量，确定所述目标图像中包含的待识别用户的人脸与预先保存的每个用户的人脸的相似度；将所述相似度中最大值对应的预先保存的用户，确定为目标用户。
实施例10：
在上述各实施例的基础上，本申请一些实施例还提供了一种电子设备，如图8所示，包括：处理器801、通信接口802、存储器803和通信总线804，其中，处理器801，通信接口802，存储器803通过通信总线804完成相互间的通信。
所述存储器803中存储有计算机程序，当所述程序被所述处理器801执行时，使得所述处理器801执行如下步骤：
针对样本集中的每个样本图像，其中，每个样本图像对应有标签，所述标签用于标识样本图像中包含的人脸的全局人脸特征向量和各个关键部位对应的部分人脸特征向量；将该样本图像输入到原始人脸识别模型中的第一子模型，确定该样本图像对应的候选样本人脸特征向量；将所述候选样本人脸特征向量、预先保存的邻接矩阵及该样本图像对应的样本属性特征向量输入到所述原始人脸识别模型中的第二子模型中，获取该样本图像的目标样本人脸特征向量、目标样本属性特征向量、该样本图像中各个样本属性对应的样本属性概率向量以及该样本图像中各个人脸对应的人脸概率向量；
根据每个样本图像对应的候选样本人脸特征向量，确定第一子损失值，根据每个样本图像对应的所述候选样本人脸特征向量以及每个样本图像对应的类中心特征向量，确定第二子损失值；根据每个样本图像的所述目标样本属性特征向量、预先保存的每个样本图像的样本属性对应的第一独热编码向量以及每个样本图像中各个样本属性对应的样本属性概率向量，确定第三子损失值；根据预先保存的每个样本图像对应的人脸的第二独热编码向量、每个样本图像中各个人脸对应的人脸概率向量，确定第四子损失值；根据所述第一子损失值、所述第二子损失值、所述第三子损失值以及所述第四子损失值，确定目标损失值；
根据所述目标损失值，对所述原始人脸识别模型进行训练。
进一步地，所述处理器801，还用于针对所有属性中的任意两个属性，确定该两个属性出现在同一个样本图像的第一数目，以及该第一数目与所述样本集中包含的每个样本图像的第二数目，将所述第一数目和所述第二数目的比值，确定为该两个属性在属性与属性对应的第一子邻接矩阵中对应的元素；按照设定的顺序，将所述第一子邻接矩阵、预设的人脸关键部位与属性对应的第二子邻接矩阵、预设的属性与人脸关键部位对应的第三子邻接矩阵以及预设的人脸关键部位与人脸关键部位对应的第四子邻接矩阵进行拼接，将拼接完成的矩阵确定为邻接矩阵并保存。
进一步地，所述处理器801，还用于针对每个样本图像，确定所述样本集中与该样本图像包含的人脸相同的第一目标样本图像，以及与该样本图像包含的人脸不相同的第二目标样本图像；确定该样本图像对应的候选样本人脸特征向量与所述第一目标样本图像的候选样本人脸特征向量之间的第一距离；确定该样本图像对应的候选样本人脸特征向量和所述第二目标样本图像的候选样本人脸特征向量之间的第二距离；确定该样本图像的所述第一距离和所述第二距离的第一差值，并确定所述第一差值与预设的第一数值的第一和值；确定每个样本图像对应的第一和值的第二和值，将所述第二和值以及预设的第二数值的最大值，确定为第一子损失值。
进一步地，所述处理器801，还用于针对每个样本图像，确定该样本图像对应的候选样本人脸特征向量以及该样本图像对应的类中心特征向量之间的第三距离；确定每个样本图像对应的第三距离的第三和值，将所述第三和值与预设的第三数值的第一乘积确定为第二子损失值。
进一步地，所述处理器801，还用于针对每个样本图像的每个样本属性对应的样本属性概率向量，确定该样本图像的该样本属性的样本属性概率向量对应的第一对数向量，确定所述第一对数向量与该样本图像的该样本属性对应的第一独热编码向量对应的第二乘积向量；确定预设的第一向量与该样本图像的该样本属性对应的样本属性概率向量的第一差值向量；确定所述预设的第一向量与该样本图像的该样本属性对应的第一独热编码向量的第二差值向量，确定所述第一差值向量与所述第二差值向量对应的第二对数向量的第三乘积向量；确定该样本图像的该样本属性对应的向量的第二乘积向量和第三乘积向量之间的和值向量，将所述和值向量中每个分量的第四和值确定为该样本图像的该样本属性对应的损失值；确定所有样本图像中所有样本属性对应的损失值的第一平均值；将所述第一平均值对应的负数确定为第三子损失值。
进一步地，所述处理器801，还用于针对每个样本图像，确定该样本图像中人脸对应的人脸概率向量对应的第三对数向量；确定所述第三对数向量与预先保存的该样本图像对应的人脸的第二独热编码向量的第四乘积向量，确定所述第四乘积向量中各个分量的第六和值；确定每个样本图像对应的所述第六和值的第二平均值，将所述第二平均值对应的负数确定为第四子损失值。
上述服务器提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口802用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选地，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述处理器可以是通用处理器，包括中央处理器、网络处理器(NetworkProcessor，NP)等；还可以是数字指令处理器(Digital Signal Processing，DSP)、专用集成电路、现场可编程门陈列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。
实施例11：
在上述各实施例的基础上，本申请一些实施例还提供了一种电子设备，如图9所示，包括：处理器901、通信接口902、存储器903和通信总线904，其中，处理器901，通信接口902，存储器903通过通信总线904完成相互间的通信。
所述存储器903中存储有计算机程序，当所述程序被所述处理器901执行时，使得所述处理器901执行如下步骤：
将待识别的目标图像输入到预先训练完成的人脸识别模型中，输出所述目标图像对应的目标人脸特征向量，其中，所述目标图像中包含待识别的用户的人脸；
根据所述目标人脸特征向量以及预先保存的每个用户的人脸特征向量，确定所述目标图像中包含的待识别用户的人脸与预先保存的每个用户的人脸的相似度；将所述相似度中最大值对应的预先保存的用户，确定为目标用户。
上述服务器提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口902用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选地，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述处理器可以是通用处理器，包括中央处理器、网络处理器(NetworkProcessor，NP)等；还可以是数字指令处理器(Digital Signal Processing，DSP)、专用集成电路、现场可编程门陈列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。
实施例12：
在上述各实施例的基础上，本申请一些实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有可由电子设备执行的计算机程序，当所述程序在所述电子设备上运行时，使得所述电子设备执行时实现如下步骤：
所述存储器中存储有计算机程序，当所述程序被所述处理器执行时，使得所述处理器执行如下步骤：
针对样本集中的每个样本图像，其中，每个样本图像对应有标签，所述标签用于标识样本图像中包含的人脸的全局人脸特征向量和各个关键部位对应的部分人脸特征向量；将该样本图像输入到原始人脸识别模型中的第一子模型，确定该样本图像对应的候选样本人脸特征向量；将所述候选样本人脸特征向量、预先保存的邻接矩阵及该样本图像对应的样本属性特征向量输入到所述原始人脸识别模型中的第二子模型中，获取该样本图像的目标样本人脸特征向量、目标样本属性特征向量、该样本图像中各个样本属性对应的样本属性概率向量以及该样本图像中各个人脸对应的人脸概率向量；
根据每个样本图像对应的候选样本人脸特征向量，确定第一子损失值，根据每个样本图像对应的所述候选样本人脸特征向量以及每个样本图像对应的类中心特征向量，确定第二子损失值；根据每个样本图像的所述目标样本属性特征向量、预先保存的每个样本图像的样本属性对应的第一独热编码向量以及每个样本图像中各个样本属性对应的样本属性概率向量，确定第三子损失值；根据预先保存的每个样本图像对应的人脸的第二独热编码向量、每个样本图像中各个人脸对应的人脸概率向量，确定第四子损失值；根据所述第一子损失值、所述第二子损失值、所述第三子损失值以及所述第四子损失值，确定目标损失值；
根据所述目标损失值，对所述原始人脸识别模型进行训练。
进一步地，确定所述预先保存的邻接矩阵包括：
针对所有属性中的任意两个属性，确定该两个属性出现在同一个样本图像的第一数目，以及该第一数目与所述样本集中包含的每个样本图像的第二数目，将所述第一数目和所述第二数目的比值，确定为该两个属性在属性与属性对应的第一子邻接矩阵中对应的元素；
按照设定的顺序，将所述第一子邻接矩阵、预设的人脸关键部位与属性对应的第二子邻接矩阵、预设的属性与人脸关键部位对应的第三子邻接矩阵以及预设的人脸关键部位与人脸关键部位对应的第四子邻接矩阵进行拼接，将拼接完成的矩阵确定为邻接矩阵并保存。
进一步地，所述根据每个样本图像对应的候选样本人脸特征向量，确定第一子损失值包括：
针对每个样本图像，确定所述样本集中与该样本图像包含的人脸相同的第一目标样本图像，以及与该样本图像包含的人脸不相同的第二目标样本图像；确定该样本图像对应的候选样本人脸特征向量与所述第一目标样本图像的候选样本人脸特征向量之间的第一距离；确定该样本图像对应的候选样本人脸特征向量和所述第二目标样本图像的候选样本人脸特征向量之间的第二距离；确定该样本图像的所述第一距离和所述第二距离的第一差值，并确定所述第一差值与预设的第一数值的第一和值；
确定每个样本图像对应的第一和值的第二和值，将所述第二和值以及预设的第二数值的最大值，确定为第一子损失值。
进一步地，所述根据每个样本图像对应的候选样本人脸特征向量以及每个样本图像对应的类中心特征向量，确定第二子损失值包括：
针对每个样本图像，确定该样本图像对应的候选样本人脸特征向量以及该样本图像对应的类中心特征向量之间的第三距离；
确定每个样本图像对应的第三距离的第三和值，将所述第三和值与预设的第三数值的第一乘积确定为第二子损失值。
进一步地，所述根据每个样本图像的目标样本属性特征向量、预先保存的每个样本图像的样本属性对应的第一独热编码向量以及每个样本图像中各个样本属性对应的样本属性概率向量，确定第三子损失值包括：
针对每个样本图像的每个样本属性对应的样本属性概率向量，确定该样本图像的该样本属性的样本属性概率向量对应的第一对数向量，确定所述第一对数向量与该样本图像的该样本属性对应的第一独热编码向量对应的第二乘积向量；确定预设的第一向量与该样本图像的该样本属性对应的样本属性概率向量的第一差值向量；确定所述预设的第一向量与该样本图像的该样本属性对应的第一独热编码向量的第二差值向量，确定所述第一差值向量与所述第二差值向量对应的第二对数向量的第三乘积向量；确定该样本图像的该样本属性对应的向量的第二乘积向量和第三乘积向量之间的和值向量，将所述和值向量中每个分量的第四和值确定为该样本图像的该样本属性对应的损失值；
确定所有样本图像中所有样本属性对应的损失值的第一平均值；将所述第一平均值对应的负数确定为第三子损失值。
进一步地，所述根据预先保存的每个样本图像对应的人脸的第二独热编码向量、每个样本图像中各个人脸对应的人脸概率向量，确定第四子损失值包括：
针对每个样本图像，确定该样本图像中人脸对应的人脸概率向量对应的第三对数向量；确定所述第三对数向量与预先保存的该样本图像对应的人脸的第二独热编码向量的第四乘积向量，确定所述第四乘积向量中各个分量的第六和值；
确定每个样本图像对应的所述第六和值的第二平均值，将所述第二平均值对应的负数确定为第四子损失值。
实施例13：
在上述各实施例的基础上，本申请一些实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有可由电子设备执行的计算机程序，当所述程序在所述电子设备上运行时，使得所述电子设备执行时实现如下步骤：
所述存储器中存储有计算机程序，当所述程序被所述处理器执行时，使得所述处理器执行如下步骤：
将待识别的目标图像输入到预先训练完成的人脸识别模型中，输出所述目标图像对应的目标人脸特征向量，其中，所述目标图像中包含待识别的用户的人脸；
根据所述目标人脸特征向量以及预先保存的每个用户的人脸特征向量，确定所述目标图像中包含的待识别用户的人脸与预先保存的每个用户的人脸的相似度；将所述相似度中最大值对应的预先保存的用户，确定为目标用户。
由于本申请在模型训练的过程中，将样本图像输入到原始的人脸识别模型中的第一子模型中，获得候选人脸特征向量，然后将该候选样本人脸特征向量、预先保存的邻接矩阵以及该样本图像对应的样本属性特征向量输入到该原始人脸识别模型的第二子模型中，进一步使得该第二子模型对属性以及人脸特征之间的关系进一步学习，进而输出更加准确的人脸特征向量，提高后续人脸识别的准确率。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (11)

1.一种人脸识别模型训练方法，其特征在于，所述方法包括：
针对样本集中的每个样本图像，其中，每个样本图像对应有标签，所述标签用于标识样本图像中包含的人脸的全局人脸特征向量和各个关键部位对应的部分人脸特征向量；将该样本图像输入到原始人脸识别模型中的第一子模型，确定该样本图像对应的候选样本人脸特征向量；将所述候选样本人脸特征向量、预先保存的邻接矩阵及该样本图像对应的样本属性特征向量输入到所述原始人脸识别模型中的第二子模型中，获取该样本图像的目标样本人脸特征向量、目标样本属性特征向量、该样本图像中各个样本属性对应的样本属性概率向量以及该样本图像中各个人脸对应的人脸概率向量；其中，所述预先保存的邻接矩阵中的各个元素包括属性和属性之间的关系对应的数值、人脸关键部位与属性之间的关系对应的数值、人脸关键部位与人脸关键部位之间的关系对应的数值；
根据每个样本图像对应的候选样本人脸特征向量，确定第一子损失值，根据每个样本图像对应的所述候选样本人脸特征向量以及每个样本图像对应的类中心特征向量，确定第二子损失值；根据每个样本图像的所述目标样本属性特征向量、预先保存的每个样本图像的样本属性对应的第一独热编码向量以及每个样本图像中各个样本属性对应的样本属性概率向量，确定第三子损失值；根据预先保存的每个样本图像对应的人脸的第二独热编码向量、每个样本图像中各个人脸对应的人脸概率向量，确定第四子损失值；根据所述第一子损失值、所述第二子损失值、所述第三子损失值以及所述第四子损失值，确定目标损失值；
根据所述目标损失值，对所述原始人脸识别模型进行训练。
2.根据权利要求1所述的方法，其特征在于，确定所述预先保存的邻接矩阵包括：
针对所有属性中的任意两个属性，确定该两个属性出现在同一个样本图像的第一数目，以及该第一数目与所述样本集中包含的每个样本图像的第二数目，将所述第一数目和所述第二数目的比值，确定为该两个属性在属性与属性对应的第一子邻接矩阵中对应的元素；
按照设定的顺序，将所述第一子邻接矩阵、预设的人脸关键部位与属性对应的第二子邻接矩阵、预设的属性与人脸关键部位对应的第三子邻接矩阵以及预设的人脸关键部位与人脸关键部位对应的第四子邻接矩阵进行拼接，将拼接完成的矩阵确定为邻接矩阵并保存。
3.根据权利要求1所述的方法，其特征在于，所述根据每个样本图像对应的候选样本人脸特征向量，确定第一子损失值包括：
针对每个样本图像，确定所述样本集中与该样本图像包含的人脸相同的第一目标样本图像，以及与该样本图像包含的人脸不相同的第二目标样本图像；确定该样本图像对应的候选样本人脸特征向量与所述第一目标样本图像的候选样本人脸特征向量之间的第一距离；确定该样本图像对应的候选样本人脸特征向量和所述第二目标样本图像的候选样本人脸特征向量之间的第二距离；确定该样本图像的所述第一距离和所述第二距离的第一差值，并确定所述第一差值与预设的第一数值的第一和值；
确定每个样本图像对应的第一和值的第二和值，将所述第二和值以及预设的第二数值的最大值，确定为第一子损失值。
4.根据权利要求1所述的方法，其特征在于，所述根据每个样本图像对应的候选样本人脸特征向量以及每个样本图像对应的类中心特征向量，确定第二子损失值包括：
针对每个样本图像，确定该样本图像对应的候选样本人脸特征向量以及该样本图像对应的类中心特征向量之间的第三距离；
确定每个样本图像对应的第三距离的第三和值，将所述第三和值与预设的第三数值的第一乘积确定为第二子损失值。
5.根据权利要求1所述的方法，其特征在于，所述根据每个样本图像的目标样本属性特征向量、预先保存的每个样本图像的样本属性对应的第一独热编码向量以及每个样本图像中各个样本属性对应的样本属性概率向量，确定第三子损失值包括：
针对每个样本图像的每个样本属性对应的样本属性概率向量，确定该样本图像的该样本属性的样本属性概率向量对应的第一对数向量，确定所述第一对数向量与该样本图像的该样本属性对应的第一独热编码向量对应的第二乘积向量；确定预设的第一向量与该样本图像的该样本属性对应的样本属性概率向量的第一差值向量；确定所述预设的第一向量与该样本图像的该样本属性对应的第一独热编码向量的第二差值向量，确定所述第一差值向量与所述第二差值向量对应的第二对数向量的第三乘积向量；确定该样本图像的该样本属性对应的向量的第二乘积向量和第三乘积向量之间的和值向量，将所述和值向量中每个分量的第四和值确定为该样本图像的该样本属性对应的损失值；
确定所有样本图像中所有样本属性对应的损失值的第一平均值；将所述第一平均值对应的负数确定为第三子损失值。
6.根据权利要求1所述的方法，其特征在于，所述根据预先保存的每个样本图像对应的人脸的第二独热编码向量、每个样本图像中各个人脸对应的人脸概率向量，确定第四子损失值包括：
针对每个样本图像，确定该样本图像中人脸对应的人脸概率向量对应的第三对数向量；确定所述第三对数向量与预先保存的该样本图像对应的人脸的第二独热编码向量的第四乘积向量，确定所述第四乘积向量中各个分量的第六和值；
确定每个样本图像对应的所述第六和值的第二平均值，将所述第二平均值对应的负数确定为第四子损失值。
7.一种人脸识别方法，其特征在于，所述方法包括：
将待识别的目标图像输入到基于权利要求1-6所述的任一项方法训练得到的人脸识别模型中，输出所述目标图像对应的目标人脸特征向量，其中，所述目标图像中包含待识别的用户的人脸；
根据所述目标人脸特征向量以及预先保存的每个用户的人脸特征向量，确定所述目标图像中包含的待识别用户的人脸与预先保存的每个用户的人脸的相似度；将所述相似度中最大值对应的预先保存的用户，确定为目标用户。
8.一种人脸识别模型训练装置，其特征在于，所述装置包括：
第一确定模块，用于针对样本集中的每个样本图像，其中，每个样本图像对应有标签，所述标签用于标识样本图像中包含的人脸的全局人脸特征向量和人脸的各个关键部位对应的部分人脸特征向量；将该样本图像输入到原始人脸识别模型中的第一子模型，确定该样本图像对应的候选样本人脸特征向量；将所述候选样本人脸特征向量、预先保存的邻接矩阵及该样本图像对应的样本属性特征向量输入到所述原始人脸识别模型中的第二子模型中，获取该样本图像的目标样本人脸特征向量、目标样本属性特征向量、该样本图像中各个样本属性对应的样本属性概率向量以及该样本图像中各个人脸对应的人脸概率向量；其中，所述预先保存的邻接矩阵中的各个元素包括属性和属性之间的关系对应的数值、人脸关键部位与属性之间的关系对应的数值、人脸关键部位与人脸关键部位之间的关系对应的数值；根据每个样本图像对应的候选样本人脸特征向量，确定第一子损失值，根据每个样本图像对应的所述候选样本人脸特征向量以及每个样本图像对应的类中心特征向量，确定第二子损失值；根据每个样本图像的所述目标样本属性特征向量、预先保存的每个样本图像的样本属性对应的第一独热编码向量以及每个样本图像中各个样本属性对应的样本属性概率向量，确定第三子损失值；根据预先保存的每个样本图像对应的人脸的第二独热编码向量、每个样本图像中各个人脸对应的人脸概率向量，确定第四子损失值；根据所述第一子损失值、所述第二子损失值、所述第三子损失值以及所述第四子损失值，确定目标损失值；
训练模块，用于根据所述目标损失值，对所述原始人脸识别模型进行训练。
9.一种人脸识别装置，其特征在于，所述装置包括：
输出模块，用于将待识别的目标图像输入到基于权利要求1-6所述的任一项方法训练得到的人脸识别模型中，输出所述目标图像对应的目标人脸特征向量，其中，所述目标图像中包含待识别的用户的人脸；
第二确定模块，用于根据所述目标人脸特征向量以及预先保存的每个用户的人脸特征向量，确定所述目标图像中包含的待识别用户的人脸与预先保存的每个用户的人脸的相似度；将所述相似度中最大值对应的预先保存的用户，确定为目标用户。
10.一种电子设备，其特征在于，所述电子设备包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现如权利要求1-6中任一所述人脸识别模型训练方法或权利要求7所述人脸识别方法的步骤。
11.一种计算机可读存储介质，其特征在于，其存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-6中任一所述人脸识别模型训练方法或权利要求7所述人脸识别方法的步骤。
CN202111576477.0A 2021-12-22 2021-12-22 人脸识别模型训练、人脸识别方法、装置、设备及介质 Active CN114360007B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111576477.0A CN114360007B (zh) 2021-12-22 2021-12-22 人脸识别模型训练、人脸识别方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111576477.0A CN114360007B (zh) 2021-12-22 2021-12-22 人脸识别模型训练、人脸识别方法、装置、设备及介质

Publications (2)

Publication Number Publication Date
CN114360007A CN114360007A (zh) 2022-04-15
CN114360007B true CN114360007B (zh) 2023-02-07

Family

ID=81101620

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111576477.0A Active CN114360007B (zh) 2021-12-22 2021-12-22 人脸识别模型训练、人脸识别方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN114360007B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109902585A (zh) * 2019-01-29 2019-06-18 中国民航大学 一种基于图模型的手指三模态融合识别方法
CN110837803A (zh) * 2019-11-07 2020-02-25 复旦大学 基于深度图网络的糖尿病视网膜病变分级方法
CN111160275A (zh) * 2019-12-30 2020-05-15 深圳元戎启行科技有限公司 行人重识别模型训练方法、装置、计算机设备和存储介质
CN113657289A (zh) * 2021-08-19 2021-11-16 北京百度网讯科技有限公司 阈值估计模型的训练方法、装置和电子设备
CN113705685A (zh) * 2021-08-30 2021-11-26 平安科技（深圳）有限公司 疾病特征识别模型训练、疾病特征识别方法、装置及设备

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109117801A (zh) * 2018-08-20 2019-01-01 深圳壹账通智能科技有限公司 人脸识别的方法、装置、终端及计算机可读存储介质
CN111652049A (zh) * 2020-04-17 2020-09-11 北京三快在线科技有限公司 人脸图像处理模型训练方法、装置、电子设备及存储介质
CN111914795B (zh) * 2020-08-17 2022-05-27 四川大学 一种航拍图像中旋转目标检测方法
CN112766158B (zh) * 2021-01-20 2022-06-03 重庆邮电大学 基于多任务级联式人脸遮挡表情识别方法
CN113705293A (zh) * 2021-02-26 2021-11-26 腾讯科技（深圳）有限公司 图像场景的识别方法、装置、设备及可读存储介质
CN112991502B (zh) * 2021-04-22 2021-07-16 腾讯科技（深圳）有限公司 一种模型训练方法、装置、设备及存储介质
CN113239875B (zh) * 2021-06-01 2023-10-17 恒睿(重庆)人工智能技术研究院有限公司 人脸特征的获取方法、系统、装置及计算机可读存储介质
CN113705772A (zh) * 2021-07-21 2021-11-26 浪潮(北京)电子信息产业有限公司 一种模型训练方法、装置、设备及可读存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109902585A (zh) * 2019-01-29 2019-06-18 中国民航大学 一种基于图模型的手指三模态融合识别方法
CN110837803A (zh) * 2019-11-07 2020-02-25 复旦大学 基于深度图网络的糖尿病视网膜病变分级方法
CN111160275A (zh) * 2019-12-30 2020-05-15 深圳元戎启行科技有限公司 行人重识别模型训练方法、装置、计算机设备和存储介质
CN113657289A (zh) * 2021-08-19 2021-11-16 北京百度网讯科技有限公司 阈值估计模型的训练方法、装置和电子设备
CN113705685A (zh) * 2021-08-30 2021-11-26 平安科技（深圳）有限公司 疾病特征识别模型训练、疾病特征识别方法、装置及设备

Also Published As

Publication number Publication date
CN114360007A (zh) 2022-04-15

Similar Documents

Publication Publication Date Title
CN110909651B (zh) 视频主体人物的识别方法、装置、设备及可读存储介质
CN108090470B (zh) 一种人脸对齐方法及装置
CN111814902A (zh) 目标检测模型训练方法、目标识别方法、装置和介质
CN111783505A (zh) 伪造人脸的识别方法、装置和计算机可读存储介质
CN113449725B (zh) 对象分类方法、装置、设备及存储介质
CN110969200B (zh) 基于一致性负样本的图像目标检测模型训练方法及装置
CN114781272A (zh) 碳排放量预测方法、装置、设备及存储介质
CN112633221B (zh) 一种人脸方向的检测方法及相关装置
CN109685805B (zh) 一种图像分割方法及装置
CN111626098B (zh) 模型的参数值更新方法、装置、设备及介质
CN114170484B (zh) 图片属性预测方法、装置、电子设备和存储介质
CN115984930A (zh) 微表情识别方法、装置、微表情识别模型的训练方法
CN113627576B (zh) 扫码信息检测方法、装置、设备及存储介质
CN113283388B (zh) 活体人脸检测模型的训练方法、装置、设备及存储介质
CN112446428B (zh) 一种图像数据处理方法及装置
CN114360007B (zh) 人脸识别模型训练、人脸识别方法、装置、设备及介质
CN112308149A (zh) 基于机器学习的图像信息识别的优化方法及装置
CN109934352B (zh) 智能模型的自动进化方法
Lim et al. More powerful selective kernel tests for feature selection
CN116977260A (zh) 目标物的缺陷检测方法、装置、电子设备及存储介质
CN112699809B (zh) 痘痘类别识别方法、装置、计算机设备及存储介质
CN115713669A (zh) 一种基于类间关系的图像分类方法、装置、存储介质及终端
CN115393914A (zh) 多任务模型训练方法、装置、设备及存储介质
CN113591647A (zh) 人体动作识别方法、装置、计算机设备和存储介质
CN112288748A (zh) 一种语义分割网络训练、图像语义分割方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant