CN114333013A - 人脸识别模型的训练方法、装置、电子设备及存储介质 - Google Patents

人脸识别模型的训练方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN114333013A
CN114333013A CN202111637930.4A CN202111637930A CN114333013A CN 114333013 A CN114333013 A CN 114333013A CN 202111637930 A CN202111637930 A CN 202111637930A CN 114333013 A CN114333013 A CN 114333013A
Authority
CN
China
Prior art keywords
face
face image
source domain
target
recognition model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111637930.4A
Other languages
English (en)
Inventor
张烁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN202111637930.4A priority Critical patent/CN114333013A/zh
Publication of CN114333013A publication Critical patent/CN114333013A/zh
Priority to PCT/CN2022/142777 priority patent/WO2023125654A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Human Computer Interaction (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供了一种人脸识别模型的训练方法、装置、电子设备及存储介质，方法包括：获取源域人脸特征以及初始化识别模型；获取目标域的目标人脸图像样本；基于目标人脸图像样本以及源域人脸特征，调整初始化识别模型的部分模型参数，直到初始化识别模型收敛，得到针对源域和目标域的人脸识别模型。初始化模型在使用源域的全量人脸图像样本训练后，保存部分源域人脸特征，并固定初始化模型部分参数。进而，使用目标域的目标人脸图像样本和源域人脸特征对该初始化模型进行进一步训练后，得到针对源域和目标域的人脸识别模型。既保持了对源域全量人脸图像的识别能力，又可以准确识别目标域的目标人脸图像，提高了人脸识别模型的识别能力和精度。

Description

人脸识别模型的训练方法、装置、电子设备及存储介质
技术领域
本发明涉及深度学习技术领域，特别是涉及一种人脸识别模型的训练方法、装置、电子设备及存储介质。
背景技术
随着计算机和深度学习技术的快速发展，深度学习模型在人脸识别领域的应用越来越广泛。目前基于深度学习的人脸识别模型需要使用全量人脸数据进行训练，训练后的人脸识别模型可以基于人的脸部特征信息进行身份识别，但使用源域数据训练的人脸识别模型在目标域的性能较差。
由于模型训练具有灾难性遗忘的特点，人脸识别模型单独使用目标域数据训练之后会遗忘在源域的识别性能。
在仅有少量存储空间可以存储少量源域数据的情况下，如何在目标域对人脸识别模型进行训练，才能使训练得到的人脸识别模型既可以保持源域的性能，又可以提升其在目标域的性能，以提高人脸识别模型的识别能力和精度，是亟需解决的问题。
发明内容
本发明实施例的目的在于提供一种人脸识别模型的训练方法、装置、电子设备及存储介质，以保持人脸识别模型在源域的性能，又提升其在目标域的性能。具体技术方案如下：
第一方面，本发明实施例提供了一种人脸识别模型的训练方法，所述方法包括：
获取源域人脸特征以及初始化识别模型，其中，所述初始化识别模型基于源域的全量人脸图像样本训练得到，所述源域人脸特征为通过所述初始化识别模型获得的所述全量人脸图像样本的人脸特征；
获取目标域的目标人脸图像样本，其中，所述目标人脸图像样本对应的身份标签未知；
基于所述目标人脸图像样本以及所述源域人脸特征，调整所述初始化识别模型的部分模型参数，直到所述初始化识别模型收敛，得到针对源域和目标域的人脸识别模型。
可选的，所述获取源域人脸特征的步骤，包括：
按照预设筛选策略，对所述全量人脸图像样本进行筛选，得到筛选后的全量人脸图像样本，其中，所述预设筛选策略使得所述筛选后的全量人脸图像样本的数量不变的情况下，所述筛选后的全量人脸图像样本对应的身份信息数量不小于预设数量；
将所述筛选后的全量人脸图像样本输入所述初始化识别模型，获取所述初始化识别模型的中间层输出的人脸特征；
基于所述中间层输出的人脸特征，确定源域人脸特征。
可选的，所述初始化识别模型包括参数固定部分和待训练部分；
所述基于所述目标人脸图像样本以及所述源域人脸特征，调整所述初始化识别模型的部分模型参数的步骤，包括：
将所述目标人脸图像样本输入所述参数固定部分和所述待训练部分，得到第一预测标签，并基于所述第一预测标签以及所述目标人脸图像样本对应的伪标签，确定第一分类损失；
将所述源域人脸特征输入所述待训练部分，得到第二预测标签，并基于所述第二预测标签以及所述源域人脸特征对应的身份标签，确定第二分类损失；
将所述源域人脸特征分别输入所述待训练部分以及所述待训练部分对应的初始部分，得到预估特征以及初始特征，并基于所述预估特征以及所述初始特征，确定约束损失，其中，所述初始部分为所述待训练部分的模型参数固定为基于所述全量人脸图像样本训练后的模型参数时对应的模型部分；
基于所述第一分类损失、所述第二分类损失及所述约束损失，调整所述待训练部分的模型参数。
可选的，在所述将所述目标人脸图像样本输入所述参数固定部分和所述待训练部分，得到第一预测标签的步骤之前，所述方法还包括：
对所述目标人脸图像样本进行聚类，确定每个目标人脸图像样本对应的伪标签，其中，所述伪标签用于标识对应的目标人脸图像样本所属的人员身份。
可选的，所述基于所述第一分类损失、所述第二分类损失及所述约束损失，调整所述待训练部分的模型参数的步骤，包括：
基于所述第一分类损失、所述第二分类损失及所述约束损失，按照以下公式计算得到损失函数值L：
L＝Lc1+Lc2+λLkd
其中，Lc1为所述第一分类损失，Lc2为所述第二分类损失，Lkd为所述约束损失，λ为预设参数；
基于所述损失函数值，调整所述待训练部分的模型参数。
可选的，所述基于所述预估特征以及所述初始特征，确定约束损失的步骤，包括，
基于所述预估特征以及所述初始特征，按照以下公式计算得到所述约束损失Lkd：
Figure BDA0003442056690000031
其中，n为所述源域人脸特征的数量，Fi为第i个源域人脸特征对应的初始特征，
Figure BDA0003442056690000032
为第i个源域人脸特征对应的预估特征。
可选的，所述基于所述中间层输出的人脸特征，确定源域人脸特征的步骤，包括：
对所述中间层输出的人脸特征进行降维处理，得到降维后的人脸特征，作为源域人脸特征；
在所述基于所述目标人脸图像样本以及所述源域人脸特征，调整所述初始化识别模型的部分模型参数的步骤之前，所述方法还包括：
对所述源域人脸特征进行维度恢复处理，得到恢复后的源域人脸特征。
可选的，所述方法还包括：
获取所述目标域的待识别人脸图像；
基于所述人脸识别模型对所述待识别人脸图像进行识别，确定所述待识别人脸图像对应的身份。
第二方面，本发明实施例提供了一种人脸识别模型的训练装置，所述装置包括：
初始化训练模块，用于获取源域人脸特征以及初始化识别模型，其中，所述初始化识别模型基于源域的全量人脸图像样本训练得到，所述源域人脸特征为通过所述初始化识别模型获得的所述全量人脸图像样本的人脸特征；
目标域样本获取模块，用于获取目标域的目标人脸图像样本，其中，所述目标人脸图像样本对应的身份标签未知；
增量训练模块，用于基于所述目标人脸图像样本以及所述源域人脸特征，调整所述初始化识别模型的部分模型参数，直到所述初始化识别模型收敛，得到针对源域和目标域的人脸识别模型。
可选的，所述初始化训练模块包括：
样本筛选单元，用于按照预设筛选策略，对所述全量人脸图像样本进行筛选，得到筛选后的全量人脸图像样本，其中，所述预设筛选策略使得所述筛选后的全量人脸图像样本的数量不变的情况下，所述筛选后的全量人脸图像样本对应的身份信息数量不小于预设数量；
特征获取单元，用于将所述筛选后的全量人脸图像样本输入所述初始化识别模型，获取所述初始化识别模型的中间层输出的人脸特征；
特征确定单元，用于基于所述中间层输出的人脸特征，确定源域人脸特征。
可选的，所述初始化识别模型包括参数固定部分和待训练部分；
所述增量训练模块包括：
第一输入单元，用于将所述目标人脸图像样本输入所述参数固定部分和所述待训练部分，得到第一预测标签，并基于所述第一预测标签以及所述目标人脸图像样本对应的伪标签，确定第一分类损失；
第二输入单元，用于将所述源域人脸特征输入所述待训练部分，得到第二预测标签，并基于所述第二预测标签以及所述源域人脸特征对应的身份标签，确定第二分类损失；
第三输入单元，用于将所述源域人脸特征分别输入所述待训练部分以及所述待训练部分对应的初始部分，得到预估特征以及初始特征，并基于所述预估特征以及所述初始特征，确定约束损失，其中，所述初始部分为所述待训练部分的模型参数固定为基于所述全量人脸图像样本训练后的模型参数时对应的模型部分；
参数调整单元，用于基于所述第一分类损失、所述第二分类损失及所述约束损失，调整所述待训练部分的模型参数。
可选的，所述装置还包括：
目标域样本聚模块，用于在所述将所述目标人脸图像样本输入所述参数固定部分和所述待训练部分，得到第一预测标签的步骤之前，对所述目标人脸图像样本进行聚类，确定每个目标人脸图像样本对应的伪标签，其中，所述伪标签用于标识对应的目标人脸图像样本所属的人员身份。
可选的，所述参数调整单元包括：
损失函数值计算子单元，用于基于所述第一分类损失、所述第二分类损失及所述约束损失，按照以下公式计算得到损失函数值L：
L＝Lc1+Lc2+λLkd
其中，Lc1为所述第一分类损失，Lc2为所述第二分类损失，Lkd为所述约束损失，λ为预设参数；
参数调整子单元，用于基于所述损失函数值，调整所述待训练部分的模型参数。
可选的，所述第三输入单元包括：
约束损失计算子单元，用于基于所述预估特征以及所述初始特征，按照以下公式计算得到所述约束损失Lkd：
Figure BDA0003442056690000051
其中，n为所述源域人脸特征的数量，Fi为第i个源域人脸特征对应的初始特征，
Figure BDA0003442056690000061
为第i个源域人脸特征对应的预估特征。
可选的，所述特征确定单元包括：
特征降维子单元，用于对所述中间层输出的人脸特征进行降维处理，得到降维后的人脸特征，作为源域人脸特征；
所述装置还包括：
特征恢复模块，用于在所述基于所述目标人脸图像样本以及所述源域人脸特征，调整所述初始化识别模型的部分模型参数的步骤之前，对所述源域人脸特征进行维度恢复处理，得到恢复后的源域人脸特征。
可选的，所述装置还包括：
待识别人脸图像获取模块，用于获取所述目标域的待识别人脸图像；
身份确定模块，用于基于所述人脸识别模型对所述待识别人脸图像进行识别，确定所述待识别人脸图像对应的身份。
第三方面，本发明实施例提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现上述第一方面任一所述的方法步骤。
第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面任一所述的方法步骤。
本发明实施例有益效果：
本发明实施例提供的方案中，电子设备可以获取源域人脸特征以及初始化识别模型，其中，初始化识别模型基于源域的全量人脸图像样本训练得到，源域人脸特征为通过初始化识别模型获得的全量人脸图像样本的人脸特征；获取目标域的目标人脸图像样本，其中，目标人脸图像样本对应的身份标签未知；基于目标人脸图像样本以及源域人脸特征，调整初始化识别模型的部分模型参数，直到初始化识别模型收敛，得到针对源域和目标域的人脸识别模型。初始化模型在使用源域的全量人脸图像样本训练后，保存部分源域人脸特征，并固定初始化模型的部分参数。进而，使用目标域的目标人脸图像样本和源域人脸特征训练对该初始化模型进行进一步训练后，得到针对源域和目标域的人脸识别模型。该人脸识别模型既保持了对源域全量人脸图像的识别能力，同时又可以准确识别目标域的目标人脸图像，在无法同时使用源域和目标域的人脸数据对人脸识别模型进行训练的情况下，能够准确识别人脸图像，提高了人脸识别模型的识别能力和精度。当然，实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的实施例。
图1为本发明实施例所提供的一种人脸识别模型的训练方法的流程图；
图2为基于图1所示实施例中步骤S101的获取源域人脸特征的一种具体流程图；
图3为基于图1所示实施例中步骤S103的调整初始化识别模型的部分模型参数的一种具体流程图；
图4为基于图1所示实施例的使用目标人脸图像样本和源域人脸特征对初始化识别模型进行训练的一种示意图；
图5为基于图1所示实施例的特征提取和特征降维处理的一种示意图；
图6为基于图1所示实施例的一种确定人脸图像的身份的一种具体流程图；
图7为本发明实施例所提供的一种人脸识别模型的训练装置的结构示意图；
图8为基于图7所示实施例的增量训练模块的一种具体结构示意图；
图9为本发明实施例所提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员基于本发明所获得的所有其他实施例，都属于本发明保护的范围。
为了在无法同时使用源域和目标域的人脸数据对人脸识别模型进行训练的场景下，能够使得训练得到的人脸识别模型既可以保持源域的性能，又可以提升其在目标域的性能，提高人脸识别模型的识别能力和精度，本发明实施例提供了一种人脸识别模型的训练方法、装置、电子设备、计算机可读存储介质以及计算机程序产品，下面首先对本发明实施例所提供的一种人脸识别模型的训练方法进行介绍。
本发明实施例所提供的人脸识别模型的训练方法可以应用于任意能够进行人脸识别模型训练的电子设备，例如，可以为各种用于模型训练的计算设备，可以为各种园区的出入口闸机对应的服务器，可以为安保系统中人脸识别设备的服务器等，在此不做具体限定。为了描述清楚，后续称为电子设备。
如图1所示，一种人脸识别模型的训练方法，所述方法包括：
S101，获取源域人脸特征以及初始化识别模型；
其中，所述初始化识别模型基于源域的全量人脸图像样本训练得到，所述源域人脸特征为通过所述初始化识别模型获得的所述全量人脸图像样本的人脸特征。
S102，获取目标域的目标人脸图像样本；
其中，所述目标人脸图像样本对应的身份标签未知。
S103，基于所述目标人脸图像样本以及所述源域人脸特征，调整所述初始化识别模型的部分模型参数，直到所述初始化识别模型收敛，得到针对源域和目标域的人脸识别模型。
可见，本发明实施例提供的方案中，电子设备可以获取源域人脸特征以及初始化识别模型，其中，初始化识别模型基于源域的全量人脸图像样本训练得到，源域人脸特征为通过初始化识别模型获得的全量人脸图像样本的人脸特征；获取目标域的目标人脸图像样本，其中，目标人脸图像样本对应的身份标签未知；基于目标人脸图像样本以及源域人脸特征，调整初始化识别模型的部分模型参数，直到初始化识别模型收敛，得到针对源域和目标域的人脸识别模型。初始化模型在使用源域的全量人脸图像样本训练后，保存部分源域人脸特征，并固定初始化模型的部分参数。进而，使用目标域的目标人脸图像样本和源域人脸特征训练对该初始化模型进行进一步训练后，得到针对源域和目标域的人脸识别模型。该人脸识别模型既保持了对源域全量人脸图像的识别能力，同时又可以准确识别目标域的目标人脸图像，在无法同时使用源域和目标域的人脸数据对人脸识别模型进行训练的情况下，能够准确识别人脸图像，提高了人脸识别模型的识别能力和精度。
基于深度学习的人脸识别模型对常规场景的人脸识别性能已经比较优秀了，但是在一些特殊的场景，比如小孩人脸识别、低画质人脸识别和戴口罩的人脸识别等场景中，人脸识别的性能还有一定的上升空间。例如，卷积神经网络是一种常用的用于人脸识别的深度学习网络，卷积神经网络进行训练时，由于数据隐私或训练资源等问题，不同场景中的人脸图像无法同时进行训练。卷积神经网络的训练还具有灾难性遗忘的特性，灾难性遗忘是指通过训练已经获取部分人脸识别能力的人脸识别模型在学习识别新的人脸图像时，忘记或丧失了以前获取的部分人脸识别能力。
为了人脸识别模型能够准确识别人脸图像，需要使用全量人脸数据对模型进行训练。然而由于数据隐私等方面的原因，可能无法获得全量人脸数据，使用这样的非全量人脸数据对模型进行训练，得到的人脸识别模型的人脸识别性能会非常差。例如，人脸识别模型为基于卷积神经网络的模型，人脸数据为佩戴口罩的人脸图像时，由于存在灾难性遗忘的特性，如果只使用这些佩戴口罩的人脸图像对人脸识别模型进行常规训练，得到的人脸识别模型几乎不能识别未佩戴口罩的人脸图像，识别能力和精度非常差。
在无法同时使用源域和目标域的人脸数据对人脸识别模型进行训练的情况下，为了能够准确识别目标域的人脸图像，电子设备可以使用域适应增量学习的方式对人脸识别模型进行训练。本发明实施例中，用于训练人脸识别模型的人脸数据可以分为源域的全量人脸图像样本和目标域的目标人脸图像样本，其中，全量人脸图像样本为身份信息已知的人脸图像；目标域的目标人脸图像样本为待识别人员的人脸图像样本，目标人脸图像样本对应的身份标签未知。
域适应是源域和目标域对应的数据分布不同，但任务相同的一种迁移学习方法。例如，在本实施例中，全量人脸图像样本和目标人脸图像样本虽然分布不同，但是任务都是用来训练人脸识别模型的。增量学习是指能不断从新样本中学习新的知识，并能保存大部分已经学习到知识的学习方法。例如，在本实施例中，使用源域的全量人脸图像样本对初始化模型进行训练后，进一步使用目标域的目标人脸图像样本对初始化模型进行训练得到人脸识别模型，人脸识别模型可以保留对源域的人脸图像的识别能力，还增强了对目标域的目标人脸图像的识别能力。
在上述步骤S101中，电子设备可以获取源域人脸特征以及初始化识别模型，其中，初始化识别模型是基于源域的全量人脸图像样本训练得到的。全量人脸图像样本可以为CASIA、VGGFace2或MS1MV2等，在此不做限定。源域的全量人脸图像样本的身份信息是已知的，即全量人脸图像样本的身份标签已知。在对初始化模型进行训练时，将源域的全量人脸图像样本输入初始化模型后，初始化模型可以得到全量人脸图像样本的预测标签，基于预测标签和全量人脸图像样本的身份标签，电子设备可以按照以下公式计算得到分类损失：
Figure BDA0003442056690000101
其中Lc为使用的交叉熵损失，m表示margin的大小，s表示scale值的大小，θ表示权重和特征之间的夹角，i表示输入样本的索引，yi表示索引为i的输入样本对应的标签，N表示样本的数量。
进而，基于上述公式计算得到的分类损失，电子设备可以通过调整人脸识别模型的模型参数，来持续减小分类损失，直到源域的全量人脸图像样本的迭代次数达到预设次数，确定初始化模型收敛，得到初始化识别模型。当然，也可以基于初始化模型的损失函数收敛确定初始化模型收敛，得到初始化识别模型，这都是合理的。这样，训练完成的初始化识别模型具有对源域人脸图像的识别能力，也就是具有对普通人的人脸识别能力。
为了使人脸识别模型在增量训练后可以保持对源域人脸图像的识别能力，可以提取源域的全量人脸图像样本的人脸特征，并在增量训练的过程中使用源域人脸特征对初始化识别模型进行训练，使得初始化识别模型更好地保留对源域人脸图像的识别能力。在一种实施方式中，电子设备可以仅存储少量源域人脸特征，例如，在仅有少量存储空间的情况下，电子设备可以将随机挑选的一部分全量人脸图像样本输入初始化识别模型，获取初始化识别模型输出的人脸特征，作为源域人脸特征。
通过初始化训练得到的初始化识别模型已经具有了对源域人脸图像的识别能力，为了增强对目标域人脸图像的识别能力，可以使用目标域的目标人脸图像样本对初始化识别模型进行增量训练。电子设备获取源域人脸特征以及初始化识别模型后，可以获取目标域的目标人脸图像样本，即执行上述步骤S102。
目标域的目标人脸图像样本可以是电子设备采集的，也可以是由外部设备输入电子设备的，在此不做限定。目标人脸图像样本对应的身份标签未知，即目标域的目标人脸图像样本对应的具体身份信息是无法确定的。例如，电子设备获取的目标域的目标人脸图像样本为某产业园区的多个员工的人脸图像，由于隐私保护，这些人脸图像无法确定真实身份，电子设备可以将这些人脸图像进行聚类操作，分别记录每一类人脸图像的标签为“员工A”、“员工B”等，以便在人脸识别的过程中对人员的身份作出判断。
进而，在上述步骤S103中，电子设备可以基于目标人脸图像样本以及源域人脸特征，调整初始化识别模型的部分模型参数，直到初始化识别模型收敛，得到针对源域和目标域的人脸识别模型。
为了保持初始化识别模型对源域人脸图像的识别能力，并且增强对目标域的目标人脸图像的识别能力，初始化识别模型可以包括参数固定部分和参数可调整部分，参数固定部分的模型参数保持不变，这样可以保持初始化识别模型对源域人脸图像的识别能力。
进而，电子设备可以将目标域的目标人脸图像样本和源域人脸特征输入初始化识别模型，并对初始化识别模型进行训练，电子设备可以调整初始化识别模型的部分模型参数，也即参数可调整部分的模型参数，直到初始化识别模型收敛，得到针对源域和目标域的人脸识别模型，针对源域和目标域的人脸识别模型也就具有了对目标域的目标人脸图像的识别能力。
采用本发明实施例所提供的方案，电子设备可以使用源域的全量人脸图像样本对人脸识别模型进行训练，得到的初始化识别模型具有对源域人脸图像的识别能力。在使用目标域的目标人脸图像样本对初始化识别模型进行训练的过程中，通过固定初始化识别模型的部分参数和使用源域人脸特征对初始化识别模型再次训练，得到的针对源域和目标域的人脸识别模型既保持了对源域人脸图像的识别能力，同时又可以准确识别目标域的目标人脸图像。在无法同时使用源域和目标域的人脸数据对人脸识别模型进行训练的情况下，仅采用少量源域人脸特征即可以得到针对源域和目标域的人脸识别模型，训练得到的人脸识别模型既可以保持源域的性能，又可以提升其在目标域的性能，能够准确识别人脸图像，提高了人脸识别模型的识别能力和精度。
作为本发明实施例的一种实施方式，如图2所示，上述获取源域人脸特征的步骤，可以包括：
S201，按照预设筛选策略，对所述全量人脸图像样本进行筛选，得到筛选后的全量人脸图像样本；
其中，预设筛选策略可以使得在筛选后的全量人脸图像样本的数量不变的情况下，筛选后的全量人脸图像样本对应的身份信息数量不小于预设数量。
初始化训练的过程中，对人脸识别模型进行训练的源域的全量人脸图像样本的数据规模通常十分庞大，不利于存储。并且在基于目标人脸图像样本以及源域人脸特征，调整初始化识别模型的部分模型参数的步骤中，并不需要使用所有源域的全量人脸图像样本对应的源域人脸特征，也可以保持初始化识别模型对源域人脸图像的识别能力。所以，为了减小数据存储所需存储空间和人脸识别模型训练所需的计算量，电子设备可以对源域的全量人脸图像样本进行筛选。
例如，针对每一个身份信息对应的源域的全量人脸图像样本，只需要提取三张全量人脸图像样本包含的源域人脸特征，就可以保持初始化识别模型对源域人脸图像的识别能力，那么，可以筛选出每一个身份信息对应的三张全量人脸图像样本用于后续的人脸特征提取。
电子设备可以按照预设筛选策略，对全量人脸图像样本进行筛选，得到筛选后的全量人脸图像样本。在存储空间不变即筛选后的全量人脸图像样本的数量不变的情况下，全量人脸图像样本的类间丰富性越高，初始化识别模型可以更好地维持对源域人脸图像的识别能力。也就是说，可以尽量获取多个身份信息所对应的全量人脸图像样本，而每个身份信息对应的不同状态的全量人脸图像样本可以不必过多，即类间丰富性可以适当减低，从而更好地维持针对目标域的人脸识别模型对源域人脸图像的识别能力。
所以上述预设筛选策略可以为使得筛选后的全量人脸图像样本的数量不变的情况下，筛选后的全量人脸图像样本对应的身份信息数量不小于预设数量的策略，其中，预设数量可以根据存储空间、计算量的大小等要求设置，在此不做限定。
在一种实施方式中，电子设备可以从所有全量人脸图像样本中随机选择一定数量的身份信息对应的全量人脸图像样本，然后针对每一个身份信息对应的全量人脸图像样本，从中随机选择一定数量的全量人脸图像样本。例如，电子设备可以先随机选择1000个身份信息对应的全量人脸图像样本，然后针对每一个身份信息对应的全量人脸图像样本，从中随机选择10个全量人脸图像样本。
在另一种实施方式中，针对每一个身份信息对应的全量人脸图像样本，电子设备可以根据各个全量人脸图像样本的人脸特征与特征中心之间的距离来选择全量人脸图像样本，例如，可以选择距离最近的一定数量的全量人脸图像样本。其中，特征中心为这些全量人脸图像样本所属的身份信息对应的分类器向量。与特征中心之间的距离越近，说明全量人脸图像样本的人脸特征标识所属的身份信息的人员的真实人脸特点的准确性越高，因此采用这样的全量人脸图像样本进行后续特征提取，可以更有利于训练得到的人脸识别模型的识别能力。
S202，将所述筛选后的全量人脸图像样本输入所述初始化识别模型，获取所述初始化识别模型的中间层输出的人脸特征。
确定了筛选后的全量人脸图像样本，电子设备可以将筛选后的全量人脸图像样本输入初始化识别模型，得到初始化识别模型的中间层输出的人脸特征。可以采用公式Fi＝f(xi)来表示特征提取操作，其中，Fi表示提取得到的人脸特征，xi表示输入初始化识别模型的全量人脸图像样本，f(x)表示初始化识别模型中进行特征提取所基于的函数。
作为一种实施方式，初始化识别模型可以包括多层，例如，初始化识别模型为残差网络，该残差网络包括四个残差块，在对初始化训练进行增量训练过程中，可以固定前三个残差块的模型参数，只调整第四个残差块的模型参数。那么，电子设备可以获取初始化识别模型的第三个残差块输出的人脸特征。
S203，基于所述中间层输出的人脸特征，确定源域人脸特征。
电子设备获取初始化识别模型的中间层输出的人脸特征后，可以确定源域人脸特征。在一种实施方式中，电子设备可以将该中间层输出的人脸特征作为源域人脸特征。在另一种实施方式中，电子设备可以对该中间层输出的人脸特征进行降维处理，得到降维处理后的人脸特征，作为源域人脸特征，以便于进行存储。
在本实施例中，电子设备可以对全量人脸图像样本进行筛选，并基于筛选后的全量人脸图像样本确定源域人脸特征，源域人脸特征有利于维持针对目标域的人脸识别模型对源域人脸图像的识别能力。通过筛选源域的全量人脸图像样本，在不降低人脸识别模型对源域人脸图像的识别能力的基础上，降低了人脸识别模型训练所需的数据存储空间和计算量。
作为本发明实施例的一种实施方式，上述初始化识别模型可以包括参数固定部分和待训练部分。
为了维持人脸识别模型对源域人脸图像的识别能力，基于源域的全量人脸图像样本训练，得到的初始化识别模型后，可以将初始化识别模型分为参数固定部分和待训练部分，在使用目标人脸图像样本以及源域人脸特征训练初始化识别模型的过程中，参数固定部分的模型参数不再进行调整，以保持人脸识别模型对于源域的人脸图像的识别能力。而待训练部分的模型参数进行调整，以使得训练得到的人脸识别模型对于目标域的人脸图像的识别能力也是较强的。
在一种实施方式中，源域人脸特征为初始化识别模型的中间层输出的人脸特征，那么，初始化识别模型的参数固定部分可以与源域人脸特征相一致，即为处理得到源域人脸特征的模型部分。例如，初始化识别模型为残差网络，该残差网络包括四个残差块，源域人脸特征是第三个残差块输出的。那么，初始化识别模型的参数固定部分可以包括前三个残差块，待训练部分包括第四个残差块和分类器。
相应的，如图3所示，上述基于所述目标人脸图像样本以及所述源域人脸特征，调整所述初始化识别模型的部分模型参数的步骤，可以包括：
S301，将所述目标人脸图像样本输入所述参数固定部分和所述待训练部分，得到第一预测标签，并基于所述第一预测标签以及所述目标人脸图像样本对应的伪标签，确定第一分类损失。
基于目标人脸图像样本以及源域人脸特征，对初始化识别模型进行增量训练，具体可以采用教师学生网络的方式进行训练，学生网络即人脸识别模型可以使用少量的存储特征即上述源域人脸特征，对教师网络即初始化识别模型进行增量训练，使得学生网络获得教师网络相近的性能，即保持对源域人脸图像的识别能力。增量训练过程中，使用目标域的目标人脸图像样本对学生网络进行进一步训练，使得其能够具有针对目标域的目标人脸图像的识别能力。
由于目标域的目标人脸图像样本对应的身份标签未知，电子设备可以在获取目标域的目标人脸图像样本后，确定每个目标人脸图像样本对应的伪标签，伪标签用于标识对应的目标人脸图像样本所属的人员身份，但是并不是目标人脸图像样本所属的人员的真实身份。例如，伪标签可以为A、B、C，或者11、12、13等，在此不做限定。
为了提高人脸识别模型对目标域人脸图像的识别能力，电子设备可以将每个目标人脸图像样本输入参数固定部分和待训练部分，得到第一预测标签，进而，基于第一预测标签与目标人脸图像样本对应的伪标签之间差异，电子设备可以计算出目标人脸图像样本对应的分类损失，即第一分类损失。该第一分类损失可以表征当前的人脸识别模型对于目标域的人脸图像的识别结果与真实结果之间的差异。
S302，将所述源域人脸特征输入所述待训练部分，得到第二预测标签，并基于所述第二预测标签以及所述源域人脸特征对应的身份标签，确定第二分类损失。
为了维持人脸识别模型对源域人脸图像的识别能力，电子设备可以将源域人脸特征输入待训练部分，得到待训练部分输出的第二预测标签。由于源域人脸特征对应的全量人脸图像样本的身份标签是已知的，所以电子设备可以基于第二预测标签与源域人脸特征对应的身份标签之间差异，计算出该源域人脸特征对应的分类损失，即第二分类损失。该第二分类损失可以表征当前的人脸识别模型对于源域的人脸图像的识别结果与真实结果之间的差异。
S303，将所述源域人脸特征分别输入所述待训练部分以及所述待训练部分对应的初始部分，得到预估特征以及初始特征，并基于所述预估特征以及所述初始特征，确定约束损失；
其中，初始部分为待训练部分的模型参数固定为基于全量人脸图像样本训练后的模型参数时对应的模型部分。
电子设备可以固定待训练部分的模型参数，固定的模型参数为基于全量人脸图像样本训练后的初始化识别模型的待训练部分的模型参数，初始化识别模型的待训练部分的模型参数固定后，即为初始部分。例如，初始化识别模型为残差网络，该残差网络包括四个残差块，固定前三个残差块的模型参数，只调整第四个残差块的模型参数，待训练部分则包括该第四个残差块，将第四个残差块的模型参数固定为与初始化模型对应的该部分的参数，即为初始部分。
电子设备可以将源域人脸特征输入待训练部分，待训练部分可以基于当前模型参数，对源域人脸特征进行进一步的特征提取，得到预估特征。将源域人脸特征输入待训练部分对应的初始部分，该初始部分可以基于固定的模型参数，对源域人脸特征进行进一步的特征提取，得到初始特征。
进而，电子设备可以基于预估特征与初始特征之间的差异，计算得到约束损失。该约束损失可以表征待训练部分提取得到的人脸特征与初始化模型中模型参数固定的相应部分提取得到的人脸特征之间差异，可以作为一种约束条件来监督人脸识别模型的训练。
S304，基于所述第一分类损失、所述第二分类损失及所述约束损失，调整所述待训练部分的模型参数。
得到上述第一分类损失、第二分类损失及约束损失后，电子设备便可以基于第一分类损失、第二分类损失及约束损失，调整待训练部分的模型参数，以对初始化识别模型进行训练，直到目标人脸图像样本和源域人脸特征的迭代次数达到预设次数，确定初始化模型收敛。
在另一种实施方式中，可以基于第一分类损失、第二分类损失及约束损失计算得到人脸识别模型的损失函数值，基于该损失函数值调整待训练部分的模型参数，直到人脸识别模型的损失函数收敛，确定初始化识别模型收敛。
其中，模型参数调整的具体方式可以采用梯度下降算法、随机梯度下降算法等，在此不做具体限定及说明。
由于第一分类损失可以表征当前的人脸识别模型对于目标域的人脸图像的识别结果与真实结果之间的差异，第二分类损失可以表征当前的人脸识别模型对于源域的人脸图像的识别结果与真实结果之间的差异，约束损失可以表征待训练部分提取得到的人脸特征与初始化模型中模型参数固定的相应部分提取得到的人脸特征之间差异，所以基于第一分类损失、第二分类损失及约束损失调整待训练部分的模型参数，可以使得人脸识别模型对于目标域的人脸图像的识别结果与真实结果之间的差异越来越小，并且保持对源域的人脸图像的识别结果的准确度。
在本实施例中，电子设备可以使用源域人脸特征对初始化识别模型进行训练，来保持人脸识别模型对源域人脸图像的识别能力，电子设备可以使用目标域的目标人脸图像样本对初始化识别模型进行训练，来提高人脸识别模型对目标域人脸图像的识别能力。通过固定初始化识别模型的部分模型参数，更好地保持了人脸识别模型对源域人脸图像的识别能力，并提高人脸识别模型对目标域的目标人脸图像的识别能力。
下面结合图4对本发明实施例所提供基于目标人脸图像样本以及源域人脸特征，调整初始化识别模型的部分模型参数的流程进行举例介绍，其中，conv为初始化识别模型的卷积层，bn表示对数据进行批量标准化，relu和tanh为激活函数层使用的激活函数，residual block为初始化识别模型的残差块，参数固定部分包括前三层残差块，待训练部分包括第四层残差块和分类器，初始部分为固定了模型参数的第四层残差块。
电子设备可以将目标人脸图像样本输入参数固定部分和待训练部分，得到第一预测标签，并基于第一预测标签以及目标人脸图像样本对应的伪标签，确定第一分类损失。
电子设备可以将降维得到的源域人脸特征进行维度恢复处理，得到恢复后的源域人脸特征，并将恢复后的源域人脸特征输入待训练部分，得到第二预测标签，并基于第二预测标签以及源域人脸特征对应的身份标签，确定第二分类损失。
电子设备可以将恢复后的源域人脸特征分别输入待训练部分以及待训练部分对应的初始部分，得到预估特征以及初始特征，并基于预估特征以及初始特征，确定约束损失。
进而，电子设备可以基于第一分类损失、第二分类损失及约束损失计算得到人脸识别模型的损失函数，调整待训练部分的模型参数直到初始化识别模型收敛，得到针对源域和目标域的人脸识别模型。
由于上述各个流程的具体实施方式已在上述各实施例中进行了介绍，在此不再赘述。在本实施例中，通过固定初始化识别模型的部分参数和使用源域人脸特征对初始化识别模型再次训练，使得得到的针对目标域的人脸识别模型保持了对源域人脸图像的识别能力，也增强了目标域人脸图像的识别能力。在无法同时使用源域和目标域的人脸数据对人脸识别模型进行训练的情况下，能够准确识别人脸图像，提高了人脸识别模型的识别能力和精度。
作为本发明实施例的一种实施方式，在上述将所述目标人脸图像样本输入所述参数固定部分和所述待训练部分，得到第一预测标签的步骤之前，上述方法还可以包括：
对所述目标人脸图像样本进行聚类，确定每个目标人脸图像样本对应的伪标签。
由于目标域的目标人脸图像样本对应的身份标签未知，初始化识别模型无法使用这样的目标人脸图像样本进行训练，电子设备可以对目标域的目标人脸图像样本进行聚类处理，确定每个目标人脸图像样本对应的伪标签。
聚类处理可以按照人脸特征的相似度，将目标人脸图像样本按照所属身份进行分类，从而得到多组目标人脸图像样本，其中，每一组目标人脸图像样本属于同一个人员，电子设备可以给各组目标人脸图像样本打上伪标签，用于标识对应的目标人脸图像样本所属的人员身份。
在一种实施方式中，可以使用k-means++(K均值)聚类算法对目标人脸图像样本进行聚类，得到多个类别，并确定各个类别所包括的每个目标人脸图像样本的伪标签。电子设备还还可以采用高斯混合模型的最大期望聚类、凝聚层次聚类、均值漂移聚类等方式对目标人脸图像样本进行聚类，在此不做限定。
例如，目标域的目标人脸图像样本为某个工厂的工作人员的人脸图像，对目标人脸图像样本进行聚类，将目标人脸图像样本分为多组，每组目标人脸图像样本为一个工厂工作人员的人脸图像，电子设备可以确定各组目标人脸图像样本的伪标签为A、B、C，或者11、12、13等，在此不做限定。
在本实施例中，电子设备可以对目标人脸图像样本进行聚类，确定每个目标人脸图像样本对应的伪标签，从而在无法获知目标人脸图像样本所属人员的真实身份的情况下，也可以确定准确的伪标签来标识对应的目标人脸图像样本所属的人员身份。
作为本发明实施例的一种实施方式，上述基于所述第一分类损失、所述第二分类损失及所述约束损失，调整所述待训练部分的模型参数的步骤，可以包括：
基于所述第一分类损失、所述第二分类损失及所述约束损失，按照以下公式计算得到损失函数值L：L＝Lc1+Lc2+λLkd；基于所述损失函数值，调整所述待训练部分的模型参数。
其中，Lc1为上述第一分类损失，Lc2为上述第二分类损失，Lkd为上述约束损失，λ为预设参数。
通过对第一分类损失、第二分类损失、预设参数的约束损失进行求和，得到的损失函数值可以准确表征目标域的人脸图像的识别结果与真实结果之间的差异、源域的人脸图像的识别结果与真实结果之间的差异和待训练部分提取得到的人脸特征与初始化模型中模型参数固定的相应部分提取得到的人脸特征之间差异。因此，电子设备可以采用上述公式来计算损失函数值L，并基于损失函数值L，调整待训练部分的模型参数，以得到识别能力较强的人脸识别模型。
其中，预设参数λ的值可以根据训练过程中损失函数值的变化结合实际经验设置，在此不做具体限定。
在本实施例中，电子设备可以基于第一分类损失、第二分类损失及约束损失，按照公式计算得到损失函数值。并基于损失函数值，调整待训练部分的模型参数，以使初始化识别模型收敛。通过上述公式，电子设备可以准确计算损失函数值，增强了初始化识别模型的训练效果，提高了人脸识别模型对源域人脸图像的识别效果，也使得人脸识别模型在识别目标域人脸图像具有更优异的性能。
作为本发明实施例的一种实施方式，上述基于所述预估特征以及所述初始特征，确定约束损失的步骤，可以包括：
基于所述预估特征以及所述初始特征，按照以下公式计算得到所述约束损失Lkd：
Figure BDA0003442056690000201
其中，n为所述源域人脸特征的数量，Fi为第i个源域人脸特征对应的初始特征，
Figure BDA0003442056690000202
为第i个源域人脸特征对应的预估特征。
通过计算每一个源域人脸特征对应的初始特征和源域人脸特征对应的预估特征的差值，可以得出待训练部分提取得到的每一个人脸特征与初始化模型中模型参数固定的相应部分提取得到的人脸特征之间差异，进而，通过计算各个源域人脸特征对应的差异值的方差，得到的约束损失可以准确地表征预估特征与初始特征的差异程度。因此，电子设备可以采用上述公式计算约束损失，以保证可以计算得到准确的损失函数值。
在本实施例中，电子设备可以计算每一个源域人脸特征经过模型训练后的约束损失，并由此计算出初始化识别模块约束损失。通过上述公式，电子设备可以准确计算约束损失，并将该约束损失作为监督来调整待训练部分的模型参数，可以得到准确性更高的人脸识别模型。
作为本发明实施例的一种实施方式，上述基于所述中间层输出的人脸特征，确定源域人脸特征的步骤，可以包括：
对所述中间层输出的人脸特征进行降维处理，得到降维后的人脸特征，作为源域人脸特征。
由于源域人脸特征是初始化识别模型的中间层输出的，特征维度较高，从而导致存储源域人脸特征需要较大的存储空间。为节省存储空间，电子设备可以对该中间层输出的人脸特征进行降维处理，从而在基本保持特征信息量的情况下，明显降低存储源域人脸特征所需的存储空间。
例如，可以采用PCA(Principal Component Analysis，主成分分析)降维法等，对中间层输出的人脸特征进行降维处理，得到降维后的人脸特征，作为源域人脸特征。PCA降维的核心操作为SVD(Singular ValueDecomposition，奇异值分解)，SVD可以使用公式化表示为：AAT＝U∑2UT，其中，A为待分解的矩阵，AT为A的转置矩阵，U为A的左奇异矩阵，UT为U的转置矩阵，∑为包含对应特征值的对角矩阵。PCA降维法可以将原始数据中具有相关性的某些维度删除，在对数据进行降维的同时，最大化保留数据携带的信息量。
在一种实施方式中，由源域的全量人脸图像样本获取源域人脸特征并进行降维处理的过程可以如图5所示，其中，初始化识别模型可以为卷积神经网络，conv为卷积神经网络的卷积层，bn表示对数据进行批量标准化，relu和tanh为激活函数层使用的激活函数，residual block为卷积神经网络的残差块。参数固定部分包括前三层残差块，第四层残差块的模块参数可以改变，用于初始化模型训练，将源域的全量人脸图像样本输入卷积神经网络后，电子设备可以提取参数固定部分中间层输出的人脸特征，进而通过降维处理，得到降维后的人脸特征。
相应的，在上述基于所述目标人脸图像样本以及所述源域人脸特征，调整所述初始化识别模型的部分模型参数的步骤之前，所述方法还可以包括：
对所述源域人脸特征进行维度恢复处理，得到恢复后的源域人脸特征。
为了尽量保持人脸识别模型对目标域人脸图像的识别能力，由于源域人脸特征是降维处理得到的，所以在基于目标人脸图像样本以及源域人脸特征，调整初始化识别模型的部分模型参数的步骤之前，电子设备可以对源域人脸特征进行维度恢复处理，得到恢复后的源域人脸特征，恢复后的源域人脸特征维度与参数固定部分中间层输出的人脸特征的维度相同。
在本实施例中，电子设备可以对中间层输出的人脸特征进行降维处理，并在基于目标人脸图像样本以及源域人脸特征，调整初始化识别模型的部分模型参数的步骤之前，对降维处理后的源域人脸特征进行维度恢复处理。从而在基本不影响人脸识别模型对目标域人脸图像的识别能力的基础上，可以明显降低存储源域人脸特征所需的存储空间。
作为本发明实施例的一种实施方式，如图6所示，上述方法还可以包括：
S601，获取所述目标域的待识别人脸图像。
在对初始化识别模型进行训练，得到了针对目标域的人脸识别模型后，由于该人脸识别模型可以识别目标域的人脸图像，还保持了对源域的人脸图像识别的能力，电子设备可以将该人脸识别模型部署于实际应用场景中，即目标域场景，进而获取目标域的待识别人脸图像。
例如，该人脸识别模型用于园区的出入口闸机的人脸识别时，可以将闸机中的原有模型换为该人脸识别模型，该人脸识别模型在园区人员的人脸识别中具有更优异的性能，同时也基本保持了对非园区人员的人脸识别的能力。那么，在人员想要出入闸机时，电子设备可以采集人员的人脸图像，作为目标域的待识别人脸图像。
S602，基于所述人脸识别模型对所述待识别人脸图像进行识别，确定所述待识别人脸图像对应的身份。
进而，电子设备可以基于人脸识别模型对待识别人脸图像进行识别，确定待识别人脸图像对应的身份。电子设备可以在识别待识别人脸图像后，可以确定待识别人脸图像对应的身份标识，并根据不同身份标识执行不同的操作。例如，电子设备可以根据待识别人脸图像对应的身份标识，控制闸机做出开门或保持关闭等动作。
例如，训练时目标人脸图像样本对应的伪标签为“人员A”、“人员B”等，在电子设备识别出待识别人脸图像对应的身份为“人员B”后，可以确定该人员为产业园区内人员，具有通行权限，那么电子设备可以控制闸机开门；如果识别出待识别人脸图像对应的身份为刘XX，可以确定该人员不为产业园区内人员，而是园区外的某一个人，不具有通行权限，那么电子设备可以控制闸机保持关闭。
在本实施例中，电子设备既可以识别目标域的目标人脸图像，又保留了对源域人脸图像的识别能力。进而，无论是源域还是目标域对应的人员，均可以基于人脸识别模型对待识别人脸图像进行识别，准确确定待识别人脸图像对应的身份。
相应于上述人脸识别模型的训练方法，本发明实施例还提供了一种人脸识别模型的训练装置，下面对本发明实施例所提供的一种人脸识别模型的训练装置进行介绍。
如图7所示，一种人脸识别模型的训练装置，所述装置包括：
初始化训练模块701，用于获取源域人脸特征以及初始化识别模型；
其中，所述初始化识别模型基于源域的全量人脸图像样本训练得到，所述源域人脸特征为通过所述初始化识别模型获得的所述全量人脸图像样本的人脸特征。
目标域样本获取模块702，用于获取目标域的目标人脸图像样本；
其中，所述目标人脸图像样本对应的身份标签未知。
增量训练模块703，用于基于所述目标人脸图像样本以及所述源域人脸特征，调整所述初始化识别模型的部分模型参数，直到所述初始化识别模型收敛，得到针对源域和目标域的人脸识别模型。
可见，本发明实施例提供的方案中，电子设备可以获取源域人脸特征以及初始化识别模型，其中，初始化识别模型基于源域的全量人脸图像样本训练得到，源域人脸特征为通过初始化识别模型获得的全量人脸图像样本的人脸特征；获取目标域的目标人脸图像样本，其中，目标人脸图像样本对应的身份标签未知；基于目标人脸图像样本以及源域人脸特征，调整初始化识别模型的部分模型参数，直到初始化识别模型收敛，得到针对源域和目标域的人脸识别模型。初始化模型在使用源域的全量人脸图像样本训练后，保存部分源域人脸特征，并固定初始化模型的部分参数。进而，使用目标域的目标人脸图像样本和源域人脸特征训练对该初始化模型进行进一步训练后，得到针对源域和目标域的人脸识别模型。该人脸识别模型既保持了对源域全量人脸图像的识别能力，同时又可以准确识别目标域的目标人脸图像，在无法同时使用源域和目标域的人脸数据对人脸识别模型进行训练的情况下，能够准确识别人脸图像，提高了人脸识别模型的识别能力和精度。
作为本发明实施例的一种实施方式，上述初始化训练模块701可以包括：
样本筛选单元，用于按照预设筛选策略，对所述全量人脸图像样本进行筛选，得到筛选后的全量人脸图像样本；
其中，所述预设筛选策略使得所述筛选后的全量人脸图像样本的数量不变的情况下，所述筛选后的全量人脸图像样本对应的身份信息数量不小于预设数量。
特征获取单元，用于将所述筛选后的全量人脸图像样本输入所述初始化识别模型，获取所述初始化识别模型的中间层输出的人脸特征。
特征确定单元，用于基于所述中间层输出的人脸特征，确定源域人脸特征。
作为本发明实施例的一种实施方式，上述初始化识别模型包括参数固定部分和待训练部分；
如图8所示，上述增量训练模块703可以包括：
第一输入单元801，用于将所述目标人脸图像样本输入所述参数固定部分和所述待训练部分，得到第一预测标签，并基于所述第一预测标签以及所述目标人脸图像样本对应的伪标签，确定第一分类损失。
第二输入单元802，用于将所述源域人脸特征输入所述待训练部分，得到第二预测标签，并基于所述第二预测标签以及所述源域人脸特征对应的身份标签，确定第二分类损失。
第三输入单元803，用于将所述源域人脸特征分别输入所述待训练部分以及所述待训练部分对应的初始部分，得到预估特征以及初始特征，并基于所述预估特征以及所述初始特征，确定约束损失；
其中，所述初始部分为所述待训练部分的模型参数固定为基于所述全量人脸图像样本训练后的模型参数时对应的模型部分。
参数调整单元804，用于基于所述第一分类损失、所述第二分类损失及所述约束损失，调整所述待训练部分的模型参数。
作为本发明实施例的一种实施方式，上述装置还可以包括：
目标域样本聚类模块，用于在所述将所述目标人脸图像样本输入所述参数固定部分和所述待训练部分，得到第一预测标签的步骤之前，对所述目标人脸图像样本进行聚类，确定每个目标人脸图像样本对应的伪标签；
其中，所述伪标签用于标识对应的目标人脸图像样本所属的人员身份。
作为本发明实施例的一种实施方式，上述参数调整单元804可以包括：
损失函数值计算子单元，用于基于所述第一分类损失、所述第二分类损失及所述约束损失，按照以下公式计算得到损失函数值L：
L＝Lc1+Lc2+λLkd
其中，Lc1为所述第一分类损失，Lc2为所述第二分类损失，Lkd为所述约束损失，λ为预设参数。
参数调整子单元，用于基于所述损失函数值，调整所述待训练部分的模型参数。
作为本发明实施例的一种实施方式，上述第三输入单元803可以包括：
约束损失计算子单元，用于基于所述预估特征以及所述初始特征，按照以下公式计算得到所述约束损失Lkd：
Figure BDA0003442056690000251
其中，n为所述源域人脸特征的数量，Fi为第i个源域人脸特征对应的初始特征，
Figure BDA0003442056690000252
为第i个源域人脸特征对应的预估特征。
作为本发明实施例的一种实施方式，上述特征确定单元可以包括：
特征降维子单元，用于对所述中间层输出的人脸特征进行降维处理，得到降维后的人脸特征，作为源域人脸特征。
上述装置还可以包括：
特征恢复模块，用于在所述基于所述目标人脸图像样本以及所述源域人脸特征，调整所述初始化识别模型的部分模型参数的步骤之前，对所述源域人脸特征进行维度恢复处理，得到恢复后的源域人脸特征。
作为本发明实施例的一种实施方式，上述装置还可以包括：
待识别人脸图像获取模块，用于获取所述目标域的待识别人脸图像；
身份确定模块，用于基于所述人脸识别模型对所述待识别人脸图像进行识别，确定所述待识别人脸图像对应的身份。
本发明实施例还提供了一种电子设备，如图9所示，包括处理器901、通信接口902、存储器903和通信总线904，其中，处理器901，通信接口902，存储器903通过通信总线904完成相互间的通信，
存储器903，用于存放计算机程序；
处理器901，用于执行存储器903上所存放的程序时，实现上述任一实施例所述的方法步骤。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一实施例所述的方法的步骤。
在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述任一实施例所述的方法步骤。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、电子设备、计算机可读存储介质以及计算机程序产品实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (10)

1.一种人脸识别模型的训练方法，其特征在于，所述方法包括：
获取源域人脸特征以及初始化识别模型，其中，所述初始化识别模型基于源域的全量人脸图像样本训练得到，所述源域人脸特征为通过所述初始化识别模型获得的所述全量人脸图像样本的人脸特征；
获取目标域的目标人脸图像样本，其中，所述目标人脸图像样本对应的身份标签未知；
基于所述目标人脸图像样本以及所述源域人脸特征，调整所述初始化识别模型的部分模型参数，直到所述初始化识别模型收敛，得到针对源域和目标域的人脸识别模型。
2.根据权利要求1所述的方法，其特征在于，所述获取源域人脸特征的步骤，包括：
按照预设筛选策略，对所述全量人脸图像样本进行筛选，得到筛选后的全量人脸图像样本，其中，所述预设筛选策略使得所述筛选后的全量人脸图像样本的数量不变的情况下，所述筛选后的全量人脸图像样本对应的身份信息数量不小于预设数量；
将所述筛选后的全量人脸图像样本输入所述初始化识别模型，获取所述初始化识别模型的中间层输出的人脸特征；
基于所述中间层输出的人脸特征，确定源域人脸特征。
3.根据权利要求1所述的方法，其特征在于，所述初始化识别模型包括参数固定部分和待训练部分；
所述基于所述目标人脸图像样本以及所述源域人脸特征，调整所述初始化识别模型的部分模型参数的步骤，包括：
将所述目标人脸图像样本输入所述参数固定部分和所述待训练部分，得到第一预测标签，并基于所述第一预测标签以及所述目标人脸图像样本对应的伪标签，确定第一分类损失；
将所述源域人脸特征输入所述待训练部分，得到第二预测标签，并基于所述第二预测标签以及所述源域人脸特征对应的身份标签，确定第二分类损失；
将所述源域人脸特征分别输入所述待训练部分以及所述待训练部分对应的初始部分，得到预估特征以及初始特征，并基于所述预估特征以及所述初始特征，确定约束损失，其中，所述初始部分为所述待训练部分的模型参数固定为基于所述全量人脸图像样本训练后的模型参数时对应的模型部分；
基于所述第一分类损失、所述第二分类损失及所述约束损失，调整所述待训练部分的模型参数。
4.根据权利要求3所述的方法，其特征在于，在所述将所述目标人脸图像样本输入所述参数固定部分和所述待训练部分，得到第一预测标签的步骤之前，所述方法还包括：
对所述目标人脸图像样本进行聚类，确定每个目标人脸图像样本对应的伪标签，其中，所述伪标签用于标识对应的目标人脸图像样本所属的人员身份。
5.根据权利要求3所述的方法，其特征在于，所述基于所述第一分类损失、所述第二分类损失及所述约束损失，调整所述待训练部分的模型参数的步骤，包括：
基于所述第一分类损失、所述第二分类损失及所述约束损失，按照以下公式计算得到损失函数值L：
L＝Lc1+Lc2+λLkd
其中，Lc1为所述第一分类损失，Lc2为所述第二分类损失，Lkd为所述约束损失，λ为预设参数；
基于所述损失函数值，调整所述待训练部分的模型参数。
6.根据权利要求3所述的方法，其特征在于，所述基于所述预估特征以及所述初始特征，确定约束损失的步骤，包括：
基于所述预估特征以及所述初始特征，按照以下公式计算得到所述约束损失Lkd：
Figure FDA0003442056680000021
其中，n为所述源域人脸特征的数量，Fi为第i个源域人脸特征对应的初始特征，
Figure FDA0003442056680000031
为第i个源域人脸特征对应的预估特征。
7.根据权利要求2-6任一项所述的方法，其特征在于，所述基于所述中间层输出的人脸特征，确定源域人脸特征的步骤，包括：
对所述中间层输出的人脸特征进行降维处理，得到降维后的人脸特征，作为源域人脸特征；
在所述基于所述目标人脸图像样本以及所述源域人脸特征，调整所述初始化识别模型的部分模型参数的步骤之前，所述方法还包括：
对所述源域人脸特征进行维度恢复处理，得到恢复后的源域人脸特征。
8.根据权利要求1-6任一项所述的方法，其特征在于，所述方法还包括：
获取所述目标域的待识别人脸图像；
基于所述人脸识别模型对所述待识别人脸图像进行识别，确定所述待识别人脸图像对应的身份。
9.一种人脸识别模型的训练装置，其特征在于，所述装置包括：
初始化训练模块，用于获取源域人脸特征以及初始化识别模型，其中，所述初始化识别模型基于源域的全量人脸图像样本训练得到，所述源域人脸特征为通过所述初始化识别模型获得的所述全量人脸图像样本的人脸特征；
目标域样本获取模块，用于获取目标域的目标人脸图像样本，其中，所述目标人脸图像样本对应的身份标签未知；
增量训练模块，用于基于所述目标人脸图像样本以及所述源域人脸特征，调整所述初始化识别模型的部分模型参数，直到所述初始化识别模型收敛，得到针对源域和目标域的人脸识别模型。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-8任一所述的方法步骤。
CN202111637930.4A 2021-12-29 2021-12-29 人脸识别模型的训练方法、装置、电子设备及存储介质 Pending CN114333013A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202111637930.4A CN114333013A (zh) 2021-12-29 2021-12-29 人脸识别模型的训练方法、装置、电子设备及存储介质
PCT/CN2022/142777 WO2023125654A1 (zh) 2021-12-29 2022-12-28 人脸识别模型的训练方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111637930.4A CN114333013A (zh) 2021-12-29 2021-12-29 人脸识别模型的训练方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN114333013A true CN114333013A (zh) 2022-04-12

Family

ID=81017897

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111637930.4A Pending CN114333013A (zh) 2021-12-29 2021-12-29 人脸识别模型的训练方法、装置、电子设备及存储介质

Country Status (2)

Country Link
CN (1) CN114333013A (zh)
WO (1) WO2023125654A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114998712A (zh) * 2022-08-03 2022-09-02 阿里巴巴（中国）有限公司 图像识别方法、存储介质及电子设备
CN115861302A (zh) * 2023-02-16 2023-03-28 华东交通大学 一种管接头表面缺陷检测方法及系统
WO2023125654A1 (zh) * 2021-12-29 2023-07-06 杭州海康威视数字技术股份有限公司 人脸识别模型的训练方法、装置、电子设备及存储介质
CN117711078A (zh) * 2023-12-13 2024-03-15 西安电子科技大学广州研究院 一种针对人脸识别系统的模型遗忘方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117218515B (zh) * 2023-09-19 2024-05-03 人民网股份有限公司 一种目标检测方法、装置、计算设备和存储介质
CN117217288B (zh) * 2023-09-21 2024-04-05 摩尔线程智能科技(北京)有限责任公司 大模型的微调方法、装置、电子设备和存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112329617B (zh) * 2020-11-04 2022-10-21 中国科学院自动化研究所 基于单张源域样本的新场景人脸识别模型构建方法、系统
CN112395986B (zh) * 2020-11-17 2024-04-26 广州像素数据技术股份有限公司 一种新场景快速迁移且防遗忘的人脸识别方法
CN112801236B (zh) * 2021-04-14 2022-03-11 腾讯科技（深圳）有限公司 图像识别模型的迁移方法、装置、设备及存储介质
CN114333013A (zh) * 2021-12-29 2022-04-12 杭州海康威视数字技术股份有限公司 人脸识别模型的训练方法、装置、电子设备及存储介质

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023125654A1 (zh) * 2021-12-29 2023-07-06 杭州海康威视数字技术股份有限公司 人脸识别模型的训练方法、装置、电子设备及存储介质
CN114998712A (zh) * 2022-08-03 2022-09-02 阿里巴巴（中国）有限公司 图像识别方法、存储介质及电子设备
CN114998712B (zh) * 2022-08-03 2022-11-15 阿里巴巴（中国）有限公司 图像识别方法、存储介质及电子设备
CN115861302A (zh) * 2023-02-16 2023-03-28 华东交通大学 一种管接头表面缺陷检测方法及系统
CN117711078A (zh) * 2023-12-13 2024-03-15 西安电子科技大学广州研究院 一种针对人脸识别系统的模型遗忘方法

Also Published As

Publication number Publication date
WO2023125654A1 (zh) 2023-07-06

Similar Documents

Publication Publication Date Title
CN114333013A (zh) 人脸识别模型的训练方法、装置、电子设备及存储介质
WO2020114378A1 (zh) 视频水印的识别方法、装置、设备及存储介质
Bastani et al. Online nonparametric bayesian activity mining and analysis from surveillance video
US11935298B2 (en) System and method for predicting formation in sports
CN110909784B (zh) 一种图像识别模型的训练方法、装置及电子设备
CN111008575B (zh) 一种基于多尺度上下文信息融合的鲁棒人脸识别方法
Bahaadini et al. Direct: Deep discriminative embedding for clustering of ligo data
CN112749737A (zh) 图像分类方法及装置、电子设备、存储介质
Fischer Training restricted boltzmann machines
CN109462578A (zh) 基于统计学习的威胁情报利用与繁殖方法
Chen et al. Exploring gradient-based multi-directional controls in gans
CN110717407A (zh) 基于唇语密码的人脸识别方法、装置及存储介质
CN113343920A (zh) 人脸识别照片的分类方法、装置、电子设备和存储介质
CN113762005A (zh) 特征选择模型的训练、对象分类方法、装置、设备及介质
Lim et al. More powerful selective kernel tests for feature selection
JP2022519391A (ja) 話者認識システムおよびその使用方法
Cong et al. Exact and consistent interpretation of piecewise linear models hidden behind APIs: A closed form solution
KR102413588B1 (ko) 학습 데이터에 따른 객체 인식 모델 추천 방법, 시스템 및 컴퓨터 프로그램
CN112446428B (zh) 一种图像数据处理方法及装置
CN114463574A (zh) 一种遥感图像的场景分类方法及装置
CN110751197A (zh) 图片分类方法、图片模型训练方法及设备
US20240185604A1 (en) System and method for predicting formation in sports
CN113850302B (zh) 一种增量学习方法、装置及设备
CN116721441B (zh) 基于区块链的门禁安全管理方法与系统
Dastgiri et al. Face Recognition using Machine Learning Algorithms

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination