CN111783600A - 一种人脸识别模型训练方法、装置、设备及介质 - Google Patents
一种人脸识别模型训练方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN111783600A CN111783600A CN202010591958.8A CN202010591958A CN111783600A CN 111783600 A CN111783600 A CN 111783600A CN 202010591958 A CN202010591958 A CN 202010591958A CN 111783600 A CN111783600 A CN 111783600A
- Authority
- CN
- China
- Prior art keywords
- feature
- face recognition
- occlusion
- original
- feature data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012549 training Methods 0.000 title claims abstract description 133
- 238000000034 method Methods 0.000 title claims abstract description 84
- 238000000605 extraction Methods 0.000 claims abstract description 135
- 230000015654 memory Effects 0.000 claims description 20
- 230000036544 posture Effects 0.000 claims description 17
- 208000006440 Open Bite Diseases 0.000 claims description 15
- 230000001815 facial effect Effects 0.000 claims description 12
- 239000000463 material Substances 0.000 claims description 10
- 238000013075 data extraction Methods 0.000 claims description 8
- 230000000903 blocking effect Effects 0.000 claims description 4
- 239000000126 substance Substances 0.000 claims description 4
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 238000013135 deep learning Methods 0.000 abstract description 2
- 230000008569 process Effects 0.000 description 34
- 238000010586 diagram Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 12
- 238000004891 communication Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 208000035473 Communicable disease Diseases 0.000 description 1
- 241000700605 Viruses Species 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 208000015181 infectious disease Diseases 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000000241 respiratory effect Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000007921 spray Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
Abstract
本申请公开了一种人脸识别模型训练方法、装置、设备及介质，涉及人工智能中深度学习、云计算及计算机视觉领域，具体涉及戴口罩领域，具体涉及戴口罩人脸识别方面。具体实现方案为：根据人脸识别模型中的特征提取网络，对样本用户的原始图像和遮挡图像分别进行特征提取，得到原始特征数据和遮挡特征数据；确定所述原始特征数据和所述遮挡特征数据之间的交叉特征距离；根据所述原始特征数据的人脸识别误差、所述遮挡特征数据的人脸识别误差、以及所述交叉特征距离，对所述特征提取网络进行训练。本申请实施例所训练的人脸识别模型，具备了对存在遮挡物的遮挡人脸图像，以及不存在遮挡物的非遮挡人脸图像进行混合人脸识别的能力。
Description
技术领域
本申请涉及图像处理技术领域，尤其涉及人工智能中深度学习、云计算及计算机视觉领域，具体涉及戴口罩人脸识别方面。
背景技术
在呼吸道传染病流行、由粉尘或气味等因素污染的环境中，人们通常会在口鼻部位佩戴口罩用于过滤进入口鼻空气，以达到遮挡有害的气体、气味、飞沫、病毒等物质的作用。
然而，在需要通过人脸识别进行人脸认证的情况下，由于现有的人脸识别系统并不具备对口罩遮挡的人脸进行识别的能力，因此在人脸识别时需要用户摘取口罩加以配合，降低了用户的使用体验。
发明内容
本申请实施例提供了一种具备对遮挡情况下的人脸进行识别能力的人脸识别模型训练方法、装置、设备及介质。
根据本申请的第一方面，提供了一种人脸识别模型训练方法，包括：
根据人脸识别模型中的特征提取网络，对样本用户的原始图像和遮挡图像分别进行特征提取，得到原始特征数据和遮挡特征数据；
确定所述原始特征数据和所述遮挡特征数据之间的交叉特征距离；
根据所述原始特征数据的人脸识别误差、所述遮挡特征数据的人脸识别误差、以及所述交叉特征距离，对所述特征提取网络进行训练。
根据本申请的第二方面，提供了另一种人脸识别模型训练装置，包括：
特征数据提取模块，用于根据人脸识别模型中的特征提取网络，对样本用户的原始图像和遮挡图像分别进行特征提取，得到原始特征数据和遮挡特征数据；
交叉特征距离确定模块，用于确定所述原始特征数据和所述遮挡特征数据之间的交叉特征距离；
特征提取网络训练模块，用于根据所述原始特征数据的人脸识别误差、所述遮挡特征数据的人脸识别误差、以及所述交叉特征距离，对所述特征提取网络进行训练。
根据本申请的第三方面，提供了又一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本申请实施例提供的任意一种人脸识别模型训练方法。
根据本申请的第四方面，提供了再一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行本申请实施例提供的任意一种人脸识别模型训练方法。
本申请实施例根据人脸识别模型中的特征提取网络，对样本用户的原始图像和遮挡图像分别进行特征提取，得到原始特征数据和遮挡特征数据；确定原始特征数据和遮挡特征数据之间的交叉特征距离；根据原始特征数据的人脸识别误差、遮挡特征数据的人脸识别误差、以及交叉特征数据，对特征提取网络进行训练。本申请实施例所训练的人脸识别模型具备了对存在遮挡物的遮挡人脸图像，以及不存在遮挡物的非遮挡人脸图像进行混合人脸识别的能力。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本申请的限定。其中：
图1A是本申请实施例提供的一种人脸识别模型训练方法的流程图；
图1B是本申请实施例提供的一种人脸识别模型训练过程示意图；
图2A是本申请实施例提供另一种人脸识别模型训练方法的流程图；
图2B是本申请实施例提供的另一种人脸识别模型训练过程示意图；
图3A是本申请实施例提供另一种人脸识别模型训练方法的流程图；
图3B是本申请实施例提供的另一种人脸识别模型训练过程示意图；
图4A是本申请实施例提供另一种人脸识别模型训练方法的流程图；
图4B是本申请实施例提供的另一种人脸识别模型训练过程示意图；
图5是本申请实施例提供的一种人脸识别模型训练装置的结构图；
图6是用来实现本申请实施例的人脸识别模型训练方法的电子设备的框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
本申请实施例提供的各人脸识别模型训练方法和人脸识别模型训练装置，适用于对存在遮挡物和不存在遮挡物的人脸图像，进行人脸识别能力的人脸识别模型，进行模型训练的情况，该方法由人脸识别装置执行，该装置采用软件和/或硬件实现，并具体配置于电子设备中。
图1A是本申请实施例提供的一种人脸识别模型训练方法的流程图，该方法包括：
S101、根据人脸识别模型中的特征提取网络，对样本用户的原始图像和遮挡图像分别进行特征提取，得到原始特征数据和遮挡特征数据。
人脸识别模型包括特征提取网络和分类器。特征提取网络用于对所输入的人脸图像进行特征提取；分类器用于基于所提取的特征数据对人脸图像进行人脸识别。在对人脸识别模型进行训练过程中，会对特征提取网络和分类器两部分的网络参数进行训练。由于对人脸识别模型进行训练时的训练样本库和人脸识别模型使用时的注册人脸库中所包含的人图像来源不同，图像种类和数量等也不同，因此在实际使用人脸识别模型进行人脸识别时，通常会舍弃分类器，仅采用训练好的特征提取网络进行人脸特征提取。
原始图像可以理解为样本用户不存在遮挡的人脸图像。原始图像可以包括注册人脸库中的不存在遮挡的注册人脸图像；或者还可以，包括收集的其他场景下所采集的不存在遮挡的人脸图像。
为了提高原始图像的利用率，通常会将采集的原始图像或收集的原始图像，预先存储在电子设备本地、或与电子设备关联的其他存储设备中，相应的，在需要进行人脸识别模型训练时，进行原始图像的获取。
针对同一样本用户，若原始图像为至少两个时，为了丰富原始图像的数据量，同时保证原始图像之间的差异度，从而为所训练的人脸识别模型的模型精度奠定基础，至少两个原始图像的姿态不同。
遮挡图像可以理解为存在遮挡物的人脸图像。例如，遮挡物可以是帽檐、眼镜和口罩等中的至少一种。
在本申请实施例的一种可选实施方式中，遮挡图像可以是对样本用户进行图像采集时，由样本用户佩戴至少一种遮挡物所采集的图像。
为了提高遮挡图像获取的便捷度，在本申请实施例的另一可选实施方式中，还可以获取所述样本用户的候选原始图像；对所述候选原始图像分别添加遮挡物，得到所述遮挡图像。
可以理解的是，通过遮挡图像自动生成的方式，可以通过现有的人脸图像进行遮挡物的添加，无需样本用户进行遮挡物佩戴，即可生成大量遮挡图像，使得遮挡图像获取方式更加便捷，提高了遮挡图像获取效率。
为了进一步提高遮挡图像的生成效率，同时保证所生成的遮挡图像之间的差异性，为所训练的人脸识别模型的模型精度奠定基础，针对同一样本用户，若遮挡图像为至少两个时，所生成的至少两个遮挡图像的遮挡物材质不同；和/或，至少两个候选原始图像的姿态不同。
当然，为了提高遮挡图像的利用率，通常会将采集的遮挡图像和/或生成的遮挡图像存储在电子设备本地、或与电子设备关联的其他存储设备中。相应的，在需要进行人脸识别模型训练时，进行遮挡图像的获取。
需要说明的是，针对一个样本用户，原始图像的数量可以为至少一个，相应的提取的原始特征数据的数量为至少两个；遮挡图像的数量可以为至少一个。
S102、确定所述原始特征数据和所述遮挡特征数据之间的交叉特征距离。
示例性地，通过范数计算等方式，确定各原始特征数据与各遮挡特征数据之间的交叉特征距离，并将所确定的距离作为交叉特征距离。其中，交叉特征距离用于表征原始特征数据与遮挡特征数据之间的特征相似度。其中，相似度越大，表明原始特征数据与遮挡特征数据之间的共性越大，相应的，交叉特征距离越小；相似度越小，表征原始特征数据与遮挡特征数据之间的共性越小，相应的，交叉特征距离越大。
可以理解的是，由于原始特征数据和遮挡特征数据分别为至少一个，则所确定的交叉特征距离为至少一个。当原始特征数据为至少两个，和/或遮挡特征数据为至少两个时，为了实现对训练样本库中的训练样本的充分应用，一般的，会确定各个原始特征数据和各个遮挡特征数据之间的交叉特征距离。
S103、根据所述原始特征数据的人脸识别误差、所述遮挡特征数据的人脸识别误差、以及所述交叉特征距离，对所述特征提取网络进行训练。
根据至少一个原始特征数据的人脸识别误差、至少一个遮挡特征数据的人脸识别误差、以及至少一个交叉特征距离，对特征提取网络进行训练。
示例性地，针对各原始特征数据，通过人脸识别模型中的分类器，确定该原始特征数据对应的预测识别结果；根据该预测识别结果与样本用户的实际标签识别结果，确定原始特征数据的人脸识别误差。
可以理解的是，通过在对特征提取网络进行训练的过程中，通过引入原始特征数据的人脸识别误差，使得所训练的人脸识别模型兼备了对不存在遮挡物的非遮挡人脸图像进行人脸识别的能力。
示例性地，针对各遮挡特征数据，通过人脸识别模型中的分类器，确定该遮挡特征数据对应的预测识别结果；根据预测识别结果与实际标签识别结果，确定遮挡特征数据的人脸识别误差。
可以理解的是，在特征提取网络的训练过程中，引入各遮挡特征数据的人脸识别误差，能够使得特征提取网络具备对存在遮挡的遮挡人脸图像进行识别的能力。
需要说明的是，在特征提取网络进行训练的过程中，通过引入交叉特征距离，保证了特征提取网络对非遮挡图像以及遮挡图像中，通用特征的提取能力，弱化了由于遮挡物遮挡对特征提取结果的影响，提高了人脸识别模型的准确度，同时使得模型具备了对遮挡图像和非遮挡图像进行混合识别的能力。
为了实现对现有的遮挡人脸图像进行人脸识别的遮挡人脸识别模型的复用，在一个可选实施例中，还可以将训练好的遮挡人脸识别模型，直接采用原始图像和遮挡图像进行再训练，缩短了人脸识别模型的训练周期；在再训练的过程中，引入原始图像的原始特征数据和遮挡图像的遮挡特征数据之间的交叉特征距离，从而使所训练模型兼备了对不存在遮挡物的非遮挡人脸图像的人脸识别能力，实现了对遮挡人脸图像和非遮挡人脸图像的混合识别。
为了实现对非遮挡人脸图像进行人脸识别的非遮挡人脸识别模型的复用，在另一可选实施例中，还可以将训练好的非遮挡人脸识别模型，直接采用原始图像和遮挡图像进行再训练，缩短了人脸识别模型的训练周期；在再训练的过程中，引入原始图像的原始特征数据和遮挡图像的遮挡特征数据之间的交叉特征距离，从而使所训练模型兼备了对存在遮挡物的遮挡人脸图像的人脸识别能力，实现了对遮挡人脸图像和非遮挡人脸图像的混合识别。
参见图1B所示的一种人脸识别模型训练过程示意图，以基于样本用户的一个原始图像和一个遮挡图像，进行人脸识别模型训练为例，对人脸识别模型的训练过程，进行详细说明。
1)针对每个样本用户，获取样本用户的原始图像和遮挡图像；其中，遮挡图像对应的候选原始图像和原始图像中的人脸姿态相同或不同。
2)通过特征提取网络分别对原始图像和遮挡图像进行特征提取，得到原始特征数据和遮挡特征数据。
3)通过分类器，分别对原始特征数据和遮挡特征数据进行分类，得到原始预测识别结果和遮挡预测识别结果；通过原始预测识别结果与该样本用户的实际标签识别结果，以及遮挡预测识别结果与该样本用户的实际标签识别结果，确定分类损失。
4)根据原始特征数据和遮挡特征数据之间的特征距离，确定交叉特征间损失。
5)根据各样本用户的分类损失和交叉特征间损失，构建损失函数。
6)根据损失函数对特征提取网络和分类器中的网络参数进行优化调整，得到对存在遮挡物的遮挡人脸图像以及不存在遮挡物的非遮挡人脸图像，进行混合识别的人脸识别模型。
本申请实施例根据人脸识别模型中的特征提取网络，对样本用户的原始图像和遮挡图像分别进行特征提取，得到原始特征数据和遮挡特征数据；确定原始特征数据和遮挡特征数据之间的交叉特征距离；根据原始特征数据的人脸识别误差、遮挡特征数据的人脸识别误差、以及交叉特征距离，对特征提取网络进行训练。上述技术方案通过引入原始特征数据和遮挡特惠增数据的人脸识别误差，对特征提取网络进行训练，使得训练后的特征提取网络兼备了对存在遮挡物的遮挡人脸图像以及不存在遮挡物的非遮挡人脸图像，进行特征数据提取的能力，从而基于所提取特征进行人脸识别时，保证了人脸识别结果的准确度。同时，通过引入交叉特征距离，保证了特征提取网络对非遮挡图像以及遮挡图像中，通用特征的提取能力，弱化了由于遮挡物遮挡对特征提取结果的影响，进而提高了人脸识别模型的鲁棒性和准确度，同时使得模型具备了对遮挡图像和非遮挡图像进行混合识别的能力。
在上述各技术方案的基础上，在一个可选实施例中，还可以通过训练好的特征提取网络，进行人脸识别。示例性地，采用训练好的所述特征提取网络，提取待测用户的人脸图像的待测特征数据；确定所述待测特征数据与注册人脸库中各注册人脸特征之间的相似度；其中，注册人脸特征包括注册遮挡人脸图像和/或注册非遮挡人脸图像；根据所述相似度，确定所述待测用户的用户类别。
其中，注册遮挡人脸图像，可以理解为用户注册时，所采集的存在遮挡物的注册人脸图像；注册非遮挡人脸图像，可以理解为用户注册时，所采集的不存在遮挡物的注册人脸图像。
在一个可选实施例中，可以采用训练好的特征提取网络，对注册人脸库中的注册人脸图像进行特征提取，得到注册人脸特征。
为了减少人脸识别时的数据运算量，并且进一步提高人脸识别效率，在另一可选实施例中，还可以通过训练好的特征提取网络，对所采集的注册人脸图像进行特征提取，得到注册人脸特征；并根据注册人脸特征，构建注册人脸库。其中，注册人脸图像包括注册遮挡人脸图像和/或注册非遮挡人脸图像。
可选的，选取相似度最高的设定数量的注册用户作为待测用户的用户类别。其中，设定数量可以由技术人员根据需要或经验值确定，或通过大量试验反复确定。例如，可以是1。当然，还可以设置为大于1的数值，从而在对人脸识别精度较高的场景下，反馈给待测用户至少两个识别结果，并由待测用户进行识别结果的确认。
可以理解的是，通过上述训练好的特征提取网络进行人脸识别，能够实现对存在遮挡物的遮挡人脸图像，以及不存在遮挡物的非遮挡人脸图像，进行人脸识别，无需区别对待用户，也即无需佩戴有遮挡物的用户摘除遮挡物配合识别，提高了识别效率，同时提高了用户的使用体验。
需要说明的是，进行人脸识别模型训练和人脸识别模型使用的电子设备，可以相同或不同。
图2A是本申请实施例提供的另一种人脸识别模型训练方法的流程图，该方法在上述各技术方案的基础上，进行了优化改进。
进一步地，若原始图像为至少两个，则在操作“根据所述原始特征数据的人脸识别误差、所述遮挡特征数据的人脸识别误差、以及所述交叉特征距离，对所述特征提取网络进行训练”之前，追加“确定至少两个所述原始特征数据之间的原始特征距离”；相应的，将操作“根据所述原始特征数据的人脸识别误差、所述遮挡特征数据的人脸识别误差、以及所述交叉特征距离，对所述特征提取网络进行训练”，细化为“根据所述原始特征数据的人脸识别误差、所述遮挡特征数据的人脸识别误差、所述交叉特征距离、以及所述原始特征距离，对所述特征提取网络进行训练”，以提高人脸识别模型对非遮挡人脸图像的识别精度。
如图2A所示的一种人脸识别模型训练方法，包括：
S201、根据人脸识别模型中的特征提取网络，对样本用户的至少两个原始图像和遮挡图像分别进行特征提取，得到原始特征数据和遮挡特征数据。
S202、确定所述原始特征数据和所述遮挡特征数据之间的交叉特征距离。
S203、确定至少两个所述原始特征数据之间的原始特征距离。
其中，至少两个原始特征数据对应的原始图像的姿态相同或不同。可以理解的是，由于原始图像为至少两个，原始特征数据的数量为至少两个，相应的，原始特征距离的数量为至少一个。
示例性地，通过范数计算等方式，确定至少两个原始特征数据之间的距离，并将所确定的距离作为原始特征距离。其中，原始特征距离用于表征原始特征数据之间的特征相似度。其中，相似度越大，表明原始特征数据之间共性越大，相应的，原始特征距离越小；相似度越小，表征原始特征数据之间共性越小，相应的，原始特征距离越大。
需要说明的是，本申请实施例对S202和S203执行时的先后顺序不做任何限定，也即S203可以在S202之前执行，也可以在S202之后执行，或者还可以与S202同时执行或交叉执行。
S204、根据所述原始特征数据的人脸识别误差、所述遮挡特征数据的人脸识别误差、所述交叉特征距离、以及所述原始特征距离，对所述特征提取网络进行训练。
根据至少一个原始特征数据的人脸识别误差、至少一个遮挡特征数据的人脸识别误差、至少一个交叉特征距离、以及至少一个原始特征距离，对特征提取网络进行训练。
可以理解的是，在对特征提取网络进行训练的过程中，通过引入原始特征距离，保证了特征提取网络，对非遮挡人脸图像中通用特征的提取能力，弱化了由于姿态等因素对特征提取结果的影响，提高了人脸识别模型的鲁棒性和准确性。
为了实现对前述遮挡人脸图像和非遮挡人脸图像，具备混合人脸识别能力的人脸识别模型的复用，在一个可选实施例中，可以将前述训练好的人脸识别模型，直接采用原始图像进行再训练，缩短了人脸识别模型的训练周期；在再训练的过程中，引入原始图像的原始特征数据之间的原始特征距离，从而提高了模型对不存在遮挡物的非遮挡人脸图像的人脸识别能力。
为了实现对遮挡人脸图像进行人脸识别的遮挡人脸识别模型的复用，在另一可选实施方式中，还可以将训练好的遮挡人脸识别模型，直接采用遮挡图像和原始图像进行再训练，缩短了人脸识别模型的训练周期；在再训练的过程中，引入原始遮挡数据和遮挡特征数据的人脸识别误差、原始特征数据与遮挡特征数据之间的交叉特征距离、以及原始特征数据之间的原始特征距离，从而使所训练模型具备了对存在遮挡物的遮挡人脸图像和不存在遮挡物的非遮挡人脸图像，进行混合识别的能力，并提高了模型对不存在遮挡物的非遮挡人脸图像的人脸识别能力。
为了实现对非遮挡人脸图像进行人脸识别的非遮挡人脸识别模型的复用，在另一可选实施例中，还可以将训练好的非遮挡人脸识别模型，直接采用遮挡图像和原始图像进行再训练，缩短了人脸识别模型的训练周期；在再训练的过程中，引入原始遮挡数据和遮挡特征数据的人脸识别误差、交叉特征距离以及原始特征距离，从而使所训练模型具备了对存在遮挡物的遮挡人脸图像和不存在遮挡物的非遮挡人脸图像，进行混合识别的能力，并提高了模型对不存在遮挡物的非遮挡人脸图像的人脸识别能力。
参见图2B所示的一种人脸识别模型训练过程示意图，以基于样本用户的两个原始图像和一个原始图像，进行人脸识别模型训练为例，对人脸识别模型的训练过程，进行详细说明。
1)针对每个样本用户，获取样本用户的原始图像A、原始图像B、和遮挡图像a。其中，原始图像A和原始图像B中的人脸姿态不同；遮挡图像a对应的候选原始图像，与原始图像A或原始图像B的人脸姿态相同或不同。
2)通过特征提取网络分别对原始图像A、原始图像B、和遮挡图像a进行特征提取，得到原始特征数据A、原始特征数据B、和遮挡特征数据a。
3)通过分类器，分别对原始特征数据A、原始特征数据B、和遮挡特征数据a进行分类，得到预测识别结果A、预测识别结果B、和预测识别结果a；通过预测识别结果A与该样本用户的实际标签识别结果，预测识别结果B与该样本用户的实际标签识别结果，以及预测识别结果a与该样本用户的实际标签识别结果，确定分类损失。
4)根据原始特征数据A和原始特征数据B之间的特征距离，确定原始特征间损失；以及，根据原始特征数据A和原始特征数据B，分别与遮挡特征数据a之间的特征距离，确定交叉特征间损失。
5)根据各样本用户的分类损失、交叉特征间损失和原始特征间损失，构建损失函数。
6)根据损失函数对特征提取网络和分类器中的网络参数进行优化调整，得到具备对存在遮挡物的遮挡人脸图像和不存在遮挡物的非遮挡人脸图像，进行混合人脸识别能力的人脸识别模型，并提高了模型对非遮挡人脸图像的识别精度。
本申请实施例通过在进行人脸识别模型的训练过程中，追加确定至少两个原始特征数据之间的原始特征距离，进而在进行人脸识别模型训练时，引入原始特征距离，从而保证了特征提取网络对非遮挡人脸图像中的通用特征的特征提取能力，弱化了由于姿态等因素对特征提取结果的影响，进而提高了人脸识别模型对非遮挡人脸图像进行人脸识别时的准确度和鲁棒性。
图3A是本申请实施例提供的另一种人脸识别模型训练方法的流程图，本申请实施例在前述各技术方案的基础上，进行了优化改进。
进一步地，若遮挡图像为至少两个，则在操作“根据所述原始特征数据的人脸识别误差、所述遮挡特征数据的人脸识别误差、以及所述交叉特征距离，对所述特征提取网络进行训练”之前，追加“确定至少两个所述遮挡特征数据之间的遮挡特征距离”；相应的，将操作“根据所述原始特征数据的人脸识别误差、所述遮挡特征数据的人脸识别误差、以及所述交叉特征距离，对所述特征提取网络进行训练”细化为“根据所述原始特征数据的人脸识别误差、所述遮挡特征数据的人脸识别误差、所述交叉特征距离、以及所述遮挡特征距离，对所述特征提取网络进行训练”，以提高人脸识别模型对遮挡人脸图像的识别精度。
如图3A所示的一种人脸识别模型训练方法，包括：
S301、根据人脸识别模型中的特征提取网络，对样本用户的原始图像和至少两个遮挡图像分别进行特征提取，得到原始特征数据和遮挡特征数据。
S302、确定所述原始特征数据和所述遮挡特征数据之间的交叉特征距离。
S303、确定至少两个所述遮挡特征数据之间的遮挡特征距离。
其中，掷筛两个遮挡特征数据对应的遮挡图像的姿态相同或不同，遮挡物材质相同或不同。可以理解的是，由于遮挡图像为至少两个，遮挡特征数据的数量为至少两个，相应的，遮挡特征数据的数量为至少一个。
示例性地，通过范数计算等方式，确定至少两个遮挡特征数据之间的距离，并将所确定的距离作为遮挡特征距离。其中，遮挡特征距离用于表征遮挡特征数据之间的特征相似度。其中，相似度越大，表明遮挡特征数据之间共性越大，相应的，遮挡特征距离越小；相似度越小，表征遮挡特征数据之间共性越小，相应的，遮挡特征距离越大。
需要说明的是，本申请实施例对S302和S303执行时的先后顺序不做任何限定，也即S303可以在S302之前执行，也可以在S302之后执行，或者还可以与S302同时执行或交叉执行。
S304、根据所述原始特征数据的人脸识别误差、所述遮挡特征数据的人脸识别误差、所述交叉特征距离、以及所述遮挡特征距离，对所述特征提取网络进行训练。
根据至少一个原始特征数据的人脸识别误差、至少一个遮挡特征数据的人脸识别误差、至少一个交叉特征距离、以及至少一个遮挡特征距离，对特征提取网络进行训练。
可以理解的是，在对特征提取网络进行训练的过程中，通过引入遮挡特征距离，保证了特征提取网络，对遮挡图像中通用特征的提取能力，弱化了由于姿态和/或遮挡物材质等因素对特征提取结果的影响，提高了人脸识别模型的鲁棒性和准确性。
为了实现对前述遮挡人脸图像和非遮挡人脸图像，具备混合人脸识别能力的人脸识别模型的复用，在一个可选实施例中，可以将前述训练好的人脸识别模型，直接采用遮挡图像进行再训练，缩短了人脸识别模型的训练周期；在再训练的过程中，引入遮挡图像的遮挡特征数据之间的遮挡特征距离，从而提高了模型对存在遮挡物的遮挡人脸图像的人脸识别能力。
为了实现对遮挡人脸图像进行人脸识别的遮挡人脸识别模型的复用，在另一可选实施方式中，还可以将训练好的遮挡人脸识别模型，直接采用遮挡图像和原始图像进行再训练，缩短了人脸识别模型的训练周期；在再训练的过程中，引入原始遮挡数据和遮挡特征数据的人脸识别误差、原始特征数据与遮挡特征数据之间的交叉特征距离、以及遮挡特征数据之间的遮挡特征距离，从而使所训练模型具备了对存在遮挡物的遮挡人脸图像和不存在遮挡物的非遮挡人脸图像，进行混合识别的能力，并提高了模型对存在遮挡物的遮挡人脸图像的人脸识别能力。
为了实现对非遮挡人脸图像进行人脸识别的非遮挡人脸识别模型的复用，在另一可选实施例中，还可以将训练好的非遮挡人脸识别模型，直接采用遮挡图像和原始图像进行再训练，缩短了人脸识别模型的训练周期；在再训练的过程中，引入原始遮挡数据和遮挡特征数据的人脸识别误差、交叉特征距离以及遮挡特征距离，从而使所训练模型具备了对存在遮挡物的遮挡人脸图像和不存在遮挡物的非遮挡人脸图像，进行混合识别的能力，并提高了模型对存在遮挡物的遮挡人脸图像的人脸识别能力。
参见图3B所示的一种人脸识别模型训练过程示意图，以基于样本用户的两个遮挡图像和一个原始图像进行人脸识别模型训练为例，对人脸识别模型的训练过程，进行详细说明。
1)针对每个样本用户，获取样本用户的原始图像a、遮挡图像A和遮挡图像B。其中，遮挡图像A和遮挡图像B的遮挡物材质不同，或对应的候选原始图像中的人脸姿态不同；遮挡图像A和遮挡图像B对应的各候选原始图像，与原始图像a的人脸姿态相同或不同。
2)通过特征提取网络分别对原始图像a、遮挡图像A和遮挡图像B进行特征提取，得到原始特征数据a、遮挡特征数据A和遮挡特征数据B。
3)通过分类器，分别对原始特征数据a、遮挡特征数据A和遮挡特征数据B进行分类，得到预测识别结果a、预测识别结果A和预测识别结果B；通过预测识别结果a与该样本用户的实际标签识别结果，预测识别结果A与该样本用户的实际标签识别结果，以及预测识别结果B与该样本用户的实际标签识别结果，确定分类损失。
4)根据遮挡特征数据A和遮挡特征数据B分别与原始特征数据a之间的特征距离，确定交叉特征间损失；以及，根据遮挡特征数据A和遮挡特征数据B之间的特征距离，确定遮挡特征间损失。
5)根据各样本用户的分类损失、交叉特征间损失和遮挡特征间损失，构建损失函数。
6)根据损失函数对特征提取网络和分类器中的网络参数进行优化调整，得到兼备对存在遮挡物的遮挡人脸图像和不存在遮挡物的非遮挡人脸图像，进行人脸识别能力的人脸识别模型，并提高了模型对遮挡人脸图像的识别精度。
本申请实施例在进行人脸识别模型的训练过程中，追加确定至少两个遮挡特征数据之间的遮挡特征距离，进而在进行人脸识别模型训练时，引入遮挡特征距离，从而保证了特征提取网络，对遮挡人脸图像中的通用特征的提取能力，弱化了由于姿态和/或遮挡物材质等因素对特征提取结果的影响，提高了人脸识别模型的鲁棒性和准确性。
图4A是本申请实施例提供的另一种人脸识别模型训练方法的流程图，本申请实施例在上述各技术方案的基础上，提供了一种优选实施方式。
S401、根据人脸识别模型中的特征提取网络，对样本用户的至少两个遮挡图像和至少两个原始图像，分别进行特征提取，得到至少两个遮挡特征数据，以及至少两个原始特征数据。
S402、确定至少两个遮挡特征数据之间的遮挡特征距离；确定至少两个原始特征数据之间的原始特征距离；以及，确定至少两个原始特征数据和遮挡特征数据之间的交叉特征距离。
S403、根据至少两个原始特征数据的人脸识别误差、至少两个遮挡特征数据的人脸识别误差、遮挡特征距离、原始特征距离、以及各交叉特征距离，对特征提取网络进行训练。
可以理解的是，通过在对人脸识别模型的特征提取网络的训练过程中，引入原始特征数据的人脸识别误差以及遮挡特征数据的人脸识别误差，使得人脸识别模型能够兼备对遮挡人脸以及非遮挡人脸的识别能力；通过引入原始特征距离，能够弱化人脸姿态对所提取特征的影响，保证所提取特征的一致性和通用性，从而提高人脸识别模型对非遮挡图像的人脸识别结果的准确度和鲁棒性；通过引入遮挡特征距离，能够弱化人脸姿态和/或遮挡物材质对所提取特征的影响，保证所提取特征的一致性和通用性，从而提高人脸识别模型对遮挡图像的人脸识别结果的准确度和鲁棒性；通过交叉特征距离，能够进一步提高对原始图像和遮挡图像所提取特征的一致性和通用性，从而提高人脸识别模型对遮挡图像和非遮挡图像进行混合识别时的识别结果的准确度。
为了实现对遮挡人脸图像进行人脸识别的人脸识别模型的复用，在一种可选实施例中，可以将各训练好的遮挡人脸识别模型中，引入原始特征距离和交叉特征距离，从而达到上述效果。
为了实现对非遮挡人脸图像进行人脸识别的人脸识别模型的复用，在另一可选实施例中，还可以将训练好的非遮挡人脸识别模型，直接采用遮挡图像进行再训练，并在再训练的过程中，引入遮挡特征数据的人脸识别误差、遮挡特征距离、原始特征距离以及交叉特征距离，从而达到上述效果
参见图4B所示的一种人脸识别模型训练过程示意图，以基于样本用户的两个遮挡图像和两个原始图像，进行人脸识别模型训练为例，对人脸识别模型的训练过程，进行详细说明。
1)针对每个样本用户，获取样本用户的原始图像a、原始图像b、遮挡图像A和遮挡图像B。其中，遮挡图像A和遮挡图像B的遮挡物材质不同，或对应的候选原始图像中的人脸姿态不同；原始图像a和原始图像b中的人脸姿态不同；遮挡图像A和遮挡图像B对应的各候选原始图像，与原始图像a或原始图像b的人脸姿态相同或不同。
2)通过特征提取网络分别对原始图像a、原始图像b、遮挡图像A和遮挡图像B进行特征提取，得到原始特征数据a、原始特征数据b、遮挡特征数据A和遮挡特征数据B。
3)通过分类器，分别对原始特征数据a、原始特征数据b、遮挡特征数据A和遮挡特征数据B进行分类，得到预测识别结果a、预测识别结果b、预测识别结果A和预测识别结果B；通过预测识别结果a与该样本用户的实际标签识别结果，预测识别结果b与该样本用户的实际标签识别结果，预测识别结果A与该样本用户的实际标签识别结果，以及预测识别结果B与该样本用户的实际标签识别结果，确定分类损失。
4)根据遮挡特征数据A和遮挡特征数据B之间的特征距离，确定遮挡特征间损失；根据原始特征数据a和原始特征数据b之间的特征距离，确定原始特征间损失；以及根据遮挡特征数据A分别与原始特征数据a和原始特征数据b之间的特征距离，以及遮挡特征数据B分别与原始特征数据a和原始特征数据b之间的特征距离，确定交叉特征间损失。
5)根据各样本用户的分类损失、遮挡特征间损失、原始特征间损失以及交叉特征间损失，构建损失函数。
6)根据损失函数对特征提取网络和分类器中的网络参数进行优化调整，得到兼备对存在遮挡人脸图像和非遮挡人脸图像，进行人脸识别的人脸识别模型，同时该人脸识别模型还具备对遮挡人脸图像和非遮挡人脸图像的混合识别能力，并分别提高了对遮挡人脸图像和非遮挡人脸图像的识别精度。
图5是本申请实施例提供的一种人脸识别模型训练装置的结构图，该人脸识别模型训练装置500，包括：特征数据提取模块501、交叉特征距离确定模块502和特征提取网络训练模块503。其中，
特征数据提取模块501，用于根据人脸识别模型中的特征提取网络，对样本用户的原始图像和遮挡图像分别进行特征提取，得到原始特征数据和遮挡特征数据；
交叉特征距离确定模块502，用于确定所述原始特征数据和所述遮挡特征数据之间的交叉特征距离；
特征提取网络训练模块503，用于根据所述原始特征数据的人脸识别误差、所述遮挡特征数据的人脸识别误差、以及所述交叉特征距离，对所述特征提取网络进行训练。
本申请实施例通过特征数据提取模块根据人脸识别模型中的特征提取网络，对样本用户的原始图像和遮挡图像分别进行特征提取，得到原始特征数据和遮挡特征数据；通过交叉特征距离确定模块确定原始特征数据和遮挡特征数据之间的交叉特征距离；通过特征提取网络训练模块根据原始特征数据的人脸识别误差、遮挡特征数据的人脸识别误差、以及交叉特征距离，对特征提取网络进行训练。上述技术方案通过引入原始特征数据和遮挡特惠增数据的人脸识别误差，对特征提取网络进行训练，使得训练后的特征提取网络兼备了对存在遮挡物的遮挡人脸图像以及不存在遮挡物的非遮挡人脸图像，进行特征数据提取的能力，从而基于所提取特征进行人脸识别时，保证了人脸识别结果的准确度。同时，通过引入交叉特征距离，保证了特征提取网络对非遮挡图像以及遮挡图像中，通用特征的提取能力，弱化了由于遮挡物遮挡对特征提取结果的影响，进而提高了人脸识别模型的鲁棒性和准确度，同时使得模型具备了对遮挡图像和非遮挡图像进行混合识别的能力。
进一步地，若所述原始图像为至少两个，则所述装置还包括：
原始特征距离确定模块，用于在根据所述原始特征数据的人脸识别误差、所述遮挡特征数据的人脸识别误差、以及所述交叉特征距离，对所述特征提取网络进行训练之前，确定至少两个所述原始特征数据之间的原始特征距离；
相应的，所述特征提取网络训练模块503，包括：
第一特征提取网络训练单元，用于根据所述原始特征数据的人脸识别误差、所述遮挡特征数据的人脸识别误差、所述交叉特征距离、以及所述原始特征距离，对所述特征提取网络进行训练。
进一步地，若所述遮挡图像为至少两个，则所述装置还包括：
遮挡特征距离确定模块，用于在根据所述原始特征数据的人脸识别误差、所述遮挡特征数据的人脸识别误差、以及所述交叉特征距离，对所述特征提取网络进行训练之前，确定至少两个所述遮挡特征数据之间的遮挡特征距离；
相应的，所述特征提取网络训练模块503，包括：
第二特征提取网络训练单元，用于根据所述原始特征数据的人脸识别误差、所述遮挡特征数据的人脸识别误差、所述交叉特征距离、以及所述遮挡特征距离，对所述特征提取网络进行训练。
进一步地，该装置，还包括：
待测特征数据提取模块，用于采用训练好的所述特征提取网络，提取待测用户的人脸图像的待测特征数据；
相似度确定模块，用于确定所述待测特征数据与注册人脸库中各注册人脸特征之间的相似度；其中，注册人脸特征包括注册遮挡人脸特征和/或注册非遮挡人脸特征；
用户类别确定模块，用于根据所述相似度，确定所述待测用户的用户类别。
进一步地，该装置，还包括：
候选原始图像获取模块，用于获取所述样本用户的候选原始图像；
遮挡图像得到模块，用于对所述候选原始图像分别添加遮挡物，得到所述遮挡图像。
进一步地，所述遮挡物为口罩。
进一步地，若所述原始图像为至少两个，则至少两个所述原始图像的姿态不同；
若所述遮挡图像为至少两个，则至少两个所述遮挡图像的遮挡物材质不同，和/或，至少两个所述遮挡图像的候选原始图像的姿态不同。
上述人脸识别模型训练装置可执行本申请任意实施例所提供的人脸识别模型训练方法，具备执行人脸识别模型训练方法相应的功能模块和有益效果。
根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。
如图6所示，是实现本申请实施例的人脸识别模型训练方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图6所示，该电子设备包括：一个或多个处理器601、存储器602，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图6中以一个处理器601为例。
存储器602即为本申请所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本申请所提供的人脸识别模型训练方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的人脸识别模型训练方法。
存储器602作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的人脸识别模型训练方法对应的程序指令/模块(例如，附图5所示的特征数据提取模块501、交叉特征距离确定模块502和特征提取网络训练模块503)。处理器601通过运行存储在存储器602中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的人脸识别模型训练方法。
存储器602可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储实现人脸识别模型训练方法的电子设备的使用所创建的数据等。此外，存储器602可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器602可选包括相对于处理器601远程设置的存储器，这些远程存储器可以通过网络连接至实现人脸识别模型训练方法的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
实现人脸识别模型训练方法的电子设备还可以包括：输入装置603和输出装置604。处理器601、存储器602、输入装置603和输出装置604可以通过总线或者其他方式连接，图6中以通过总线连接为例。
输入装置603可接收输入的数字或字符信息，以及产生与实现人脸识别模型训练方法的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置604可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。
此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
根据本申请实施例的技术方案，根据人脸识别模型中的特征提取网络，对样本用户的原始图像和遮挡图像分别进行特征提取，得到原始特征数据和遮挡特征数据；确定原始特征数据和遮挡特征数据之间的交叉特征距离；根据原始特征数据的人脸识别误差、遮挡特征数据的人脸识别误差、以及交叉特征距离，对特征提取网络进行训练。上述技术方案通过引入原始特征数据和遮挡特惠增数据的人脸识别误差，对特征提取网络进行训练，使得训练后的特征提取网络兼备了对存在遮挡物的遮挡人脸图像以及不存在遮挡物的非遮挡人脸图像，进行特征数据提取的能力，从而基于所提取特征进行人脸识别时，保证了人脸识别结果的准确度。同时，通过引入交叉特征距离，保证了特征提取网络对非遮挡图像以及遮挡图像中，通用特征的提取能力，弱化了由于遮挡物遮挡对特征提取结果的影响，进而提高了人脸识别模型的鲁棒性和准确度，同时使得模型具备了对遮挡图像和非遮挡图像进行混合识别的能力。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。
Claims (16)
1.一种人脸识别模型训练方法，包括：
根据人脸识别模型中的特征提取网络，对样本用户的原始图像和遮挡图像分别进行特征提取，得到原始特征数据和遮挡特征数据；
确定所述原始特征数据和所述遮挡特征数据之间的交叉特征距离；
根据所述原始特征数据的人脸识别误差、所述遮挡特征数据的人脸识别误差、以及所述交叉特征距离，对所述特征提取网络进行训练。
2.根据权利要求1所述的方法，若所述原始图像为至少两个，则在所述“根据所述原始特征数据的人脸识别误差、所述遮挡特征数据的人脸识别误差、以及所述交叉特征距离，对所述特征提取网络进行训练”之前，还包括：
确定至少两个所述原始特征数据之间的原始特征距离；
相应的，所述“根据所述原始特征数据的人脸识别误差、所述遮挡特征数据的人脸识别误差、以及所述交叉特征距离，对所述特征提取网络进行训练”，包括：
根据所述原始特征数据的人脸识别误差、所述遮挡特征数据的人脸识别误差、所述交叉特征距离、以及所述原始特征距离，对所述特征提取网络进行训练。
3.根据权利要求1所述的方法，若所述遮挡图像为至少两个，则在所述“根据所述原始特征数据的人脸识别误差、所述遮挡特征数据的人脸识别误差、以及所述交叉特征距离，对所述特征提取网络进行训练”之前，还包括：
确定至少两个所述遮挡特征数据之间的遮挡特征距离；
相应的，所述“根据所述原始特征数据的人脸识别误差、所述遮挡特征数据的人脸识别误差、以及所述交叉特征距离，对所述特征提取网络进行训练”，包括：
根据所述原始特征数据的人脸识别误差、所述遮挡特征数据的人脸识别误差、所述交叉特征距离、以及所述遮挡特征距离，对所述特征提取网络进行训练。
4.根据权利要求1-3任一项所述的方法，还包括：
采用训练好的所述特征提取网络，提取待测用户的人脸图像的待测特征数据；
确定所述待测特征数据与注册人脸库中各注册人脸特征之间的相似度；其中，注册人脸特征包括注册遮挡人脸特征和/或注册非遮挡人脸特征；
根据所述相似度，确定所述待测用户的用户类别。
5.根据权利要求1-3任一项所述的方法，还包括：
获取所述样本用户的候选原始图像；
对所述候选原始图像分别添加遮挡物，得到所述遮挡图像。
6.根据权利要求5所述的方法，其中，所述遮挡物为口罩。
7.根据权利要求5所述的方法，若所述原始图像为至少两个，则至少两个所述原始图像的姿态不同；
若所述遮挡图像为至少两个，则至少两个所述遮挡图像的遮挡物材质不同，和/或，至少两个所述遮挡图像的候选原始图像的姿态不同。
8.一种人脸识别模型训练装置，包括：
特征数据提取模块，用于根据人脸识别模型中的特征提取网络，对样本用户的原始图像和遮挡图像分别进行特征提取，得到原始特征数据和遮挡特征数据；
交叉特征距离确定模块，用于确定所述原始特征数据和所述遮挡特征数据之间的交叉特征距离；
特征提取网络训练模块，用于根据所述原始特征数据的人脸识别误差、所述遮挡特征数据的人脸识别误差、以及所述交叉特征距离，对所述特征提取网络进行训练。
9.根据权利要求8所述的装置，若所述原始图像为至少两个，则所述装置还包括：
原始特征距离确定模块，用于在根据所述原始特征数据的人脸识别误差、所述遮挡特征数据的人脸识别误差、以及所述交叉特征距离，对所述特征提取网络进行训练之前，确定至少两个所述原始特征数据之间的原始特征距离；
相应的，所述特征提取网络训练模块，包括：
第一特征提取网络训练单元，用于根据所述原始特征数据的人脸识别误差、所述遮挡特征数据的人脸识别误差、所述交叉特征距离、以及所述原始特征距离，对所述特征提取网络进行训练。
10.根据权利要求8所述的装置，若所述遮挡图像为至少两个，则所述装置还包括：
遮挡特征距离确定模块，用于在根据所述原始特征数据的人脸识别误差、所述遮挡特征数据的人脸识别误差、以及所述交叉特征距离，对所述特征提取网络进行训练之前，确定至少两个所述遮挡特征数据之间的遮挡特征距离；
相应的，所述特征提取网络训练模块，包括：
第二特征提取网络训练单元，用于根据所述原始特征数据的人脸识别误差、所述遮挡特征数据的人脸识别误差、所述交叉特征距离、以及所述遮挡特征距离，对所述特征提取网络进行训练。
11.根据权利要求8-10任一项所述的装置，还包括：
待测特征数据提取模块，用于采用训练好的所述特征提取网络，提取待测用户的人脸图像的待测特征数据；
相似度确定模块，用于确定所述待测特征数据与注册人脸库中各注册人脸特征之间的相似度；其中，注册人脸特征包括注册遮挡人脸特征和/或注册非遮挡人脸特征；
用户类别确定模块，用于根据所述相似度，确定所述待测用户的用户类别。
12.根据权利要求8-10任一项所述的装置，还包括：
候选原始图像获取模块，用于获取所述样本用户的候选原始图像；
遮挡图像得到模块，用于对所述候选原始图像分别添加遮挡物，得到所述遮挡图像。
13.根据权利要求12所述的装置，其中，所述遮挡物为口罩。
14.根据权利要求12所述的装置，若所述原始图像为至少两个，则至少两个所述原始图像的姿态不同；
若所述遮挡图像为至少两个，则至少两个所述遮挡图像的遮挡物材质不同，和/或，至少两个所述遮挡图像的候选原始图像的姿态不同。
15.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任一项所述的一种人脸识别模型训练方法。
16.一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行权利要求1-7中任一项所述的一种人脸识别模型训练方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010591958.8A CN111783600B (zh) | 2020-06-24 | 2020-06-24 | 一种人脸识别模型训练方法、装置、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010591958.8A CN111783600B (zh) | 2020-06-24 | 2020-06-24 | 一种人脸识别模型训练方法、装置、设备及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111783600A true CN111783600A (zh) | 2020-10-16 |
| CN111783600B CN111783600B (zh) | 2024-02-09 |
Family
ID=72761472
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010591958.8A Active CN111783600B (zh) | 2020-06-24 | 2020-06-24 | 一种人脸识别模型训练方法、装置、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111783600B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113269027A (zh) * | 2021-04-06 | 2021-08-17 | 安徽农业大学 | 一种口罩遮挡的人脸识别方法 |
| CN113537066A (zh) * | 2021-07-16 | 2021-10-22 | 烽火通信科技股份有限公司 | 基于多粒度混合损失的戴口罩人脸识别方法与电子设备 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015165365A1 (zh) * | 2014-04-29 | 2015-11-05 | 华为技术有限公司 | 一种人脸识别方法及系统 |
| CN106599837A (zh) * | 2016-12-13 | 2017-04-26 | 北京智慧眼科技股份有限公司 | 基于多图像输入的人脸识别方法及装置 |
| CN108090476A (zh) * | 2018-01-17 | 2018-05-29 | 四川大学 | 一种针对具有外部遮挡的3d人脸识别方法 |
| WO2020037937A1 (zh) * | 2018-08-20 | 2020-02-27 | 深圳壹账通智能科技有限公司 | 人脸识别的方法、装置、终端及计算机可读存储介质 |
| CN110969139A (zh) * | 2019-12-11 | 2020-04-07 | 深圳市捷顺科技实业股份有限公司 | 人脸识别模型训练方法及相关装置、人脸识别方法及相关装置 |
-
2020
- 2020-06-24 CN CN202010591958.8A patent/CN111783600B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015165365A1 (zh) * | 2014-04-29 | 2015-11-05 | 华为技术有限公司 | 一种人脸识别方法及系统 |
| CN106599837A (zh) * | 2016-12-13 | 2017-04-26 | 北京智慧眼科技股份有限公司 | 基于多图像输入的人脸识别方法及装置 |
| CN108090476A (zh) * | 2018-01-17 | 2018-05-29 | 四川大学 | 一种针对具有外部遮挡的3d人脸识别方法 |
| WO2020037937A1 (zh) * | 2018-08-20 | 2020-02-27 | 深圳壹账通智能科技有限公司 | 人脸识别的方法、装置、终端及计算机可读存储介质 |
| CN110969139A (zh) * | 2019-12-11 | 2020-04-07 | 深圳市捷顺科技实业股份有限公司 | 人脸识别模型训练方法及相关装置、人脸识别方法及相关装置 |
Non-Patent Citations (3)
| Title |
|---|
| REZA EBRAHIMPOUR; MOHAMMAD SHAMS ESFAND ABADI;: "Single training sample Face recognition using fusion of Gabor responses", IEEE * |
| 杨明中;杨平先;林国军;: "混合样本协同表示算法的人脸识别研究", 液晶与显示, no. 12 * |
| 王振华;苏金善;仝琼琳;: "基于深度学习的部分遮挡人脸识别", 电子技术与软件工程, no. 02 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113269027A (zh) * | 2021-04-06 | 2021-08-17 | 安徽农业大学 | 一种口罩遮挡的人脸识别方法 |
| CN113537066A (zh) * | 2021-07-16 | 2021-10-22 | 烽火通信科技股份有限公司 | 基于多粒度混合损失的戴口罩人脸识别方法与电子设备 |
| CN113537066B (zh) * | 2021-07-16 | 2022-09-09 | 烽火通信科技股份有限公司 | 基于多粒度混合损失的戴口罩人脸识别方法与电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111783600B (zh) | 2024-02-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111914628B (zh) | 人脸识别模型的训练方法和装置 | |
| CN111259751B (zh) | 基于视频的人体行为识别方法、装置、设备及存储介质 | |
| CN111931591B (zh) | 用于构建关键点学习模型的方法、装置、电子设备及可读存储介质 | |
| CN110659600B (zh) | 物体检测方法、装置及设备 | |
| CN112528850A (zh) | 人体识别方法、装置、设备和存储介质 | |
| US11074437B2 (en) | Method, apparatus, electronic device and storage medium for expression driving | |
| CN111598818A (zh) | 人脸融合模型训练方法、装置及电子设备 | |
| CN111611903B (zh) | 动作识别模型的训练方法、使用方法、装置、设备和介质 | |
| CN111861955A (zh) | 构建图像编辑模型的方法以及装置 | |
| CN110717933B (zh) | 针对运动物体漏检的后处理方法、装置、设备和介质 | |
| CN111767858A (zh) | 图像识别方法、装置、设备和计算机存储介质 | |
| CN111783605A (zh) | 一种人脸图像识别方法、装置、设备及存储介质 | |
| CN111968203A (zh) | 动画驱动方法、装置、电子设备及存储介质 | |
| CN111783600B (zh) | 一种人脸识别模型训练方法、装置、设备及介质 | |
| CN112288699A (zh) | 图像相对清晰度的评估方法、装置、设备和介质 | |
| CN112116525A (zh) | 换脸识别方法、装置、设备和计算机可读存储介质 | |
| CN112241704A (zh) | 一种判定肖像侵权的方法、装置、电子设备及存储介质 | |
| CN111862031A (zh) | 一种人脸合成图检测方法、装置、电子设备及存储介质 | |
| CN112270303A (zh) | 图像识别方法、装置以及电子设备 | |
| CN110889392B (zh) | 人脸图像处理的方法及装置 | |
| CN112561053A (zh) | 图像处理方法、预训练模型的训练方法、装置和电子设备 | |
| CN112016523A (zh) | 跨模态人脸识别的方法、装置、设备和存储介质 | |
| CN111783644A (zh) | 检测方法、装置、设备和计算机存储介质 | |
| CN112016524A (zh) | 模型训练方法、人脸识别方法、装置、设备和介质 | |
| CN112036315A (zh) | 字符识别方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |