CN114462495A - 一种脸部遮挡检测模型的训练方法及相关装置 - Google Patents

Abstract

本申请公开了一种脸部遮挡检测模型的训练方法及相关装置，该方法包括：利用待训练脸部遮挡检测模型对脸部样本图像进行检测，得到脸部样本图像中关于至少一个检测部位的遮挡分类结果；自脸部样本图像中提取至少一个预设区域的特征点热力图；基于遮挡分类结果和特征点热力图，确定待训练脸部遮挡检测模型的第一损失值；基于第一损失值，确定对待训练脸部遮挡检测模型的第一操作，第一操作包括根据第一损失值调整待训练脸部遮挡检测模型的参数，或将待训练脸部遮挡检测模型输出为目标脸部遮挡检测模型。本申请所提供的方法可以实现提高检测得到的脸部遮挡检测模型的准确率和泛化性能。

Description

一种脸部遮挡检测模型的训练方法及相关装置

技术领域

本申请涉及脸部遮挡技术领域，特别是涉及一种脸部遮挡检测模型的训练方法及相关装置。

背景技术

得益于深度学习和互联网技术的快速发展，脸部识别技术已经广泛应用于社会生活的方方面面。在闸机安检、考勤门禁、金融支付、登录验证、刑侦追踪等领域，脸部识别正在发挥越来越重要的作用。然而现实生活中脸部大部分被口罩、头盔、墨镜、帽子等遮挡物遮挡，遮挡会导致脸部图像丢失关键信息，从而导致脸部识别失败。在进行脸部入库时，有遮挡的脸部也容易给后续的脸部检索造成困难，增加误报风险。因此，在进行脸部识别或入库之前，有必要对脸部进行遮挡判断，去掉遮挡的脸部，提高脸部识别成功率，降低误报风险。但是，基于当前的训练方法训练所得的脸部遮挡检测算法模型对脸部遮挡检测过于片面，从而导致脸部遮挡检测的准确度也无法满足上述需求，故急需一种可以提高脸部遮挡检测算法模型对于脸部遮挡的检测准确率和泛化性能训练方法。

发明内容

本申请主要解决的技术问题是提供一种脸部遮挡检测模型的训练方法及相关装置，可以实现提高检测得到的脸部遮挡检测模型的准确率和泛化性能。

为解决上述技术问题，本申请采用的一个技术方案是：提供一种脸部遮挡检测模型的训练方法，所述方法包括：

利用待训练脸部遮挡检测模型对脸部样本图像进行检测，得到所述脸部样本图像中关于至少一个检测部位的遮挡分类结果；

自所述脸部样本图像中提取至少一个预设区域的特征点热力图；

基于所述遮挡分类结果和所述特征点热力图，确定所述待训练脸部遮挡检测模型的第一损失值；

基于所述第一损失值，确定对所述待训练脸部遮挡检测模型的第一操作，其中，所述第一操作包括根据第一损失值调整所述待训练脸部遮挡检测模型的参数，或将所述待训练脸部遮挡检测模型输出为目标脸部遮挡检测模型。

为解决上述技术问题，本申请采用的另一个技术方案是：提供一种电子设备，所述电子设备包括处理器以及与所述处理器耦接的存储器；其中，

所述存储器用于存储计算机程序；

所述处理器用于运行所述计算机程序以执行如上任意一项所述的方法。

为解决上述技术问题，本申请采用的又一个技术方案是：提供一种计算机可读存储介质，所述计算机可读存储介质存储有能够被处理器运行的计算机程序，所述计算机程序用于实现如上任一项所述的方法。

本申请的有益效果是：区别于现有技术的情况，本申请所提供的技术方案，通过利用待训练脸部遮挡检测模型对脸部样本图像进行检测，得到脸部样本图像中关于至少一个检测部位的遮挡分类结果；自脸部样本图像中提取至少一个预设区域的特征点热力图；基于遮挡分类结果和特征点热力图，确定待训练脸部遮挡检测模型的第一损失值；基于第一损失值，确定对待训练脸部遮挡检测模型的第一操作，其中，第一操作包括根据第一损失值调整待训练脸部遮挡检测模型的参数，或将待训练脸部遮挡检测模型输出为目标脸部遮挡检测模型。即在本申请所提供的技术方案中，通过结合预设区域的特征点热力图和检测部位的遮挡分类结果，确定用于衡量待训练脸部遮挡检测模型的的第一损失值，并基于第一损失值确定对待训练脸部遮挡检测模型的操作，进而获得目标脸部遮挡检测模型，可以实现提高检测得到的目标脸部遮挡检测模型的准确率和泛化性能，起到了良好的技术效果。

附图说明

图1为本申请一种脸部遮挡检测模型的训练方法一实施例中的流程示意图；

图2为本申请一种脸部遮挡检测模型的训练方法一实施例中的场景示意图；

图3为本申请一种脸部遮挡检测模型的训练方法另一实施例中的流程示意图；

图4为本申请一种脸部遮挡检测模型的训练方法另一实施例中的流程示意图；

图5为本申请一种脸部遮挡检测模型的训练方法又一实施例中的流程示意图；

图6为本申请一种脸部遮挡检测模型的训练方法再一实施例中的流程示意图；

图7为本申请一种脸部遮挡检测模型的训练方法另一实施例中应用场景示意图；

图8为本申请一种电子设备一实施例中的结构示意图；

图9为本申请一种计算机可读存储介质一实施例结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。可以理解的是，此处所描述的具体实施例仅用于解释本申请，而非对本申请的限定。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

请参见图1，图1为本申请一种脸部遮挡检测模型的训练方法一实施例中的流程示意图。在当前实施例中，本申请所提供的脸部遮挡检测模型的训练方法是用于训练获得收敛满足预设输出条件的脸部遮挡检测模型，且在本申请所提供的技术方案中，用目标脸部遮挡检测模型代指收敛满足预设输出条件的脸部遮挡检测模型，用待训练脸部遮挡检测模型代指收敛不满足预设输出条件的脸部遮挡检测模型，其中，预设输出条件可以根据实际的需求进行设置，具体可以参见下文对应实施例中的阐述。在当前实施例中，本申请所提供的方法包括S110至S140。

S110：利用待训练脸部遮挡检测模型对脸部样本图像进行检测，得到脸部样本图像中关于至少一个检测部位的遮挡分类结果。

首先会确定待训练脸部遮挡检测模型，然后获取用于进行模型训练的脸部样本图像，在此对于脸部样本图像的数量和种类不做限定，具体可以依据实际的需求进行设置。其中，待训练脸部遮挡检测模型为收敛程度不符合预设输出条件的检测模型，检测模型的收敛程度可以基于检测模型执行脸部遮挡检测任务的损失值进行判断，故也可以将待训练脸部遮挡检测模型理解为是损失值大于设定的损失值阈值的检测模型；目标脸部遮挡检测模型为收敛程度符合预设输出条件的检测模型，当是利用检测模型执行遮挡检测任务的损失值衡量脸部遮挡检测模型的收敛程度时，则可以将目标脸部遮挡检测模型理解为是损失值小于或等于损失值阈值的检测模型。

然后利用待训练脸部遮挡检测模型对脸部样本图像进行脸部遮挡检测，获得至少一个检测部位。其中，检测部位为预先设定需要进行检测的脸部结构。

进一步地，上述至少一个检测部位包括额头、左眼区域、右眼区域、鼻子、嘴巴、左脸颊、右脸颊和下巴中的至少一个。其中，左眼区域包括左眼和/或左边眉毛，右眼区域包括右眼和/或右边眉毛。需要说明的是，在其他实施例中，检测部位还可以包括耳朵、眼球等。

进一步地，在一实施例中，至少一个预设区域与所述检测部位对应设置，具体可以对应为构成检测部位的至少一个脸部关键特征点。每个检测部位对应至少一个预设区域，一个预设区域与一个检测部位对应，一个检测部位可以与多个预设区域对应。如，当检测部位为额头，则可以设置额头对应多个预设区域；当检测部位为左眼区域，则左眼区域也可以对应多个预设区域。也可以将预设区域理解为构成检测部位的多个区域。

在一实施例，请同时结合图2，图2为本申请一种脸部遮挡检测模型的训练方法一实施例中的场景示意图。如若当自脸部样本图像中检测所得的检测部位包括额头、左眼区域、右眼区域、鼻子、嘴巴、左脸颊、右脸颊和下巴时，则对应可以设置自脸部样本图像中提取68个预设区域的特征点热力图，具体是基于所获得检测部位确定对应的脸部特征关键点，即图2所示意的脸部特征关键点1至脸部特征关键点68，然后基于脸部特征关键点确定得到对应区域的特征点热力图。当在其他实施例中，当自脸部样本图像中检测所得的检测部位包括其他类型的脸部结构时，则可以对应调整自脸部样本图像中所提取的预设区域的特征点热力图的数量。

在利用待训练脸部遮挡检测模型对脸部样本图像进行检测，获得至少一个检测部位之后，进一步对所得的检测部位进行遮挡检测，确定得到各个检测部位的遮挡分类结果。具体地，可以是利用待训练脸部遮挡检测模型中的分类器分别对各个检测部位进行遮挡检测，进而分别获得各个检测部位的遮挡分类结果。其中，遮挡分类结果包括：被遮挡或未遮挡。

更进一步地，可以对应设置用0代指检测部位对应的遮挡分类结果为未遮挡，用1代指检测部位对应的遮挡分类结果为被遮挡。可以理解的是，在其他实施例中，还可以通过设置其他的数字代码用来代指不同的遮挡分类结果。

S120：自脸部样本图像中提取至少一个预设区域的特征点热力图。

在对脸部遮挡检测模型执行训练时，同时还会自脸部样本图像中提取获得至少一个预设区域的特征点热力图。其中，需要说明的是，所获取的特征点热力图的数量是与预设区域一一对应的，如当预设区域的数量是68个时，则对应提取的是68个特征点热力图。

进一步地，当在检测得到至少一个检测部位，且在检测得到至少一个检测部位的过程中，会获得脸部样本图像的深度特征时，则可以直接基于深度特征获得预设区域的特征点热力图。即上述步骤S120包括：基于深度特征，分别确定至少一个预设区域的特征点热力图。其中，深度特征可以是利用深度学习网络结果和/或特征点检测网络获得，具体可以参见下文图4所对应的实施例。

S130：基于遮挡分类结果和特征点热力图，确定脸部遮挡检测模型的第一损失值。

在提取得到所得的检测部位的遮挡分类结果和至少一个预设区域的特征点热力图之后，进一步基于遮挡分类结果和特征点热力图，确定脸部遮挡检测模型的第一损失值。其中，在当前实施例中，第一损失值是用于衡量待训练脸部遮挡检测模型的收敛度的一个参数，可以理解的是，在其他实施例中还可以同时结合其他参数衡量待训练脸部遮挡检测模型的收敛程度。

S140：基于第一损失值，确定对待训练脸部遮挡检测模型的第一操作。

在基于遮挡分类结果和特征点热力图，确定脸部遮挡检测模型的第一损失值之后，进一步基于第一损失值确定对待训练脸部遮挡检测模型的第一操作。

其中，第一操作包括根据第一损失值调整脸部遮挡检测模型的参数，或输出脸部遮挡检测模型。

进一步地，基于第一损失值，确定对脸部遮挡检测模型的第一操作，进一步包括：若第一损失值小于第一阈值，则确定第一操作为根据第一损失值调整脸部遮挡检测模型的参数；若第一损失值大于或等于第一阈值，则确定第一操作为输出脸部遮挡检测模型。

具体地，在当前实施例中，当第一损失值大于第一阈值，并确定第一操作为根据第一损失值调整当前待训练脸部遮挡检测模型的参数后，本申请所提供的方法还包括：将调整了参数后待训练脸部遮挡检测模型更新作为下一轮训练中待训练脸部遮挡检测模型，然后重新循环执行步骤S110至步骤S140，以获得目标脸部遮挡检测模型。反之，若第一损失值小于或等于第一阈值，在将当前待训练脸部遮挡检测模型输出为目标脸部遮挡检测模型之后，还会结束对当前待训练脸部遮挡检测模型的训练循环。

本申请图1所对应的实施例中，通过利用待训练脸部遮挡检测模型对脸部样本图像进行检测，得到脸部样本图像中关于至少一个检测部位的遮挡分类结果；自脸部样本图像中提取至少一个预设区域的特征点热力图；基于遮挡分类结果和特征点热力图，确定待训练脸部遮挡检测模型的第一损失值；基于第一损失值，确定对待训练脸部遮挡检测模型的第一操作，其中，第一操作包括根据第一损失值调整待训练脸部遮挡检测模型的参数，或将待训练脸部遮挡检测模型输出为目标脸部遮挡检测模型。即在本申请所提供的技术方案中，通过结合预设区域的特征点热力图和检测部位的遮挡分类结果，确定用于衡量待训练脸部遮挡检测模型的的第一损失值，并基于第一损失值确定对待训练脸部遮挡检测模型的操作，进而获得目标脸部遮挡检测模型，可以实现提高检测得到的目标脸部遮挡检测模型的准确率和泛化性能。

请同时参见图3和图7，图3为本申请一种脸部遮挡检测模型的训练方法另一实施例中的流程示意图，图7为本申请一种脸部遮挡检测模型的训练方法另一实施例中应用场景示意图。在当前实施例中，上述步骤S110利用待训练脸部遮挡检测模型对脸部样本图像进行检测，得到脸部样本图像中关于至少一个检测部位的遮挡分类结果，包括步骤S301至步骤S303。

S301：获取脸部样本图像的深度特征。

在利用待训练脸部遮挡检测模型对脸部样本图像进行检测时，首先获取脸部样本图像的深度特征。其中，深度特征包括脸部关键特征点。具体地，是利用待训练脸部遮挡检测模型中的底层特征提取网络702对脸部样本图像701进行检测，获得脸部样本图像的底层特征，然后再利用待训练脸部遮挡检测模型中的特征点检测网络703对底层特征进行特征点提取，获得至少部分脸部关键特征点。其中，对于所获取的脸部关键特征点的数量不做唯一性限定，具体可以根据实际的需求进行设置调整。如若需要较多的脸部关键特征点时，则会将利用特征点检测网络所提取的脸部关键特征点的数量调多；反之，如若在无需太多脸部关键特征点进行运算，且需要提高计算的实时性，则可以将所获取的脸部关键特征点的数量相应的调少。

进一步地，待训练脸部遮挡检测模型中的底层特征提取网络702包括：ResNet、VGGNet、MobileNet等中的任意一种类型，特征点检测网络703进一步包括HourGlass或PFLD。可以理解的是，在其他实施例中，底层特征提取网络702和特征点检测网络703还可以包括其他类型的网络结构，具体可以依据实际需求进行设置，具体在此不一一列举。

S302：利用待训练脸部遮挡检测模型的部位检测网络对深度特征进行检测，得到至少一个检测部位。

在获得脸部样本图像的深度特征之后，进一步利用待训练脸部遮挡检测模型中的部位检测网络704对所得的深度特征进行检测，从而获得至少一个检测部位706。

进一步地，部位检测网络704进一步包括：ResNet、VGGNet、MobileNet等中的任意一种类型，可以理解的是，在其他实施例中，部位检测网络还可以包括其他类型的网络结构，具体可以依据实际需求进行设置。

其中，如上所述，检测部位706包括额头、左眼区域、右眼区域、鼻子、嘴巴、左脸颊、右脸颊和下巴中的至少一个。具体地，所需要检测的检测部位可以根据实际的需求进行设置。

在一实施例中，如若需要检测眼睛、鼻子和嘴巴是否被遮挡，则会设置基于深度特征进一步检测获得眼睛、鼻子和嘴巴。

在另一实施例中，如若需要检测获得额头、左眼区域、右眼区域、鼻子、嘴巴是否被遮挡，则会设置利用步骤S302检测获得额头、左眼区域、右眼区域、鼻子、嘴巴。可以理解的是，在其他实施例中，检测部位还可以包括脸部其他的结构，如发际线、头发、耳朵等。

S303：利用待训练脸部遮挡检测模型的分类器对各检测部位进行遮挡分类，得到各检测部位的遮挡分类结果。

在检测获得至少一个检测部位以后，进一步利用待训练脸部遮挡检测模型的分类器，并行对各检测部位进行遮挡分类，得到各检测部位各自所对应的遮挡分类结果。

比如，设置步骤S304检测所得的检测部位包括：额头、左眼区域、右眼区域、鼻子、嘴巴、左脸颊、右脸颊和下巴等八个部位，则步骤S303进一步利用分类器分别并行检测所得的各个检测部位，即检测额头、左眼区域、右眼区域、鼻子、嘴巴、左脸颊、右脸颊和下巴各自是否被遮挡，并基于遮挡检测生成遮挡分类结果。

如，预先设定用0代指遮挡结果为未遮挡，用1代指遮挡结果为被遮挡；当八个检测部位按序排列依次为额头、左眼区域、右眼区域、鼻子、嘴巴、左脸颊、右脸颊和下巴时，则步骤S303也会对应按找各个检测部位的排列顺序，以一个数组形式输出各个检测部位的遮挡分类结果。如当遮挡分类结果为[0,0,0,0,0,0,0,0]，则表示这8个检测部位都没有被遮挡。再或者，在一实施例中输出的遮挡分类结果为[0,0,0,0,1,1,1,1]，则表示额头、左眼区域、右眼区域、鼻子的遮挡分类结果均是未遮挡，嘴巴、左脸颊、右脸颊和下巴则是被遮挡状态。

请参见图4和图7，图4为本申请一种脸部遮挡检测模型的训练方法另一实施例中的流程示意图。在当前实施例中，上述步骤S120中的基于深度特征，分别确定至少一个预设区域的特征点热力图，进一步包括步骤S401至步骤S403。

S401：基于深度特征，分别提取各个预设区域的脸部关键特征点。

在当前实施例中，在提取获得特征点热力图705时，可以直接基于提取检测部位的过程中所得的深度特征，利用特征点检测网络703在深度特征中进一步提取获得各个预设区域的脸部关键特征点。其中，预设区域可以是对应于各个检测部位设置，所提取的脸部关键特征点的数量可以是预先基于经验设置的。

进一步地，在另一实施例中，预设区域与检测部位一一对应设置。在当前实施例中，可以从每个检测部位中检测获得多个脸部关键特征点，也可以理解为是一个检测部位与多个脸部关键特征点对应。当检测所得的检测部位数量是八个，对应在步骤S401中会对应提取获得8个预设区域，且由于每个预设区域与一个检测部位一一对应，故步骤S401中会提取获得八个预设区域的脸部关键特征点。在此对于每个预设区域所提取得脸部关键特征点数量不做限定，具体以实际设置为准。且在每个预设区域所获得脸部关键特征点的数量可以是不相等的，如可以设置嘴巴所对应的预设区域提取6个脸部关键特征点，可以设置左眼区域和右眼区域分别提取8个脸部关键特征点。

在又一实施例中，也可以设置每个预设区域与构成检测部位的脸部关键特征点一一对应。在当前实施例中，如对于某个检测部位嘴巴对应7个脸部关键特征点，由于设置脸部关键特征点与预设区域一一对应，则会在嘴巴所在位置可以提取获得7个预设区域。进一步地，接上述实施例中，在检测部位包括额头、左眼区域、右眼区域、鼻子、嘴巴、左脸颊、右脸颊和下巴时，则可以共计提取获得68预设区域各自所对应的脸部关键特征点。

具体地，在一实施例中，当检测部位包括额头、左眼区域、右眼区域、鼻子、嘴巴、左脸颊、右脸颊和下巴，对应预设区域为分别构成额头、左眼区域、右眼区域、鼻子、嘴巴、左脸颊、右脸颊和下巴的脸部关键特征点。

S402：分别计算各个预设区域的脸部关键特征点在脸部样本图像中的概率分布。

在提取得到各个预设区域的脸部关键特征点之后，进一步统计各个预设区域的脸部关键特征点在脸部样本图像中的概率分布。具体地，关键特征点在脸部样本图像中的概率分布指的是脸部关键特征点在脸部样本图像中所分布的位置。

进一步地，当一个预设区域中包括多个脸部关键特征点时，则步骤S402是分别计算每个脸部关键特征点在脸部样本图像中的概率分布。

S403：分别基于各个预设区域的脸部关键特征点的概率分布，确定各预设区域的特征点热力图。

在确定得到脸部关键特征点在脸部样本图像中的概率分布之后，进一步基于各个预设区域的脸部关键特征点的概率分布，确定各预设区域的特征点热力图705。具体地，可以是将一个预设区域中的脸部关键特征点的概率分布输出为一张特征点热力图。

在另一实施例中，当一个预设区域中只包括一个脸部关键特征点，即此时预设区域与脸部关键特征点是一一对应的，则会分别将每个脸部关键特征点的概率分布确定为一张特征点热力图。如，当提取68预设区域的脸部关键特征点，则会对应分别将这68个脸部关键特征点的概率分布分别输出为特征点热力图。

请参见图5，图5为本申请一种脸部遮挡检测模型的训练方法又一实施例中的流程示意图。在当前实施例中，本申请所提供的方法包括步骤S501至步骤S507。

S501：利用待训练脸部遮挡检测模型对脸部样本图像进行检测，得到脸部样本图像中关于至少一个检测部位的遮挡分类结果。

S502：自脸部样本图像中提取至少一个预设区域的特征点热力图。

在当前实施例中，步骤S501至步骤S502分别与上述步骤S110至步骤S120相同，具体可以参见上文对应部分的阐述，在此不再重复阐述。上述步骤S130基于遮挡分类结果和特征点热力图，确定脸部遮挡检测模型的第一损失值，进一步包括步骤S503至步骤S504。

S503：确定第一预设数量检测部位的遮挡分类结果的第二损失值，并确定第二预设数量的特征点热力图的第三损失值。

在分别获得检测部位的遮挡分类结果和至少一个预设区域的特征点热力图之后，进一步确定第一预设数量检测部位的遮挡分类结果的第二损失值，以及确定第二预设数量的特征点热力图的第三损失值。

进一步地，由于脸部中不同结构的遮挡检测的重要性不同，则会在求取第二损失值时，进一步为不同检测部位设置不同的权重比，然后利用预设的不同权重比对各个检测部位各自的损失值进行加权求和，进而获得将加权求和的结果输出为第二损失值。

如，当检测部位的数量为八个，则步骤S503用于确定这八个检测部位的遮挡分类结果的总的损失值，并将这八个检测部位的遮挡分类结果的总的损失值输出为第二损失值。当上述提取的特征点热力图数量是68个时，则步骤S503是用于确定这68个特征点热力图的总的损失值，并将这68个特征点热力图的总的损失值输出为第三损失值。

确定第二预设数量的特征点热力图的第三损失值，进一步包括：利用与脸部样本图像对应的预设校验特征点热力图，确定的第二预设数量的特征点热力图的第三损失值。其中，预设校验特征点热力图是预先设置的、用于对训练过程中检测所得的特征点热力图进行校验的特征点热力图，且在本申请所提供的技术方案中会为每个脸部样本图像预存对应的预设校验特征点热力图。

S504：按照第一预设权重比，对第二损失值和第三损失值进行加权求和，获得第一损失值。

在分别计算求得第二损失值和第三损失值之后，进一步按照第一预设权重比，对第二损失值和第三损失值进行加权求和，获得第一损失值。其中，第一预设权重比为预先设定的权重比经验值，具体可以根据实际需求进行调整。具体地，是以下述公式计算求得第一损失值Loss。

其中，在本提案中，计算求得第二损失值L_Ci是使用分类损失函数计算求得，具体地分类损失函数包括BCEWithLogitsLoss或FocalLoss等中的任意一个。特征点热力图所对应的第三损失值L_R是使用回归损失函数计算求得，其中，回归算是函数包括L1Loss、MSELoss或SmoothL1Loss等中任意一个。

在当前实施例中，是用α和β代指第一预设权重比，具体地，α为检测部位的第二损失值对应的权重，β为特征点热力图的第三损失值的权重。

在一实施例中，上述多任务学习的总损失即第一损失值，为八个检测部位的分类损失和特征点热力图的均回归损失的加权和。公式中的α_i为第i(i＝1,2,…,n)个检测部位的遮挡损失权重，α为所检测到的检测部位遮挡损失和的总权重，β为特征点热力图检测回归损失的权重。

其中，在一实施例中，第二损失值L_Ci和第三损失值L_R的计算方式具体如下述公式：

L_Ci＝y_i×lny_i'+(1-y_i)×ln(1-y_i')，

其中，y_i为第i个脸部所对应的检测部位的真实遮挡标签，即下文所述的校验检测部位，y_i'为检测所得的预测标签(也可以理解为是检测所得的检测部位)，H为特征点热力图的高，W为特征点热力图的宽，p_j,k,j为真实标签，即预存的与脸部样本图像对应的预设校验特征点热力图，p’_j,k,j为检测所得的预测标签，即为上述检测所得的预设区域的特征点热力图。

在当前实施例中，上述步骤S140基于第一损失值，确定对待训练脸部遮挡检测模型的第一操作，进一步包括：步骤S505至步骤S507。

S505：判断第一损失值是否大于第一阈值。

在求得第一损失值之后，进一步判断第一损失值是否大于第一阈值。其中，第一阈值为预先设置的经验值，第一阈值具体是用于判断当前待训练脸部遮挡检测模型收敛程度的经验值，具体可以根据对目标脸部遮挡检测模型的性能需求进行设置。

若判断得到第一损失值大于第一阈值，则执行步骤S506，反之则执行步骤S507。

S506：根据第一损失值调整待训练脸部遮挡检测模型的参数，将调整了参数后待训练脸部遮挡检测模型更新作为下一轮训练中待训练脸部遮挡检测模型。

当第一损失值大于第一阈值，则表面当前的待训练脸部遮挡检测模型收敛程度还不符合输出标准，故进一步根据第一损失值调整待待训练脸部遮挡检测模型的参数。

进一步地，在另一实施例中，在调整待训练脸部遮挡检测模型的参数时，则可以是同时结合第一损失值、第二损失值和第三损失值对待训练脸部遮挡检测模型的参数进行调整。具体地，预先设置第三预设权重比，然后根据第三预设权重比确定对主网络和特征点检测网络的参数调整幅度。其中，主网络在本申请所提供的技术方案中主要指的是目标脸部遮挡检测模型中所包括的网络结构，具体可以包括底层特征检测网络、特征点检测网络和部位检测网络。

S507：将待训练脸部遮挡检测模型输出为目标脸部遮挡检测模型。

若判断得到第一损失值小于或等于第一阈值，则表明当前的待训练脸部遮挡检测模型收敛程度符合所设定的输出标准，进一步将待训练脸部遮挡检测模型输出为目标脸部遮挡检测模型，并结束当前训练循环进程。

进一步地，请参见图6，图6为本申请一种脸部遮挡检测模型的训练方法再一实施例中的流程示意图。在当前实施例中，上述步骤S503中的确定第一预设数量检测部位的遮挡分类结果的第二损失值，进一步包括步骤S601至步骤S602。

S601：利用分类损失函数分别确定每个检测部位的遮挡分类结果的第四损失值。

在求取遮挡检测认为的损失时，即求取检测部位的遮挡分类结果的第二损失值时，则会进一步利用分类损失函数分别确定每个检测部位的遮挡分类结果的第四损失值。

进一步地，利用分类损失函数分别确定每个检测部位的遮挡分类结果的第四损失值，进一步包括：基于与脸部样本图像对应的各个校验检测部位，并利用损失函数分别确定每个检测部位的遮挡分类结果的第四损失值。其中，校验检测部位为预先设置的，用于确定遮挡检测任务损失值得校验值。进一步地，校验检测部位是针对每一个脸部样本图像中所包括的检测部位对应设置，并预先与脸部样本图像对应保存至数据库的。

S602：按照第二预设权重比对各个遮挡分类结果的第四损失值进行加权求和，进而获得第二损失值。

在求得每个检测部位的遮挡分类结果的第四损失值之后，进一步按照第二预设权重比对各个遮挡分类结果的第四损失值进行加权求和，进而获得第二损失值。其中，在一实施例中，第二预设权重比是根据各个检测部位在脸部中的面积比例预先设置的。在其他实施例中，第二预设权重比是根据各个检测部位在脸部遮挡检测中的重要性确定的。

请同时结合图1至图7，在一实施例中，本申请所提供的脸部遮挡检测模型的训练方法在，是通过基于特征点热力图检测和第一预设数量(第一预设数量可以为8)的检测部位的遮挡检测进行多任务学习，具体可以是基于单个神经网络进行第一预设数量的检测部位的遮挡预测，并使用的68个脸部关键特征点构成了包括眉毛、脸颊、下巴、眼睛、鼻子、嘴巴的轮廓等8个检测部位，与人脸遮挡任务具有较强的相关性。多个任务之间在学习训练获得目标脸部遮挡检测模型的过程中，共享学到的信息，相关联的多任务学习能相互促进，比单任务学习具有更好的泛化性能。另外在确定待训练脸部遮挡检测模型是否符合输出标准时，结合了具有较大相关性的特征点热力图和脸部设定的检测部位的遮挡检测，具体使用特征点热力图检测作为辅助任务，可以提高训练所得的脸部遮挡检测模型对于人脸遮挡的检测准确率和泛化性能。

需要说明的是，在本申请所提供的技术方案中，训练所得的目标脸部遮挡检测模型在实际执行脸部遮挡检测任务时，是可以将用于辅助的特征点热力图预测部分(即图7所示意的705部分)拿掉，直接使用底层特征检测网络、特征点检测网络和部位检测网络，对待检测图像进行脸部进行第一预设数量的检测部位遮挡检测。另外，还可以通过适当调节网络结构和通道数目，实现将主网络做成轻量级网络，从而快速进行人脸遮挡检测，达到提高实时性的技术效果。

对于单个脸部关键特征点，特征点热力图标签为H*W的浮点型矩阵，具体是通过脸部关键特征点的坐标计算得到。如当脸部关键特征点的数量为68个，则是分别基于这68个脸部关键特征点的坐标位置计算得到，其中，热力图标签取值为0到1之间，其中H和W为特征点热力图的特征尺寸，在矩阵中，脸部关键特征点坐标所在位置处的对应的矩阵元素值最大，为1，距离脸部关键特征点越远，值越小，具体是呈指数下降。

本申请所提供的技术方案中，通过设置检测部位包括额头、左眼、右眼、鼻子、嘴巴、左脸颊、右脸颊和下巴，即结合更多数量的人脸遮挡检测部位，能更加详细的描述和定位人脸遮挡情况，不但能适应普通的脸部遮挡识别任务，对于要求更高的人脸入库任务也能满足。另外，还通过增加了与脸部遮挡检测任务相关性较高的人脸特征点热力图检测任务，通过相关的多任务联合学习，可以有效提升人脸各个部位的遮挡检测精度。

请参见图8，图8为本申请一种电子设备一实施例中的结构示意图。在当前实施例中，本申请所提供的电子设备800包括处理器801以及与处理器801耦接的存储器802。电子设备800可以执行图1至图7及其对应的任意一个实施例中的方法，即电子设备800可以为服务器，也可以为客户端。

其中，存储器802包括本地储存(图未示)，且用于存储有计算机程序，计算机程序被执行时可以实现图1至图7及其所对应的任意一个实施例中的方法。

处理器801与存储器802耦接，处理器801用于运行计算机程序，以执行如上图1至图7及其对应的任意一个实施例中的方法。

进一步地，在一些实施例中，电子设备800可包括移动终端、手持终端、穿戴设备、车载终端、电脑终端、服务器以及具备计算存储能力的其他类型电子设备等中的任意一种。

参见图9，图9为本申请一种计算机可读存储介质一实施例结构示意图。该计算机可读存储介质900存储有能够被处理器运行的计算机程序901，该计算机程序901用于实现如上图1至图7及其对应的任意一个实施例中所描述的方法。具体地，上述计算机可读存储介质900可以是存储器、个人计算机、服务器、网络设备，或者U盘等其中的一种，具体在此不做任何限定。

以上所述仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (12)

1.一种脸部遮挡检测模型的训练方法，其特征在于，所述方法包括：

利用待训练脸部遮挡检测模型对脸部样本图像进行检测，得到所述脸部样本图像中关于至少一个检测部位的遮挡分类结果；

自所述脸部样本图像中提取至少一个预设区域的特征点热力图；

基于所述遮挡分类结果和所述特征点热力图，确定所述待训练脸部遮挡检测模型的第一损失值；

基于所述第一损失值，确定对所述待训练脸部遮挡检测模型的第一操作，其中，所述第一操作包括根据第一损失值调整所述待训练脸部遮挡检测模型的参数，或将所述待训练脸部遮挡检测模型输出为目标脸部遮挡检测模型。

2.根据权利要求1所述的方法，其特征在于，所述利用待训练脸部遮挡检测模型对脸部样本图像进行检测，得到所述脸部样本图像中关于至少一个检测部位的遮挡分类结果，包括：

获取所述脸部样本图像的深度特征；

利用所述待训练脸部遮挡检测模型的部位检测网络对所述深度特征进行检测，得到所述至少一个检测部位；

利用所述待训练脸部遮挡检测模型的分类器对各所述检测部位进行遮挡分类，得到各所述检测部位的所述遮挡分类结果。

3.根据权利要求2所述的方法，其特征在于，所述自所述脸部样本图像中提取至少一个预设区域的特征点热力图，进一步包括：

基于所述深度特征，分别确定所述至少一个预设区域的特征点热力图。

4.根据权利要求3所述的方法，其特征在于，所述基于所述深度特征，分别确定所述至少一个预设区域的特征点热力图，进一步包括：

基于所述深度特征，分别提取各个所述预设区域的脸部关键特征点；

分别计算各个所述预设区域的所述脸部关键特征点在所述脸部样本图像中的概率分布；

分别基于各个所述预设区域的所述脸部关键特征点的概率分布，确定各所述预设区域的所述特征点热力图。

5.根据权利要求1所述的方法，其特征在于，所述基于所述遮挡分类结果和所述特征点热力图，确定所述脸部遮挡检测模型的第一损失值，进一步包括：

确定所述第一预设数量检测部位的遮挡分类结果的第二损失值，并确定所述第二预设数量的特征点热力图的第三损失值；

按照第一预设权重比，对所述第二损失值和所述第三损失值进行加权求和，获得所述第一损失值。

6.根据权利要求5所述的方法，其特征在于，所述确定所述第二预设数量的特征点热力图的第三损失值，进一步包括：

利用与所述脸部样本图像对应的预设校验特征点热力图，确定所述的第二预设数量的特征点热力图的第三损失值。

7.根据权利要求5所述的方法，其特征在于，所述确定所述第一预设数量检测部位的遮挡分类结果的第二损失值，包括：

利用分类损失函数分别确定每个所述检测部位的遮挡分类结果的第四损失值；

按照第二预设权重比对各个所述遮挡分类结果的第四损失值进行加权求和，进而获得所述第二损失值。

8.根据权利要求7所述的方法，其特征在于，所述利用分类损失函数分别确定每个所述检测部位的遮挡分类结果的第四损失值，进一步包括：

基于与所述脸部样本图像对应的各个校验检测部位，并利用所述损失函数分别确定每个所述检测部位的遮挡分类结果的第四损失值。

9.根据权利要求1所述的方法，其特征在于，所述基于所述第一损失值，确定对所述待训练脸部遮挡检测模型的第一操作，进一步包括：

若所述第一损失值大于第一阈值，则确定所述第一操作为所述根据第一损失值调整所述待训练脸部遮挡检测模型的参数；或

若所述第一损失值小于或等于所述第一阈值，则确定所述第一操作为将所述待训练脸部遮挡检测模型输出目标脸部遮挡检测模型。

10.根据权利要求1至9任意一项所述的方法，其特征在于，所述至少一个检测部位包括额头、左眼区域、右眼区域、鼻子、嘴巴、左脸颊、右脸颊和下巴中的至少一个；

所述至少一个预设区域与所述检测部位对应设置。

11.一种电子设备，其特征在于，所述电子设备包括处理器以及与所述处理器耦接的存储器；其中，

所述存储器用于存储计算机程序；

所述处理器用于运行所述计算机程序以执行权利要求1至10任意一项所述的方法。

12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有能够被处理器运行的计算机程序，所述计算机程序用于实现权利要求1至10任一项所述的方法。

Images