CN113392699A - 用于人脸遮挡检测的多标签深度卷积神经网络方法、装置和电子设备 - Google Patents

Abstract

本发明公开一种用于人脸遮挡检测的多标签深度卷积神经网络方法、装置和电子设备，包括：获取待检测的人脸图像；对所述人脸图像进行检测得到人脸信息，包括人脸框和人脸关键点；将所述的人脸关键点与预设的人脸关键点进行仿射变换对齐，取裁剪后的人脸图像；将裁剪后的人脸图像输入预训练的人脸遮挡检测模型进行识别，得到待测人脸图像的遮挡信息。本发明的方法可以检测出具体的人脸区域是否存在遮挡，并输出人脸8个区域的遮挡程度分数，有效地验证人脸遮挡检测模型的准确性。

Description

用于人脸遮挡检测的多标签深度卷积神经网络方法、装置和 电子设备

技术领域

本发明属于计算机视觉与图像识别技术领域，具体涉及一种用于人脸遮挡检测的多标签深度卷积神经网络方法、装置和电子设备。

背景技术

近年来，深度学习在计算机视觉领域取得显著性的成效并得到广泛应用，其中，深度学习在人脸识别应用最为广泛。人脸识别在实际应用场景下受到诸多挑战，如人脸遮挡、光照、角度等问题，而人脸遮挡问题较为常见，如墨镜、口罩、帽子、围巾、手部等，并且该问题严重影响人脸识别准确度。为了解决该问题，通过人脸遮挡检测的方法保证输入到人脸识别系统的图片是无遮挡的人脸图片。

人脸遮挡检测的方法主要是检测人脸是否存在遮挡，具体人脸区域如眼部、鼻子、嘴部、下巴、脸部、额头。现有技术中如公开号为CN112016464A和CN111428581A的专利申请文件描述的检测人脸遮挡方法，包括：获取待检测图像；将待检测图像输入预设的人脸遮挡检测模型，获取待检测图像的人脸遮挡检测结果；人脸遮挡检测模型的训练过程包括：根据预设的网络结构对至少两个数据集的人脸样本图像进行训练，生成人脸遮挡检测模型，数据集包括至少两个样本数据，每个数据集携带有表征数据集的应用场景的标签信息。

多标签深度卷积网络表示网络同时具有识别多个目标的功能，例如，假设人、狗、汽车和猫均是网络的识别目标，当识别场景同时出现上述物体，多标签网络能同时识别上述物体，并返回上述所有结果，而非仅返回其中一个结果。同样，对于多标签的人脸遮挡检测网络而言，当人脸同时出现多个人脸遮挡区域，网络均能检测出所有人脸遮挡区域。

发明内容

为了解决人脸遮挡影响人脸识别准确度的问题，本发明通过使用多标签的深度卷积神经网络判断输入人脸图片是否存在遮挡，并输出具体相应遮挡区域，以提示用户做出相应的调整动作，保证人脸识别系统得到无遮挡的人脸图像。

为实现上述发明目的，采用具体技术方案如下：

一种用于人脸遮挡检测的多标签深度卷积神经网络方法，包括：

获取待检测的人脸图像；

对所述人脸图像进行检测得到人脸信息，包括人脸框和人脸关键点；

将所述的人脸关键点与预设的人脸关键点进行仿射变换对齐，取裁剪后的人脸图像；

将裁剪后的人脸图像输入预训练的人脸遮挡检测模型进行识别，得到待测人脸图像的遮挡信息。

本发明可以检测出具体的人脸区域是否存在遮挡，并输出人脸8个区域的遮挡程度分数，有效地验证人脸遮挡检测模型的准确性。

其中，对齐并裁剪的人脸遮挡图像是通过待检测人脸图像的5个人脸关键点与5个标准的人脸关键点进行仿射变换对齐并裁剪为人脸区域大小为256x256。进一步优选的，所述5个人脸关键点包括左眼珠、右眼珠、鼻尖、左嘴角和右嘴角的坐标点信息，而5个标准的人脸关键点的坐标点信息为预设值。

本发明中个，所述的待测人脸图像的5个关键点是由预先设置的人脸检测器所检测得到。

优选的，所述遮挡信息包括遮挡的脸部区域以及对应脸部区域的遮挡程度信息；

所述脸部区域为八个，分别为左眼、右眼、鼻子、嘴部、下巴、额头、左脸和右脸。

优选的，所述预训练的人脸遮挡检测模型的训练步骤包括：

将对齐并裁剪的人脸遮挡图像和相应脸部区域的遮挡标签作为人脸遮挡训练数据集；

利用度卷积神经网络对输入的人脸图像进行识别，并输出各脸部区域的遮挡程度信息；

将所述脸部区域的遮挡程度信息与相应区域的遮挡标签进行比对，通过BCEWithLogitsLoss函数计算每个区域的分类损失值，并反向更新网络权重参数，完成人脸遮挡检测模型训练。

进一步优选的，所述八个脸部区域中遮挡标签中的每个区域的结果为0或1。

本发明的技术方案中还提供一种用于人脸遮挡检测的装置，包括：

图像获取模块，用于获取待检测的人脸图像；

图像处理模块，用于对所述人脸图像进行检测得到人脸信息，包括人脸框和人脸关键点；并将所述的人脸关键点与预设的人脸关键点进行仿射变换对齐，取裁剪后的人脸图像；最后将裁剪后的人脸图像输入预训练的人脸遮挡检测模型进行识别，得到待测人脸图像的遮挡信息。

其中，所述的图像获取模块为摄像头。

本发明的技术方案中还提供一种用于人脸遮挡检测的电子设备，包括：

至少一个处理器；

与所述至少一个处理器通信连接的存储器；

所述存储器存储有可被所述至少一个处理器执行的指令，以使所述至少一个处理器能够执行上述的用于人脸遮挡检测的多标签深度卷积神经网络方法。相较于现有技术，本发明的有益效果如下：

1)为了减少人脸角度对人脸遮挡检测的影响，通过人脸关键点对齐方法将待检测的人脸图像对齐并裁剪为256x256大小的人脸图像。

2)为了得到具体的人脸遮挡区域，人脸遮挡检测模型对待检测人脸图像进行识别，并输出人脸8个区域的遮挡程度信息，以更有效地验证人脸遮挡检测模型的准确性。

3)相对目标检测网络，多标签识别网络在训练数据制作更加简洁，同时网络运算速度更快。

附图说明

图1表示本发明人脸遮挡检测流程图；

图2表示本发明的人脸检测检测待测人脸图像；

图3表示经过人脸检测所得到的人脸信息的效果图；

图4表示本发明通过人脸关键点对齐方法对待测人脸图像进行人脸对齐并裁剪为256x256大小的无遮挡效果图；

图5表示本发明通过人脸关键点对齐方法对待测人脸图像进行人脸对齐并裁剪为256x256大小的遮挡样本图；

图6表示本发明人脸遮挡训练流程图。

图7表示本发明人脸遮挡检测网络大体结构示意图。

具体实施方式

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明并不限于下面公开的具体实施例的限制。

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

本实施例的应用于人脸遮挡检测的多标签深度卷积神经网络方法，如图1所示，包括如下步骤：

第一步，先获取人脸图像，图2是获取人脸图像样例。

第二步，对上述人脸图像进行人脸检测得到相应的人脸信息，具体人脸信息包含人脸框和5个人脸关键点，具体样例如图3所示。

本实施例中，待测人脸图像的5个关键点是由预先设置的人脸检测器所检测得到。

第三步，根据上述的所检测得到5个人脸关键点和预设的5个人脸关键点通过仿射变换操作获取对齐并裁剪后的人脸图像，具体样例如图4所示。

对齐并裁剪的人脸图像是通过待检测人脸图像的5个人脸关键点与5个标准的人脸关键点进行仿射变换对齐并裁剪为人脸区域大小为256x256的人脸图像，上述5个人脸关键点包括左眼珠、右眼珠、鼻尖、左嘴角和右嘴角的坐标点信息，而5个标准的人脸关键点的坐标点信息为预设值。

第四步，将对齐并裁剪后的人脸图像输入到预训练的人脸遮挡检测模型进行识别，以生成对应上述人脸图像的遮挡信息。具体的遮挡信息包含人脸8个区域(左眼、右眼、鼻子、嘴部、下巴、额头、左脸和右脸)所对应遮挡程度分数，其中遮挡程度分数的取值范围位于[0,1]，其8个区域中任一区域的分数越接近1越表明该区域的遮挡程度越高。

本实施例中，每张人脸图像相应8个区域的遮挡标签为长度为8的一维向量，向量的序号0-7分别表示左眼、右眼、鼻子、嘴部、下巴、额头、左脸和右脸的区域。若人脸的某个区域存在遮挡时，则向量对应序号的位置会置为1，否则置为0。如人脸的多个区域同时存在遮挡时，那向量对应序号的位置均置为1，反之，不存在遮挡的区域均置为0，总而言之，人脸标签的每个位置的结果只取0或1。

本发明的人脸遮挡检测方法的具体训练流程框图如图6所示：

第一步，获取对齐并裁剪的人脸遮挡图像和相应8个区域的遮挡信息标签作为人脸遮挡训练数据集。由于图4的人脸不存在遮挡，则其所对应的遮挡标签为[0,0,0,0,0,0,0,0]，而图5的人脸的左眼和右眼存在遮挡，则其所对应的遮挡标签为[1,1,0,0,0,0,0,0]。

第二步，将人脸遮挡训练数据集输入到人脸遮挡检测网络识别，并输出人脸8个区域的遮挡程度分数，人脸遮挡检测网络的大体结构如图7所示。

第三步，通过上述输出人脸8个区域的遮挡程度分数与相应8个区域的遮挡信息标签进行比对，通过BCEWithLogitsLoss函数计算每个区域的分类损失值，并反向更新网络权重参数，逐步完成人脸遮挡检测模型训练。

本实施例中，如图7所示，人脸遮挡检测模型是一个多标签的深度卷积神经网络，该网络是一个多标签的分类识别网络。若输入图片同时存在多个目标，则网络均可同时识别多个目标。网络模型结构主要分为两个部分，第一部分是1个主干网络，该网络主要负责提取人脸图像的低层特征，该特征主要包括轮廓、边缘、颜色、纹理和形状特征等。第二部分是8个子网络，8个子网络对应8个人脸区域，每个子网络结构含有多个卷积层和2层全连接层。其目的主要是保证每个子网络对于相应区域具有提取更有针对性的高层语义特征的能力，同时还具有对每个相应的区域进行分类的能力。

通过上述实施例中的方法，可以检测出具体的人脸区域是否存在遮挡，并输出人脸8个区域的遮挡程度分数，有效地验证人脸遮挡检测模型的准确性，同时在人脸遮挡训练数据制作方面比较简单，只需根据每个人脸区域的遮挡情况设置为1或0即可。

在另一个实施例中，提供一种与上述方法实施例相对应的装置，即一种用于人脸遮挡检测的装置，包括：

图像获取模块，用于获取待检测的人脸图像；

图像处理模块，用于对所述人脸图像进行检测得到人脸信息，包括人脸框和人脸关键点；并将所述的人脸关键点与预设的人脸关键点进行仿射变换对齐，取裁剪后的人脸图像；最后将裁剪后的人脸图像输入预训练的人脸遮挡检测模型进行识别，得到待测人脸图像的遮挡信息。

在本装置的实施例中，图像处理模块的具体实施细节可参照上述方法实施例中，此处不再进行重复赘述。

上述的图像获取模块可以是以逻辑模块，例如从拍摄好的图库中提取待检测的人脸图像；也可是对应的硬件设备，例如摄像头，直接拍摄人脸图像，并输出至图像处理模块进行。

在另一个实施例中，提供一种用于人脸遮挡检测的电子设备，包括：至少一个处理器，与所述至少一个处理器通信连接的存储器；所述存储器存储有可被所述至少一个处理器执行的指令，以使所述至少一个处理器能够执行上述的用于人脸遮挡检测的多标签深度卷积神经网络方法。

本实施例中的电子设备还应包括搭载所述处理器和存储器载体，如设备壳体等。处理器可以是一个或者多个，对应的存储器可以是一个或者多个，存储器可用于存储图像和计算机程序，处理器用于执行所述的计算机程序，并对待测的人脸图像进行处理，实现人脸遮挡检测。

以上所述仅为本发明的较佳实施举例，并不用于限制本发明，凡在本发明精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种用于人脸遮挡检测的多标签深度卷积神经网络方法，其特征在于，包括：

获取待检测的人脸图像；

对所述人脸图像进行检测得到人脸信息，包括人脸框和人脸关键点；

将所述的人脸关键点与预设的人脸关键点进行仿射变换对齐，取裁剪后的人脸图像；

将裁剪后的人脸图像输入预训练的人脸遮挡检测模型进行识别，得到待测人脸图像的遮挡信息。

2.根据权利要求1所述的用于人脸遮挡检测的多标签深度卷积神经网络方法，其特征在于，所述人脸关键点包括左眼珠、右眼珠、鼻尖、左嘴角和右嘴角的坐标点信息。

3.根据权利要求2所述的用于人脸遮挡检测的多标签深度卷积神经网络方法，其特征在于，所述遮挡信息包括遮挡的脸部区域以及对应脸部区域的遮挡程度信息；

所述脸部区域为八个，分别为左眼、右眼、鼻子、嘴部、下巴、额头、左脸和右脸。

4.根据权利要求1所述的用于人脸遮挡检测的多标签深度卷积神经网络方法，其特征在于，所述预训练的人脸遮挡检测模型的训练步骤包括：

将对齐并裁剪的人脸遮挡图像和相应脸部区域的遮挡标签作为人脸遮挡训练数据集；

利用度卷积神经网络对输入的人脸图像进行识别，并输出各脸部区域的遮挡程度信息；

将所述脸部区域的遮挡程度信息与相应区域的遮挡标签进行比对，通过BCEWithLogitsLoss函数计算每个区域的分类损失值，并反向更新网络权重参数，完成人脸遮挡检测模型训练。

5.根据权利要求4所述的用于人脸遮挡检测的多标签深度卷积神经网络方法，其特征在于，所述八个脸部区域中遮挡标签中的每个区域的结果为0或1。

6.一种用于人脸遮挡检测的装置，其特征在于，包括：

图像获取模块，用于获取待检测的人脸图像；

图像处理模块，用于对所述人脸图像进行检测得到人脸信息，包括人脸框和人脸关键点；并将所述的人脸关键点与预设的人脸关键点进行仿射变换对齐，取裁剪后的人脸图像；最后将裁剪后的人脸图像输入预训练的人脸遮挡检测模型进行识别，得到待测人脸图像的遮挡信息。

7.根据权利要求6所述的用于人脸遮挡检测的多标签深度卷积神经网络装置，其特征在于，所述的图像获取模块为摄像头。

8.一种用于人脸遮挡检测的电子设备，其特征在于，包括：

至少一个处理器；

与所述至少一个处理器通信连接的存储器；

所述存储器存储有可被所述至少一个处理器执行的指令，以使所述至少一个处理器能够执行如权利要求1-5任一项所述的用于人脸遮挡检测的多标签深度卷积神经网络方法。

Images