CN116012922A - 一种适于口罩佩戴状态的人脸图像性别识别方法 - Google Patents

Abstract

一种适于口罩佩戴状态的人脸图像性别识别方法，包括人脸检测网络和性别分类网络，所述人脸检测网络采用特征金字塔技术、融合多尺度信息对人物图像进行特征提取，加入对可形变卷积层的监督，改进关键点回归损失函数，以增强网络对佩戴口罩人脸的检测能力；所述性别分类网络以难样本训练增强网络泛化能力，将输入的人脸图像映射到欧几里德空间，得到人脸嵌入特征，经过分类网络层以输出性别识别结果。本发明在检测口罩佩戴状态的人脸图像时可以在保证一定准确率的同时，满足检测速度要求。

Description

一种适于口罩佩戴状态的人脸图像性别识别方法

技术领域

本发明属于人脸识别技术领域，涉及对人脸图像的属性分类，为一种适于口罩佩戴状态的人脸图像性别识别方法。

背景技术

性别识别，是在图像中检测到人脸后，提取其图像特征并识别其性别属性的过程。这一技术主要应用于自动身份认证领域，因此对于准确性有着较高的要求。目前主流的性别识别方法主要基于级联的深度学习网络，其中人脸检测网络提供定位人脸、人脸对齐等功能，属性分类网络提供特征提取、性别识别等功能。由于当前人脸检测技术、分类网络技术已经发展到较高水平，以上基于深度学习的性别识别方法因准确性高、推理速度快，已在身份认证领域得以广泛地应用。

然而对于公共场所佩戴口罩的行人数量大大增加的情况，特别是一些需要快速身份认证且不便于摘下口罩的场合，现有的人脸检测方法的准确率会受到极大影响。此外，当前存在一些专门检测佩戴口罩人脸的网络，但其仅能检测出佩戴普通医用口罩的人脸，这与生活中口罩样式繁多的实际条件不匹配。同时口罩遮挡也令性别分类网络准确率大幅降低，给性别识别带来了一定困难。

发明内容

为了克服上述现有技术的不足，本发明提供一种适于口罩佩戴状态的人脸图像性别识别方法，提高了人脸检测网络和性别分类网络的准确率，可以较好地对佩戴口罩的人群进行性别识别。

本发明的技术方案为：一种适于口罩佩戴状态的人脸图像性别识别方法，包括以下步骤：

步骤1：构建人物图像样本集，包括训练样本集与测试样本集：训练样本集图片中人员没有佩戴口罩，为图片中人员添加人脸位置标注，即人脸目标框的坐标，测试样本集图片中人员已佩戴口罩，训练样本集数量为测试样本集的十倍及以上；

步骤2：人物图像训练样本集预处理：根据训练样本集中的人脸位置标注，从人物图像中裁剪出人脸图像，并收集不同款式的口罩图像，为每1张人脸图像随机选择1张口罩图像，使用人脸3D重建与密集对齐算法2DASL实现人脸图像和口罩图像的关键点对齐，从而为人脸佩戴上模拟口罩；

步骤3：构建佩戴口罩人脸检测网络模型：以RetinaFace网络为基础构建人脸检测网络，加入对可形变卷积层的监督，增加双眼关键点回归损失在所有损失中的占比，以增强网络对佩戴口罩人脸的检测能力；

步骤4：人脸检测网络分别使用人物图像训练样本集、测试样本集进行训练及测试，人脸检测网络输出为人脸目标框坐标；根据人脸目标框坐标，从图片中裁剪出人脸图像，构建人脸图像样本集，用于性别分类网络训练与测试；

步骤5：构建并训练性别分类网络模型：以FaceNet网络为基础构建性别分类网络，添加分类层，设计三元组样本生成规则，并以难样本训练增强网络的泛化能力，性别分类网络输入为人脸图像，网络完成映射，得到人脸嵌入特征，并输出人员性别，具体如下：

步骤5.1：在FaceNet网络最后添加分类层以构建性别分类网络，分类层包括1个卷积层、1个池化层和1个全连接层，将FaceNet网络输出的128维人脸嵌入特征转换为性别分类结果；

步骤5.2：将人脸图像样本集分为m批，对于每一批次，随机抽取1张图像作为模板，其后在同性图像中抽取1张作为正例，在异性图像中随机抽取1张作为反例，模板、正例和反例共同组成1个三元组样本，重复以上操作n次初步构建训练集，对FaceNet网络进行初步训练与测试；

步骤5.3：经过初步训练与测试后，对于每一张人脸图像，FaceNet网络获得其128维人脸嵌入特征，对于每一批次，计算所有人脸图像对应的人脸嵌入特征之间的欧氏距离，随机抽取1张图像作为模板，其后选择与之欧氏距离最大的同性图像作为正例，选择与之欧氏距离最小的异性图像作为反例，模板、正例和反例共同组成1个三元组难样本，重复以上操作n次二次构建训练集，训练性别分类网络，以难样本训练增强网络的泛化能力；

最终，由上述步骤训练所得的人脸检测网络和性别分类网络，对输入的佩戴口罩的人脸图像进行人脸检测及性别分类，完成性别识别。

本发明与现有技术相比，具有以下优点：

第一、本发明提高了口罩佩戴状态下人脸的检测准确率。当前网络上佩戴口罩人脸数据集内口罩样式单一，和生活中口罩样式繁多的实际条件不匹配，造成人脸检测算法准确度对于网络数据集较高，在实际生活应用中较低的问题。本发明通过2DASL算法实现人脸图像和口罩图像的关键点对齐，从而建立佩戴模拟口罩的人脸图像样本集，在人脸检测网络的训练过程中加入此数据集，使人脸检测网络能够学习到大部分口罩的特征，在相同的网络结构上，人脸检测准确率由80.75％提升至90.11％。

第二、本发明提出了改进的人脸检测网络。加入对可形变卷积层的监督，让伪框起到锚点框的作用，使网络检测准确度提高；在所有人脸关键点中，由于口罩遮挡，实际仅有左、右眼关键点的定位较为准确，为此改进损失函数，增大双眼关键点回归损失的贡献，提升人脸检测准确率1.24％。

第三、本发明重新设计了FaceNet网络的三元组样本生成规则，并以难样本训练增强了网络的泛化能力，以及添加性别分类层，性别分类准确率由90.15％提高至93.5％。

附图说明

图1为本发明的流程示意图。

图2为本发明为人脸佩戴模拟口罩方法的效果示意图。

图3为本发明中人脸检测网络的网络结构图。

图4为本发明中性别分类网络难样本训练的原理图。

具体实施方式

本发明提出了一种适于口罩佩戴状态的人脸图像性别识别方法。针对一些由于不便摘下口罩而又需要进行身份验证的应用场合需求，本发明解决了在人脸被口罩遮挡的情况下难以准确识别性别的问题，有效地提升了当前性别识别的准确率。

如图1所示，本发明的具体实施过程如下：

步骤1：构建人物图像样本集，包括训练样本集与测试样本集：训练样本集图片中人员没有佩戴口罩，为图片中人员添加人脸位置标注，即人脸目标框的坐标，测试样本集图片中人员已佩戴口罩，训练样本集数量为测试样本集的十倍及以上。

步骤2：人物图像训练样本集预处理：根据训练样本集中的人脸位置标注，从人物图像中裁剪出人脸图像，并收集不同款式的口罩图像，为每1张人脸图像随机选择1张口罩图像，使用人脸3D重建与密集对齐算法2DASL实现人脸图像和口罩图像的关键点对齐，从而为人脸佩戴上模拟口罩，具体如下。

步骤2.1：采用3D重建与密集对齐算法2DASL对人脸图像进行3D点云人脸重构，得到人脸图像的关键点位置坐标，并对口罩图像进行相同操作得到关键点位置坐标。

步骤2.2：通过人脸关键点和口罩关键点的密集对齐实现人脸图像和口罩图像的对齐叠加，得到佩戴模拟口罩的人脸图像，经过上述处理人脸图像大小格式保持不变，将佩戴模拟口罩人脸还原至人物图像中，如图2所示。

步骤3：构建佩戴口罩人脸检测网络模型：以RetinaFace网络为基础构建人脸检测网络，加入对可形变卷积层的监督，增加双眼关键点回归损失在所有损失中的占比，以增强网络对佩戴口罩人脸的检测能力，人脸检测网络如图3所示，具体如下。

步骤3.1：以RetinaFace网络为基础构建检测网络，该网络采用特征金字塔技术、融合多尺度信息对人物图像进行特征提取，对图像进行下采样得到T个特征层，将最后三个有效特征层分别编号为C₁、C₂、C₃，C₃经过3×3卷积层后得到P₃，C₂经过3×3卷积层后与上采样后的P₃融合得到P₂，C₁经过3×3卷积层后与上采样后的P₂融合得到P₁，最后经过5个SSH上下文模块，输出人脸目标框坐标。

步骤3.2：在人物图像训练样本集中，已标注人脸目标框，其坐标用(x_t,y_t,w_t,h_t)表示，其中(x_t,y_t)为中心坐标，(w_t,h_t)分别为目标框的宽和高，在网络训练过程中，每对特征层进行一次下采样，人脸目标框坐标即缩小

以此类推可得到C_i特征层的人脸目标框坐标，以(x_i,y_i,w_i,h_i)表示，i＝1,2,3。

步骤3.3：本发明加入对可形变卷积层的监督，将上述所有3×3卷积层都替换为本发明改进的可形变卷积层，可形变卷积层对于卷积核中的每个采样点都产生一个x方向偏移量和一个y方向偏移量，采样点偏移后具有不规则的位置分布，使得卷积网络的非刚性变换建模能力得到增强；其次令能包含所有偏移后采样点的最小矩形为伪框，通过比较人脸目标框和伪框计算定位损失以监督偏移量的学习，缩小人脸目标框与伪框的差距，从而让伪框能够起到锚点框的作用，使网络检测准确度提高。

步骤3.4：在C_i特征层的9个x方向偏移量中，最小的用w_imin表示，最大的用w_imax表示；在在9个y方向偏移量中，最小的用h_imin表示，最大的用h_imax表示；使用人脸目标框和伪框左上角之间的欧式距离与右下角之间的欧氏距离之和来表示定位损失：

现有的可形变卷积层仅有偏移量，无任何监督，本发明进行了改进，在RetinaFace网络中，在特征提取阶段就运用了可形变卷积层，且通过逐层降低目标框大小监督偏移量的学习，并对应设计了偏移量定位损失函数，能够有效提高人脸检测网络的准确度。

步骤3.5：移除在口罩遮挡状态下，RetinaFace原损失函数中贡献较少的面部密集点回归损失，同时将原人脸关键点回归损失拆分为双眼回归损失和其他回归损失，并增大前者的损失权重，与定位损失相加得到佩戴口罩人脸检测网络损失函数：

其中p_i是预测第i个目标框是否为人脸的概率，

是真实的标签，

和L_box是RetinaFace的人脸分类损失函数和人脸目标框回归损失函数，L_eye和L_else是拆分后的双眼、其他关键点回归损失函数，L_p是偏移量定位损失，λ₁、λ₂、λ₃、λ₄分别为各损失函数的权重。

步骤4：人脸检测网络分别使用人物图像训练样本集、测试样本集进行训练及测试，人脸检测网络输出为人脸目标框坐标；根据人脸目标框坐标，从图片中裁剪出人脸图像，构建人脸图像样本集，用于性别分类网络训练与测试，具体如下：

步骤4.1：人物图像样本数据清洗，根据设定的阈值去除过于模糊、尺寸太小的图像；

步骤4.2：利用人物图像训练样本集，训练佩戴口罩人脸检测网络模型，对训练后的网络模型输入人物图像测试样本集，输出人脸目标框预测坐标，当测试样本集检测准确率达到90％时认为该网络训练成功；

步骤4.3：根据人脸目标框坐标，从人物图像样本集的所有图片中裁剪出人脸图像，构建人脸图像样本集，将此样本集按性别分为男、女两类；

步骤4.4：对于分类后人脸图像样本集，进行镜像、旋转、扭曲、颜色变换、尺度变换等数据增强操作，用于性别分类网络训练与测试。

步骤5：构建并训练性别分类网络模型：以FaceNet网络为基础构建性别分类网络，添加分类层，设计三元组样本生成规则，并以难样本训练增强网络的泛化能力，性别分类网络输入为人脸图像，网络完成映射，得到人脸嵌入特征，并输出人员性别，具体如下。

步骤5.1：本发明在FaceNet网络最后添加分类层以构建性别分类网络，分类层包括1个卷积层、1个池化层和1个全连接层，从而将FaceNet网络输出的128维人脸嵌入特征转换为性别分类结果。

步骤5.2：由于原FaceNet网络主要应用于人脸识别领域，其三元组损失目的在于对每一个人聚类，而性别分类网络希望能对每一个性别聚类，为此重新设计FaceNet网络的三元组样本生成规则：将人脸图像样本集分为m批，对于每一批次，随机抽取1张图像作为模板，其后在同性图像中抽取1张作为正例，在异性图像中随机抽取1张作为反例，模板、正例和反例共同组成1个三元组样本，重复以上操作n次初步构建训练集，并对FaceNet网络进行初步训练与测试。

步骤5.3：FaceNet网络初步训练后，还需对增加的分类层进行训练。经过初步训练与测试后，对于每一张人脸图像，FaceNet网络都已获得其128维人脸嵌入特征，对于每一批次，计算所有人脸图像对应的人脸嵌入特征之间的欧氏距离，随机抽取1张图像作为模板，其后选择与之欧氏距离最大的同性图像作为正例，选择与之欧氏距离最小的异性图像作为反例，模板、正例和反例共同组成1个三元组难样本，重复以上操作n次二次构建训练集，训练性别分类网络，以难样本训练增强网络的泛化能力，如图4所示。

最终，由上述步骤训练所得的人脸检测网络和性别分类网络，对输入的佩戴口罩的人物图像进行人脸检测及性别分类，完成性别识别。

Claims (4)

1.一种适于口罩佩戴状态的人脸图像性别识别方法，其特征是包括以下步骤：

步骤1：构建人物图像样本集，包括训练样本集与测试样本集：训练样本集图片中人员没有佩戴口罩，为图片中人员添加人脸位置标注，即人脸目标框的坐标，测试样本集图片中人员已佩戴口罩，训练样本集数量为测试样本集的十倍及以上；

步骤2：人物图像训练样本集预处理：根据训练样本集中的人脸位置标注，从人物图像中裁剪出人脸图像，并收集不同款式的口罩图像，为每1张人脸图像随机选择1张口罩图像，使用人脸3D重建与密集对齐算法2DASL实现人脸图像和口罩图像的关键点对齐，从而为人脸佩戴上模拟口罩；

步骤3：构建佩戴口罩人脸检测网络模型：以RetinaFace网络为基础构建人脸检测网络，加入对可形变卷积层的监督，增加双眼关键点回归损失在所有损失中的占比，以增强网络对佩戴口罩人脸的检测能力；

步骤4：人脸检测网络分别使用人物图像训练样本集、测试样本集进行训练及测试，人脸检测网络输出为人脸目标框坐标；根据人脸目标框坐标，从图片中裁剪出人脸图像，构建人脸图像样本集，用于性别分类网络训练与测试；

步骤5：构建并训练性别分类网络模型：以FaceNet网络为基础构建性别分类网络，添加分类层，设计三元组样本生成规则，并以难样本训练增强网络的泛化能力，性别分类网络输入为人脸图像，网络完成映射，得到人脸嵌入特征，并输出人员性别，具体如下：

步骤5.1：在FaceNet网络最后添加分类层以构建性别分类网络，分类层包括1个卷积层、1个池化层和1个全连接层，将FaceNet网络输出的128维人脸嵌入特征转换为性别分类结果；

步骤5.2：将人脸图像样本集分为m批，对于每一批次，随机抽取1张图像作为模板，其后在同性图像中抽取1张作为正例，在异性图像中随机抽取1张作为反例，模板、正例和反例共同组成1个三元组样本，重复以上操作n次初步构建训练集，对FaceNet网络进行初步训练与测试；

步骤5.3：经过初步训练与测试后，对于每一张人脸图像，FaceNet网络获得其128维人脸嵌入特征，对于每一批次，计算所有人脸图像对应的人脸嵌入特征之间的欧氏距离，随机抽取1张图像作为模板，其后选择与之欧氏距离最大的同性图像作为正例，选择与之欧氏距离最小的异性图像作为反例，模板、正例和反例共同组成1个三元组难样本，重复以上操作n次二次构建训练集，训练性别分类网络，以难样本训练增强网络的泛化能力；

最终，由上述步骤训练所得的人脸检测网络和性别分类网络，对输入的佩戴口罩的人脸图像进行人脸检测及性别分类，完成性别识别。

2.根据权利要求1所述的一种适于口罩佩戴状态的人脸图像性别识别方法，其特征是步骤2具体为：

步骤2.1：采用3D重建与密集对齐算法2DASL对人脸图像进行3D点云人脸重构，得到人脸图像的关键点位置坐标，并对口罩图像进行相同操作得到口罩关键点位置坐标；

步骤2.2：通过人脸关键点和口罩关键点的密集对齐实现人脸图像和口罩图像的对齐叠加，得到佩戴模拟口罩的人脸图像，经过上述处理人脸图像大小格式保持不变，将佩戴模拟口罩人脸还原至人物图像中。

3.根据权利要求1所述的一种适于口罩佩戴状态的人脸图像性别识别方法，其特征是步骤3具体为：

步骤3.1：以RetinaFace网络为基础构建检测网络，该网络采用特征金字塔技术、融合多尺度信息对人物图像进行特征提取，对图像进行下采样得到T个特征层，将最后三个有效特征层分别编号为C₁、C₂、C₃，C₃经过3×3卷积层后得到P₃，C₂经过3×3卷积层后与上采样后的P₃融合得到P₂，C₁经过3×3卷积层后与上采样后的P₂融合得到P₁，最后经过5个SSH上下文模块，输出人脸目标框坐标；

步骤3.2：在人物图像训练样本集中，已标注人脸目标框，其坐标用(x_t,y_t,w_t,h_t)表示，其中(x_t,y_t)为中心坐标，(w_t,h_t)分别为目标框的宽和高，在网络训练过程中，每对特征层进行一次下采样，人脸目标框坐标即缩小

以此类推可得到C_i特征层的人脸目标框坐标，以(x_i,y_i,w_i,h_i)表示，i＝1,2,3；

步骤3.3：将上述所有3×3卷积层都替换为可形变卷积层，加入对可形变卷积层的监督，可形变卷积层对于卷积核中的每个采样点都产生一个x方向偏移量和一个y方向偏移量，采样点偏移后具有不规则的位置分布，使得卷积网络的非刚性变换建模能力得到增强；其次令包含所有偏移后采样点的最小矩形为伪框，通过比较人脸目标框和伪框计算定位损失以监督偏移量的学习，缩小人脸目标框与伪框的差距，从而让伪框起到锚点框的作用，提高网络检测准确度；

步骤3.4：在C_i特征层的9个x方向偏移量中，最小的用w_imin表示，最大的用w_imax表示；在在9个y方向偏移量中，最小的用h_imin表示，最大的用h_imax表示；使用人脸目标框和伪框左上角之间的欧式距离与右下角之间的欧氏距离之和来表示定位损失：

步骤3.5：移除在口罩遮挡状态下，RetinaFace网络原损失函数中的面部密集点回归损失，同时将人脸关键点回归损失拆分为双眼回归损失和其他回归损失，并增大前者的损失权重，与定位损失相加得到佩戴口罩人脸检测网络损失函数：

其中p_i是预测第i个目标框是否为人脸的概率，

是真实的标签，

和L_box是RetinaFace的人脸分类损失函数和人脸目标框回归损失函数，L_eye和L_else是拆分后的双眼、其他关键点回归损失函数，L_p是偏移量定位损失，λ₁、λ₂、λ₃、λ₄分别为各损失函数的权重。

4.根据权利要求1所述的一种适于口罩佩戴状态的人脸图像性别识别方法，其特征是步骤4具体为：

步骤4.1：人物图像样本数据清洗，根据设定的阈值去除过于模糊、尺寸太小的图像；

步骤4.2：利用人物图像训练样本集，训练佩戴口罩人脸检测网络模型，对训练后的网络模型输入人物图像测试样本集，输出人脸目标框预测坐标，当测试样本集检测准确率达到90％时认为该网络训练成功；

步骤4.3：根据人脸目标框坐标，从人物图像样本集的所有图片中裁剪出人脸图像，构建人脸图像样本集，将此样本集按性别分为男、女两类；

步骤4.4：对于分类后人脸图像样本集，进行镜像、旋转、扭曲、颜色变换、尺度变换等数据增强操作，用于性别分类网络训练与测试。

Images