CN115641637A - 一种戴口罩人脸识别方法及系统 - Google Patents

Abstract

本发明公开了一种戴口罩人脸识别方法及系统，包括以下步骤：采集人脸图像，所述人脸图像包括无口罩人脸图像和戴口罩人脸图像，对采集到的无口罩人脸图像进行预处理，得到无口罩人脸训练数据集；通过人脸识别网络框架和分类损失函数对所述无口罩人脸训练数据集进行训练，获得标杆人脸识别模型；通过混合预处理后的戴口罩人脸图像和无口罩人脸图像构建戴口罩人脸训练数据集，构造戴口罩联合损失函数，对所述标杆人脸识别模型进行微调训练，获得戴口罩人脸识别模型；通过戴口罩人脸识别模型进行人脸识别。本申请解决了大规模高质量戴口罩人脸训练数据不易获取的问题，将其应用于人脸识别系统中，极大的提高了戴口罩人脸识别的精度。

Description

一种戴口罩人脸识别方法及系统

技术领域

本发明属于人脸识别领域，特别是涉及一种戴口罩人脸识别方法及系统。

背景技术

得益于深度学习技术的发展和大规模人脸训练数据的采集，人脸识别技术已达到了非常高的精度。人脸识别技术的应用已经广泛应用于社会的各个行业之中，给社会带来了极大的便捷，产生了显著的经济效益和社会效益。在公共场合，要求用户摘除口罩进行人脸识别是非常不合理的。由于口罩佩戴会高度遮挡人脸的关键区域，使得人脸识别算法中可识别的区域大大减少，降低了人脸识别算法的精度。已有的正常人脸识别算法由于采用正常人脸数据训练而成，不能很好地适应戴口罩人脸的应用场景。所以为了提高戴口罩人脸识别的精度，专门采集戴口罩人脸数据进行训练是很有必要的。

训练高精度的人脸识别模型需要采集千万级别甚至上亿级别的高质量的人脸数据，而采集大规模符合训练要求的戴口罩人脸数据的成本是非常高的。为了解决戴口罩人脸数据量少的问题，从人脸数据预处理、网络框架设计、损失函数以及训练方法上入手，大大减少了对戴口罩人脸数据数量上的需求，降低了戴口罩人脸数据的采集成本，提高了戴口罩人脸识别的精度。

发明内容

为了克服大规模高质量戴口罩人脸训练数据不易获取的问题，本发明提出一种戴口罩人脸识别方法及系统，该人脸识别系统在现实生活中，能够极大的提高戴口罩人脸识别的精度，为安全防护提供了极大的帮助。

为实现上述目的，本发明提供了如下方案：一种戴口罩人脸识别方法，包括以下步骤：

采集人脸图像，所述人脸图像包括无口罩人脸图像和戴口罩人脸图像，对采集到的无口罩人脸图像进行预处理，得到无口罩人脸训练数据集；

通过人脸识别网络框架和分类损失函数对所述无口罩人脸训练数据集进行训练，获得标杆人脸识别模型；

基于混合预处理后的戴口罩人脸图像和无口罩人脸图像构建戴口罩人脸训练数据集，构造戴口罩联合损失函数，对所述标杆人脸识别模型进行微调训练，获得戴口罩人脸识别模型；

通过戴口罩人脸识别模型进行人脸识别。

优选地，对人脸图像进行预处理的方法包括：

设计长宽比为2：1的标准人脸模板，在标准人脸模板中确定锚点，再通过人脸关键点定位方法获得人脸图像中锚点的位置坐标，将标准人脸模板图像的锚点与人脸图像的锚点相关联，获得标准化人脸图像；

将标准化人脸图像上下等分为上图像和下图像，分别对上图像和下图像做数据规范化运算，对应得到上规范化人脸图像和下规范化人脸图像。

优选地，获得人脸特征值的方法包括_：

将人脸的上规范化人脸图像和下规范化人脸图像分别输入到人脸识别网络框架的两个支流网络入口，经各自的支流网络之后，再经过汇合比对运算，输出人脸特征值。

优选地，所述人脸识别网络框架包括_：

上特性提取子网络、下特性提取子网络和特征汇合比对子网络；

所述上特性提取子网络和所述下特性提取子网络为结构相同卷积网络，分别以所述上规范化人脸图像和下规范化人脸图像作为输入，经过特征提取后分别输出上人脸特征值和下人脸特征值；

所述特征汇合比对子网络将所述上人脸特征值和下人脸特征值作相减运算后，再把结果输入到两个卷积层和一个全连接网络层，得到所述人脸特征值。

优选地，对戴口罩人脸识别模型进行训练的方法包括：

通过人脸识别网络框架和分类损失函数对无口罩人脸训练数据集进行训练，获得标杆人脸识别模型；

根据所述标杆人脸识别模型，使用所述无口罩人脸训练数据集进行推理，得到数据集中每个类别的夹角角度均值和特征向量这些微调训练参数；

通过戴口罩联合损失函数、所述戴口罩人脸训练数据集和所述微调训练参数，对所述标杆人脸识别模型进行微调训练，获得戴口罩人脸识别模型。

优选地，所述戴口罩联合损失函数包括：

分类损失函数和标杆引领损失函数；

所述标杆引领损失函数，采用所述标杆人脸识别模型作为标杆，用于约束戴口罩人脸识别模型的训练过程。

本发明还提供一种戴口罩人脸识别系统，包括：

图像采集模块，用于采集无口罩人脸图像和戴口罩人脸图像；

图像处理模块，与所述图像采集模块连接，用于对采集的无口罩人脸图像和戴口罩人脸图像进行图像预处理；

模型构建模块，与所述图像处理模块连接，用于基于处理后的无口罩人脸图像和戴口罩人脸图像构建人脸识别模型；

训练模块，分别与所述图像处理模块、模型构建模块连接，用于通过处理后的戴口罩人脸图像对人脸识别模型进行训练，获得戴口罩人脸识别模型；

识别模块，用于通过所述戴口罩人脸识别模型进行戴口罩人脸识别。

本发明公开了以下技术效果：

为了解决戴口罩人脸数据量少的问题，本申请提供了一种戴口罩人脸识别方法及系统，通过人脸数据预处理、网络框架设计、损失函数以及训练方法，极大的减少了对戴口罩人脸数据数量上的需求，降低了戴口罩人脸数据的采集成本，提高了戴口罩人脸识别的精度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例的戴口罩人脸识别方法流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

如图1所示，本发明提供了一种戴口罩人脸识别方法，包括以下步骤：

采集大规模无口罩人脸图像，对采集到的无口罩人脸图像进行预处理，得到无口罩人脸训练数据集；

通过人脸识别网络框架和分类损失函数对所述无口罩人脸训练数据集进行训练，获得标杆人脸识别模型；

采集小规模戴口罩人脸图像，对采集到的戴口罩人脸图像进行预处理，混合戴口罩人脸图像和无口罩人脸图像构建戴口罩人脸训练数据集，构造戴口罩联合损失函数，对所述标杆人脸识别模型进行微调训练，获得戴口罩人脸识别模型；

通过戴口罩人脸识别模型进行人脸识别。

进一步地优化方案，人脸图像预处理方法如下：

为了提高人脸识别的精度，一般需要先对人脸图像进行裁剪和对齐。采用设计标准人脸模板的方式对人脸图像进行裁剪和对齐，把标准人脸模板图像尺寸设置为192×96。在标准人脸模板图像中，把人脸的左眼、右眼、鼻子、左嘴角和右嘴角5个位置坐标作为锚点，这 5个锚点的坐标分别设置为(28，88)、(70，88)、(50，132)、 (30，158)和(62，158)。

先通过人脸关键点定位方法获得图像I中人脸的左右眼、鼻子和左右嘴角5个位置的坐标。把这5个坐标分别和标准人脸模板图像中的5个坐标关联，得到5组坐标对。根据这5组坐标对求解仿射变换矩阵，使用该仿射变换矩阵对图像I进行变换操作，得到尺寸为 192×96的标准化人脸图像。把该标准化人脸图像按上下二等分成尺寸为96×96的两个图像，并分别对这两个图像作减均值除方差的图像数据规范化运算。把运算之后的上图像记作S_u，下图像记作S_b。

进一步地优化方案，所述获得人脸特征值的方法包括_：

将人脸的上规范化人脸图像和下规范化人脸图像分别输入到人脸识别网络框架的两个支流网络入口，经各自的支流网络之后，再经过汇合比对运算，输出人脸特征值。

进一步地优化方案，戴口罩人脸识别模型的训练方法为：

戴口罩人脸识别模型的训练由两个步骤组成：第一步，先构造大规模不戴口罩人脸训练数据集，并采用前面的人脸预处理方法把所有的人脸变换成192×96的标准化人脸图像，构成第一人脸训练数据集 T_s。采用双数据流比对的人脸识别网络框架和分类损失函数

在第一人脸训练数据集T_s进行训练直至收敛，得到标杆人脸识别模型M_p。针对第一人脸训练数据集T_s，通过推理得到模型M_p中第i个分类类别的第k个特征向量，并计算和保存第i个分类类别的夹角角度的均值μ_i。

第二步，在第一人脸训练数据集T_s加入戴口罩人脸训练数据构成第二人脸训练数据集T_m。采用双数据流比对的人脸识别网络框架和联合损失函数

在第二人脸训练数据集T_m采用小学习率的方式进行微调训练直至收敛，得到戴口罩人脸识别模型M_m。在训练过程中，通过随机生成掩码图像块覆盖下图像S_b，实现对下图像S_b数据扩增，以增强模型的泛化性能。

进一步地优化方案，双数据流比对的人脸识别网络框架处理方法为：

人脸识别网络框架采用双数据流比对的网络结构，把人脸的上下两个图像分别输入到人脸识别网络中提取各自的中间人脸特征，再通过一个比对网络来获得上下两个图像的比对特征，以增强学习到戴口罩人脸的显著特征。具体来说，在上支流网络通路中，上图像S_u输入到人脸识别网络NE_u，输出支流特征值F_u；在下支流中，下图像S_b输入到人脸识别网络NE_b，输出支流特征值F_b。支流中的人脸识别网络 NE_u和NE_b网络结构相同，可以根据具体的业务场景需要选择ResNet 网络结构或者轻量级的MobileNet网络结构，但是它们不共享网络参数，各自根据训练数据学习得到自己的网络参数。

得到支流特征值F_u和F_b之后，先通过一个比对层计算F_d＝F_u-F_b，实现两个支流特征进行汇合，其后连接一个BatchNorm层和一个 PReLU层，再把输出结果输入到两个由卷积层、BatchNorm层和一个 PReLU层组成的残差连接，最后把输出结果输入到一个全连接网络层 FC中得到最终的人脸特征F。

进一步地优化方案，训练戴口罩人脸识别模型的损失函数是一个联合损失函数，它由一个分类损失函数和标杆引领损失函数组合而成：

其中α为联合系数，取值为0.7。分类损失函数

为交叉熵损失函数，可采用目前主流的柔性最大值函数或其变种形式。标杆引领损失函数用于降低戴口罩人脸图像训练数据量不足的影响，采用常规高精度人脸识别模型作为标杆，对戴口罩人脸识别模型的训练过程进行约束，防止模型过拟合。标杆引领损失函数定义为：

其中θ(·)为计算两个向量夹角角度的函数，W_m，i表示当前正在训练的戴口罩人脸识别模型中第i个分类类别的中心位置的向量，而 W_g，i表示标杆人脸识别模型中第i个分类类别的中心位置的向量。μ_i表示标杆人脸识别模型中第i个分类类别的所有人脸特征向量与W_g，i之间的夹角角度的均值：

其中F_i，k为标杆人脸识别模型中第i个分类类别的第k个特征向量。

本实施例还提供一种戴口罩人脸识别系统，包括：

图像采集模块，用于采集无口罩人脸图像和戴口罩人脸图像；

图像处理模块，与所述图像采集模块连接，用于对采集的无口罩人脸图像和戴口罩人脸图像进行图像预处理；

模型构建模块，与所述图像处理模块连接，用于基于处理后的无口罩人脸图像和戴口罩人脸图像构建人脸识别模型；

训练模块，分别与所述图像处理模块、模型构建模块连接，用于通过处理后的戴口罩人脸图像对人脸识别模型进行训练，获得戴口罩人脸识别模型；

识别模块，用于通过所述戴口罩人脸识别模型进行戴口罩人脸识别。

综上可见，本发明与现有技术相比的显著优势概括如下：

1)本发明的戴口罩人脸识别方法，不需要采集大量戴口罩人脸图像，降低了采集成本。

2)本发明的戴口罩人脸识别方法，通过戴口罩联合损失函数提高了戴口罩人脸识别的精度。

以上所述的实施例仅是对本发明的优选方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案做出的各种变形和改进，均应落入本发明权利要求书确定的保护范围内。

Claims (7)

1.一种戴口罩人脸识别方法，其特征在于，包括以下步骤：

采集人脸图像，所述人脸图像包括无口罩人脸图像和戴口罩人脸图像，对采集到的无口罩人脸图像进行预处理，得到无口罩人脸训练数据集；

通过人脸识别网络框架和分类损失函数对所述无口罩人脸训练数据集进行训练，获得标杆人脸识别模型；

基于混合预处理后的戴口罩人脸图像和无口罩人脸图像构建戴口罩人脸训练数据集，构造戴口罩联合损失函数，对所述标杆人脸识别模型进行微调训练，获得戴口罩人脸识别模型；

通过戴口罩人脸识别模型进行人脸识别。

2.根据权利要求1所述的戴口罩人脸识别方法，其特征在于，对人脸图像进行预处理的方法包括：

设计长宽比为2：1的标准人脸模板，在标准人脸模板中确定锚点，再通过人脸关键点定位方法获得人脸图像中锚点的位置坐标，将标准人脸模板图像的锚点与人脸图像的锚点相关联，获得标准化人脸图像；

将标准化人脸图像上下等分为上图像和下图像，分别对上图像和下图像做数据规范化运算，对应得到上规范化人脸图像和下规范化人脸图像。

3.根据权利要求1所述的戴口罩人脸识别方法，其特征在于，所述人脸识别网络框架处理人脸图像的过程包括_：

将人脸的上规范化人脸图像和下规范化人脸图像分别输入到人脸识别网络框架的两个支流网络入口，经各自的支流网络之后，再经过汇合比对运算，输出人脸特征值。

4.根据权利要求3所述的戴口罩人脸识别方法，其特征在于，所述人脸识别网络框架包括_：

上特性提取子网络、下特性提取子网络和特征汇合比对子网络；

所述上特性提取子网络和所述下特性提取子网络为结构相同卷积网络，分别以上规范化人脸图像和下规范化人脸图像作为输入，经过特征提取后分别输出上人脸特征值和下人脸特征值；

所述特征汇合比对子网络将所述上人脸特征值和下人脸特征值作相减运算后，再把结果输入到两个卷积层和一个全连接网络层，得到所述人脸特征值。

5.根据权利要求1所述的戴口罩人脸识别方法，其特征在于，对戴口罩人脸识别模型进行训练的方法包括：

通过人脸识别网络框架和分类损失函数对无口罩人脸训练数据集进行训练，获得标杆人脸识别模型；

根据所述标杆人脸识别模型，使用所述无口罩人脸训练数据集进行推理，得到数据集中每个类别的夹角角度均值和特征向量这些微调训练参数；

通过戴口罩联合损失函数、所述戴口罩人脸训练数据集和所述微调训练参数，对所述标杆人脸识别模型进行微调训练，获得戴口罩人脸识别模型。

6.根据权利要求5所述的戴口罩人脸识别方法，其特征在于，所述戴口罩联合损失函数包括：

分类损失函数和标杆引领损失函数；

所述标杆引领损失函数，采用所述标杆人脸识别模型作为标杆，用于约束戴口罩人脸识别模型的训练过程。

7.一种戴口罩人脸识别系统，其特征在于，包括：

图像采集模块，用于采集无口罩人脸图像和戴口罩人脸图像；

图像处理模块，与所述图像采集模块连接，用于对采集的无口罩人脸图像和戴口罩人脸图像进行图像预处理；

模型构建模块，与所述图像处理模块连接，用于基于处理后的无口罩人脸图像和戴口罩人脸图像构建人脸识别模型；

训练模块，分别与所述图像处理模块、模型构建模块连接，用于通过处理后的戴口罩人脸图像对人脸识别模型进行训练，获得戴口罩人脸识别模型；

识别模块，用于通过所述戴口罩人脸识别模型进行戴口罩人脸识别。

Images