CN111460962A - 一种口罩人脸识别方法及系统 - Google Patents

Abstract

本发明公开了一种口罩人脸识别方法及系统，本发明建立基于ArcFace的面部‑眉眼多粒度识别模型，利用眉眼精细特征结构增强口罩人脸识别效果；针对当前急需口罩人脸识别数据集训练模型的现状，提出了多种口罩人脸数据集构建方法；在此基础上形成一套完整的口罩人脸识别系统，系统包括模型构建、模型训练、人脸识别等三个主要环节。本发明技术显著提升了口罩人脸识别的精度，建立的数据集有效支撑了口罩遮挡人脸应用场景的技术开发。

Description

一种口罩人脸识别方法及系统

技术领域

本发明属于模式识别技术领域，涉及一种人脸识别方法及系统，具体涉及一种口罩人脸识别方法及系统。

技术背景

COVID-19新冠肺炎疫情期间全民戴口罩，作为重要身份验证手段的人脸识别技术基本失效，从而给人脸身份认证应用造成巨大障碍，包括社区出入管理、人脸门禁考勤、车站人脸闸机等应用场景。尤其是火车站之类公共安检场合，佩戴口罩人脸闸机不认识，取下口罩过闸，又有传染风险；还有非接触式门禁应用，由于病毒存在接触传播途径，密码或指纹开锁存在病毒感染风险，非接触式刷脸开锁要安全得多，但戴口罩时人脸识别机往往拒识。为此，需要对现有的依赖全部面部特征点的人脸识别方案进行改进升级，使得在佩戴口罩人脸露出不全的情况下依然能可靠进行身份认证。

在深度学习技术的推动下，业界已经存在多套人脸识别算法模型，如DeepFace、DeepID、FaceNet，这些模型在正常人脸识别场合，均取得优异的性能，公开数据集上的识别率超过99％；近年新开发的CosFace、SphereFace、ArcFace由于采用了更合理的损失函数，性能进一步提升。然而，在口罩重度遮挡面部的情况下，由于可利用的面部特征点显著减少，性能表现急剧下降，直接应用于口罩人脸识别场景，要么高误识率，要么高拒识率，无法满足可靠的人脸身份认证需求。

依赖人脸的身份识别大致分为两种应用场景：非受控环境和受控环境。前者主要指公共视频监控这种人脸拍摄距离、角度、姿态、光照都不受约束的场合，这种情况下的人脸识别本身就十分困难，外加口罩遮掩，就更无法保证精度。但人脸识别也同时存在大量受控应用场景，如人脸门禁、人脸考勤、车站人脸闸机安检、刷脸支付等等，这种情况下，摄像距离一般很近，被识别对象也能配合头像采集，不会出现随意的人脸角度姿态变化，因而可以获得高质量、正面人脸图像。因此，受控环境下的口罩人脸识别具有技术上的可行性。

目前已经有部分机构开展了口罩遮挡人脸识别的研究。根据网络报道，商汤科技在露出50％鼻梁时通过率可达85％，汉王科技报道的也是85％左右，目前报道最好的结果是小视科技，戴口罩人员识别率超过90％。与此相关的另外一个工作，人脸口罩识别，即识别是否按要求佩戴口罩，由于技术难度要小些，识别精度就要高得多，目前腾讯、百度、京东报道的结果都达到99％以上。鉴于常规人脸识别任务的机器学习算法已经做到与人眼相差无几的水平，达到99％以上，所以，总体而言，口罩人脸识别尚处于一个可用但并不十分可靠的水平上。为此，有必要针对口罩人脸识别提出新的算法模型。

与此同时，当前最好的人脸识别器都是基于深度学习模型训练而来，使得设计口罩人脸识别算法需要大量的口罩人脸样本集。但目前尚没有公开可用的有体量的口罩人脸识别数据集，为此，需要构建与模型配套的大规模口罩人脸样本集，驱动模型训练和迭代优化。

发明内容

口罩人脸识别模型设计的关键是“强弱”双管齐下，强化露出面部特征的辨识强度，弱化遮挡部分的干扰。为此，本发明提出了面部-眉眼多粒度识别模型，强化保留的特征、抑制遮挡的特征、突出区分力特征，引入注意力模型，充分挖掘眉眼精细结构的辨识潜力。

本发明得方法所采用的技术方案是：一种口罩人脸识别方法，其特征在于，包括以下步骤：

步骤1：以开源的ArcFace人脸识别模型为基线模型，构建口罩人脸识别深度学习模型；

具体包括以下子步骤：

步骤1.1：眉眼提取；

采用开源的Face-Alignment算法提取眉眼特征点，将眉眼特征点顺序串联连接，形成眉、眼的两个封闭空间，分别记为B、E；

步骤1.2：眉眼注意力加权；

设f为ArcFace模型全连接层之前的特征图，f'为经过眉眼注意力加权后的特征图，注意力加权公式为：

其中，α为眉部强度参数，β为眼部强度参数，(x,y)为特征点坐标；

步骤1.3：定义Softmax分类损失函数和Triplet距离联合损失函数；

所述Softmax分类损失函数为：

其中

表示为分类正确的值，N表示样本总数，n表示标签数目，y_i表示样本的标签，s为尺度变量，m为加性角余量惩罚参数，θ_j为第j类分类器矢量与样本矢量间的夹角，θ_yi为标签类分类器矢量与样本矢量间的夹角；

所述Triplet距离联合损失函数为：

其中

表示同类间的距离，

表示不同类间的距离，α表示间隔超参数，N为样本总数；

分别表示锚样本、正样本、负样本的特征；

步骤1.4：输入人脸图像训练样本，采用ArcFace人脸识别模型学习样本的特征，同时利用Face-Alignment算法提取人脸的眉眼区域；在此基础上，结合学习到的人脸特征以及提取的眉眼部位，对特征进行注意力加权；最后，通过Softmax分类损失函数和Triplet距离联合损失函数计算训练的损失，监督网络学习，获得口罩人脸识别深度学习模型；

步骤2：训练口罩人脸识别深度学习模型；

步骤3：利用训练好的口罩人脸识别深度学习模型对人脸进行识别。

本发明的系统所采用的技术方案是：一种口罩人脸识别方法及系统，其特征在于：包括口罩人脸识别深度学习模型构建模块、口罩人脸识别深度学习模型训练模块、人脸识别模块；

所述口罩人脸识别深度学习模型构建模块，用于以开源的ArcFace人脸识别模型为基线模型，构建口罩人脸识别深度学习模型；

所述口罩人脸识别深度学习模型训练模块，用于训练口罩人脸识别深度学习模型；

所述人脸识别模块，用于利用训练好的口罩人脸识别深度学习模型对人脸进行识别。

与现有的人脸识别方案相比，本发明具有如下优点与积极效果：

1)本发明提出面部-眉眼多粒度识别模型，通过对具有特殊辨别价值的眉眼部位进行注意力加权，提高眉眼在面部身份比对度量中的优先级，同时，增加了基于Triplet损失函数的模型微调过程，适应了口罩遮挡人脸识别任务的需求；

2)本发明基于的基线人脸识别模型ArcFace、人脸对齐模型Face-Alignment、人脸检测模型RetinaFace相对同类模型具有性能和效率上的比较优势，使得改进模型的起点高；

3)本发明提出了一系列口罩人脸识别数据集的构建方法，有效缓解了当前口罩人脸数据集缺失的问题，数据集已经对社会开放，为业界建立同类应用提供了便利。

附图说明

图1：本发明实施例的方法原理图；

图2：本发明实施例的眉眼示意图；

图3：本发明实施例的眉眼实际效果图；

图4：本发明实施例的口罩人脸识别实际效果示例图。

具体实施方式

为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施案例对本发明做进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。

请见图1，本发明提供的一种口罩人脸识别方法，包括以下步骤：

步骤1：以开源的ArcFace人脸识别模型为基线模型，构建口罩人脸识别深度学习模型；

具体包括以下子步骤：

步骤1.1：眉眼提取；

采用开源的Face-Alignment算法提取眉眼特征点，将眉眼特征点顺序串联连接，形成眉、眼的两个封闭空间，分别记为B、E；

本实施例中，将眉眼特征点如图2所示连接，形成眉、眼的两个封闭空间，分别记为B、E；图3为提取眉眼的实际效果。

步骤1.2：眉眼注意力加权；

设f为ArcFace模型全连接层之前的特征图，f'为经过眉眼注意力加权后的特征图，注意力加权公式为：

其中α为眉部强度参数(本实施例设为4)，β为眼部强度参数(本实施例设为5)，(x,y)为特征点坐标；

步骤1.3：定义Softmax分类损失函数和Triplet距离联合损失函数；

Softmax分类损失函数为：

其中

表示为分类正确的值，N表示样本总数，n表示标签数目，y_i表示样本的标签，s为尺度变量，m为加性角余量惩罚参数，θ_j为第j类分类器矢量与样本矢量间的夹角，θ_yi为标签类分类器矢量与样本矢量间的夹角；

Triplet距离联合损失函数为：

其中

表示同类间的距离，

表示不同类间的距离，α表示间隔超参数，N为样本总数；

分别表示锚样本、正样本、负样本的特征；

步骤1.4：输入人脸图像训练样本，采用ArcFace人脸识别模型学习样本的特征，同时利用Face-Alignment算法提取人脸的眉眼区域；在此基础上，结合学习到的人脸特征以及提取的眉眼部位，对特征进行注意力加权；最后，通过Softmax分类损失函数和Triplet距离联合损失函数计算训练的损失，监督网络学习，获得口罩人脸识别深度学习模型；

步骤2：训练口罩人脸识别深度学习模型；

具体实现包括以下子步骤：

步骤2.1：构建训练样本集，包括上半部人脸识别样本集、模拟口罩人脸识别样本集、真实口罩人脸识别样本集；

训练人脸识别模型需要大量的人脸样本，即口罩人脸识别数据集，且要求数据集中的同一人具有多张戴口罩及未戴口罩的人脸图像。尽管现存大量的公开人脸数据集，但目前业界还没有符合这种要求的口罩人脸识别数据集。为此，需要构建模型训练需要的口罩人脸识别数据集。鉴于短期内难以收集到大量的真实口罩人脸样本，采取真实口罩人脸样本和模拟口罩人脸样本相结合的策略，充分利用现有的人脸数据集扩大样本规模和加快构建速度，从而形成了上半部人脸样本集、模拟口罩人脸样本集、真实口罩人脸样本集等三种类型的口罩人脸识别数据集。其构建方法分别描述如下：

上半部人脸识别样本集：利用开源的Face-Alignment算法对人脸对齐，切除现有公开人脸数据集(本实施例为WebFace人脸库)中人脸图像鼻梁以下部分，保持上半部作为切除后的人脸样本。

模拟口罩人脸识别样本集：采用自主开发的wear_mask_to_face戴口罩程序，将现有大规模公开数据集(本实施例为WebFace人脸库)中的人脸图像带上口罩，得到模拟口罩人脸，口罩的类型和颜色可从多种口罩模板中选取。

真实口罩人脸识别样本集：利用网络爬虫程序，按人名(一般根据明星或公众人物爬取的数据比较丰富)从互联网上抓取个人的图像样本；利用LabelImg图像标注工具，对样本进行清洗和标注，挑选同时具有口罩人脸和正常人脸的高质量图像，裁剪出人脸部位，作为样本集。

基于WebFace人脸库，本实施例分别构建了1万人、50万张人脸的上半部人脸识别样本集、模拟口罩人脸识别样本集。

本实施例已经建立525人的5千张口罩人脸、9万张正常人脸的真实口罩人脸识别样本集。据发明人调研，这也是目前全球最大规模的真实口罩人脸识别样本集。

步骤2.2：训练口罩人脸识别深度学习模型；

利用上半部人脸识别样本集训练模型，将人脸对齐后鼻梁以上部分图像作为口罩人脸识别深度学习模型输入，输出人脸特征，标签为身份ID；获得训练好的口罩人脸识别深度学习模型；

本实施例中，将人脸对齐后鼻梁以上部分图像作为模型输入，图像大小为182×91像素，输出为512维人脸特征，标签为身份ID。

步骤2.3：口罩人脸识别深度学习模型微调；

基于构建的口罩人脸识别样本集，根据已训练好的口罩人脸识别深度学习模型提取上半部人脸样本集的特征，抽取三元组样本对{Anchor,Positive,Negative}，采用Triplet距离联合损失函数计算三元样本对的损失，通过该损失微调原口罩人脸识别深度学习模型高层特征，其中，Anchor、Positive、Negative分别表示锚样本、正样本、负样本；

步骤2.4：验证口罩人脸识别深度学习模型；

利用切除人脸下半部的另外一种公开人脸数据集(本实施例为LFW人脸库)进行验证，统计识别精度。

步骤3：利用训练好的口罩人脸识别深度学习模型对人脸进行识别；

具体实现包括以下子步骤：

步骤3.1：RetinaFace人脸检测

采集身份认证场景动态视频数据，利用开源的RetinaFace人脸检测器检测动态视频中的人脸并判断是否佩戴口罩；

如果佩戴了口罩，则用Face-Alignment算法对齐人脸后切除或用皮肤色填充口罩遮挡部位；否则不作处理；

步骤3.2：特征提取

利用训练及微调后的ArcFace口罩人脸识别模型提取人脸特征；

步骤3.3：特征对比；

将提取的人脸特征与现有的人脸库的每张图片的人脸进行特征对比，采用余弦距离衡量相似度，选择相似度最大且同时超过预设阈值(本实施例设为0.75)的人脸作为识别结果。

图4示意了本实施例提供的部分口罩人脸识别的实际效果，图片为动态视频识别效果的截图，矩形框为检测到的口罩人脸部位，图片上叠加的文字为识别出的对象姓名，可以看出，每个对象都能被准确地识别出来，基本上没有误识和漏识现象。

本发明还提供了一种口罩人脸识别方法及系统，包括口罩人脸识别深度学习模型构建模块、口罩人脸识别深度学习模型训练模块、人脸识别模块；

口罩人脸识别深度学习模型构建模块，用于以开源的ArcFace人脸识别模型为基线模型，构建口罩人脸识别深度学习模型；

口罩人脸识别深度学习模型训练模块，用于训练口罩人脸识别深度学习模型；

人脸识别模块，用于利用训练好的口罩人脸识别深度学习模型对人脸进行识别。

应当理解的是，本说明书未详细阐述的部分均属于现有技术。

应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。

Claims (4)

1.一种口罩人脸识别方法，其特征在于，包括以下步骤：

步骤1：以开源的ArcFace人脸识别模型为基线模型，构建口罩人脸识别深度学习模型；

具体包括以下子步骤：

步骤1.1：眉眼提取；

采用开源的Face-Alignment算法提取眉眼特征点，将眉眼特征点顺序串联连接，形成眉、眼的两个封闭空间，分别记为B、E；

步骤1.2：眉眼注意力加权；

设f为ArcFace模型全连接层之前的特征图，f'为经过眉眼注意力加权后的特征图，注意力加权公式为：

其中，α为眉部强度参数，β为眼部强度参数，(x,y)为特征点坐标；

步骤1.3：定义Softmax分类损失函数和Triplet距离联合损失函数；

所述Softmax分类损失函数为：

其中

表示为分类正确的值，N表示样本总数，n表示标签数目，y_i表示样本的标签，s为尺度变量，m为加性角余量惩罚参数，θ_j为第j类分类器矢量与样本矢量间的夹角，θ_yi为标签类分类器矢量与样本矢量间的夹角；

所述Triplet距离联合损失函数为：

其中

表示同类间的距离，

表示不同类间的距离，α表示间隔超参数，N为样本总数；

x_i ⁿ分别表示锚样本、正样本、负样本的特征；

步骤1.4：输入人脸图像训练样本，采用ArcFace人脸识别模型学习样本的特征，同时利用Face-Alignment算法提取人脸的眉眼区域；在此基础上，结合学习到的人脸特征以及提取的眉眼部位，对特征进行注意力加权；最后，通过Softmax分类损失函数和Triplet距离联合损失函数计算训练的损失，监督网络学习，获得口罩人脸识别深度学习模型；

步骤2：训练口罩人脸识别深度学习模型；

步骤3：利用训练好的口罩人脸识别深度学习模型对人脸进行识别。

2.根据权利要求1所述的口罩人脸识别方法，其特征在于，步骤2的具体实现包括以下子步骤：

步骤2.1：构建训练样本集，包括上半部人脸识别样本集、模拟口罩人脸识别样本集、真实口罩人脸识别样本集；

所述上半部人脸识别样本集，利用开源的Face-Alignment算法对人脸对齐，切除现有公开人脸数据集中人脸图像鼻梁以下部分，保持上半部作为切除后的人脸样本；

所述模拟口罩人脸识别样本集，利用公开数据集中的人脸图像带上口罩，得到模拟口罩人脸；

所述真实口罩人脸识别样本集，从互联网上抓取个人的图像样本；利用LabelImg图像标注工具，对样本进行清洗和标注，挑选同时具有口罩人脸和正常人脸的高质量图像，裁剪出人脸部位，作为真实口罩人脸识别样本集；

步骤2.2：训练口罩人脸识别深度学习模型；

利用上半部人脸识别样本集训练模型，将人脸对齐后鼻梁以上部分图像作为口罩人脸识别深度学习模型输入，输出人脸特征，标签为身份ID；获得训练好的口罩人脸识别深度学习模型；

步骤2.3：口罩人脸识别深度学习模型微调；

基于构建的口罩人脸识别样本集，根据已训练好的口罩人脸识别深度学习模型提取上半部人脸样本集的特征，抽取三元组样本对{Anchor,Positive,Negative}，采用Triplet距离联合损失函数计算三元样本对的损失，通过该损失微调原口罩人脸识别深度学习模型高层特征，其中，Anchor、Positive、Negative分别表示锚样本、正样本、负样本；

步骤2.4：验证口罩人脸识别深度学习模型；

利用切除人脸下半部的另外一种公开人脸数据集进行验证，统计识别精度。

3.根据权利要求1所述的口罩人脸识别方法，其特征在于，步骤3的具体实现包括以下子步骤：

步骤3.1：RetinaFace人脸检测

采集身份认证场景动态视频数据，利用开源的RetinaFace人脸检测器检测动态视频中的人脸并判断是否佩戴口罩；

如果佩戴了口罩，则用Face-Alignment算法对齐人脸后切除或用皮肤色填充口罩遮挡部位；否则不作处理；

步骤3.2：特征提取

利用训练及微调后的ArcFace口罩人脸识别模型提取人脸特征；

步骤3.3：特征对比

将提取的人脸特征与现有人脸库的每张图片的人脸进行特征对比，采用余弦距离衡量相似度，选择相似度最大且同时超过预设阈值的人脸作为识别结果。

4.一种口罩人脸识别方法及系统，其特征在于：包括口罩人脸识别深度学习模型构建模块、口罩人脸识别深度学习模型训练模块、人脸识别模块；

所述口罩人脸识别深度学习模型构建模块，用于以开源的ArcFace人脸识别模型为基线模型，构建口罩人脸识别深度学习模型；

所述口罩人脸识别深度学习模型训练模块，用于训练口罩人脸识别深度学习模型；

所述人脸识别模块，用于利用训练好的口罩人脸识别深度学习模型对人脸进行识别。

Images