CN114220143A - 一种佩戴口罩的人脸识别方法 - Google Patents

一种佩戴口罩的人脸识别方法 Download PDF

Info

Publication number
CN114220143A
CN114220143A CN202111426059.3A CN202111426059A CN114220143A CN 114220143 A CN114220143 A CN 114220143A CN 202111426059 A CN202111426059 A CN 202111426059A CN 114220143 A CN114220143 A CN 114220143A
Authority
CN
China
Prior art keywords
face
mask
image
eye
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111426059.3A
Other languages
English (en)
Other versions
CN114220143B (zh
Inventor
谢巍
魏金湖
余锦伟
杨启帆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN202111426059.3A priority Critical patent/CN114220143B/zh
Publication of CN114220143A publication Critical patent/CN114220143A/zh
Application granted granted Critical
Publication of CN114220143B publication Critical patent/CN114220143B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种佩戴口罩的人脸识别方法，包括以下步骤：设备摄像头采集实时画面，将画面输入到训练好的口罩检测模型，若检测到佩戴口罩，则将人像输入眼部检测模型，把检测到的眼部图像输入到眼部特征提取网络，得到眼部特征；若未检测到配对口罩，则将人像输入到人脸特征提取网络，得到人脸特征，把特征与对应特征库比对余弦相似度，输出满足条件的识别结果。本发明考虑了佩戴口罩的人脸与正常人脸的差异，充分利用可识别区域，同时也对特征库做分离，使设备既能识别正常人脸，又能识别佩戴口罩的人脸，提高识别精度。

Description

一种佩戴口罩的人脸识别方法
技术领域
本发明涉及深度学习和模式识别领域，特别是涉及一种佩戴口罩的人脸识别方法。
背景技术
随着计算机视觉算法、图像识别技术的不断发展，人脸识别技术也日益成熟，应用于各种支付、门禁、打卡等场景，传统的人脸识别技术在有部分遮挡的情况下难以准确识别身份。自新型冠状病毒肺炎疫情爆发以来，佩戴口罩出行已经成为人们生活的常态。在人脸识别场景中，比如安检、支付等，都需要取下口罩，既不方便，也给防疫工作带来新的挑战。
Wright等将稀疏表示用于部分遮挡人脸识别，提出了基于稀疏表示的人脸识别算法sparse representation classification(SRC)，直接使用所有类别的训练样本作为字典对人脸图像进行编码，并通过评估哪个类别导致最小的重构误差来对人脸图像进行分类。缺点是不能有效处理连续遮挡、未充分考虑遮挡空间结构。
Yang等在SRC的基础之上提出了一种基于Fisher判别准则学习的字典。为每个类别学习一个字典，得到表示每个类别的遮挡字典，采用Fisher准则使每个字典的稀疏编码系数具有较小的类内散布而具有较大的类间散布，这样每个字典对本类样本表达能力强而对非本类样本表达能力弱。其优点是字典原子与类标签具有对应关系，便于将与每个类稀疏编码后的重构误差用于分类。
Zhou等提出了基于Markov随机场的稀疏误差校正算法，此算法使用Markov随机场来描述遮挡的空间连续性，原理为：如果当前像素点为遮挡点，那么此像素点只与其邻域像素点的状态有关，与距离较远的像素点的状态无关。该算法将Markov随机场模型整合到训练图像和测试图像的稀疏表示计算中，识别出被遮挡的区域，并将它们从稀疏表示中排除，进而提高人脸识别算法性能。缺点是运算量大，不适用于实时检测场景。
发明内容
本发明的目的是解决现有技术的不足和缺陷，提供一种能够快速准确地识别佩戴口罩的人脸。
本发明至少通过如下技术方案之一实现。
一种佩戴口罩的人脸识别方法，包括构建特征库和识别人脸两个阶段：
所述构建特征库包括以下步骤：
采集设备用户未佩戴口罩的正脸图像A；
将所述图像A输入到训练好的口罩检测模型Model-mask，得到人脸图像B；
将所述图像B输入到训练好的人脸特征提取网络Net-face，得到所述图像B的特征，并将所述特征加入人脸特征库DB-face；
将所述图像B输入到训练好的眼部检测模型Model-eye，得到眼部图像C；
将所述图像C输入到训练好的眼部特征提取网络Net-eye，得到所述图像C的特征，并将所述特征加入眼部特征库DB-eye。
所述识别人脸包括以下步骤：
设备摄像头采集实时画面D；
用所述口罩检测模型Model-mask检测出所述图像D的人脸图像E，并输出所述图像E的人脸是否佩戴口罩；
根据口罩检测结果执行不同的人脸识别方案；
若所述口罩检测结果为“有口罩”，则将所述图像E输入到所述眼部检测模型Model-eye，得到眼部图像F；
将所述图像F输入到所述眼部特征提取网络Net-eye，得到所述图像F的特征F-eye；
求所述特征F-eye与所述眼部特征库DB-eye各特征的余弦相似度，选择大于某一阈值的最大余弦相似度对应的用户作为识别结果；
若所述口罩检测结果为“没有口罩”，则将所述图像E输入到所述人脸特征提取网络Net-face，得到所述图像E的特征F-face；
求所述特征F-face与所述人脸特征库DB-face各特征的余弦相似度，选择大于某一阈值的最大余弦相似度对应的用户作为识别结果；
最后输出所述识别结果。
进一步地，所述目标检测模型通过以下步骤训练获得：
以口罩检测模型为例，在预设条件下，采集戴或不戴口罩的人脸图像，构建图像数据集，按一定的比例随机分为训练数据集和验证数据集；
构建标签数据集，标签数据集包含图像的人脸坐标和对应的类别，类别为“有口罩mask”和“没口罩no-mask”；
将所述训练数据集分批输入到口罩检测模型，获得对应的输出结果；
根据损失函数计算所述输出结果与对应所述标签数据之间的损失；
采用梯度下降法进行后向传播，更新所述口罩检测模型的参数；
将所述验证数据集分批输入到口罩检测模型，获得对应的输出结果；
根据损失函数计算验证阶段的所述输出结果与对应所述标签数据之间的损失；
若迭代次数小于阈值，则继续训练，否则选择所述验证阶段损失最小的参数作为最终模型参数。
进一步地，所述特征提取网络通过以下步骤训练获得：
以人脸特征提取网络为例，在预设条件下，采集n个人的人脸图像，每人k张，构建图像数据集，按一定的比例随机分为训练数据集和验证数据集；
构建标签数据集，标签数据集包含所述图像对应的类别，类别为人员编号，同一个人的k张人脸图像属于同一个人员编号；
所述人脸特征提取网络的输出连接一个含n个节点的全连接层，组成人脸分类模型；
将所述训练数据集分批输入到所述人脸分类模型，获得对应的输出结果；
根据损失函数计算输出结果与对应所述标签数据之间的损失；
采用梯度下降法进行后向传播，更新所述人脸分类模型的参数；
将所述验证数据集分批输入到所述人脸分类模型，获得对应的输出结果；
根据损失函数计算验证阶段的输出结果与对应标签数据之间的损失；
若迭代次数小于阈值，则继续训练，否则选择验证阶段损失最小的参数作为最终模型参数。
进一步地，所述目标检测模型由特征金字塔模块和多层特征提取模块组成：
输入为416×416×3尺寸的图像；
所述特征金字塔模块由若干卷积模块和残差模块堆叠组成；
所述卷积模块由卷积层、BN层、ReLU激活层组成，所述卷积层采用尺寸3×3、步距2的卷积核，其输出特征图尺寸变为原来的一半。
所述残差模块，输入经过卷积核1×1的卷积模块和卷积核3×3的卷积模块，再和输入特征矩阵相加；
将所述特征金字塔模块最后一层尺寸为13×13、26×26、52×52的输出特征图作为所述多层特征提取模块的输入；
所述13×13特征图作为第一层特征提取的输入，经卷积模块集合和1×1卷积核的卷积层，得到预测输出；
所述卷积模块集合由卷积核尺寸为3×3、1×1、3×3的卷积模块依次串联组成；
所述1×1卷积核个数为(4+1+c)×k，其中c为预测类别数，k为每个网格的预测框个数；
所述卷积模块集合的输出，经卷积核尺寸为1×1的卷积模块、上采样，再与所述特征金字塔模块最后一层尺寸为26×26的输出特征图进行特征级联，得到第二层特征提取的输入，之后的特征提取操作跟所述第一层特征提取类似。
进一步地，所述特征提取网络由卷积层、若干倒残差模块、平均池化层和全连接层组成：
所述倒残差模块，由1×1卷积核的卷积层、ReLU6激活函数、DW卷积层、ReLU6激活函数、1×1卷积核的卷积函数、线性激活函数一次串联组成，若DW卷积层的卷积核步距为1，则将输入和输出相加，得到最终的输出；
所述DW卷积，卷积核个数等于输入特征图通道数，对输入每一个通道应用一个卷积核进行卷积操作，再将所有通道的输出级联起来，作为DW卷积的输出。
进一步地，所述目标检测模型的损失函数由目标置信度损失、目标类别损失和目标定位偏移量损失构成，具体如下：
L(o，c，O，C，l，g)＝λ1Lconf(o，c)+λ2Lcla(O，C)+λ3Lloc(l，g)
其中Lconf(o，c)是目标置信度损失，Lcla(O，C)是目标类别损失，Lloc(l，g)是目标定位偏移量损失，λ1、λ2、λ3为权重系数；o表示目标置信度预测值；c表示目标置信度真实值；O表示目标的各类别预测值；C表示目标的各类别真实值；l表示预测边界框定位值；g表示真实边界框定位值。
进一步地，所述目标置信度损失函数采用二值交叉熵损失，具体如下：
Figure BDA0003378476000000041
Figure BDA0003378476000000042
其中oi表示第i个预测目标边界框中是否存在目标，是则取1，否则取0；
Figure BDA0003378476000000043
是第i个预测目标边界框对应的预测值ci的sigmoid概率。
进一步地，所述目标类别损失函数也采用二值交叉熵损失，具体如下：
Figure BDA0003378476000000044
Figure BDA0003378476000000045
其中Oij表示第i个预测目标边界框中的目标是否属于类别j，是则取1，否则取0；
Figure BDA0003378476000000046
是预测值Cij的sigmoid概率；Pos表示正样本，即存在目标的预测目标边界框。
进一步地，所述目标定位偏移量损失函数采用误差和平方，具体如下：
Figure BDA0003378476000000051
Figure BDA0003378476000000052
Figure BDA0003378476000000053
Figure BDA0003378476000000054
Figure BDA0003378476000000055
Figure BDA0003378476000000056
Figure BDA0003378476000000057
Figure BDA0003378476000000058
Figure BDA0003378476000000059
其中，
Figure BDA00033784760000000510
是预测边界框与默认矩形框的定位偏移量，
Figure BDA00033784760000000511
是真实边界框与默认矩形框的定位偏移量，
Figure BDA00033784760000000512
是预测边界框的定位，
Figure BDA00033784760000000513
是真实边界框的定位，
Figure BDA00033784760000000514
Figure BDA00033784760000000515
是默认矩形框的定位，x、y表示边界框左上角的横纵坐标，w、h表示边界框宽高占图像宽高的比例。
进一步地，所述人脸分类模型，其损失计算采用二值交叉熵损失，具体如下：
Figure BDA00033784760000000516
Figure BDA00033784760000000517
其中，m表示目标对应真实类别的编码，n表示实际输出，b的范围是训练batch的大小，mb表示第b个输出是否准确预测，是则为1，否则为0；
Figure BDA00033784760000000518
是输出nb的sigmoid概率。
进一步地，所述特征提取网络的输出为一128维特征向量。
进一步地，所述特征匹配采用余弦相似度为：
Figure BDA0003378476000000061
其中n为特征向量维数，哪n＝128，x为所述特征提取网络输出的图像特征，y为所述特征库中的特征。
进一步地，所述特征库是一种关系型数据库。特征库由行和列组织数据，每行数据表示一名用户的信息，每列数据用于表征用户的属性，列数据包含但不限于姓名、人脸特征、眼部特征等字段。
与现有技术相比，本发明的有益效果在于：
1、本发明在人脸识别流程上，先判断人脸是否佩戴口罩，再根据口罩的有无，分别采取人脸特征提取和眼部特征提取的方法，再跟相对应的特征库做比对，完成人脸识别。本发明考虑了佩戴口罩的人脸与正常人脸的差异，充分利用可识别区域，同时也对特征库做分离，使设备既能识别正常人脸，又能识别佩戴口罩的人脸，提高识别精度。
2、目标检测模型采取13×13、26×26、52×52三种不同尺寸的特征图做处理判别，小尺寸特征图负责检测大目标，大尺寸特征图负责检测小目标，使目标检测模型能更好地检测各种尺寸的人脸和眼部。
3、特征提取网络包含多个倒残差模块，输入特征图依次经过1×1卷积层升维、3×3DW卷积和1×1卷积层降维，若输入和输出特征图尺寸相同，则将输入和输出相叠加得到最终输出。DW卷积可以有效减少参数数量和运算量，倒残差模块中最后—个激活函数使用线性激活函数,替代ReLU激活函数,避免低维信息损失。
附图说明
为了更清楚地说明本申请或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单说明，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例的一种佩戴口罩的人脸识别方法的流程图；
图2是本申请实施例的目标检测模型的训练过程示意图；
图3是本申请实施例的特征提取网络的训练过程示意图；
图4是本申请实施例的目标检测模型的结构示意图；
图5是本申请实施例的卷积模块的结构示意图；
图6是本申请实施例的残差模块的结构示意图；
图7是本申请实施例的卷积模块集合的结构示意图；
图8是本申请实施例的倒残差模块的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本实施例的目的是解决现有技术的不足和缺陷，提供一种能够快速准确地识别佩戴口罩的人脸。本实施例中一种佩戴口罩的人脸识别方法的流程示意图如图1所示，具体包括构建特征库和识别人脸两个阶段：
所述构建特征库包括以下步骤：
S1、采集用户未佩戴口罩的正脸图像A；
S2、将所述正脸图像A输入到训练好的口罩检测模型Model-mask，得到人脸图像B；
S3、将所述人脸图像B输入到训练好的人脸特征提取网络Net-face，得到所述人脸图像B的特征，并将所述特征加入人脸特征库DB-face；
S4、将所述人脸图像B输入到训练好的眼部检测模型Model-eye，得到眼部图像C；
S5、将所述眼部图像C输入到训练好的眼部特征提取网络Net-eye，得到所述眼部图像C的特征，并将所述特征加入眼部特征库DB-eye。
所述识别人脸包括以下步骤：
S6、设备摄像头采集实时画面D；
S7、用所述口罩检测模型Model-mask检测出实时画面图像D的人脸识别图像E，并输出所述人脸识别图像E的人脸是否佩戴口罩；
S8、根据口罩检测结果执行不同的人脸识别方案；
S9、若所述口罩检测结果为“有口罩”，则将所述人脸识别图像E输入到所述眼部检测模型Model-eye，得到眼部识别图像F；
S10、将所述眼部识别图像F输入到所述眼部特征提取网络Net-eye，得到所述眼部识别图像F的特征F-eye；
S11、求所述眼部识别图像F的特征F-eye与所述眼部特征库DB-eye各特征的余弦相似度，选择大于某一阈值的最大余弦相似度对应的用户作为识别结果；
S12、若所述口罩检测结果为“没有口罩”，则将所述人脸识别图像E输入到所述人脸特征提取网络Net-face，得到所述人脸识别图像E的人脸识别特征F-face；
S13、求所述人脸识别特征F-face与所述人脸特征库DB-face各特征的余弦相似度，选择大于某一阈值的最大余弦相似度对应的用户作为识别结果；
S14、最后输出所述识别结果。
如图2所示，所述步骤S2和S4中的检测模型通过以下步骤训练获得：
以所述步骤S2的口罩检测模型为例；
S20、在预设条件下，采集戴或不戴口罩的人脸图像，构建图像数据集，按9:1的比例随机分为训练数据集和验证数据集；
所述预设条件，确保背景复杂，亮度多变，人物性别、年龄、肤色、装饰多样，有助于提升模型的泛化能力，确保正脸与采集设备倾斜角度在30度以内，画面符合条件的人脸数量不多于3个，佩戴口罩与不佩戴口罩的人脸比例大致为1:1，有助于所述检测模型训练时的收敛速度；
S30、构建标签数据集，标签数据集包含图像的人脸坐标和对应的类别，类别为“有口罩mask”和“没口罩no-mask”；
S40、将所述训练数据集分批输入到口罩检测模型，获得对应的输出结果；
S50、根据损失函数计算所述输出结果与对应所述标签数据之间的损失；
S60、采用梯度下降法进行后向传播，更新所述口罩检测模型的参数；
S70、将所述验证数据集分批输入到口罩检测模型，获得对应的输出结果；
S80、根据损失函数计算验证阶段的所述输出结果与对应所述标签数据之间的损失；
S90、若迭代次数小于阈值，则继续训练；
S100、否则选择所述验证阶段损失最小的参数作为最终模型参数。
所述眼部检测模型的训练步骤与所述口罩检测模型的相似，区别所述标签数据集包括图像的眼部坐标和对应的类别eye。
如图3所示，所述步骤S3和S5中的特征提取网络通过以下步骤训练获得：
以所述步骤S3的人脸特征提取网络为例；
S110、在预设条件下，采集n个人的人脸图像，每人k张，构建图像数据集，按一定的比例随机分为训练数据集和验证数据集；
步骤S110中的预设条件确保亮度多变，人物性别、年龄、肤色多样，有助于提升模型的泛化能力，确保正脸与采集设备倾斜角度在30度以内，画面为一张人脸，没有多余的背景，有助于所述特征提取网络训练时的收敛速度；
S120、构建标签数据集，标签数据集包含所述图像对应的类别，类别为人员编号，同一个人的k张人脸图像属于同一个人员编号；
S130、所述人脸特征提取网络的输出连接一个含n个节点的全连接层，组成人脸分类模型；
S140、将所述训练数据集分批输入到所述人脸分类模型，获得对应的输出结果；
S150、根据损失函数计算输出结果与对应所述标签数据之间的损失；
S160、采用梯度下降法进行后向传播，更新所述人脸分类模型的参数；
S170、将所述验证数据集分批输入到所述人脸分类模型，获得对应的输出结果；
S180、根据损失函数计算验证阶段的输出结果与对应标签数据之间的损失；
S190、若迭代次数小于阈值，则继续训练；
S200、否则选择验证阶段损失最小的参数作为最终模型参数。
眼部特征提取网络的训练与所述人脸特征提取网络的相似，区别在于训练集图像为眼部图像。
所述步骤S2和S4中的目标检测模型由特征金字塔模块和多层特征提取模块组成：
输入为416×416×3尺寸的图像；
如图4所示，所述特征金字塔模块由若干卷积模块和残差模块堆叠组成；
如图5、图7所示，所述卷积模块由卷积层、BN层、ReLU激活层组成，所述卷积层采用尺寸3×3、步距2的卷积核，其输出特征图尺寸变为原来的一半。
如图6所示，所述残差模块，输入经过卷积核1×1的卷积模块和卷积核3×3的卷积模块，再和输入特征矩阵相加；
将所述特征金字塔模块最后一层尺寸为13×13、26×26、52×52的输出特征图作为所述多层特征提取模块的输入；
所述13×13特征图作为第一层特征提取的输入，经卷积模块集合和1×1卷积核的卷积层，得到预测输出；
所述卷积模块集合由卷积核尺寸为3×3、1×1、3×3的卷积模块依次串联组成；
所述1×1卷积核个数为(4+1+c)×k，其中c为预测类别数，k为每个网格的预测框个数；
所述卷积模块集合的输出，经卷积核尺寸为1×1的卷积模块、上采样，再与所述特征金字塔模块最后一层尺寸为26×26的输出特征图进行特征级联，得到第二层特征提取的输入，之后的特征提取操作跟所述第一层特征提取类似。
所述步骤S3和S5中的特征提取网络由卷积层、若干倒残差模块、平均池化层和全连接层组成，具体如表1所示：
表1特征提取网络参数
Figure BDA0003378476000000101
如图8所示，所述倒残差模块，由1×1卷积核的卷积层、ReLU6激活函数、DW卷积层、ReLU6激活函数、1×1卷积核的卷积函数、线性激活函数一次串联组成，若DW卷积层的卷积核步距为1，则将输入和输出相加，得到最终的输出；
所述DW卷积，卷积核个数等于输入特征图通道数，对输入每一个通道应用一个卷积核进行卷积操作，再将所有通道的输出级联起来，作为DW卷积的输出。
所述步骤S80中的目标检测模型的损失函数由目标置信度损失、目标类别损失和目标定位偏移量损失构成，具体如下：
L(o，c，O，C，l，g)＝λ1Lconf(o，c)+λ2Lcla(O，C)+λ3Lloc(l，g)
其中Lconf(o，c)是目标置信度损失，Lcla(O，C)是目标类别损失，Lloc(l，g)是目标定位偏移量损失，λ1、λ2、λ3为权重系数；o表示目标置信度预测值；c表示目标置信度真实值；O表示目标的各类别预测值；C表示目标的各类别真实值；l表示预测边界框定位值；g表示真实边界框定位值。
目标置信度损失函数采用二值交叉熵损失，具体如下：
Figure BDA0003378476000000111
Figure BDA0003378476000000112
其中oi表示第i个预测目标边界框中是否存在目标，是则取1，否则取0；
Figure BDA0003378476000000113
是预测值ci的sigmoid概率。
目标类别损失函数也采用二值交叉熵损失，具体如下：
Figure BDA0003378476000000114
Figure BDA0003378476000000115
其中Oij表示第i个预测目标边界框中的目标是否属于类别j，是则取1，否则取0；
Figure BDA0003378476000000116
是预测值Cij的sigmoid概率；Pos表示正样本，即存在目标的预测目标边界框。
目标定位偏移量损失函数采用误差和平方，具体如下：
Figure BDA0003378476000000117
Figure BDA0003378476000000118
Figure BDA0003378476000000119
Figure BDA00033784760000001110
Figure BDA00033784760000001111
Figure BDA00033784760000001112
Figure BDA00033784760000001113
Figure BDA00033784760000001114
Figure BDA0003378476000000121
其中，
Figure BDA0003378476000000122
是预测边界框与默认矩形框的定位偏移量，
Figure BDA0003378476000000123
是真实边界框与默认矩形框的定位偏移量，
Figure BDA0003378476000000124
是预测边界框的定位，
Figure BDA0003378476000000125
是真实边界框的定位，
Figure BDA0003378476000000126
Figure BDA0003378476000000127
是默认矩形框的定位，x、y表示边界框左上角的横纵坐标，w、h表示边界框宽高占图像宽高的比例。
所述步骤S180中的人脸分类模型，其损失计算采用二值交叉熵损失，具体如下：
Figure BDA0003378476000000128
Figure BDA0003378476000000129
其中，m表示目标对应真实类别的编码，n表示实际输出，b的范围是训练batch的大小，mb表示第b个输出是否准确预测，是则为1，否则为0；
Figure BDA00033784760000001210
是输出nb的sigmoid概率。
所述步骤S140中的特征提取网络的输出为一128维特征向量。
所述步骤S11和S13中的特征匹配采用余弦相似度，具体如下：
Figure BDA00033784760000001211
其中n为特征向量维数，n＝128，x为所述特征提取网络输出的图像特征，y为所述特征库中的特征。
所述步骤S3和S5中的特征库是一种关系型数据库。特征库由行和列组织数据，每行数据表示一名用户的信息，每列数据用于表征用户的属性，列数据包含但不限于“姓名”、“人脸特征”、“眼部特征”等字段。
以上是对本发明的较佳实施进行了具体说明，但本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做出种种的等同变形或替换，这些等同的变型或替换均包含在本申请权利要求所限定的范围内。

Claims (10)

1.一种佩戴口罩的人脸识别方法，其特征在于，包括构建特征库和识别人脸两个阶段：
所述构建特征库包括以下步骤：
采集用户未佩戴口罩的正脸图像；
将所述正脸图像输入到训练好的口罩检测模型，得到人脸图像；
将所述人脸图像输入到训练好的人脸特征提取网络，得到所述人脸图像的特征，并将人脸图像特征加入人脸特征库；
将所述人脸图像输入到训练好的眼部检测模型，得到眼部图像；
将所述眼部图像输入到训练好的眼部特征提取网络，得到所述眼部图像的特征，并将眼部图像特征加入眼部特征库；
所述识别人脸包括以下步骤：
采集实时画面图像；
用所述口罩检测模型检测出所述实时画面图像的人脸识别图像，并输出所述人脸识别图像的人脸是否佩戴口罩；
根据口罩检测结果执行不同的人脸识别方案；
若所述口罩检测结果为有口罩，则将所述人脸识别图像输入到所述眼部检测模型，得到眼部识别图像；
将所述眼部识别图像输入到所述眼部特征提取网络，得到所述眼部识别图像的特征；
求眼部识别图像特征与所述眼部特征库各特征的余弦相似度，选择大于阈值的最大余弦相似度对应的用户作为识别结果；
若所述口罩检测结果为没有口罩，则将人脸识别图像输入到所述人脸特征提取网络，得到所述人脸识别图像的人脸识别特征；
求所述人脸识别特征与所述人脸特征库各特征的余弦相似度，选择大于阈值的最大余弦相似度对应的用户作为识别结果；最后输出所述识别结果。
2.根据权利要求1所述的佩戴口罩的人脸识别方法，其特征在于，所述口罩检测模型的训练包括以下步骤：
在预设条件下，采集戴或不戴口罩的人脸图像，构建图像数据集，并分为训练数据集和验证数据集；
构建标签数据集，标签数据集包括图像的人脸坐标和对应的类别，类别包括有口罩mask和没口罩no-mask；
将所述训练数据集分批输入到相应的模型，获得对应的输出结果；
根据损失函数计算所述输出结果与对应所述标签数据之间的损失；
采用梯度下降法进行后向传播，更新所述口罩检测模型的参数；
验证阶段：将所述验证数据集分批输入到相应的模型，获得对应的输出结果；
根据损失函数计算验证阶段的输出结果与对应所述标签数据之间的损失；
若迭代次数小于阈值，则继续训练，否则选择验证阶段损失最小的参数作为最终模型参数；
所述眼部检测模型的训练步骤与所述口罩检测模型的相似，区别所述标签数据集包括图像的眼部坐标和对应的类别eye。
3.根据权利要求1所述的佩戴口罩的人脸识别方法，其特征在于，所述人脸特征提取网络的训练包括以下步骤：
在预设条件下，采集n个人的人脸图像，每人k张，构建图像数据集，并分为训练数据集和验证数据集；
构建标签数据集，标签数据集包括所述图像对应的类别，类别为人员编号，同一个人的k张人脸图像属于同一个人员编号；
所述特征提取网络的输出连接一个含n个节点的全连接层，组成相应的分类模型；
将所述训练数据集分批输入到相应的分类模型中，获得对应的输出结果；
根据损失函数计算输出结果与对应所述标签数据之间的损失；
采用梯度下降法进行后向传播，更新所述分类模型的参数；
验证阶段：将所述验证数据集分批输入到所述分类模型，获得对应的输出结果；
根据损失函数计算验证阶段的输出结果与对应标签数据之间的损失；
若迭代次数小于阈值，则继续训练，否则选择验证阶段损失最小的参数作为最终模型参数；
所述眼部特征提取网络的训练与所述人脸特征提取网络的相似，区别所述训练集图像为眼部图像。
4.根据权利要求1所述的佩戴口罩的人脸识别方法，其特征在于，所述口罩检测模型和眼部检测模型均包括特征金字塔模块和多层特征提取模块：
所述特征金字塔模块包括若干卷积模块和残差模块堆叠；
所述特征金字塔模块输出特征图作为所述多层特征提取模块的输入；
所述特征提取网络包括卷积层、若干倒残差模块、平均池化层和全连接层。
5.根据权利要求1所述的佩戴口罩的人脸识别方法，其特征在于，所述口罩检测模型和眼部检测模型的损失函数均包括目标置信度损失、目标类别损失和目标定位偏移量损失：
L(o，c，O，C，l，g)＝λ1Lconf(o，c)+λ2Lcla(O，C)+λ3Lloc(l，g)
其中Lconf(o，c)是目标置信度损失，Lcla(O，C)是目标类别损失，Lloc(l，g)是目标定位偏移量损失，λ1、λ2、λ3为权重系数；o表示目标置信度预测值；c表示目标置信度真实值；O表示目标的各类别预测值；C表示目标的各类别真实值；l表示预测边界框定位值；g表示真实边界框定位值。
6.根据权利要求5所述的佩戴口罩的人脸识别方法，其特征在于，目标置信度损失函数采用二值交叉熵损失：
Figure FDA0003378475990000031
Figure FDA0003378475990000032
其中oi表示第i个预测目标边界框中是否存在目标，是则取1，否则取0；
Figure FDA0003378475990000033
是第i个预测目标边界框对应的预测值ci的sigmoid概率。
7.根据权利要求5所述的佩戴口罩的人脸识别方法，其特征在于，目标类别损失函数也采用二值交叉熵损失，具体如下：
Figure FDA0003378475990000034
Figure FDA0003378475990000035
其中Oij表示第i个预测目标边界框中的目标是否属于类别j，是则取1，否则取0；
Figure FDA0003378475990000036
是预测值Cij的sigmoid概率；Pos表示正样本，即存在目标的预测目标边界框。
8.根据权利要求5所述的佩戴口罩的人脸识别方法，其特征在于，目标定位偏移量损失函数采用误差和平方，具体如下：
Figure FDA0003378475990000037
Figure FDA0003378475990000038
Figure FDA0003378475990000039
Figure FDA0003378475990000041
Figure FDA0003378475990000042
Figure FDA0003378475990000043
Figure FDA0003378475990000044
Figure FDA0003378475990000045
Figure FDA0003378475990000046
其中，
Figure FDA0003378475990000047
是预测边界框与默认矩形框的定位偏移量，
Figure FDA0003378475990000048
是真实边界框与默认矩形框的定位偏移量，
Figure FDA0003378475990000049
是预测边界框的定位，
Figure FDA00033784759900000410
是真实边界框的定位，
Figure FDA00033784759900000411
Figure FDA00033784759900000412
是默认矩形框的定位，x、y表示边界框左上角的横纵坐标，w、h表示边界框宽高占图像宽高的比例。
9.根据权利要求1所述的佩戴口罩的人脸识别方法，其特征在于，人脸分类模型的损失计算采用二值交叉熵损失，具体如下：
Figure FDA00033784759900000413
Figure FDA00033784759900000414
其中，m表示目标对应真实类别的编码，n表示实际输出，b的范围是训练batch的大小，mb表示第b个输出是否准确预测，是则为1，否则为0；
Figure FDA00033784759900000415
是输出nb的sigmoid概率。
10.根据权利要求1～9任一项所述的佩戴口罩的人脸识别方法，其特征在于，所述余弦相似度为：
Figure FDA00033784759900000416
其中n为特征向量维数，xi为所述特征提取网络输出的图像特征，yi为所述特征库中的特征。
CN202111426059.3A 2021-11-26 2021-11-26 一种佩戴口罩的人脸识别方法 Active CN114220143B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111426059.3A CN114220143B (zh) 2021-11-26 2021-11-26 一种佩戴口罩的人脸识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111426059.3A CN114220143B (zh) 2021-11-26 2021-11-26 一种佩戴口罩的人脸识别方法

Publications (2)

Publication Number Publication Date
CN114220143A true CN114220143A (zh) 2022-03-22
CN114220143B CN114220143B (zh) 2024-04-19

Family

ID=80698632

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111426059.3A Active CN114220143B (zh) 2021-11-26 2021-11-26 一种佩戴口罩的人脸识别方法

Country Status (1)

Country Link
CN (1) CN114220143B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115457624A (zh) * 2022-08-18 2022-12-09 中科天网（广东）科技有限公司 一种局部与整体人脸特征交叉融合的戴口罩人脸识别方法、装置、设备和介质
CN115619410A (zh) * 2022-10-19 2023-01-17 闫雪 自适应金融支付平台
CN116343313A (zh) * 2023-05-30 2023-06-27 乐山师范学院 一种基于眼部特征的人脸识别方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112115818A (zh) * 2020-09-01 2020-12-22 燕山大学 口罩佩戴识别方法
CN112597867A (zh) * 2020-12-17 2021-04-02 佛山科学技术学院 戴口罩人脸识别方法、系统、计算机设备及存储介质
CN113158913A (zh) * 2021-04-25 2021-07-23 安徽科大擎天科技有限公司 一种人脸口罩佩戴识别方法、系统及终端
WO2021174880A1 (zh) * 2020-09-01 2021-09-10 平安科技（深圳）有限公司 征提取模型训练方法、人脸识别方法、装置、设备及介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112115818A (zh) * 2020-09-01 2020-12-22 燕山大学 口罩佩戴识别方法
WO2021174880A1 (zh) * 2020-09-01 2021-09-10 平安科技（深圳）有限公司 征提取模型训练方法、人脸识别方法、装置、设备及介质
CN112597867A (zh) * 2020-12-17 2021-04-02 佛山科学技术学院 戴口罩人脸识别方法、系统、计算机设备及存储介质
CN113158913A (zh) * 2021-04-25 2021-07-23 安徽科大擎天科技有限公司 一种人脸口罩佩戴识别方法、系统及终端

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115457624A (zh) * 2022-08-18 2022-12-09 中科天网（广东）科技有限公司 一种局部与整体人脸特征交叉融合的戴口罩人脸识别方法、装置、设备和介质
CN115457624B (zh) * 2022-08-18 2023-09-01 中科天网（广东）科技有限公司 一种局部与整体人脸特征交叉融合的戴口罩人脸识别方法、装置、设备和介质
CN115619410A (zh) * 2022-10-19 2023-01-17 闫雪 自适应金融支付平台
CN115619410B (zh) * 2022-10-19 2024-01-26 闫雪 自适应金融支付平台
CN116343313A (zh) * 2023-05-30 2023-06-27 乐山师范学院 一种基于眼部特征的人脸识别方法
CN116343313B (zh) * 2023-05-30 2023-08-11 乐山师范学院 一种基于眼部特征的人脸识别方法

Also Published As

Publication number Publication date
CN114220143B (zh) 2024-04-19

Similar Documents

Publication Publication Date Title
CN106529447B (zh) 一种小样本人脸识别方法
CN114220143B (zh) 一种佩戴口罩的人脸识别方法
CN109063666A (zh) 基于深度可分离卷积的轻量化人脸识别方法及系统
CN111723748A (zh) 一种红外遥感图像舰船检测方法
CN111325111A (zh) 一种融合逆注意力和多尺度深度监督的行人重识别方法
CN109145745B (zh) 一种遮挡情况下的人脸识别方法
CN111754396B (zh) 脸部图像处理方法、装置、计算机设备和存储介质
CN112070044B (zh) 一种视频物体分类方法及装置
CN114241548A (zh) 一种基于改进YOLOv5的小目标检测算法
CN111241989A (zh) 图像识别方法及装置、电子设备
CN112464865A (zh) 一种基于像素和几何混合特征的人脸表情识别方法
Gosavi et al. Facial expression recognition using principal component analysis
CN111325237B (zh) 一种基于注意力交互机制的图像识别方法
CN112861970B (zh) 一种基于特征融合的细粒度图像分类方法
CN113379771A (zh) 带有边缘约束的层次化人体解析语义分割方法
CN107818299A (zh) 基于融合hog特征和深度信念网络的人脸识别算法
CN112861785B (zh) 一种基于实例分割和图像修复的带遮挡行人重识别方法
CN113255557A (zh) 一种基于深度学习的视频人群情绪分析方法及系统
CN111738074B (zh) 基于弱监督学习的行人属性识别方法、系统及装置
CN114067431A (zh) 图像处理方法、装置、计算机设备和存储介质
CN113205002A (zh) 非受限视频监控的低清人脸识别方法、装置、设备及介质
CN115966010A (zh) 一种基于注意力和多尺度特征融合的表情识别方法
CN116469020A (zh) 一种基于多尺度和高斯Wasserstein距离的无人机图像目标检测方法
CN113011253B (zh) 基于ResNeXt网络的人脸表情识别方法、装置、设备及存储介质
CN111582057B (zh) 一种基于局部感受野的人脸验证方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant