CN112560828A - 一种轻量级口罩人脸识别方法、系统、存储介质及设备 - Google Patents

一种轻量级口罩人脸识别方法、系统、存储介质及设备 Download PDF

Info

Publication number
CN112560828A
CN112560828A CN202110209553.8A CN202110209553A CN112560828A CN 112560828 A CN112560828 A CN 112560828A CN 202110209553 A CN202110209553 A CN 202110209553A CN 112560828 A CN112560828 A CN 112560828A
Authority
CN
China
Prior art keywords
face
convolution
input
mask
lightweight
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110209553.8A
Other languages
English (en)
Inventor
周燕
吴浩海
曾凡智
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Foshan University
Original Assignee
Foshan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Foshan University filed Critical Foshan University
Priority to CN202110209553.8A priority Critical patent/CN112560828A/zh
Publication of CN112560828A publication Critical patent/CN112560828A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)
  • Collating Specific Patterns (AREA)

Abstract

本发明提供了一种轻量级口罩人脸识别方法、系统、存储介质及设备，其中方法包括口罩人脸检测工序、口罩人脸对齐工序、人脸特征提取工序和人脸特征比对工序；人脸特征提取工序是指：将口罩人脸对齐工序的输出作为输入特征，输入到轻量级口罩人脸特征提取网络中；轻量级口罩人脸特征提取网络将所述输入特征卷积升维，之后经过激活函数激活，再进行深度可分离卷积；输入到通道注意力和区域注意力单元；进行合并操作，然后通道重组，输出人脸特征。该方法通过深度可分离卷积和注意力机制模块混用的方式，既减少了计算量又保证了特征提取不受口罩等大面积遮挡的影响；运行速度快，识别准确率高，具有良好鲁棒性。

Description

一种轻量级口罩人脸识别方法、系统、存储介质及设备
技术领域
本发明涉及人脸识别技术领域，更具体地说，涉及一种轻量级口罩人脸识别方法、系统、存储介质及设备。
背景技术
人脸识别已成为身份认证中最著名的生物识别技术，并已广泛用于许多领域。人脸佩戴口罩后，大量关键特征信息会被改变，导致不同对象的口罩人脸特征差异性减小，相同对象佩戴与非佩戴口罩的人脸特征差异性增大。如何依靠口罩人脸眉眼部分少量特征信息进行身份识别目前存在较大困难。
此外，现有人脸识别多采用深度特征提取网络实现。现有的深度特征提取网络主要分为两类：重量级和轻量级。重量级网络的优势是由于其深度排列的网络单元对人脸的特征有较好的提取，识别的准确率高，能够应对复杂的环境（如光照剧烈变化等），具有更强的鲁棒性，但是运用在一些实时场景中，易严重延时，并且大构架的人脸识别网络，在分布式训练的过程中，与服务器通信需求更大，占用资源更多，训练所产生的模型体积更大，不容易部署在一些移动设备或者是内存较小的设备中。轻量级网络占用服务器资源更少，实际运行时，速度更快，模型体积更小，但是轻量级网络特征抽取能力有限，导致鲁棒性更差，其识别率容易受表情变化和光照变化等影响。
发明内容
为克服现有技术中的缺点与不足，本发明的目的在于提供一种轻量级口罩人脸识别方法、系统、存储介质及设备；本发明通过深度可分离卷积和注意力机制模块混用的方式，既减少了计算量又保证了特征提取不受口罩等大面积遮挡的影响；运行速度快，识别准确率高，具有良好鲁棒性。
为了达到上述目的，本发明通过下述技术方案予以实现：一种轻量级口罩人脸识别方法，其特征在于：包括口罩人脸检测工序、口罩人脸对齐工序、人脸特征提取工序和人脸特征比对工序；
所述口罩人脸检测工序是指：对输入图像中疑似人脸的目标进行框选；
所述口罩人脸对齐工序是指：检测人脸关键点，之后通过图像相似变换算法进行人脸对齐；
所述人脸特征提取工序是指：将口罩人脸对齐工序的输出作为输入特征，输入到轻量级口罩人脸特征提取网络中得到人脸特征；所述轻量级口罩人脸特征提取网络将所述输入特征输入1×1卷积进行升维，之后经过激活函数激活，再进行深度可分离卷积；深度可分离卷积包括深度卷积和逐点卷积；深度卷积对输入特征的每个输入应用通道进行轻量级滤波；逐点卷积对轻量级滤波后的每个输入应用通道进行线性组合；深度可分离卷积后，输入到通道注意力和区域注意力单元以强化口罩人脸眉眼部分特征权重；将通道注意力和区域注意力单元的输出和人脸特征提取工序的输入特征进行合并操作，然后对合并后的特征进行通道重组，输出人脸特征；
所述人脸特征比对工序是指：将提取的人脸特征与人脸数据库特征进行比对，来判断输入图像的身份。
优选地，所述输入到通道注意力和区域注意力单元以加口罩以上部分权重，是指：首先将深度可分离卷积后的特征分别经过全局最大池化和全局平均池化层来聚合特征的空间信息，生成两个不同的空间上下文描述符，然后经过1×1卷积和激活函数激活后聚合一起来获取通道信息以针对眉毛眼睛部分提取特征，之后与深度可分离卷积后的特征进行第一次对位相乘；第一次对位相乘后的特征通过通道最大池化和通道平均池化来聚合通道信息，生成两个2维映射，将这两个2维映射通道拼接后通过卷积层连接和卷积混合，生成2维空间注意力特征，将2维空间注意力特征与第一次对位相乘后的特征进行第二次对位相乘，以获得侧重眉毛眼睛部分的人脸特征。
优选地，所述通道注意力和区域注意力单元包括通道注意力部分和区域注意力部分：
所述通道注意力部分为：
Figure 326940DEST_PATH_IMAGE002
其中，Mc表示通道注意力，F表示输入特征，MLP表示多层感知器，AvgPool表示平均池化操作，MaxPool表示最大池化操作，Fc avg和 Fc max分别表示平均池化和最大池化，W0和W1是多层感知器的权重，σ为sigmoid激活函数；Fc avg和 Fc max是两个不同的空间上下文描述符；
所述区域注意力部分为：
Figure 141444DEST_PATH_IMAGE003
其中，Ms表示区域注意力，Fs avg和 Fs max分别表示经过平均池化和最大池化的输入特征，f 7×7表示7×7卷积。
优选地，所述深度卷积对输入特征的每个输入应用通道进行轻量级滤波，是指：将输入特征的每个输入应用通道分别对应一个滤波器进行卷积运算；
所述逐点卷积对轻量级滤波后的每个输入应用通道进行线性组合，是指：将轻量级滤波后的每个输入应用通道分别输入若干个滤波器，每个滤波器分别输出一个特征图。
优选地，所述口罩人脸检测工序中，以VGG16网络结合SENet网络作为轻量级口罩人脸检测网络；将输入图像输入到轻量级口罩人脸检测网络中，框选出疑似人脸目标；
所述SENet网络包括一个全局平均池化层和激活层；
所述全局平均池化层将输入特征H×W×C转换成1×1×C的输出以表明C个特征映射的数值分布情况，即全局信息：
Figure 199399DEST_PATH_IMAGE004
其中，zc表示全局信息，Fsq表示全局平均池化层，uc表示输入特征，H、W、C分别表示输入特征的高、宽、通道数；
所述激活层先进行全连接操作：
Figure 914283DEST_PATH_IMAGE005
其中，s表示输出特征；Fex表示激活操作；z表示全局信息zc；g表示全局池化操作；σ为sigmoid激活函数；表示ReLU激活函数；W1加了缩放参数以减少通道个数从而降低计算量；经过ReLU层，输出维度不变；W2是全连接操作，在经过sigmoid函数，得到特征S（1×1×C）。
优选地，采用DIoU loss加速轻量级口罩人脸检测网络的收敛；
Figure DEST_PATH_IMAGE006
其中，IoU表示预测框和真实框的交并比，b、bgt分别代表预测框和真实框的中心点，ρ代表计算两个中心点之间的欧式距离，c代表能够同时包含预测框和真实框的最小闭包距离的对角线距离。
优选地，在所述人脸特征比对工序中，采用欧几里得距离计算方法，来计算提取的人脸特征与人脸数据库特征之间的距离值，通过距离值来判断输入图像的身份。
一种轻量级口罩人脸识别系统，其特征在于：包括：
口罩人脸检测模块，用于对输入图像中疑似人脸的目标进行框选；
口罩人脸对齐模块，用于检测人脸关键点，之后通过图像相似变换算法进行人脸对齐；
人脸特征提取模块，用于将口罩人脸对齐模块的输出作为输入特征，输入到轻量级口罩人脸特征提取网络中得到人脸特征；所述轻量级口罩人脸特征提取网络将所述输入特征输入1×1卷积进行升维，之后经过激活函数激活，再进行深度可分离卷积；深度可分离卷积包括深度卷积和逐点卷积；深度卷积对输入特征的每个输入应用通道进行轻量级滤波；逐点卷积对轻量级滤波后的每个输入应用通道进行线性组合；深度可分离卷积后，输入到通道注意力和区域注意力单元以强化口罩人脸眉眼部分特征权重；将通道注意力和区域注意力单元的输出和人脸特征提取模块的输入特征进行合并操作，然后对合并后的特征进行通道重组，输出人脸特征；
人脸特征比对模块，用于将提取的人脸特征与人脸数据库特征进行比对，来判断输入图像的身份。
一种存储介质，其特征在于，其中所述存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行上述轻量级口罩人脸识别方法。
一种计算设备，包括处理器以及用于存储处理器可执行程序的存储器，其特征在于，所述处理器执行存储器存储的程序时，实现上述轻量级口罩人脸识别方法。
与现有技术相比，本发明具有如下优点与有益效果：
1、本发明具有计算量小、参数量少、运行速度快、准确率高等优势，在人脸特征提取中，通过深度可分离卷积和注意力机制模块混用的方式，既减少了计算量又保证了特征提取不受口罩等大面积遮挡的影响；使用倒残差结构保证其参数量的减少，增加网络的宽度，使得网络可以在更加广阔的空间进行特征提取；并且通过通道重组技术使得整个网络之间的信息流动更具有交互性，加强特征提取网络的鲁棒性；
2、本发明模型较小，计算量较少，可以很大程度上减少人脸识别算法运用在一些实时场景中造成严重延时问题的发生，有利于植入到移动设备或者内存较小设备上运行，具有广泛的实用价值；
3、本发明采用轻量级网络作为人脸检测模块的骨干网络，采用更为先进的DIoUloss加速模型的收敛，可以加快训练，减少训练成本，并在落地部署中达到更快的速度
4、本发明采用通道注意力和区域注意力结合的方式，对眉眼部分特征进行加权，并能将特征覆盖到待识别口罩人脸更多部位，降低最终人脸分类错误率。
附图说明
图1是本发明轻量级口罩人脸识别方法的流程示意图；
图2是本发明轻量级口罩人脸识别方法中SENet网络的示意图；
图3是本发明轻量级口罩人脸识别方法中人脸关键点预测的原理示意图；
图4是本发明轻量级口罩人脸识别方法中人脸特征提取工序的原理示意图；
图5 是本发明轻量级口罩人脸识别方法中倒残差结构的示意图；
图6是本发明轻量级口罩人脸识别方法中深度卷积的示意图；
图7是本发明轻量级口罩人脸识别方法中逐点卷积的示意图；
图8是本发明轻量级口罩人脸识别方法中注意力机制模块的原理示意图；
图9是本发明轻量级口罩人脸识别方法中通道注意力和区域注意力单元的原理示意图。
具体实施方式
下面结合附图与具体实施方式对本发明作进一步详细的描述。
实施例一
本实施例一种轻量级口罩人脸识别方法，其流程如图1所示，包括口罩人脸检测工序、口罩人脸对齐工序、人脸特征提取工序和人脸特征比对工序。
所述口罩人脸检测工序是指：对输入图像中疑似人脸的目标进行框选。
具体地说，以VGG16网络（Very Deep Convolutional Networks for Large-ScaleImage Recognition）结合SENet网络（Squeeze-and-Excitation Networks，如图2所示）作为轻量级口罩人脸检测网络；将输入图像输入到轻量级口罩人脸检测网络中，框选出疑似人脸目标；
所述SENet网络包括一个全局平均池化层（Squeeze）和激活层（Excitation）；
图2中Ftr表示转换操作，是一个标准的卷积操作，可将输入特征H'×W'×C'转换为H×W×C；
所述全局平均池化层将输入特征H×W×C转换成1×1×C的输出以表明C个特征映射的数值分布情况，即全局信息zc：
Figure 110909DEST_PATH_IMAGE004
其中，Fsq表示全局平均池化层，uc表示输入特征，H、W、C分别表示输入特征的高、宽、通道数；
所述激活层先进行全连接操作：
Figure 905384DEST_PATH_IMAGE005
其中，s表示输出特征；Fex表示激活操作；z表示全局信息zc；g表示全局池化操作；σ为sigmoid激活函数；表示ReLU激活函数；W1加了缩放参数以减少通道个数从而降低计算量；经过ReLU层，输出维度不变；W2是全连接操作，在经过sigmoid函数，得到特征S（1×1×C）。
由于采用VGG目标检测网络，需要同时回归预测框与真实框的距离以加快检测时间；本发明采用先进的DIoU（Distance-IoU) loss加速轻量级口罩人脸检测网络的收敛，更加符合目标框回归的机制，将目标与锚点之间的距离、重叠率和尺寸都考虑进去，使得目标框回归变得更加稳定，减少训练时间；
Figure 704713DEST_PATH_IMAGE006
其中，IoU表示预测框和真实框的交并比，b、bgt分别代表预测框和真实框的中心点，ρ代表计算两个中心点之间的欧式距离，c代表能够同时包含预测框和真实框的最小闭包距离的对角线距离。
DIoU loss加速收敛的优点有：1.与目标框不重叠时，仍然可以为边界框提供移动方向；2.可以直接最小化两个目标框的距离，收敛更快；3.对于两个框在水平方向和垂直方向的情况，DIoU损失可以使回归非常快；4.可以替换普通的IoU评价策略，应用于NMS（非极大值抑制）中，使得NMS得到的结果更加合理和有效。
所述口罩人脸对齐工序是指：检测人脸关键点，之后通过图像相似变换算法进行人脸对齐。
本发明基于RetinaFace对口罩人脸进行关键点检测并对齐。该部分模块包括预测人脸框的偏移量和预测人脸关键点的偏移量，如图3所示。该网络采用多尺度特征图上的滑动锚点，对图像中疑似人脸的目标进行框选；使用LFPN层在网络上下层进行数据的传输共享，提高图像检测能力以捕获人脸关键点；使用轻量级网络作为网络骨干，提高速度和性能。得到人脸关键点后，通过图像相似变换算法进行人脸对齐。
所述人脸特征提取工序，如图4所示，是指：将口罩人脸对齐工序的输出作为输入特征，输入到轻量级口罩人脸特征提取网络中得到人脸特征；所述轻量级口罩人脸特征提取网络将所述输入特征输入1×1卷积进行升维，之后经过激活函数激活，再进行深度可分离卷积；深度可分离卷积包括深度卷积和逐点卷积；深度卷积对输入特征的每个输入应用通道进行轻量级滤波；逐点卷积对轻量级滤波后的每个输入应用通道进行线性组合；深度可分离卷积后，输入到通道注意力和区域注意力单元以强化口罩人脸眉眼部分特征权重；将通道注意力和区域注意力单元的输出和人脸特征提取工序的输入特征进行合并操作，然后对合并后的特征进行通道重组，输出人脸特征。
本发明使用低参数量、高性能的深度可分离卷积应用到特征提取中，同时为保证提取效率，本发明在人脸特征网络中减少了其分组卷积的组数。使用倒残差结构，如图5所示，保证其参数量的减少，增加网络的宽度，使得网络可以在更加广阔的空间进行特征提取。并且通过通道重组技术使得整个网络之间的信息流动更具有交互性，加强特征提取网络的鲁棒性。
所述深度卷积对输入特征的每个输入应用通道进行轻量级滤波，是指：将输入特征的每个输入应用通道分别对应一个滤波器进行卷积运算，如图6所示；
所述逐点卷积对轻量级滤波后的每个输入应用通道进行线性组合，是指：将轻量级滤波后的每个输入应用通道分别输入若干个滤波器，每个滤波器分别输出一个特征图，如图7所示。
本发明采用倒残差结构来对输入特征进行预处理：与传统残差结构不同，对输入特征采用先升维后降维的方式，可以有效提取高维空间特征，减少高维信号的丢失。
深度可分离卷积将标准卷积拆分成两个分卷积，第一层为深度卷积，对每个输入通道应用单通道的轻量级滤波器；第二层为逐点卷积，即1x1卷积，负责计算输入通道的线性组合，构建新的特征。
标准卷积的输入张量Li为hi×wi×di，标准卷积核k∈Rk×k×di×dj产生输出张量Lj为hi×wi×dj，其中，R表示实数，k×k×di×dj的值为实数范围，h，w，di ，dj ，k分别为特征图的长、宽、输入通道数、输出通道数以及卷积核边长。
标准卷积的计算消耗为：hi×wi×di×dj×k×k；
深度可分离卷积消耗为：hi×wi×di×（k2+ dj）；
标准卷积的计算消耗/深度可分离卷积消耗=k2-[k4/ (dj+ k2)]。
因此，本发明所使用的卷积核大小k=3，dj最小取64，与标准卷积相比计算量减少了8-9倍。
通道注意力和区域注意力单元旨在利用通道注意力和区域注意力的融合来强化口罩人脸眉眼部分特征权重，并相对弱化口罩遮挡部分的特征权重。通过研究口罩人脸眉眼部分特征的差异性，来计算口罩人脸的相似度。通过自建口罩人脸数据集来进行注意力模块的参数训练，使得最终的权重分配到眉眼部分。注意力机制模块原理示意图如下图8所示。
所述输入到通道注意力和区域注意力单元以加口罩以上部分权重，如图9所示，是指：首先将深度可分离卷积后的特征分别经过全局最大池化和全局平均池化层来聚合特征的空间信息，生成两个不同的空间上下文描述符，然后经过1×1卷积和激活函数激活后聚合一起来获取通道信息以针对眉毛眼睛部分提取特征，之后与深度可分离卷积后的特征进行第一次对位相乘；第一次对位相乘后的特征通过通道最大池化和通道平均池化来聚合通道信息，生成两个2维映射，将这两个2维映射通道拼接后通过卷积层连接和卷积混合，生成2维空间注意力特征，将2维空间注意力特征与第一次对位相乘后的特征进行第二次对位相乘，以强化口罩人脸眉眼部分特征权重。通过通道注意力和区域注意力两个注意力对眉眼部分的加权，保证与眉眼部分特征有关的通道以及区域都能得到最大权重。
所述通道注意力和区域注意力单元包括通道注意力部分和区域注意力部分：
所述通道注意力部分为：
Figure 369043DEST_PATH_IMAGE002
其中，Mc表示通道注意力，F表示输入特征，MLP表示多层感知器，AvgPool表示平均池化操作，MaxPool表示最大池化操作，Fc avg和 Fc max分别表示平均池化和最大池化，W0和W1是多层感知器的权重，σ为sigmoid激活函数；Fc avg和 Fc max是两个不同的空间上下文描述符；两个描述符送到一个共享网络（由MLP和一个隐藏层组成）以产生通道注意力图Mc∈Rc×1×1。该通道注意力集中针对提取眉毛眼睛部分的特征。
所述区域注意力部分为：
Figure 313734DEST_PATH_IMAGE003
其中，Ms表示区域注意力，AvgPool表示平均池化操作，MaxPool表示最大池化操作，Fs avg和 Fs max分别表示经过平均池化和最大池化的输入特征，f 7×7表示7×7卷积。即使用两个池化操作来聚合功能映射的通道信息，生成两个2维映射，然后通过标准的卷积层连接和卷积混合，产生2维空间注意力图。该空间注意力集中针对提取口罩以上眉毛眼睛部分的特征。
因此，通过串联通道注意力模块和空间注意力模块，可以让网络学习关注重要区域，将特征覆盖到待识别口罩人脸更多部位，降低最终人脸分类错误率。
所述人脸特征比对工序是指：将提取的人脸特征与人脸数据库特征进行比对，来判断输入图像的身份。
具体地说，采用欧几里得距离计算方法，来计算提取的人脸特征与人脸数据库特征之间的距离值，通过距离值与阈值的大小比较来判断输入图像的身份。
欧几里得距离计算公式为：
Figure 617677DEST_PATH_IMAGE007
上式中A、B分别为待识别人脸特征和数据库人脸特征，n为人脸特征向量数目，本发明中n=128。
为实现本实施例一种轻量级口罩人脸识别方法，本实施例还提供一种轻量级口罩人脸识别系统，包括：
口罩人脸检测模块，用于对输入图像中疑似人脸的目标进行框选；
口罩人脸对齐模块，用于检测人脸关键点，之后通过图像相似变换算法进行人脸对齐；
人脸特征提取模块，用于将口罩人脸对齐模块的输出作为输入特征，输入到轻量级口罩人脸特征提取网络中得到人脸特征；所述轻量级口罩人脸特征提取网络将所述输入特征输入1×1卷积进行升维，之后经过激活函数激活，再进行深度可分离卷积；深度可分离卷积包括深度卷积和逐点卷积；深度卷积对输入特征的每个输入应用通道进行轻量级滤波；逐点卷积对轻量级滤波后的每个输入应用通道进行线性组合；深度可分离卷积后，输入到通道注意力和区域注意力单元以强化口罩人脸眉眼部分特征权重；将通道注意力和区域注意力单元的输出和人脸特征提取模块的输入特征进行合并操作，然后对合并后的特征进行通道重组，输出人脸特征；
人脸特征比对模块，用于将提取的人脸特征与人脸数据库特征进行比对，来判断输入图像的身份。
本发明设计的人脸识别算法具有计算量小、参数量少、运行速度快、准确率高等优势，在人脸特征提取网络中，通过深度可分离卷积和注意力机制模块混用的方式，既减少了计算量又保证了特征提取不受口罩等大面积遮挡的影响。同时在人脸特征网络中减少了其分组卷积的组数，来保证网络的推理效率。使用倒残差结构保证其参数量的减少，增加网络的宽度，使得网络可以在更加广阔的空间进行特征提取。并且通过通道重组技术使得整个网络之间的信息流动更具有交互性，加强特征提取网络的鲁棒性。本发明模型较小，计算量较少，可以很大程度上减少人脸识别算法运用在一些实时场景中造成严重延时问题的发生,还可以植入到移动设备或者内存较小设备上运行，具有广泛的实用价值。
实施例二
本实施例一种存储介质，其中所述存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行实施例一所述的轻量级口罩人脸识别方法。
实施例三
本实施例一种计算设备，包括处理器以及用于存储处理器可执行程序的存储器，所述处理器执行存储器存储的程序时，实现实施例一所述的轻量级口罩人脸识别方法。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (10)

1.一种轻量级口罩人脸识别方法，其特征在于：包括口罩人脸检测工序、口罩人脸对齐工序、人脸特征提取工序和人脸特征比对工序；
所述口罩人脸检测工序是指：对输入图像中疑似人脸的目标进行框选；
所述口罩人脸对齐工序是指：检测人脸关键点，之后通过图像相似变换算法进行人脸对齐；
所述人脸特征提取工序是指：首先将口罩人脸对齐工序的输出作为输入特征，输入到轻量级口罩人脸特征提取网络中得到人脸特征；所述轻量级口罩人脸特征提取网络将所述输入特征输入1×1卷积进行升维，之后经过激活函数激活，再进行深度可分离卷积；深度可分离卷积包括深度卷积和逐点卷积；深度卷积对输入特征的每个输入应用通道进行轻量级滤波；逐点卷积对轻量级滤波后的每个输入应用通道进行线性组合；深度可分离卷积后，输入到通道注意力和区域注意力单元以强化口罩人脸眉眼部分特征权重；将通道注意力和区域注意力单元的输出和人脸特征提取工序的输入特征进行合并操作，然后对合并后的特征进行通道重组，输出人脸特征；
所述人脸特征比对工序是指：将提取的人脸特征与人脸数据库特征进行比对，来判断输入图像的身份。
2.根据权利要求1所述的轻量级口罩人脸识别方法，其特征在于：所述输入到通道注意力和区域注意力单元以强化口罩人脸眉眼部分特征权重，是指：首先将深度可分离卷积后的特征分别经过全局最大池化和全局平均池化层来聚合特征的空间信息，生成两个不同的空间上下文描述符，然后经过1×1卷积和激活函数激活后聚合一起来获取通道信息以针对眉毛眼睛部分提取特征，之后与深度可分离卷积后的特征进行第一次对位相乘；第一次对位相乘后的特征通过通道最大池化和通道平均池化来聚合通道信息，生成两个2维映射，将这两个2维映射通道拼接后通过卷积层连接和卷积混合，生成2维空间注意力特征，将2维空间注意力特征与第一次对位相乘后的特征进行第二次对位相乘，以强化口罩人脸眉眼部分特征权重。
3.根据权利要求2所述的轻量级口罩人脸识别方法，其特征在于：所述通道注意力和区域注意力单元包括通道注意力部分和区域注意力部分：
所述通道注意力部分为：
Figure DEST_PATH_IMAGE001
其中，Mc表示通道注意力，F表示输入特征，MLP表示多层感知器，AvgPool表示平均池化操作，MaxPool表示最大池化操作，Fc avg和 Fc max分别表示平均池化和最大池化，W0和W1是多层感知器的权重，σ为sigmoid激活函数；Fc avg和 Fc max是两个不同的空间上下文描述符；
所述区域注意力部分为：
Figure DEST_PATH_IMAGE002
其中，Ms表示区域注意力，Fs avg和 Fs max分别表示经过平均池化和最大池化的输入特征，f 7×7表示7×7卷积。
4.根据权利要求1所述的轻量级口罩人脸识别方法，其特征在于：所述深度卷积对输入特征的每个输入应用通道进行轻量级滤波，是指：将输入特征的每个输入应用通道分别对应一个滤波器进行卷积运算；
所述逐点卷积对轻量级滤波后的每个输入应用通道进行线性组合，是指：将轻量级滤波后的每个输入应用通道分别输入若干个滤波器，每个滤波器分别输出一个特征图。
5.根据权利要求1所述的轻量级口罩人脸识别方法，其特征在于：所述口罩人脸检测工序中，以VGG16网络结合SENet网络作为轻量级口罩人脸检测网络；将输入图像输入到轻量级口罩人脸检测网络中，框选出疑似人脸目标；
所述SENet网络包括一个全局平均池化层和激活层；
所述全局平均池化层将输入特征H×W×C转换成1×1×C的输出以表明C个特征映射的数值分布情况：
Figure DEST_PATH_IMAGE003
其中，zc表示全局信息，Fsq表示全局平均池化层，uc表示输入特征，H、W、C分别表示输入特征的高、宽、通道数；
所述激活层先进行全连接操作：
Figure DEST_PATH_IMAGE004
其中，s表示输出特征；Fex表示激活操作；z表示全局信息zc；g表示全局池化操作；σ为sigmoid激活函数；表示ReLU激活函数；W1加了缩放参数以减少通道个数；经过ReLU层，输出维度不变；W2是全连接操作，在经过sigmoid函数，得到特征S（1×1×C）。
6.根据权利要求5所述的轻量级口罩人脸识别方法，其特征在于：采用DIoU loss加速轻量级口罩人脸检测网络的收敛；
Figure DEST_PATH_IMAGE005
其中，IoU表示预测框和真实框的交并比，b、bgt分别代表预测框和真实框的中心点，ρ代表计算两个中心点之间的欧式距离，c代表能够同时包含预测框和真实框的最小闭包距离的对角线距离。
7.根据权利要求1所述的轻量级口罩人脸识别方法，其特征在于：在所述人脸特征比对工序中，采用欧几里得距离计算方法，来计算提取的人脸特征与人脸数据库特征之间的距离值，通过距离值来判断输入图像的身份。
8.一种轻量级口罩人脸识别系统，其特征在于： 包括：
口罩人脸检测模块，用于对输入图像中疑似人脸的目标进行框选；
口罩人脸对齐模块，用于检测人脸关键点，之后通过图像相似变换算法进行人脸对齐；
人脸特征提取模块，用于将口罩人脸对齐模块的输出作为输入特征，输入到轻量级口罩人脸特征提取网络中得到人脸特征；所述轻量级口罩人脸特征提取网络将所述输入特征输入1×1卷积进行升维，之后经过激活函数激活，再进行深度可分离卷积；深度可分离卷积包括深度卷积和逐点卷积；深度卷积对输入特征的每个输入应用通道进行轻量级滤波；逐点卷积对轻量级滤波后的每个输入应用通道进行线性组合；深度可分离卷积后，输入到通道注意力和区域注意力单元以强化口罩人脸眉眼部分特征权重；将通道注意力和区域注意力单元的输出和人脸特征提取模块的输入特征进行合并操作，然后对合并后的特征进行通道重组，输出人脸特征；
人脸特征比对模块，用于将提取的人脸特征与人脸数据库特征进行比对，来判断输入图像的身份。
9.一种存储介质，其特征在于，其中所述存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行权利要求1-7中任一项所述的轻量级口罩人脸识别方法。
10.一种计算设备，包括处理器以及用于存储处理器可执行程序的存储器，其特征在于，所述处理器执行存储器存储的程序时，实现权利要求1-7中任一项所述的轻量级口罩人脸识别方法。
CN202110209553.8A 2021-02-25 2021-02-25 一种轻量级口罩人脸识别方法、系统、存储介质及设备 Pending CN112560828A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110209553.8A CN112560828A (zh) 2021-02-25 2021-02-25 一种轻量级口罩人脸识别方法、系统、存储介质及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110209553.8A CN112560828A (zh) 2021-02-25 2021-02-25 一种轻量级口罩人脸识别方法、系统、存储介质及设备

Publications (1)

Publication Number Publication Date
CN112560828A true CN112560828A (zh) 2021-03-26

Family

ID=75034737

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110209553.8A Pending CN112560828A (zh) 2021-02-25 2021-02-25 一种轻量级口罩人脸识别方法、系统、存储介质及设备

Country Status (1)

Country Link
CN (1) CN112560828A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113869285A (zh) * 2021-12-01 2021-12-31 四川博创汇前沿科技有限公司 一种人群密度估计装置、方法和存储介质
CN115457624A (zh) * 2022-08-18 2022-12-09 中科天网（广东）科技有限公司 一种局部与整体人脸特征交叉融合的戴口罩人脸识别方法、装置、设备和介质
CN114821704B (zh) * 2022-03-16 2024-05-24 桂林理工大学 一种基于关键点注意力机制的口罩人脸识别方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110084210A (zh) * 2019-04-30 2019-08-02 电子科技大学 基于注意力金字塔网络的sar图像多尺度舰船检测方法
CN110197208A (zh) * 2019-05-14 2019-09-03 江苏理工学院 一种纺织品瑕疵智能检测分类方法及装置
CN110717856A (zh) * 2019-09-03 2020-01-21 天津大学 一种用于医学成像的超分辨率重建算法
CN110781784A (zh) * 2019-10-18 2020-02-11 高新兴科技集团股份有限公司 基于双路注意力机制的人脸识别方法、装置及设备
CN111339858A (zh) * 2020-02-17 2020-06-26 电子科技大学 一种基于神经网络的油气管道标志物识别方法
CN111400535A (zh) * 2020-03-11 2020-07-10 广东宜教通教育有限公司 轻量级人脸识别方法、系统、计算机设备及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110084210A (zh) * 2019-04-30 2019-08-02 电子科技大学 基于注意力金字塔网络的sar图像多尺度舰船检测方法
CN110197208A (zh) * 2019-05-14 2019-09-03 江苏理工学院 一种纺织品瑕疵智能检测分类方法及装置
CN110717856A (zh) * 2019-09-03 2020-01-21 天津大学 一种用于医学成像的超分辨率重建算法
CN110781784A (zh) * 2019-10-18 2020-02-11 高新兴科技集团股份有限公司 基于双路注意力机制的人脸识别方法、装置及设备
CN111339858A (zh) * 2020-02-17 2020-06-26 电子科技大学 一种基于神经网络的油气管道标志物识别方法
CN111400535A (zh) * 2020-03-11 2020-07-10 广东宜教通教育有限公司 轻量级人脸识别方法、系统、计算机设备及存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
ZFNICE: ""空间域和通道域注意力机制"", 《HTTPS://BLOG.CSDN.NET/ZFNICE/ARTICLE/DETAILS/94998471》 *
吴建明: ""IoU、GIoU、DIoU 、CIoU 损失函数"", 《博客园HTTPS://WWW.CNBLOGS.COM/WUJIANMING-110117/P/13019343.HTML》 *
李克文等: ""基于SENet 改进的Faster R-CNN 行人检测模型"", 《计算机系统应用》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113869285A (zh) * 2021-12-01 2021-12-31 四川博创汇前沿科技有限公司 一种人群密度估计装置、方法和存储介质
CN113869285B (zh) * 2021-12-01 2022-03-04 四川博创汇前沿科技有限公司 一种人群密度估计装置、方法和存储介质
CN114821704B (zh) * 2022-03-16 2024-05-24 桂林理工大学 一种基于关键点注意力机制的口罩人脸识别方法
CN115457624A (zh) * 2022-08-18 2022-12-09 中科天网（广东）科技有限公司 一种局部与整体人脸特征交叉融合的戴口罩人脸识别方法、装置、设备和介质
CN115457624B (zh) * 2022-08-18 2023-09-01 中科天网（广东）科技有限公司 一种局部与整体人脸特征交叉融合的戴口罩人脸识别方法、装置、设备和介质

Similar Documents

Publication Publication Date Title
Chen et al. An edge traffic flow detection scheme based on deep learning in an intelligent transportation system
CN110009679B (zh) 一种基于多尺度特征卷积神经网络的目标定位方法
CN112560828A (zh) 一种轻量级口罩人脸识别方法、系统、存储介质及设备
Gao et al. LFT-Net: Local feature transformer network for point clouds analysis
CN112800937B (zh) 一种智能人脸识别方法
CN108510012A (zh) 一种基于多尺度特征图的目标快速检测方法
CN111898617B (zh) 基于注意力机制与并行空洞卷积网络的目标检测方法、系统
CN113762138B (zh) 伪造人脸图片的识别方法、装置、计算机设备及存储介质
Liu et al. An improved YOLOv5 method for small object detection in UAV capture scenes
CN111460980A (zh) 基于多语义特征融合的小目标行人的多尺度检测方法
Raparthi et al. Machine Learning Based Deep Cloud Model to Enhance Robustness and Noise Interference
Liu et al. APSNet: Toward adaptive point sampling for efficient 3D action recognition
CN103699874A (zh) 基于surf流和lle稀疏表示的人群异常行为识别方法
CN115862066A (zh) 一种改进YOLOv5的轻量化社区场景下行人检测方法
Huang et al. Deepfake mnist+: a deepfake facial animation dataset
CN110503113A (zh) 一种基于低秩矩阵恢复的图像显著性目标检测方法
CN111382602A (zh) 一种跨域人脸识别算法、存储介质及处理器
CN113297959A (zh) 一种基于角点注意力孪生网络的目标跟踪方法及系统
CN113052136B (zh) 一种基于改进Faster RCNN的行人检测方法
CN114492634A (zh) 一种细粒度装备图片分类识别方法及系统
CN110852255B (zh) 一种基于u型特征金字塔的交通目标检测方法
CN112800882A (zh) 一种基于加权双流残差网络的口罩人脸姿态分类方法
Li et al. A real-time vehicle window positioning system based on nanodet
CN116682178A (zh) 密集场景下的多人姿态检测方法
CN115862097A (zh) 基于多注意力多尺度特征学习的遮挡人脸识别方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210326