CN114821704B - 一种基于关键点注意力机制的口罩人脸识别方法 - Google Patents
一种基于关键点注意力机制的口罩人脸识别方法 Download PDFInfo
- Publication number
- CN114821704B CN114821704B CN202210262458.9A CN202210262458A CN114821704B CN 114821704 B CN114821704 B CN 114821704B CN 202210262458 A CN202210262458 A CN 202210262458A CN 114821704 B CN114821704 B CN 114821704B
- Authority
- CN
- China
- Prior art keywords
- mask
- attention
- face
- face recognition
- key point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 16
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 4
- 230000006870 function Effects 0.000 claims description 13
- 238000004364 calculation method Methods 0.000 claims description 11
- 238000000605 extraction Methods 0.000 claims description 10
- 239000011159 matrix material Substances 0.000 claims description 6
- 230000004927 fusion Effects 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 2
- 239000013598 vector Substances 0.000 claims description 2
- 239000011541 reaction mixture Substances 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 2
- 230000001815 facial effect Effects 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
口罩人脸识别成为人脸识别领域的难点和热点，传统基于卷积神经网络人脸识别算法由于没有大面积遮挡的去噪能力在口罩人脸识别任务中准确率较低。本发明是一种基于关键点注意力机制的口罩人脸识别技术。首先在注意力机制引入使用关键点注意力替代全连接操作，形成区块注意力效果，再通过掩码(mask)操作，抑制大面积口罩信息表达并增强有效人脸部分特征，从而提升口罩人脸识别准确率。
Description
技术领域
本发明涉及深度学习中的注意力机制，通过改进注意力机制，增强模型的去噪能力，能够有效抑制口罩信息对人脸识别的干扰。本文还涉及深度学习技术中的卷据神经网络，将关键点注意力机制嵌入卷积神经网络中，形成人脸特征提取模型。
背景技术
新冠疫情的爆发极大的改变了人们的生活习惯，人人佩戴口罩成为了防疫的基本行为。这就对人脸识别技术提出了较大的挑战，对佩戴口罩下的人脸进行身份识别。口罩人脸识别有着有效人脸面积小和口罩信息干扰的特点。因此发明一种能够进行口罩人脸识别方法具有很高的实用价值。
发明内容
本发明为了解决现有人脸识别技术的不足，提出了一种基于关键点注意力机制的口罩人脸识别方法，在注意力机制引入使用关键点注意力替代全连接操作，形成区块注意力效果，再通过掩码(mask)操作，抑制大面积口罩信息表达并增强有效人脸部分特征，从而提升口罩人脸识别准确率。将关键点注意力机制嵌入ResNet50中，使用该模型进行人脸特征提取并识别。为实现上述功能，本发明提出了一种基于关键点注意力机制的口罩人脸识别方法，包括以下步骤：
1)在注意力机制使用分组卷积获取人脸关键点；
2)使用Sigmoid函数降低口罩信息；
3)将关键点注意力机制嵌入到卷积神经网络中，构建出人脸特征提取模型；
4)使用数据集对模型进行训练；
5)使用人脸识别模型对摄像头捕获的人脸图像进行身份识别。
在步骤1)中，本发明的关键点注意力机制结构如图1所示。Layer3_out是ResNet50的layer3的输出特征图大小为1024×14×14，将其作为关键点注意力机制的输入。采用关键点注意力机制替代了原注意力机制的全连接，如图1所示。使用3×3卷积(Conv_3×3)去除冗余信息，实现关键特征的提取(大小为1024×6×6)，再使用该特征图输入特征图X进行与通过1×1卷积(Conv_1×1)整合后特征图相乘，通过softmax函数，进而形成新的注意力分布：
C＝softmax(Conv_1×1(X)Conv_3×3(X)T)
得到的注意力分布再与输入特征图相乘：
在步骤2)中，步骤1)获得关键点特征图 与X相比形成了更合理的区块注意力，有助于模型对有效人脸的特征提取。在/>中口罩区域对人脸识别是无用的，人脸区域是识别判别的依据，为了进一步区分两部分区域，本文还在注意力机制中引入了掩码操作。将通过Sigmoid函数，形成0～1的注意力，再与“1”相加，与X相乘，使用relu函数引入非线性，得到Attention_feature(Y)：
当时就消除了该部分特征(即消除口罩特征)。掩码部分相当于一个权重器，增强有一样的特征，抑制无意义的信息。通过关键特征注意力和掩码的融合，实现从口罩人脸中分离出有效人脸。
在步骤3)中，将关键点注意力机制嵌入到ResNet50模型中，构建人脸特征提取模型，网络结构如图2所示。ResNet50的输入图片大小为112×112，在layer3的特征图大小为1024×14×14，将关键点注意力机制嵌入到layer3后面，将layer3的输出特征作为改进注意力机制的输入特征。
在步骤4)中，本发明将实验参数统一设置为：输入图片大小112×112，训练集batch_size和测试的batch_size为128，进行10个迭代训练(epoch)，使用随机梯度下降(SGD)作为网络优化器，初始学习率为0.02。使用口罩人脸和正常人脸1：1的混合数据集进行训练.
在步骤5)中，先使用摄像头获得实时的人脸图像，使用retinaface进行人脸检测，使用本文的模型对检测到人脸进行特征提取，再进行特征比对，获得身份信息。
附图说明
图1关键点注意力机制结构图
图2基于关键点注意力机制的ResNet50网络结构图
图3相似计算过程图
图4映射计算过程图
具体实施方式
本发明实施例中，为解决使用传统人脸识别对口罩人脸识别准确率低的问题，采用基于关键点注意力机制的口罩人脸识别方法进行人脸识别，从而提高了人脸识别的精准度。
下面结合附图及具体实施例对本发明做进一步详细的说明。
在步骤1)中，关键点注意力机制的输入为1024×14×14，进行相似计算如图3所示。记输入特征图X大小为H×W×C，通过θ(1×1卷积)后大小为H×W×C，将X拆分(split)为大小为1×1×C的i,j(i,j＝H×W)个向量。另使用3×3卷积(Conv_3×3)去除冗余信息，实现关键特征的提取(大小为1024×6×6)，并实现同样的拆分，然后将两两进行相似计算(内积)，获得关于X的协方差矩阵C，对求得协方差矩阵C做softmax计算，将协方差矩阵中每行相似度分数转化为概率，获得C注意力图：
C＝softmax(Conv_1×1(X)Conv_3×3(X)T)
得到的注意力分布再与输入特征图相乘进行映射计算如图4,对通过σ(1×1卷积)后的X的H和W两个维度进行拉平(flatten)，再与相似计算获得的注意力图C相乘，将HW维度重新展开(expand)：
X＝CX
在步骤2)中，步骤1)获得关键点特征图 与X相比形成了更合理的区块注意力，有助于模型对有效人脸的特征提取。在X中口罩区域对人脸识别是无用的，人脸区域是识别判别的依据，为了进一步区分两部分区域，本发明还在注意力机制中引入了掩码操作。将/>通过Sigmoid函数，形成0～1的注意力，再与“1”相加，与X相乘，使用relu函数引入非线性，得到Attention_feature(Y)：
当时就消除了该部分特征(即消除口罩特征)。掩码部分相当于一个权重器，增强有一样的特征，抑制无意义的信息。通过关键特征注意力和掩码的融合，实现从口罩人脸中分离出有效人脸。
在步骤3)中，将关键点注意力机制嵌入到ResNet50模型中，构建人脸特征提取模型，网络结构如图2所示。ResNet50的输入图片大小为112×112，在layer3的特征图大小为1024×14×14，将关键点注意力机制嵌入到layer3后面，将layer3的输出特征作为改进注意力机制的输入特征。
在步骤4)中，本发明将实验参数统一设置为：输入图片大小112×112，训练集batch_size和测试的batch_size为128，进行10个迭代训练(epoch)，使用随机梯度下降(SGD)作为网络优化器，初始学习率为0.02。使用口罩人脸和正常人脸1：1的混合数据集进行训练.
在步骤5)中，先使用摄像头获得实时的人脸图像，使用retinaface进行人脸检测，使用本文的模型对检测到人脸进行特征提取，再进行特征比对，获得身份信息。
Claims (3)
1.一种基于关键点注意力机制的口罩人脸识别方法，其特征在于，包括以下步骤：
1)在注意力机制使用分组卷积获取人脸关键点：
Layer3_out是ResNet50的layer3的输出特征图大小为1024×14×14，将其作为关键点注意力机制的输入；采用关键点注意力机制替代了原注意力机制的全连接；使用3×3卷积去除冗余信息，实现大小为1024×6×6的关键特征提取，再使用该特征图输入特征图X进行与通过1×1卷积整合后特征图相乘，通过softmax函数，进而形成新的注意力分布：
C＝softmax(Conv_1×1(X)Conv_3×3(X)T)
得到的注意力分布再与输入特征图相乘：
2)使用Sigmoid函数降低口罩信息:
步骤1)获得关键点特征图 与X相比形成了更合理的区块注意力，有助于模型对有效人脸的特征提取；在/>中口罩区域对人脸识别是无用的，人脸区域是识别判别的依据，为了进一步区分两部分区域，在注意力机制中引入了掩码操作；将/>通过Sigmoid函数，形成0～1的注意力，再与“1”相加，与X相乘，使用relu函数引入非线性，得到Attention_feature(Y)：
当时就消除了该部分口罩特征；掩码部分相当于一个权重器，增强有一样的特征，抑制无意义的信息；通过关键特征注意力和掩码的融合，实现从口罩人脸中分离出有效人脸；
3)将关键点注意力机制嵌入到卷积神经网络中，构建出人脸特征提取模型；
4)使用数据集对模型进行训练；
5)使用人脸识别模型对摄像头捕获的人脸图像进行身份识别。
2.根据权利要求1所述的一种基于关键点注意力机制的口罩人脸识别方法，其特征在于；在步骤1)中，关键点注意力机制的输入为1024×14×14，记输入特征图X大小为H×W×C，通过θ后大小为H×W×C，将X拆分(split)为大小为1×1×C的i,j个向量，其中i,j＝H×W；另使用3×3卷积去除冗余信息，实现大小为1024×6×6的关键特征提取，并实现同样的拆分，然后将两两进行相似计算，获得关于X的协方差矩阵C，对求得协方差矩阵C做softmax计算，将协方差矩阵中每行相似度分数转化为概率，获得C注意力图：
C＝softmax(Conv_1×1(X)Conv_3×3(X)T)
得到的注意力分布再与输入特征图相乘进行映射计算,对通过σ后的X的H和W两个维度进行拉平，再与相似计算获得的注意力图C相乘，将HW维度重新展开：
获得关键点特征图
3.根据权利要求1所述的一种基于关键点注意力机制的口罩人脸识别方法，其特征在于；在步骤2)中，将通过Sigmoid函数，形成0～1的注意力，再与“1”相加，与X相乘，使用relu函数引入非线性，得到Attention_feature(Y)：
当时就消除了该部分口罩特征；通过关键特征注意力和掩码的融合，实现从口罩人脸中分离出有效人脸。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210262458.9A CN114821704B (zh) | 2022-03-16 | 2022-03-16 | 一种基于关键点注意力机制的口罩人脸识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210262458.9A CN114821704B (zh) | 2022-03-16 | 2022-03-16 | 一种基于关键点注意力机制的口罩人脸识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114821704A CN114821704A (zh) | 2022-07-29 |
| CN114821704B true CN114821704B (zh) | 2024-05-24 |
Family
ID=82528742
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210262458.9A Active CN114821704B (zh) | 2022-03-16 | 2022-03-16 | 一种基于关键点注意力机制的口罩人脸识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114821704B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112257647A (zh) * | 2020-11-03 | 2021-01-22 | 徐州工程学院 | 基于注意力机制的人脸表情识别方法 |
| JP6830707B1 (ja) * | 2020-01-23 | 2021-02-17 | 同▲済▼大学 | ランダムバッチマスクとマルチスケール表現学習を融合した人物再同定方法 |
| CN112560828A (zh) * | 2021-02-25 | 2021-03-26 | 佛山科学技术学院 | 一种轻量级口罩人脸识别方法、系统、存储介质及设备 |
| CN112818901A (zh) * | 2021-02-22 | 2021-05-18 | 成都睿码科技有限责任公司 | 一种基于眼部注意力机制的戴口罩人脸识别方法 |
| CN114120426A (zh) * | 2021-12-09 | 2022-03-01 | 长讯通信服务有限公司 | 一种基于局部分块注意力双支路优化的口罩人脸识别方法 |
-
2022
- 2022-03-16 CN CN202210262458.9A patent/CN114821704B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6830707B1 (ja) * | 2020-01-23 | 2021-02-17 | 同▲済▼大学 | ランダムバッチマスクとマルチスケール表現学習を融合した人物再同定方法 |
| CN112257647A (zh) * | 2020-11-03 | 2021-01-22 | 徐州工程学院 | 基于注意力机制的人脸表情识别方法 |
| CN112818901A (zh) * | 2021-02-22 | 2021-05-18 | 成都睿码科技有限责任公司 | 一种基于眼部注意力机制的戴口罩人脸识别方法 |
| CN112560828A (zh) * | 2021-02-25 | 2021-03-26 | 佛山科学技术学院 | 一种轻量级口罩人脸识别方法、系统、存储介质及设备 |
| CN114120426A (zh) * | 2021-12-09 | 2022-03-01 | 长讯通信服务有限公司 | 一种基于局部分块注意力双支路优化的口罩人脸识别方法 |
Non-Patent Citations (1)
| Title |
|---|
| 王善敏 ; 帅惠 ; 刘青山 ; .关键点深度特征驱动人脸表情识别.中国图象图形学报.2020,(第04期),全文. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114821704A (zh) | 2022-07-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7386545B2 (ja) | 画像中の物体を識別するための方法、及び当該方法を実施するためのモバイル装置 | |
| Feng et al. | Robust and efficient algorithms for separating latent overlapped fingerprints | |
| CN101751555B (zh) | 一种形变指纹识别方法及系统 | |
| CN108805223B (zh) | 一种基于Incep-CapsNet网络的篆文识别方法及系统 | |
| CN114359998B (zh) | 一种人脸口罩佩戴状态下的识别方法 | |
| CN110245621B (zh) | 人脸识别装置及图像处理方法、特征提取模型、存储介质 | |
| Kim et al. | Fingerprint generation and presentation attack detection using deep neural networks | |
| CN112101219A (zh) | 一种面向老年陪护机器人的意图理解方法和系统 | |
| CN106951819A (zh) | 基于稀疏概率分布和多阶段类别筛选的单样本人脸识别方法 | |
| CN111666813B (zh) | 基于非局部信息的三维卷积神经网络的皮下汗腺提取方法 | |
| Mali et al. | Indian sign language recognition using SVM classifier | |
| CN104361339B (zh) | 掌形图形提取及识别方法 | |
| Espinosa-Duro | Fingerprints thinning algorithm | |
| CN113780140B (zh) | 基于深度学习的手势图像分割与识别方法以及装置 | |
| CN114821704B (zh) | 一种基于关键点注意力机制的口罩人脸识别方法 | |
| Naim et al. | Mysql Database for storage of fingerprint data | |
| CN117275048A (zh) | 一种基于全局特征和局部细节点特征融合的指纹识别方法 | |
| Guo et al. | Image restoration of finger-vein networks based on encoder-decoder model | |
| Sisodia et al. | A conglomerate technique for finger print recognition using phone camera captured images | |
| Chowdhury et al. | Automatic Generation of Synthetic Palm Images | |
| Nunsong et al. | An improved finger-knuckle-print recognition using fractal dimension based on Gabor wavelet | |
| CN111046745A (zh) | 基于软块对角的多视聚类方法 | |
| CN111191624A (zh) | 一种基于法向量信息的指静脉特征提取算法 | |
| CN110956095A (zh) | 一种基于角点肤色检测的多尺度人脸检测方法 | |
| Chuang et al. | Design of Low-Complexity YOLOv3-Based Deep-Learning Networks with Joint Iris and Sclera Messages for Biometric Recognition Application |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |