CN114581984B - 一种基于低秩注意力机制的口罩人脸识别算法 - Google Patents

一种基于低秩注意力机制的口罩人脸识别算法 Download PDF

Info

Publication number
CN114581984B
CN114581984B CN202210213119.1A CN202210213119A CN114581984B CN 114581984 B CN114581984 B CN 114581984B CN 202210213119 A CN202210213119 A CN 202210213119A CN 114581984 B CN114581984 B CN 114581984B
Authority
CN
China
Prior art keywords
mask
face
component
attention mechanism
low
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210213119.1A
Other languages
English (en)
Other versions
CN114581984A (zh
Inventor
李潇
胡俐蕊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guilin University of Technology
Original Assignee
Guilin University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guilin University of Technology filed Critical Guilin University of Technology
Priority to CN202210213119.1A priority Critical patent/CN114581984B/zh
Publication of CN114581984A publication Critical patent/CN114581984A/zh
Application granted granted Critical
Publication of CN114581984B publication Critical patent/CN114581984B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Abstract

本发明是一种基于低秩注意力机制的口罩人脸识别技术。首先在注意力机制中引入低秩操作，通过低秩注意力机制能够感应口罩信息和人脸；然后结合掩膜技术降低口罩部分权重，减轻口罩对人脸识别任务的干扰。使用该模型进行人脸特征提取再进行人脸比对，保持对正常人脸识别高准确率，同时提升对口罩人脸的识别准确率。

Description

一种基于低秩注意力机制的口罩人脸识别算法
技术领域
本发明涉及深度学习技术领域下，将改进的注意力机制嵌入到卷积神经网络中，使用特定的正常人脸数据集和口罩人脸数据集训练出人脸识别模型。方法使用该模型进行特征提取再进行人脸比对，在保持正常人脸高识别准确率的同时大大提升口罩人脸的识别准确率。
背景技术
口罩人脸识别是对佩戴口罩人脸进行身份识别，以其口罩信息干扰和识别有效面积较小等特点，是人脸识别领域的难点和热点，传统的人脸识别算法由于没有大面积遮挡的去噪能力在口罩人脸识别任务中准确率较低。发明一种能够兼容正常人脸识别和口罩人脸识别的方法具有很高的实用价值。
发明内容
本发明为了解决现有人脸识别技术的不足，提出了一种基于低秩注意力机制的口罩人脸识别算法，首先在注意力机制中引入低秩操作，低秩注意力机制学习口罩人脸组件信息，使用相似计算和映射计算感知口罩信息和人脸信息；然后结合掩膜技术降低口罩部分权重，减轻口罩对人脸识别任务的干扰。
为实现上述功能，本发明提出了一种基于低秩注意力机制的口罩人脸识别算法，包括以下步骤：
1)构建数据集并进行预处理；
2)在注意力机制引入低秩操作和掩膜操作，构建低秩注意力机制；
3)将改进的注意力机制嵌入到卷积神经网络中，构建出人脸特征提取模型；
4)使用数据集对模型进行训练；
5)使用人脸识别模型对摄像头捕获的人脸图像进行身份识别。
在步骤1)中，使用生成式对抗网络对CASIA-WebFace的10 575个人的494414张图像进行模拟口罩佩戴，再使用合成的口罩人脸数据集和正常人脸数据集进行1：1的混合，形成混合人脸数据集。
在步骤2)中，改进的注意力机制分为组件学习模块、定位模块和掩膜模块。目的是为了消除在卷积神经网络中的口罩信息。结构如图1所示。
在组件学习模块中，初始化k(k＜＜i)个向量μ(t)(t为迭代次数)以迭代(iterate)方式对卷积神经网络中的人脸特征图X进行低秩化学习，获得口罩人脸组件：将/>分别与人脸特征图X中所有像素点Xj进行相似计算得到注意力图(Attention Maps)/>(k张注意力图)：
再使用对/>进行更新，每一次更新为与所有像素点相似度的加权平均(即为Non-Local模块中的映射计算(Mapping calculate))，/>往与其相似像素点的方向进行更新：
在组件学习模块中进行t次迭代。
在定位模块中通过口罩组件定位口罩：低秩人脸组件μ中含有口罩组件和人脸组件，本文将μ＝{μ1,μ2,…μk}与口罩组件(预先通过可视化确定的口罩组件)进行余弦相似计算，超过阈值的组件判断为口罩组件μm＝{μ1,μ2,…μl}，使用μm和X通过注意力机制构建口罩特征图Xm：
Cm＝softmax(μl TX)
Xm＝Cmμm
为了降低口罩部分权重，本文构建了掩膜模块，将口罩特征图Xm通过Sigmoid函数，归一化到[0，1]，获得口罩掩膜，本文使用“1”减去口罩掩膜，口罩特征置0，获得有效人脸掩膜，进而实现在口罩人脸上分离出有效人脸Y：
M(Xm)＝Sigmoid(Xm)
Y＝(1-M(Xm))*X
在步骤3)中，本文将步骤2)中改进的注意力机制嵌入到ResNet50模型中，构建人脸特征提取模型，网络结构如图2所示。ResNet50的输入图片大小为112×112，在layer1的特征图大小为56×56，将改进的注意力机制嵌入到layer1后面，将layer1的输出特征作为改进注意力机制的输入特征。
在步骤4)中，本发明将实验参数统一设置为：输入图片大小112×112，训练集batch_size和测试的batch_size为128，进行10个迭代训练(epoch)，使用随机梯度下降(SGD)作为网络优化器，初始学习率为0.02。训练第一步：本发明将算法在口罩人脸数据集进行训练，主要目的完成对组件模块的训练，训练第二步：如果组件学习模块在正常人脸数据集上再进行更新，将会降低口罩人脸组件学习性能，因此固定组件学习模块，将第一步得到的算法使用混合数据集进行训练，提升正常人脸识别性能。
在步骤5)中，先使用摄像头获得实时的人脸图像，使用retinaface进行人脸检测，使用本文的模型对检测到人脸进行特征提取，再进行特征比对，获得身份信息。
附图说明
图1低秩注意力机制网络结构图
图2基于低秩注意力机制的ResNet50网络结构图
图3数据集制作流程图
图4口罩组件可视化图
图5人脸识别流程图
具体实施方式
本发明的使用计算机配置：Intel(R)Core(TM)i7-7820X CPU，32G内存，两块NVIDIA GeForce RTX 2080，每块8G显存。在Windows10系统下，使用深度学习框架pytorch。
具体实施过程如下：
在步骤1)中，数据集的制作如图3所示，使用retinaface对原始数据集进行人脸检测，使用中心裁剪，大小为3×112×112，再使用生成式对抗网络对CASIA-WebFace的10 575个人的494414张图像进行模拟口罩佩戴，再使用合成的口罩人脸数据集和正常人脸数据集进行1：1的混合，形成混合人脸数据集。
在步骤2)中，在注意力机制中加入低秩操作和掩膜操作，目的是为了消除口罩信息对人脸识别任务的影响，主要模块分为组件学习模块、定位模块和掩膜模块。
在组件学习模块中，初始化k(k＜＜i)个向量μ(t)(t为迭代次数)以迭代(iterate)方式对卷积神经网络中的人脸特征图X进行低秩化学习，获得口罩人脸组件：将/>分别与人脸特征图X中所有像素点Xj进行相似计算得到注意力图(Attention Maps)/>(k张注意力图)：
再使用对/>进行更新，每一次更新为与所有像素点相似度的加权平均(即为Non-Local模块中的映射计算(Mapping calculate))，/>往与其相似像素点的方向进行更新：
在组件学习模块中进行t次迭代。
在定位模块中通过口罩组件定位口罩：低秩人脸组件μ中含有口罩组件和人脸组件，本文将μ＝{μ1,μ2,…μk}与口罩组件(预先通过可视化确定的口罩组件)进行余弦相似计算，超过阈值的组件判断为口罩组件μm＝{μ1,μ2,…μl}，使用μm和X通过注意力机制构建口罩特征图Xm：
Cm＝softmax(μl TX)
Xm＝Cmμm
为了降低口罩部分权重，本文构建了掩膜模块，将口罩特征图Xm通过Sigmoid函数，归一化到[0，1]，获得口罩掩膜，本文使用“1”减去口罩掩膜，口罩特征置0，获得有效人脸掩膜，进而实现在口罩人脸上分离出有效人脸Y：
M(Xm)＝Sigmoid(Xm)
Y＝(1-M(Xm))*X
在步骤3)中，本发明将改进的注意力机制嵌入在ResNet50的低层，比较有力的去除口罩信息。
在步骤4)中，使用口罩人脸数据集对人脸识别模型继续训练，主要完成步骤2)中提的组件模块的训练，并且对步骤2)所提的组件数量k进行探究实验，经过多次实验确定合适的组件数量，能够较好的学习组件信息。在对迭代次数t进行探究实验，以实验的识别准确率为标准，选择合适的迭代次数，满足组件的收敛需求。同时通过可是确定口罩组件，以便步骤2)中去除口罩信息，口罩组件可视化如图4所示。
在步骤5)中，具体过程如图5，用摄像头实时捕获图像，使用retianface进行人脸检测，在步骤2)的组件判断，能够判断是否佩戴口罩，没有配搭口罩直接进行特征提取，佩戴了口罩的人体特征经过低秩注意力注意机制去除口罩信息再进行特征提取，最后进行特征比对进而实现身份识别。

Claims (3)

1.一种基于低秩注意力机制的口罩人脸识别算法，其特征在于，包括以下步骤：
1)构建数据集并进行预处理；
2)构建低秩注意力机制：
2.1)初始化k(k＜＜i)个向量μ(t)以迭代(iterate)方式对卷积神经网络中的人脸特征图X进行低秩化学习，其中t为迭代次数，获得口罩人脸组件：将/>分别与人脸特征图X中所有像素点Xj进行相似计算得到注意力图(Attention Maps)/>其中k为注意力图张数：
再使用对/>进行更新，每一次更新为与所有像素点相似度的加权平均，即为Non-Local模块中的映射计算(Mapping calculate)，/>往与其相似像素点的方向进行更新：
在组件学习模块中进行t次迭代；
2.2)通过口罩组件定位口罩：低秩人脸组件μ中含有口罩组件和人脸组件，将μ＝{μ1,μ2,…μk}与预先通过可视化确定的口罩组件进行余弦相似计算，超过阈值的组件判断为口罩组件μm＝{μ1,μ2,…μl}，使用μm和X通过注意力机制构建口罩特征图Xm：
Cm＝softmax(μl TX)
Xm＝Cmμm
2.3)为了降低口罩部分权重，构建掩膜模块，将口罩特征图Xm通过Sigmoid函数，归一化到[0，1]，获得口罩掩膜，使用“1”减去口罩掩膜，口罩特征置0，获得有效人脸掩膜，进而实现在口罩人脸上分离出有效人脸Y：
M(Xm)＝Sigmoid(Xm)
Y＝(1-M(Xm))*X
3)将改进的注意力机制嵌入在ResNet50的layer1层后，将layer1的输出特征作为输入特征，进行构建出口罩人脸特征提取模型；
4)设置输入图片大小，训练集batch_size和测试的batch_size的大小，迭代训练(epoch)，使用随机梯度下降(SGD)作为网络优化器，初始学习率；训练第一步：将算法在口罩人脸数据集进行训练，主要目的完成对组件模块的训练，训练第二步：如果组件学习模块在正常人脸数据集上再进行更新，将会降低口罩人脸组件学习性能，因此固定组件学习模块，将第一步得到的算法使用混合数据集进行训练，提升正常人脸识别性能；
5)先使用摄像头获得实时的人脸图像，使用retinaface进行人脸检测，使用步骤3)所述的模型对检测到人脸进行特征提取，再进行特征比对，获得身份信息。
2.根据权利要求1所述的一种基于低秩注意力机制的口罩人脸识别算法，其特征在于；在步骤1)中，使用retinaface对CASIA-WebFace人脸数据集进行人脸检测与人脸对齐，并进行中心裁剪，去除无用背景，使用生成式对抗网络对处理后的数据进行模拟口罩佩戴，形成口罩人脸数据集。
3.根据权利要求1所述的一种基于低秩注意力机制的口罩人脸识别算法，其特征在于；在步骤5)中，先使用摄像头获得实时的人脸图像，使用retinaface进行人脸检测，使用步骤3)所述的模型对检测到人脸进行特征提取，再进行特征比对，获得身份信息。
CN202210213119.1A 2022-03-07 2022-03-07 一种基于低秩注意力机制的口罩人脸识别算法 Active CN114581984B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210213119.1A CN114581984B (zh) 2022-03-07 2022-03-07 一种基于低秩注意力机制的口罩人脸识别算法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210213119.1A CN114581984B (zh) 2022-03-07 2022-03-07 一种基于低秩注意力机制的口罩人脸识别算法

Publications (2)

Publication Number Publication Date
CN114581984A CN114581984A (zh) 2022-06-03
CN114581984B true CN114581984B (zh) 2024-04-16

Family

ID=81774075

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210213119.1A Active CN114581984B (zh) 2022-03-07 2022-03-07 一种基于低秩注意力机制的口罩人脸识别算法

Country Status (1)

Country Link
CN (1) CN114581984B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021174880A1 (zh) * 2020-09-01 2021-09-10 平安科技（深圳）有限公司 征提取模型训练方法、人脸识别方法、装置、设备及介质
CN114120426A (zh) * 2021-12-09 2022-03-01 长讯通信服务有限公司 一种基于局部分块注意力双支路优化的口罩人脸识别方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021174880A1 (zh) * 2020-09-01 2021-09-10 平安科技（深圳）有限公司 征提取模型训练方法、人脸识别方法、装置、设备及介质
CN114120426A (zh) * 2021-12-09 2022-03-01 长讯通信服务有限公司 一种基于局部分块注意力双支路优化的口罩人脸识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于低秩稀疏与网络学习的遮挡人脸识别研究;何芳州;李鑫;;计算机仿真;20201015(第10期);全文 *
基于深度学习的部分遮挡人脸识别;王振华;苏金善;仝琼琳;;电子技术与软件工程;20200115(第02期);全文 *

Also Published As

Publication number Publication date
CN114581984A (zh) 2022-06-03

Similar Documents

Publication Publication Date Title
CN108537743B (zh) 一种基于生成对抗网络的面部图像增强方法
CN110443143B (zh) 多分支卷积神经网络融合的遥感图像场景分类方法
CN110728209A (zh) 一种姿态识别方法、装置、电子设备及存储介质
CN112766160A (zh) 基于多级属性编码器和注意力机制的人脸替换方法
CN109614853B (zh) 一种基于身体结构划分的双线性行人再识别网络构建方法
CN109598268A (zh) 一种基于单流深度网络的rgb-d显著目标检测方法
CN111709313B (zh) 基于局部和通道组合特征的行人重识别方法
CN111126307B (zh) 联合稀疏表示神经网络的小样本人脸识别方法
CN110390308B (zh) 一种基于时空对抗生成网络的视频行为识别方法
CN110097029B (zh) 基于Highway网络多视角步态识别的身份认证方法
CN110516533B (zh) 一种基于深度度量的行人再辨识方法
CN114067444A (zh) 基于元伪标签和光照不变特征的人脸欺骗检测方法和系统
CN112418041A (zh) 一种基于人脸正面化的多姿态人脸识别方法
CN112084895B (zh) 一种基于深度学习的行人重识别方法
CN113205002B (zh) 非受限视频监控的低清人脸识别方法、装置、设备及介质
CN111476727B (zh) 一种面向换脸视频检测的视频运动增强方法
CN114882537B (zh) 一种基于神经辐射场的手指新视角图像生成方法
CN110335299A (zh) 一种基于对抗网络的单目深度估计系统实现方法
CN110222568B (zh) 一种基于时空图的跨视角步态识别方法
CN110826534A (zh) 一种基于局部主成分分析的人脸关键点检测方法及系统
CN109522865A (zh) 一种基于深度神经网络的特征加权融合人脸识别方法
CN113762009B (zh) 一种基于多尺度特征融合及双注意力机制的人群计数方法
CN112464873A (zh) 模型的训练方法、人脸活体识别方法、系统、设备及介质
CN114581984B (zh) 一种基于低秩注意力机制的口罩人脸识别算法
CN114266713A (zh) 基于NonshadowGAN的无人机铁路扣件图像阴影去除方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant