CN114373210A - 一种存在口罩遮挡场景下的人脸识别方法 - Google Patents

一种存在口罩遮挡场景下的人脸识别方法 Download PDF

Info

Publication number
CN114373210A
CN114373210A CN202111662759.2A CN202111662759A CN114373210A CN 114373210 A CN114373210 A CN 114373210A CN 202111662759 A CN202111662759 A CN 202111662759A CN 114373210 A CN114373210 A CN 114373210A
Authority
CN
China
Prior art keywords
image
mask
shielding
face
hsv
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111662759.2A
Other languages
English (en)
Inventor
周艺华
肖桐
宁振虎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Technology
Original Assignee
Beijing University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Technology filed Critical Beijing University of Technology
Priority to CN202111662759.2A priority Critical patent/CN114373210A/zh
Publication of CN114373210A publication Critical patent/CN114373210A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公布了一种存在口罩遮挡场景下的人脸识别方法，利用现有数据库获取人脸图像数据，使用人脸图像数据对改进后的resnet50网络进行训练。利用Dlib人脸检测定位法从人脸图像中提取口罩正常遮挡区域中的面部关键点，在上述关键点处添加口罩遮挡，生成RGB图像和HSV图像，并获取HSV图像的H层信息。利用HSV图像的H层信息获取口罩遮挡的位置信息，将戴口罩的图像和未戴口罩的图像分别传入训练好的网络，计算全连接层的输出差异，并以此调整网络权值和遮挡情况下特征向量各项的重要程度，将得到的数据分别记入遮挡字典。

Description

一种存在口罩遮挡场景下的人脸识别方法
技术领域
本发明涉及机器学习技术领域，具体涉及机器学习图像处理技术领域的人脸识别方法。
背景技术
受病毒影响，佩戴口罩成为大众出行的前提。但口罩会对人脸造成严重的遮挡，因此在手机解锁、支付、车站检票等需要人脸识别支持的场景中，部分应用无法对人脸进行有效识别。
现有人脸识别方法中，在佩戴口罩的情况下进行人脸识别经常出现误识别和无法识别的情况，现有的人脸识别方案有的无法识别带口罩情况下的人脸，有的降低了识别阈值使得门禁系统的安全性降低，因此设计一种戴口罩情况下的准确的人脸识别方案迫在眉睫。
发明内容
本发明公布了一种存在口罩遮挡场景下的人脸识别方法，包括以下步骤：
1、从现有数据库中获取人脸图像数据；
2、将resnet50网络中的softmax层的softmax函数替换为A-softmax函数,命名为A-softmax层，并使用人脸图像数据对改进后的resnet50网络进行训练；
3、利用Dlib人脸检测定位法从人脸图像中提取口罩正常遮挡区域中的面部关键点；
4、在上述关键点处添加口罩遮挡，生成RGB图像和HSV图像，并获取HSV图像的H层信息；
5、利用HSV图像的H层信息获取口罩遮挡的位置信息，并根据遮挡关键点对图像进行分类；
6、将添加口罩遮挡的RGB图像和未添加口罩的RGB图像分别传入训练好的resnet50网络，计算全连接层的输出差异，根据差异调整网络权值和遮挡情况下特征向量各项的重要程度，各分类的图像得到的数据分别记入遮挡字典；
7、使用时将输入的被遮挡图片通过HSV转换技术得到HSV图像的H层信息，获取遮挡位置信息，判定被遮挡的关键点，然后查询遮挡字典，调整受遮挡内容影响的特征信息重要性权值，并根据调整后的特征进行人脸识别。
附图说明
图1为遮挡字典的训练流程图；
图2为训练完成后的口罩人脸识别流程图；
具体实施方式
1、从现有数据库中获取人脸图像数据，具体包括：
为满足国内的口罩人脸识别需要，采用著名的国内人脸数据库CASIA-WebFace，对数据库中人脸图像进行预处理调整图像尺寸，使之符合后续网络处理的要求。
2、将resnet50网络中的softmax层的softmax函数替换为A-softmax函数,命名为A-softmax层，并使用人脸图像数据对改进后的resnet50网络进行训练，具体包括：
resnet50网络由输入层，输出层和六层隐藏层构成。隐藏层以此为一个7*7卷积层，一层3*3最大池化层，一层16组不同卷积核通道数的1*1，3*3，1*1卷积层，一层平均值池化层，以及一层全连接层，最后的输出层通过softmax函数实现回归；为了增加不同人脸之间的区分度，将最后一层的softmax回归改为A-softmax回归，A-softmax公式如下：
Figure BDA0003450111060000031
其中，
ψ(θyi,i)＝(-1)kcos(mθj,i)-2k,
θyi,i表示yi类代表的权重系数与xi向量的夹角
使用经过预处理之后的人脸图像数据对改进的resnet50网络进行训练，经过多轮训练得到可以对无口罩遮挡的人脸进行识别的resnet50网络。
3、利用Dlib人脸检测定位法从人脸图像中提取出口罩正常遮挡区域中的面部关键点，具体包括：
首先，Dlib人脸检测定位法通过检测找到一张图片中人脸的位置，然后利用基于回归树的人脸对齐算法GBDT，来获得人脸的68个特征点；最后从68个特征点中筛选出戴口罩时会正常遮挡的区域中的面部关键点。
4、在面部关键点处添加口罩遮挡，生成RGB图像和HSV图像，并获取HSV图像的H层信息，具体包括：
选取多种样式的口罩，包括医用外科口罩以及N95口罩等，通过opencv处理得到背景透明的口罩素材，然后根据人脸图像的尺寸调整口罩图像尺寸，再将口罩图像添加到人脸图像的嘴部以及鼻子的对应位置。其中口罩的最上方位置设置为从鼻梁关键点到鼻尖关键点之间1/3到1的随机高度，最下方位置覆盖下巴最低点关键点。对于生成的RGB图像，提取转换为HSV图像后的H层信息。转换的公式为
Figure BDA0003450111060000041
其中，Δ＝Cmax-Cmin；Cmax＝max(R`,G`,B`)；Cmin＝min(R`,G`,B`)；
Figure BDA0003450111060000042
5、利用HSV图像的H层信息获取口罩遮挡的位置信息，并根据遮挡关键点对图像进行分类，具体包括：
将H层图像经过均值滤波和二值化得到口罩遮罩图，确定口罩的位置，并获得口罩遮挡的区域的关键点的集合，根据被遮挡关键点的集合对图片进行分类。
6、将添加口罩遮挡的RGB图像和未添加口罩的RGB图像分别传入训练好的resnet50网络，计算全连接层的输出差异，根据差异调整网络权值和遮挡情况下特征向量各项的重要程度，得到的数据按图像类别分别记入遮挡字典，具体包括：
对于上述分类后的遮挡图片，将同一类别的所有图片取出，并获取对应的原始未遮挡RGB图片。将对照的两张图片分别传入resnet50，获取其在最后的全连接层的输出差异。建立一个遮挡字典，每一项存储一类遮挡情况下的遮挡权值。对于输出变化不大的特征项，将其对应的遮挡权值置为1，对于差异比较大的特征项，将其遮挡权值映射为0-1之间的值，对于特别大的特征项，直接将其权值记为0，每一对图片都会得到一个遮挡权值向量，将本类所有图片组合遍历完之后，将得到的所有遮挡权值取均值，计入遮挡字典的对应位置。
7、使用时将输入的被遮挡图片通过HSV转换技术得到HSV图像的H层信息，获取遮挡位置信息，判定被遮挡的关键点，然后查询遮挡字典，调整受遮挡内容影响的特征信息重要性权值，并根据调整后的特征进行人脸识别。具体包括：
对于一张待识别的图像，首先将其转换为HSV图像并根据H层信息获取遮挡位置和被遮挡的关键点集合，获取方法与4相同，根据得到的关键点集合查询遮挡字典，获得遮挡向量，之后将待识别图片送入训练好的resnet50网络，将网络全连接层的输出与遮挡向量点乘，再传入A-softmax层，进行分类回归，得到人脸识别结果。

Claims (1)

1.一种存在口罩遮挡场景下的人脸识别方法，其特征在于：该方法的实施过程如下：S1、从现有数据库中获取人脸图像数据；
S2、将resnet50网络中的softmax层的softmax函数替换为A-softmax函数,命名为A-softmax层，并使用人脸图像数据对改进后的resnet50网络进行训练；
S3、利用Dlib人脸检测定位法从人脸图像中提取出口罩正常遮挡区域中的面部关键点；
S4、在上述关键点处添加口罩遮挡，生成RGB图像和HSV图像，并获取HSV图像的H层信息；
S5、利用HSV图像的H层信息获取口罩遮挡的位置信息，并根据遮挡关键点对图像进行分类；
S6、将添加口罩遮挡的RGB图像和未添加口罩的RGB图像分别传入训练好的resnet50网络，计算全连接层的输出差异，根据差异调整网络权值和遮挡情况下特征向量各项的重要程度，得到的数据根据图像类别分别记入遮挡字典；
S7、使用时将输入的被遮挡图片通过HSV转换技术得到HSV图像的H层信息，获取遮挡位置信息，判定被遮挡的关键点，然后查询遮挡字典，调整受遮挡内容影响的特征信息重要性权值，并根据调整后的特征进行人脸识别。
CN202111662759.2A 2021-12-31 2021-12-31 一种存在口罩遮挡场景下的人脸识别方法 Pending CN114373210A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111662759.2A CN114373210A (zh) 2021-12-31 2021-12-31 一种存在口罩遮挡场景下的人脸识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111662759.2A CN114373210A (zh) 2021-12-31 2021-12-31 一种存在口罩遮挡场景下的人脸识别方法

Publications (1)

Publication Number Publication Date
CN114373210A true CN114373210A (zh) 2022-04-19

Family

ID=81141470

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111662759.2A Pending CN114373210A (zh) 2021-12-31 2021-12-31 一种存在口罩遮挡场景下的人脸识别方法

Country Status (1)

Country Link
CN (1) CN114373210A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115018696A (zh) * 2022-06-08 2022-09-06 东北师范大学 基于OpenCV仿射变换的人脸口罩数据生成方法
CN115527254A (zh) * 2022-09-21 2022-12-27 北京的卢深视科技有限公司 人脸识别、模型训练方法、装置、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108764336A (zh) * 2018-05-28 2018-11-06 北京陌上花科技有限公司 用于图像识别的深度学习方法及装置、客户端、服务器
CN110728330A (zh) * 2019-10-23 2020-01-24 腾讯科技（深圳）有限公司 基于人工智能的对象识别方法、装置、设备及存储介质
CN112200108A (zh) * 2020-10-16 2021-01-08 深圳市华付信息技术有限公司 一种口罩人脸识别方法
CN113283405A (zh) * 2021-07-22 2021-08-20 第六镜科技(北京)有限公司 口罩检测方法、装置、计算机设备及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108764336A (zh) * 2018-05-28 2018-11-06 北京陌上花科技有限公司 用于图像识别的深度学习方法及装置、客户端、服务器
CN110728330A (zh) * 2019-10-23 2020-01-24 腾讯科技（深圳）有限公司 基于人工智能的对象识别方法、装置、设备及存储介质
CN112200108A (zh) * 2020-10-16 2021-01-08 深圳市华付信息技术有限公司 一种口罩人脸识别方法
CN113283405A (zh) * 2021-07-22 2021-08-20 第六镜科技(北京)有限公司 口罩检测方法、装置、计算机设备及存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115018696A (zh) * 2022-06-08 2022-09-06 东北师范大学 基于OpenCV仿射变换的人脸口罩数据生成方法
CN115018696B (zh) * 2022-06-08 2024-05-03 东北师范大学 基于OpenCV仿射变换的人脸口罩数据生成方法
CN115527254A (zh) * 2022-09-21 2022-12-27 北京的卢深视科技有限公司 人脸识别、模型训练方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN106548165B (zh) 一种基于图像分块加权的卷积神经网络的人脸识别方法
CN110363047B (zh) 人脸识别的方法、装置、电子设备和存储介质
CN114373210A (zh) 一种存在口罩遮挡场景下的人脸识别方法
CN100423020C (zh) 一种基于结构主元分析的人脸识别方法
US20060082849A1 (en) Image processing apparatus
CN109086723B (zh) 一种基于迁移学习的人脸检测的方法、装置以及设备
CN109344701A (zh) 一种基于Kinect的动态手势识别方法
CN109948566B (zh) 一种基于权重融合与特征选择的双流人脸反欺诈检测方法
CN103902958A (zh) 人脸识别的方法
CN107742274A (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
JPWO2008001889A1 (ja) 色類別方法、色認識方法及び色認識装置
CN111476849B (zh) 对象颜色识别方法、装置、电子设备以及存储介质
WO2022062379A1 (zh) 图像检测方法和相关装置、设备、存储介质、计算机程序
CN111339930A (zh) 一种联合口罩属性损失函数的人脸识别方法
CN109740572A (zh) 一种基于局部彩色纹理特征的人脸活体检测方法
CN101983507A (zh) 自动红眼检测
CN113095263B (zh) 遮挡下行人重识别模型训练方法、装置及遮挡下行人重识别方法、装置
CN112906550B (zh) 一种基于分水岭变换的静态手势识别方法
CN111695495A (zh) 人脸识别方法、电子设备及存储介质
CN111414858A (zh) 人脸识别方法、目标图像的确定方法、装置和电子系统
CN114120426A (zh) 一种基于局部分块注意力双支路优化的口罩人脸识别方法
CN114550268A (zh) 一种利用时空特征的深度伪造视频检测方法
CN112232205B (zh) 移动端cpu实时多功能人脸检测方法
CN113807180A (zh) 一种基于lbph与特征点的人脸识别方法
CN108491883A (zh) 一种基于条件随机场的显著性检测优化方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination