CN111626246A - 口罩遮挡下的人脸对齐方法 - Google Patents

口罩遮挡下的人脸对齐方法 Download PDF

Info

Publication number
CN111626246A
CN111626246A CN202010483758.0A CN202010483758A CN111626246A CN 111626246 A CN111626246 A CN 111626246A CN 202010483758 A CN202010483758 A CN 202010483758A CN 111626246 A CN111626246 A CN 111626246A
Authority
CN
China
Prior art keywords
face
transformation matrix
image
coordinates
similarity transformation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010483758.0A
Other languages
English (en)
Other versions
CN111626246B (zh
Inventor
刘中秋
陈高曙
祝江威
张伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Miaxis Biometrics Co Ltd
Original Assignee
Miaxis Biometrics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Miaxis Biometrics Co Ltd filed Critical Miaxis Biometrics Co Ltd
Priority to CN202010483758.0A priority Critical patent/CN111626246B/zh
Publication of CN111626246A publication Critical patent/CN111626246A/zh
Application granted granted Critical
Publication of CN111626246B publication Critical patent/CN111626246B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Collating Specific Patterns (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种口罩遮挡下的人脸对齐方法，所述方法包括：(1)从训练集中获取人脸图像并通过标定的人脸关键点计算关键点相对坐标；(2)使用计算的关键点相对坐标和归一化目标坐标计算相似变换矩阵；(3)通过人脸图像和相似变换矩阵训练神经网络，获得人脸对齐模型网络；(4)将待测图像输入人脸对齐模型网络，得到输出向量，从而得到待测图像相对坐标到归一化目标坐标的相似变换矩阵；(5)将步骤(4)得到的相似变换矩阵适当变形后获得待测图像绝对坐标到对齐后人脸目标尺寸坐标的相似变换矩阵；(6)将步骤(5)变形后得到的相似变换矩阵作用于待测图像，获得对齐后的人脸图像。本发明可有效提高人脸对齐的准确率。

Description

口罩遮挡下的人脸对齐方法
【技术领域】
本发明涉及图像处理技术领域，具体涉及一种口罩遮挡下的人脸对齐方法。
【背景技术】
人脸识别因其非接触式的身份认证方式以及准确便捷的特点，在生物识别中占据重要地位，人脸对齐作为人脸识别中一个重要的预处理步骤，可以大幅度提高人脸识别的准确率与稳定性。
目前比较常见的一种人脸对齐方法是先通过关键点定位模型预测人脸关键点，随后根据预测的人脸关键点坐标计算其与预设的目标坐标之间的相似变换矩阵，最后将相似变换矩阵作用于待处理图片即可获得对齐后的人脸图像。但口罩遮挡下人脸的关键点信息(如鼻子、嘴巴)丢失，所预测的关键点坐标易出现误差，从而导致基于其得出的人脸对齐图像出现较大偏差；倘若直接排除被遮挡的关键点，则也会由于关键点个数过少同样使得人脸对齐图像出现较大偏差。
【发明内容】
针对背景技术中提出的问题，本发明提出一种口罩遮挡下的人脸对齐方法，其中所涉及的相似变换矩阵不再经由预测的人脸关键点计算得出，从而可有效避免因人脸关键点预测误差导致的人脸对齐偏差问题。
本发明解决其技术问题所采用的技术方案是提供一种口罩遮挡下的人脸对齐方法，包括以下步骤：
(1)使用人脸检测框从人脸训练集原始图像中获取人脸图像并进行缩放处理，使其尺寸与待训练神经网络的输入尺寸相匹配；
(2)根据标定的人脸关键点计算其相对于人脸检测框的相对坐标，计算公式如下：
Figure BDA0002518150450000011
其中xi、yi为第i个人脸关键点的绝对坐标，n为人脸关键点数量，xri、yri为第i个人脸关键点的相对坐标，xb、yb为人脸检测框左上角顶点的绝对坐标，S为人脸检测框的边长；
(3)将预设目标坐标归一化到[-0.5,0.5]，计算公式如下：
Figure BDA0002518150450000012
其中ui、vi为对齐后的预设目标坐标，A为对齐后人脸的目标尺寸，uri、vri为归一化的目标坐标；
(4)使用最小二乘法计算标定人脸关键点的相对坐标与归一化目标坐标之间的相似变换矩阵M，计算公式如下：
Figure BDA0002518150450000021
其中M为3阶相似变换矩阵，xr、yr、ur、vr分别为xri、yri、uri、vri(i＝1,2,…,n)的向量表示，‖·‖表示矩阵的L2范数；
(5)计算M矩阵的逆矩阵Minv，Minv作为相似变换矩阵可以表示为以下形式：
Figure BDA0002518150450000022
(6)将待训练神经网络的输出4维向量设为(b0，b1，b2，b3)，则网络训练时的损失函数loss表示如下：
Figure BDA0002518150450000023
当所述损失函数loss不再下降时，将训练的神经网络确定为所需的人脸对齐模型网络；
(7)将缩放后的人脸图像输入训练好的人脸对齐模型，输出得到4维向量
Figure BDA0002518150450000024
相应的
Figure BDA0002518150450000025
和
Figure BDA0002518150450000026
表示如下：
Figure BDA0002518150450000027
Figure BDA0002518150450000028
其中
Figure BDA0002518150450000029
是待测图像相对坐标到归一化目标坐标的相似变换矩阵；
(8)对
Figure BDA00025181504500000210
做如下所示变换，得到从待测图像绝对坐标到对齐后人脸目标尺寸坐标的相似变换矩阵
Figure BDA00025181504500000211
Figure BDA00025181504500000212
(9)使用相似变换矩阵
Figure BDA00025181504500000213
对待测图像进行相似变换，即可得到对齐后的人脸图像。
优选地，所述待训练神经网络的输入尺寸为48*48。
进一步地，所述人脸关键点数量n≥2，优选n＝5。
相比背景技术中通过人脸关键点定位来获取相似变换矩阵，本发明提出一种直接推理得到相似变换矩阵的方法，从而避免了使用预测的人脸关键点坐标而引入的额外信息，有效提高人脸对齐的准确率。
【附图说明】
图1是本发明提供的口罩遮挡下的人脸对齐方法流程示意图。
【具体实施方式】
下面结合图1和具体实施例对本发明进行详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
实施例1：
本发明提供了一种口罩遮挡下的人脸对齐方法，包括人脸对齐模型训练和人脸对齐模型运行两个步骤：
一、人脸对齐模型训练阶段：
待训练的人脸对齐模型网络结构参考MTCNN算法中的ONet结构，人脸训练集使用CelebA数据集和内部数据集，初始学习率为0.1。
1、从人脸训练集中获取人脸检测框，根据人脸检测框从训练集原始图像中截取人脸图像并缩放到48*48尺寸；
2、标定5个人脸关键点并计算其相对于人脸检测框的相对坐标，计算公式如下：
Figure BDA0002518150450000031
其中xi、yi为第i个人脸关键点的绝对坐标，xri、yri为第i个人脸关键点的相对坐标，xb、yb为人脸检测框左上角顶点的绝对坐标，S为人脸检测框的边长；
3、标定的5个人脸关键点对应的人脸对齐后的预设目标坐标ui、vi为固定数值，具体分别为：
(u1，v1)＝(38.2946，51.6953)
(u2，v2)＝(73.5318，51.6953)
(u3，v3)＝(56.0252，71.7366)
(u4，v4)＝(41.5493，92.3655)
(u5，v5)＝(70.7299，92.2041)
将预设目标坐标归一化到[-0.5,0.5]，计算公式如下：
Figure BDA0002518150450000032
其中A为对齐后人脸的目标尺寸；
4、使用最小二乘法计算标定人脸关键点的相对坐标与归一化目标坐标之间的相似变换矩阵M，计算公式如下：
Figure BDA0002518150450000041
其中M为3阶相似变换矩阵，
xr＝(xr1，xr2，xr3，xr4，xr5)，yr＝(yr1，yr2，yr3，yr4，yr5)
ur＝(ur1，ur2，ur3，ur4，ur5)，vr＝(vr1，vr2，vr3，vr4，vr5)
5、计算M矩阵的逆矩阵Minv，Minv作为相似变换矩阵可以表示为以下形式：
Figure BDA0002518150450000042
6、将待训练神经网络的4维输出向量设为(b0，b1，b2，b3)，则网络训练时的损失函数loss表示如下：
Figure BDA0002518150450000043
当所述损失函数loss不再下降时网络训练完成，当前训练完成的神经网络即为所需的人脸对齐模型网络。
二、人脸对齐模型运行阶段：
1、对一张分辨率为799*855的原始图像进行人脸检测获取人脸检测框，得出人脸检测框的边长S＝314，人脸检测框左上角顶点的绝对坐标xb＝180、yb＝131；
2、从原始图像中根据人脸检测框截取人脸图像并缩放到48*48尺寸，将缩放后的人脸图像送入上述训练好的人脸对齐模型网络，得到网络输出向量：
Figure BDA0002518150450000044
3、根据网络输出向量
Figure BDA0002518150450000045
构建
Figure BDA0002518150450000046
Figure BDA0002518150450000047
4、根据后续使用的人脸比对模型网络确定对齐后人脸的目标尺寸A＝112；
5、计算从原始图像绝对坐标到对齐后人脸目标尺寸坐标的相似变换矩阵
Figure BDA0002518150450000048
Figure BDA0002518150450000051
6、用
Figure BDA0002518150450000052
对原始图像进行相似变换即得到相应的人脸对齐后图像。
需要强调的是，以上仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。
为了验证本发明方法的性能，使用包含1029人不戴口罩照片构成的底库和9215张戴口罩的现场照片库作为人脸测试集进行测试，表1列出了在均使用5个人脸关键点进行人脸对齐的前提下，背景技术中的方案与本发明实施例1方案两种对齐方法的EER(等错误率)及当FAR(错误接受率)分别为0.1和0.01时对应的FRR(错误拒绝率)。
表1
Figure BDA0002518150450000053
由表1可看出，在同样的测试背景下，本发明实施例方案性能大大优于背景技术中的对齐方案，EER(等错误率)和FRR(错误拒绝率)明显降低，EER越低，算法稳定性越好，FRR越低，真实人脸被错误识别而误判的可能性越低。

Claims (3)

1.口罩遮挡下的人脸对齐方法，其特征在于，包括如下步骤：
(1)人脸对齐模型训练阶段：
S11、使用人脸检测框从人脸训练集原始图像中获取人脸图像并进行缩放处理，使其尺寸与待训练神经网络的输入尺寸相匹配；
S12、根据标定的人脸关键点计算其相对于人脸检测框的相对坐标，计算公式如下：
Figure FDA0002518150440000011
其中xi、yi为第i个人脸关键点的绝对坐标，n为人脸关键点数量，xri、yri为第i个人脸关键点的相对坐标，xb、yb为人脸检测框左上角顶点的绝对坐标，S为人脸检测框的边长；
S13、将预设目标坐标归一化到[-0.5，0.5]，计算公式如下：
Figure FDA0002518150440000012
其中ui、vi为对齐后的预设目标坐标，A为对齐后人脸的目标尺寸，uri、vri为归一化的目标坐标；
S14、使用最小二乘法计算标定人脸关键点的相对坐标与归一化目标坐标之间的相似变换矩阵M，计算公式如下：
Figure FDA0002518150440000013
其中M为3阶相似变换矩阵，xr、yr、ur、vr分别为xri、yri、uri、vri(i＝1，2，...，n)的向量表示，||·||表示矩阵的L2范数；
S15、计算M矩阵的逆矩阵Minv，Minv作为相似变换矩阵可以表示为以下形式：
Figure FDA0002518150440000014
S16、将待训练神经网络的输出4维向量设为(b0，b1，b2，b3)，则网络训练时的损失函数loss表示如下：
Figure FDA0002518150440000015
当所述损失函数loss不再下降时，将训练的神经网络确定为所需的人脸对齐模型网络；
(2)人脸对齐模型运行阶段：
S21、将缩放后的人脸图像输入训练好的人脸对齐模型，输出得到4维向量
Figure FDA0002518150440000016
S22、相应的
Figure FDA0002518150440000017
和
Figure FDA0002518150440000018
表示如下：
Figure FDA0002518150440000021
Figure FDA0002518150440000022
所述
Figure FDA0002518150440000023
是原始图像相对坐标到归一化目标坐标的相似变换矩阵；
S23、对
Figure FDA0002518150440000024
做如下所示变换，得到从原始图像绝对坐标到对齐后人脸目标尺寸坐标的相似变换矩阵
Figure FDA0002518150440000025
Figure FDA0002518150440000026
S24、使用相似变换矩阵
Figure FDA0002518150440000027
对原始图像进行相似变换，即可得到对齐后的人脸图像。
2.如权利要求1所述的口罩遮挡下的人脸对齐方法，其特征在于，待训练神经网络的输入尺寸为48*48。
3.如权利要求1所述的口罩遮挡下的人脸对齐方法，其特征在于，所述人脸关键点数量n≥2，优选n＝5。
CN202010483758.0A 2020-06-01 2020-06-01 口罩遮挡下的人脸对齐方法 Active CN111626246B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010483758.0A CN111626246B (zh) 2020-06-01 2020-06-01 口罩遮挡下的人脸对齐方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010483758.0A CN111626246B (zh) 2020-06-01 2020-06-01 口罩遮挡下的人脸对齐方法

Publications (2)

Publication Number Publication Date
CN111626246A true CN111626246A (zh) 2020-09-04
CN111626246B CN111626246B (zh) 2022-07-15

Family

ID=72271215

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010483758.0A Active CN111626246B (zh) 2020-06-01 2020-06-01 口罩遮挡下的人脸对齐方法

Country Status (1)

Country Link
CN (1) CN111626246B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112507963A (zh) * 2020-12-22 2021-03-16 华南理工大学 一种批量口罩人脸样本自动生成以及口罩人脸识别方法
CN112508773A (zh) * 2020-11-20 2021-03-16 小米科技(武汉)有限公司 图像处理方法及装置、电子设备、存储介质
WO2021203718A1 (zh) * 2020-04-10 2021-10-14 嘉楠明芯(北京)科技有限公司 人脸识别方法及系统
CN113610115A (zh) * 2021-07-14 2021-11-05 广州敏视数码科技有限公司 一种基于灰度图像的高效人脸对齐方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109472198A (zh) * 2018-09-28 2019-03-15 武汉工程大学 一种姿态鲁棒的视频笑脸识别方法
CN110889325A (zh) * 2019-10-12 2020-03-17 平安科技（深圳）有限公司 多任务面部动作识别模型训练和多任务面部动作识别方法
CN111079659A (zh) * 2019-12-19 2020-04-28 武汉水象电子科技有限公司 人脸特征点定位方法
CN111738080A (zh) * 2020-05-19 2020-10-02 云知声智能科技股份有限公司 一种人脸检测和对齐的方法及装置
US20210019503A1 (en) * 2018-09-30 2021-01-21 Tencent Technology (Shenzhen) Company Limited Face detection method and apparatus, service processing method, terminal device, and storage medium

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109472198A (zh) * 2018-09-28 2019-03-15 武汉工程大学 一种姿态鲁棒的视频笑脸识别方法
US20210019503A1 (en) * 2018-09-30 2021-01-21 Tencent Technology (Shenzhen) Company Limited Face detection method and apparatus, service processing method, terminal device, and storage medium
CN110889325A (zh) * 2019-10-12 2020-03-17 平安科技（深圳）有限公司 多任务面部动作识别模型训练和多任务面部动作识别方法
CN111079659A (zh) * 2019-12-19 2020-04-28 武汉水象电子科技有限公司 人脸特征点定位方法
CN111738080A (zh) * 2020-05-19 2020-10-02 云知声智能科技股份有限公司 一种人脸检测和对齐的方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
徐威威等: "一种鲁棒的人脸关键点实时跟踪方法", 《计算机工程》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021203718A1 (zh) * 2020-04-10 2021-10-14 嘉楠明芯(北京)科技有限公司 人脸识别方法及系统
CN112508773A (zh) * 2020-11-20 2021-03-16 小米科技(武汉)有限公司 图像处理方法及装置、电子设备、存储介质
CN112508773B (zh) * 2020-11-20 2024-02-09 小米科技(武汉)有限公司 图像处理方法及装置、电子设备、存储介质
CN112507963A (zh) * 2020-12-22 2021-03-16 华南理工大学 一种批量口罩人脸样本自动生成以及口罩人脸识别方法
CN112507963B (zh) * 2020-12-22 2023-08-25 华南理工大学 一种批量口罩人脸样本自动生成以及口罩人脸识别方法
CN113610115A (zh) * 2021-07-14 2021-11-05 广州敏视数码科技有限公司 一种基于灰度图像的高效人脸对齐方法
CN113610115B (zh) * 2021-07-14 2024-04-12 广州敏视数码科技有限公司 一种基于灰度图像的高效人脸对齐方法

Also Published As

Publication number Publication date
CN111626246B (zh) 2022-07-15

Similar Documents

Publication Publication Date Title
CN111626246B (zh) 口罩遮挡下的人脸对齐方法
CN109359526B (zh) 一种人脸姿态估计方法、装置和设备
CN110147721B (zh) 一种三维人脸识别方法、模型训练方法和装置
KR101314008B1 (ko) 특정인의 신원확인방법 및 취득장치
US6430307B1 (en) Feature extraction system and face image recognition system
CN112232117A (zh) 一种人脸识别方法、装置及存储介质
JP4946730B2 (ja) 顔画像処理装置及び顔画像処理方法、並びにコンピュータ・プログラム
CN109145745B (zh) 一种遮挡情况下的人脸识别方法
WO2016023264A1 (zh) 指纹识别方法及其指纹识别装置
CN101147159A (zh) 利用统计模板匹配进行对象检测的快速方法
US8897568B2 (en) Device and method that compare facial images
CN107016319B (zh) 一种特征点定位方法和装置
CN110674744A (zh) 一种年龄识别方法、装置及电子设备
CN107704813B (zh) 一种人脸活体识别方法及系统
WO2015165227A1 (zh) 人脸识别方法
US11263437B2 (en) Method for extracting a feature vector from an input image representative of an iris by means of an end-to-end trainable neural network
JP6071002B2 (ja) 信頼度取得装置、信頼度取得方法および信頼度取得プログラム
KR20200029659A (ko) 얼굴 인식 방법 및 장치
CN110738071A (zh) 一种基于深度学习和迁移学习的人脸算法模型训练方法
JP4507679B2 (ja) 画像認識装置、画像抽出装置、画像抽出方法及びプログラム
CN108090476A (zh) 一种针对具有外部遮挡的3d人脸识别方法
CN113705466A (zh) 用于遮挡场景、尤其高仿遮挡下的人脸五官遮挡检测方法
CN110321935B (zh) 业务事件关系确定方法及装置、计算机可读存储介质
CN115331153B (zh) 一种用于辅助前庭康复训练的姿态监测方法
CN109740426A (zh) 一种基于采样卷积的人脸关键点检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant