CN112001302B - 基于人脸感兴趣区域分割的人脸识别方法 - Google Patents
基于人脸感兴趣区域分割的人脸识别方法 Download PDFInfo
- Publication number
- CN112001302B CN112001302B CN202010847672.1A CN202010847672A CN112001302B CN 112001302 B CN112001302 B CN 112001302B CN 202010847672 A CN202010847672 A CN 202010847672A CN 112001302 B CN112001302 B CN 112001302B
- Authority
- CN
- China
- Prior art keywords
- face
- points
- image
- training
- detector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Human Computer Interaction (AREA)
- Geometry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种基于人脸感兴趣区域分割的人脸识别方法,包括以下步骤:步骤S1,通过人脸数据库训练基于Centernet算法的人脸检测器和人脸关键点检测器;步骤S2,利用训练好的人脸检测器和人脸关键点检测器获取待处理图像的人脸边界框和人脸关键点;步骤S3,根据人脸关键点的外部轮廓坐标利用B样条曲线拟合得到人脸的感兴趣区域;步骤S5,以标准平均正脸的人脸关键点为基点,将预测出的所有人脸关键点与基点做仿射变换,得到对齐后的人脸,然后将人脸感兴趣区域尺度归一化,并居中裁剪;步骤S6,对于训练集按照上述步骤S2~S5批处理人脸图像数据,得到人脸识别训练集;步骤S7,通过批处理后的人脸识别训练集,构建并训练人脸识别网络。
Description
技术领域
本发明涉及一种人脸识别方法,尤其是一种基于人脸感兴趣区域分割的人脸识别方法。
背景技术
人脸作为一个人的外在属性,具有极强的个体差异。人脸识别技术是一种是基于人的脸部视觉特征信息进行身份识别的生物识别技术。目前市场上人脸识别技术已经十分成熟,已广泛应用于金融、司法、军队、公安、边检、政府、航天、电力、工厂、教育、医疗及众多企事业单位等领域。
在人脸识别的过程,主要包括人脸图像的匹配和识别过程,就是将提取到的待识别的人脸特征与已得到的存储在数据库中的人脸特征模板进行匹配,根据相似程度对人脸图像的身份信息进行判断。一方面,能够提取到准确而丰富的人脸特征对于人脸识别的结果具有重要影响。另一方面,消除在人脸识别过程中的噪声信息对于人脸识别的结果同样具有重要的意义。在目前的研究中,主要的方向基本围绕在训练数据的清洗或是减少噪声图像(如模糊、遮挡、大角度等)在训练过程中的权重占比来提高模型的鲁棒性。然而,在实际应用场景下,人脸识别任务需要判断不在训练数据集内的人脸数据,这也就要求人脸识别的训练数据集包含百万级甚至更多的人脸数据才能保证模型的稳定性,这无疑在清洗上造成巨大的工作量。另外,通过以往的研究证明减少噪声图像在训练过程中的权重占比来提高模型的鲁棒性显然是有效的,但是这些方法并没有考虑因背景噪声对于人脸识别的影响。在人脸识别任务中,对于模型有效的信息是人脸感兴趣区域的特征信息(如五官、肤色、脸颊等),而背景信息对于识别任务是无效的,甚至因为部分噪声信息的引入会显著的影响到人脸识别的效果。
目前的研究中都是包含背景信息的对齐后的人脸作为输入来完成人脸识别的训练和预测,并没有有效的去除感兴趣区域以外的噪声信息的方法。
发明内容
本发明为了克服人脸识别任务中对人脸感兴趣区域以外的背景噪声信息考虑不足的问题,提供一种基于人脸感兴趣区域分割的人脸识别方法,实现对于人脸感兴趣区域以外背景噪声的过滤,能够有效的减少因背景原因对于人脸识别任务的影响,实现简单有效,并具有较高的鲁棒性等优点。
本发明实施例采用的技术方案是:
一种基于人脸感兴趣区域分割的人脸识别方法,包括以下步骤:
步骤S1,通过作为人脸检测和人脸关键点检测的人脸数据库训练基于Centernet算法的人脸检测器和人脸关键点检测器;
步骤S2,利用训练好的人脸检测器和人脸关键点检测器获取待处理图像的人脸边界框和人脸关键点;
步骤S3,根据人脸关键点的外部轮廓坐标利用B样条曲线拟合得到人脸的感兴趣区域;
步骤S5,以标准平均正脸的人脸关键点为基点,将预测出的所有人脸关键点与基点做做仿射变换,得到对齐后的人脸,然后将人脸感兴趣区域尺度归一化,并居中裁剪;
步骤S6,对于训练集按照上述步骤S2~S5批处理人脸图像数据,得到人脸识别训练集;
步骤S7,通过批处理后的人脸识别训练集,构建并训练人脸识别网络,训练得到人脸识别模型。
进一步地,在步骤S3与S5之间,还包括:
步骤S4,计算人脸感兴趣区域的平均像素值,对人脸感兴趣区域的周遭区域填充平均像素值;
步骤S5中,裁剪时包括人脸感兴趣区域的周遭区域。
进一步地,步骤S1具体包括:
人脸检测器和人脸关键点检测器采用同一个DLA全卷积编解码网络;
对于训练人脸检测器,以人脸数据库中人脸边界框坐标的中心点作为人脸检测器的输入,把图像I∈RW×H×3传入DLA全卷积编解码网络,采用DLA全卷积编解码网络来预测人脸在图像I中的热力图R为输出步长,C是目标检测中对应人脸检测点的类的数量,表示当前类别c在热力图的(x,y)坐标中检测到了人脸;在下采样的图像中将真实的点坐标以的形式通过高斯核分散到热力图上,并将热力图上所有响应点与其连接的8个临近点进行比较,如果该响应点响应值大于或等于其八个临近点值则保留,最后采用3x3的最大池化层保留所有满足之前要求的前num个峰值点,则人脸边界框的坐标为其中,是当前预测的点对应原始图像的偏移量,为当前预测的点对应的人脸边界框的长和宽,设定阈值对预测的人脸边界框的置信度进行筛选,得到预测的人脸边界框;
对于训练人脸关键点检测器,以人脸数据库中人脸关键点坐标作为人脸关键点检测器的输入,把图像I∈RW×H×3传入DLA全卷积编解码网络,采用DLA全卷积编解码网络来预测人脸关键点在图像I中的热力图R为输出步长,C是目标检测中对应人脸关键点的类的数量,在下采样的图像中将真实的点坐标以的形式通过高斯核分散到热力图上,并将热力图上所有响应点与其连接的8个临近点进行比较,如果该响应点响应值大于或等于其八个临近点值则保留,最后采用3x3的最大池化层保留所有满足之前要求的对应每个类的最大峰值点。
更进一步地,num取50~200。
进一步地,步骤S7中,在人脸识别训练集上按照个体ID进行整理,即同一个人的多张人脸照片归属同一个类别ID;以mobilefacenet网络结构提取图片特征,使用arcfaceloss损失函数训练人脸识别模型。
进一步地,步骤S6中,还包括:
对于测试集按照上述步骤S2~S5批处理人脸图像数据,得到人脸识别测试集;
步骤S7之后,还包括:
步骤S8,将批处理后的人脸识别测试集数据进行同个体ID和不同个体ID之间的配对,将配对的图片载入人脸识别模型得到相似度,根据10折交叉验证得到平均后的识别精度。
相较于现有技术,本发明通过分割过滤关键区域以外的背景、提取人脸关键区域进行人脸识别,能够有效的减少因背景噪声对于人脸识别结果的影响,操作简单,快速有效,并具有较高鲁棒性等优点。
附图说明
图1为本发明实施例中人脸识别图像预处理示意图。
图2为本发明的方法流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
本发明实施例通过对人脸识别任务中人脸感兴趣区域的背景进行分割,实现对于人脸感兴趣区域以外背景的过滤,以此来减少因背景噪声对于人脸识别任务的影响,提升人脸识别任务的精度和鲁棒性。
在本实施例中,一种基于人脸感兴趣区域分割的人脸识别方法,包括以下步骤:
步骤S1,通过作为人脸检测和人脸关键点检测的人脸数据库训练基于Centernet算法的人脸检测器和人脸关键点检测器;
人脸检测器和人脸关键点检测器采用同一个DLA(deep layer aggregation)全卷积编解码网络;这里的人脸数据库采用300W-LP库;
对于训练人脸检测器,以人脸数据库中人脸边界框坐标的中心点作为人脸检测器的输入,把图像I∈RW×H×3传入DLA全卷积编解码网络,采用DLA全卷积编解码网络来预测人脸在图像I中的热力图R为输出步长,C是目标检测中对应人脸检测点的类的数量,此处C=1,表示当前类别c在热力图的(x,y)坐标中检测到了人脸;在下采样的图像中将真实的点坐标以的形式通过高斯核分散到热力图上,并将热力图上所有响应点与其连接的8个临近点进行比较,如果该响应点响应值大于或等于其八个临近点值则保留,最后采用3x3的最大池化层保留所有满足之前要求的前num个峰值点,num可以取50~200,则人脸边界框的坐标为其中,是当前预测的点对应原始图像的偏移量,为当前预测的点对应的人脸边界框的长和宽,设定阈值对预测的人脸边界框的置信度进行筛选,得到预测的人脸边界框;
对于训练人脸关键点检测器,以人脸数据库中人脸关键点坐标作为人脸关键点检测器的输入,把图像I∈RW×H×3传入DLA全卷积编解码网络,采用DLA全卷积编解码网络来预测人脸关键点在图像I中的热力图R为输出步长,C是目标检测中对应人脸关键点的类的数量,此处C=68,在下采样的图像中将真实的点坐标以的形式通过高斯核分散到热力图上,并将热力图上所有响应点与其连接的8个临近点进行比较,如果该响应点响应值大于或等于其八个临近点值则保留,,最后采用3x3的最大池化层保留所有满足之前要求的对应每个类的最大峰值点;
步骤S2,利用训练好的人脸检测器和人脸关键点检测器获取待处理图像的人脸边界框和人脸关键点;
步骤S3,根据人脸关键点的外部轮廓坐标利用B样条曲线(B-spline)拟合得到人脸的感兴趣区域;
此步骤中,先依据人脸关键点在空间中的坐标,求取最大的外部轮廓点集,利用B-spline来拟合最大的外部轮廓,继而得到人脸的感兴趣区域;
步骤S4,可选地,计算人脸感兴趣区域的平均像素值,对人脸感兴趣区域的周遭区域填充平均像素值;
此步骤中,计算人脸感兴趣区域内R、G、B三个通道的平均像素值,并将三组平均像素填充到1.25倍人脸边界框坐标的非感兴趣区域;其中,填充1.25倍的原因是为了提高处理的效率;
步骤S5,以标准平均正脸的68个人脸关键点为基点,将预测出的所有人脸关键点(本例中是68个)与基点做做仿射变换,得到对齐后的人脸,然后将人脸感兴趣区域尺度归一化到112x112,并居中裁剪;
若上一步步骤S4被配置,则裁剪时包括人脸感兴趣区域的周遭区域;裁剪后的效果如图1中第二行中间那副图样所示;
步骤S6,对于训练集按照上述步骤S2~S5批处理人脸图像数据,得到人脸识别训练集;
训练集本实施例中采用训练集MS-Celeb-1M;
可选地,对于测试集按照上述步骤S2~S5批处理人脸图像数据,得到人脸识别测试集;
测试集本实施例中采用测试集LFW;
步骤S7,通过批处理后的人脸识别训练集,构建并训练人脸识别网络,训练得到人脸识别模型,用于人脸识别;
此步骤中,在人脸识别训练集上按照个体ID进行整理,即同一个人的多张人脸照片归属同一个类别ID;以mobilefacenet网络结构提取图片特征,使用arcface loss损失函数训练人脸识别模型;训练过程中根据损失函数值的变化情况动态的调节超参数和学习率等,来使得人脸识别模型收敛,直到训练结束,得到最优的人脸识别模型。
若步骤S6中,得到了人脸识别测试集,则还进行,
步骤S8,将批处理后的人脸识别测试集数据进行同个体ID和不同个体ID之间的配对,将配对的图片载入人脸识别模型得到相似度,根据10折交叉验证得到平均后的识别精度。
最后所应说明的是,以上具体实施方式仅用以说明本发明的技术方案而非限制,尽管参照实例对本发明进行了详细说明,本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或者等同替换,而不脱离本发明技术方案的精神和范围,其均应涵盖在本发明的权利要求范围当中。
Claims (5)
1.一种基于人脸感兴趣区域分割的人脸识别方法,其特征在于,包括以下步骤:
步骤S1,通过作为人脸检测和人脸关键点检测的人脸数据库训练基于Centernet算法的人脸检测器和人脸关键点检测器;
步骤S2,利用训练好的人脸检测器和人脸关键点检测器获取待处理图像的人脸边界框和人脸关键点;
步骤S3,根据人脸关键点的外部轮廓坐标利用B样条曲线拟合得到人脸的感兴趣区域;
步骤S5,以标准平均正脸的人脸关键点为基点,将预测出的所有人脸关键点与基点做做仿射变换,得到对齐后的人脸,然后将人脸感兴趣区域尺度归一化,并居中裁剪;
步骤S6,对于训练集按照上述步骤S2~S5批处理人脸图像数据,得到人脸识别训练集;
步骤S7,通过批处理后的人脸识别训练集,构建并训练人脸识别网络,训练得到人脸识别模型;
步骤S1具体包括:
人脸检测器和人脸关键点检测器采用同一个DLA全卷积编解码网络;
对于训练人脸检测器,以人脸数据库中人脸边界框坐标的中心点作为人脸检测器的输入,把图像I∈RW×H×3传入DLA全卷积编解码网络,采用DLA全卷积编解码网络来预测人脸在图像I中的热力图R为输出步长,C是目标检测中对应人脸检测点的类的数量,表示当前类别c在热力图的(x,y)坐标中检测到了人脸;在下采样的图像中将真实的点坐标以的形式通过高斯核分散到热力图上,并将热力图上所有响应点与其连接的8个临近点进行比较,如果该响应点响应值大于或等于其八个临近点值则保留,最后采用3x3的最大池化层保留所有满足之前要求的前num个峰值点,则人脸边界框的坐标为其中,是当前预测的点对应原始图像的偏移量,为当前预测的点对应的人脸边界框的长和宽,设定阈值对预测的人脸边界框的置信度进行筛选,得到预测的人脸边界框;
2.如权利要求1所述的基于人脸感兴趣区域分割的人脸识别方法,其特征在于,在步骤S3与S5之间,还包括:步骤S4,计算人脸感兴趣区域的平均像素值,对人脸感兴趣区域的周遭区域填充平均像素值;
步骤S5中,裁剪时包括人脸感兴趣区域的周遭区域。
3.如权利要求1所述的基于人脸感兴趣区域分割的人脸识别方法,其特征在于,
num取50~200。
4.如权利要求1或2所述的基于人脸感兴趣区域分割的人脸识别方法,其特征在于,
步骤S7中,在人脸识别训练集上按照个体ID进行整理,即同一个人的多张人脸照片归属同一个类别ID;以mobilefacenet网络结构提取图片特征,使用arcface loss损失函数训练人脸识别模型。
5.如权利要求1或2所述的基于人脸感兴趣区域分割的人脸识别方法,其特征在于,步骤S6中,还包括:
对于测试集按照上述步骤S2~S5批处理人脸图像数据,得到人脸识别测试集;
步骤S7之后,还包括:
步骤S8,将批处理后的人脸识别测试集数据进行同个体ID和不同个体ID之间的配对,将配对的图片载入人脸识别模型得到相似度,根据10折交叉验证得到平均后的识别精度。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010847672.1A CN112001302B (zh) | 2020-08-21 | 2020-08-21 | 基于人脸感兴趣区域分割的人脸识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010847672.1A CN112001302B (zh) | 2020-08-21 | 2020-08-21 | 基于人脸感兴趣区域分割的人脸识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112001302A CN112001302A (zh) | 2020-11-27 |
CN112001302B true CN112001302B (zh) | 2022-06-14 |
Family
ID=73473483
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010847672.1A Active CN112001302B (zh) | 2020-08-21 | 2020-08-21 | 基于人脸感兴趣区域分割的人脸识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112001302B (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112580443B (zh) * | 2020-12-02 | 2022-03-15 | 燕山大学 | 基于嵌入式设备改进CenterNet的行人检测方法 |
CN112613446B (zh) * | 2020-12-29 | 2023-03-31 | 贝壳技术有限公司 | 一种人脸对齐的方法、装置、电子设备及存储介质 |
CN113628184A (zh) * | 2021-08-06 | 2021-11-09 | 信利光电股份有限公司 | 基于傅里叶变换对显示屏缺陷进行检测的方法、装置及可读存储介质 |
CN114140655A (zh) * | 2022-01-29 | 2022-03-04 | 深圳市中讯网联科技有限公司 | 图像分类方法、装置、存储介质及电子设备 |
CN114708234B (zh) * | 2022-04-12 | 2022-12-02 | 北京优创新港科技股份有限公司 | 一种识别自动卡口编码一体机上雷管数量的方法及装置 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108764048A (zh) * | 2018-04-28 | 2018-11-06 | 中国科学院自动化研究所 | 人脸关键点检测方法及装置 |
CN110033332A (zh) * | 2019-04-23 | 2019-07-19 | 杭州智趣智能信息技术有限公司 | 一种人脸识别方法、系统及电子设备和存储介质 |
CN111460929A (zh) * | 2020-03-17 | 2020-07-28 | 稿定(厦门)科技有限公司 | 不特定图框图像填充方法及装置 |
-
2020
- 2020-08-21 CN CN202010847672.1A patent/CN112001302B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108764048A (zh) * | 2018-04-28 | 2018-11-06 | 中国科学院自动化研究所 | 人脸关键点检测方法及装置 |
CN110033332A (zh) * | 2019-04-23 | 2019-07-19 | 杭州智趣智能信息技术有限公司 | 一种人脸识别方法、系统及电子设备和存储介质 |
CN111460929A (zh) * | 2020-03-17 | 2020-07-28 | 稿定(厦门)科技有限公司 | 不特定图框图像填充方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN112001302A (zh) | 2020-11-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112001302B (zh) | 基于人脸感兴趣区域分割的人脸识别方法 | |
CN110334706B (zh) | 一种图像目标识别方法及装置 | |
CN110569756B (zh) | 人脸识别模型构建方法、识别方法、设备和存储介质 | |
WO2021139324A1 (zh) | 图像识别方法、装置、计算机可读存储介质及电子设备 | |
CN108764041B (zh) | 用于下部遮挡人脸图像的人脸识别方法 | |
CN103902977B (zh) | 基于Gabor二值模式的人脸识别方法及装置 | |
CN111340824B (zh) | 一种基于数据挖掘的图像特征分割方法 | |
CN109325507B (zh) | 结合超像素显著性特征与hog特征图像分类方法和系统 | |
CN112734741B (zh) | 一种肺炎ct影像的图像处理方法和系统 | |
CN111241975A (zh) | 一种基于移动端边缘计算的人脸识别检测方法及系统 | |
CN108108760A (zh) | 一种快速人脸识别方法 | |
CN112597812A (zh) | 一种基于卷积神经网络和sift算法的手指静脉识别方法及系统 | |
CN108446642A (zh) | 一种快速人脸识别系统 | |
CN111353385B (zh) | 一种基于掩膜对齐与注意力机制的行人再识别方法和装置 | |
CN110287847A (zh) | 基于Alexnet-CLbpSurf多特征融合的车辆分级检索方法 | |
Inthajak et al. | Medical image blob detection with feature stability and KNN classification | |
CN110414431B (zh) | 基于弹性上下文关系损失函数的人脸识别方法及系统 | |
CN111666813B (zh) | 基于非局部信息的三维卷积神经网络的皮下汗腺提取方法 | |
CN110795995B (zh) | 数据处理方法、装置及计算机可读存储介质 | |
CN105844299B (zh) | 一种基于词袋模型的图像分类方法 | |
CN116342968B (zh) | 一种双通道人脸识别方法及装置 | |
CN112800941B (zh) | 基于非对称辅助信息嵌入网络的人脸反欺诈方法及系统 | |
Das et al. | Enhancing face matching in a suitable binary environment | |
Wang et al. | Color edge detection using the normalization anisotropic Gaussian kernel and multichannel fusion | |
CN114913610A (zh) | 一种基于指纹和指静脉的多模态识别方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |