CN106980845A - 基于结构化建模的人脸关键点定位方法 - Google Patents

基于结构化建模的人脸关键点定位方法 Download PDF

Info

Publication number
CN106980845A
CN106980845A CN201710274310.6A CN201710274310A CN106980845A CN 106980845 A CN106980845 A CN 106980845A CN 201710274310 A CN201710274310 A CN 201710274310A CN 106980845 A CN106980845 A CN 106980845A
Authority
CN
China
Prior art keywords
face
key point
point
structural model
binary
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710274310.6A
Other languages
English (en)
Other versions
CN106980845B (zh
Inventor
吴鑫
刘鹏飞
周勋
张建奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN201710274310.6A priority Critical patent/CN106980845B/zh
Publication of CN106980845A publication Critical patent/CN106980845A/zh
Application granted granted Critical
Publication of CN106980845B publication Critical patent/CN106980845B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出了一种基于结构化建模的人脸关键点定位方法，主要解决现有多光谱人脸识别方法运算速度慢的问题，其方案为，1、收集人脸图像并手动标记关键点；2、用关键点所得的数据对人脸进行结构化建模；3、采集一张正面人脸图像并分割出人脸区域；4、从0到255依次设置二值化阈值，对人脸区域图像进行二值化处理；5、对得到的二值图求其边缘点并聚类，再求类别中心点得到对应的结构化模型；6、将这些模型与步骤2中得到的模型作对比，通过求最小差值确定关键点。本发明具有稳定性高和运算速度快的特点，可用于身份认证、安全监控、智能人机交互等领域。

Description

基于结构化建模的人脸关键点定位方法
技术领域
本发明属于生物特征识别领域，特别涉及一种人脸关键点的定位方法，可用于身份认证、安全监控和智能人机交互。
背景技术
人脸作为人体的一个重要特征，近年来在生物识别领域发挥着越来越重要的作用。人脸关键点定位是在检测到人脸的基础上，进一步确定人脸的眼睛、嘴巴等关键器官的中心点，关键点定位是否精确直接影响人脸识别的结果的准确性。
目前，常见的人脸关键点定位方法主要可以分为4种：灰度投影法、模板匹配、主动曲线法和基于神经网络的方法。其中：
灰度投影法，是统计出水平和垂直方向上的总灰度值，在其投影曲线上根据五官的位置特征，应用不同的提取方法得到目标器官的位置，该方法虽简单易行，但只能初步给出五官的大概位置区域，且鲁棒性有待加强；
模板匹配法，采用规则的几何图像作为模板，在人脸区域进行查找和判别以定位人脸面部特征，如眼睛、嘴巴等，该方法虽能精确的提取到人脸器官，但复杂度高；
主动曲线法，是个训练有特定参数的曲线，如圆、抛物线等，让其逼近目标特征的形状，使曲线会在目标器官区域出收敛，但是其鲁棒性有待加强；
神经网络法，主要是利用其较好的自学习功能使它能获得人脸和五官特征，该方法虽取得了良好的效果，但用在关键点定位方面还需要进行进一步的探究，例如，2015年杨海燕等人在“基于并行卷积神经网络的人脸关键点定位方法研究”(《计算机应用研究》第32卷第8期2517-2519)设计实现了一种并行卷积神经网络，其把人脸图像、上半人脸以及下半人脸分别送入到相同结构的卷积网络进行训练学习，通过对图像进行局部卷积以及下采样，提取人脸关键点附近的细节特征，并对三级并行网络定位结果进行加权合成，实现人脸关键点定位，但由于要进行并行卷积运算，计算复杂度较高，导致人脸关键点定位速度慢。
综上，所述的这些现有的研究方法，均不能满足绝大数情况下对人脸关键点的精确定位的要求。
发明内容
本发明的目的在于克服上述现有技术存在的缺陷，提出一种基于结构化建模的人脸关键点定位方法，以降低计算的复杂度，提高人脸关键点的定位速度，从而满足对人脸关键点精确定位的要求。
为实现上述目的，本发明的技术方案包括如下：
(1)输入正面的人脸图像，并手动标注出N个人脸关键点，得到一个结构化建模数据集合；
(2)根据结构化建模数据集合，计算出人脸各关键点之间的距离和角度及比例关系，得到一个由N个人脸关键点组成的结构化模型M；
(3)采集一张正面人脸图像，分割出人脸所在区域，得到一个不包含头发的人脸图像；
(4)设置二值化阈值T为从0到255的数值，针对不同阈值对步骤(3)得到的人脸图像进行全局二值化处理，得到256张人脸二值图；
(5)对256张人脸二值图进行边缘检测，得到人脸图像的边缘点，然后通过聚类处理求出N个关键点位置，得到256个由N个人脸关键点组成的结构化模型MT；
(6)由关键点个数确定结构化模型之间的距离函数dT＝|M-MT|，分别计算步骤(5)得到的256个结构化模型与步骤(2)得到的结构化模型M之间的距离dT；
(7)找出256个dT中的最小值该对应的结构化模型MT中的N个关键点即为所求人脸的关键点。
本发明由于对人脸进行结构化建模，并采用数学模型匹配的方法将人脸信息转变为可以应用到设备中的数据化的信息，降低了计算复杂度，其与现有技术中利用卷积神经网络的方法相比，提高了运算速度，可以在不影响准确性的基础上对人脸关键点实现快速定位。
附图说明
图1为本发明的实现流程图；
图2为本发明中对收集人脸图像关键点的标记结果图；
图3为发明中的结构化模型示意图；
图4为本发明在二值化过程中使用的人脸分割结果图；
图5为本发明中对不同阈值二值化后的结果图；
图6为用本发明对二值化后对图像进行边缘检测的结果图；
图7为用本发明对边缘点进行聚类处理并标记类别中心点的结果图；
图8为最终确定了人脸关键点的结果图。
具体实施方式
以下结合附图和具体实例，对本发明作进一步描述。
参照图1，本发明基于结构化建模的人脸关键点定位方法，其实现步骤如下：
步骤1，在人脸图像上形成结构化建模数据集合。
输入拍摄的或数据库中存在的正面人脸图像，进行人工观察，并手动对人脸图像中4个特征部位，如眼睛、嘴巴或其他面部特征进行标注作为人脸关键点，得到一个由4个人脸关键点及其组成的闭合图形所构成的结构化建模数据集合，如图2所示。
步骤2，由结构化建模数据集合得出结构化模型。
根据得到的结构化建模数据集合，测量出4个人脸关键点组成的闭合图形的内角角度值和边长长度值，并计算角度的正切及不同边长的比例，这些数据构成了4个人脸关键点的结构化模型M，如图3所示；
4个关键点的结构化模型M类似于一个等腰梯形，其数据如下：
其中l1、l2、h和a分别为等腰梯形的下底、上底、高和底角。
步骤3，通过分割算法获取只包含人脸区域的图像。
采集一张正面人脸图像，使用Viola-Jones人脸检测算法或其他分割算法分割出人脸所在区域，该分割得到的图像只包含人脸器官的区域，如眼睛、鼻子、嘴巴和脸颊，而不包含头发，如图4所示，其中图4a为分割前的效果，图4b为分割后的效果。
步骤4，对分割得到的图像进行二值化处理。
从0到255依次设置二值化阈值T，对步骤(3)得到的人脸图像进行全局二值化处理，一共得到256张人脸二值图，二值化将图像处理成只有黑白两色的图像；
图5中分别列出了阈值T为40、89、150时的二值化结果图，从图中可以看到设置不同的阈值，二值化处理后图像的黑白区域分布不同。
步骤5，由二值化图像求出关键点位置并得出结构化模型。
对每张二值图进行边缘检测和聚类处理，求出4个关键点的位置。
5a)对得到的二值图进行边缘检测，即找出二值化后图像中的黑、白区域之间的边界，用边缘点表示，得到人脸图像的边缘点，本实例中对人脸二值化处理后，为了消除人脸右下边缘和左下边缘处灰度值较高对结果造成的偏差，所以在二值化后去掉了人脸右下边缘和左下边缘处体现人脸外轮廓的点，得到不包含左、右下角轮廓的边缘点分布图，处理后如图6所示；
5b)将得到的人脸图像的边缘点进行聚类处理，即对边缘点的位置分布进行4个类别的聚类处理，并根据每个类别中边缘点分布的权重求出每个类别中心点的位置，即为4个关键点位置，并类比步骤2过程计算出4个关键点之间的距离和角度及比例关系，得到256个由4个人脸关键点组成的结构化模型MT，如图7所示，其中标记圆圈的点即为关键点。
步骤6，确定距离函数。
根据关键点的个数以及步骤2中测量并计算得到的数据来确定结构化模型之间的距离函数dT＝|M-MT|；
本实例中距离函数是在图像欧式距离的计算方法的基础上并对其进行改进列出的，应用如下公式计算结构化模型之间的距离：
其中的a′、l′1、l′2、h′是根据步骤5中确定的关键点而得到的结构化模型中的参数，其与图3中参数a、l1、l2、h相对应；
利用式<1>分别计算步骤(5)得到的256个结构化模型MT与步骤(2)得到的结构化模型M之间的距离dT，共得到256个dT。
步骤7，确定所求人脸关键点。
搜寻256个dT中的最小值该对应的结构化模型MT中的4个关键点即为所求人脸的关键点，最终结果如图8所示。
以上描述仅是本发明的一个具体实例，不构成对本发明的任何限制，显然对于本领域的专业人员来说，在了解了本发明内容和原理后，都可能在不背离本发明原理、结构的情况下，进行形式和细节上的各种修正和改变，但是这些基于本发明思想的修正和改变仍在本发明的权利要求保护范围之内。

Claims (5)

1.一种基于结构化建模的人脸关键点定位方法，其特征包括：
(1)输入正面的人脸图像，并手动标注出N个人脸关键点，得到一个结构化建模数据集合；
(2)根据结构化建模数据集合，计算出人脸各关键点之间的距离和角度，得到一个由N个人脸关键点组成的结构化模型M；
(3)采集一张正面人脸图像，分割出人脸所在区域，得到一个不包含头发的人脸图像；
(4)设置二值化阈值T为从0到255的数值，针对不同阈值对步骤(3)得到的人脸图像进行全局二值化处理，得到256张人脸二值图；
(5)对256张人脸二值图进行边缘检测，得到人脸图像的边缘点，然后通过聚类处理求出N个关键点位置，得到256个由N个人脸关键点组成的结构化模型MT；
(6)由关键点个数确定结构化模型之间的距离函数dT＝|M-MT|，分别计算步骤(5)得到的256个结构化模型与步骤(2)得到的结构化模型M之间的距离dT；
(7)找出256个dT中的最小值该对应的结构化模型MT中的N个关键点即为所求人脸的关键点。
2.根据权利要求1所述的方法，其特征在于：步骤(2)中计算人脸各关键点之间的距离，是测量出选取的关键点所构成的闭合图形中的部分边的长度值，并计算不同边长之间的比例。
3.根据权利要求1所述的方法，其特征在于：步骤(2)中计算人脸各关键点之间的角度，是测量出选取的关键点所构成的闭合图形中的部分夹角的角度值，并计算角度的正切值。
4.根据权利要求1所述的方法，其特征在于：步骤(5)中对256张人脸二值图进行边缘检测，是找出二值化后图像中的黑、白区域之间的边界，用边缘点表示。
5.根据权利要求1所述的方法，其特征在于：步骤(5)中求出N个关键点位置，是使用聚类算法，对边缘点的位置分布进行N个类别的聚类处理，并根据每个类别中边缘点分布的权重求出每个类别中心点的位置，即为N个关键点位置。
CN201710274310.6A 2017-04-24 2017-04-24 基于结构化建模的人脸关键点定位方法 Active CN106980845B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710274310.6A CN106980845B (zh) 2017-04-24 2017-04-24 基于结构化建模的人脸关键点定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710274310.6A CN106980845B (zh) 2017-04-24 2017-04-24 基于结构化建模的人脸关键点定位方法

Publications (2)

Publication Number Publication Date
CN106980845A true CN106980845A (zh) 2017-07-25
CN106980845B CN106980845B (zh) 2020-02-21

Family

ID=59344746

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710274310.6A Active CN106980845B (zh) 2017-04-24 2017-04-24 基于结构化建模的人脸关键点定位方法

Country Status (1)

Country Link
CN (1) CN106980845B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107644405A (zh) * 2017-09-11 2018-01-30 北京小米移动软件有限公司 图像处理方法及装置、电子设备和计算机可读存储介质
CN109389609A (zh) * 2018-10-24 2019-02-26 西安电子科技大学 基于fart神经网络的交互自反馈红外目标检测方法
CN112597908A (zh) * 2020-12-25 2021-04-02 广州辰创科技发展有限公司 基于骨骼点位的人脸特征识别方法、设备及存储介质
WO2021174833A1 (zh) * 2020-03-03 2021-09-10 平安科技（深圳）有限公司 人脸关键点修正方法、装置以及计算机设备
CN113780040A (zh) * 2020-06-19 2021-12-10 北京沃东天骏信息技术有限公司 唇部关键点的定位方法及装置、存储介质、电子设备

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101510257A (zh) * 2009-03-31 2009-08-19 华为技术有限公司 一种人脸相似度匹配方法及装置
KR20090125905A (ko) * 2008-06-03 2009-12-08 이현주 영상통신단말기의 영상 합성 장치 및 방법
CN102609683A (zh) * 2012-01-13 2012-07-25 北京邮电大学 一种基于单目视频的人体关节自动标注方法
CN102654903A (zh) * 2011-03-04 2012-09-05 井维兰 一种人脸比对方法
CN104298753A (zh) * 2014-10-17 2015-01-21 重庆市云日信息技术有限公司 基于人脸图像处理的人才测评方法
CN104408429A (zh) * 2014-11-28 2015-03-11 北京奇艺世纪科技有限公司 一种视频代表帧提取方法及装置
CN104715227A (zh) * 2013-12-13 2015-06-17 北京三星通信技术研究有限公司 人脸关键点的定位方法和装置
US20160335482A1 (en) * 2014-11-07 2016-11-17 Noblis, Inc. Vector-based face recognition algorithm and image search system
CN106295476A (zh) * 2015-05-29 2017-01-04 腾讯科技（深圳）有限公司 人脸关键点定位方法和装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090125905A (ko) * 2008-06-03 2009-12-08 이현주 영상통신단말기의 영상 합성 장치 및 방법
CN101510257A (zh) * 2009-03-31 2009-08-19 华为技术有限公司 一种人脸相似度匹配方法及装置
CN102654903A (zh) * 2011-03-04 2012-09-05 井维兰 一种人脸比对方法
CN102609683A (zh) * 2012-01-13 2012-07-25 北京邮电大学 一种基于单目视频的人体关节自动标注方法
CN104715227A (zh) * 2013-12-13 2015-06-17 北京三星通信技术研究有限公司 人脸关键点的定位方法和装置
CN104298753A (zh) * 2014-10-17 2015-01-21 重庆市云日信息技术有限公司 基于人脸图像处理的人才测评方法
US20160335482A1 (en) * 2014-11-07 2016-11-17 Noblis, Inc. Vector-based face recognition algorithm and image search system
CN104408429A (zh) * 2014-11-28 2015-03-11 北京奇艺世纪科技有限公司 一种视频代表帧提取方法及装置
CN106295476A (zh) * 2015-05-29 2017-01-04 腾讯科技（深圳）有限公司 人脸关键点定位方法和装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
MOHAMMAD H. MAHOOR.ETC: "A Multimodal Approach for Face Modeling and Recognition", 《 IEEE TRANSACTIONS ON INFORMATION FORENSICS AND SECURITY》 *
王鹏等: "基于改进的LBP特征和随机森林相结合的人脸关键点检测方法研究", 《软件导刊》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107644405A (zh) * 2017-09-11 2018-01-30 北京小米移动软件有限公司 图像处理方法及装置、电子设备和计算机可读存储介质
CN109389609A (zh) * 2018-10-24 2019-02-26 西安电子科技大学 基于fart神经网络的交互自反馈红外目标检测方法
CN109389609B (zh) * 2018-10-24 2021-11-23 西安电子科技大学 基于fart神经网络的交互自反馈红外目标检测方法
WO2021174833A1 (zh) * 2020-03-03 2021-09-10 平安科技（深圳）有限公司 人脸关键点修正方法、装置以及计算机设备
CN113780040A (zh) * 2020-06-19 2021-12-10 北京沃东天骏信息技术有限公司 唇部关键点的定位方法及装置、存储介质、电子设备
CN112597908A (zh) * 2020-12-25 2021-04-02 广州辰创科技发展有限公司 基于骨骼点位的人脸特征识别方法、设备及存储介质

Also Published As

Publication number Publication date
CN106980845B (zh) 2020-02-21

Similar Documents

Publication Publication Date Title
CN106682598B (zh) 一种基于级联回归的多姿态的人脸特征点检测方法
CN106980845A (zh) 基于结构化建模的人脸关键点定位方法
CN107145842B (zh) 结合lbp特征图与卷积神经网络的人脸识别方法
CN107194341B (zh) Maxout多卷积神经网络融合人脸识别方法和系统
WO2020063527A1 (zh) 基于多特征检索和形变的人体发型生成方法
CN104866829B (zh) 一种基于特征学习的跨年龄人脸验证方法
CN109214360A (zh) 一种基于ParaSoftMax损失函数的人脸识别模型的构建方法及应用
CN104392223B (zh) 二维视频图像中的人体姿态识别方法
CN103218609B (zh) 一种基于隐最小二乘回归的多姿态人脸识别方法及其装置
CN108197587A (zh) 一种通过人脸深度预测进行多模态人脸识别的方法
CN108090830B (zh) 一种基于面部画像的信贷风险评级方法和装置
CN101751555B (zh) 一种形变指纹识别方法及系统
WO2016023264A1 (zh) 指纹识别方法及其指纹识别装置
Zhao et al. Fingerprint image synthesis based on statistical feature models
CN107590452A (zh) 一种基于步态与人脸融合的身份识别方法及装置
Feng et al. Robust and efficient algorithms for separating latent overlapped fingerprints
CN106407958B (zh) 基于双层级联的面部特征检测方法
CN110110650A (zh) 行人中的人脸识别方法
CN104008375B (zh) 基于特征融合的集成人脸识别方法
CN108629336A (zh) 基于人脸特征点识别的颜值计算方法
CN104794441B (zh) 复杂背景下基于主动形状模型和poem纹理模型的人脸特征定位方法
CN107341463A (zh) 一种结合图像质量分析与度量学习的人脸特征识别方法
CN109558855B (zh) 一种基于手掌轮廓特征与模版匹配法相结合的空间手势识别方法
CN107818299A (zh) 基于融合hog特征和深度信念网络的人脸识别算法
CN108875907A (zh) 一种基于深度学习的指纹识别方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant