CN104615996A - 一种多视角二维人脸特征点自动定位方法 - Google Patents

一种多视角二维人脸特征点自动定位方法 Download PDF

Info

Publication number
CN104615996A
CN104615996A CN201510080295.2A CN201510080295A CN104615996A CN 104615996 A CN104615996 A CN 104615996A CN 201510080295 A CN201510080295 A CN 201510080295A CN 104615996 A CN104615996 A CN 104615996A
Authority
CN
China
Prior art keywords
training
feature point
characteristic point
visual angles
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510080295.2A
Other languages
English (en)
Other versions
CN104615996B (zh
Inventor
赵启军
程宾洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Chuanda Zhisheng Software Co Ltd
Wisesoft Co Ltd
Original Assignee
Sichuan Chuanda Zhisheng Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Chuanda Zhisheng Software Co Ltd filed Critical Sichuan Chuanda Zhisheng Software Co Ltd
Priority to CN201510080295.2A priority Critical patent/CN104615996B/zh
Publication of CN104615996A publication Critical patent/CN104615996A/zh
Application granted granted Critical
Publication of CN104615996B publication Critical patent/CN104615996B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及计算机应用技术和计算机视觉技术领域，具体涉及一种多视角二维人脸特征点自动定位方法，包括训练、测试两个阶段，所述训练阶段包括以下步骤：第一步，将包含多视角人脸图像的训练数据集根据角度范围划分为多个训练子集；第二步，单视角特征点定位引擎训练：即针对第一步中的每个训练子集，训练一个级联的回归特征点定位引擎。本发明提升了每个视角下的特征点定位的鲁棒性，能够检测左右偏转角度从负90度到正90度二维人脸图像上的特征点。

Description

一种多视角二维人脸特征点自动定位方法
技术领域
本发明涉及计算机应用技术和计算机视觉技术领域，具体涉及一种多视角二维人脸特征点自动定位方法。
背景技术
人脸特征点（如鼻尖、瞳孔中心、嘴角等）在与人脸相关的很多问题中都有着非常重要的作用，比如在人脸识别中人脸特征点广泛用于人脸的对齐、尺度归一化和特征模板抽取，在人脸表情分析中人脸特征点定义的面部形状是表情变化的一个重要依据。因此，在过去的十多年中，人脸特征点定位吸引了大批研究人员的注意，各种不同的方法被纷纷提出。
现有的人脸特征点定位方法可以大致分为两类：基于统计形状模型的方法和基于级联回归的方法。基于统计形状模型的方法在训练阶段根据训练数据生成特征点的统计模型，而在检测一张新图像上的特征点时，首先利用平均形状初始化特征点位置，然后通过调整统计模型中的参数来修正特征点的位置，并根据特征点周围的纹理特征进一步微调特征点的位置，重复此过程直至特征点位置相对稳定。不同于基于统计形状模型的方法的直接搜索策略，基于级联回归的方法在特征点位置的修正量和图像的纹理特征之间建立回归关系，训练过程中根据训练数据学习出每一级的回归函数，测试时从图像上特征点的初始位置出发，利用学习好的回归函数逐级计算特征点位置的修正量，最终得到正确的特征点位置。
近年来，基于级联回归的方法在特征点检测方面取得了非常显著的效果，比如Xavier P. Burgos-Artizzu等人在2013年国际机器视觉大会（ICCV2013）发表的“Robust Face Landmark Estimation Under Occlusion”和Yi Sun等人在2013年国际机器视觉和模式识别大会（CVPR2013）发表的“Deep Convolutional Network Cascade for Facial Point Detection”。但是这些方法在训练过程中并没有区分不同视角的人脸图像，结果导致它们尽管在正面和接近正面（左右偏转45度以内）的人脸图像上效果很好，而在姿态偏转角度较大的人脸图像上检测精度迅速下降。
发明内容
针对现有技术存在的问题，提供一种提升了每个视角下的特征点定位的鲁棒性的多视角二维人脸特征点自动定位方法。
本发明采用的技术方案为：
一种多视角二维人脸特征点自动定位方法，包括训练、测试两个阶段，所述训练阶段包括以下步骤：第一步，将包含多视角人脸图像的训练数据集根据角度范围划分为多个训练子集；第二步，单视角特征点定位引擎训练：即针对第一步中的每个训练子集，训练一个级联的回归特征点定位引擎；第三步，针对第一步中的每个训练子集，训练一个基于纹理特征的模板，选取每个训练子集中不同视角的训练图像的特征点进行训练，相应的正样本以特征点位置为中心块，相应的负样本以特征点位置偏移后的位置为中心块，从所述每个中心块中提取纹理特征，利用这些正负样本训练一个分类器，然后用所述分类器的输出分值和相应的类别标签，训练一个逻辑回归函数；
所述测试阶段包括以下步骤：第一步，初始化输入图像上的特征点位置；第二步，将所述输入图像及其初始特征点位置依次输入上述训练阶段第二步训练好的每个视角的特征点定位引擎，得到不同视角下的特征点定位结果；第三步，利用上述训练阶段第三步训练好的每个视角下的特征点纹理模板的逻辑回归函数计算对于所述输入图像属于相应视角的可能性；第四步，将具有最大可能性的视角下的特征点定位结果作为最终的特征点检测结果。
作为本发明的优选实施方式，所述训练阶段第二步中，所述级联的每一级由多个回归器构成，这些回归器在训练过程中共享一个特征空间，每一个回归器根据所述测试阶段的输入图像、当前的特征点位置、以及由输入图像和初始特征点位置计算的特征，通过一个回归函数计算出特征点位置的调整量。
作为本发明的优选实施方式，基于给定的训练数据子集，迭代优化每一个回归器的回归函数，由初始特征点位置出发，逐级回归修正，使得特征点位置逼近标定的特征点正确位置，当对于训练数据的特征点定位的误差低于指定的阈值时，训练过程结束，得到针对这一视角的回归特征点定位引擎。
作为本发明的优选实施方式，所述训练阶段第三步中，选取每个训练子集中不同视角的训练图像中区分度高的特征点进行训练。
作为本发明的优选实施方式，所述区分度高的特征点包括鼻尖、嘴角、眼角。
作为本发明的优选实施方式，所述训练阶段第三步中，基于纹理特征的模板将作为在不同视角特征点定位引擎的结果之间进行选择的依据。
综上所述，由于采用了上述技术方案，本发明的有益效果是：
1、针对单一视角独立训练特征点定位引擎，同时训练过程中引入相邻视角的数据，从而提升了每个视角下的特征点定位的鲁棒性。
2、通过组合多个特征点定位引擎（每一个引擎针对一定的视角范围），并配合特征点的纹理模板进行视角选择，确定拟合度最高的视角下的特征点检测结果作为最终结果，提高了算法对人脸姿态变化的鲁棒性。
附图说明
图1是回归特征点定位引擎的结构示意图
图2是本发明方法的流程图
图3、图4均是本发明特征定位结果展示图
图中标记：Si-不同阶段的特征点位置，S0-初始特征点位置，ST-最终特征点位置，Ri-回归函数。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明做进一步说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
实施例1
为了改进人脸特征点定位算法在人脸姿态偏转角度较大时的检测精度，本实施例提出了一种检测左右偏转角度从负90度到正90度二维人脸图像上的特征点的方法。该方法充分利用不同视角的人脸图像数据，并有效区分不同视角人脸上的特征点的差异（比如当偏转角度增大时部分人脸特征点在二维图像上会不可见），从而大大提高人脸特征点定位算法对于人脸姿态变化的鲁棒性。
本发明中的算法包括两个阶段：训练和测试。
训练阶段的步骤包括：
（1）训练数据准备：如图2所示，将包含多视角人脸图像的训练数据集根据角度范围划分为若干子集。比如，-90~-60度子集、-70~-40度子集、-60~-30度子集、-40度~-10度子集、-20~+20度子集、+10~+40度子集、+30~+60度子集、+40~+70度子集和+60~+90度子集。
（2）单视角特征点定位引擎训练：针对（1）中的每个子集，训练一个级联的回归特征点定位引擎。级联的每一级由若干个回归器构成，这些回归器在训练过程中共享一个特征空间，每一个回归器根据输入的人脸图像、当前的特征点位置、以及由输入图像和初始特征点位置计算的特征，通过一个回归函数计算出特征点位置的调整量。训练过程中，基于给定的训练数据子集，迭代优化每一个回归器的回归函数，由初始特征点位置（如通过平均形状确定或者随机初始化）出发，逐级回归修正，使得特征点位置逼近标定的特征点正确位置。当对于训练数据的特征点定位的误差低于指定的阈值时，训练过程结束，得到针对这一视角的回归特征点定位引擎（参见图1）。
（3）单视角特征点纹理模板的生成：针对（1）中的每个子集，训练一个基于纹理特征的模板，该模板将用做在不同视角特征点定位引擎的结果之间进行选择的依据。对不同视角的训练图像选取区分度较高的特征点进行训练（如鼻尖、嘴角、眼角等），相应的正样本以特征点位置（或附近）为中心块，负样本为以距离特征点较远（如10个像素）的位置为中心的块，从每块提取纹理特征，作为样本的特征向量。利用这些正负样本训练一个分类器。然后用分类器的输出分值和相应的类别标签（1或0，1为正样本，0负样本）训练一个逻辑回归函数，该函数的输出反映了输入图像来自对应该回归函数的视角的可能性的大小（越接近1说明越有可能）。
测试阶段的步骤包括：
（1）初始化输入图像上的特征点位置，具体实施时可以利用特征点的平均位置作为初始值或者随机初始化。
（2）将该图像及其初始特征点位置依次输入训练好的每个视角的回归特征点定位引擎，得到不同视角下的特征点定位结果。
（3）利用训练好的每个视角下的特征点纹理模板的逻辑回归函数计算对于该输入图像属于相应视角的可能性。
（4）将具有最大可能性的视角下的特征点定位结果作为最终的特征点检测结果。
本发明算法的流程图如图2所示。本发明特征定位结果如图3和图4所示(以偏转-45度到+45度为例)。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种多视角二维人脸特征点自动定位方法，其特征在于，包括训练、测试两个阶段，所述训练阶段包括以下步骤：第一步，训练数据准备：将包含多视角人脸图像的训练数据集根据角度范围划分为多个训练子集；第二步，单视角特征点定位引擎训练：针对第一步中的每个训练子集，训练一个级联的回归特征点定位引擎；第三步，单视角特征点纹理模板的生成：针对第一步中的每个训练子集，训练一个基于纹理特征的模板，选取每个训练子集中不同视角的训练图像的特征点进行训练，相应的正样本以特征点位置为中心块，相应的负样本以特征点位置偏移后的位置为中心块，利用这些正负样本训练一个分类器，然后用所述分类器的输出分值和相应的类别标签，训练一个逻辑回归函数；
所述测试阶段包括以下步骤：第一步，初始化输入图像上的特征点位置；第二步，将所述输入图像及其初始特征点位置依次输入上述训练阶段第二步训练好的每个视角的回归特征点定位引擎，得到不同视角下的特征点定位结果；第三步，利用上述训练阶段第三步训练好的每个视角下的特征点纹理模板的逻辑回归函数计算对于所述输入图像属于相应视角的可能性；第四步，将具有最大可能性的视角下的特征点定位结果作为最终的特征点检测结果。
2.根据权利要求1所述的多视角二维人脸特征点自动定位方法，其特征在于，所述训练阶段第二步中，所述级联的每一级由多个回归器构成，这些回归器在训练过程中共享一个特征空间，每一个回归器根据输入的人脸图像、当前人脸图像的特征点位置、以及由输入的人脸图像和初始特征点位置计算的特征，通过一个回归函数计算出特征点位置的调整量。
3.根据权利要求2所述的多视角二维人脸特征点自动定位方法，其特征在于，所述训练阶段的训练过程中，基于给定的训练数据子集，迭代优化每一个回归器的回归函数，由初始特征点位置出发，逐级回归修正，使得特征点位置逼近标定的特征点正确位置，当对于训练数据的特征点定位的误差低于指定的阈值时，训练过程结束，得到针对这一视角的回归特征点定位引擎。
4.根据权利要求1所述的多视角二维人脸特征点自动定位方法，其特征在于，所述训练阶段第三步中，选取每个训练子集中不同视角的训练图像中区分度高的特征点进行训练。
5.根据权利要求4所述的多视角二维人脸特征点自动定位方法，其特征在于，所述区分度高的特征点包括鼻尖、嘴角、眼角。
6.根据权利要求1所述的多视角二维人脸特征点自动定位方法，其特征在于，所述训练阶段第三步中，基于纹理特征的模板将作为在不同视角特征点定位引擎的结果之间进行选择的依据。
7.根据权利要求1所述的多视角二维人脸特征点自动定位方法，其特征在于，所述每块中心块提取的纹理特征，作为样本的特征向量。
CN201510080295.2A 2015-02-15 2015-02-15 一种多视角二维人脸特征点自动定位方法 Active CN104615996B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510080295.2A CN104615996B (zh) 2015-02-15 2015-02-15 一种多视角二维人脸特征点自动定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510080295.2A CN104615996B (zh) 2015-02-15 2015-02-15 一种多视角二维人脸特征点自动定位方法

Publications (2)

Publication Number Publication Date
CN104615996A true CN104615996A (zh) 2015-05-13
CN104615996B CN104615996B (zh) 2017-11-21

Family

ID=53150433

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510080295.2A Active CN104615996B (zh) 2015-02-15 2015-02-15 一种多视角二维人脸特征点自动定位方法

Country Status (1)

Country Link
CN (1) CN104615996B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105787448A (zh) * 2016-02-28 2016-07-20 南京信息工程大学 基于时空级联形状回归的人脸形状跟踪方法
CN106682598A (zh) * 2016-12-14 2017-05-17 华南理工大学 一种基于级联回归的多姿态的人脸特征点检测方法
CN107358172A (zh) * 2017-06-22 2017-11-17 华南理工大学 一种基于人脸朝向分类的人脸特征点初始化方法
CN108764248A (zh) * 2018-04-18 2018-11-06 广州视源电子科技股份有限公司 图像特征点的提取方法和装置
CN109002749A (zh) * 2017-12-11 2018-12-14 罗普特（厦门）科技集团有限公司 嫌疑人人脸识别认定方法
CN109492531A (zh) * 2018-10-10 2019-03-19 深圳前海达闼云端智能科技有限公司 人脸图像关键点提取方法、装置、存储介质及电子设备
CN111626101A (zh) * 2020-04-13 2020-09-04 惠州市德赛西威汽车电子股份有限公司 一种基于adas的吸烟监测方法及系统
CN111753644A (zh) * 2020-05-09 2020-10-09 清华大学 在三维人脸扫描上检测关键点的方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070269111A1 (en) * 2006-05-16 2007-11-22 Eastman Kodak Company Shape detection using coherent appearance modeling
US20080063263A1 (en) * 2006-09-08 2008-03-13 Li Zhang Method for outlining and aligning a face in face processing of an image
CN102254169A (zh) * 2011-08-23 2011-11-23 东北大学秦皇岛分校 基于多摄像机的人脸识别方法及系统
CN102426646A (zh) * 2011-10-24 2012-04-25 西安电子科技大学 多角度人脸检测装置与方法
CN102799901A (zh) * 2012-07-10 2012-11-28 辉路科技（北京）有限公司 一种多角度人脸检测方法
CN103824050A (zh) * 2014-02-17 2014-05-28 北京旷视科技有限公司 一种基于级联回归的人脸关键点定位方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070269111A1 (en) * 2006-05-16 2007-11-22 Eastman Kodak Company Shape detection using coherent appearance modeling
US20080063263A1 (en) * 2006-09-08 2008-03-13 Li Zhang Method for outlining and aligning a face in face processing of an image
CN102254169A (zh) * 2011-08-23 2011-11-23 东北大学秦皇岛分校 基于多摄像机的人脸识别方法及系统
CN102426646A (zh) * 2011-10-24 2012-04-25 西安电子科技大学 多角度人脸检测装置与方法
CN102799901A (zh) * 2012-07-10 2012-11-28 辉路科技（北京）有限公司 一种多角度人脸检测方法
CN103824050A (zh) * 2014-02-17 2014-05-28 北京旷视科技有限公司 一种基于级联回归的人脸关键点定位方法

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105787448A (zh) * 2016-02-28 2016-07-20 南京信息工程大学 基于时空级联形状回归的人脸形状跟踪方法
CN106682598B (zh) * 2016-12-14 2021-02-19 华南理工大学 一种基于级联回归的多姿态的人脸特征点检测方法
WO2018107979A1 (zh) * 2016-12-14 2018-06-21 华南理工大学 一种基于级联回归的多姿态的人脸特征点检测方法
CN106682598A (zh) * 2016-12-14 2017-05-17 华南理工大学 一种基于级联回归的多姿态的人脸特征点检测方法
US10929649B2 (en) 2016-12-14 2021-02-23 South China University Of Technology Multi-pose face feature point detection method based on cascade regression
CN107358172A (zh) * 2017-06-22 2017-11-17 华南理工大学 一种基于人脸朝向分类的人脸特征点初始化方法
CN109002749A (zh) * 2017-12-11 2018-12-14 罗普特（厦门）科技集团有限公司 嫌疑人人脸识别认定方法
CN109002749B (zh) * 2017-12-11 2022-01-04 罗普特科技集团股份有限公司 嫌疑人人脸识别认定方法
CN108764248A (zh) * 2018-04-18 2018-11-06 广州视源电子科技股份有限公司 图像特征点的提取方法和装置
CN109492531A (zh) * 2018-10-10 2019-03-19 深圳前海达闼云端智能科技有限公司 人脸图像关键点提取方法、装置、存储介质及电子设备
CN109492531B (zh) * 2018-10-10 2021-04-23 达闼机器人有限公司 人脸图像关键点提取方法、装置、存储介质及电子设备
CN111626101A (zh) * 2020-04-13 2020-09-04 惠州市德赛西威汽车电子股份有限公司 一种基于adas的吸烟监测方法及系统
CN111753644A (zh) * 2020-05-09 2020-10-09 清华大学 在三维人脸扫描上检测关键点的方法及装置

Also Published As

Publication number Publication date
CN104615996B (zh) 2017-11-21

Similar Documents

Publication Publication Date Title
CN104615996A (zh) 一种多视角二维人脸特征点自动定位方法
US20210209851A1 (en) Face model creation
Bheda et al. Using deep convolutional networks for gesture recognition in american sign language
Simon et al. Hand keypoint detection in single images using multiview bootstrapping
CN103116896B (zh) 一种基于视觉显著性模型的自动检测跟踪方法
CN104268539A (zh) 一种高性能的人脸识别方法及系统
CN106096551B (zh) 人脸部位识别的方法和装置
CN103824050A (zh) 一种基于级联回归的人脸关键点定位方法
CN103177269A (zh) 用于估计对象姿态的设备和方法
CN103810500B (zh) 一种基于有监督学习概率主题模型的地点图像识别方法
CN108171127A (zh) 一种基于深度学习的发票自动识别方法
CN102324042A (zh) 视觉识别系统及视觉识别方法
CN106570538B (zh) 字符图片处理方法和装置
CN109086795A (zh) 一种图像误匹配精确剔除方法
CN102567716A (zh) 一种人脸合成系统及实现方法
Hofer et al. Incremental Line-based 3D Reconstruction using Geometric Constraints.
CN105117712A (zh) 兼容人脸老化识别的单样本人脸识别方法
CN109711267A (zh) 一种行人重识别、行人运动轨迹生成方法及装置
CN105426882A (zh) 一种人脸图像中快速定位人眼的方法
CN106650558A (zh) 人脸识别方法及装置
CN104732247B (zh) 一种人脸特征定位方法
CN107358172A (zh) 一种基于人脸朝向分类的人脸特征点初始化方法
Goyal et al. Yoga pose perfection using deep learning: An algorithm to estimate the error in yogic poses
CN111368674B (zh) 图像识别方法及装置
Jiang et al. Robust action recognition based on a hierarchical model

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant