CN106022267A - 一种三维人脸模型弱特征点的自动定位方法 - Google Patents

一种三维人脸模型弱特征点的自动定位方法 Download PDF

Info

Publication number
CN106022267A
CN106022267A CN201610342047.5A CN201610342047A CN106022267A CN 106022267 A CN106022267 A CN 106022267A CN 201610342047 A CN201610342047 A CN 201610342047A CN 106022267 A CN106022267 A CN 106022267A
Authority
CN
China
Prior art keywords
face model
point
faceform
dimensional
diametral
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610342047.5A
Other languages
English (en)
Other versions
CN106022267B (zh
Inventor
肖泽东
程郑鑫
白方域
邓擎琼
陈郁聪
段福庆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Normal University
Original Assignee
Beijing Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Normal University filed Critical Beijing Normal University
Priority to CN201610342047.5A priority Critical patent/CN106022267B/zh
Publication of CN106022267A publication Critical patent/CN106022267A/zh
Application granted granted Critical
Publication of CN106022267B publication Critical patent/CN106022267B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/169—Holistic features and representations, i.e. based on the facial image taken as a whole
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching

Abstract

本发明属于计算机图形学技术领域，涉及一种三维人脸模型弱特征点的自动定位方法。所述方法包括：选取一个三维人脸模型为参考人脸模型，提取参考人脸模型上的一组径向曲线，在所述径向曲线上选取几何特征明显的点作为参考人脸模型的弱特征点；提取目标人脸模型的径向曲线；通过对参考人脸模型与目标人脸模型上对应位置的径向曲线进行配准，自动定位目标人脸模型上的弱特征点。本发明通过在三维人脸模型的径向曲线上选取弱特征点，大幅度增加了人脸模型自动标定特征点的数量以及特征点在人脸上的分布密度，并且保证了特征点自动标定的精准性与通用性。本发明能够广泛应用于颅面重建、三维人脸识别、表情分析、人脸动画等领域。

Description

一种三维人脸模型弱特征点的自动定位方法
技术领域
本发明属于计算机图形学技术领域，具体涉及一种三维人脸模型弱特征点的自动定位方法。
背景技术
目前，三维成像技术和三维扫描设备的不断涌现使三维人脸的应用越来越广泛，如颅面重建、三维人脸识别、表情分析、人脸动画等。三维人脸特征点标定是这些应用中的一项关键技术，相对于比较成熟的二维人脸特征点定位技术，三维人脸特征点定位更加复杂和困难，尚没有可靠成熟的自动定位方法。
现有的三维特征点标定方法主要包括手工标定方法和基于局部区域特征分析的方法。手工标定方法费时费力；基于局部区域特征分析的方法一般是对顶点的局部形状构建特征描述，通过对局部形状特征描述子的统计分析来自动匹配特征点。公开号为CN101976359A的中国发明专利公开了一种三维人脸的特征点自动定位的方法，该方法包括：进行三维人脸模型的姿态定位；进行顶点的子空间划分；进行子空间的直方图统计；计算顶点的特征描述子；进行三维人脸的特征点模板的构建；三维人脸的特征点的定位。通过描述局部曲面，突破了仅有少数几个三维人脸的特征点可自动定位的限制，提高了三维人脸的特征点定位方法的精准性与通用性。其存在问题是，三维人脸特征点定位方法只能标定少量的生理特征点如鼻尖和内眼角，这些少量特征点对很多应用来说都是不足的。
发明内容
为了解决现有技术中存在的上述问题，本发明提出一种通过参考人脸模型与目标人脸模型径向曲线(人脸模型上过鼻尖点的曲线)的配准，实现目标人脸模型弱特征点的自动定位方法。弱特征点是在人脸模型的径向曲线上选取的其特征相对于鼻尖、眼角等生理特征点较弱的几何特征点，比如拐点、凸点等。相对于少量的生理特征点，弱特征点的数量要多得多，因此弱特征点的引入使人脸模型自动标定特征点的个数以及特征点在人脸上的分布密度明显提高。
为达到上述目的，本发明采用如下技术方案：选取一个标准的三维人脸模型作为参考人脸模型，提取参考人脸模型上的一组径向曲线，在径向曲线上选取那些几何特征明显的点如拐点、凸点等，作为参考人脸模型的弱特征点；提取目标人脸模型(待定位的人脸模型)的一组径向曲线，将所述径向曲线与参考人脸模型上对应位置的径向曲线进行配准，自动定位目标人脸模型上与参考人脸模型对应的弱特征点。具体方案如下：
一种三维人脸模型弱特征点的自动定位方法，包括以下步骤：
步骤1，选取一三维人脸模型为参考人脸模型，提取参考人脸模型上的一组径向曲线，在所述径向曲线上选取几何特征明显的点作为参考人脸模型的弱特征点。
步骤2，提取目标人脸模型的径向曲线。
步骤3，通过对参考人脸模型与目标人脸模型上对应位置的径向曲线进行配准，自动定位目标人脸模型上的弱特征点。
优选地，所述参考人脸模型是一个面部完整的三维人脸模型，或者是一组三维人脸模型的平均模型。
优选地，提取径向曲线的方法包括以下步骤：
(1)人脸姿态调整
先对人脸模型上所有顶点的三维坐标进行主成分分析，得到三个主方向。以这三个主方向建立人脸模型的三维直角坐标系，即以人脸模型中心为原点、以由右耳指向左耳的主方向为X轴正方向、由下巴指向额头的主方向为Z轴正方向建立三维直角坐标系；然后以Z轴为柱面初始对称轴、以人脸模型上所有顶点X坐标的平均值为柱面半径初始值，对人脸模型进行柱面拟合优化，得到柱面对称轴；对三维直角坐标系进行旋转变换，将Z轴旋转至与所述柱面对称轴平行，将人脸模型变换到旋转变换后的坐标系中。
(2)定位鼻尖点
取Y坐标值最大的点为鼻尖点。
(3)估计对称平面
以鼻尖点为中心确定一个球形邻域，求该球形邻域内人脸模型上的顶点(人脸模型采用计算机图形学中通用的多边形网格模型，这里的顶点指网格顶点)以YOZ平面为镜像平面的镜像点，对球形邻域内的顶点集合及其镜像点集进行ICP(Iterative Closest Point，迭代最近点)配准，得到球形邻域内的顶点与其镜像点集间的点对应，从而确定人脸模型在该球形邻域内左右脸的对称点，由此估计对称平面。
(4)提取径向曲线
以过鼻尖点且方向与对称平面法线方向和Z轴方向的外积方向相同的直线为旋转轴，以等角度间隔绕旋转轴转动对称平面，所述对称平面转过所述角度间隔时与人脸模型的交线即为径向曲线。
优选地，步骤1所述参考人脸模型上的弱特征点采取手工选取方式确定。
优选地，步骤3所述对参考人脸模型与目标人脸模型上对应位置的径向曲线进行配准的方法包括以下步骤：
在两条径向曲线上分别均匀采样一组等距的离散点；计算所述离散点处的曲率，分别将两条径向曲线上所有离散点的曲率组成特征序列；采用动态时间规整DTW(Dynamic TimeWarping)算法对两个特征序列进行配准，建立两条径向曲线之间的点对应。
与现有技术相比，本发明具有以下有益效果：
本发明通过提取三维人脸模型的径向曲线，选取径向曲线上一组几何特征明显的点为弱特征点，并进行参考人脸模型与目标人脸模型上位置对应的径向曲线间的配准，实现了目标人脸模型上弱特征点的自动定位。本发明通过在径向曲线上选取弱特征点，大幅度增加了人脸模型自动标定特征点的数量以及特征点在人脸上的分布密度，并且保证了特征点自动标定的精准性与通用性。本发明可应用于颅面重建、三维人脸识别、表情分析、人脸动画等领域。
附图说明
图1为三维人脸模型的径向曲线示意图；
图2为三维人脸模型弱特征点示意图，(a)为手工选取的参考人脸模型上的弱特征点示意图，(b)为自动标定的目标人脸模型上的弱特征点示意图。
具体实施方式
下面结合附图和实施例对本发明做进一步说明。
一种三维人脸模型弱特征点的自动定位方法，具体包括以下步骤：
步骤1，选取一三维人脸模型为参考人脸模型，提取参考人脸模型上的一组径向曲线，在所述径向曲线上选取几何特征明显的点作为参考人脸模型的弱特征点。
几何特征明显的点是指曲线上的拐点、凸点等。选取几何特征明显的点有利于提高特征点的定位精度。
步骤2，提取目标人脸模型的径向曲线。
步骤3，通过对参考人脸模型与目标人脸模型上对应位置的径向曲线进行配准，自动定位目标人脸模型上的弱特征点。
所述参考人脸模型是一个面部完整的三维人脸模型，或者是一组三维人脸模型求平均获得的模型。
径向曲线的提取方法如下：
(1)人脸姿态调整
先对人脸模型上所有顶点的三维坐标进行主成分分析，得到三个主方向。以这三个主方向建立人脸模型的三维直角坐标系，即以人脸模型中心为原点、以由右耳指向左耳的主方向为X轴正方向、由下巴指向额头的主方向为Z轴正方向建立三维直角坐标系；然后以Z轴为柱面初始对称轴、以人脸模型上所有顶点X坐标的平均值为柱面半径初始值，对人脸模型进行柱面拟合优化，得到柱面对称轴；对三维直角坐标系进行旋转变换，将Z轴旋转至与所述柱面对称轴平行，将人脸模型变换到旋转变换后的坐标系中。
(2)定位鼻尖点
取Y坐标值最大的点为鼻尖点。由于鼻尖点是面部的最突出点，所以鼻尖点的Y坐标值最大。
(3)估计对称平面
以鼻尖点为中心确定一个球形邻域，求该球形邻域内人脸模型上的顶点以YOZ平面为镜像平面的镜像点，对球形邻域内的顶点集合及其镜像点集进行ICP(Iterative Closest Point，迭代最近点)配准，得到球形邻域内的顶点与其镜像点集间的点对应，从而确定人脸模型在该球形邻域内左右脸的对称点，由此估计对称平面。
ICP算法是一种数据点集间的配准算法，该方法通过迭代地使用最近点搜索和刚性变换的策略建立两个点集间的点对应。假定球形邻域内的顶点A与镜像点集中的点B是ICP得到的一对对应点，则镜像点B在人脸模型上的源点B′与点A左右对称。
(4)提取径向曲线
以过鼻尖点且方向与对称平面法线方向和Z轴方向的外积方向相同的直线为旋转轴，以等角度间隔绕旋转轴转动对称平面，所述对称平面转过所述角度间隔时与人脸模型的交线即为径向曲线。
本实施例选取角度间隔为10度，得到18条径向曲线，如图1所示。
步骤1所述的参考人脸模型的弱特征点采取手工选取方式确定。本实施例手工选取了187个特征点，如图2a所示。
步骤3所述对参考人脸模型与目标人脸模型上对应位置的径向曲线进行配准的方法包括以下步骤：
(1)径向曲线的离散点采样
为了提高径向曲线配准的准确度，对径向曲线进行采样间隔很小的等距采样。当然，采样间隔过小会使计算量增大。本实施例选取的采样间隔为0.01mm，使得径向曲线上大约有100个等距离散点。
(2)径向曲线间的配准
可以根据曲线的多种几何特征进行参考人脸模型与目标人脸模型上位置对应的径向曲线间的配准。由于曲率特征对曲线所处的空间位置和姿态不敏感，即曲线旋转和平移时曲线的曲率不变，因此，本实施例以曲线的曲率特征进行径向曲线的配准，具体方法是：将曲线上所有离散点的曲率特征组成特征序列，采用动态时间规整DTW算法对两个径向曲线的特征序列进行对齐，从而建立径向曲线间的点对应。
动态时间规整DTW算法是时间序列分析中的一种常用方法，用于比较两个长度不同的时间序列的相似度，从而建立两个时间序列的对应。将两条径向曲线的曲率特征序列看作两个时间序列，建立两个特征序列间的点对应。具体方法如下：
假定A＝{a1,a2,…,am}和B＝{b1,b2,…,bn}分别为长度分别为m和n的待配准的径向曲线的曲率特征序列，构造一个m*n的矩阵C，C(i,j)越小，A中第i点和B中第j点间的相似度越高。本实施例的C(i,j)为点对曲率值的曼哈顿距离。
将矩阵C的元素连成一个网格，利用动态规划寻找一条从网格点C(1,1)到网格点C(m,n)的最优路径，该路径上所有网格点对应的C(i,j)的累加值最小。根据路径上的C(i,j)便可得到两条径向曲线上的离散点的对应点。
本实施例在目标人脸模型上确定的特征点如图2b所示。
本发明不限于上述实施方式，本领域技术人员所做出的对上述实施方式任何显而易见的改进或变更，都不会超出本发明的构思和所附权利要求的保护范围。

Claims (5)

1.一种三维人脸模型弱特征点的自动定位方法，其特征在于，包括以下步骤：
步骤1，选取一三维人脸模型为参考人脸模型，提取参考人脸模型上的一组径向曲线，在所述径向曲线上选取几何特征明显的点作为参考人脸模型的弱特征点；所述几何特征明显的点包括拐点、凸点；
步骤2，提取目标人脸模型的径向曲线；
步骤3，通过对参考人脸模型与目标人脸模型上对应位置的径向曲线进行配准，自动定位目标人脸模型上的弱特征点。
2.根据权利要求1所述的三维人脸模型弱特征点的自动定位方法，其特征在于，所述参考人脸模型是一个面部完整的三维人脸模型，或者是一组三维人脸模型的平均模型。
3.根据权利要求1所述的三维人脸模型弱特征点的自动定位方法，其特征在于，提取径向曲线的方法包括以下步骤：
(1)人脸姿态调整
先对人脸模型上所有顶点的三维坐标进行主成分分析，得到三个主方向；以这三个主方向建立人脸模型的三维直角坐标系，即以人脸模型中心为原点、以由右耳指向左耳的主方向为X轴正方向、由下巴指向额头的主方向为Z轴正方向建立三维直角坐标系；然后以Z轴为柱面初始对称轴、以人脸模型上所有顶点X坐标的平均值为柱面半径初始值，对人脸模型进行柱面拟合优化，得到柱面对称轴；对三维直角坐标系进行旋转变换，将Z轴旋转至与所述柱面对称轴平行，将人脸模型变换到旋转变换后的坐标系中；
(2)定位鼻尖点
Y坐标值最大的点为鼻尖点；
(3)估计对称平面
以鼻尖点为中心确定一个球形邻域，求该球形邻域内人脸模型上的顶点以YOZ平面为镜像平面的镜像点，对球形邻域内的顶点集合及其镜像点集进行迭代最近点配准，得到球形邻域内的顶点与其镜像点集间的点对应，从而确定人脸模型在该球形邻域内左右脸的对称点，由此估计对称平面；
(4)提取径向曲线
以过鼻尖点且方向与对称平面法线方向和Z轴方向的外积方向相同的直线为旋转轴，以等角度间隔绕旋转轴转动对称平面，所述对称平面转过所述角度间隔时与人脸模型的交线即为径向曲线。
4.根据权利要求1所述的三维人脸模型弱特征点的自动定位方法，其特征在于，所述参考人脸模型上的弱特征点采取手工选取方式确定。
5.根据权利要求1～4所述的三维人脸模型弱特征点的自动定位方法，其特征在于，步骤3所述对参考人脸模型与目标人脸模型上对应位置的径向曲线进行配准的方法包括以下步骤：
步骤3.1在两条径向曲线上分别均匀采样一组等距离的离散点；
步骤3.2计算径向曲线在所述离散点处的曲率，分别将两条径向曲线上所有离散点的曲率组成特征序列；
步骤3.3采用动态时间规整算法对两个特征序列进行配准，建立两条径向曲线之间的点对应。
CN201610342047.5A 2016-05-20 2016-05-20 一种三维人脸模型弱特征点的自动定位方法 Active CN106022267B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610342047.5A CN106022267B (zh) 2016-05-20 2016-05-20 一种三维人脸模型弱特征点的自动定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610342047.5A CN106022267B (zh) 2016-05-20 2016-05-20 一种三维人脸模型弱特征点的自动定位方法

Publications (2)

Publication Number Publication Date
CN106022267A true CN106022267A (zh) 2016-10-12
CN106022267B CN106022267B (zh) 2019-04-19

Family

ID=57096886

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610342047.5A Active CN106022267B (zh) 2016-05-20 2016-05-20 一种三维人脸模型弱特征点的自动定位方法

Country Status (1)

Country Link
CN (1) CN106022267B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107832751A (zh) * 2017-12-15 2018-03-23 北京奇虎科技有限公司 人脸特征点的标注方法、装置及计算设备
CN109242760A (zh) * 2018-08-16 2019-01-18 Oppo广东移动通信有限公司 人脸图像的处理方法、装置和电子设备
CN110264562A (zh) * 2019-05-23 2019-09-20 吴薇 颅骨模型特征点自动标定方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101887525A (zh) * 2010-07-09 2010-11-17 北京师范大学 基于分级的正反互逆的三维稠密点集快速配准方法
CN101976359A (zh) * 2010-09-26 2011-02-16 浙江大学 一种三维人脸的特征点自动定位的方法
CN103246875A (zh) * 2013-05-09 2013-08-14 东南大学 一种基于面部曲线弹性匹配的三维人脸识别方法
CN103714318A (zh) * 2013-12-13 2014-04-09 谭玉波 三维人脸配准方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101887525A (zh) * 2010-07-09 2010-11-17 北京师范大学 基于分级的正反互逆的三维稠密点集快速配准方法
CN101976359A (zh) * 2010-09-26 2011-02-16 浙江大学 一种三维人脸的特征点自动定位的方法
CN103246875A (zh) * 2013-05-09 2013-08-14 东南大学 一种基于面部曲线弹性匹配的三维人脸识别方法
CN103714318A (zh) * 2013-12-13 2014-04-09 谭玉波 三维人脸配准方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
HASSEN DRIRA等: "Elastic Radial Curves to Model 3D Facial Deformations", 《PROCEEDINGS OF THE ACM WORKSHOP ON 3D OBJECT RETRIEVAL》 *
WENKUI XIE等: "LSCM Based Non-rigid Registration for Craniofacial Surfaces", 《SPRING》 *
ＹUE LEI等: "Radial-curve-based facial expression recognition", 《JOURNAL OF BEIJING INSTITUTE OF TECHNOLOGY》 *
潘仁林等: "基于面部曲线弹性匹配的三维人脸识别方法", 《图学学报》 *
白茹意等: "基于ICP和CPD的颅骨自动配准算法", 《计算机技术与发展》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107832751A (zh) * 2017-12-15 2018-03-23 北京奇虎科技有限公司 人脸特征点的标注方法、装置及计算设备
CN109242760A (zh) * 2018-08-16 2019-01-18 Oppo广东移动通信有限公司 人脸图像的处理方法、装置和电子设备
CN109242760B (zh) * 2018-08-16 2023-02-28 Oppo广东移动通信有限公司 人脸图像的处理方法、装置和电子设备
CN110264562A (zh) * 2019-05-23 2019-09-20 吴薇 颅骨模型特征点自动标定方法
CN110264562B (zh) * 2019-05-23 2023-06-27 沈阳医学院 颅骨模型特征点自动标定方法

Also Published As

Publication number Publication date
CN106022267B (zh) 2019-04-19

Similar Documents

Publication Publication Date Title
CN107886529A (zh) 一种用于三维重建的点云配准方法
CN106203400A (zh) 一种人脸识别方法及装置
CN101819628B (zh) 结合形状特征的稀疏表示人脸识别方法
CN101315661B (zh) 一种减小表情影响的快速三维人脸识别方法
JP4780198B2 (ja) 認証システム及び認証方法
CN105654483B (zh) 三维点云全自动配准方法
WO2021196408A1 (zh) 一种基于变公差带约束的航空叶片型面检测方法和系统
CN100416596C (zh) 用贝叶斯网络分类器图像判别特征点位置的方法
CN106778468A (zh) 3d人脸识别方法及设备
CN109147040B (zh) 基于模板的人体点云孔洞修补方法
CN110211129B (zh) 基于区域分割的低覆盖点云配准算法
CN101986328A (zh) 一种基于局部描述符的三维人脸识别方法
CN112287872B (zh) 基于多任务神经网络的虹膜图像分割、定位和归一化方法
CN106022267A (zh) 一种三维人脸模型弱特征点的自动定位方法
CN104598879A (zh) 基于半刚性区域面部轮廓线的三维人脸识别方法
CN106778489A (zh) 人脸3d特征身份信息库的建立方法及设备
Lui et al. Enhanced decoupled active contour using structural and textural variation energy functionals
CN109472816A (zh) 一种点云配准方法
CN110047131A (zh) 一种人体三维重建的点云融合方法
CN109118455B (zh) 一种基于现代人软组织分布的古人类头骨颅面交互复原方法
CN109242774A (zh) 一种基于多维空间不变特征的平板类零件点云拼接方法
CN106682575A (zh) Elm算法的人眼点云特征定位
CN104732247B (zh) 一种人脸特征定位方法
CN104036299A (zh) 一种基于局部纹理aam的人眼轮廓跟踪方法
CN109074471B (zh) 一种基于主动外观模型的虹膜区域分割方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant