CN105868727B - 一种三维人脸相似性度量方法 - Google Patents
一种三维人脸相似性度量方法 Download PDFInfo
- Publication number
- CN105868727B CN105868727B CN201610219246.7A CN201610219246A CN105868727B CN 105868727 B CN105868727 B CN 105868727B CN 201610219246 A CN201610219246 A CN 201610219246A CN 105868727 B CN105868727 B CN 105868727B
- Authority
- CN
- China
- Prior art keywords
- geodesic
- dimensional face
- distance
- points
- similarity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000691 measurement method Methods 0.000 title claims 4
- 238000000034 method Methods 0.000 claims abstract description 30
- 238000004422 calculation algorithm Methods 0.000 claims description 13
- 239000000284 extract Substances 0.000 claims description 10
- 230000009466 transformation Effects 0.000 claims 1
- 230000014509 gene expression Effects 0.000 abstract description 8
- 238000005259 measurement Methods 0.000 abstract description 6
- 238000000605 extraction Methods 0.000 abstract description 5
- 230000036544 posture Effects 0.000 description 7
- 238000011156 evaluation Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 241000228740 Procrustes Species 0.000 description 1
- 238000012952 Resampling Methods 0.000 description 1
- HUTDUHSNJYTCAR-UHFFFAOYSA-N ancymidol Chemical compound C1=CC(OC)=CC=C1C(O)(C=1C=NC=NC=1)C1CC1 HUTDUHSNJYTCAR-UHFFFAOYSA-N 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 239000002537 cosmetic Substances 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 238000005308 sum rule Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种三维人脸相似性度量方法，所述方法包括：在两个待比较的三维人脸模型上，分别以各自的鼻尖点为源点，按相同的初始方向和相等的角度间隔均匀地提取m条测地线；分别计算两个三维人脸模型上方向相同的两条测地线的Fréchet距离；计算m个Fréchet距离值的平均值，得到两个三维人脸模型的Fréchet距离；计算两个三维人脸模型的相似度。应用本发明计算出的同一个人的两个不同的三维人脸模型的相似度值高于不同人的相似度值，而且不同人的相似度值与人的主观判断基本一致。本发明能够有效区分同一个人不同表情的人脸模型，给出不同人的三维模型之间量化的相似度值，能够用于表情变化的三维人脸相似性度量。
Description
技术领域
本发明属于人脸识别技术领域，具体涉及一种基于测地线的Fréchet(弗雷歇)距离的三维人脸相似性度量方法。
背景技术
三维人脸相似性度量属于计算机图形学、计算机视觉等领域，是三维人脸识别的基础，在公安刑侦、医学整容、人类学研究等领域都有许多重要的应用。虽然人类的视觉系统可以在大脑中快速对两个人脸的相似程度做出判断，但要让计算机自动地判断出两个人脸的相似程度还是比较困难的，因为一方面人脸的整体形状大致上是相同的(如都有鼻子、眼睛、嘴等)，只能通过细节来区分不同的人脸；另一方面人脸相似性度量还要解决同一个人在不同表情、不同姿态等情况下的辨别，这更加大了三维人脸相似性度量的难度。
目前，关于人脸相似性的研究还比较少，早期多采用主观定性的方法，即集合一定量的被试对一组面貌的相似程度做出主观判断。这种方法虽然符合人的认知理论，但评价过程费时费力，而且评价结果容易受到人的主观因素的影响。近年来，人们开始采用客观方法对三维人脸的相似性进行研究，如采用在深度图像和三维人脸纹理图像上提取Gabor特征进行相似度评价，并同主观评价结果对比的方法；采用相对角直方图、半径相对角直方图、Procrustes距离及Principal warps对三维颅面的相似性进行研究的方法等。这些方法主要是针对没有表情变化的三维颅面模型或深度图像进行研究，均没有考虑到表情变化对三维人脸相似性的影响，人脸相似性度量的精度低。
中国发明专利申请号201510008187.4公开了一种基于半刚性区域面部轮廓线的三维人脸识别方法，其特征在于该方法包括以下步骤：步骤1：从输入的三维人脸点云中提取出感兴趣的人脸区域，该区域为以鼻尖为球心，90mm为半径的球所包含的人脸区域；步骤2：对由步骤1所提取的三维人脸点云进行网格化操作，采用基于网格的平滑算法对三维人脸模型进行平滑去噪处理，然后将经过9～12次迭代处理得到的平滑的三维人脸网格恢复成三维人脸点云；步骤3：对由步骤2得到的三维人脸点云，采用主成分分析法PCA，得到三个互相垂直的主轴方向，将最大特征值对应的特征向量作为轴，最小特征值对应的特征向量作为轴，建立右手坐标系，在该坐标系下人脸具有相同的正面姿态；该坐标系被称为姿态坐标系PCS；以鼻尖点为PCS的坐标原点，将切割平滑后的人脸点云数据都转换到PCS中，从而实现人脸姿态的归一化，得到姿态矫正后的人脸点云；步骤4：对由步骤3得到的姿态矫正后的人脸点云，根据坐标信息，在人脸的半刚性区域提取垂直方向的若干条面部轮廓线并对面部轮廓线进行重采样，得到测试人脸的19条面部轮廓线；步骤5：对所有库集人脸模型按照步骤1-步骤4所示方法来提取每一个库集人脸的19条面部轮廓线，计算测试人脸与库集人脸对应的轮廓线间的相似度向量；步骤6：采用决策级融合中的加权求和规则对不同轮廓线的相似度向量进行融合，根据最近邻法则得出识别结果。上述三维人脸识别方法任然没有考虑到人脸的情绪变化对于人脸识别精确度的影响。
发明内容
为了解决现有技术中存在的上述问题，本发明从全局的角度提供一种基于测地线的Fréchet距离的三维人脸相似性度量方法。
本发明通过两个三维人脸模型上对应测地线的相似度计算所述两个三维人脸模型的相似度。每对测地线的相似度采用测地线的Fréchet距离表示：两条测地线的Fréchet距离越小，两条测地线越相似；反之，越不相似。
一种三维人脸相似性度量方法，包括以下步骤：
步骤1，在两个待比较的三维人脸模型上，分别以各自的鼻尖点为源点，按相同的初始方向和相等的角度间隔均匀地提取m条测地线。
步骤2，分别计算两个三维人脸模型上方向相同的两条测地线的Fréchet距离，得到m个Fréchet距离值。
步骤3，计算m个Fréchet距离值的平均值，得到两个三维人脸模型的Fréchet距离d。
步骤4，计算两个三维人脸模型的相似度s，公式如下：
s＝1-d/dmax
式中，dmax为对多人的三维人脸模型进行计算得到的d中的最大值。
进一步地，步骤1所述提取m条测地线的方法如下：
步骤1.1，求三维人脸模型中纵坐标最大的点即脸部最高的点，该点即为鼻尖点；
步骤1.2，求解最外层等测地线；
步骤1.3，在所述最外层等测地线上求m个分点；
步骤1.4，以所述鼻尖点为源点，分别以所述m个分点为目标点求解测地线，得到m条测地线。
更进一步地，步骤1.2求解所述最外层等测地线的方法如下：
步骤1.2.1，提取三维人脸模型的边界；
步骤1.2.2，计算从鼻尖点到所述边界上所有点的测地距离；
步骤1.2.3，求所述测地距离的最小值，提取所有到鼻尖点的测地距离等于这该最小值的点得到最外层等测地线。
更进一步地，步骤1.3在所述最外层等测地线上求m个分点的方法如下：
步骤1.3.1，以所述最外层等测地线上与所述鼻尖点横坐标相同的点为第一个分点；
步骤1.3.2，将所述最外层等测地线投影到所述鼻尖点的切平面得到曲线l，以所述鼻尖点为起点，作m条角度间隔为2π/m的射线，与曲线l相交得到m个交点，其中第一个交点为第一个分点的投影；
步骤1.3.3，对所述m个交点进行反投影变换，在所述最外层等测地线上得到m个分点。
优选地，所述步骤1.2.2采用MMP算法(MMP算法是由Mitchell、Mount和Papadimitriou三人于1987年在“The discrete geodesic problem”一文中提出的测地线算法，简称为MMP算法)求解所述测地距离。
优选地，所述步骤1.4采用MMP算法求解测地线。
优选地，采用离散变体的Fréchet距离算法求解所述Fréchet距离。
与现有技术相比，本发明具有以下有益效果：
本发明通过在三维人脸模型上自鼻尖出发以等角度间隔均匀地向四周提取若干条测地线，将三维曲面的比较转化为三维曲线的比较，以度量曲线相似性的Fréchet距离度量两个三维人脸模型上对应曲线的相似程度。在Gavadb三维人脸公开数据库、Texas 3D人脸识别库及变形的三维人脸数据和三维真实人脸数据库上进行实验的结果表明，应用本发明所述方法计算出的同一个人的两个不同的三维人脸模型的相似度值，高于不同人的三维人脸模型的相似度值，而且不同人的三维人脸模型的相似度值与人的主观判断基本一致。因此，本发明不仅能够有效区分同一个人不同表情的人脸模型，而且能够给出不同人的三维模型之间量化的相似度值，能够用于表情变化的三维人脸相似性度量。
附图说明
图1为本发明所述方法的流程图；
图2为本发明所述方法求解原理示意图。
图中：1—目标点，2—第一目标点，3—三维人脸模型，4—鼻尖点，5—测地线，6—最外层等测地线。
具体实施方式
下面结合附图和实施例对本发明做进一步说明。
一种三维人脸相似性度量方法，其流程图如图1所示，包括以下步骤：
步骤S100，提取测地线。
在两个待比较的三维人脸模型f1和f2上，分别以各自的鼻尖点为源点，如图2所示，按相同的初始方向和相等的角度间隔均匀地提取m条测地线，即：
式中，分别为在f1和f2上提取的方向角为α的测地线，G1、G2分别为由m条测地线m条测地线组成的集合，m的值根据精度要求选取，A为角度的集合。
步骤S200，计算两个三维人脸模型上对应测地线的Fréchet距离，得到m个Fréchet距离值δdF。
步骤S300，计算两个三维人脸模型的Fréchet距离d(f1,f2)。
两个三维人脸模型的Fréchet距离定义为其上所有对应测地线的Fréchet距离的平均值，公式如下：
步骤S400，计算两个三维人脸模型的相似度。
两个三维人脸模型f1和f2的相似度通过这两个模型上对应测地线的相似性来计算，每对测地线的相似度用两个模型f1和f2上角度均为α的对应测地线的Fréchet距离表示。两条曲线的Fréchet距离越小，说明这两条曲线越相似。Fréchet距离越大，说明两条曲线越不相似。因此，两个三维人脸模型f1和f2的相似度能够用两个三维人脸模型的Fréchet距离d(f1,f2)来表示：Fréchet距离d(f1,f2)越小，这两个模型越相似；相反，距离越大，说明越不相似。计算公式如下：
s(f1,f2)＝1-d(f1,f2)/dmax
式中，dmax为对多人的三维人脸模型行计算得到的d(f1,f2)中的最大值。很明显，s(f1,f2)∈[0,1]。s＝0表示两个三维人脸模型完全不相似，s＝1表示完全相同。s值越大表示越相似。上述定义的相似性函数满足自反性、对称性和伪三角不等式性质，即：
s(fi,fi)＝1(自反性)
s(fi,fj)＝s(fj,fi)(对称性)
(伪三角不等式)
其中，i、j、k的值均为1或2。
所述步骤S100提取测地线的方法包括以下步骤：
S110，求鼻尖点；
处于标准姿态的三维人脸模型，鼻尖点是整个人脸中最高的点，因此标准姿态下整个三维人脸模型中纵坐标最大的点即为鼻尖点，并将其作为测地线的源点；
S120，求最外层等测地线；
S130，在最外层等测地线上求m个分点；
S140，以鼻尖点为源点，分别以所述m个分点为目标点求解测地线，得到m条测地线。
所述步骤S120求最外层等测地线的方法包括以下步骤：
S121，提取三维人脸模型的边界；
S122，计算从鼻尖点到所述边界上所有点的测地距离；
S123，求所述测地距离的最小值，提取所有到鼻尖点的测地距离等于这该最小值的点得到最外层等测地线。
所述步骤S130在最外层等测地线上求m个分点的方法包括以下步骤：
S131，以所述最外层等测地线上与所述鼻尖点横坐标相同的点为第一个分点；
S132，将所述最外层等测地线投影到所述鼻尖点的切平面得到曲线l，以所述鼻尖点为起点，作m条角度间隔为2π/m的射线，与曲线l相交得到m个交点，其中第一个交点为第一个分点的投影；
S133，对所述m个交点进行反投影变换，在所述最外层等测地线上得到m个分点。
作为一种最佳实施例，步骤S122采用MMP算法求解所述测地距离。
作为一种最佳实施例，步骤S140采用MMP算法求解测地线。
作为一种最佳实施例，采用离散变体的Fréchet距离算法求解所述Fréchet距离。
本发明不限于上述实施方式，本领域技术人员所做出的对上述实施方式任何显而易见的改进或变更，都不会超出本发明的构思和所附权利要求的保护范围。
Claims (3)
1.一种三维人脸相似性度量方法，其特征在于，包括以下步骤：
步骤1，在两个待比较的三维人脸模型上，分别以各自的鼻尖点为源点，按相同的初始方向和相等的角度间隔均匀地提取m条测地线；m的值根据精度要求选取；
步骤2，分别计算两个三维人脸模型上方向相同的两条测地线的Fréchet距离，得到m个Fréchet距离值；
步骤3，计算m个Fréchet距离值的平均值，得到两个三维人脸模型的Fréchet距离d；
步骤4，计算两个三维人脸模型的相似度s，公式如下：
s＝1-d/dmax
式中，dmax为对多人的三维人脸模型进行计算得到的d中的最大值；
步骤1所述提取m条测地线的方法如下：
步骤1.1，求三维人脸模型中纵坐标最大的点即脸部最高的点，该点即为鼻尖点；
步骤1.2，求解最外层等测地线；
步骤1.3，在所述最外层等测地线上求m个分点，方法如下：
步骤1.3.1，以所述最外层等测地线上与所述鼻尖点横坐标相同的点为第一个分点；
步骤1.3.2，将所述最外层等测地线投影到所述鼻尖点的切平面得到曲线l，以所述鼻尖点为起点，作m条角度间隔为α的射线，与曲线l相交得到m个交点，其中第一个交点为第一个分点的投影；
步骤1.3.3，对所述m个交点进行反投影变换，在所述最外层等测地线上得到m个分点；
步骤1.4，以所述鼻尖点为源点，分别以所述m个分点为目标点求解测地线，得到m条测地线，其中测地线采用MMP算法求解；
步骤1.2求解所述最外层等测地线的方法如下：
步骤1.2.1，提取三维人脸模型的边界；
步骤1.2.2，计算从鼻尖点到所述边界上所有点的测地距离；
步骤1.2.3，求所述测地距离的最小值，提取所有到鼻尖点的测地距离等于这该最小值的点得到最外层等测地线。
2.根据权利要求1所述的三维人脸相似性度量方法，其特征在于，所述步骤1.2.2采用MMP算法求解所述测地距离。
3.根据权利要求1所述的三维人脸相似性度量方法，其特征在于，采用离散变体的Fréchet距离算法求解所述Fréchet距离。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610219246.7A CN105868727B (zh) | 2016-04-08 | 2016-04-08 | 一种三维人脸相似性度量方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610219246.7A CN105868727B (zh) | 2016-04-08 | 2016-04-08 | 一种三维人脸相似性度量方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105868727A CN105868727A (zh) | 2016-08-17 |
| CN105868727B true CN105868727B (zh) | 2019-06-21 |
Family
ID=56637325
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610219246.7A Expired - Fee Related CN105868727B (zh) | 2016-04-08 | 2016-04-08 | 一种三维人脸相似性度量方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105868727B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113158892B (zh) * | 2021-04-20 | 2024-01-26 | 南京大学 | 一种与纹理和表情无关的人脸识别方法 |
| CN113012297B (zh) * | 2021-04-22 | 2023-06-13 | 中国科学院深圳先进技术研究院 | 一种相似度估计方法及其应用 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101159064A (zh) * | 2007-11-29 | 2008-04-09 | 腾讯科技（深圳）有限公司 | 画像生成系统以及按照图像生成画像的方法 |
| CN102254154A (zh) * | 2011-07-05 | 2011-11-23 | 南京大学 | 一种基于三维模型重建的人脸身份认证方法 |
| CN103489011A (zh) * | 2013-09-16 | 2014-01-01 | 广东工业大学 | 一种具有拓扑鲁棒性的三维人脸识别方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9147059B2 (en) * | 2012-02-22 | 2015-09-29 | Polytechnic Institute Of New York University | Biometric-rich gestures for authentication on multi-touch devices |
-
2016
- 2016-04-08 CN CN201610219246.7A patent/CN105868727B/zh not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101159064A (zh) * | 2007-11-29 | 2008-04-09 | 腾讯科技（深圳）有限公司 | 画像生成系统以及按照图像生成画像的方法 |
| CN102254154A (zh) * | 2011-07-05 | 2011-11-23 | 南京大学 | 一种基于三维模型重建的人脸身份认证方法 |
| CN103489011A (zh) * | 2013-09-16 | 2014-01-01 | 广东工业大学 | 一种具有拓扑鲁棒性的三维人脸识别方法 |
Non-Patent Citations (2)
| Title |
|---|
| "Facial Dynamics in Biometric Identification";Vedran Kajic;《ResearchGate》;20080131;第4章 |
| "形状空间下的3D面貌相似性比较";赵俊莉;《光学精密工程》;20150430;第2-5章 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105868727A (zh) | 2016-08-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11262597B2 (en) | Method, device, and computer program for virtually adjusting a spectacle frame | |
| CN107818310B (zh) | 一种基于视线的驾驶员注意力检测方法 | |
| Liang et al. | Improved detection of landmarks on 3D human face data | |
| Lu et al. | Automated anthropometric data collection using 3D whole body scanners | |
| US9189855B2 (en) | Three dimensional close interactions | |
| WO2019080488A1 (zh) | 一种基于多尺度协方差描述子与局部敏感黎曼核稀疏分类的三维人脸识别方法 | |
| Ng et al. | Wrinkle detection using hessian line tracking | |
| JP4780198B2 (ja) | 認証システム及び認証方法 | |
| WO2021248908A1 (zh) | 基于高斯过程回归的室外场景三维点云的地面提取方法 | |
| CN101650777B (zh) | 一种基于密集点对应的快速三维人脸识别方法 | |
| Li et al. | Hybrid approach for human posture recognition using anthropometry and BP neural network based on Kinect V2 | |
| CN104598879A (zh) | 基于半刚性区域面部轮廓线的三维人脸识别方法 | |
| Zhao et al. | Robust ellipse fitting using hierarchical Gaussian mixture models | |
| Hapsari et al. | Iris segmentation using Hough Transform method and Fuzzy C-Means method | |
| CN105868727B (zh) | 一种三维人脸相似性度量方法 | |
| CN110207618B (zh) | 三维扫描测量数据的表面线数据提取方法 | |
| EP3853814B1 (en) | Analyzing symmetry in image data | |
| CN109074471A (zh) | 一种基于主动外观模型的虹膜区域分割方法及装置 | |
| Lee et al. | Anlysis methods of the variation of facial size and shape based on 3D face scan images | |
| Hirshberg et al. | Evaluating the automated alignment of 3D human body scans | |
| CN104951767A (zh) | 基于关联程度的三维人脸识别技术 | |
| CN106022267B (zh) | 一种三维人脸模型弱特征点的自动定位方法 | |
| Fukuda et al. | Model-based eye-tracking method for low-resolution eye-images | |
| Shu et al. | Data processing and analysis for the 2012 Canadian Forces 3D anthropometric survey | |
| Kudelski et al. | Feature line extraction on meshes through vertex marking and 2D topological operators |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C41 | Transfer of patent application or patent right or utility model | ||
| CB03 | Change of inventor or designer information |
Inventor after: Zhao Junli Inventor after: Wu Zhongke Inventor after: Duan Fuqing Inventor after: Wang Kang Inventor after: Chen Yucong Inventor after: Sun Jie Inventor after: Liu Cuiting Inventor before: Zhao Junli Inventor before: Wu Zhongke Inventor before: Duan Fuqing Inventor before: Wang Kang Inventor before: Chen Yucong Inventor before: Liu Cuiting |
|
| COR | Change of bibliographic data | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20170204 Address after: 266071 Ningxia Road, Shandong,, No. 308, Qiingdao University Applicant after: Qingdao University Applicant after: Beijing Normal University Address before: 266071 Ningxia Road, Shandong,, No. 308, Qiingdao University Applicant before: Qingdao University |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20190621 |