CN103489011A - 一种具有拓扑鲁棒性的三维人脸识别方法 - Google Patents

一种具有拓扑鲁棒性的三维人脸识别方法 Download PDF

Info

Publication number
CN103489011A
CN103489011A CN201310444624.8A CN201310444624A CN103489011A CN 103489011 A CN103489011 A CN 103489011A CN 201310444624 A CN201310444624 A CN 201310444624A CN 103489011 A CN103489011 A CN 103489011A
Authority
CN
China
Prior art keywords
dimensional face
face
dimensional
distance
matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201310444624.8A
Other languages
English (en)
Inventor
孙粤辉
韩一石
李伟彤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong University of Technology
Original Assignee
Guangdong University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong University of Technology filed Critical Guangdong University of Technology
Priority to CN201310444624.8A priority Critical patent/CN103489011A/zh
Publication of CN103489011A publication Critical patent/CN103489011A/zh
Pending legal-status Critical Current

Links

Images

Abstract

本发明公开了一种具有拓扑鲁棒性的三维人脸识别方法，其包括如下步骤：S1对测试样本及三维人脸数据库中的训练集、测试集的三维人脸数据进行预处理；S2对预处理后的三维人脸在度量空间建模（X，dx）；S3用离散化Hausdorff距离作为三维人脸外形匹配的相似度准则
Figure 2013104446248100004DEST_PATH_IMAGE001
来计算三维人脸的相似度；S4三维人脸识别结果判定；本发明将欧式距离和测地距离的优势互补，融合成新的几何学意义上的测距——散布距离，反映曲面上两点的平均距离而非仅反映最短路径，具有拓扑鲁棒性，因此可以保持人脸的几何结构特性，彻底解决了因表情变化及拓扑几何结构改变导致识别率降低的问题。

Description

一种具有拓扑鲁棒性的三维人脸识别方法
技术领域
    本发明涉及一种具有拓扑鲁棒性的三维人脸识别方法，其具体是一种将三维人脸转化成散布距离构成的度量空间，通过相似度计算进行外形匹配来完成识别的三维人脸识别方法。
背景技术
尽管基于图像的二维人脸识别技术日趋成熟，在一定约束条件下已取得较好的识别结果，但是，实验研究表明，经光照、姿态、化妆、表情、年龄等的变化，会显著地降低二维人脸识别算法的性能。人脸的几何结构反映了重要且独一无二的个人身份信息，可看作是三维人脸识别的鲁棒性与准确性的关键依据。一般来讲，是在度量空间(Metric Space)使用欧式距离描述三维人脸外形的外在几何结构，而三维人脸不随表情变化的部分是由头骨的刚性特性决定的，可定义为“内在几何结构”，使用测地距离进行描述，它不受外在几何结构形变影响的鲁棒性，对表情的变化并不敏感。但人脸的几何结构在由高维非欧式空间映射到低维欧式空间的过程中，三维人脸的几何结构中的拓扑连通性受到坐标系改变的影响，令测地距离变化很大，因而导致测地距离变化很大而失去人脸内在几何结构的鲁棒性，丧失以测地距离对表情变化的鲁棒性。作为结论，将度量空间中的几何外形结构映射到有限维的欧式空间，在理论上是无法保持外形拓扑几何结构不发生扭曲的。另外，利用三维扫描获取人脸数据过程中也会因数据的缺失而引入拓扑噪声是无法根本性避免的。
发明内容
本发明的主要目的在于针对上述现有技术中的不足，而提出一种具有拓扑鲁棒性的三维人脸识别方法。
    本发明解决现有技术问题所采用的技术方案是：一种具有拓扑鲁棒性的三维人脸识别方法，其包括如下步骤：
S1、对测试样本及三维人脸数据库中的训练集、测试集的三维人脸数据进行预处理；首先对初始情况下的测试样本和三维人脸数据库中的三维人脸数据作剪切处理，以消除三维人脸面部区域出现的孔洞和毛刺现象的噪声点；其次，通过非线性滤波器对人脸曲线做平滑滤波处理；最后，以三维人脸中不随表情变化而改变的人脸特征如鼻尖、鼻梁顶端以及眼角作为特征点进行检测定位；
    S2、对预处理后的三维人脸在度量空间建模（X，dx）；
S3、用离散化Hausdorff距离作为三维人脸外形匹配的相似度准则                                                
Figure 2013104446248100002DEST_PATH_IMAGE001
来计算三维人脸的相似度；
S4、三维人脸识别结果判定。
下面对以上技术方案作进一步阐述：
优选的，步骤S1的剪切处理中采用的是三维人脸的二维纹理数据与三维坐标直方图大致性地将人脸与背景分开，并用320×240的二进制掩模图像约束人脸区域。
优选的，步骤S1的消除三维人脸面部区域出现的孔洞和毛刺现象的噪声点，采用的是计算人脸区域的像素点的深度值坐标的离散梯度范数
                  
Figure 2013104446248100002DEST_PATH_IMAGE003
                          (1)
将计算结果高于设定阈值的像素点作为噪声点抛弃，然后在掩模上应用形态学算子，去除非联通区域并将人脸区域独立出来，最后通过插值算法填充人脸面部区域的缺失部分。
    优选的，步骤S1的通过非线性滤波器对人脸曲线做平滑滤波处理的过程在求解Polyakov泛函
Figure 310028DEST_PATH_IMAGE004
的最小解求取中完成：
                       (2)
其中，纽曼边界约束条件为
Figure 786008DEST_PATH_IMAGE006
。                              (5)
优选的，步骤S1的以三维人脸中不随表情变化而改变的人脸特征如鼻尖、鼻梁顶端以及眼角作为特征点进行检测定位的过程中，为保证头部旋转的不变性，采用一种基于几何曲率的特征检测算子以保证特征点可以得到准确检测区分，在检测过程中，还使用一组基于人脸面部先验知识的几何关系，如鼻梁顶端应该位于两眼之间、在鼻尖之上且有一定间隔距离来提高检测的成功率，特征检测完成后，进行对齐操作，以正面平和表情的三维人脸作为基准，其他的三维人脸经过旋转和平移操作与它对齐，基于检测到的特征点，利用ICP算法对所有三维人脸进行平移与粗配准。
优选的，步骤S2的对预处理后的三维人脸在度量空间建模（X，dx）的方法是：
将预处理后的三维人脸建模为
Figure 2013104446248100002DEST_PATH_IMAGE007
。定义非负对称的邻近亲和度函数(affinity function)
Figure 856601DEST_PATH_IMAGE008
，其中点
Figure 2013104446248100002DEST_PATH_IMAGE009
,均属于
Figure 2013104446248100002DEST_PATH_IMAGE011
上的点，若点
Figure 564980DEST_PATH_IMAGE009
,间存在连接路径，则，否则；
接下来定义：
Figure 40458DEST_PATH_IMAGE014
                                  (6)
其中，，为了补偿
Figure 152639DEST_PATH_IMAGE016
缺失的对称性，再令：
Figure 2013104446248100002DEST_PATH_IMAGE017
                             (7)
归一化
Figure 783472DEST_PATH_IMAGE018
得：
Figure 2013104446248100002DEST_PATH_IMAGE019
                                   (9)
因此，基于拓扑鲁棒性的散布距离定义为：
Figure 297499DEST_PATH_IMAGE020
                            (10)
继续对矩阵
Figure 2013104446248100002DEST_PATH_IMAGE021
进行特征分解，得到
Figure 113008DEST_PATH_IMAGE022
                                   (11)
    其中，为矩阵的特征值（取平方值以方便计算），
Figure 225638DEST_PATH_IMAGE024
为对应的特征向量。由此推导出矩阵
Figure 2013104446248100002DEST_PATH_IMAGE025
的元素：
Figure 605890DEST_PATH_IMAGE026
                               (12)
特征映射矩阵由的特征值和特征向量定义为：
                                       (13)
由式(13)可将
Figure 898648DEST_PATH_IMAGE011
上的点映射到欧式空间中，问题因此容易转化为：
Figure 120551DEST_PATH_IMAGE028
                           (14)
式(14)即为我们所要求解的，以基于拓扑鲁棒性的测距为元素的度量矩阵。
优选的，步骤S3的用离散化Hausdorff距离作为三维人脸外形匹配的相似度准则
Figure 687798DEST_PATH_IMAGE001
来计算三维人脸的相似度的方法为：
两个人脸外形
Figure 720476DEST_PATH_IMAGE011
,均为有限的点集，对于上的采样点
Figure 2013104446248100002DEST_PATH_IMAGE031
和
Figure 86101DEST_PATH_IMAGE032
，可构造
Figure 2013104446248100002DEST_PATH_IMAGE033
散布距离矩阵
Figure 289681DEST_PATH_IMAGE034
，矩阵中的元素为散布距离
Figure 2013104446248100002DEST_PATH_IMAGE035
，同理，对于，可构造矩阵
Figure 993381DEST_PATH_IMAGE036
；
通过计算散布距离矩阵的失真度作为三维人脸的匹配的相似度准则
Figure 2013104446248100002DEST_PATH_IMAGE037
，如下式所示：
Figure 941745DEST_PATH_IMAGE038
             (16)
式中
Figure 2013104446248100002DEST_PATH_IMAGE039
为
Figure 440859DEST_PATH_IMAGE040
矩阵空间上的范数。
 优选的，步骤S4的三维人脸识别结果判定的方法为：首先在三维人脸数据库中训练学习相似度匹配准则相似度
Figure 192784DEST_PATH_IMAGE037
，寻找最佳阈值，然后计算测试样本与数据库的训练集中的不同训练样本的
Figure 435546DEST_PATH_IMAGE037
，并进行比较，将最接近阈值结果的测试样本归类，得到人脸识别结果。
本发明的有益效果是：
其一、本发明将欧式距离和测地距离的优势互补，融合成新的几何学意义上的测距——散布距离，反映曲面上两点的平均距离而非仅反映最短路径，具有拓扑鲁棒性，因此，可以令人脸的几何结构特性得以保持，再将三维人脸外形映射到散布距离构成的度量空间，避免高维到低维嵌入过程中得到的人脸表示因拓扑噪声而产生误差，将不同人脸外形通过散布距离构成的度量空间在设计好的相似度准则计算下进行匹配，从而将人脸识别问题转化为不同的人脸外形曲面的匹配问题，同时兼顾到三维人脸外部几何结构形变与内部几何结构的本质，彻底解决因表情变化及拓扑几何结构改变导致识别率降低的问题，从而能够实现真正意义上的表情不变的具有拓扑鲁棒性的三维人脸识别。
附图说明    
图1为本发明所述的具有拓扑鲁棒性的三维人脸识别方法的算法流程图；
图2 为本发明中对测试样本及三维人脸数据库中的训练集、测试集的三维人脸数据进行预处理的流程图；
图3 为本发明所述的三维人脸面部区域出现的孔洞和毛刺噪声点的图像显示；其中，左边人脸图像中的黑色区域为因数据丢失而形成的孔洞，对应右边人脸的深度图像中表现为脱离人脸曲面的毛刺；
图4 为本发明所述的对测试样本和三维人脸数据库中的三维人脸数据进行剪切处理的剪切过程流程图；
图5 为本发明所述的三维人脸的度量矩阵
Figure 972838DEST_PATH_IMAGE029
图像显示，从左到右依次为同一人的两种表情与另外一人的表情；
图6 为本发明所述的三维人脸的相似度图形化显示，其中为三个人的不同表情的对比；
图7为本发明所述的人脸识别实验的结果的ROC曲线显示图；
图8为本发明所述的人脸识别实验的结果的CMC曲线显示图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
以下将结合附图及具体实施例详细说明本发明的技术方案，以便更清楚、直观地理解本发明的发明实质。
图1为本发明所述的具有拓扑鲁棒性的三维人脸识别方法的算法流程图；
在本发明具体实施过程中，散布距离与相似度准则的计算拟采用C++实现，并在Matlab框架下调用，以提高算法性能，且依据三维人脸的真实几何结构，利用基于拓扑鲁棒性的散布距离，在度量空间内对不同的人脸模型表示计算相似度
Figure 111695DEST_PATH_IMAGE037
来进行非刚性外形匹配识别。
从而本实施例提供的一种具有拓扑鲁棒性的三维人脸识别算法，参照图1所示，包括以下步骤：
步骤S1：对测试样本及三维人脸数据库中的训练集、测试集的三维人脸数据进行预处理；
步骤S2：对预处理后的三维人脸在度量空间建模（X，dx）；
步骤S3：用离散化Hausdorff距离作为三维人脸外形匹配的相似度准则来计算三维人脸的相似度；
步骤S4：三维人脸识别结果判定。
需要说明的是，在步骤S1中，训练集和数据集采用两个公开的三维人脸数据库，分别是国内中科院模式识别实验室的CASIA 3D Face Database与西班牙胡安卡洛斯国王大学的人脸识别及人工视觉研究组(Face Recognition and Artificial Vision Group)建立的FRAV3D Face Database，将数据进行统一预处理。其中，CASIA 3D Face Database，包含123人的数据，共2624个三维数据，2624个二维纹理数据图像；FRAV3D Face Database，包含106人的数据，共1696个三维数据，1696个对应的二维纹理数据图像。
选择这两个数据库的原因是：数据库规模较大，数据均包含二维人脸纹理图像与三维人脸外形数据(以VRML格式存储)，可将纹理特征映射到三维人脸外形上，有利于进行三维特征的提取，由于过大角度的旋转将造成人脸遮挡，暂时不予考虑。
图2 为本发明中对测试样本及三维人脸数据库中的训练集、测试集的三维人脸数据进行预处理的流程图；
结合图2所示，步骤S1中对测试样本及三维人脸数据库中的训练集、测试集的三维人脸数据进行预处理，包括以下步骤：
步骤S11： 剪切，对测试样本和三维人脸数据库中的三维人脸数据进行剪切处理。其目的是，将背景与人脸面部区域分开，并消除三维人脸面部区域出现孔洞和毛刺现象的噪声点。
具体来说，如图3所示，图3 为本发明所述的三维人脸面部区域出现的孔洞和毛刺噪声点的图像显示；其中，左边人脸图像中的黑色区域为因数据丢失而形成的孔洞，对应右边人脸的深度图像中表现为脱离人脸曲面的毛刺；
进一步的，图4 为本发明所述的对测试样本和三维人脸数据库中的三维人脸数据进行剪切处理的剪切过程流程图；
结合图4，步骤S11的剪切中，对测试样本和三维人脸数据库中的三维人脸数据进行剪切处理的过程包括：
S111：三维直方图分离人脸区域与背景。其主要是利用三维人脸的二维纹理数据与三维坐标直方图大致性地将人脸与背景分开。   
S112：计算离散梯度范数移除毛刺噪声点。对于人脸区域的像素点，计算其深度值坐标
Figure 131790DEST_PATH_IMAGE002
的离散梯度范数
                            (1)
将计算结果高于设定阈值的像素点作为噪声点抛弃。
S113：使用二进制模板约束人脸区域。在本实施例中，采用的是320×240的二进制掩模图像来约束人脸区域。
S114：形态学算子移除非联通区域。具体来说，是在掩模上应用形态学算子，去除非联通区域并将人脸区域独立出来。
S115：通过插值算法填充人脸面部区域缺失部分。
步骤S12：通过非线性滤波器对人脸曲线作平滑滤波处理。其核心思想就是曲面区域最小化求解，即求解Polyakov泛函的最小解：
             
Figure 957980DEST_PATH_IMAGE005
                       (2)
利用拉格朗日定理，泛函
Figure 169650DEST_PATH_IMAGE004
的最小解可以通过梯度下降法得到：
Figure DEST_PATH_IMAGE041
                       (3)
其中
Figure DEST_PATH_IMAGE043
为时间参数，对于人脸曲面而言，只需沿深度坐标
Figure 410007DEST_PATH_IMAGE002
进行滤波，从而式(3)可转化为
Figure 780946DEST_PATH_IMAGE044
                           (4)
面部区域的平滑过程在泛函
Figure 668130DEST_PATH_IMAGE004
的最小解求取中完成，纽曼边界约束条件为
Figure 757309DEST_PATH_IMAGE006
。                                                      (5)
步骤S13：人脸特征点的检测。以三维人脸中不随表情变化而改变的人脸特征如鼻尖、鼻梁顶端以及眼角作为特征点进行检测定位，为保证头部旋转的不变性，采用一种基于几何曲率的特征检测算子以保证特征点可以得到准确检测区分，在检测过程中，还使用一组基于人脸面部先验知识的几何关系，如鼻梁顶端应该位于两眼之间、在鼻尖之上且有一定间隔距离来提高检测的成功率。
人脸特征点检测完成后，进行对齐操作，以正面平和表情的三维人脸作为基准，其他的三维人脸经过旋转和平移操作与它对齐，基于检测到的特征点，利用ICP算法对所有三维人脸进行平移与粗配准。
步骤S2 ：对预处理后的三维人脸在度量空间建模（X，dx）。
    具体来说，在度量空间中将欧式距离与测地距离融合为散布距离，对预处理后的三维人脸建模（X，dx），并建立数值计算框架。
首先，基于拓扑鲁棒性测距的散布距离的理论推导，在度量空间中将预处理后的三维人脸建模为（X，dx），其距离可以独立于
Figure 4620DEST_PATH_IMAGE011
而存在，建立散布距离的数学模型。计算散布距离。
定义非负对称的邻近亲和度函数(affinity function)
Figure 333467DEST_PATH_IMAGE008
，其中点
Figure 259835DEST_PATH_IMAGE009
,均属于
Figure 552462DEST_PATH_IMAGE011
上的点。因
Figure 350653DEST_PATH_IMAGE011
为离散点集，邻近亲和度函数可表示为
Figure DEST_PATH_IMAGE047
的矩阵
Figure 487236DEST_PATH_IMAGE048
，
Figure DEST_PATH_IMAGE049
为数据点的个数，该矩阵是对称且非零。为简单起见，若点
Figure 811907DEST_PATH_IMAGE009
,间存在连接路径，则
Figure 497284DEST_PATH_IMAGE012
，否则
Figure 499875DEST_PATH_IMAGE013
。可以使
Figure 554419DEST_PATH_IMAGE048
转化为非常稀疏的矩阵，便于计算。
接下来定义：
Figure 374476DEST_PATH_IMAGE014
                                  (6)
其中，
Figure 147260DEST_PATH_IMAGE015
，为了补偿
Figure 687963DEST_PATH_IMAGE016
缺失的对称性，再令：
                  
Figure 472379DEST_PATH_IMAGE017
                          (7)可得:
                    
Figure 604283DEST_PATH_IMAGE050
                                 (8)为使算法完整，为了表示
Figure 67625DEST_PATH_IMAGE011
的非均匀采样密度，亲和度函数
Figure 67811DEST_PATH_IMAGE018
应进行归一化。
Figure 831368DEST_PATH_IMAGE019
                                   (9)
在算法设计中，简单起见，如果两个点
Figure DEST_PATH_IMAGE051
与
Figure 9539DEST_PATH_IMAGE052
是连通的，则令
Figure DEST_PATH_IMAGE053
，否则
Figure 147129DEST_PATH_IMAGE054
。在实现过程中，对于的数值计算，是一次遍历
Figure 913276DEST_PATH_IMAGE011
上的采样点
Figure 793508DEST_PATH_IMAGE009
与
Figure DEST_PATH_IMAGE055
点之间的所有路径的过程，可看作是马尔科夫过程的一次随机漫步。
Figure 887235DEST_PATH_IMAGE046
中包含的测地距离保持了人脸内在几何结构特点；不仅如此，
Figure 104589DEST_PATH_IMAGE046
还包含两点之间各种路径的距离，整体表达的是点与点之间的平均距离，即使拓扑结构发生改变造成测地距离失去鲁棒性，也不会导致
Figure 718104DEST_PATH_IMAGE046
出现较大改变，很好保持了人脸的外部几何结构与内部几何结构特性。
由此，
Figure 362712DEST_PATH_IMAGE047
的矩阵
Figure 943735DEST_PATH_IMAGE056
为
Figure 168043DEST_PATH_IMAGE011
上马尔科夫随机过程的转移矩阵，其中
Figure DEST_PATH_IMAGE057
可看作是由点
Figure 432802DEST_PATH_IMAGE009
到点
Figure 451574DEST_PATH_IMAGE010
的1步转移概率。利用马尔科夫随机过程的公式，点到点
Figure 79050DEST_PATH_IMAGE010
的步转移概率可以由矩阵表示，里面的元素
Figure DEST_PATH_IMAGE059
可以想象成以
Figure 818970DEST_PATH_IMAGE009
为中心的“隆起”，其宽度与的大小成正比。
    因此，基于拓扑鲁棒性的散布距离定义为：
Figure 354260DEST_PATH_IMAGE020
                            (10)
同样，
Figure 511572DEST_PATH_IMAGE060
可想象为两个“隆起”之间的距离。这个距离反映了点
Figure 39636DEST_PATH_IMAGE009
与点
Figure 940596DEST_PATH_IMAGE010
之间长度为
Figure 96771DEST_PATH_IMAGE058
的各种路径的连接性（即拓扑性），也就是说，如果有很多条长度为
Figure 549618DEST_PATH_IMAGE058
的路径连接点
Figure 689612DEST_PATH_IMAGE009
与点
Figure 4050DEST_PATH_IMAGE010
，那么
Figure 14732DEST_PATH_IMAGE060
的数值较小。
其次，建立数值计算框架。基于散布距离
Figure 513846DEST_PATH_IMAGE046
的理论推导，为了编程实现对
Figure 265770DEST_PATH_IMAGE046
的计算，继续对矩阵
Figure 977374DEST_PATH_IMAGE021
进行特征分解，得到
                                   (11)
其中，
Figure 373721DEST_PATH_IMAGE023
为矩阵
Figure 919103DEST_PATH_IMAGE021
的特征值（取平方值以方便计算），
Figure 33689DEST_PATH_IMAGE024
为对应的特征向量。由此推导出矩阵
Figure 548984DEST_PATH_IMAGE025
的元素：
Figure 924471DEST_PATH_IMAGE026
                               (12)
特征映射矩阵由
Figure 765388DEST_PATH_IMAGE021
的特征值和特征向量定义为：
Figure 242637DEST_PATH_IMAGE027
                                       (13)
由式(13)可将
Figure 296043DEST_PATH_IMAGE011
上的点映射到欧式空间中，问题因此容易转化为：
Figure 666982DEST_PATH_IMAGE028
                           (14)
式(14)即为我们所要求解的，以基于拓扑鲁棒性的测距为元素的度量矩阵
Figure 803434DEST_PATH_IMAGE029
。
    具体的，如图5所示，图5 为本发明所述的三维人脸的度量矩阵
Figure 892613DEST_PATH_IMAGE029
图像显示，从左到右依次为同一人的两种表情与另外一人的表情。
步骤S3 ：用离散化Hausdorff距离作为三维人脸外形匹配的相似度准则
Figure 484131DEST_PATH_IMAGE001
来计算三维人脸的相似度。具体来说，（离散化Hausdorff距离定义为度量空间内两个子集的相似度）。若和
Figure 33241DEST_PATH_IMAGE030
分别为度量空间中的两个非空子集，则
Figure 468770DEST_PATH_IMAGE011
和
Figure 395138DEST_PATH_IMAGE030
之间的Hausdorff距离被定义为：
Figure 616035DEST_PATH_IMAGE062
                      (15)
由于我们将三维人脸外形建模为散布距离构成的度量空间，三维人脸外形的匹配需要进行度量空间之间的比较而不是度量空间之内的比较，而且Hausdorff距离是被定义在连续曲面上的数值最小化的求解，在算法实现上很难处理，所以将其进行扩展并离散化处理。
以三角网格的形式表示人脸外形，两个人脸外形
Figure 969656DEST_PATH_IMAGE011
,
Figure 236689DEST_PATH_IMAGE030
均为有限的点集，在
Figure 91382DEST_PATH_IMAGE037
的数值计算框架的设计中，首先定义
Figure DEST_PATH_IMAGE063
和
Figure 697943DEST_PATH_IMAGE064
分别为
Figure 691307DEST_PATH_IMAGE011
,
Figure 976795DEST_PATH_IMAGE030
的采样点，那么可得，对应点集为 
Figure DEST_PATH_IMAGE065
,其中，
Figure 369599DEST_PATH_IMAGE066
和
Figure DEST_PATH_IMAGE067
分别为
Figure 830667DEST_PATH_IMAGE011
,
Figure 791670DEST_PATH_IMAGE030
上与
Figure 689088DEST_PATH_IMAGE031
、
Figure 964211DEST_PATH_IMAGE068
不同的采样点的集合。
需要说明的是，对应点集
Figure DEST_PATH_IMAGE069
,该集合的性质是，对于每个点
Figure 545366DEST_PATH_IMAGE070
，至少有一个点
Figure DEST_PATH_IMAGE071
使得
Figure 411690DEST_PATH_IMAGE072
；对于每个点
Figure 796404DEST_PATH_IMAGE071
，同样存在一个点
Figure 406377DEST_PATH_IMAGE070
使得
Figure 310879DEST_PATH_IMAGE072
。
接下来，对于
Figure 82526DEST_PATH_IMAGE011
上的采样点
Figure 564323DEST_PATH_IMAGE031
和
Figure 102621DEST_PATH_IMAGE032
，可构造散布距离矩阵
Figure 928811DEST_PATH_IMAGE034
，矩阵中的元素为散布距离
Figure 773270DEST_PATH_IMAGE035
，同理，对于
Figure 725046DEST_PATH_IMAGE030
，可构造矩阵
Figure 853408DEST_PATH_IMAGE036
。
最后，通过计算散布距离矩阵的失真度作为三维人脸的匹配的相似度准则
Figure 966857DEST_PATH_IMAGE037
，如下式所示：
             (16)
式中
Figure 54079DEST_PATH_IMAGE039
为
Figure 646734DEST_PATH_IMAGE040
矩阵空间上的范数。相似度的计算结果图形化显示具体的如图6所示，其中为三个人的不同表情的对比 。   
步骤S4：三维人脸识别结果判定
结合图1所示， 在三维人脸数据库中训练学习相似度匹配准则相似度，寻找最佳阈值，然后计算测试样本与数据库的训练集中的不同训练样本的，并进行比较，将最接近阈值结果的测试样本归类，得到人脸识别结果。
进一步的，图7为本发明所述的人脸识别实验的结果的ROC曲线显示图；图8为本发明所述的人脸识别实验的结果的CMC曲线显示图。
通过本发明所采用的具有拓扑鲁棒性的三维人脸识别方法，所得到的三维人脸识别算法在为参照两个数据库共229人的实验结果。其中，ROC曲线用来描述错误接受率(FAR)与错误拒绝率(FRR)之间的平衡性，在ROC曲线中可得到等错误率(EER)为4%，这样的结果介于同样规模数据库测试情况下的指纹识别(~2%)与商业二维人脸识别系统(至少2%)之间，具有很明显的优势；而CMC曲线描述的是在数据库上测试所得的识别误差，可以看出本发明所述算法的Rank-1识别错误是接近于0的。
藉此，综上所述，本发明所采用的具有拓扑鲁棒性的三维人脸识别方法，将欧式距离和测地距离的优势互补，融合成新的几何学意义上的测距——散布距离，反映曲面上两点的平均距离而非仅反映最短路径，具有拓扑鲁棒性，因此，可以令人脸的几何结构特性得以保持，再将三维人脸外形映射到散布距离构成的度量空间，避免高维到低维嵌入过程中得到的人脸表示因拓扑噪声而产生误差，将不同人脸外形通过散布距离构成的度量空间在设计好的相似度准则计算下进行匹配，从而将人脸识别问题转化为不同的人脸外形曲面的匹配问题，同时兼顾到三维人脸外部几何结构形变与内部几何结构的本质，彻底解决因表情变化及拓扑几何结构改变导致识别率降低的问题，从而能够实现真正意义上的表情不变的具有拓扑鲁棒性的三维人脸识别。
以上所述仅为本发明的优选实施例，并非因此限制其专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (8)

1.一种具有拓扑鲁棒性的三维人脸识别方法，其包括如下步骤：
S1、对测试样本及三维人脸数据库中的训练集、测试集的三维人脸数据进行预处理；首先对初始情况下的测试样本和三维人脸数据库中的三维人脸数据作剪切处理，以消除三维人脸面部区域出现的孔洞和毛刺现象的噪声点；其次，通过非线性滤波器对人脸曲线做平滑滤波处理；最后，以三维人脸中不随表情变化而改变的人脸特征如鼻尖、鼻梁顶端以及眼角作为特征点进行检测定位；
    S2、对预处理后的三维人脸在度量空间建模（X，dx）；
S3、用离散化Hausdorff距离作为三维人脸外形匹配的相似度准则                                                来计算三维人脸的相似度；
S4、三维人脸识别结果判定。
2.根据权利要求1所述的一种具有拓扑鲁棒性的三维人脸识别方法，其特征在于，步骤S1的剪切处理中采用的是三维人脸的二维纹理数据与三维坐标直方图大致性地将人脸与背景分开，并用320×240的二进制掩模图像约束人脸区域。
3.根据权利要求1所述的一种具有拓扑鲁棒性的三维人脸识别方法，其特征在于，步骤S1的消除三维人脸面部区域出现的孔洞和毛刺现象的噪声点
，采用的是计算人脸区域的像素点的深度值坐标
Figure 4034DEST_PATH_IMAGE002
的离散梯度范数
                  
Figure 2013104446248100001DEST_PATH_IMAGE003
                          (1)
将计算结果高于设定阈值的像素点作为噪声点抛弃，然后在掩模上应用形态学算子，去除非联通区域并将人脸区域独立出来，最后通过插值算法填充人脸面部区域的缺失部分。
4.根据权利要求1所述的一种具有拓扑鲁棒性的三维人脸识别方法，其特征在于，步骤S1的通过非线性滤波器对人脸曲线做平滑滤波处理的过程在求解Polyakov泛函
Figure 191432DEST_PATH_IMAGE004
的最小解求取中完成：
Figure 2013104446248100001DEST_PATH_IMAGE005
                       (2)
其中，纽曼边界约束条件为                 (5)。
5.根据权利要求1所述的一种具有拓扑鲁棒性的三维人脸识别方法，其特征在于，步骤S1的以三维人脸中不随表情变化而改变的人脸特征如鼻尖、鼻梁顶端以及眼角作为特征点进行检测定位的过程中，为保证头部旋转的不变性，采用一种基于几何曲率的特征检测算子以保证特征点可以得到准确检测区分，在检测过程中，还使用一组基于人脸面部先验知识的几何关系，如鼻梁顶端应该位于两眼之间、在鼻尖之上且有一定间隔距离来提高检测的成功率，特征检测完成后，进行对齐操作，以正面平和表情的三维人脸作为基准，其他的三维人脸经过旋转和平移操作与它对齐，基于检测到的特征点，利用ICP算法对所有三维人脸进行平移与粗配准。
6.根据权利要求1所述的一种具有拓扑鲁棒性的三维人脸识别方法，其特征在于，步骤S2的对预处理后的三维人脸在度量空间建模（X，dx）的方法是：
将预处理后的三维人脸建模为
Figure DEST_PATH_IMAGE007
；
定义非负对称的邻近亲和度函数(affinityfunction)
Figure 204574DEST_PATH_IMAGE008
，其中点
Figure DEST_PATH_IMAGE009
,均属于
Figure DEST_PATH_IMAGE011
上的点，若点
Figure 453338DEST_PATH_IMAGE009
,
Figure 293118DEST_PATH_IMAGE010
间存在连接路径，则
Figure 180303DEST_PATH_IMAGE012
，否则
Figure DEST_PATH_IMAGE013
；
接下来定义：
Figure 190853DEST_PATH_IMAGE014
                                  (6)
其中，
Figure DEST_PATH_IMAGE015
，为了补偿
Figure 454475DEST_PATH_IMAGE016
缺失的对称性，再令：
Figure DEST_PATH_IMAGE017
                             (7)
归一化得：
                                   (9)
因此，基于拓扑鲁棒性的散布距离定义为：
Figure 518432DEST_PATH_IMAGE020
                            (10)
继续对矩阵
Figure DEST_PATH_IMAGE021
进行特征分解，得到
Figure 501432DEST_PATH_IMAGE022
                                   (11)
    其中，
Figure DEST_PATH_IMAGE023
为矩阵
Figure 552433DEST_PATH_IMAGE021
的特征值（取平方值以方便计算），
Figure 632385DEST_PATH_IMAGE024
为对应的特征向量；
由此推导出矩阵
Figure DEST_PATH_IMAGE025
的元素：
Figure 126951DEST_PATH_IMAGE026
                               (12)
特征映射矩阵由
Figure 925143DEST_PATH_IMAGE021
的特征值和特征向量定义为：
                                       (13)
由式(13)可将
Figure 514256DEST_PATH_IMAGE011
上的点映射到欧式空间中，问题因此容易转化为：
Figure 714293DEST_PATH_IMAGE028
                           (14)
式(14)即为我们所要求解的，以基于拓扑鲁棒性的测距为元素的度量矩阵
Figure DEST_PATH_IMAGE029
。
7.根据权利要求1所述的一种具有拓扑鲁棒性的三维人脸识别方法，其特征在于，步骤S3的用离散化Hausdorff距离作为三维人脸外形匹配的相似度准则
Figure 379761DEST_PATH_IMAGE001
来计算三维人脸的相似度的方法为：
两个人脸外形
Figure 399669DEST_PATH_IMAGE011
,
Figure 58053DEST_PATH_IMAGE030
均为有限的点集，对于
Figure 112596DEST_PATH_IMAGE011
上的采样点
Figure DEST_PATH_IMAGE031
和
Figure 683386DEST_PATH_IMAGE032
，可构造
Figure DEST_PATH_IMAGE033
散布距离矩阵
Figure 456170DEST_PATH_IMAGE034
，矩阵中的元素为散布距离
Figure DEST_PATH_IMAGE035
，同理，对于
Figure 195542DEST_PATH_IMAGE030
，可构造矩阵
Figure 573434DEST_PATH_IMAGE036
；
通过计算散布距离矩阵的失真度作为三维人脸的匹配的相似度准则
Figure DEST_PATH_IMAGE037
，如下式所示：
Figure 111863DEST_PATH_IMAGE038
             (16)
式(16)中
Figure DEST_PATH_IMAGE039
为
Figure 230997DEST_PATH_IMAGE040
矩阵空间上的范数。
8. 根据权利要求1所述的一种具有拓扑鲁棒性的三维人脸识别方法，其特征在于，对于步骤S4的三维人脸识别结果判定的方法为：首先在三维人脸数据库中训练学习相似度匹配准则相似度
Figure 106550DEST_PATH_IMAGE037
，寻找最佳阈值，然后计算测试样本与数据库的训练集中的不同训练样本的，并进行比较，将最接近阈值结果的测试样本归类，得到人脸识别结果。
CN201310444624.8A 2013-09-16 2013-09-26 一种具有拓扑鲁棒性的三维人脸识别方法 Pending CN103489011A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310444624.8A CN103489011A (zh) 2013-09-16 2013-09-26 一种具有拓扑鲁棒性的三维人脸识别方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201310422269 2013-09-16
CN201310422269.4 2013-09-16
CN201310444624.8A CN103489011A (zh) 2013-09-16 2013-09-26 一种具有拓扑鲁棒性的三维人脸识别方法

Publications (1)

Publication Number Publication Date
CN103489011A true CN103489011A (zh) 2014-01-01

Family

ID=49829217

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310444624.8A Pending CN103489011A (zh) 2013-09-16 2013-09-26 一种具有拓扑鲁棒性的三维人脸识别方法

Country Status (1)

Country Link
CN (1) CN103489011A (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105868727A (zh) * 2016-04-08 2016-08-17 青岛大学 一种三维人脸相似性度量方法
CN106156740A (zh) * 2016-07-05 2016-11-23 张宁 民航机场候机楼人脸快速识别系统
CN106372629A (zh) * 2016-11-08 2017-02-01 汉王科技股份有限公司 一种活体检测方法和装置
CN109086724A (zh) * 2018-08-09 2018-12-25 北京华捷艾米科技有限公司 一种加速的人脸检测方法及存储介质
CN109523461A (zh) * 2018-11-09 2019-03-26 北京达佳互联信息技术有限公司 显示目标图像的方法、装置、终端及存储介质
CN109690555A (zh) * 2016-09-20 2019-04-26 苹果公司 基于曲率的脸部检测器
CN111476175A (zh) * 2020-04-09 2020-07-31 上海看看智能科技有限公司 适用于老年人脸比对的自适应拓扑图匹配方法及系统
CN111488853A (zh) * 2020-04-23 2020-08-04 杨九妹 金融机构安防系统的大数据人脸识别方法、系统及机器人
CN114155139A (zh) * 2021-11-23 2022-03-08 山东省人工智能研究院 一种基于向量离散化表示的deepfake生成方法
CN115830762A (zh) * 2023-01-17 2023-03-21 四川三思德科技有限公司 一种平安社区出入口管控平台、管控方法及管控终端

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101315665A (zh) * 2008-06-27 2008-12-03 浙江大学 一种基于三维鼻形的身份识别方法
US7542624B1 (en) * 2005-06-08 2009-06-02 Sandia Corporation Window-based method for approximating the Hausdorff in three-dimensional range imagery
CN102592136A (zh) * 2011-12-21 2012-07-18 东南大学 基于几何图像中中频信息的三维人脸识别方法
CN103198292A (zh) * 2011-12-20 2013-07-10 苹果公司 人脸特征向量构建
CN103246875A (zh) * 2013-05-09 2013-08-14 东南大学 一种基于面部曲线弹性匹配的三维人脸识别方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7542624B1 (en) * 2005-06-08 2009-06-02 Sandia Corporation Window-based method for approximating the Hausdorff in three-dimensional range imagery
CN101315665A (zh) * 2008-06-27 2008-12-03 浙江大学 一种基于三维鼻形的身份识别方法
CN103198292A (zh) * 2011-12-20 2013-07-10 苹果公司 人脸特征向量构建
CN102592136A (zh) * 2011-12-21 2012-07-18 东南大学 基于几何图像中中频信息的三维人脸识别方法
CN103246875A (zh) * 2013-05-09 2013-08-14 东南大学 一种基于面部曲线弹性匹配的三维人脸识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王跃明 等: ""三维人脸识别研究综述"", 《计算机辅助设计与图形学学报》 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105868727A (zh) * 2016-04-08 2016-08-17 青岛大学 一种三维人脸相似性度量方法
CN105868727B (zh) * 2016-04-08 2019-06-21 青岛大学 一种三维人脸相似性度量方法
CN106156740B (zh) * 2016-07-05 2019-06-28 张宁 民航机场候机楼人脸快速识别系统
CN106156740A (zh) * 2016-07-05 2016-11-23 张宁 民航机场候机楼人脸快速识别系统
CN109690555B (zh) * 2016-09-20 2023-02-07 苹果公司 基于曲率的脸部检测器
CN109690555A (zh) * 2016-09-20 2019-04-26 苹果公司 基于曲率的脸部检测器
CN106372629A (zh) * 2016-11-08 2017-02-01 汉王科技股份有限公司 一种活体检测方法和装置
CN109086724A (zh) * 2018-08-09 2018-12-25 北京华捷艾米科技有限公司 一种加速的人脸检测方法及存储介质
CN109523461A (zh) * 2018-11-09 2019-03-26 北京达佳互联信息技术有限公司 显示目标图像的方法、装置、终端及存储介质
CN111476175A (zh) * 2020-04-09 2020-07-31 上海看看智能科技有限公司 适用于老年人脸比对的自适应拓扑图匹配方法及系统
CN111488853A (zh) * 2020-04-23 2020-08-04 杨九妹 金融机构安防系统的大数据人脸识别方法、系统及机器人
CN114155139A (zh) * 2021-11-23 2022-03-08 山东省人工智能研究院 一种基于向量离散化表示的deepfake生成方法
CN115830762A (zh) * 2023-01-17 2023-03-21 四川三思德科技有限公司 一种平安社区出入口管控平台、管控方法及管控终端

Similar Documents

Publication Publication Date Title
CN103489011A (zh) 一种具有拓扑鲁棒性的三维人脸识别方法
CN106682598B (zh) 一种基于级联回归的多姿态的人脸特征点检测方法
WO2017219391A1 (zh) 一种基于三维数据的人脸识别系统
McLean et al. Vanishing point detection by line clustering
Nair et al. 3-D face detection, landmark localization, and registration using a point distribution model
CN101261677B (zh) 人脸的特征提取方法
Mpiperis et al. 3-D face recognition with the geodesic polar representation
CN106778468B (zh) 3d人脸识别方法及设备
CN102622587B (zh) 基于多尺度二阶微分结构模型及改进分水岭算法的手背静脉识别方法
CN109815850A (zh) 基于深度学习的虹膜图像分割及定位方法、系统、装置
CN106407985B (zh) 一种三维人体头部点云特征提取方法及其装置
CN108681737B (zh) 一种复杂光照下图像特征提取方法
Weber et al. Methods for feature detection in point clouds
CN106778474A (zh) 3d人体识别方法及设备
CN109902585B (zh) 一种基于图模型的手指三模态融合识别方法
CN111507206B (zh) 一种基于多尺度局部特征融合的手指静脉识别方法
CN103632132A (zh) 一种基于肤色分割和模板匹配的人脸检测与识别方法
CN101359365A (zh) 一种基于最大类间方差和灰度信息的虹膜定位方法
CN101246544A (zh) 一种基于边界点搜索和susan边缘检测的虹膜定位方法
CN109446895A (zh) 一种基于人体头部特征的行人识别方法
CN104299003A (zh) 一种基于相似规则高斯核函数分类器的步态识别方法
Pan et al. 3D face recognition from range data
CN106611158A (zh) 人体3d特征信息的获取方法及设备
CN106778489A (zh) 人脸3d特征身份信息库的建立方法及设备
CN108108737A (zh) 基于多特征融合的闭环检测系统及方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20140101

RJ01 Rejection of invention patent application after publication