CN105404883B - 一种异质三维人脸识别方法 - Google Patents

一种异质三维人脸识别方法 Download PDF

Info

Publication number
CN105404883B
CN105404883B CN201511025575.XA CN201511025575A CN105404883B CN 105404883 B CN105404883 B CN 105404883B CN 201511025575 A CN201511025575 A CN 201511025575A CN 105404883 B CN105404883 B CN 105404883B
Authority
CN
China
Prior art keywords
dimensional face
geometric properties
textural characteristics
resampling
heterogeneous
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201511025575.XA
Other languages
English (en)
Other versions
CN105404883A (zh
Inventor
赵启军
陈虎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Chuanda Zhisheng Software Co Ltd
Original Assignee
Sichuan Chuanda Zhisheng Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Chuanda Zhisheng Software Co Ltd filed Critical Sichuan Chuanda Zhisheng Software Co Ltd
Priority to CN201511025575.XA priority Critical patent/CN105404883B/zh
Publication of CN105404883A publication Critical patent/CN105404883A/zh
Application granted granted Critical
Publication of CN105404883B publication Critical patent/CN105404883B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种异质三维人脸识别方法，包括：对第一三维人脸采集设备采集到的第一三维人脸数据进行重采样，提取所述第一三维人脸数据的第一几何特征和第一纹理特征；对第二三维人脸采集设备采集到的第二三维人脸数据进行重采样，提取所述第二三维人脸数据的第二几何特征和第二纹理特征；其中，所述步骤一和步骤二不分先后顺序；对所述第一几何特征和第二几何特征进行几何特征比对，对所述第一纹理特征和第二纹理特征进行纹理特征比对；根据所述几何特征比对结果和所述纹理特征比对结果，将两者融合得到最终的比对识别结果。

Description

一种异质三维人脸识别方法
技术领域
本发明涉及人脸识别领域，特别涉及一种异质三维人脸识别方法。
背景技术
人脸识别技术在众多的生物特征识别技术中和人类在日常生活中进行身份识别的手段最为接近，因此也最容易为人们所接受，具有广阔的应用前景。
目前，二维人脸识别已经在包括考勤、门禁以及公安的静态照片比对等方面取得了成功的应用，但是由于人脸作为一种三维物体，在投影成二维图像的过程中丢失了大量信息，二维人脸识别在处理姿态等变化方面具有很大的缺陷，而三维人脸识别则能够很好地解决上述问题。此外，三维人脸识别与二维人脸识别相比在防伪方面也具有天然的优势。因此，三维人脸识别近年来获得了越来越多的关注，一些商用的三维人脸识别系统(如Artec公司的Broadway产品)也已成功面世。
现有的三维人脸识别系统具有如下特点：用于注册和识别的三维人脸设备是同一种甚至是同一台设备。然而，在实际应用中，不同组织或者机构、或者同一组织机构在不同时期使用的三维人脸测量设备很可能是不同的，亦或三维人脸测量设备升级换代，所有这些都可能造成三维人脸数据的密度或精度发生变化。传统的三维人脸识别方法，因为是为同源的三维人脸数据设计的，所以并不适用于这类情况下的异质三维人脸数据，其识别率会发生明显下降。
发明内容
本发明的目的在于克服现有技术中所存在的上述不足，提供一种异质三维人脸识别方法，其针对异质三维人脸数据之间的比对识别且识别率明显提高，从而大大拓宽了三维人脸识别的应用范围。
为了实现上述发明目的，本发明采用的技术方案是：
一种异质三维人脸识别方法，包括：
步骤一、对第一三维人脸采集设备采集到的第一三维人脸数据进行重采样，提取所述第一三维人脸数据的第一几何特征和第一纹理特征；
步骤二、对第二三维人脸采集设备采集到的第二三维人脸数据进行重采样，提取所述第二三维人脸数据的第二几何特征和第二纹理特征；其中，所述步骤一和步骤二不分先后顺序；
步骤三、对所述第一几何特征和第二几何特征进行几何特征比对，对所述第一纹理特征和第二纹理特征进行纹理特征比对；
步骤四、根据所述几何特征比对结果和所述纹理特征比对结果，将两者融合得到最终的比对识别结果。
步骤一和二中对三维人脸数据进行重采样，以消除或降低待比对的异质三维人脸数据密度和精度差异对识别的影响。
进一步的，步骤一和步骤二中对三维人脸数据进行重采样包括密度重采样的步骤，具体为：
将三维人脸数据三角网格化；
选取三维人脸中至少3个特征点为参照点，通过相似变换将三维人脸数据进行对齐；
按照预设的点云密度进行重采样。
进一步的，步骤一和步骤二中对三维人脸数据进行重采样包括精度重采样的步骤，具体为：
对三维人脸数据的深度值进行再量化，将量化后的深度值按照指定量化间隔dz取值。
进一步的，所述第一几何特征、第二几何特征为三维人脸姿态及表情鲁棒几何特征。
进一步的，所述第一纹理特征、第二纹理特征为三维人脸姿态及表情鲁棒纹理特征。
步骤三具体为：
根据提取的三维人脸几何特征，计算第一三维人脸和第二三维人脸之间的相似度；
根据提取的三维人脸纹理特征，计算第一三维人脸和第二三维人脸之间的相似度。
所述步骤四中采用相似度融合或者决策融合方式，将所述几何特征比对结果和所述纹理特征比对结果融合得到最终的比对识别结果。
与现有技术相比，本发明的有益效果：
本发明通过对三维人脸数据的重采样，一方面使得待比对的异质三维人脸数据的密度相同，另一方面消除或降低两者之间的精度差异，从而增强了异质三维人脸数据之间的可比性，有效提高识别率。
附图说明：
图1是本发明实施例中的结构示意图。
具体实施方式
下面结合具体实施方式对本发明作进一步的详细描述。但不应将此理解为本发明上述主题的范围仅限于以下的实施例，凡基于本发明内容所实现的技术均属于本发明的范围。
本发明的一种异质三维人脸识别方法，包括：
步骤一：对第一三维人脸采集设备采集到的第一三维人脸数据进行重采样，提取所述第一三维人脸数据的第一几何特征和第一纹理特征；
步骤二：对第二三维人脸采集设备采集到的第二三维人脸数据进行重采样，提取所述第二三维人脸数据的第二几何特征和第二纹理特征；其中，所述步骤一和步骤二不分先后顺序，而第一三维人脸采集设备和第二人脸采集设备中的一个影射注册信息采集设备(如一个企业中用于采集各个员工的人脸信息用于储存对比的设备)，另一个影射现场识别信息采集设备(如企业中每天用于采集上班员工的人脸图像与储存的人脸信息进行对比的设备)；
步骤三：对所述第一几何特征和第二几何特征进行几何特征比对，对所述第一纹理特征和第二纹理特征进行纹理特征比对；
步骤四：根据所述几何特征比对结果和所述纹理特征比对结果，将两者融合得到最终的比对识别结果，判断第一三维人脸数据和第二三维人脸数据是否为同一个人。
步骤一和二中具体提取三维人脸姿态及表情鲁棒的几何特征。
步骤一和二中具体提取三维人脸姿态及表情鲁棒的纹理特征。
步骤三具体为：根据提取的三维人脸几何特征，计算第一三维人脸和第二三维人脸之间的相似度；根据提取的三维人脸纹理特征，计算第一三维人脸和第二三维人脸之间的相似度。
所述步骤四中采用相似度融合或者决策融合方式，将所述几何特征比对结果和所述纹理特征比对结果融合得到最终的比对识别结果。
以下对关键步骤逐一进行具体描述。
S001：三维人脸数据重采样
本实施例中，重采样同时包含密度重采样和精度重采样两个部分：
第一部分，密度重采样。首先将三维人脸数据三角网格化，然后检测双眼眼角、鼻尖和左右嘴角等7个特征点，并以这7个特征点为参照点，通过相似变换将三维人脸数据进行对齐，最后按照设定的点云密度进行重采样，使得输入的三维人脸数据具有指定的点云密度(如每毫米采样1个点)。经密度重采样后，不同三维人脸数据的点云之间建立点对点的一一对应关系；事实上，本步骤中，可以从常见的双眼左右眼角、瞳孔中心、鼻尖、左右嘴角这些常见特征点中任选至少三个不在同一直线上的特征点作为参考点，参考点选取的越多，分布的越分散，则重采样效果越好。
优选的，点云密度可在3000-10000之间指定。
第二部分，精度重采样。对异质三维人脸数据的深度值(即Z坐标，通常将人脸的左右、上下规定为X、Y坐标，而人脸的前后规定为Z坐标)分别进行再量化，量化后深度值按指定的量化间隔dz(如1毫米)取值。经精度重采样后，三维人脸数据的深度值为(k×dz)，其中k为正整数。
优选的，量化间隔dz的取值范围为0.5-1.5毫米。
S002：三维人脸几何特征提取:
提取三维人脸姿态及表情鲁棒的几何特征，比如特征点邻域内曲面的曲率、自旋图像(Spin Images)或深度图(Range Images)等，构成几何特征向量FG。
S003：三维人脸纹理特征提取
提取三维人脸姿态及表情鲁棒的纹理特征，比如在人脸特征点周围选取邻域块，然后对该区域内的点根据其纹理值计算纹理特征(如局部二值模式LBP、尺度不变特征SIFT或Gabor特征等)，得到纹理特征向量FT。
S004：三维人脸几何特征比对
根据提取的三维人脸几何特征，计算第一三维人脸和第二三维人脸之间的相似度。假设第一三维人脸和第二三维人脸的几何特征分别为和利用通过监督学习，如线性判别分析(Linear Discriminant Analysis)、和线性判别分析(Kernel LinearDiscriminant Analysis)或有监督局部保持映射(Supervised Locality PreservingProjections)等，得到的特征变换矩阵TG将它们变换到新的特征空间，然后再利用合适的距离测度和分类器计算它们之间的相似度(相似度越高表示两越有可能属于同一个人)其中MG通过利用测度学习方法，如相关成分分析(Relevant Components Analysis)、邻域成分分析(Neighborhood Component Analysis)或大边界近邻分类器(Large Margin Nearest Neighbor Classifier)等，学习得到。
S005：三维人脸纹理特征比对
根据提取的三维人脸纹理特征，计算第一三维人脸和第二三维人脸之间的相似度。假设第一三维人脸和第二三维人脸的纹理特征分别为和利用通过监督学习得到的特征变换矩阵TT将它们变换到新的特征空间，然后再利用合适的距离测度和分类器计算它们之间的相似度(相似度越高表示两越有可能属于同一个人)其中MT通过利用测度学习方法学习得到。。
S006：三维人脸比对结果融合
根据几何特征和纹理特征的比对结果，将两者进行融合。具体实施时，可以采用相似度融合或者决策融合【A.Ross,K.Nandakumar,and A.K.Jain.Handbook ofMultibiometrics.Springer,2006】，得到最终的比对识别结果。
本发明跟现有技术相比，有如下优点：
通过对三维人脸数据的密度和精度的重采样提高异质三维人脸数据之间的可比性。
具有更广的应用范围，能有效利用不同三维测量设备采集的三维人脸数据。
上面结合附图对本发明的具体实施方式进行了详细说明，但本发明并不限制于上述实施方式，在不脱离本申请的权利要求的精神和范围情况下，本领域的技术人员可以作出各种修改或改型。

Claims (7)

1.一种异质三维人脸识别方法，其特征在于，包括：
步骤一、对第一三维人脸采集设备采集到的第一三维人脸数据进行重采样，提取所述第一三维人脸数据的第一几何特征和第一纹理特征；
步骤二、对第二三维人脸采集设备采集到的第二三维人脸数据进行重采样，提取所述第二三维人脸数据的第二几何特征和第二纹理特征；其中，所述步骤一和步骤二不分先后顺序；
步骤三、对所述第一几何特征和第二几何特征进行几何特征比对，对所述第一纹理特征和第二纹理特征进行纹理特征比对；
步骤四、根据所述几何特征比对结果和所述纹理特征比对结果，将两者融合得到最终的比对识别结果。
2.根据权利要求1所述的异质三维人脸识别方法，其特征在于，步骤一和步骤二中对三维人脸数据进行重采样包括密度重采样的步骤，具体为：
将三维人脸数据三角网格化；
选取三维人脸中至少3个特征点为参照点，通过相似变换将三维人脸数据进行对齐；
按照预设的点云密度进行重采样。
3.根据权利要求1所述的异质三维人脸识别方法，其特征在于，步骤一和步骤二中对三维人脸数据进行重采样包括精度重采样的步骤，具体为：
对三维人脸数据的深度值进行再量化，将量化后的深度值按照指定量化间隔取值。
4.根据权利要求1所述的异质三维人脸识别方法，其特征在于，所述第一几何特征、第二几何特征为三维人脸姿态及表情鲁棒几何特征。
5.根据权利要求1所述的异质三维人脸识别方法，其特征在于，所述第一纹理特征、第二纹理特征为三维人脸姿态及表情鲁棒纹理特征。
6.根据权利要求1所述的异质三维人脸识别方法，其特征在于，步骤三具体为：
根据提取的三维人脸几何特征，计算第一三维人脸和第二三维人脸之间的相似度；
根据提取的三维人脸纹理特征，计算第一三维人脸和第二三维人脸之间的相似度。
7.根据权利要求1所述的异质三维人脸识别方法，其特征在于，所述步骤四中采用相似度融合或者决策融合方式，将所述几何特征比对结果和所述纹理特征比对结果融合得到最终的比对识别结果。
CN201511025575.XA 2015-12-30 2015-12-30 一种异质三维人脸识别方法 Active CN105404883B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201511025575.XA CN105404883B (zh) 2015-12-30 2015-12-30 一种异质三维人脸识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201511025575.XA CN105404883B (zh) 2015-12-30 2015-12-30 一种异质三维人脸识别方法

Publications (2)

Publication Number Publication Date
CN105404883A CN105404883A (zh) 2016-03-16
CN105404883B true CN105404883B (zh) 2018-08-14

Family

ID=55470360

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201511025575.XA Active CN105404883B (zh) 2015-12-30 2015-12-30 一种异质三维人脸识别方法

Country Status (1)

Country Link
CN (1) CN105404883B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107871103B (zh) * 2016-09-23 2021-10-19 北京眼神科技有限公司 一种人脸认证方法和装置
CN107871105B (zh) * 2016-09-26 2021-10-19 北京眼神科技有限公司 一种人脸认证方法和装置
CN107273840A (zh) * 2017-06-08 2017-10-20 天津大学 一种基于现实世界图像的面部识别方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070019083A1 (en) * 2005-07-11 2007-01-25 Fuji Photo Film Co., Ltd. Image capturing apparatus, photograph quantity management method, and photograph quantity management program
CN101510257A (zh) * 2009-03-31 2009-08-19 华为技术有限公司 一种人脸相似度匹配方法及装置
CN102930537A (zh) * 2012-10-23 2013-02-13 深圳市宜搜科技发展有限公司 一种图像检测方法及系统
CN104573634A (zh) * 2014-12-16 2015-04-29 苏州福丰科技有限公司 一种三维人脸识别方法
CN104599325A (zh) * 2013-10-30 2015-05-06 中国科学院苏州纳米技术与纳米仿生研究所 一种三维人脸重采样方法
CN104636730A (zh) * 2015-02-10 2015-05-20 北京信息科技大学 人脸验证的方法和装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070019083A1 (en) * 2005-07-11 2007-01-25 Fuji Photo Film Co., Ltd. Image capturing apparatus, photograph quantity management method, and photograph quantity management program
CN101510257A (zh) * 2009-03-31 2009-08-19 华为技术有限公司 一种人脸相似度匹配方法及装置
CN102930537A (zh) * 2012-10-23 2013-02-13 深圳市宜搜科技发展有限公司 一种图像检测方法及系统
CN104599325A (zh) * 2013-10-30 2015-05-06 中国科学院苏州纳米技术与纳米仿生研究所 一种三维人脸重采样方法
CN104573634A (zh) * 2014-12-16 2015-04-29 苏州福丰科技有限公司 一种三维人脸识别方法
CN104636730A (zh) * 2015-02-10 2015-05-20 北京信息科技大学 人脸验证的方法和装置

Also Published As

Publication number Publication date
CN105404883A (zh) 2016-03-16

Similar Documents

Publication Publication Date Title
Emambakhsh et al. Nasal patches and curves for expression-robust 3D face recognition
Pflug et al. Ear biometrics: a survey of detection, feature extraction and recognition methods
CN108182397B (zh) 一种多姿态多尺度的人脸验证方法
Hoiem et al. 3d layoutcrf for multi-view object class recognition and segmentation
Iqtait et al. Feature extraction for face recognition via active shape model (ASM) and active appearance model (AAM)
CN106897675A (zh) 双目视觉深度特征与表观特征相结合的人脸活体检测方法
Islam et al. Multibiometric human recognition using 3D ear and face features
CN104268539A (zh) 一种高性能的人脸识别方法及系统
CN108734087A (zh) 物体自动识别方法以及系统、购物设备和存储介质
Wang et al. Head pose estimation with combined 2D SIFT and 3D HOG features
CN106599785B (zh) 人体3d特征身份信息库的建立方法及设备
CN106778468A (zh) 3d人脸识别方法及设备
CN103218609A (zh) 一种基于隐最小二乘回归的多姿态人脸识别方法及其装置
CN106778489A (zh) 人脸3d特征身份信息库的建立方法及设备
KR101174048B1 (ko) 객체 인식 장치 및 객체 인식 방법
Song et al. Robust 3D face landmark localization based on local coordinate coding
CN105404883B (zh) 一种异质三维人脸识别方法
CN106611158A (zh) 人体3d特征信息的获取方法及设备
Russ et al. 3D facial recognition: a quantitative analysis
CN106778491B (zh) 人脸3d特征信息的获取方法及设备
CN110969101A (zh) 一种基于hog和特征描述子的人脸检测与跟踪方法
Ming et al. A unified 3D face authentication framework based on robust local mesh SIFT feature
Vezzetti et al. Application of geometry to rgb images for facial landmark localisation-a preliminary approach
Wang Research on facial feature-based gender intelligent recognition based on the Adaboost algorithm
Liu et al. Recognizing occluded 3D faces using an efficient ICP variant

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant