CN105354555B - 一种基于概率图模型的三维人脸识别方法 - Google Patents

一种基于概率图模型的三维人脸识别方法 Download PDF

Info

Publication number
CN105354555B
CN105354555B CN201510791474.7A CN201510791474A CN105354555B CN 105354555 B CN105354555 B CN 105354555B CN 201510791474 A CN201510791474 A CN 201510791474A CN 105354555 B CN105354555 B CN 105354555B
Authority
CN
China
Prior art keywords
dimensional face
dimensional
probability graph
graph model
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510791474.7A
Other languages
English (en)
Other versions
CN105354555A (zh
Inventor
周大可
陈志轩
杨欣
黄经纬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Aeronautics and Astronautics
Original Assignee
Nanjing University of Aeronautics and Astronautics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Aeronautics and Astronautics filed Critical Nanjing University of Aeronautics and Astronautics
Priority to CN201510791474.7A priority Critical patent/CN105354555B/zh
Publication of CN105354555A publication Critical patent/CN105354555A/zh
Application granted granted Critical
Publication of CN105354555B publication Critical patent/CN105354555B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • G06V40/171Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于概率图模型的三维人脸识别方法,该方法利用三维测地线确定特征点模型并对待测三维人脸的特征点进行定位;利用Gabor小波提取特征点邻域特征;构建“弹性的”三维人脸概率图模型,利用概率图模型对三维人脸进行分类识别。本方法具有较高的识别精度,尤其对于人脸的表情变化具有较强的鲁棒性,并具有较低的计算复杂度。这对人脸识别的研究与实际应用的开发都具有重要的理论与实际意义。

Description

一种基于概率图模型的三维人脸识别方法
技术领域
本发明涉及一种基于概率图模型的三维人脸识别方法,具体涉及一种通过对三维人脸进行概率图建模从而对三维人脸进行有效识别的方法,属于计算机图形学、数字图像处理以及人工智能技术领域。
背景技术
人脸识别不管是在国家安全、军事安全和公共安全领域,还是在民事和经济领域、家庭娱乐等领域,都有着重要的应用前景和实用价值。相比于二维人脸而言,三维人脸更能适应光照、视角与遮挡等因素的影响,使得人脸信息更为丰富准确。
目前,大多数主流的三维人脸识别算法从几何特征、局部特征以及整体特征出发,对三维人脸进行识别。其中,表情变化造成人脸肌肉的伸展收缩对三维人脸识别造成了不小的困难,表情的变化在一定程度上增大了类内间距,影响了识别率。已有部分学者针对表情不变的三维人脸展开研究,文献(Berretti S,Bimbo A D,Pala P.3D face recognitionusing isogeodesic stripes[J].IEEE TPAMI2010,32(12):2162-2177)提出了一种基于测地线的特征提取,以鼻尖点为中心,建立等距的测地线模型,通过测地线的稳健性,在一定程度上克服表情变化的干扰。文献(Nazari S,Moin M S.Face recognition using globaland localGabor features[C].ICEE 2013:1-4)提出采用Gabor提取特征点的方法,由于Gabor变换对光照变化不敏感,且能容忍一定程度的图像旋转和变形,在丰富了特征点信息的同时,数据信息更加完备,致使提取更为鲁棒的人脸描述。不过,人脸器官间的相对联系,也是影响人脸表情的主要因素。文献(Koller D,Friedman N.Probabilistic graphicalmodels:principles and techniques[M].MIT press,2009)提出了概率图模型,概率图模型能简洁有效地表示变量间的相互关系,为不确定性推理体系提供强有力的工具,近年来已成为人工智能和机器学习的热门研究领域。目前,概率图模型已在图像分析、生物医学和计算机科学等多个领域成功应用,其结合图论与概率论来紧凑地描述多元统计关系,对于图像分类尤其是三维人脸识别有着广泛的应用前景。
发明内容
本发明所要解决的技术问题是:提供一种基于概率图模型的三维人脸识别方法,对人脸各个器官之间的联系作出有效分析,从而对人脸进行识别,具有较高的识别精度和较小的计算复杂度。
本发明为解决上述技术问题采用以下技术方案:
一种基于概率图模型的三维人脸识别方法,包括如下步骤:
步骤1,获取待测三维人脸图像以及样本库中所有三维人脸样本图像,并对待测三维人脸图像进行归一化预处理;
步骤2,求取样本库中所有三维人脸样本图像的三维平均脸图像,在三维平均脸图像上选择多个特征点和一个基准点,计算各特征点到基准点的测地线距离,并根据测地线距离建立特征点模型,利用特征点模型定位待测三维人脸图像上的特征点;
步骤3,利用Gabor滤波器提取各三维人脸样本图像和待测三维人脸图像上特征点的邻域特征;
步骤4,根据步骤3得到的邻域特征对样本库中各三维人脸样本图像和待测三维人脸图像分别建立概率图模型;
步骤5,根据步骤4得到的概率图模型计算待测三维人脸图像与样本库中各三维人脸样本图像之间的相似度,根据相似度对待测三维人脸图像进行识别。
优选的,步骤1所述归一化预处理包括:姿态矫正、点云去噪以及平滑处理。
优选的,步骤2所述基准点为鼻尖点。
优选的,步骤4所述建立概率图模型的方法为:利用无向图G=(X,E)表示概率图模型,其中,X表示邻域特征,E表示邻域特征之间的变换矩阵。
优选的,步骤5所述待测三维人脸图像与样本库中各三维人脸样本图像之间的相似度的计算公式为:Ssum=SX(XI,XB)+wSE(EI,EB),其中,Ssum表示相似度,SX表示XI与XB之间的相似度,XI表示待测三维人脸图像的邻域特征,XB表示样本库中任意三维人脸样本图像的邻域特征;SE表示EI与EB之间的相似度,EI表示邻域特征XI之间的变换矩阵,EB表示邻域特征XB之间的变换矩阵,w表示权重。
本发明采用以上技术方案与现有技术相比,具有以下技术效果:
1、本发明基于概率图模型的三维人脸识别方法,利用三维测地线模型来确定特征点,在一定程度上克服了表情的影响,并可以在短时间内确定三维人脸的特征点模型,为后续人脸建模做好准备。
2、本发明基于概率图模型的三维人脸识别方法,采用Gabor滤波提取特征点的邻域特征,丰富特征点的信息,可产生鲁棒的人脸描述;Gabor小波变换核函数具有与人类大脑皮层简单细胞的二维反射区相同的特性,即能够捕捉到对应于空间频率(尺度)、空间位置及方向选择性的局部结构信息,广泛地应用于图像分析和理解领域。Gabor小波函数具有空间局部性、频率选择性以及方向选择性等特点,可以有效表述人脸局部区域的频率方向信息的Gabor特征,是人脸图像分析和描述中的一个有效工具。
3、本发明基于概率图模型的三维人脸识别方法,利用概率图模型对人脸进行描述和识别,不是孤立地利用各个器官的数值特征,而是把这些特征和特征之间的影响联系起来,提高了对于表情变化的鲁棒性,同时在匹配上减小计算复杂度。
附图说明
图1是本发明三维人脸的概率图模型的结构示意图。
图2是本发明基于概率图模型的三维人脸识别方法的流程图。
具体实施方式
下面详细描述本发明的实施方式,所述实施方式的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的,仅用于解释本发明,而不能解释为对本发明的限制。
如图2所示,本发明主要涉及三维人脸概率图模型的建模及模型匹配这两个阶段,主要实施过程如下:
1、原始三维人脸数据包含头发、耳朵等一系列无关器官,姿态各异,且含有部分噪点。因此,首先以鼻尖点为基准切割出人脸大致轮廓;接着,基于轴角描述的方法调整姿态将三维人脸进行配准;然后,针对三维人脸表面形状特性,通过Delaunay三角剖分法实现人脸的网格化处理。最后,对人脸表面的噪点采用基于人脸网格的平滑方法对面部数据进行平滑处理,从而完成对所有三维人脸数据的归一化处理。
2、样本库中的人脸表情各异,由于性别、年龄等因素造成的固有差异也很大,如果直接对每一副人脸提取特征,计算代价太大。因此,我们将样本库中所有的三维人脸训练样本构成“图束”,对“图束”求取三维平均脸,这样一来,每一个器官也是由各类变化构成的一个“综合性”器官。例如,对一个眼睛构成的“图束”而言,包括了睁眼闭眼等各类条件下的眼睛状态。
3、在“平均脸”模型上选择一些较为刚性的特征点,本发明选取内外眼角点、鼻尖点、鼻基点、左右鼻翼点、嘴角点以及额头和下巴附近的点作为特征点。计算各特征点到基准点(鼻尖点)的测地线距离,建立三维人脸的特征点模型。鼻尖点是人脸三维模型中容易确定且对表情变化鲁棒的点,测地线距离对于表情变化具有较强的鲁棒性。因此,利用此特征点模型可以快速定位测试三维人脸上的特征点,并且产生的模型在形状特征上具有一致性,便于后续处理。测地线具有良好的几何不变性,特别是对表情变化等表面变形,具有测地线距离不变的特性。
4、使用Gabor滤波器提取特征点的邻域特征。二维Gabor小波变换能够捕捉对应于空间位置、空间频率以及方向选择性的局部结构信息,适合用于表示人脸图像。二维Gabor小波的核函数定义如下:
其中,a'=acosθ+bsinθ;b'=-asinθ+bcosθ;a和b表示滤波窗的尺度,k表示波长;θ指定了Gabor函数并行条纹的方向,取值为0-180度;ψ表示相位偏移,本发明将其置为0;γ表示长宽的横纵比,它决定了Gabor小波的形状,本发明选择γ=1,使其横纵平衡,方便后续邻域特征匹配;σ表示Gabor函数的高斯因子的标准差,一般默认为1。
k和θ决定滤波器的尺度和方向,不同的k和θ构成不同的滤波器。本发明对k和θ的选择从两个方面考虑:第一,特征信息的完整性;第二,系统的计算效率。选择合适的尺度与方向构成相应的滤波器,对上述确定的特征点邻域进行滤波,并提取相应系数矩阵。Gabor小波变换通过不同尺度和方向提取每个特征点邻域的信息,与其他方法相比,更能反映图像深度上的细微变化,所以它对光照和表情变化都不敏感,体现出很好的鲁棒性。
5、选用上述Gabor滤波后产生的系数向量作为人脸的特征点信息,建立三维人脸的概率图模型,用无向图G=(X,E)来表示,其中X表示节点集,E代表边的集合。利用人脸先验知识将各相邻节点相连,如果两节点存在边,记为Xi~Xj,如果不存在边,则表示条件独立。对一个节点而言,给定其邻域节点后,变量Xi的概率分布只依赖于和它相邻的节点,条件独立于其他节点。因此,得到关于人脸的概率图模型结构,如图1所示,其中,X1-X10代表邻域特征,边X1~X2、X1~X3、X2~X3等代表变换矩阵。
令测试三维人脸的节点集为XI,训练样本库中某个三维人脸的节点集为XB,定义两个人脸第i个节点之间的相似性函数为:
其中,xi表示第i个节点的Gabor特征向量。两个人脸的所有节点的相似度,用所有节点的平均相似度来衡量:
其中,n表示节点数量。
对于三维人脸概率图模型的每条边而言,采用节点之间的转移矩阵来表述节点(器官)之间的联系,令:
xj=Eijxi (4)
其中,Eij表示转移矩阵,对其做主成分分析(PCA),可以得到线性变换矩阵φ以及特征值λ。假设特征点之间的变化近似服从高斯正态分布,则两个特征点之间的转移概率表示为:
其中,yi是Eij在特征向量上的投影,q表示矩阵维度,Ω表示类内差异。两个人脸之间第i条边之间的相似度用KL距离衡量,可表示为:
因此,两张人脸模型所有边的总相似度为:
综上所述,将点与边的相似度结合在一起,得到两个人脸的整体相似性度:
Ssum=SX(XI,XB)+wSE(EI,EB) (8)
其中,w决定特征相似度与空间位置相似度两者的重要性,即调节两项的权重。由此,将测试三维人脸与样本库中的全部人脸进行相似性比对,即可识别测试三维人脸。
以上实施例仅为说明本发明的技术思想,不能以此限定本发明的保护范围,凡是按照本发明提出的技术思想,在技术方案基础上所做的任何改动,均落入本发明保护范围之内。

Claims (5)

1.一种基于概率图模型的三维人脸识别方法,其特征在于,包括如下步骤:
步骤1,获取待测三维人脸图像以及样本库中所有三维人脸样本图像,并对待测三维人脸图像进行归一化预处理;
步骤2,求取样本库中所有三维人脸样本图像的三维平均脸图像,在三维平均脸图像上选择多个特征点和一个基准点,计算各特征点到基准点的测地线距离,并根据测地线距离建立特征点模型,利用特征点模型定位待测三维人脸图像上的特征点;
步骤3,利用Gabor滤波器提取各三维人脸样本图像和待测三维人脸图像上特征点的邻域特征;
步骤4,根据步骤3得到的邻域特征对样本库中各三维人脸样本图像和待测三维人脸图像分别建立概率图模型;
步骤5,根据步骤4得到的概率图模型计算待测三维人脸图像与样本库中各三维人脸样本图像之间的相似度,根据相似度对待测三维人脸图像进行识别。
2.如权利要求1所述基于概率图模型的三维人脸识别方法,其特征在于,步骤1所述归一化预处理包括:姿态矫正、点云去噪以及平滑处理。
3.如权利要求1所述基于概率图模型的三维人脸识别方法,其特征在于,步骤2所述基准点为鼻尖点。
4.如权利要求1所述基于概率图模型的三维人脸识别方法,其特征在于,步骤4所述建立概率图模型的方法为:利用无向图G=(X,E)表示概率图模型,其中,X表示邻域特征,E表示邻域特征之间的变换矩阵。
5.如权利要求1所述基于概率图模型的三维人脸识别方法,其特征在于,步骤5所述待测三维人脸图像与样本库中各三维人脸样本图像之间的相似度的计算公式为:Ssum=SX(XI,XB)+wSE(EI,EB),其中,Ssum表示相似度,SX表示XI与XB之间的相似度,XI表示待测三维人脸图像的邻域特征,XB表示样本库中任意三维人脸样本图像的邻域特征;SE表示EI与EB之间的相似度,EI表示邻域特征XI之间的变换矩阵,EB表示邻域特征XB之间的变换矩阵,w表示权重。
CN201510791474.7A 2015-11-17 2015-11-17 一种基于概率图模型的三维人脸识别方法 Active CN105354555B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510791474.7A CN105354555B (zh) 2015-11-17 2015-11-17 一种基于概率图模型的三维人脸识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510791474.7A CN105354555B (zh) 2015-11-17 2015-11-17 一种基于概率图模型的三维人脸识别方法

Publications (2)

Publication Number Publication Date
CN105354555A CN105354555A (zh) 2016-02-24
CN105354555B true CN105354555B (zh) 2018-08-07

Family

ID=55330523

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510791474.7A Active CN105354555B (zh) 2015-11-17 2015-11-17 一种基于概率图模型的三维人脸识别方法

Country Status (1)

Country Link
CN (1) CN105354555B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108090433B (zh) * 2017-12-12 2021-02-19 厦门集微科技有限公司 人脸识别方法及装置、存储介质、处理器
CN108388830B (zh) * 2018-01-09 2020-08-14 中国农业大学 基于卷积神经网的动物体形检测方法及装置
CN109117795B (zh) * 2018-08-17 2022-03-25 西南大学 基于图结构的神经网络表情识别方法
CN109858426A (zh) * 2019-01-27 2019-06-07 武汉星巡智能科技有限公司 人脸特征提取方法、装置及计算机可读存储介质
CN110991228A (zh) * 2019-10-24 2020-04-10 青岛中科智保科技有限公司 一种抗光照影响的改进pca人脸识别算法
CN113158892B (zh) * 2021-04-20 2024-01-26 南京大学 一种与纹理和表情无关的人脸识别方法
CN115830762A (zh) * 2023-01-17 2023-03-21 四川三思德科技有限公司 一种平安社区出入口管控平台、管控方法及管控终端
CN118447548A (zh) * 2024-04-28 2024-08-06 首都医科大学附属北京口腔医院 面型分类的方法、装置、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101673348A (zh) * 2009-10-20 2010-03-17 哈尔滨工程大学 基于监督等度规投影的人脸识别方法
US8379937B1 (en) * 2008-09-29 2013-02-19 Videomining Corporation Method and system for robust human ethnicity recognition using image feature-based probabilistic graphical models
CN104504410A (zh) * 2015-01-07 2015-04-08 深圳市唯特视科技有限公司 基于三维点云的三维人脸识别装置和方法
CN104598873A (zh) * 2014-12-24 2015-05-06 苏州福丰科技有限公司 一种门锁三维人脸识别方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8379937B1 (en) * 2008-09-29 2013-02-19 Videomining Corporation Method and system for robust human ethnicity recognition using image feature-based probabilistic graphical models
CN101673348A (zh) * 2009-10-20 2010-03-17 哈尔滨工程大学 基于监督等度规投影的人脸识别方法
CN104598873A (zh) * 2014-12-24 2015-05-06 苏州福丰科技有限公司 一种门锁三维人脸识别方法
CN104504410A (zh) * 2015-01-07 2015-04-08 深圳市唯特视科技有限公司 基于三维点云的三维人脸识别装置和方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
3D Face Recognition Using Isogeodesic Stripes;S. Berretti,等;《IEEE Transactions on Pattern Analysis and Machine Intelligence》;20100318;第32卷(第12期);全文 *
Face Recognition Using Global and Local Salient Features;Dakshina Ranjan Kisku,等;《SpringerLink》;20110413;全文 *

Also Published As

Publication number Publication date
CN105354555A (zh) 2016-02-24

Similar Documents

Publication Publication Date Title
CN105354555B (zh) 一种基于概率图模型的三维人脸识别方法
CN102592136B (zh) 基于几何图像中中频信息的三维人脸识别方法
CN107423730B (zh) 一种基于语义折叠的人体步态行为主动检测识别系统和方法
CN106778468B (zh) 3d人脸识别方法及设备
CN103927511B (zh) 基于差异特征描述的图像识别方法
CN105868716B (zh) 一种基于面部几何特征的人脸识别方法
CN108319957A (zh) 一种基于超点图的大规模点云语义分割方法
CN109271895A (zh) 基于多尺度特征学习和特征分割的行人重识别方法
CN102799870A (zh) 基于分块一致lbp和稀疏编码的单训练样本人脸识别方法
CN102999942A (zh) 三维人脸重建方法
CN104268593A (zh) 一种小样本情况下多稀疏表示的人脸识别方法
CN102799872B (zh) 基于面部图像特征的图像处理方法
CN106599785B (zh) 人体3d特征身份信息库的建立方法及设备
CN110472495B (zh) 一种基于图形推理全局特征的深度学习人脸识别方法
CN106952335A (zh) 建立人体模型库的方法及其系统
CN110009745B (zh) 根据平面基元和模型驱动对点云提取平面的方法
Hamad et al. A new sizing system based on 3D shape descriptor for morphology clustering
CN103268500A (zh) 一种对行走状态变化具有鲁棒性的步态识别方法
CN106611158A (zh) 人体3d特征信息的获取方法及设备
CN106503633A (zh) 一种视频图像中人脸特征库的建立方法
US20230075888A1 (en) Object re-identification using multiple cameras
CN105488491A (zh) 基于金字塔匹配直方图交叉核的人体睡眠姿态检测方法
Bayramoglu et al. CS-3DLBP and geometry based person independent 3D facial action unit detection
CN103902992A (zh) 人脸识别方法
CN110210293A (zh) 一种基于三维数据和面部图像的性别识别方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant