CN106022228A - 一种基于网格纵横局部二值模式的三维人脸识别方法 - Google Patents

一种基于网格纵横局部二值模式的三维人脸识别方法 Download PDF

Info

Publication number
CN106022228A
CN106022228A CN201610309718.8A CN201610309718A CN106022228A CN 106022228 A CN106022228 A CN 106022228A CN 201610309718 A CN201610309718 A CN 201610309718A CN 106022228 A CN106022228 A CN 106022228A
Authority
CN
China
Prior art keywords
face
patch
local binary
ring
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610309718.8A
Other languages
English (en)
Other versions
CN106022228B (zh
Inventor
达飞鹏
汤兰兰
郭梦丽
邓星
刘俊权
吕士文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southeast University
Original Assignee
Southeast University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southeast University filed Critical Southeast University
Priority to CN201610309718.8A priority Critical patent/CN106022228B/zh
Publication of CN106022228A publication Critical patent/CN106022228A/zh
Application granted granted Critical
Publication of CN106022228B publication Critical patent/CN106022228B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/64Three-dimensional objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • G06V40/169Holistic features and representations, i.e. based on the facial image taken as a whole
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于网格纵横局部二值模式的三维人脸识别方法,步骤为:对三维人脸模型进行预处理,包括人脸区域切割、平滑处理和姿态归一化,将所有的人脸置于姿态坐标系下;从三维人脸模型的半刚性区域提取人脸7条侧面轮廓线,并对其中每条轮廓线进行均匀重采样以获得28个关键点来表征人脸面部曲面;提取关键点周围邻域,先分别用网格纵向局部二值模式描述符和网格横向局部二值模式描述符对关键点邻域进行表征,然后对两者进行特征融合获得网格纵横局部二值模式描述符,最后用LC‑KSVD2字典学习分类算法对3D人脸进行识别。本发明能够更加全面地描述均匀人脸网格表面由表情等原因引起的局部形状变化,具有较强的识别性能。

Description

一种基于网格纵横局部二值模式的三维人脸识别方法
技术领域
本发明涉及一种基于网格纵横局部二值模式的三维人脸识别方法,尤其涉及一种利用人脸网格在3D领域内对人脸直接进行识别的人脸识别方法,适用于有较大变化的场合。
背景技术
近二十年来,因为二维人脸识别方法在面临姿态、光照条件不同、表情变化以及脸部化妆等方面表现出来的脆弱性使得人脸识别的准确度和适用场合受到很大限制,越来越多的学者开始致力于三维人脸识别技术的研究。三维人脸识别技术是指利用人脸在三维空间中的几何信息进行身份辨识的技术。目前,诸多学者提出了很多有效的3D人脸识别方法。
目前,许多3D人脸识别算法都是基于局部二值模式(LBP,Local BinaryPattern),但是这些算法大多会将人脸的3D点云先转化为深度图然后再进行对LBP的改进和扩展,这就将3D数据转到了2.5D,丢失了人脸部分信息。针对这一问题,Werghi等提出了网格局部二值模式(local binary pattern on the mesh,mesh-LBP)描述符,该描述符直接在网格表面计算LBP值,避免了将3D人脸点云转化成深度图,保留了3D人脸的完整信息。该描述符将中心面片与其周围有序环上的面片进行比较,忽略了相邻环上面片之间和同一环上相邻面片之间的关系,割裂了局部区域的整体性。因此如何在人脸网格上提取一种更全面的特征是非常有意义的。
发明内容
本发明的目的是提供一种基于网格纵横局部二值模式的三维人脸识别方法,具有较强的识别性能,并且对表情变化具有较好的鲁棒性,同时还提高了人脸匹配速度。
为实现上述目的,本发明采用的技术方案为:
一种基于网格纵横局部二值模式的三维人脸识别方法,包括以下步骤:
步骤1:从输入的三维人脸点云中提取出感兴趣的人脸区域,该区域为以鼻尖为球心,90mm为半径的球所包含的人脸区域;
步骤2:对由步骤1所提取的三维人脸点云进行平滑去噪处理后,以鼻尖点为姿态坐标系(PCS)的坐标原点,将其置于姿态坐标系(PCS)中;所述姿态坐标系(PCS)的获得方法为:对三维人脸点云采用主成分分析法(PCA),将最大特征值对应的特征向量作为Y轴,将最小特征值对应的特征向量作为Z轴,建立右手坐标系,即为姿态坐标系;
步骤3:对由步骤2得到的三维人脸点云,根据坐标信息,在人脸的半刚性区域提取垂直方向的7条面部轮廓线并对面部轮廓线进行重采样,得到测试人脸的28个关键点;
步骤4:对三维人脸点云进行均匀网格化,由步骤3获得的28个关键点也对应到网格上,提取以关键点所在面片为中心面片的有序面片环,并且确定关键点周围邻域;
步骤5:计算由步骤4获得的关键点邻域的网格纵向局部二值模式(mesh-VLBP)描述符和网格横向局部二值模式(mesh-HLBP)描述符;并对这两者进行特征融合获得网格纵横局部二值模式(mesh-VHLBP)描述符;
步骤6:最后结合LC-KSVD2字典学习分类算法对人脸进行分类实验,得出识别结果。
所述步骤2的具体步骤为:
步骤2.1:计算测试人脸点云质心其中p'i表示点云中点的坐标,n表示点云中点的个数;
步骤2.2:构建协方差矩阵其中T表示的是矩阵的转置;
步骤2.3:将协方差矩阵C正交对角化,得到三个特征值λ1≥λ2≥λ3及对应的三个相互正交的单位特征向量v1,v2,v3
步骤2.4:以O为原点,以v1为Y轴,v3为Z轴,建立右手坐标系,在该坐标系下人脸具有相同的正面姿态,该坐标系为姿态坐标系PCS,并将平滑去噪处理后的三维人脸点云数据都转换到姿态坐标系中,即p'i=(v2,v1,v3)(p'i-O);
步骤2.5:将坐标系平移,使得鼻尖点位于原点,点p”i平移后记为其中,分别表示点gi坐标的三个分量。
所述步骤3的具体步骤为:
步骤3.1:半刚性区域侧面轮廓线提取:在姿态坐标系中,记位于XOZ平面上方的三维人脸曲面为S,用镜像匹配算法确定人脸的对称面切割人脸曲面S,获得半刚性区域的中心侧面轮廓线;然后,将平面分别沿着x轴正、负方向以13mm的间隔平移,与人脸曲面S相交就能够得到另外6条侧面轮廓线,从而获得人脸半刚性区域的7条侧面轮廓线;
步骤3.2:面部轮廓线重采样获得关键点:以平面与XOY平面相交的直线作为参考曲线,保留从眉心点到鼻尖点那一段,并在这一段上在每隔20mm采样一个点,如此获得4个关键点;在其余的6条侧面轮廓线上按与中心侧面轮廓线上的点相同的水平坐标进行采样,最终获得28个关键点。
所述步骤4的具体步骤为:
步骤4.1:对人脸点云进行均匀网格化,并且围绕中心面片提取有序环:给定一个中心面片fc,其邻接的三个面片按逆时针方向分别标记为fout1,fout2和fout3,记为Fout面片集;在两两fouti(i=1,2,3)面片之间用fgap面片,记为Fgap面片集,按相同的方向进行连接,要求fgap面片是前一个面片的邻接面片且与中心面片fc只共享一个顶点;当在(fout3,fout1)之间完成用Fgap面片集进行连接后,就获得第一个有序环;再获取这个有序环中每个面片的邻接面片,要求该面片与环中其他面片不重合,指向朝外,构成新的Fout面片集,以上述相同的方式获取第二个有序环;如此迭代下去,即能够在中心面片周围获得r个同心有序环;
步骤4.2:在关键点检测完成后,其周围邻域取为该点所在中心面片周围的r个环构成的区域。
所述步骤5的具体步骤为:
步骤5.1:准备工作:依据有序环第一个面片位置的相对不变性的原则,按逆时针方向将每环上用于计算的面片标号为其不同环上的相同位置编号的面片相互对应;
步骤5.2:计算关键点邻域的mesh-VLBP描述符,其计算过程为:第1环:将第一环上的面片与中心面片比较;从第二环开始,分别将该环上与前一环上标号对应的面片进行比较。用公式描述为:
m e s h - VLBP r ( f c ) = Σ k = 0 11 s ( h ( f k r ) - h ( f c ) ) · 2 k , r = 1 Σ k = 0 11 s ( h ( f k r ) - h ( f k r - 1 ) ) · 2 k , r = 2 , 3 , ...7 - - - ( 1 )
其中
其中标量函数h(f)取为平均曲率H;该描述符计算结果记为Y1
步骤5.3:计算关键点邻域的mesh-HLBP描述符,其计算基于同一个环上相邻面片之间的平均曲率值的大小关系,则将其计算式定义为:
其中(k+1)\12表示对12取余,就表示当k=11时,面片取为起始面片该描述符计算结果记为Y2
步骤5.4:对mesh-VLBP描述符和mesh-HLBP描述符进行特征融合,从而得到更加全面的描述符——mesh-VHLBP描述符,其融合结果记为Y3
所述步骤6的具体步骤为:
步骤6.1:采用“等价模式”对由步骤5计算而得的数据降维;
步骤6.2:对步骤5计算而来的Y1,Y2和Y3采用使字典具有判别力的LC-KSVD2的字典学习算法进行分类,其中LC-KSVD2算法的目标函数表示为:
< D , W , A , X > = arg min D , W , A , X | | Y - D X | | 2 2 + &alpha; | | Q - A X | | 2 2 + &beta; | | H - W X | | 2 2 , s . t . &ForAll; i , | | x i | | 0 &le; T - - - ( 3 )
其中,Y=[y1...yN]∈Rn×N为输入样本,Y分别取为Y1,Y2和Y3;输入样本在冗余字典D=[d1...dK]∈Rn×K下的稀疏表示集记为X=[x1...xN]∈RK×N为重构误差;Q=[q1...qN]∈RK×N是输入信号Y的判别稀疏编码,用来提供分类信息,qi中的非零值出现在输入信号yi和字典原子dk标签相同的位置;W表示分类器参数,H=[h1...hN]∈Rm×N是输入信号Y的类标签矩阵,由hi中的非零值就表示了yi所属的类。
有益效果:本发明提供的基于网格纵横局部二值模式的三维人脸识别方法通过在人脸表面的半刚性区域检测关键点集并且提取周围邻域,分别计算邻域的mesh-VLBP描述符和mesh-HLBP描述符,并且对两者进行特征融合得到mesh-VHLBP描述符,利用LC-KSVD2字典学习算法完成3D人脸识别实验。该方法有以下优点:
1.该算法不仅从网格纵向提取mesh-VLBP描述符,还从横向提取mesh-HLBP描述符,更加全面地描述了关键点邻域的因为表情变化等引起的纵向和横向差异,对于两者的特征融合更是有效而且准确地表示出局部形状的整体变化,很大程度上改善了识别性能。
2.本文所提出的关键点检测方法基于半刚性区域,避开了受表情变化影响很大的嘴部区域,因此本文所提方法对于表情变化也具有一定的鲁棒性。
3.LC-KSVD2字典学习分类算法可以忽略字典的大小而产生判别稀疏编码系数X,使字典对于数据不仅具有表示能力,也具有了判别分类的能力,有效地提高了实验的识别率。
附图说明
图1是本发明提供的基于网格纵横局部二值模式的三维人脸识别方法的整体流程图;
图2是人脸均匀网格化后的图;
图3是7条侧面轮廓线图;
图4是28个关键点;
图5是有序环提取过程图;
图6是中心面片周围纵向和横向示意图;
图7是有序环标号示意图。
具体实施方式
参考说明书附图,下面对本发明的具体实施方式进一步描述。
本发明的基于网格纵横局部二值模式的三维人脸识别方法,在Windows操作系统中通过Matlab R2013a编程工具实现三维人脸识别流程。实验数据来自FRGC v2.0三维人脸数据库,该数据库中包含用于测试的466个人的4007张人脸模型。图1是本发明方法整体流程图,具体步骤如下:
步骤1:从输入的三维人脸点云中提取出感兴趣的人脸区域,该区域为以鼻尖为球心,90mm为半径的球所包含的人脸区域;
步骤2:对由步骤1所提取的三维人脸点云进行平滑去噪处理后,以鼻尖点为PCS的坐标原点,将其置于为姿态坐标系(PCS)中。姿态坐标系(PCS)的获得方法:对三维人脸点云采用主成分分析法(PCA),将最大特征值对应的特征向量作为Y轴,将最小特征值对应的特征向量作为Z轴,建立右手坐标系,即为姿态坐标系;
步骤2.1:计算测试人脸点云质心其中p'i表示点云中点的坐标,n表示点云中点的个数;
步骤2.2:构建协方差矩阵其中T表示的是矩阵的转置;
步骤2.3:将协方差矩阵C正交对角化,得到三个特征值λ1≥λ2≥λ3及对应的三个相互正交的单位特征向量v1,v2,v3
步骤2.4:以O为原点,以v1为Y轴,v3为Z轴,建立右手坐标系,在该坐标系下人脸具有相同的正面姿态,该坐标系为姿态坐标系PCS,并将平滑去噪处理后的三维人脸点云数据都转换到姿态坐标系中,即p'i=(v2,v1,v3)(p'i-O);
步骤2.5:将坐标系平移,使得鼻尖点位于原点,点p”i平移后记为其中,分别表示点gi坐标的三个分量。
步骤3:对由步骤2得到的三维人脸点云,根据坐标信息,在人脸的半刚性区域提取垂直方向的7条面部轮廓线并对面部轮廓线进行重采样,得到测试人脸的28个关键点;
步骤3.1:半刚性区域侧面轮廓线提取:在姿态坐标系中,记位于XOZ平面上方的三维人脸曲面为S,用镜像匹配算法确定人脸的对称面切割人脸曲面S,获得半刚性区域的中心侧面轮廓线;然后,将平面分别沿着x轴正、负方向以13mm的间隔平移,与人脸曲面S相交就能够得到另外6条侧面轮廓线,从而获得人脸半刚性区域的7条侧面轮廓线;
步骤3.2:面部轮廓线重采样获得关键点:以平面与XOY平面相交的直线作为参考曲线,保留从眉心点到鼻尖点那一段,并在这一段上在每隔20mm采样一个点,如此获得4个关键点;在其余的6条侧面轮廓线上按与中心侧面轮廓线上的点相同的水平坐标进行采样,最终获得28个关键点。
步骤4:对人脸点云进行均匀网格化,由步骤3获得的28个关键点也对应到网格上,提取以关键点所在面片为中心面片的有序面片环,并且确定关键点周围邻域;
步骤4.1:对人脸点云进行均匀网格化,并且围绕中心面片提取有序环:给定一个中心面片fc,其邻接的三个面片按逆时针方向分别标记为fout1,fout2和fout3(记为Fout面片集);在两两fouti(i=1,2,3)面片之间用fgap面片(记为Fgap面片集)按相同的方向进行连接,要求fgap面片是前一个面片的邻接面片且与中心面片fc只共享一个顶点;当在(fout3,fout1)之间完成用Fgap面片集进行连接后,就获得第一个有序环。再获取这个有序环中每个面片的邻接面片,要求该面片与环中其他面片不重合,指向朝外,构成新的Fout面片集,以上述相同的方式获取第二个有序环。如此迭代下去,即可在中心面片周围获得r个同心有序环。
步骤4.2:实验中,r取为7,因此在关键点检测完成后,其周围邻域取为该点所在中心面片周围的r个环构成的区域。
步骤5:计算由步骤4获得的关键点邻域的网格纵向局部二值模式(local binarypattern from vertical on the mesh,mesh-VLBP)描述符和网格横向局部二值模式(local binary pattern from horizontal on the mesh,mesh-HLBP)描述符;并对这两者进行特征融合获得(local binary pattern from vertical and horizontal on themesh,mesh-VHLBP)描述符;
步骤5.1:准备工作:对于由中心面片和其周围的有序环构成的这一整体来说,所谓纵向(Vertical)比较指的是在相邻环上对应面片之间进行比较,而横向(Horizontal)比较则是指在同一环上的相邻面片之间进行比较。依据有序环第一个面片位置的相对不变性的原则,按逆时针方向将每环上用于计算的面片标号为其不同环上的相同位置编号的面片相互对应。
步骤5.2:计算关键点邻域的mesh-VLBP描述符,其计算过程为:第1环:将第一环上的面片与中心面片比较;第2-7环:从第二环开始,分别将该环上与前一环上标号对应的面片进行比较。用公式描述为:
m e s h - VLBP r ( f c ) = &Sigma; k = 0 11 s ( h ( f k r ) - h ( f c ) ) &CenterDot; 2 k , r = 1 &Sigma; k = 0 11 s ( h ( f k r ) - h ( f k r - 1 ) ) &CenterDot; 2 k , r = 2 , 3 , ...7 - - - ( 1 )
其中
其中标量函数h(f)取为平均曲率H。该描述符计算结果记为Y1
步骤5.3:计算关键点邻域的mesh-HLBP描述符,其计算基于同一个环上相邻面片之间的平均曲率值的大小关系,则将其计算式定义为:
其中(k+1)\12表示对12取余,就表示当k=11时,面片取为起始面片该描述符计算结果记为Y2
步骤5.4:上述两种描述符分别从纵向和横向描述人脸网格表面因表情变化等原因造成的纵向和横向差异,但一些大表情如惊讶、生气等会使得人脸表面的肌肉同时发生纵向和横向变化,所以本文进一步对mesh-VLBP描述符和mesh-HLBP描述符进行特征融合,从而得到更加全面的描述符——mesh-VHLBP描述符,其融合结果记为Y3
步骤6:最后结合LC-KSVD2字典学习分类算法对人脸进行分类实验,得出识别结果;
步骤6.1:采用“等价模式”对由步骤5计算而得的数据降维:本文,m=12,α(k)=2k时,两种描述符的值有4096种取值可能,造成二进制模式过多。二维中,Ojala提出了“等价模式”(Uniform Pattern)用来对LBP算子的模式种类进行降维。类似地,在三维中也存在“等价模式”,是指那些0、1之间跳变次数至多等于4的二进制模式。据此将本文中的二进制模式由4096种降为1234种;
步骤6.2:对步骤5计算而来的Y1,Y2和Y3采用使字典具有判别力的LC-KSVD2的字典学习算法进行分类,其中LC-KSVD2算法的目标函数可表示为:
< D , W , A , X > = arg min D , W , A , X | | Y - D X | | 2 2 + &alpha; | | Q - A X | | 2 2 + &beta; | | H - W X | | 2 2 , s . t . &ForAll; i , | | x i | | 0 &le; T - - - ( 3 )
其中,Y=[y1...yN]∈Rn×N为输入样本,Y分别取为Y1,Y2和Y3;输入样本在冗余字典D=[d1...dK]∈Rn×K下的稀疏表示集记为X=[x1...xN]∈RK×N为重构误差;Q=[q1...qN]∈RK×N是输入信号Y的判别稀疏编码,用来提供分类信息,qi中的非零值出现在输入信号yi和字典原子dk标签相同的位置;W表示分类器参数,H=[h1...hN]∈Rm×N是输入信号Y的类标签矩阵,由hi中的非零值就表示了yi所属的类。
以上所述仅是本发明的优选实施方式,应当指出:对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (6)

1.一种基于网格纵横局部二值模式的三维人脸识别方法,其特征在于:包括以下步骤:
步骤1:从输入的三维人脸点云中提取出感兴趣的人脸区域,该区域为以鼻尖为球心,90mm为半径的球所包含的人脸区域;
步骤2:对由步骤1所提取的三维人脸点云进行平滑去噪处理后,以鼻尖点为姿态坐标系的坐标原点,将其置于姿态坐标系中;所述姿态坐标系的获得方法为:对三维人脸点云采用主成分分析法,将最大特征值对应的特征向量作为Y轴,将最小特征值对应的特征向量作为Z轴,建立右手坐标系,即为姿态坐标系;
步骤3:对由步骤2得到的三维人脸点云,根据坐标信息,在人脸的半刚性区域提取垂直方向的7条面部轮廓线并对面部轮廓线进行重采样,得到测试人脸的28个关键点;
步骤4:对三维人脸点云进行均匀网格化,由步骤3获得的28个关键点也对应到网格上,提取以关键点所在面片为中心面片的有序面片环,并且确定关键点周围邻域;
步骤5:计算由步骤4获得的关键点邻域的网格纵向局部二值模式描述符和网格横向局部二值模式描述符;并对这两者进行特征融合获得网格纵横局部二值模式描述符;
步骤6:最后结合LC-KSVD2字典学习分类算法对人脸进行分类实验,得出识别结果。
2.如权利要求1所述的基于网格纵横局部二值模式的三维人脸识别方法,其特征在于:所述步骤2的具体步骤为:
步骤2.1:计算测试人脸点云质心其中p′i表示点云中点的坐标,n表示点云中点的个数;
步骤2.2:构建协方差矩阵其中T表示的是矩阵的转置;
步骤2.3:将协方差矩阵C正交对角化,得到三个特征值λ1≥λ2≥λ3及对应的三个相互正交的单位特征向量v1,v2,v3
步骤2.4:以O为原点,以v1为Y轴,v3为Z轴,建立右手坐标系,在该坐标系下人脸具有相同的正面姿态,该坐标系为姿态坐标系PCS,并将平滑去噪处理后的三维人脸点云数据都转换到姿态坐标系中,即p′i=(v2,v1,v3)(p′i-O);
步骤2.5:将坐标系平移,使得鼻尖点位于原点,点p″i平移后记为其中,分别表示点gi坐标的三个分量。
3.如权利要求1所述的基于网格纵横局部二值模式的三维人脸识别方法,其特征在于:所述步骤3的具体步骤为:
步骤3.1:半刚性区域侧面轮廓线提取:在姿态坐标系中,记位于XOZ平面上方的三维人脸曲面为S,用镜像匹配算法确定人脸的对称面切割人脸曲面S,获得半刚性区域的中心侧面轮廓线;然后,将平面分别沿着x轴正、负方向以13mm的间隔平移,与人脸曲面S相交就能够得到另外6条侧面轮廓线,从而获得人脸半刚性区域的7条侧面轮廓线;
步骤3.2:面部轮廓线重采样获得关键点:以平面与XOY平面相交的直线作为参考曲线,保留从眉心点到鼻尖点那一段,并在这一段上在每隔20mm采样一个点,如此获得4个关键点;在其余的6条侧面轮廓线上按与中心侧面轮廓线上的点相同的水平坐标进行采样,最终获得28个关键点。
4.如权利要求1所述的基于网格纵横局部二值模式的三维人脸识别方法,其特征在于:所述步骤4的具体步骤为:
步骤4.1:对人脸点云进行均匀网格化,并且围绕中心面片提取有序环:给定一个中心面片fc,其邻接的三个面片按逆时针方向分别标记为fout1,fout2和fout3,记为Fout面片集;在两两fouti(i=1,2,3)面片之间用fgap面片,记为Fgap面片集,按相同的方向进行连接,要求fgap面片是前一个面片的邻接面片且与中心面片fc只共享一个顶点;当在(fout3,fout1)之间完成用Fgap面片集进行连接后,就获得第一个有序环;再获取这个有序环中每个面片的邻接面片,要求该面片与环中其他面片不重合,指向朝外,构成新的Fout面片集,以上述相同的方式获取第二个有序环;如此迭代下去,即能够在中心面片周围获得r个同心有序环;
步骤4.2:在关键点检测完成后,其周围邻域取为该点所在中心面片周围的r个环构成的区域。
5.如权利要求1所述的基于网格纵横局部二值模式的三维人脸识别方法,其特征在于:所述步骤5的具体步骤为:
步骤5.1:准备工作:依据有序环第一个面片位置的相对不变性的原则,按逆时针方向将每环上用于计算的面片标号为其不同环上的相同位置编号的面片相互对应;
步骤5.2:计算关键点邻域的网格纵向局部二值模式描述符,其计算过程为:第1环:将第一环上的面片与中心面片比较;从第二环开始,分别将该环上与前一环上标号对应的面片进行比较;用公式描述为:
m e s h - VLBP r ( f c ) = &Sigma; k = 0 11 s ( h ( f k r ) - h ( f c ) ) &CenterDot; 2 k , r = 1 &Sigma; k = 0 11 s ( h ( f k r ) - h ( f k r - 1 ) ) &CenterDot; 2 k , r = 2 , 3 , ... 7
其中
其中标量函数h(f)取为平均曲率H;该描述符计算结果记为Y1
步骤5.3:计算关键点邻域的网格横向局部二值模式描述符,其计算基于同一个环上相邻面片之间的平均曲率值的大小关系,则将其计算式定义为:
m e s h - HLBP r ( f c ) = &Sigma; k = 0 11 s ( h ( f k r ) - h ( f ( k + 1 ) \ 12 r ) ) &CenterDot; 2 k
其中
其中(k+1)\12表示对12取余,就表示当k=11时,面片取为起始面片该描述符计算结果记为Y2
步骤5.4:对网格纵向局部二值模式描述符和网格横向局部二值模式描述符进行特征融合,从而得到更加全面的描述符——网格纵横局部二值模式描述符,其融合结果记为Y3
6.如权利要求1所述的基于网格纵横局部二值模式的三维人脸识别方法,其特征在于:所述步骤6的具体步骤为:
步骤6.1:采用“等价模式”对由步骤5计算而得的数据降维;
步骤6.2:对步骤5计算而来的Y1,Y2和Y3采用使字典具有判别力的LC-KSVD2的字典学习算法进行分类,其中LC-KSVD2算法的目标函数表示为:
< D , W , A , X > = arg min D , W , A , X | | Y - D X | | 2 2 + &alpha; | | Q - A X | | 2 2 + &beta; | | H - W X | | 2 2 , s . t . &ForAll; i , | | x i | | 0 &le; T
其中,Y=[y1...yN]∈Rn×N为输入样本,Y分别取为Y1,Y2和Y3;输入样本在冗余字典D=[d1...dK]∈Rn×K下的稀疏表示集记为为重构误差;Q=[q1...qN]∈RK×N是输入信号Y的判别稀疏编码,用来提供分类信息,qi中的非零值出现在输入信号yi和字典原子dk标签相同的位置;W表示分类器参数,H=[h1...hN]∈Rm×N是输入信号Y的类标签矩阵,由hi中的非零值就表示了yi所属的类。
CN201610309718.8A 2016-05-11 2016-05-11 一种基于网格纵横局部二值模式的三维人脸识别方法 Active CN106022228B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610309718.8A CN106022228B (zh) 2016-05-11 2016-05-11 一种基于网格纵横局部二值模式的三维人脸识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610309718.8A CN106022228B (zh) 2016-05-11 2016-05-11 一种基于网格纵横局部二值模式的三维人脸识别方法

Publications (2)

Publication Number Publication Date
CN106022228A true CN106022228A (zh) 2016-10-12
CN106022228B CN106022228B (zh) 2019-04-09

Family

ID=57099947

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610309718.8A Active CN106022228B (zh) 2016-05-11 2016-05-11 一种基于网格纵横局部二值模式的三维人脸识别方法

Country Status (1)

Country Link
CN (1) CN106022228B (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106886754A (zh) * 2017-01-17 2017-06-23 华中科技大学 一种基于三角面片的三维场景下的物体识别方法及系统
CN107122705A (zh) * 2017-03-17 2017-09-01 中国科学院自动化研究所 基于三维人脸模型的人脸关键点检测方法
CN107729806A (zh) * 2017-09-05 2018-02-23 西安理工大学 基于三维人脸重建的单视图多姿态人脸识别方法
CN107748871A (zh) * 2017-10-27 2018-03-02 东南大学 一种基于多尺度协方差描述子与局部敏感黎曼核稀疏分类的三维人脸识别方法
CN107748859A (zh) * 2017-08-10 2018-03-02 东南大学 一种基于径向线的局部遮挡下的三维人脸识别方法
CN107862745A (zh) * 2017-10-25 2018-03-30 武汉楚锐视觉检测科技有限公司 一种反射式的曲面三维重建标签方法和装置
CN108764140A (zh) * 2018-05-29 2018-11-06 中北大学 一种基于Ricci曲率流的三维人脸识别方法
CN110084884A (zh) * 2019-04-28 2019-08-02 叠境数字科技(上海)有限公司 一种人体模型面部区域重建方法
CN112001231A (zh) * 2020-07-09 2020-11-27 哈尔滨工业大学(深圳) 加权多任务稀疏表示的三维人脸识别方法、系统及介质
CN112465902A (zh) * 2020-12-14 2021-03-09 北京诺亦腾科技有限公司 骨科手术用光学跟踪标记球位置确定方法和装置
CN112733705A (zh) * 2021-01-07 2021-04-30 中科魔镜(深圳)科技发展有限公司 一种基于人体面部的3d智能分析系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001101429A (ja) * 1999-09-28 2001-04-13 Omron Corp 顔面の観測方法および顔観測装置ならびに顔観測処理用の記録媒体
CN101930537A (zh) * 2010-08-18 2010-12-29 北京交通大学 基于弯曲不变量相关特征的三维人脸识别方法及系统
CN101986328A (zh) * 2010-12-06 2011-03-16 东南大学 一种基于局部描述符的三维人脸识别方法
CN102043966A (zh) * 2010-12-07 2011-05-04 浙江大学 基于部分主分量分析和姿态估计联合的人脸识别方法
CN103778434A (zh) * 2014-01-16 2014-05-07 重庆邮电大学 一种基于多分辨率多阈值局部二值模式的人脸识别方法
CN103996052A (zh) * 2014-05-12 2014-08-20 深圳市唯特视科技有限公司 基于三维点云的三维人脸性别分类装置及方法
CN104850838A (zh) * 2015-05-19 2015-08-19 电子科技大学 基于表情不变区域的三维人脸识别方法
CN105404861A (zh) * 2015-11-13 2016-03-16 中国科学院重庆绿色智能技术研究院 人脸关键特征点检测模型的训练、检测方法及系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001101429A (ja) * 1999-09-28 2001-04-13 Omron Corp 顔面の観測方法および顔観測装置ならびに顔観測処理用の記録媒体
CN101930537A (zh) * 2010-08-18 2010-12-29 北京交通大学 基于弯曲不变量相关特征的三维人脸识别方法及系统
CN101986328A (zh) * 2010-12-06 2011-03-16 东南大学 一种基于局部描述符的三维人脸识别方法
CN102043966A (zh) * 2010-12-07 2011-05-04 浙江大学 基于部分主分量分析和姿态估计联合的人脸识别方法
CN103778434A (zh) * 2014-01-16 2014-05-07 重庆邮电大学 一种基于多分辨率多阈值局部二值模式的人脸识别方法
CN103996052A (zh) * 2014-05-12 2014-08-20 深圳市唯特视科技有限公司 基于三维点云的三维人脸性别分类装置及方法
CN104850838A (zh) * 2015-05-19 2015-08-19 电子科技大学 基于表情不变区域的三维人脸识别方法
CN105404861A (zh) * 2015-11-13 2016-03-16 中国科学院重庆绿色智能技术研究院 人脸关键特征点检测模型的训练、检测方法及系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
ANALYSISYILMAZ KAYA 等: "Two novel local binary pattern descriptors for texture analysis", 《APPLIED SOFT COMPUTING》 *
NAOUFEL WERGHI 等: "Representing 3D Texture on Mesh Manifolds for Retrieval and Recognition Applications", 《2015 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *
常朋朋 等: "对表情鲁棒的面部轮廓线3维人脸识别", 《中国图象图形学报》 *
胡敏 等: "融合全局和局部特征的人脸识别", 《电子测量与仪器学报》 *

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106886754B (zh) * 2017-01-17 2019-07-09 华中科技大学 一种基于三角面片的三维场景下的物体识别方法及系统
CN106886754A (zh) * 2017-01-17 2017-06-23 华中科技大学 一种基于三角面片的三维场景下的物体识别方法及系统
CN107122705A (zh) * 2017-03-17 2017-09-01 中国科学院自动化研究所 基于三维人脸模型的人脸关键点检测方法
CN107122705B (zh) * 2017-03-17 2020-05-19 中国科学院自动化研究所 基于三维人脸模型的人脸关键点检测方法
CN107748859B (zh) * 2017-08-10 2021-04-27 东南大学 一种基于径向线的局部遮挡下的三维人脸识别方法
CN107748859A (zh) * 2017-08-10 2018-03-02 东南大学 一种基于径向线的局部遮挡下的三维人脸识别方法
CN107729806A (zh) * 2017-09-05 2018-02-23 西安理工大学 基于三维人脸重建的单视图多姿态人脸识别方法
CN107862745B (zh) * 2017-10-25 2021-04-09 武汉楚锐视觉检测科技有限公司 一种反射式的曲面三维重建标签方法和装置
CN107862745A (zh) * 2017-10-25 2018-03-30 武汉楚锐视觉检测科技有限公司 一种反射式的曲面三维重建标签方法和装置
WO2019080488A1 (zh) * 2017-10-27 2019-05-02 东南大学 一种基于多尺度协方差描述子与局部敏感黎曼核稀疏分类的三维人脸识别方法
CN107748871A (zh) * 2017-10-27 2018-03-02 东南大学 一种基于多尺度协方差描述子与局部敏感黎曼核稀疏分类的三维人脸识别方法
CN107748871B (zh) * 2017-10-27 2021-04-06 东南大学 一种基于多尺度协方差描述子与局部敏感黎曼核稀疏分类的三维人脸识别方法
CN108764140A (zh) * 2018-05-29 2018-11-06 中北大学 一种基于Ricci曲率流的三维人脸识别方法
CN108764140B (zh) * 2018-05-29 2021-11-30 中北大学 一种基于Ricci曲率流的三维人脸识别方法
CN110084884A (zh) * 2019-04-28 2019-08-02 叠境数字科技(上海)有限公司 一种人体模型面部区域重建方法
CN112001231A (zh) * 2020-07-09 2020-11-27 哈尔滨工业大学(深圳) 加权多任务稀疏表示的三维人脸识别方法、系统及介质
CN112001231B (zh) * 2020-07-09 2023-07-21 哈尔滨工业大学(深圳) 加权多任务稀疏表示的三维人脸识别方法、系统及介质
CN112465902A (zh) * 2020-12-14 2021-03-09 北京诺亦腾科技有限公司 骨科手术用光学跟踪标记球位置确定方法和装置
CN112465902B (zh) * 2020-12-14 2021-08-10 北京诺亦腾科技有限公司 骨科手术用光学跟踪标记球位置确定方法和装置
CN112733705A (zh) * 2021-01-07 2021-04-30 中科魔镜(深圳)科技发展有限公司 一种基于人体面部的3d智能分析系统
CN112733705B (zh) * 2021-01-07 2024-08-20 中科魔镜(深圳)科技发展有限公司 一种基于人体面部的3d智能分析系统

Also Published As

Publication number Publication date
CN106022228B (zh) 2019-04-09

Similar Documents

Publication Publication Date Title
CN106022228B (zh) 一种基于网格纵横局部二值模式的三维人脸识别方法
Lemaire et al. Fully automatic 3D facial expression recognition using differential mean curvature maps and histograms of oriented gradients
Perakis et al. 3D facial landmark detection under large yaw and expression variations
Gilani et al. Deep, dense and accurate 3D face correspondence for generating population specific deformable models
CN104091162B (zh) 基于特征点的三维人脸识别方法
CN101315661B (zh) 一种减小表情影响的快速三维人脸识别方法
Zulqarnain Gilani et al. Shape-based automatic detection of a large number of 3D facial landmarks
WO2017219391A1 (zh) 一种基于三维数据的人脸识别系统
Orbay et al. Beautification of design sketches using trainable stroke clustering and curve fitting
CN110852182B (zh) 一种基于三维空间时序建模的深度视频人体行为识别方法
CN104978549A (zh) 三维人脸图像特征提取方法和系统
CN104598879A (zh) 基于半刚性区域面部轮廓线的三维人脸识别方法
CN106980848A (zh) 基于曲波变换和稀疏学习的人脸表情识别方法
Wang et al. Penalized fisher discriminant analysis and its application to image-based morphometry
CN106096517A (zh) 一种基于低秩矩阵与特征脸的人脸识别方法
CN106446773A (zh) 一种全自动、鲁棒的三维人脸检测方法
CN110544310A (zh) 一种双曲共形映射下三维点云的特征分析方法
Arabadjis et al. New mathematical and algorithmic schemes for pattern classification with application to the identification of writers of important ancient documents
CN104732247B (zh) 一种人脸特征定位方法
CN104573722A (zh) 基于三维点云的三维人脸种族分类装置和方法
CN111091040B (zh) 基于全局轮廓和脸型结构分类的人脸吸引力数据处理方法
CN106682575A (zh) Elm算法的人眼点云特征定位
Bogacz et al. Cuneiform character similarity using graph representations
CN108090461A (zh) 基于稀疏特征的三维人脸识别方法
CN109886091B (zh) 基于带权重局部旋度模式的三维人脸表情识别方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant