CN111652105A - 一种基于深度度量学习的人脸特征点定位方法 - Google Patents

一种基于深度度量学习的人脸特征点定位方法 Download PDF

Info

Publication number
CN111652105A
CN111652105A CN202010464754.8A CN202010464754A CN111652105A CN 111652105 A CN111652105 A CN 111652105A CN 202010464754 A CN202010464754 A CN 202010464754A CN 111652105 A CN111652105 A CN 111652105A
Authority
CN
China
Prior art keywords
dimensional
depth
layer
feature point
dimensional model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010464754.8A
Other languages
English (en)
Inventor
吴平平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NANJING AUDIT UNIVERSITY
Original Assignee
NANJING AUDIT UNIVERSITY
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NANJING AUDIT UNIVERSITY filed Critical NANJING AUDIT UNIVERSITY
Priority to CN202010464754.8A priority Critical patent/CN111652105A/zh
Publication of CN111652105A publication Critical patent/CN111652105A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于深度度量学习的人脸特征点定位方法，具体方法如下：（1）训练：①标定人脸三维模型特征点位置；②对三维模型进行正交投影；③获得深度图像（包括三维特征点所对应二维坐标位置）；④深度网络训练：以卷积神经网络为主要结构（样本是深度图的值，标签是特征点二维坐标）进行训练；（2）预测：①输入三维模型进行正交投影获得深度图像；②使用已训练好的深度网络对深度图像进行特征点二维坐标预测；③输出二维坐标一一反投影到三维坐标，在三维模型上得到特征点位置，本发明设计合理，利用基于三维人脸模型正交投影生成合理深度值的二维深度图像，解决了三维人脸特征点需人工手动定位以及标定三维特征点耗时长等问题。

Description

一种基于深度度量学习的人脸特征点定位方法
技术领域
本发明涉及人工智能领域，具体涉及一种基于深度度量学习的人脸特征点定位方法。
背景技术
二维人脸识别技术发展迅速，但没有很好解决光照、表情等问题。光照条件、姿态变化等因素都对二维人脸精确检测与识别有较大影响。近年，三维人脸识别技术受到了越来越多关注。相对于二维人脸识别技术，三维人脸识别技术较容易做到姿态与光照的不变性。随着技术发展，三维模型获取日趋简化，促进了三维人脸识别、三维表情识别、三维人脸分割等三维人脸方面的研究。国内外关于三维人脸特征点定位的一些研究包括：基于曲率进行特征点定位，曲率是三维研究中重要基本属性之一，且有欧氏变换不变性，Chang等综合利用平均曲率及高斯曲率定位眼眶、鼻尖、鼻梁等人脸特殊区域。基于曲率的三维特征点定位算法缺点是对于数据噪声较为敏感，除了内眼点以及鼻尖点外，其余特征点定位效果达不到要求；王蜜宫等基于局部形状图的方法，半径大小选择很关键，但大小确定较困难，选择不当直接影响结果精度，且只能对个别几个特征点进行预测；利用较成熟二维图像数据人脸特征点定位技术，辅助定位三维人脸数据特征点，但此类算法要求三维数据存在二维辅助图像，无法仅用于三维信息人脸数据。
发明内容
本发明的目的是为解决上述不足，提供一种基于深度度量学习的人脸特征点定位方法。
本发明的目的是通过以下技术方案实现的：
一种基于深度度量学习的人脸特征点定位方法，具体方法如下：（1）训练：①标定人脸三维模型特征点位置；②对三维模型进行正交投影；③获得深度图像（包括三维特征点所对应二维坐标位置）；④深度网络训练：以卷积神经网络为主要结构（样本是深度图的值，标签是特征点二维坐标）进行训练；（2）预测：①输入三维模型进行正交投影获得深度图像（不包括特征点位置）；②使用已训练好的深度网络对深度图像进行特征点二维坐标预测；③输出二维坐标一一反投影到三维坐标，在三维模型上得到特征点位置。
人脸三维模型特征点位置标记为左眼中心、左眼内侧、左眼外侧、右眼中心、右眼内侧、右眼外侧、左眉外侧、左眉内侧、右眉外侧、右眉内侧、鼻尖、嘴巴上侧、嘴巴下侧、嘴巴左侧、嘴巴右侧共计15个特征点。
深度网络的架构由卷积神经网络构成，先是输入层，经过3层以卷积层、池化层为主网络结构，然后是2层全连接层，最后是计算损失层，第一层卷积层：kernel size=5，stride=1；下接ReLU层；第一层池化层：kernel size=2，stride=2；第二层卷积层：kernelsize=5，stride=1；下接ReLU层；第二层池化层：kernel size=2，stride=2；第三层卷积层：kernel size=3，stride=1；下接ReLU层，然后下接2个全连接层，参数num_output分别为500、30。
正交投影可以得到空间三维坐标所对应二维坐标以及其对应深度值大小，即三维模型可以生成相应深度图像。
本发明具有如下有益的效果：
本发明设计合理，利用基于三维人脸模型正交投影生成合理深度值的二维深度图像，结合卷积神经网络强大的图像特征提取及拟合能力，解决了三维人脸特征点需人工手动定位以及标定三维特征点耗时长等问题。
附图说明
图1为本发明的三维人脸图像；
图2为本发明的人物1预测结构；
图3为本发明的人物2预测结构；
图4为本发明的人物3预测结构。
具体实施方式
下面结合附图对本发明作进一步的说明：
一种基于深度度量学习的人脸特征点定位方法，具体方法如下：（1）训练：①标定人脸三维模型特征点位置；②对三维模型进行正交投影；③获得深度图像（包括三维特征点所对应二维坐标位置）；④深度网络训练：以卷积神经网络为主要结构（样本是深度图的值，标签是特征点二维坐标）进行训练；（2）预测：①输入三维模型进行正交投影获得深度图像（不包括特征点位置）；②使用已训练好的深度网络对深度图像进行特征点二维坐标预测；③输出二维坐标一一反投影到三维坐标，在三维模型上得到特征点位置。
人脸三维模型特征点位置标记为左眼中心、左眼内侧、左眼外侧、右眼中心、右眼内侧、右眼外侧、左眉外侧、左眉内侧、右眉外侧、右眉内侧、鼻尖、嘴巴上侧、嘴巴下侧、嘴巴左侧、嘴巴右侧共计15个特征点。
深度网络的架构由卷积神经网络构成，先是输入层，经过3层以卷积层、池化层为主网络结构，然后是2层全连接层，最后是计算损失层，第一层卷积层：kernel size=5，stride=1；下接ReLU层；第一层池化层：kernel size=2，stride=2；第二层卷积层：kernelsize=5，stride=1；下接ReLU层；第二层池化层：kernel size=2，stride=2；第三层卷积层：kernel size=3，stride=1；下接ReLU层，然后下接2个全连接层，参数num_output分别为500、30。
正交投影可以得到空间三维坐标所对应二维坐标以及其对应深度值大小，即三维模型可以生成相应深度图像。
三维模型如图1所示，用正交投影矩阵：可以得到空间三维坐标所对应二维坐标以及其对应深度值大小，即三维模型可以生成相应深度图像。
数据库采用bfm数据库，库中每个三维人脸包括53490个点及106400个三角面。训练200个三维人脸人脸，每个人脸绕着xyz轴在一定范围旋转加上平移得到50个不同姿势下深度图像，增加训练样本大小。再在库中选取200个三维人脸进行后期测试。
硬件条件为显卡gtx960，本文运用GPU加速并行架构。GPU近年来发展迅速，可以极大提升计算速度。正交投影200个三维人脸时间，计算时间单CPU模式下约2h，GPU模式下约15min，提高10倍左右。训练卷积神经网络，迭代50000次，在GPU模式下训练时间为25min左右，效率比CPU模式下快很多。
从测试实验结果中选取3个三维人脸，特征点结果预测结果如图2、图3、图4所示。实验表明，运用本文方法来预测人脸，三维人脸特征点定位结果准确。

Claims (4)

1.一种基于深度度量学习的人脸特征点定位方法，其特征在于：具体方法如下：（1）训练：①标定人脸三维模型特征点位置；②对三维模型进行正交投影；③获得深度图像（包括三维特征点所对应二维坐标位置）；④深度网络训练：以卷积神经网络为主要结构（样本是深度图的值，标签是特征点二维坐标）进行训练；（2）预测：①输入三维模型进行正交投影获得深度图像（不包括特征点位置）；②使用已训练好的深度网络对深度图像进行特征点二维坐标预测；③输出二维坐标一一反投影到三维坐标，在三维模型上得到特征点位置。
2.根据权利要求1所述的一种基于深度度量学习的人脸特征点定位方法，其特征在于：所述的人脸三维模型特征点位置标记为左眼中心、左眼内侧、左眼外侧、右眼中心、右眼内侧、右眼外侧、左眉外侧、左眉内侧、右眉外侧、右眉内侧、鼻尖、嘴巴上侧、嘴巴下侧、嘴巴左侧、嘴巴右侧共计15个特征点。
3.根据权利要求1所述的一种基于深度度量学习的人脸特征点定位方法，其特征在于：所述的深度网络的架构由卷积神经网络构成，先是输入层，经过3层以卷积层、池化层为主网络结构，然后是2层全连接层，最后是计算损失层，第一层卷积层：kernel size=5，stride=1；下接ReLU层；第一层池化层：kernel size=2，stride=2；第二层卷积层：kernel size=5，stride=1；下接ReLU层；第二层池化层：kernel size=2，stride=2；第三层卷积层：kernelsize=3，stride=1；下接ReLU层，然后下接2个全连接层，参数num_output分别为500、30。
4.根据权利要求1所述的一种基于深度度量学习的人脸特征点定位方法，其特征在于：所述的正交投影可以得到空间三维坐标所对应二维坐标以及其对应深度值大小，即三维模型可以生成相应深度图像。
CN202010464754.8A 2020-05-28 2020-05-28 一种基于深度度量学习的人脸特征点定位方法 Pending CN111652105A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010464754.8A CN111652105A (zh) 2020-05-28 2020-05-28 一种基于深度度量学习的人脸特征点定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010464754.8A CN111652105A (zh) 2020-05-28 2020-05-28 一种基于深度度量学习的人脸特征点定位方法

Publications (1)

Publication Number Publication Date
CN111652105A true CN111652105A (zh) 2020-09-11

Family

ID=72344791

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010464754.8A Pending CN111652105A (zh) 2020-05-28 2020-05-28 一种基于深度度量学习的人脸特征点定位方法

Country Status (1)

Country Link
CN (1) CN111652105A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022089360A1 (zh) * 2020-10-28 2022-05-05 广州虎牙科技有限公司 人脸检测神经网络及训练方法、人脸检测方法、存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107871099A (zh) * 2016-09-23 2018-04-03 北京眼神科技有限公司 人脸定位方法和装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107871099A (zh) * 2016-09-23 2018-04-03 北京眼神科技有限公司 人脸定位方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
杜星悦 等: ""基于投影与深度学习网络的三维人脸特征点定位方法"" *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022089360A1 (zh) * 2020-10-28 2022-05-05 广州虎牙科技有限公司 人脸检测神经网络及训练方法、人脸检测方法、存储介质

Similar Documents

Publication Publication Date Title
Yang et al. Faceness-net: Face detection through deep facial part responses
CN107491726B (zh) 一种基于多通道并行卷积神经网络的实时表情识别方法
Ali et al. Chaotic invariants for human action recognition
CN104463250B (zh) 一种基于达芬奇技术的手语识别翻译方法
CN106909938B (zh) 基于深度学习网络的视角无关性行为识别方法
Lui et al. Enhanced decoupled active contour using structural and textural variation energy functionals
CN113781640A (zh) 基于弱监督学习的三维人脸重建模型建立方法及其应用
CN111563550B (zh) 基于图像技术的精子形态检测方法和装置
CN112950561B (zh) 光纤端面缺陷检测方法、设备及存储介质
CN111259735B (zh) 基于多级预测特征增强卷积神经网络的单人姿态估计方法
CN109344713A (zh) 一种姿态鲁棒的人脸识别方法
CN109840483A (zh) 一种滑坡裂缝检测与识别的方法及装置
CN111028319A (zh) 一种基于面部运动单元的三维非真实感表情生成方法
Yu et al. Sparse 3D directional vertices vs continuous 3D curves: efficient 3D surface matching and its application for single model face recognition
Zheng et al. Facial expression recognition based on texture and shape
CN114511710A (zh) 一种基于卷积神经网络的图像目标检测方法
Khan et al. Race Classification Using Deep Learning.
CN114626461A (zh) 基于领域自适应的跨域目标检测方法
CN111652105A (zh) 一种基于深度度量学习的人脸特征点定位方法
Potamias et al. Handy: Towards a high fidelity 3d hand shape and appearance model
CN109344779A (zh) 一种基于卷积神经网络的匝道场景下的人脸检测方法
Ke et al. SRN: Side-output residual network for object reflection symmetry detection and beyond
Jiao et al. Facial attention based convolutional neural network for 2D+ 3D facial expression recognition
CN111666813A (zh) 一种基于非局部信息的三维卷积神经网络的皮下汗腺提取方法
Luo et al. Multi-scale face detection based on convolutional neural network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination