CN107045631B - 人脸特征点检测方法、装置及设备 - Google Patents

人脸特征点检测方法、装置及设备 Download PDF

Info

Publication number
CN107045631B
CN107045631B CN201710378459.9A CN201710378459A CN107045631B CN 107045631 B CN107045631 B CN 107045631B CN 201710378459 A CN201710378459 A CN 201710378459A CN 107045631 B CN107045631 B CN 107045631B
Authority
CN
China
Prior art keywords
face
dimensional
sample
dimensional image
mapping matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710378459.9A
Other languages
English (en)
Other versions
CN107045631A (zh
Inventor
王行
盛赞
李朔
周晓军
李骊
杨高峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing HJIMI Technology Co Ltd
Original Assignee
Beijing HJIMI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing HJIMI Technology Co Ltd filed Critical Beijing HJIMI Technology Co Ltd
Priority to CN201710378459.9A priority Critical patent/CN107045631B/zh
Publication of CN107045631A publication Critical patent/CN107045631A/zh
Application granted granted Critical
Publication of CN107045631B publication Critical patent/CN107045631B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种人脸特征点检测方法、装置及设备，其中，所述方法包括：获取目标对象的二维图像、所述二维图像对应的深度图像、所述目标对象的三维人脸模型以及用于表示所述三维人脸模型与所述二维图像的特征点映射关系的映射矩阵；对所述二维图像进行人脸位置检测，以获取所述二维图像上的人脸位置；通过预先训练的级联回归器分别对所述映射矩阵、所述三维人脸模型以及所述人脸位置进行迭代运算，以确定满足迭代终止条件的映射矩阵、三维人脸模型以及人脸位置，进而根据确定的映射矩阵、三维人脸模型以及人脸位置确定所述二维图像上的人脸特征点位置。利用本发明提供的人脸特征点检测方法可提高人脸特征点识别的准确性，降低误检率。

Description

人脸特征点检测方法、装置及设备
技术领域
本发明涉及计算机视觉技术领域，特别涉及一种人脸特征点检测方法、装置及设备。
背景技术
近年来，随着移动互联网的发展，人脸特征点检测技术已推广至智能监控、智能手机应用、智能家居等各个领域。
在智能监控领域，人脸特征点检测技术可以用于获得人流统计信息(如年龄、性别、种族的组成等)、跟踪或查找特定的人(群)；在智能手机应用领域，人脸特征点检测技术可以用于信息认证(如人脸支付、人脸开锁、美颜、化妆等)；在智能家居领域，智能家电(机器人)可以基于人脸特征点检测技术获得家庭人员的信息，实现人机交互。
相关技术中，人脸特征点检测方法主要是对二维图像中的人脸进行检测，包括基于机器学习的人脸特征点检测方法等。由于完全依赖于二维图像信息，因而无法准确区分真实人脸和人脸影像，比如容易将衣服上的人脸图像、玻璃门上的人脸倒影等也误检为人脸，误检率较高，并且针对姿态角较大的人脸进行特征点检测时的准确度较低。
发明内容
有鉴于此，本发明提供一种人脸特征点检测方法、装置及设备，以提高人脸特征点检测的准确性。
第一方面，本发明实施例提供了一种人脸特征点检测方法，包括：
获取目标对象的二维图像、所述二维图像对应的深度图像、所述目标对象的三维人脸模型以及用于表示所述三维人脸模型与所述二维图像的特征点映射关系的映射矩阵；
对所述二维图像进行人脸位置检测，以获取所述二维图像上的人脸位置；
通过预先训练的级联回归器分别对所述映射矩阵、所述三维人脸模型以及所述人脸位置进行迭代运算，以确定满足迭代终止条件的映射矩阵、三维人脸模型以及人脸位置；
根据所述满足迭代终止条件的映射矩阵、三维人脸模型以及人脸位置确定所述二维图像上的人脸特征点位置。
可选地，所述级联回归器包括：用于对映射矩阵进行回归运算的第一回归器、用于对三维人脸模型进行回归运算的第二回归器以及用于对人脸位置进行回归运算的第三回归器。
可选地，所述对所述映射矩阵进行迭代运算，包括：
根据当前确定的人脸位置、三维人脸模型以及映射矩阵确定所述二维图像上的人脸特征点位置；
分别从所述二维图像和所述深度图像上获取所述人脸特征点位置的周围预设区域的纹理特征和深度特征，以组合成第一特征向量；
将所述第一特征向量输入到所述第一回归器，以更新所述映射矩阵。
可选地，所述对所述人脸位置进行迭代运算，包括：
根据当前确定的人脸位置、三维人脸模型以及映射矩阵更新所述二维图像上的人脸特征点位置；
分别从所述二维图像和所述深度图像上获取更新的所述人脸特征点位置的周围预设区域的纹理特征和深度特征，以组合成第二特征向量；
将所述第二特征向量输入到所述第二回归器，以更新所述三维人脸模型。
可选地，所述对所述三维人脸模型进行迭代运算，包括：
根据当前确定的人脸位置、三维人脸模型以及映射矩阵再次更新所述二维图像上的人脸特征点位置；
分别从所述二维图像和所述深度图像上获取再次更新的人脸特征点位置的周围预设区域的纹理特征和深度特征，以组合成第三特征向量；
将所述第三特征向量输入到所述第三回归器，以更新人脸位置。
可选地，所述方法还包括根据以下步骤训练所述第一回归器：
获取多个样本对象各自的样本二维图像、所述样本二维图像对应的样本深度图像、所述多个样本对象各自的样本三维人脸模型、所述样本三维人脸模型上人脸特征点真值位置以及用于表示样本三维人脸模型与样本二维图像的特征点映射关系的样本映射矩阵；
对所述样本二维图像进行人脸位置检测，以获取所述样本二维图像上的样本人脸位置；
根据所述样本人脸位置、所述样本三维人脸模型以及所述样本映射矩阵确定各所述样本二维图像上的样本人脸特征点位置；
分别从各所述样本二维图像和各所述样本深度图像上获取所述样本人脸特征点位置的周围预设区域的纹理特征和深度特征，以组合成第一样本特征向量矩阵；
根据所述第一样本特征向量矩阵和所述人脸特征点真值位置确定所述第一回归器的参数集合。
可选地，所述方法还包括根据以下步骤训练所述第二回归器：
将所述第一样本特征向量矩阵输入到训练完成的所述第一回归器，以得到更新的样本映射矩阵；
根据所述样本三维人脸模型、所述样本人脸位置以及所述更新的样本映射矩阵更新各所述样本二维图像上的样本人脸特征点位置；
分别从各所述样本二维图像和各所述样本深度图像上获取更新的所述样本人脸特征点位置的周围预设区域的纹理特征和深度特征，以组合成第二样本特征向量矩阵；
根据所述第二样本特征向量矩阵和所述人脸特征点真值位置确定所述第二回归器的参数集合。
可选地，所述方法还包括根据以下步骤训练所述第三回归器：
将所述第二样本特征向量矩阵输入到训练完成的所述第二回归器，以得到更新的样本三维人脸模型；
根据所述样本人脸位置、所述更新的样本映射矩阵以及所述更新的样本三维人脸模型再次更新各所述样本二维图像上的样本人脸特征点位置；
分别从各所述样本二维图像和各所述样本深度图像上获取再次更新的所述样本人脸特征点位置的周围预设区域的纹理特征和深度特征，以组合成第三样本特征向量矩阵；
根据所述第三样本特征向量矩阵和所述人脸特征点真值位置确定所述第三回归器的参数集合。
第二方面，提供了一种人脸特征点检测装置，包括：
数据获取模块，用于获取目标对象的二维图像、所述二维图像对应的深度图像、所述目标对象的三维人脸模型以及用于表示所述三维人脸模型与所述二维图像的特征点映射关系的映射矩阵；
人脸检测模块，用于对所述二维图像进行人脸位置检测，以获取所述二维图像上的人脸位置；
数据运算模块，用于通过预先训练的级联回归器分别对所述映射矩阵、所述三维人脸模型以及所述人脸位置进行迭代运算，以确定满足迭代终止条件的映射矩阵、三维人脸模型以及人脸位置；
特征点确定模块，用于根据所述满足迭代终止条件的映射矩阵、三维人脸模型以及人脸位置确定所述二维图像上的人脸特征点位置。
第三方面，还提供了一种电子设备，所述电子设备包括：
处理器；
被配置为存储处理器可执行指令的存储器；
其中，所述处理器被配置为：
获取目标对象的二维图像、所述二维图像对应的深度图像、所述目标对象的三维人脸模型以及用于表示所述三维人脸模型与所述二维图像的特征点映射关系的映射矩阵；
对所述二维图像进行人脸位置检测，以获取所述二维图像上的人脸位置；
通过预先训练的级联回归器分别对所述映射矩阵、所述三维人脸模型以及所述人脸位置进行迭代运算，以确定满足迭代终止条件的映射矩阵、三维人脸模型以及人脸位置；
根据所述满足迭代终止条件的映射矩阵、三维人脸模型以及人脸位置确定所述二维图像上的人脸特征点位置。
第四方面，还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器处理时实现：
获取目标对象的二维图像、所述二维图像对应的深度图像、所述目标对象的三维人脸模型以及用于表示所述三维人脸模型与所述二维图像的特征点映射关系的映射矩阵；
对所述二维图像进行人脸位置检测，以获取所述二维图像上的人脸位置；
通过预先训练的级联回归器分别对所述映射矩阵、所述三维人脸模型以及所述人脸位置进行迭代运算，以确定满足迭代终止条件的映射矩阵、三维人脸模型以及人脸位置；
根据所述满足迭代终止条件的映射矩阵、三维人脸模型以及人脸位置确定所述二维图像上的人脸特征点位置。
由上述技术方案可知，本发明提供的人脸特征点检测方法，首先获取目标对象的二维图像、对应的深度图像、三维人脸模型以及映射矩阵，然后对所述二维图像进行人脸位置检测，以获取所述二维图像上的人脸位置，在此基础上通过预先训练的级联回归器分别对所述映射矩阵、所述三维人脸模型以及所述人脸位置进行迭代运算，进而根据得到的映射矩阵、三维人脸模型以及人脸位置确定所述二维图像上的人脸特征点位置。由于将深度信息引入到人脸特征点检测，可以避免将图像中的人脸影像信息当作真实人脸信息，并且通过引入三维人脸模型可以降低较大人脸姿态角的影响，提升二维图像中人脸位置检测的准确性并且基于预先训练的级联回归器确定映射矩阵、三维人脸模型以及人脸位置，进而根据回归结果确定二维图像上的特征点位置，可以提高人脸特征点识别的准确性。
附图说明
图1是本发明一种人脸特征点检测方法实施例的流程图；
图2是本发明对映射矩阵进行迭代运算实施例的流程图；
图3是本发明对人脸位置进行迭代运算实施例的流程图；
图4是本发明对三维人脸模型进行迭代运算实施例的流程图；
图5是本发明对第一回归器进行训练实施例的流程图；
图6是本发明对第二回归器进行训练实施例的流程图；
图7是本发明对第三回归器进行训练实施例的流程图；
图8是本发明一种人脸特征点检测装置实施例一的结构框图；
图9是本发明数据运算模块实施例的结构框图；
图10是本发明一种人脸特征点检测装置实施例二的结构框图；
图11是本发明一种电子设备实施例的结构框图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本申请中可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
本发明提供了一种人脸特征点检测方法，可以应用于智能监控系统、智能手机或智能家电，对可以采集物体深度信息的摄像机采集的图像进行人脸检测。
参照图1示出的一种人脸特征点检测方法实施例的流程图，可以包括以下步骤：
S11：获取目标对象的二维图像、所述二维图像对应的深度图像、所述目标对象的三维人脸模型以及用于表示所述三维人脸模型与所述二维图像的特征点映射关系的映射矩阵；
具体来说，本步骤的具体实施过程可以包括：通过带有深度信息的摄像机获取目标对象的二维图像(如2D RGB图像)以及该二维图像对应的深度图像，并获取所述目标对象的3D人脸模型和初始的映射矩阵(该矩阵的各元素值可以设置为0.5，或根据经验进行设置)；
需要说明的是，所述目标对象的三维人脸模型可以通过相关技术中的三维人脸建模方法进行获取，或直接采用网上现有的3D人脸模型，本发明对此不进行限制。
在一实施例中，目标对象的3D人脸可以表示为：
其中xi,yi,zi(i＝1,2,…,N)为人脸特征点的3D空间坐标；
若采用如下基向量A表示3D人脸模型：
A＝[A0,A1,…,Am]； 公式(1.2)
则，Shape3可以由3D人脸模型可以表示为：
由此可知，可以通过不同的系数P＝[P1,…,Pm]即可表示任意一张3D人脸。
S12：对所述二维图像进行人脸位置检测，以获取所述二维图像上的人脸位置；
举例来说，上述的人脸位置检测的方法包括：哈尔级联Haar-cascaded方法以及更快的基于区域的卷积神经网络Faster RCNN等等，本发明对此不进行限定。
具体地，所述人脸位置的检测结果F可以表示为：
其中，Sx,Sy是表示人脸位置的矩形框的左上点坐标，w为矩形框的宽，h为矩形框的高，yaw,roll,pitch分别表示右手坐标系中人脸绕y、z、x三轴转动的姿态角。
S13：通过预先训练的级联回归器分别对所述映射矩阵、所述三维人脸模型以及所述人脸位置进行迭代运算，以确定满足迭代终止条件的映射矩阵、三维人脸模型以及人脸位置；
可以理解的是，所述级联回归器中包括多个分别训练不同变量的单级回归器(所述不同变量之间具有关联关系)，且每个单级回归器的输出结果可以作为另一个单级回归器的输入，通过多次迭代运算，最终确定满足迭代终止条件的多个变量。
在一实施例中，所述级联回归器可以包括：用于对映射矩阵进行回归运算的第一回归器、用于对三维人脸模型进行回归运算的第二回归器以及用于对人脸位置进行回归运算的第三回归器。
通过所述级联回归器分别对所述映射矩阵、所述三维人脸模型以及所述人脸位置进行迭代运算，当满足迭代终止条件(例如到达预先设置的最大回归次数)时，确定当前满足迭代终止条件的映射矩阵、三维人脸模型以及人脸位置。
S14：根据所述满足迭代终止条件的映射矩阵、三维人脸模型以及人脸位置确定所述二维图像上的人脸特征点位置。
具体来说，通过确定的3D人脸模型和映射矩阵R，对3D人脸模型上的特征点进行映射，得到特征点投影矩阵Shape2′：
然后将特征点投影矩阵Shape2′中的特征点坐标根据人脸位置F转换到2D RGB人脸图像上，得到二维图像上的特征点位置Shape2：
其中，ui＝u′i×w/2+(Sx+w/2)，vi＝v′i×h/2+(Sy+h/2)；Sx,Sy,w和h均为人脸位置F中的参数。
由上述技术方案可知，本发明提供的人脸特征点检测方法，通过将深度信息引入到人脸特征点检测，避免了将图像中的人脸影像信息当作真实人脸信息，并且通过引入三维人脸模型降低了较大人脸姿态角的影响，提升了二维图像中人脸位置检测的准确性，在此基础上，基于预先训练的级联回归器确定映射矩阵、三维人脸模型以及人脸位置，进而根据回归器的运算结果确定二维图像上的人脸特征点位置，有效提高了人脸特征点识别的准确性，降低了误检率。
在一实施例中，步骤S13通过预先训练的级联回归器分别对所述映射矩阵、所述三维人脸模型以及所述人脸位置进行迭代运算，可以具体包括：
S131：对所述映射矩阵进行迭代运算；
S132：对所述三维人脸模型进行迭代运算；
S133：对所述人脸位置进行迭代运算。
下面结合图2～图4对步骤S131～步骤S133进行具体说明。其中，图2是本发明对映射矩阵进行迭代运算实施例的流程图；图3是本发明对人脸位置进行迭代运算实施例的流程图；图4是本发明对三维人脸模型进行迭代运算实施例的流程图。
如图2所示，步骤S131中所述对所述映射矩阵进行迭代运算，可以包括：
S1311：根据当前确定的人脸位置、三维人脸模型以及映射矩阵确定所述二维图像上的人脸特征点位置；
S1312：分别从所述二维图像和所述深度图像上获取所述人脸特征点位置的周围预设区域的纹理特征和深度特征(如梯度直方图HOG,加速的鲁棒特征SURF特征)，以组合成第一特征向量；
S1313：将所述第一特征向量输入到所述第一回归器，以更新所述映射矩阵。
在此基础上，参照图3，步骤S132中所述对所述三维人脸模型进行迭代运算，可以包括：
S1321：根据当前确定的人脸位置、三维人脸模型以及映射矩阵(步骤S1313中更新的)更新所述二维图像上的人脸特征点位置；
S1322：分别从所述二维图像和所述深度图像上获取更新的所述人脸特征点位置的周围预设区域的纹理特征和深度特征，以组合成第二特征向量；
S1323：将所述第二特征向量输入到所述第二回归器，以更新所述三维人脸模型。
在此基础上，参照图4，步骤S133中所述对所述三维人脸模型进行迭代运算，可以包括：
S1331：根据当前确定的人脸位置、三维人脸模型(步骤S1323中更新的)以及映射矩阵(步骤S1313中更新的)再次更新所述二维图像上的人脸特征点位置；
S1332：分别从所述二维图像和所述深度图像上获取再次更新的人脸特征点位置的周围预设区域的纹理特征和深度特征，以组合成第三特征向量；
S1333：将所述第三特征向量输入到所述第三回归器，以更新人脸位置。
进一步地，在更新了人脸位置的基础上，再重复执行步骤S1311～S1333，直至到达预先设置的最大回归次数。
由上述方案可知，本发明中的级联回归器中包括的第一回归器的输出结果可以作为第二回归器的输入，然后第二回归器的输出可以作为第三回归器的输入，接下来第三回归器的输入再作为第一回归器的输入，如此重复进行多次迭代运算，直到确定满足预设迭代终止条件的人脸位置、三维人脸模型以及映射矩阵。基于回归器的运算结果确定二维图像上的特征点位置，提高了人脸特征点识别的准确性。
下面结合图5～图7对本发明的级联回归器的训练方法进行具体说明。其中，图5是本发明对第一回归器进行训练实施例的流程图；图6是本发明对第二回归器进行训练实施例的流程图；图7是本发明对第三回归器进行训练实施例的流程图。
如图5所示，本实施例的第一回归器的训练方法包括：
S51：获取多个样本对象各自的样本二维图像、所述样本二维图像对应的样本深度图像、所述多个样本对象各自的样本三维人脸模型、所述样本三维人脸模型上人脸特征点真值位置以及用于表示样本三维人脸模型与样本二维图像的特征点映射关系的样本映射矩阵；
S52：对所述样本二维图像进行人脸位置检测，以获取所述样本二维图像上的样本人脸位置；
S53：根据所述样本人脸位置、所述样本三维人脸模型以及所述样本映射矩阵确定各所述样本二维图像上的样本人脸特征点位置；
S54：分别从各所述样本二维图像和各所述样本深度图像上获取所述样本人脸特征点位置的周围预设区域的纹理特征和深度特征，以组合成第一样本特征向量矩阵；
S55：根据所述第一样本特征向量矩阵和所述人脸特征点真值位置确定所述第一回归器的参数集合。
在此基础上，参见图6，本实施例的第二回归器的训练方法包括：
S61：将所述第一样本特征向量矩阵输入到训练完成的所述第一回归器，以得到更新的样本映射矩阵；
S62：根据所述样本三维人脸模型、所述样本人脸位置以及所述更新的样本映射矩阵更新各所述样本二维图像上的样本人脸特征点位置；
S63：分别从各所述样本二维图像和各所述样本深度图像上获取更新的所述样本人脸特征点位置的周围预设区域的纹理特征和深度特征，以组合成第二样本特征向量矩阵；
S64：根据所述第二样本特征向量矩阵和所述人脸特征点真值位置确定所述第二回归器的参数集合。
在此基础上，参见图7，本实施例的第三回归器的训练方法包括：
S71：将所述第二样本特征向量矩阵输入到训练完成的所述第二回归器，以得到更新的样本三维人脸模型；
S72：根据所述样本人脸位置、所述更新的样本映射矩阵以及所述更新的样本三维人脸模型再次更新各所述样本二维图像上的样本人脸特征点位置；
S73：分别从各所述样本二维图像和各所述样本深度图像上获取再次更新的所述样本人脸特征点位置的周围预设区域的纹理特征和深度特征，以组合成第三样本特征向量矩阵；
S73：根据所述第三样本特征向量矩阵和所述人脸特征点真值位置确定所述第三回归器的参数集合。
由上述技术方案可知，本发明通过获取多个样本对象各自的样本二维图像、所述样本二维图像对应的样本深度图像、所述多个样本对象各自的样本三维人脸模型、所述样本三维人脸模型上人脸特征点真值位置以及样本映射矩阵训练所述第一回归器，再基于训练好的第一回归器更新样本映射矩阵，以根据更新结果训练第二回归器，进而基于训练好的第二回归器更新样本三维人脸模型，以根据更新结果训练第三回归器，可以提供满足准确性要求的级联回归器。
对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。
其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于可选实施例，所涉及的动作和模块并不一定是本发明所必须的。
图8是本发明一种人脸特征点检测装置实施例一的结构框图；如图8所示，本实施例的人脸特征点检测装置可以包括数据获取模块810、人脸检测模块820、数据运算模块830以及特征点确定模块840，其中：
数据获取模块810，用于获取目标对象的二维图像、所述二维图像对应的深度图像、所述目标对象的三维人脸模型以及用于表示所述三维人脸模型与所述二维图像的特征点映射关系的映射矩阵；
人脸检测模块820，用于对所述二维图像进行人脸位置检测，以获取所述二维图像上的人脸位置；
数据运算模块830，用于通过预先训练的级联回归器分别对所述映射矩阵、所述三维人脸模型以及所述人脸位置进行迭代运算，以确定满足迭代终止条件的映射矩阵、三维人脸模型以及人脸位置；
特征点确定模块840，用于根据所述满足迭代终止条件的映射矩阵、三维人脸模型以及人脸位置确定所述二维图像上的人脸特征点位置。
在一实施例中，所述级联回归器可以包括：用于对映射矩阵进行回归运算的第一回归器、用于对三维人脸模型进行回归运算的第二回归器以及用于对人脸位置进行回归运算的第三回归器。
图9是本发明数据运算模块实施例的结构框图；如图9所示，在图8所示实施例的基础上，所述数据运算模块830还可以包括映射矩阵迭代单元831、三维人脸模型迭代单元832以及人脸位置迭代单元833，具体地：
映射矩阵迭代单元831，用于：
根据当前确定的人脸位置、三维人脸模型以及映射矩阵确定所述二维图像上的人脸特征点位置；
分别从所述二维图像和所述深度图像上获取所述人脸特征点位置的周围预设区域的纹理特征和深度特征，以组合成第一特征向量；
将所述第一特征向量输入到所述第一回归器，以更新所述映射矩阵。
三维人脸模型迭代单元832，用于：
根据当前确定的人脸位置、三维人脸模型以及映射矩阵更新所述二维图像上的人脸特征点位置；
分别从所述二维图像和所述深度图像上获取更新的所述人脸特征点位置的周围预设区域的纹理特征和深度特征，以组合成第二特征向量；
将所述第二特征向量输入到所述第二回归器，以更新所述三维人脸模型。
人脸位置迭代单元833用于：
根据当前确定的人脸位置、三维人脸模型以及映射矩阵再次更新所述二维图像上的人脸特征点位置；
分别从所述二维图像和所述深度图像上获取再次更新的人脸特征点位置的周围预设区域的纹理特征和深度特征，以组合成第三特征向量；
将所述第三特征向量输入到所述第三回归器，以更新人脸位置。
图10是本发明一种人脸特征点检测装置实施例二的结构框图；其中数据获取模块910、人脸检测模块920、数据运算模块930以及特征点确定模块940与图8所示实施例中的数据获取模块810、人脸检测模块820、数据运算模块830以及特征点确定模块840的功能相同，在此不进行赘述。如图10所示，本实施例的人脸特征点检测装置还可以包括：第一回归器训练模块950、第二回归器训练模块960、第三回归器训练模块970，具体地：
第一回归器训练模块950，用于：
获取多个样本对象各自的样本二维图像、所述样本二维图像对应的样本深度图像、所述多个样本对象各自的样本三维人脸模型、所述样本三维人脸模型上人脸特征点真值位置以及用于表示样本三维人脸模型与样本二维图像的特征点映射关系的样本映射矩阵；
对所述样本二维图像进行人脸位置检测，以获取所述样本二维图像上的样本人脸位置；
根据所述样本人脸位置、所述样本三维人脸模型以及所述样本映射矩阵确定各所述样本二维图像上的样本人脸特征点位置；
分别从各所述样本二维图像和各所述样本深度图像上获取所述样本人脸特征点位置的周围预设区域的纹理特征和深度特征，以组合成第一样本特征向量矩阵；
根据所述第一样本特征向量矩阵和所述人脸特征点真值位置确定所述第一回归器的参数集合。
第二回归器训练模块960，用于：
将所述第一样本特征向量矩阵输入到训练完成的所述第一回归器，以得到更新的样本映射矩阵；
根据所述样本三维人脸模型、所述样本人脸位置以及所述更新的样本映射矩阵更新各所述样本二维图像上的样本人脸特征点位置；
分别从各所述样本二维图像和各所述样本深度图像上获取更新的所述样本人脸特征点位置的周围预设区域的纹理特征和深度特征，以组合成第二样本特征向量矩阵；
根据所述第二样本特征向量矩阵和所述人脸特征点真值位置确定所述第二回归器的参数集合。
第三回归器训练模块970，用于：
将所述第二样本特征向量矩阵输入到训练完成的所述第二回归器，以得到更新的样本三维人脸模型；
根据所述样本人脸位置、所述更新的样本映射矩阵以及所述更新的样本三维人脸模型再次更新各所述样本二维图像上的样本人脸特征点位置；
分别从各所述样本二维图像和各所述样本深度图像上获取再次更新的所述样本人脸特征点位置的周围预设区域的纹理特征和深度特征，以组合成第三样本特征向量矩阵；
根据所述第三样本特征向量矩阵和所述人脸特征点真值位置确定所述第三回归器的参数集合。
需要说明的是，对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可，在此不进行赘述。
本发明的人脸特征点检测装置的实施例可以应用在网络设备上。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，
如图11所示，为本发明的人脸特征点检测装置所在设备的一种硬件结构图，除了图11所示的处理器、网络接口、内存以及非易失性存储器之外，实施例中装置所在的设备通常还可以包括其他硬件，如负责处理报文的转发芯片等等；从硬件结构上来讲该设备还可能是分布式的设备，可能包括多个接口卡，以便在硬件层面进行报文处理的扩展。
本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器处理时实现：
获取目标对象的二维图像、所述二维图像对应的深度图像、所述目标对象的三维人脸模型以及用于表示所述三维人脸模型与所述二维图像的特征点映射关系的映射矩阵；
对所述二维图像进行人脸位置检测，以获取所述二维图像上的人脸位置；
通过预先训练的级联回归器分别对所述映射矩阵、所述三维人脸模型以及所述人脸位置进行迭代运算，以确定满足迭代终止条件的映射矩阵、三维人脸模型以及人脸位置；
根据所述满足迭代终止条件的映射矩阵、三维人脸模型以及人脸位置确定所述二维图像上的人脸特征点位置。
下面以一具体实施例来说明本发明提供的人脸特征点检测方法，但不用于限制本发明的范围。
本发明提供的人脸特征点检测方法包括以下两部分：
(1)训练部分：
(1.1)训练用于对映射矩阵进行回归运算的第一回归器的步骤如下：
步骤S110:通过带有深度信息的摄像机采集多个样本对象的2D RGB图像以及对应的深度图像，并构建所述多个样本对象的3D人脸模型；
在一实施例中，用于表示3D人脸模型的基向量可以表示为：
A＝[A0,A1,…,Am]；
则任一张特定的3D人脸可以表示为：
其中xi,yi,zi,i＝1,2,…,N为人脸特征点的3D空间坐标，则Shape3可以由3D人脸模型可以表示为：
因此可以通过系数P＝[P1,…,Pm]表示一张特定的3D人脸。
步骤S120:在步骤S110中采集的2D RGB图像上进行人脸位置检测；
举例来说，人脸位置检测的方法包括：哈尔级联Haar-cascaded方法以及更快的基于区域的卷积神经网络Faster RCNN等等，本发明对此不进行限定。所述人脸位置的检测结果F为：
其中，Sx,Sy是人脸矩形框的左上点坐标，w为矩形框的宽，h为矩形框的高，yaw是人脸的偏航角，roll是人脸的翻滚角，pitch表示人脸的俯仰角；
步骤S130:通过3D人脸模型(A和P)、检测到的人脸位置F和初始的3D→2D映射矩阵(各元素值可以根据经验均设置为0.5)，将3D人脸特征点映射到2D人脸图像上，获得特征点投影矩阵Shape2′：
然后将Shape2′中的特征点坐标根据人脸位置F转换到2D人脸图像上，得到二维图像上的特征点位置Shape2：
其中，ui＝u′i×w/2+(Sx+w/2)，vi＝v′i×h/2+(Sy+h/2)，Sx,Sy,w和h均为人脸位置F中的参数。
步骤S140:分别在2D RGB图像和深度图像的Shape2位置的周围预设区域(例如坐标周围32*32或64*64的区域)上提取纹理特征(如梯度直方图HOG,加速的鲁棒特征SURF特征)，并将所提取的特征保存为特征向量形式；
步骤S150：将所有训练样本的特征向量组合成特征向量矩阵，输入到第一CNN回归器来训练第一CNN回归器；
所述第一CNN回归器用于回归3D→2D映射矩阵，具体的训练公式表示为：
其中，i表示第i个训练样本，Ns为训练样本个数，k表示回归级数，imagei表示第i个2D RGB图像；表示用于回归R映射矩阵的第k级CNN网络，是待学习的参数集合；Shape2i为第i个2D RGB图像上人脸特征点检测位置，为第i个2D RGB图像对应的映射矩阵真值和映射矩阵初始值(上一次回归的预测值)的差值。
(1.2)训练用于对三维人脸模型进行回归运算的第二回归器的步骤如下：
步骤S210：将S140提取的特征输入到第一回归器，得到3D→2D映射矩阵；
步骤S220：通过3D人脸模型(A和P)、检测到的人脸位置F和步骤S210得到的3D→2D映射矩阵，基于公式(三)将3D人脸特征点映射到2D人脸图像上，更新2D人脸图像上的特征点位置Shape2；
步骤S230：分别在2D人脸图像上和对应的深度图像的所述更新的Shape2位置的周围预设区域(例如坐标周围32*32或64*64的区域)上提取纹理特征，并将所提取的特征保存为特征向量形式；
步骤S240：将所有训练样本的特征向量组合成特征向量矩阵，输入到第二CNN回归器来训练第二CNN回归器；
所述第二回归器用于回归3D人脸模型系数，具体的训练公式表示为：
其中，表示用于3D人脸模型系数P的第k级CNN网络，是待学习的参数集合。为第i个2D RGB图像对应的人脸位置真值和人脸位置初始值(上一次回归的预测值)之间的差值。
(1.3)训练用于对人脸位置进行回归运算的第三回归器训练的步骤如下：
步骤S310：将步骤S230提取的特征输入到第二回归器，得到3D人脸模型系数P；
步骤S320：根据上一步得到的3D人脸模型系数P、3D→2D映射转换矩阵RT和人脸位置F，再次更新2D人脸图像上的特征点位置Shape2；
步骤S330：分别在2D人脸图像上和对应的深度图像的所述再次更新的Shape2位置的周围预设区域(例如坐标周围32*32或64*64的区域)上提取纹理特征，并将所提取的特征保存为特征向量形式；
步骤S340：将所有训练样本的特征向量组合成特征向量矩阵，输入到第三CNN回归器来训练第三CNN回归器；
所述第三回归器用于对人脸位置进行回归运算，具体的训练公式为：
其中，表示用于对人脸位置进行回归运算F的第k级CNN网络，是待学习的参数集合。为第i个2D RGB图像对应的人脸位置真值和人脸位置初始值(上一次回归的预测值)之间的差值。
(2)人脸特征点检测部分：
步骤S410：通过带有深度信息的摄像机采集目标对象的2D RGB图像以及对应的深度图像；
步骤S420：在步骤S410中采集的2D RGB图像上做人脸检测，以获取人脸位置Fk：
Fk＝[Sk x,Sk y,wk,hk,yawk,rollk,pitchk] 公式(八)；
其中，Sk x,Sk y是目标对象的人脸矩形框的左上点坐标，wk为矩形框的宽，hk为矩形框的高，yawk是人脸的偏航角，rollk是人脸的翻滚角，pitchk表示人脸的俯仰角；
步骤S430：根据3D人脸模型系数(A和Pk)、3D→2D映射矩阵Rk和人脸位置Fk，基于公式(九)～公式(十一)分别计算Shape3k和Shape2k：
然后将Shape2′k中的特征点坐标根据人脸位置F转换到2D人脸图像上，得到二维图像上的特征点位置Shape2k：
其中，Sk x,Sk y，wk，hk为人脸位置Fk中的参数。
其中，各变量的上角标k为回归级数，表示第k次回归；
步骤S440：分别在目标对象的2D RGB图像和对应的深度图像的Shape2k位置的周围预设区域上提取纹理特征，并将所提取的特征保存为特征向量形式；
步骤S450：将步骤S440中得到的特征向量输入到第一回归器，得到更新的3D→2D映射矩阵Rk+1；
步骤S460：根据更新的Rk+1基于公式(十)、公式(十一)更新二维图像上的特征点位置，得到Shape2k+1；
步骤S470：分别在目标对象的2D RGB图像和对应的深度图像的Shape2k+1位置的周围预设区域上提取纹理特征，并将所提取的特征保存为特征向量形式；
步骤S480：将步骤S470得到的特征向量输入到第二回归器，更新3D人脸模型系数，得到Pk+1，进而基于公式(九)更新Shape3k，得到Shape3k+1；
步骤S490：根据步骤S450中得到的Rk+1和步骤S480中得到的Shape3k+1，基于公式(十)、公式(十一)更新二维图像上的特征点位置，得到Shape2k+2；
步骤S500：在目标对象的2D RGB图像和对应的深度图像上提取Shap2ek+2位置周围预设区域的纹理特征，并将所提取的特征保存为特征向量形式；
步骤S510：将步骤S500中得到的特征向量输入到第三回归器，更新人脸位置，得到Fk+1；
步骤S520：重复步骤S430～S510直到满足最大回归次数,确定最后更新的映射矩阵、三维人脸模型以及人脸位置，进而基于公式(十)、公式(十一)确定2D RGB图像上的特征点位置。
由上述描述可知，本发明的人脸特征点检测算法，由于将深度信息引入到人脸特征点检测，可以避免将图像中的人脸影像信息当作真实人脸信息，并且通过引入三维人脸模型可以提升二维图像中人脸位置检测的准确性，并且基于预先训练的级联回归器对映射矩阵、三维人脸模型以及人脸位置进行迭代运算，进而根据运算结果确定二维图像上的特征点位置，提高了人脸特征点识别的准确性。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (10)

1.一种人脸特征点检测方法，其特征在于，包括：
获取目标对象的二维图像、所述二维图像对应的深度图像、所述目标对象的三维人脸模型以及用于表示所述三维人脸模型与所述二维图像的特征点映射关系的映射矩阵；
对所述二维图像进行人脸位置检测，以获取所述二维图像上的人脸位置；
通过预先训练的级联回归器分别对所述映射矩阵、所述三维人脸模型以及所述人脸位置进行迭代运算，以确定满足迭代终止条件的映射矩阵、三维人脸模型以及人脸位置；
根据所述满足迭代终止条件的映射矩阵、三维人脸模型以及人脸位置确定所述二维图像上的人脸特征点位置，
其中，对所述映射矩阵进行迭代运算，包括：
根据当前确定的人脸位置、三维人脸模型以及映射矩阵确定所述二维图像上的人脸特征点位置；
分别从所述二维图像和所述深度图像上获取所述人脸特征点位置的周围预设区域的纹理特征和深度特征，以组合成第一特征向量；
将所述第一特征向量输入到所述级联回归器，以更新所述映射矩阵。
2.根据权利要求1所述的方法，其特征在于，所述级联回归器包括：用于对映射矩阵进行回归运算的第一回归器、用于对三维人脸模型进行回归运算的第二回归器以及用于对人脸位置进行回归运算的第三回归器。
3.根据权利要求2所述的方法，其特征在于，所述对所述人脸位置进行迭代运算，包括：
根据当前确定的人脸位置、三维人脸模型以及映射矩阵更新所述二维图像上的人脸特征点位置；
分别从所述二维图像和所述深度图像上获取更新的所述人脸特征点位置的周围预设区域的纹理特征和深度特征，以组合成第二特征向量；
将所述第二特征向量输入到所述第二回归器，以更新所述三维人脸模型。
4.根据权利要求3所述的方法，其特征在于，所述对所述三维人脸模型进行迭代运算，包括：
根据当前确定的人脸位置、三维人脸模型以及映射矩阵再次更新所述二维图像上的人脸特征点位置；
分别从所述二维图像和所述深度图像上获取再次更新的人脸特征点位置的周围预设区域的纹理特征和深度特征，以组合成第三特征向量；
将所述第三特征向量输入到所述第三回归器，以更新人脸位置。
5.根据权利要求2所述的方法，其特征在于，所述方法还包括根据以下步骤训练所述第一回归器：
获取多个样本对象各自的样本二维图像、所述样本二维图像对应的样本深度图像、所述多个样本对象各自的样本三维人脸模型、所述样本三维人脸模型上人脸特征点真值位置以及用于表示样本三维人脸模型与样本二维图像的特征点映射关系的样本映射矩阵；
对所述样本二维图像进行人脸位置检测，以获取所述样本二维图像上的样本人脸位置；
根据所述样本人脸位置、所述样本三维人脸模型以及所述样本映射矩阵确定各所述样本二维图像上的样本人脸特征点位置；
分别从各所述样本二维图像和各所述样本深度图像上获取所述样本人脸特征点位置的周围预设区域的纹理特征和深度特征，以组合成第一样本特征向量矩阵；
根据所述第一样本特征向量矩阵和所述人脸特征点真值位置确定所述第一回归器的参数集合。
6.根据权利要求5所述的方法，其特征在于，所述方法还包括根据以下步骤训练所述第二回归器：
将所述第一样本特征向量矩阵输入到训练完成的所述第一回归器，以得到更新的样本映射矩阵；
根据所述样本三维人脸模型、所述样本人脸位置以及所述更新的样本映射矩阵更新各所述样本二维图像上的样本人脸特征点位置；
分别从各所述样本二维图像和各所述样本深度图像上获取更新的所述样本人脸特征点位置的周围预设区域的纹理特征和深度特征，以组合成第二样本特征向量矩阵；
根据所述第二样本特征向量矩阵和所述人脸特征点真值位置确定所述第二回归器的参数集合。
7.根据权利要求6所述的方法，其特征在于，所述方法还包括根据以下步骤训练所述第三回归器：
将所述第二样本特征向量矩阵输入到训练完成的所述第二回归器，以得到更新的样本三维人脸模型；
根据所述样本人脸位置、所述更新的样本映射矩阵以及所述更新的样本三维人脸模型再次更新各所述样本二维图像上的样本人脸特征点位置；
分别从各所述样本二维图像和各所述样本深度图像上获取再次更新的所述样本人脸特征点位置的周围预设区域的纹理特征和深度特征，以组合成第三样本特征向量矩阵；
根据所述第三样本特征向量矩阵和所述人脸特征点真值位置确定所述第三回归器的参数集合。
8.一种人脸特征点检测装置，其特征在于，包括：
数据获取模块，用于获取目标对象的二维图像、所述二维图像对应的深度图像、所述目标对象的三维人脸模型以及用于表示所述三维人脸模型与所述二维图像的特征点映射关系的映射矩阵；
人脸检测模块，用于对所述二维图像进行人脸位置检测，以获取所述二维图像上的人脸位置；
数据运算模块，用于通过预先训练的级联回归器分别对所述映射矩阵、所述三维人脸模型以及所述人脸位置进行迭代运算，以确定满足迭代终止条件的映射矩阵、三维人脸模型以及人脸位置；
特征点确定模块，用于根据所述满足迭代终止条件的映射矩阵、三维人脸模型以及人脸位置确定所述二维图像上的人脸特征点位置，
其中，对所述映射矩阵进行迭代运算，包括：
根据当前确定的人脸位置、三维人脸模型以及映射矩阵确定所述二维图像上的人脸特征点位置；
分别从所述二维图像和所述深度图像上获取所述人脸特征点位置的周围预设区域的纹理特征和深度特征，以组合成第一特征向量；
将所述第一特征向量输入到所述级联回归器，以更新所述映射矩阵。
9.一种电子设备，其特征在于，所述电子设备包括：
处理器；
被配置为存储处理器可执行指令的存储器；
其中，所述处理器被配置为：
获取目标对象的二维图像、所述二维图像对应的深度图像、所述目标对象的三维人脸模型以及用于表示所述三维人脸模型与所述二维图像的特征点映射关系的映射矩阵；
对所述二维图像进行人脸位置检测，以获取所述二维图像上的人脸位置；
通过预先训练的级联回归器分别对所述映射矩阵、所述三维人脸模型以及所述人脸位置进行迭代运算，以确定满足迭代终止条件的映射矩阵、三维人脸模型以及人脸位置；
根据所述满足迭代终止条件的映射矩阵、三维人脸模型以及人脸位置确定所述二维图像上的人脸特征点位置，
其中，对所述映射矩阵进行迭代运算，包括：
根据当前确定的人脸位置、三维人脸模型以及映射矩阵确定所述二维图像上的人脸特征点位置；
分别从所述二维图像和所述深度图像上获取所述人脸特征点位置的周围预设区域的纹理特征和深度特征，以组合成第一特征向量；
将所述第一特征向量输入到所述级联回归器，以更新所述映射矩阵。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器处理时实现：
获取目标对象的二维图像、所述二维图像对应的深度图像、所述目标对象的三维人脸模型以及用于表示所述三维人脸模型与所述二维图像的特征点映射关系的映射矩阵；
对所述二维图像进行人脸位置检测，以获取所述二维图像上的人脸位置；
通过预先训练的级联回归器分别对所述映射矩阵、所述三维人脸模型以及所述人脸位置进行迭代运算，以确定满足迭代终止条件的映射矩阵、三维人脸模型以及人脸位置；
根据所述满足迭代终止条件的映射矩阵、三维人脸模型以及人脸位置确定所述二维图像上的人脸特征点位置，
其中，对所述映射矩阵进行迭代运算，包括：
根据当前确定的人脸位置、三维人脸模型以及映射矩阵确定所述二维图像上的人脸特征点位置；
分别从所述二维图像和所述深度图像上获取所述人脸特征点位置的周围预设区域的纹理特征和深度特征，以组合成第一特征向量；
将所述第一特征向量输入到所述级联回归器，以更新所述映射矩阵。
CN201710378459.9A 2017-05-25 2017-05-25 人脸特征点检测方法、装置及设备 Active CN107045631B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710378459.9A CN107045631B (zh) 2017-05-25 2017-05-25 人脸特征点检测方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710378459.9A CN107045631B (zh) 2017-05-25 2017-05-25 人脸特征点检测方法、装置及设备

Publications (2)

Publication Number Publication Date
CN107045631A CN107045631A (zh) 2017-08-15
CN107045631B true CN107045631B (zh) 2019-12-24

Family

ID=59547062

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710378459.9A Active CN107045631B (zh) 2017-05-25 2017-05-25 人脸特征点检测方法、装置及设备

Country Status (1)

Country Link
CN (1) CN107045631B (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107679515A (zh) * 2017-10-24 2018-02-09 西安交通大学 一种基于曲面调和形状图像深度表示的三维人脸识别方法
CN108510583B (zh) * 2018-04-03 2019-10-11 北京华捷艾米科技有限公司 人脸图像的生成方法和人脸图像的生成装置
CN108510437B (zh) * 2018-04-04 2022-05-17 科大讯飞股份有限公司 一种虚拟形象生成方法、装置、设备以及可读存储介质
CN108682030B (zh) * 2018-05-21 2022-04-26 北京微播视界科技有限公司 脸皮替换方法、装置及计算机设备
CN109492513B (zh) * 2018-05-24 2023-04-07 曜科智能科技（上海）有限公司 光场监控的人脸空间去重方法
CN108764143B (zh) * 2018-05-29 2020-11-24 北京字节跳动网络技术有限公司 图像处理方法、装置、计算机设备和存储介质
CN109191593A (zh) * 2018-08-27 2019-01-11 百度在线网络技术（北京）有限公司 虚拟三维模型的运动控制方法、装置及设备
CN109272543B (zh) * 2018-09-21 2020-10-02 北京字节跳动网络技术有限公司 用于生成模型的方法和装置
CN111340932A (zh) 2018-12-18 2020-06-26 富士通株式会社 图像处理方法以及信息处理设备
CN109902616B (zh) * 2019-02-25 2020-12-01 清华大学 基于深度学习的人脸三维特征点检测方法及系统
CN109993086B (zh) * 2019-03-21 2021-07-27 北京华捷艾米科技有限公司 人脸检测方法、装置、系统及终端设备
CN110222651A (zh) * 2019-06-10 2019-09-10 Oppo广东移动通信有限公司 一种人脸姿态检测方法、装置、终端设备及可读存储介质
CN112541963B (zh) * 2020-11-09 2023-12-26 北京百度网讯科技有限公司 三维虚拟形象生成方法、装置、电子设备和存储介质
CN114359449A (zh) * 2022-01-13 2022-04-15 北京大橘大栗文化传媒有限公司 一种面部数字资产制作方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103810491A (zh) * 2014-02-19 2014-05-21 北京工业大学 融合深度和灰度图像特征点的头姿估计兴趣点检测方法
US9123144B2 (en) * 2011-11-11 2015-09-01 Microsoft Technology Licensing, Llc Computing 3D shape parameters for face animation
CN105404861A (zh) * 2015-11-13 2016-03-16 中国科学院重庆绿色智能技术研究院 人脸关键特征点检测模型的训练、检测方法及系统
CN106355147A (zh) * 2016-08-26 2017-01-25 张艳 一种活体人脸检测头部姿态回归器的获取方法及检测方法
CN106469465A (zh) * 2016-08-31 2017-03-01 深圳市唯特视科技有限公司 一种基于灰度和深度信息的三维人脸重建方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9123144B2 (en) * 2011-11-11 2015-09-01 Microsoft Technology Licensing, Llc Computing 3D shape parameters for face animation
CN103810491A (zh) * 2014-02-19 2014-05-21 北京工业大学 融合深度和灰度图像特征点的头姿估计兴趣点检测方法
CN105404861A (zh) * 2015-11-13 2016-03-16 中国科学院重庆绿色智能技术研究院 人脸关键特征点检测模型的训练、检测方法及系统
CN106355147A (zh) * 2016-08-26 2017-01-25 张艳 一种活体人脸检测头部姿态回归器的获取方法及检测方法
CN106469465A (zh) * 2016-08-31 2017-03-01 深圳市唯特视科技有限公司 一种基于灰度和深度信息的三维人脸重建方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Robust Multi-view Face Alignment Based on Cascaded 2D/3D Face Shape Regression;Fuxuan Chen et al.;《Chinese Conference on Biometric Recognition》;20160921;全文 *
一种改进的三维局部约束模型初始化方法;许进文 等;《计算机技术与发展》;20170131;第27卷(第1期);全文 *

Also Published As

Publication number Publication date
CN107045631A (zh) 2017-08-15

Similar Documents

Publication Publication Date Title
CN107045631B (zh) 人脸特征点检测方法、装置及设备
US10033979B2 (en) Video surveillance systems, devices and methods with improved 3D human pose and shape modeling
CN110363817B (zh) 目标位姿估计方法、电子设备和介质
Slama et al. Grassmannian representation of motion depth for 3D human gesture and action recognition
CN110555481A (zh) 一种人像风格识别方法、装置和计算机可读存储介质
Jellal et al. LS-ELAS: Line segment based efficient large scale stereo matching
Zhang et al. Robust ICP registration using biunique correspondence
CN107798313A (zh) 一种人体姿态识别方法、装置、终端和存储介质
CN109740659B (zh) 一种图像匹配方法及装置、电子设备、存储介质
US11200689B1 (en) Detailed 3D estimation from a single image
CN110751097B (zh) 一种半监督的三维点云手势关键点检测方法
CN110598715A (zh) 图像识别方法、装置、计算机设备及可读存储介质
CN112184757A (zh) 运动轨迹的确定方法及装置、存储介质、电子装置
CN111062263A (zh) 手部姿态估计的方法、设备、计算机设备和存储介质
KR101460313B1 (ko) 시각 특징과 기하 정보를 이용한 로봇의 위치 추정 장치 및 방법
JP2021503139A (ja) 画像処理装置、画像処理方法および画像処理プログラム
CN103955682A (zh) 基于surf兴趣点的行为识别方法及装置
CN111382791B (zh) 深度学习任务处理方法、图像识别任务处理方法和装置
Loutas et al. Probabilistic multiple face detection and tracking using entropy measures
CN109872343B (zh) 弱纹理物体姿态跟踪方法、系统及装置
CN111310720A (zh) 基于图度量学习的行人重识别方法及系统
CN112329662B (zh) 基于无监督学习的多视角显著性估计方法
Dutta et al. Weighted low rank approximation for background estimation problems
Pini et al. Learning to generate facial depth maps
Zhang et al. Affine object tracking with kernel-based spatial-color representation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: Face feature point detection method, device and equipment

Effective date of registration: 20220311

Granted publication date: 20191224

Pledgee: Industrial Bank Co.,Ltd. Beijing West Railway Station sub branch

Pledgor: BeiJing Hjimi Technology Co.,Ltd.

Registration number: Y2022110000054

PE01 Entry into force of the registration of the contract for pledge of patent right
PP01 Preservation of patent right

Effective date of registration: 20231101

Granted publication date: 20191224

PP01 Preservation of patent right