CN107045631A - 人脸特征点检测方法、装置及设备 - Google Patents
人脸特征点检测方法、装置及设备 Download PDFInfo
- Publication number
- CN107045631A CN107045631A CN201710378459.9A CN201710378459A CN107045631A CN 107045631 A CN107045631 A CN 107045631A CN 201710378459 A CN201710378459 A CN 201710378459A CN 107045631 A CN107045631 A CN 107045631A
- Authority
- CN
- China
- Prior art keywords
- face
- sample
- dimensional
- dimensional image
- mapping matrix
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 51
- 230000001815 facial effect Effects 0.000 title abstract description 12
- 239000011159 matrix material Substances 0.000 claims abstract description 164
- 238000013507 mapping Methods 0.000 claims abstract description 140
- 238000000034 method Methods 0.000 claims abstract description 39
- 238000012549 training Methods 0.000 claims abstract description 36
- 239000013598 vector Substances 0.000 claims description 75
- 238000004590 computer program Methods 0.000 claims description 5
- 238000013527 convolutional neural network Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
- G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种人脸特征点检测方法、装置及设备,其中,所述方法包括:获取目标对象的二维图像、所述二维图像对应的深度图像、所述目标对象的三维人脸模型以及用于表示所述三维人脸模型与所述二维图像的特征点映射关系的映射矩阵;对所述二维图像进行人脸位置检测,以获取所述二维图像上的人脸位置;通过预先训练的级联回归器分别对所述映射矩阵、所述三维人脸模型以及所述人脸位置进行迭代运算,以确定满足迭代终止条件的映射矩阵、三维人脸模型以及人脸位置,进而根据确定的映射矩阵、三维人脸模型以及人脸位置确定所述二维图像上的人脸特征点位置。利用本发明提供的人脸特征点检测方法可提高人脸特征点识别的准确性,降低误检率。
Description
技术领域
本发明涉及计算机视觉技术领域,特别涉及一种人脸特征点检测方法、装置及设备。
背景技术
近年来,随着移动互联网的发展,人脸特征点检测技术已推广至智能监控、智能手机应用、智能家居等各个领域。
在智能监控领域,人脸特征点检测技术可以用于获得人流统计信息(如年龄、性别、种族的组成等)、跟踪或查找特定的人(群);在智能手机应用领域,人脸特征点检测技术可以用于信息认证(如人脸支付、人脸开锁、美颜、化妆等);在智能家居领域,智能家电(机器人)可以基于人脸特征点检测技术获得家庭人员的信息,实现人机交互。
相关技术中,人脸特征点检测方法主要是对二维图像中的人脸进行检测,包括基于机器学习的人脸特征点检测方法等。由于完全依赖于二维图像信息,因而无法准确区分真实人脸和人脸影像,比如容易将衣服上的人脸图像、玻璃门上的人脸倒影等也误检为人脸,误检率较高,并且针对姿态角较大的人脸进行特征点检测时的准确度较低。
发明内容
有鉴于此,本发明提供一种人脸特征点检测方法、装置及设备,以提高人脸特征点检测的准确性。
第一方面,本发明实施例提供了一种人脸特征点检测方法,包括:
获取目标对象的二维图像、所述二维图像对应的深度图像、所述目标对象的三维人脸模型以及用于表示所述三维人脸模型与所述二维图像的特征点映射关系的映射矩阵;
对所述二维图像进行人脸位置检测,以获取所述二维图像上的人脸位置;
通过预先训练的级联回归器分别对所述映射矩阵、所述三维人脸模型以及所述人脸位置进行迭代运算,以确定满足迭代终止条件的映射矩阵、三维人脸模型以及人脸位置;
根据所述满足迭代终止条件的映射矩阵、三维人脸模型以及人脸位置确定所述二维图像上的人脸特征点位置。
可选地,所述级联回归器包括:用于对映射矩阵进行回归运算的第一回归器、用于对三维人脸模型进行回归运算的第二回归器以及用于对人脸位置进行回归运算的第三回归器。
可选地,所述对所述映射矩阵进行迭代运算,包括:
根据当前确定的人脸位置、三维人脸模型以及映射矩阵确定所述二维图像上的人脸特征点位置;
分别从所述二维图像和所述深度图像上获取所述人脸特征点位置的周围预设区域的纹理特征和深度特征,以组合成第一特征向量;
将所述第一特征向量输入到所述第一回归器,以更新所述映射矩阵。
可选地,所述对所述人脸位置进行迭代运算,包括:
根据当前确定的人脸位置、三维人脸模型以及映射矩阵更新所述二维图像上的人脸特征点位置;
分别从所述二维图像和所述深度图像上获取更新的所述人脸特征点位置的周围预设区域的纹理特征和深度特征,以组合成第二特征向量;
将所述第二特征向量输入到所述第二回归器,以更新所述三维人脸模型。
可选地,所述对所述三维人脸模型进行迭代运算,包括:
根据当前确定的人脸位置、三维人脸模型以及映射矩阵再次更新所述二维图像上的人脸特征点位置;
分别从所述二维图像和所述深度图像上获取再次更新的人脸特征点位置的周围预设区域的纹理特征和深度特征,以组合成第三特征向量;
将所述第三特征向量输入到所述第三回归器,以更新人脸位置。
可选地,所述方法还包括根据以下步骤训练所述第一回归器:
获取多个样本对象各自的样本二维图像、所述样本二维图像对应的样本深度图像、所述多个样本对象各自的样本三维人脸模型、所述样本三维人脸模型上人脸特征点真值位置以及用于表示样本三维人脸模型与样本二维图像的特征点映射关系的样本映射矩阵;
对所述样本二维图像进行人脸位置检测,以获取所述样本二维图像上的样本人脸位置;
根据所述样本人脸位置、所述样本三维人脸模型以及所述样本映射矩阵确定各所述样本二维图像上的样本人脸特征点位置;
分别从各所述样本二维图像和各所述样本深度图像上获取所述样本人脸特征点位置的周围预设区域的纹理特征和深度特征,以组合成第一样本特征向量矩阵;
根据所述第一样本特征向量矩阵和所述人脸特征点真值位置确定所述第一回归器的参数集合。
可选地,所述方法还包括根据以下步骤训练所述第二回归器:
将所述第一样本特征向量矩阵输入到训练完成的所述第一回归器,以得到更新的样本映射矩阵;
根据所述样本三维人脸模型、所述样本人脸位置以及所述更新的样本映射矩阵更新各所述样本二维图像上的样本人脸特征点位置;
分别从各所述样本二维图像和各所述样本深度图像上获取更新的所述样本人脸特征点位置的周围预设区域的纹理特征和深度特征,以组合成第二样本特征向量矩阵;
根据所述第二样本特征向量矩阵和所述人脸特征点真值位置确定所述第二回归器的参数集合。
可选地,所述方法还包括根据以下步骤训练所述第三回归器:
将所述第二样本特征向量矩阵输入到训练完成的所述第二回归器,以得到更新的样本三维人脸模型;
根据所述样本人脸位置、所述更新的样本映射矩阵以及所述更新的样本三维人脸模型再次更新各所述样本二维图像上的样本人脸特征点位置;
分别从各所述样本二维图像和各所述样本深度图像上获取再次更新的所述样本人脸特征点位置的周围预设区域的纹理特征和深度特征,以组合成第三样本特征向量矩阵;
根据所述第三样本特征向量矩阵和所述人脸特征点真值位置确定所述第三回归器的参数集合。
第二方面,提供了一种人脸特征点检测装置,包括:
数据获取模块,用于获取目标对象的二维图像、所述二维图像对应的深度图像、所述目标对象的三维人脸模型以及用于表示所述三维人脸模型与所述二维图像的特征点映射关系的映射矩阵;
人脸检测模块,用于对所述二维图像进行人脸位置检测,以获取所述二维图像上的人脸位置;
数据运算模块,用于通过预先训练的级联回归器分别对所述映射矩阵、所述三维人脸模型以及所述人脸位置进行迭代运算,以确定满足迭代终止条件的映射矩阵、三维人脸模型以及人脸位置;
特征点确定模块,用于根据所述满足迭代终止条件的映射矩阵、三维人脸模型以及人脸位置确定所述二维图像上的人脸特征点位置。
第三方面,还提供了一种电子设备,所述电子设备包括:
处理器;
被配置为存储处理器可执行指令的存储器;
其中,所述处理器被配置为:
获取目标对象的二维图像、所述二维图像对应的深度图像、所述目标对象的三维人脸模型以及用于表示所述三维人脸模型与所述二维图像的特征点映射关系的映射矩阵;
对所述二维图像进行人脸位置检测,以获取所述二维图像上的人脸位置;
通过预先训练的级联回归器分别对所述映射矩阵、所述三维人脸模型以及所述人脸位置进行迭代运算,以确定满足迭代终止条件的映射矩阵、三维人脸模型以及人脸位置;
根据所述满足迭代终止条件的映射矩阵、三维人脸模型以及人脸位置确定所述二维图像上的人脸特征点位置。
第四方面,还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器处理时实现:
获取目标对象的二维图像、所述二维图像对应的深度图像、所述目标对象的三维人脸模型以及用于表示所述三维人脸模型与所述二维图像的特征点映射关系的映射矩阵;
对所述二维图像进行人脸位置检测,以获取所述二维图像上的人脸位置;
通过预先训练的级联回归器分别对所述映射矩阵、所述三维人脸模型以及所述人脸位置进行迭代运算,以确定满足迭代终止条件的映射矩阵、三维人脸模型以及人脸位置;
根据所述满足迭代终止条件的映射矩阵、三维人脸模型以及人脸位置确定所述二维图像上的人脸特征点位置。
由上述技术方案可知,本发明提供的人脸特征点检测方法,首先获取目标对象的二维图像、对应的深度图像、三维人脸模型以及映射矩阵,然后对所述二维图像进行人脸位置检测,以获取所述二维图像上的人脸位置,在此基础上通过预先训练的级联回归器分别对所述映射矩阵、所述三维人脸模型以及所述人脸位置进行迭代运算,进而根据得到的映射矩阵、三维人脸模型以及人脸位置确定所述二维图像上的人脸特征点位置。由于将深度信息引入到人脸特征点检测,可以避免将图像中的人脸影像信息当作真实人脸信息,并且通过引入三维人脸模型可以降低较大人脸姿态角的影响,提升二维图像中人脸位置检测的准确性并且基于预先训练的级联回归器确定映射矩阵、三维人脸模型以及人脸位置,进而根据回归结果确定二维图像上的特征点位置,可以提高人脸特征点识别的准确性。
附图说明
图1是本发明一种人脸特征点检测方法实施例的流程图;
图2是本发明对映射矩阵进行迭代运算实施例的流程图;
图3是本发明对人脸位置进行迭代运算实施例的流程图;
图4是本发明对三维人脸模型进行迭代运算实施例的流程图;
图5是本发明对第一回归器进行训练实施例的流程图;
图6是本发明对第二回归器进行训练实施例的流程图;
图7是本发明对第三回归器进行训练实施例的流程图;
图8是本发明一种人脸特征点检测装置实施例一的结构框图;
图9是本发明数据运算模块实施例的结构框图;
图10是本发明一种人脸特征点检测装置实施例二的结构框图;
图11是本发明一种电子设备实施例的结构框图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。
在本申请使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本申请中可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本申请范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
本发明提供了一种人脸特征点检测方法,可以应用于智能监控系统、智能手机或智能家电,对可以采集物体深度信息的摄像机采集的图像进行人脸检测。
参照图1示出的一种人脸特征点检测方法实施例的流程图,可以包括以下步骤:
S11:获取目标对象的二维图像、所述二维图像对应的深度图像、所述目标对象的三维人脸模型以及用于表示所述三维人脸模型与所述二维图像的特征点映射关系的映射矩阵;
具体来说,本步骤的具体实施过程可以包括:通过带有深度信息的摄像机获取目标对象的二维图像(如2D RGB图像)以及该二维图像对应的深度图像,并获取所述目标对象的3D人脸模型和初始的映射矩阵(该矩阵的各元素值可以设置为0.5,或根据经验进行设置);
需要说明的是,所述目标对象的三维人脸模型可以通过相关技术中的三维人脸建模方法进行获取,或直接采用网上现有的3D人脸模型,本发明对此不进行限制。
在一实施例中,目标对象的3D人脸可以表示为:
其中xi,yi,zi(i=1,2,…,N)为人脸特征点的3D空间坐标;
若采用如下基向量A表示3D人脸模型:
A=[A0,A1,…,Am]; 公式(1.2)
则,Shape3可以由3D人脸模型可以表示为:
由此可知,可以通过不同的系数P=[P1,…,Pm]即可表示任意一张3D人脸。
S12:对所述二维图像进行人脸位置检测,以获取所述二维图像上的人脸位置;
举例来说,上述的人脸位置检测的方法包括:哈尔级联Haar-cascaded方法以及更快的基于区域的卷积神经网络Faster RCNN等等,本发明对此不进行限定。
具体地,所述人脸位置的检测结果F可以表示为:
其中,Sx,Sy是表示人脸位置的矩形框的左上点坐标,w为矩形框的宽,h为矩形框的高,yaw,roll,pitch分别表示右手坐标系中人脸绕y、z、x三轴转动的姿态角。
S13:通过预先训练的级联回归器分别对所述映射矩阵、所述三维人脸模型以及所述人脸位置进行迭代运算,以确定满足迭代终止条件的映射矩阵、三维人脸模型以及人脸位置;
可以理解的是,所述级联回归器中包括多个分别训练不同变量的单级回归器(所述不同变量之间具有关联关系),且每个单级回归器的输出结果可以作为另一个单级回归器的输入,通过多次迭代运算,最终确定满足迭代终止条件的多个变量。
在一实施例中,所述级联回归器可以包括:用于对映射矩阵进行回归运算的第一回归器、用于对三维人脸模型进行回归运算的第二回归器以及用于对人脸位置进行回归运算的第三回归器。
通过所述级联回归器分别对所述映射矩阵、所述三维人脸模型以及所述人脸位置进行迭代运算,当满足迭代终止条件(例如到达预先设置的最大回归次数)时,确定当前满足迭代终止条件的映射矩阵、三维人脸模型以及人脸位置。
S14:根据所述满足迭代终止条件的映射矩阵、三维人脸模型以及人脸位置确定所述二维图像上的人脸特征点位置。
具体来说,通过确定的3D人脸模型和映射矩阵R,对3D人脸模型上的特征点进行映射,得到特征点投影矩阵Shape2′:
然后将特征点投影矩阵Shape2′中的特征点坐标根据人脸位置F转换到2D RGB人脸图像上,得到二维图像上的特征点位置Shape2:
其中,ui=u′i×w/2+(Sx+w/2),vi=v′i×h/2+(Sy+h/2);Sx,Sy,w和h均为人脸位置F中的参数。
由上述技术方案可知,本发明提供的人脸特征点检测方法,通过将深度信息引入到人脸特征点检测,避免了将图像中的人脸影像信息当作真实人脸信息,并且通过引入三维人脸模型降低了较大人脸姿态角的影响,提升了二维图像中人脸位置检测的准确性,在此基础上,基于预先训练的级联回归器确定映射矩阵、三维人脸模型以及人脸位置,进而根据回归器的运算结果确定二维图像上的人脸特征点位置,有效提高了人脸特征点识别的准确性,降低了误检率。
在一实施例中,步骤S13通过预先训练的级联回归器分别对所述映射矩阵、所述三维人脸模型以及所述人脸位置进行迭代运算,可以具体包括:
S131:对所述映射矩阵进行迭代运算;
S132:对所述三维人脸模型进行迭代运算;
S133:对所述人脸位置进行迭代运算。
下面结合图2~图4对步骤S131~步骤S133进行具体说明。其中,图2是本发明对映射矩阵进行迭代运算实施例的流程图;图3是本发明对人脸位置进行迭代运算实施例的流程图;图4是本发明对三维人脸模型进行迭代运算实施例的流程图。
如图2所示,步骤S131中所述对所述映射矩阵进行迭代运算,可以包括:
S1311:根据当前确定的人脸位置、三维人脸模型以及映射矩阵确定所述二维图像上的人脸特征点位置;
S1312:分别从所述二维图像和所述深度图像上获取所述人脸特征点位置的周围预设区域的纹理特征和深度特征(如梯度直方图HOG,加速的鲁棒特征SURF特征),以组合成第一特征向量;
S1313:将所述第一特征向量输入到所述第一回归器,以更新所述映射矩阵。
在此基础上,参照图3,步骤S132中所述对所述三维人脸模型进行迭代运算,可以包括:
S1321:根据当前确定的人脸位置、三维人脸模型以及映射矩阵(步骤S1313中更新的)更新所述二维图像上的人脸特征点位置;
S1322:分别从所述二维图像和所述深度图像上获取更新的所述人脸特征点位置的周围预设区域的纹理特征和深度特征,以组合成第二特征向量;
S1323:将所述第二特征向量输入到所述第二回归器,以更新所述三维人脸模型。
在此基础上,参照图4,步骤S133中所述对所述三维人脸模型进行迭代运算,可以包括:
S1331:根据当前确定的人脸位置、三维人脸模型(步骤S1323中更新的)以及映射矩阵(步骤S1313中更新的)再次更新所述二维图像上的人脸特征点位置;
S1332:分别从所述二维图像和所述深度图像上获取再次更新的人脸特征点位置的周围预设区域的纹理特征和深度特征,以组合成第三特征向量;
S1333:将所述第三特征向量输入到所述第三回归器,以更新人脸位置。
进一步地,在更新了人脸位置的基础上,再重复执行步骤S1311~S1333,直至到达预先设置的最大回归次数。
由上述方案可知,本发明中的级联回归器中包括的第一回归器的输出结果可以作为第二回归器的输入,然后第二回归器的输出可以作为第三回归器的输入,接下来第三回归器的输入再作为第一回归器的输入,如此重复进行多次迭代运算,直到确定满足预设迭代终止条件的人脸位置、三维人脸模型以及映射矩阵。基于回归器的运算结果确定二维图像上的特征点位置,提高了人脸特征点识别的准确性。
下面结合图5~图7对本发明的级联回归器的训练方法进行具体说明。其中,图5是本发明对第一回归器进行训练实施例的流程图;图6是本发明对第二回归器进行训练实施例的流程图;图7是本发明对第三回归器进行训练实施例的流程图。
如图5所示,本实施例的第一回归器的训练方法包括:
S51:获取多个样本对象各自的样本二维图像、所述样本二维图像对应的样本深度图像、所述多个样本对象各自的样本三维人脸模型、所述样本三维人脸模型上人脸特征点真值位置以及用于表示样本三维人脸模型与样本二维图像的特征点映射关系的样本映射矩阵;
S52:对所述样本二维图像进行人脸位置检测,以获取所述样本二维图像上的样本人脸位置;
S53:根据所述样本人脸位置、所述样本三维人脸模型以及所述样本映射矩阵确定各所述样本二维图像上的样本人脸特征点位置;
S54:分别从各所述样本二维图像和各所述样本深度图像上获取所述样本人脸特征点位置的周围预设区域的纹理特征和深度特征,以组合成第一样本特征向量矩阵;
S55:根据所述第一样本特征向量矩阵和所述人脸特征点真值位置确定所述第一回归器的参数集合。
在此基础上,参见图6,本实施例的第二回归器的训练方法包括:
S61:将所述第一样本特征向量矩阵输入到训练完成的所述第一回归器,以得到更新的样本映射矩阵;
S62:根据所述样本三维人脸模型、所述样本人脸位置以及所述更新的样本映射矩阵更新各所述样本二维图像上的样本人脸特征点位置;
S63:分别从各所述样本二维图像和各所述样本深度图像上获取更新的所述样本人脸特征点位置的周围预设区域的纹理特征和深度特征,以组合成第二样本特征向量矩阵;
S64:根据所述第二样本特征向量矩阵和所述人脸特征点真值位置确定所述第二回归器的参数集合。
在此基础上,参见图7,本实施例的第三回归器的训练方法包括:
S71:将所述第二样本特征向量矩阵输入到训练完成的所述第二回归器,以得到更新的样本三维人脸模型;
S72:根据所述样本人脸位置、所述更新的样本映射矩阵以及所述更新的样本三维人脸模型再次更新各所述样本二维图像上的样本人脸特征点位置;
S73:分别从各所述样本二维图像和各所述样本深度图像上获取再次更新的所述样本人脸特征点位置的周围预设区域的纹理特征和深度特征,以组合成第三样本特征向量矩阵;
S73:根据所述第三样本特征向量矩阵和所述人脸特征点真值位置确定所述第三回归器的参数集合。
由上述技术方案可知,本发明通过获取多个样本对象各自的样本二维图像、所述样本二维图像对应的样本深度图像、所述多个样本对象各自的样本三维人脸模型、所述样本三维人脸模型上人脸特征点真值位置以及样本映射矩阵训练所述第一回归器,再基于训练好的第一回归器更新样本映射矩阵,以根据更新结果训练第二回归器,进而基于训练好的第二回归器更新样本三维人脸模型,以根据更新结果训练第三回归器,可以提供满足准确性要求的级联回归器。
对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明并不受所描述的动作顺序的限制,因为依据本发明,某些步骤可以采用其他顺序或者同时进行。
其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于可选实施例,所涉及的动作和模块并不一定是本发明所必须的。
图8是本发明一种人脸特征点检测装置实施例一的结构框图;如图8所示,本实施例的人脸特征点检测装置可以包括数据获取模块810、人脸检测模块820、数据运算模块830以及特征点确定模块840,其中:
数据获取模块810,用于获取目标对象的二维图像、所述二维图像对应的深度图像、所述目标对象的三维人脸模型以及用于表示所述三维人脸模型与所述二维图像的特征点映射关系的映射矩阵;
人脸检测模块820,用于对所述二维图像进行人脸位置检测,以获取所述二维图像上的人脸位置;
数据运算模块830,用于通过预先训练的级联回归器分别对所述映射矩阵、所述三维人脸模型以及所述人脸位置进行迭代运算,以确定满足迭代终止条件的映射矩阵、三维人脸模型以及人脸位置;
特征点确定模块840,用于根据所述满足迭代终止条件的映射矩阵、三维人脸模型以及人脸位置确定所述二维图像上的人脸特征点位置。
在一实施例中,所述级联回归器可以包括:用于对映射矩阵进行回归运算的第一回归器、用于对三维人脸模型进行回归运算的第二回归器以及用于对人脸位置进行回归运算的第三回归器。
图9是本发明数据运算模块实施例的结构框图;如图9所示,在图8所示实施例的基础上,所述数据运算模块830还可以包括映射矩阵迭代单元831、三维人脸模型迭代单元832以及人脸位置迭代单元833,具体地:
映射矩阵迭代单元831,用于:
根据当前确定的人脸位置、三维人脸模型以及映射矩阵确定所述二维图像上的人脸特征点位置;
分别从所述二维图像和所述深度图像上获取所述人脸特征点位置的周围预设区域的纹理特征和深度特征,以组合成第一特征向量;
将所述第一特征向量输入到所述第一回归器,以更新所述映射矩阵。
三维人脸模型迭代单元832,用于:
根据当前确定的人脸位置、三维人脸模型以及映射矩阵更新所述二维图像上的人脸特征点位置;
分别从所述二维图像和所述深度图像上获取更新的所述人脸特征点位置的周围预设区域的纹理特征和深度特征,以组合成第二特征向量;
将所述第二特征向量输入到所述第二回归器,以更新所述三维人脸模型。
人脸位置迭代单元833用于:
根据当前确定的人脸位置、三维人脸模型以及映射矩阵再次更新所述二维图像上的人脸特征点位置;
分别从所述二维图像和所述深度图像上获取再次更新的人脸特征点位置的周围预设区域的纹理特征和深度特征,以组合成第三特征向量;
将所述第三特征向量输入到所述第三回归器,以更新人脸位置。
图10是本发明一种人脸特征点检测装置实施例二的结构框图;其中数据获取模块910、人脸检测模块920、数据运算模块930以及特征点确定模块940与图8所示实施例中的数据获取模块810、人脸检测模块820、数据运算模块830以及特征点确定模块840的功能相同,在此不进行赘述。如图10所示,本实施例的人脸特征点检测装置还可以包括:第一回归器训练模块950、第二回归器训练模块960、第三回归器训练模块970,具体地:
第一回归器训练模块950,用于:
获取多个样本对象各自的样本二维图像、所述样本二维图像对应的样本深度图像、所述多个样本对象各自的样本三维人脸模型、所述样本三维人脸模型上人脸特征点真值位置以及用于表示样本三维人脸模型与样本二维图像的特征点映射关系的样本映射矩阵;
对所述样本二维图像进行人脸位置检测,以获取所述样本二维图像上的样本人脸位置;
根据所述样本人脸位置、所述样本三维人脸模型以及所述样本映射矩阵确定各所述样本二维图像上的样本人脸特征点位置;
分别从各所述样本二维图像和各所述样本深度图像上获取所述样本人脸特征点位置的周围预设区域的纹理特征和深度特征,以组合成第一样本特征向量矩阵;
根据所述第一样本特征向量矩阵和所述人脸特征点真值位置确定所述第一回归器的参数集合。
第二回归器训练模块960,用于:
将所述第一样本特征向量矩阵输入到训练完成的所述第一回归器,以得到更新的样本映射矩阵;
根据所述样本三维人脸模型、所述样本人脸位置以及所述更新的样本映射矩阵更新各所述样本二维图像上的样本人脸特征点位置;
分别从各所述样本二维图像和各所述样本深度图像上获取更新的所述样本人脸特征点位置的周围预设区域的纹理特征和深度特征,以组合成第二样本特征向量矩阵;
根据所述第二样本特征向量矩阵和所述人脸特征点真值位置确定所述第二回归器的参数集合。
第三回归器训练模块970,用于:
将所述第二样本特征向量矩阵输入到训练完成的所述第二回归器,以得到更新的样本三维人脸模型;
根据所述样本人脸位置、所述更新的样本映射矩阵以及所述更新的样本三维人脸模型再次更新各所述样本二维图像上的样本人脸特征点位置;
分别从各所述样本二维图像和各所述样本深度图像上获取再次更新的所述样本人脸特征点位置的周围预设区域的纹理特征和深度特征,以组合成第三样本特征向量矩阵;
根据所述第三样本特征向量矩阵和所述人脸特征点真值位置确定所述第三回归器的参数集合。
需要说明的是,对于装置实施例而言,由于其基本对应于方法实施例,所以相关之处参见方法实施例的部分说明即可,在此不进行赘述。
本发明的人脸特征点检测装置的实施例可以应用在网络设备上。装置实施例可以通过软件实现,也可以通过硬件或者软硬件结合的方式实现。以软件实现为例,作为一个逻辑意义上的装置,是通过其所在设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言,
如图11所示,为本发明的人脸特征点检测装置所在设备的一种硬件结构图,除了图11所示的处理器、网络接口、内存以及非易失性存储器之外,实施例中装置所在的设备通常还可以包括其他硬件,如负责处理报文的转发芯片等等;从硬件结构上来讲该设备还可能是分布式的设备,可能包括多个接口卡,以便在硬件层面进行报文处理的扩展。
本发明实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器处理时实现:
获取目标对象的二维图像、所述二维图像对应的深度图像、所述目标对象的三维人脸模型以及用于表示所述三维人脸模型与所述二维图像的特征点映射关系的映射矩阵;
对所述二维图像进行人脸位置检测,以获取所述二维图像上的人脸位置;
通过预先训练的级联回归器分别对所述映射矩阵、所述三维人脸模型以及所述人脸位置进行迭代运算,以确定满足迭代终止条件的映射矩阵、三维人脸模型以及人脸位置;
根据所述满足迭代终止条件的映射矩阵、三维人脸模型以及人脸位置确定所述二维图像上的人脸特征点位置。
下面以一具体实施例来说明本发明提供的人脸特征点检测方法,但不用于限制本发明的范围。
本发明提供的人脸特征点检测方法包括以下两部分:
(1)训练部分:
(1.1)训练用于对映射矩阵进行回归运算的第一回归器的步骤如下:
步骤S110:通过带有深度信息的摄像机采集多个样本对象的2D RGB图像以及对应的深度图像,并构建所述多个样本对象的3D人脸模型;
在一实施例中,用于表示3D人脸模型的基向量可以表示为:
A=[A0,A1,…,Am];
则任一张特定的3D人脸可以表示为:
其中xi,yi,zi,i=1,2,…,N为人脸特征点的3D空间坐标,则Shape3可以由3D人脸模型可以表示为:
因此可以通过系数P=[P1,…,Pm]表示一张特定的3D人脸。
步骤S120:在步骤S110中采集的2D RGB图像上进行人脸位置检测;
举例来说,人脸位置检测的方法包括:哈尔级联Haar-cascaded方法以及更快的基于区域的卷积神经网络Faster RCNN等等,本发明对此不进行限定。所述人脸位置的检测结果F为:
其中,Sx,Sy是人脸矩形框的左上点坐标,w为矩形框的宽,h为矩形框的高,yaw是人脸的偏航角,roll是人脸的翻滚角,pitch表示人脸的俯仰角;
步骤S130:通过3D人脸模型(A和P)、检测到的人脸位置F和初始的3D→2D映射矩阵(各元素值可以根据经验均设置为0.5),将3D人脸特征点映射到2D人脸图像上,获得特征点投影矩阵Shape2′:
然后将Shape2′中的特征点坐标根据人脸位置F转换到2D人脸图像上,得到二维图像上的特征点位置Shape2:
其中,ui=u′i×w/2+(Sx+w/2),vi=v′i×h/2+(Sy+h/2),Sx,Sy,w和h均为人脸位置F中的参数。
步骤S140:分别在2D RGB图像和深度图像的Shape2位置的周围预设区域(例如坐标周围32*32或64*64的区域)上提取纹理特征(如梯度直方图HOG,加速的鲁棒特征SURF特征),并将所提取的特征保存为特征向量形式;
步骤S150:将所有训练样本的特征向量组合成特征向量矩阵,输入到第一CNN回归器来训练第一CNN回归器;
所述第一CNN回归器用于回归3D→2D映射矩阵,具体的训练公式表示为:
其中,i表示第i个训练样本,Ns为训练样本个数,k表示回归级数,imagei表示第i个2D RGB图像;表示用于回归R映射矩阵的第k级CNN网络,是待学习的参数集合;Shape2i为第i个2D RGB图像上人脸特征点检测位置,为第i个2D RGB图像对应的映射矩阵真值和映射矩阵初始值(上一次回归的预测值)的差值。
(1.2)训练用于对三维人脸模型进行回归运算的第二回归器的步骤如下:
步骤S210:将S140提取的特征输入到第一回归器,得到3D→2D映射矩阵;
步骤S220:通过3D人脸模型(A和P)、检测到的人脸位置F和步骤S210得到的3D→2D映射矩阵,基于公式(三)将3D人脸特征点映射到2D人脸图像上,更新2D人脸图像上的特征点位置Shape2;
步骤S230:分别在2D人脸图像上和对应的深度图像的所述更新的Shape2位置的周围预设区域(例如坐标周围32*32或64*64的区域)上提取纹理特征,并将所提取的特征保存为特征向量形式;
步骤S240:将所有训练样本的特征向量组合成特征向量矩阵,输入到第二CNN回归器来训练第二CNN回归器;
所述第二回归器用于回归3D人脸模型系数,具体的训练公式表示为:
其中,表示用于3D人脸模型系数P的第k级CNN网络,是待学习的参数集合。为第i个2D RGB图像对应的人脸位置真值和人脸位置初始值(上一次回归的预测值)之间的差值。
(1.3)训练用于对人脸位置进行回归运算的第三回归器训练的步骤如下:
步骤S310:将步骤S230提取的特征输入到第二回归器,得到3D人脸模型系数P;
步骤S320:根据上一步得到的3D人脸模型系数P、3D→2D映射转换矩阵RT和人脸位置F,再次更新2D人脸图像上的特征点位置Shape2;
步骤S330:分别在2D人脸图像上和对应的深度图像的所述再次更新的Shape2位置的周围预设区域(例如坐标周围32*32或64*64的区域)上提取纹理特征,并将所提取的特征保存为特征向量形式;
步骤S340:将所有训练样本的特征向量组合成特征向量矩阵,输入到第三CNN回归器来训练第三CNN回归器;
所述第三回归器用于对人脸位置进行回归运算,具体的训练公式为:
其中,表示用于对人脸位置进行回归运算F的第k级CNN网络,是待学习的参数集合。为第i个2D RGB图像对应的人脸位置真值和人脸位置初始值(上一次回归的预测值)之间的差值。
(2)人脸特征点检测部分:
步骤S410:通过带有深度信息的摄像机采集目标对象的2D RGB图像以及对应的深度图像;
步骤S420:在步骤S410中采集的2D RGB图像上做人脸检测,以获取人脸位置Fk:
Fk=[Sk x,Sk y,wk,hk,yawk,rollk,pitchk] 公式(八);
其中,Sk x,Sk y是目标对象的人脸矩形框的左上点坐标,wk为矩形框的宽,hk为矩形框的高,yawk是人脸的偏航角,rollk是人脸的翻滚角,pitchk表示人脸的俯仰角;
步骤S430:根据3D人脸模型系数(A和Pk)、3D→2D映射矩阵Rk和人脸位置Fk,基于公式(九)~公式(十一)分别计算Shape3k和Shape2k:
然后将Shape2′k中的特征点坐标根据人脸位置F转换到2D人脸图像上,得到二维图像上的特征点位置Shape2k:
其中,Sk x,Sk y,wk,hk为人脸位置Fk中的参数。
其中,各变量的上角标k为回归级数,表示第k次回归;
步骤S440:分别在目标对象的2D RGB图像和对应的深度图像的Shape2k位置的周围预设区域上提取纹理特征,并将所提取的特征保存为特征向量形式;
步骤S450:将步骤S440中得到的特征向量输入到第一回归器,得到更新的3D→2D映射矩阵Rk+1;
步骤S460:根据更新的Rk+1基于公式(十)、公式(十一)更新二维图像上的特征点位置,得到Shape2k+1;
步骤S470:分别在目标对象的2D RGB图像和对应的深度图像的Shape2k+1位置的周围预设区域上提取纹理特征,并将所提取的特征保存为特征向量形式;
步骤S480:将步骤S470得到的特征向量输入到第二回归器,更新3D人脸模型系数,得到Pk+1,进而基于公式(九)更新Shape3k,得到Shape3k+1;
步骤S490:根据步骤S450中得到的Rk+1和步骤S480中得到的Shape3k+1,基于公式(十)、公式(十一)更新二维图像上的特征点位置,得到Shape2k+2;
步骤S500:在目标对象的2D RGB图像和对应的深度图像上提取Shap2ek+2位置周围预设区域的纹理特征,并将所提取的特征保存为特征向量形式;
步骤S510:将步骤S500中得到的特征向量输入到第三回归器,更新人脸位置,得到Fk+1;
步骤S520:重复步骤S430~S510直到满足最大回归次数,确定最后更新的映射矩阵、三维人脸模型以及人脸位置,进而基于公式(十)、公式(十一)确定2D RGB图像上的特征点位置。
由上述描述可知,本发明的人脸特征点检测算法,由于将深度信息引入到人脸特征点检测,可以避免将图像中的人脸影像信息当作真实人脸信息,并且通过引入三维人脸模型可以提升二维图像中人脸位置检测的准确性,并且基于预先训练的级联回归器对映射矩阵、三维人脸模型以及人脸位置进行迭代运算,进而根据运算结果确定二维图像上的特征点位置,提高了人脸特征点识别的准确性。
本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。对于装置实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明保护的范围之内。
Claims (11)
1.一种人脸特征点检测方法,其特征在于,包括:
获取目标对象的二维图像、所述二维图像对应的深度图像、所述目标对象的三维人脸模型以及用于表示所述三维人脸模型与所述二维图像的特征点映射关系的映射矩阵;
对所述二维图像进行人脸位置检测,以获取所述二维图像上的人脸位置;
通过预先训练的级联回归器分别对所述映射矩阵、所述三维人脸模型以及所述人脸位置进行迭代运算,以确定满足迭代终止条件的映射矩阵、三维人脸模型以及人脸位置;
根据所述满足迭代终止条件的映射矩阵、三维人脸模型以及人脸位置确定所述二维图像上的人脸特征点位置。
2.根据权利要求1所述的方法,其特征在于,所述级联回归器包括:用于对映射矩阵进行回归运算的第一回归器、用于对三维人脸模型进行回归运算的第二回归器以及用于对人脸位置进行回归运算的第三回归器。
3.根据权利要求2所述的方法,其特征在于,所述对所述映射矩阵进行迭代运算,包括:
根据当前确定的人脸位置、三维人脸模型以及映射矩阵确定所述二维图像上的人脸特征点位置;
分别从所述二维图像和所述深度图像上获取所述人脸特征点位置的周围预设区域的纹理特征和深度特征,以组合成第一特征向量;
将所述第一特征向量输入到所述第一回归器,以更新所述映射矩阵。
4.根据权利要求3所述的方法,其特征在于,所述对所述人脸位置进行迭代运算,包括:
根据当前确定的人脸位置、三维人脸模型以及映射矩阵更新所述二维图像上的人脸特征点位置;
分别从所述二维图像和所述深度图像上获取更新的所述人脸特征点位置的周围预设区域的纹理特征和深度特征,以组合成第二特征向量;
将所述第二特征向量输入到所述第二回归器,以更新所述三维人脸模型。
5.根据权利要求4所述的方法,其特征在于,所述对所述三维人脸模型进行迭代运算,包括:
根据当前确定的人脸位置、三维人脸模型以及映射矩阵再次更新所述二维图像上的人脸特征点位置;
分别从所述二维图像和所述深度图像上获取再次更新的人脸特征点位置的周围预设区域的纹理特征和深度特征,以组合成第三特征向量;
将所述第三特征向量输入到所述第三回归器,以更新人脸位置。
6.根据权利要求2所述的方法,其特征在于,所述方法还包括根据以下步骤训练所述第一回归器:
获取多个样本对象各自的样本二维图像、所述样本二维图像对应的样本深度图像、所述多个样本对象各自的样本三维人脸模型、所述样本三维人脸模型上人脸特征点真值位置以及用于表示样本三维人脸模型与样本二维图像的特征点映射关系的样本映射矩阵;
对所述样本二维图像进行人脸位置检测,以获取所述样本二维图像上的样本人脸位置;
根据所述样本人脸位置、所述样本三维人脸模型以及所述样本映射矩阵确定各所述样本二维图像上的样本人脸特征点位置;
分别从各所述样本二维图像和各所述样本深度图像上获取所述样本人脸特征点位置的周围预设区域的纹理特征和深度特征,以组合成第一样本特征向量矩阵;
根据所述第一样本特征向量矩阵和所述人脸特征点真值位置确定所述第一回归器的参数集合。
7.根据权利要求6所述的方法,其特征在于,所述方法还包括根据以下步骤训练所述第二回归器:
将所述第一样本特征向量矩阵输入到训练完成的所述第一回归器,以得到更新的样本映射矩阵;
根据所述样本三维人脸模型、所述样本人脸位置以及所述更新的样本映射矩阵更新各所述样本二维图像上的样本人脸特征点位置;
分别从各所述样本二维图像和各所述样本深度图像上获取更新的所述样本人脸特征点位置的周围预设区域的纹理特征和深度特征,以组合成第二样本特征向量矩阵;
根据所述第二样本特征向量矩阵和所述人脸特征点真值位置确定所述第二回归器的参数集合。
8.根据权利要求7所述的方法,其特征在于,所述方法还包括根据以下步骤训练所述第三回归器:
将所述第二样本特征向量矩阵输入到训练完成的所述第二回归器,以得到更新的样本三维人脸模型;
根据所述样本人脸位置、所述更新的样本映射矩阵以及所述更新的样本三维人脸模型再次更新各所述样本二维图像上的样本人脸特征点位置;
分别从各所述样本二维图像和各所述样本深度图像上获取再次更新的所述样本人脸特征点位置的周围预设区域的纹理特征和深度特征,以组合成第三样本特征向量矩阵;
根据所述第三样本特征向量矩阵和所述人脸特征点真值位置确定所述第三回归器的参数集合。
9.一种人脸特征点检测装置,其特征在于,包括:
数据获取模块,用于获取目标对象的二维图像、所述二维图像对应的深度图像、所述目标对象的三维人脸模型以及用于表示所述三维人脸模型与所述二维图像的特征点映射关系的映射矩阵;
人脸检测模块,用于对所述二维图像进行人脸位置检测,以获取所述二维图像上的人脸位置;
数据运算模块,用于通过预先训练的级联回归器分别对所述映射矩阵、所述三维人脸模型以及所述人脸位置进行迭代运算,以确定满足迭代终止条件的映射矩阵、三维人脸模型以及人脸位置;
特征点确定模块,用于根据所述满足迭代终止条件的映射矩阵、三维人脸模型以及人脸位置确定所述二维图像上的人脸特征点位置。
10.一种电子设备,其特征在于,所述电子设备包括:
处理器;
被配置为存储处理器可执行指令的存储器;
其中,所述处理器被配置为:
获取目标对象的二维图像、所述二维图像对应的深度图像、所述目标对象的三维人脸模型以及用于表示所述三维人脸模型与所述二维图像的特征点映射关系的映射矩阵;
对所述二维图像进行人脸位置检测,以获取所述二维图像上的人脸位置;
通过预先训练的级联回归器分别对所述映射矩阵、所述三维人脸模型以及所述人脸位置进行迭代运算,以确定满足迭代终止条件的映射矩阵、三维人脸模型以及人脸位置;
根据所述满足迭代终止条件的映射矩阵、三维人脸模型以及人脸位置确定所述二维图像上的人脸特征点位置。
11.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器处理时实现:
获取目标对象的二维图像、所述二维图像对应的深度图像、所述目标对象的三维人脸模型以及用于表示所述三维人脸模型与所述二维图像的特征点映射关系的映射矩阵;
对所述二维图像进行人脸位置检测,以获取所述二维图像上的人脸位置;
通过预先训练的级联回归器分别对所述映射矩阵、所述三维人脸模型以及所述人脸位置进行迭代运算,以确定满足迭代终止条件的映射矩阵、三维人脸模型以及人脸位置;
根据所述满足迭代终止条件的映射矩阵、三维人脸模型以及人脸位置确定所述二维图像上的人脸特征点位置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710378459.9A CN107045631B (zh) | 2017-05-25 | 2017-05-25 | 人脸特征点检测方法、装置及设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710378459.9A CN107045631B (zh) | 2017-05-25 | 2017-05-25 | 人脸特征点检测方法、装置及设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107045631A true CN107045631A (zh) | 2017-08-15 |
CN107045631B CN107045631B (zh) | 2019-12-24 |
Family
ID=59547062
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710378459.9A Active CN107045631B (zh) | 2017-05-25 | 2017-05-25 | 人脸特征点检测方法、装置及设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107045631B (zh) |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107679515A (zh) * | 2017-10-24 | 2018-02-09 | 西安交通大学 | 一种基于曲面调和形状图像深度表示的三维人脸识别方法 |
CN108510583A (zh) * | 2018-04-03 | 2018-09-07 | 北京华捷艾米科技有限公司 | 人脸图像的生成方法和人脸图像的生成装置 |
CN108510437A (zh) * | 2018-04-04 | 2018-09-07 | 科大讯飞股份有限公司 | 一种虚拟形象生成方法、装置、设备以及可读存储介质 |
CN108682030A (zh) * | 2018-05-21 | 2018-10-19 | 北京微播视界科技有限公司 | 脸皮替换方法、装置及计算机设备 |
CN108764143A (zh) * | 2018-05-29 | 2018-11-06 | 北京字节跳动网络技术有限公司 | 图像处理方法、装置、计算机设备和存储介质 |
CN109191593A (zh) * | 2018-08-27 | 2019-01-11 | 百度在线网络技术(北京)有限公司 | 虚拟三维模型的运动控制方法、装置及设备 |
CN109272543A (zh) * | 2018-09-21 | 2019-01-25 | 北京字节跳动网络技术有限公司 | 用于生成模型的方法和装置 |
CN109492513A (zh) * | 2018-05-24 | 2019-03-19 | 曜科智能科技(上海)有限公司 | 光场监控的人脸空间去重方法 |
CN109902616A (zh) * | 2019-02-25 | 2019-06-18 | 清华大学 | 基于深度学习的人脸三维特征点检测方法及系统 |
CN109993086A (zh) * | 2019-03-21 | 2019-07-09 | 北京华捷艾米科技有限公司 | 人脸检测方法、装置、系统及终端设备 |
CN110222651A (zh) * | 2019-06-10 | 2019-09-10 | Oppo广东移动通信有限公司 | 一种人脸姿态检测方法、装置、终端设备及可读存储介质 |
EP3671544A1 (en) * | 2018-12-18 | 2020-06-24 | Fujitsu Limited | Image processing method and information processing device |
CN112541963A (zh) * | 2020-11-09 | 2021-03-23 | 北京百度网讯科技有限公司 | 三维虚拟形象生成方法、装置、电子设备和存储介质 |
CN114359449A (zh) * | 2022-01-13 | 2022-04-15 | 北京大橘大栗文化传媒有限公司 | 一种面部数字资产制作方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103810491A (zh) * | 2014-02-19 | 2014-05-21 | 北京工业大学 | 融合深度和灰度图像特征点的头姿估计兴趣点检测方法 |
US9123144B2 (en) * | 2011-11-11 | 2015-09-01 | Microsoft Technology Licensing, Llc | Computing 3D shape parameters for face animation |
CN105404861A (zh) * | 2015-11-13 | 2016-03-16 | 中国科学院重庆绿色智能技术研究院 | 人脸关键特征点检测模型的训练、检测方法及系统 |
CN106355147A (zh) * | 2016-08-26 | 2017-01-25 | 张艳 | 一种活体人脸检测头部姿态回归器的获取方法及检测方法 |
CN106469465A (zh) * | 2016-08-31 | 2017-03-01 | 深圳市唯特视科技有限公司 | 一种基于灰度和深度信息的三维人脸重建方法 |
-
2017
- 2017-05-25 CN CN201710378459.9A patent/CN107045631B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9123144B2 (en) * | 2011-11-11 | 2015-09-01 | Microsoft Technology Licensing, Llc | Computing 3D shape parameters for face animation |
CN103810491A (zh) * | 2014-02-19 | 2014-05-21 | 北京工业大学 | 融合深度和灰度图像特征点的头姿估计兴趣点检测方法 |
CN105404861A (zh) * | 2015-11-13 | 2016-03-16 | 中国科学院重庆绿色智能技术研究院 | 人脸关键特征点检测模型的训练、检测方法及系统 |
CN106355147A (zh) * | 2016-08-26 | 2017-01-25 | 张艳 | 一种活体人脸检测头部姿态回归器的获取方法及检测方法 |
CN106469465A (zh) * | 2016-08-31 | 2017-03-01 | 深圳市唯特视科技有限公司 | 一种基于灰度和深度信息的三维人脸重建方法 |
Non-Patent Citations (2)
Title |
---|
FUXUAN CHEN ET AL.: "Robust Multi-view Face Alignment Based on Cascaded 2D/3D Face Shape Regression", 《CHINESE CONFERENCE ON BIOMETRIC RECOGNITION》 * |
许进文 等: "一种改进的三维局部约束模型初始化方法", 《计算机技术与发展》 * |
Cited By (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107679515A (zh) * | 2017-10-24 | 2018-02-09 | 西安交通大学 | 一种基于曲面调和形状图像深度表示的三维人脸识别方法 |
CN108510583B (zh) * | 2018-04-03 | 2019-10-11 | 北京华捷艾米科技有限公司 | 人脸图像的生成方法和人脸图像的生成装置 |
CN108510583A (zh) * | 2018-04-03 | 2018-09-07 | 北京华捷艾米科技有限公司 | 人脸图像的生成方法和人脸图像的生成装置 |
CN108510437A (zh) * | 2018-04-04 | 2018-09-07 | 科大讯飞股份有限公司 | 一种虚拟形象生成方法、装置、设备以及可读存储介质 |
CN108682030A (zh) * | 2018-05-21 | 2018-10-19 | 北京微播视界科技有限公司 | 脸皮替换方法、装置及计算机设备 |
CN109492513B (zh) * | 2018-05-24 | 2023-04-07 | 曜科智能科技(上海)有限公司 | 光场监控的人脸空间去重方法 |
CN109492513A (zh) * | 2018-05-24 | 2019-03-19 | 曜科智能科技(上海)有限公司 | 光场监控的人脸空间去重方法 |
CN108764143A (zh) * | 2018-05-29 | 2018-11-06 | 北京字节跳动网络技术有限公司 | 图像处理方法、装置、计算机设备和存储介质 |
CN108764143B (zh) * | 2018-05-29 | 2020-11-24 | 北京字节跳动网络技术有限公司 | 图像处理方法、装置、计算机设备和存储介质 |
CN109191593A (zh) * | 2018-08-27 | 2019-01-11 | 百度在线网络技术(北京)有限公司 | 虚拟三维模型的运动控制方法、装置及设备 |
CN109272543B (zh) * | 2018-09-21 | 2020-10-02 | 北京字节跳动网络技术有限公司 | 用于生成模型的方法和装置 |
CN109272543A (zh) * | 2018-09-21 | 2019-01-25 | 北京字节跳动网络技术有限公司 | 用于生成模型的方法和装置 |
US11295157B2 (en) | 2018-12-18 | 2022-04-05 | Fujitsu Limited | Image processing method and information processing device |
CN111340932A (zh) * | 2018-12-18 | 2020-06-26 | 富士通株式会社 | 图像处理方法以及信息处理设备 |
EP3671544A1 (en) * | 2018-12-18 | 2020-06-24 | Fujitsu Limited | Image processing method and information processing device |
CN109902616A (zh) * | 2019-02-25 | 2019-06-18 | 清华大学 | 基于深度学习的人脸三维特征点检测方法及系统 |
CN109902616B (zh) * | 2019-02-25 | 2020-12-01 | 清华大学 | 基于深度学习的人脸三维特征点检测方法及系统 |
CN109993086B (zh) * | 2019-03-21 | 2021-07-27 | 北京华捷艾米科技有限公司 | 人脸检测方法、装置、系统及终端设备 |
CN109993086A (zh) * | 2019-03-21 | 2019-07-09 | 北京华捷艾米科技有限公司 | 人脸检测方法、装置、系统及终端设备 |
CN110222651A (zh) * | 2019-06-10 | 2019-09-10 | Oppo广东移动通信有限公司 | 一种人脸姿态检测方法、装置、终端设备及可读存储介质 |
CN112541963A (zh) * | 2020-11-09 | 2021-03-23 | 北京百度网讯科技有限公司 | 三维虚拟形象生成方法、装置、电子设备和存储介质 |
CN112541963B (zh) * | 2020-11-09 | 2023-12-26 | 北京百度网讯科技有限公司 | 三维虚拟形象生成方法、装置、电子设备和存储介质 |
CN114359449A (zh) * | 2022-01-13 | 2022-04-15 | 北京大橘大栗文化传媒有限公司 | 一种面部数字资产制作方法 |
Also Published As
Publication number | Publication date |
---|---|
CN107045631B (zh) | 2019-12-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107045631B (zh) | 人脸特征点检测方法、装置及设备 | |
Sodhi et al. | In-field segmentation and identification of plant structures using 3D imaging | |
JP6976350B2 (ja) | 静的物体及び動的物体を含むシーンの位置特定及びマッピングに関するイメージングシステム | |
CN110363817B (zh) | 目标位姿估计方法、电子设备和介质 | |
CN112686178B (zh) | 一种多视角目标轨迹生成方法、装置和电子设备 | |
Zhang et al. | Robust ICP registration using biunique correspondence | |
Jellal et al. | LS-ELAS: Line segment based efficient large scale stereo matching | |
Slama et al. | Grassmannian representation of motion depth for 3D human gesture and action recognition | |
CN107798313A (zh) | 一种人体姿态识别方法、装置、终端和存储介质 | |
CN112184757A (zh) | 运动轨迹的确定方法及装置、存储介质、电子装置 | |
CN110751097B (zh) | 一种半监督的三维点云手势关键点检测方法 | |
CN111062263A (zh) | 手部姿态估计的方法、设备、计算机设备和存储介质 | |
CN111144349A (zh) | 一种室内视觉重定位方法及系统 | |
KR101460313B1 (ko) | 시각 특징과 기하 정보를 이용한 로봇의 위치 추정 장치 및 방법 | |
CN112329662B (zh) | 基于无监督学习的多视角显著性估计方法 | |
Iqbal et al. | Real-time target detection and tracking: A comparative in-depth review of strategies | |
CN109740659A (zh) | 一种图像匹配方法及装置、电子设备、存储介质 | |
CN109872343B (zh) | 弱纹理物体姿态跟踪方法、系统及装置 | |
CN116385660A (zh) | 室内单视图场景语义重建方法及系统 | |
Loutas et al. | Probabilistic multiple face detection and tracking using entropy measures | |
Weinrich et al. | Appearance-based 3D upper-body pose estimation and person re-identification on mobile robots | |
Zhang et al. | Affine object tracking with kernel-based spatial-color representation | |
CN108256578B (zh) | 一种灰度图像的识别方法、装置、设备及可读存储介质 | |
Guo et al. | Robust object detection by cuboid matching with local plane optimization in indoor RGB-D images | |
Chang et al. | Using line consistency to estimate 3D indoor Manhattan scene layout from a single image |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
PE01 | Entry into force of the registration of the contract for pledge of patent right | ||
PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: Face feature point detection method, device and equipment Effective date of registration: 20220311 Granted publication date: 20191224 Pledgee: Industrial Bank Co.,Ltd. Beijing West Railway Station sub branch Pledgor: BeiJing Hjimi Technology Co.,Ltd. Registration number: Y2022110000054 |
|
PP01 | Preservation of patent right | ||
PP01 | Preservation of patent right |
Effective date of registration: 20231101 Granted publication date: 20191224 |