CN107766851A - 一种人脸关键点定位方法及定位装置 - Google Patents

一种人脸关键点定位方法及定位装置 Download PDF

Info

Publication number
CN107766851A
CN107766851A CN201711272908.8A CN201711272908A CN107766851A CN 107766851 A CN107766851 A CN 107766851A CN 201711272908 A CN201711272908 A CN 201711272908A CN 107766851 A CN107766851 A CN 107766851A
Authority
CN
China
Prior art keywords
face
image
module
shape
facial image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711272908.8A
Other languages
English (en)
Inventor
肖锋
赵壁原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sohu New Media Information Technology Co Ltd
Original Assignee
Beijing Sohu New Media Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sohu New Media Information Technology Co Ltd filed Critical Beijing Sohu New Media Information Technology Co Ltd
Priority to CN201711272908.8A priority Critical patent/CN107766851A/zh
Publication of CN107766851A publication Critical patent/CN107766851A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种人脸关键点定位方法，包括：对目标图像进行人脸检测获得人脸图像；将人脸图像缩小为预设清晰度的缩小图像；采用监督下降回归器从缩小图像提取第一级关键点；将第一级关键点映射至人脸图像从而判断人脸图像的三维姿态；基于三维姿态选择对应的组合随机树回归器对人脸图像提取第二级关键点。本发明采用监督下降方法及组合随机树算法结合的方式对图像中的人脸关键点进行定位，同时保证较高的精度和较快的速度。

Description

一种人脸关键点定位方法及定位装置
技术领域
本发明涉及图像处理技术领域，尤其涉及一种人脸关键点定位方法及定位装置。
背景技术
人脸关键点定位主要是通过人脸的图像特征,来对人脸的关键点进行预测。当前主要应用的技术方案包括级联回归和通过卷积神经网络回归出关键点的坐标。其中通过卷积神经网络回归的方案虽然精度较高,但是计算量很大,比较难优化到实时应用中。考虑到计算量的限制，在移动端使用较多的是级联回归的方案。
级联回归的处理流程是通过逐级级联的回归器来逼近回归的最终目标，也即关键点的二维坐标。为了减少回归问题的难度，一般会给定一个初始形状，实际回归的目标是初始形状与标注形状之间偏差，每一级会将预测的结果加到初始形状上。按照采用的图像特征和回归器的不同，又包括如下几种方案：采用较强的图像特征和线性回归器的方案，如SDM(Supervised DescentMethod，监督下降方法)算法。采用较弱的图像差值特征和组合决策树分类器的方案，如ERT(Ensemble of Randomized Trees，组合随机树算法)算法。其中SDM算法的速度在移动端比较难达到实时运算的需求,实际测试在一般手机上需要90ms以上。ERT算法能够比较容易达到实时运算的需求，在一般手机上耗时在10ms以内。为了达到实时运行的需求,我们需要将每张图像的计算耗时减少到30ms以内。
因此，如何定位人脸关键点时同时保证较高的精度和较快的速度成为了本领域技术人员亟需解决的问题。
发明内容
有鉴于此，本发明提供了一种人脸关键点定位方法，采用监督下降方法及组合随机树算法结合的方式对图像中的人脸关键点进行定位，同时保证较高的精度和较快的速度。
本发明提供了一种人脸关键点定位方法，包括：
对目标图像进行人脸检测获得人脸图像；
将所述人脸图像缩小为预设清晰度的缩小图像；
采用监督下降回归器从所述缩小图像提取第一级关键点；
将所述第一级关键点映射至所述人脸图像从而判断所述人脸图像的三维姿态；
基于所述三维姿态选择对应的组合随机树回归器对所述人脸图像提取第二级关键点。
优选地，所述监督下降回归器的训练方法包括：
步骤A：计算所有训练图像的平均形状，将所述平均形状作为当前形状，所述训练图像为预设清晰度的包括人脸的图像；
步骤B：提取所述当前形状的特征；
步骤C：基于岭回归方法由所述特征得到线性回归器；
步骤D：采用所述线性回归器求所述特征的预测偏差值；
步骤E：将所述当前形状加上所述预测偏差值得到新的当前形状并用所述新的当前形状取代原有的当前形状；
步骤F：重复执行步骤B至步骤E预设次数获得所述监督下降回归器。
优选地，所述预设次数为1-2次。
优选地，所述特征为梯度方向直方图。
优选地，所述组合随机树回归器包括左偏人脸回归器ERT_L、正面人脸回归器ERT_C及以及右偏人脸回归器ERT_R。
优选地，所述预设清晰度为人脸双眼之间的距离为20-30个像素。
一种人脸关键点定位装置，包括检测模块、缩小模块、第一定位模块、姿态判断模块及第二定位模块，其中：
所述检测模块用于对目标图像进行人脸检测获得人脸图像；
所述缩小模块用于将所述人脸图像缩小为预设清晰度的缩小图像；
所述第一定位模块用于采用监督下降回归器从所述缩小图像提取第一级关键点；
所述姿态判断模块用于将所述第一级关键点映射至所述人脸图像从而判断所述人脸图像的三维姿态；
所述第二定位模块用于基于所述三维姿态选择对应的组合随机树回归器对所述人脸图像提取第二级关键点。
优选地，还包括形状计算模块、特征提取模块、回归器生成模块及偏差值计算模块，其中：
所述形状计算模块用于计算所有训练图像的平均形状，将所述平均形状作为当前形状，所述训练图像为预设清晰度的包括人脸的图像；
所述特征提取模块用于提取所述当前形状的特征；
所述回归器生成模块用于基于岭回归方法由所述特征得到线性回归器；
所述偏差值计算模块用于采用所述线性回归器求所述特征的预测偏差值；
所述形状计算模块还用于将所述当前形状加上所述预测偏差值得到新的当前形状并用所述新的当前形状取代原有的当前形状。
优选地，所述组合随机树回归器包括左偏人脸回归器ERT_L、正面人脸回归器ERT_C及以及右偏人脸回归器ERT_R。
优选地，所述预设清晰度为人脸双眼之间的距离为20-30个像素。
综上所述，本发明公开了一种人脸关键点定位方法，包括：对目标图像进行人脸检测获得人脸图像；将所述人脸图像缩小为预设清晰度的缩小图像；采用监督下降回归器从所述缩小图像提取第一级关键点；将所述第一级关键点映射至所述人脸图像从而判断所述人脸图像的三维姿态；基于所述三维姿态选择对应的组合随机树回归器对所述人脸图像提取第二级关键点。本发明采用监督下降方法及组合随机树算法结合的方式对图像中的人脸关键点进行定位，同时保证较高的精度和较快的速度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明公开的一种人脸关键点定位方法的实施例1的流程图；
图2为本发明公开的一种人脸关键点定位方法的实施例2的流程图；
图3为本发明公开的一种人脸关键点定位装置的实施例1的结构示意图；
图4为本发明公开的一种人脸关键点定位装置的实施例2的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，为本发明公开的一种人脸关键点定位方法的实施例1的流程图，包括：
S101、对目标图像进行人脸检测获得人脸图像；
采用比较通用的人脸检测算法,包括OpenCV(Open Source Computer VisionLibrary，开源计算机视觉库)自带的人脸检测算法或其它工具库提供的算法。
S102、将人脸图像缩小为预设清晰度的缩小图像；
将人脸图片缩小到低分辨率，分辨率固定为人双眼间隔固定的像素大小，由于清晰度比较低，因此图像大小比较小，这样提取特征也较快。同时由于提取第一级特征点主要用于解决人脸位置的偏移和平面外的旋转,因此不需要很高的分辨率。
S103、采用监督下降回归器从缩小图像提取第一级关键点；
采用SDM方法提取第一级关键点，在人脸偏转的角度较大时具有较好的鲁棒性，且由于图像已被缩小，因此耗时也较短。
S104、将第一级关键点映射至人脸图像从而判断人脸图像的三维姿态；
将第一级关键点位置映射回原图像上，及未缩小的人脸图像，按照最小化初值与均值形状的误差的准则来选择最优人脸框的位置，同时利用第一级关键点和基准三维模型可以求解出人脸的三维姿态。求三维姿态的方法为现有技术，因此不再赘述。
S105、基于三维姿态选择对应的组合随机树回归器对人脸图像提取第二级关键点；
确定三维姿态后，选择与此三维姿态相对应的组合随机树回归器来获得第二级关键点。ERT方法的计算时间较短，但对旋转的人脸图像的计算效果较差，因此需要先确定人脸的姿态，再使用相应的组合随机树回归器进行计算，保证了第二级关键点的精度以及提取第二级关键点的速度。
SDM算法的速度在移动端比较难达到实时运算的需求，实际测试在一般手机上需要90ms以上。ERT算法能够比较容易达到实时运算的需求，在一般手机上耗时在10ms以内。为了达到实时运行的需求,我们需要将每张图像的计算耗时减少到30ms以内。由于ERT算法在处理平面外的旋转时效果比较差，近年来也有一些研究提出采用多个视角(朝向)的模型组合来缓解这一问题。一般采用的解决方法是通过其它算法预先估计人头部的姿态，然后通过头部的姿态来选择对应视角的模型。或者通过多次运行回归算法，然后对回归得到的预测结果的差异进行分析，在差异较大时重新初始化回归过程。但是不论是预先估计人头部姿态，还是多次运行回归算法，都会带来额外的时间开销,使得算法较难满足实时性的需求。
一般基于决策树的算法采用的特征都比较简单，主要通过gbdt等复杂的机器学习算法来实现特征点的定位。但是这种很弱的特征在应对光照变化,人脸位置的不精确和姿态错误时，往往不能够很好地实现定位。
在利用较强的图像特征来回归关键点方面，研究人员通过对比不同特征的性能,认为hog特征的性能最好。采用hog特征的算法在提取特征时需要较长时间.假设在移动端运行5个级联回归器的SDM，整个流程需要90ms，则每个级联回归器就需要18ms。由于提取hog特征的流程比较复杂，进一步加速往往很困难.采用低分辨率的图像之后，每个级联回归器的时间可以减少到5ms以内。采用两级SDM+ERT的组合方案，可以在不经过复杂的程序优化的前提下,就将整个算法在移动端的运行时间减少到20ms以内。
本发明采用一种比较灵活的方法来将两种有缺陷的方法融合起来，融合的思路如下:
对于输入包含人脸的图像，先用SDM来进行处理。将SDM设计为主要针对具有较大侧脸或俯仰前提下的人脸定位问题，在提取特征时，统一采用清晰度较低的图像。由于清晰度比较低，因此图像大小比较小，这样提取特征也较快。同时由于前面的级别主要用于解决人脸位置的偏移和平面外的旋转，因此不需要很高的分辨率。在基本定位人脸的姿态和位置后，利用多个视角的组合随机树回归器的组合来进行精度较高的定位。由于这一步骤中人脸定位的精度较高，因此主要用于进行较高精度的定位。同时由于特征的计算与图像大小无关，因此采用高清晰度的图像也不会带来计算代价的上升，一般采用原始图像即可。
综上所示，本发明公开了一种人脸关键点定位方法，包括：对目标图像进行人脸检测获得人脸图像；将人脸图像缩小为预设清晰度的缩小图像；采用监督下降回归器从缩小图像提取第一级关键点；将第一级关键点映射至人脸图像从而判断人脸图像的三维姿态；基于三维姿态选择对应的组合随机树回归器对人脸图像提取第二级关键点。本发明采用监督下降方法及组合随机树算法结合的方式对图像中的人脸关键点进行定位，同时保证较高的精度和较快的速度。
如图2所示，为本发明在上述实施例的基础上公开的一种人脸关键点定位方法的实施例2的流程图，包括：
S201、计算所有训练图像的平均形状，将平均形状作为当前形状，训练图像为预设清晰度的包括人脸的图像；
计算平均形状的方法为现有技术，在此不再赘述。
S202、提取当前形状的特征；
提取当前形状的特征，设当前形状的特征的维度为D，目标点的数目为N。
S203、基于岭回归方法由特征得到线性回归器；
通过岭回归可以得到最优的线性回归器，线性回归器是一个(2ND+1)维的矩阵。
S204、采用线性回归器求特征的预测偏差值；
将线性回归其作用在提取的特征上，得到预测偏差值。
S205、将当前形状加上预测偏差值得到新的当前形状并用新的当前形状取代原有的当前形状；
S206、重复执行步骤S202至步骤S205预设次数获得监督下降回归器；
监督下降回归器需要若干个级联回归器，即上述的线性回归器，因此需要重复上述步骤若干次。
为进一步优化上述技术方案，预设次数为1-2次；
由于本发明中监督下降回归器只需要做低分辨率的回归，因此只需要1-2个级联回归器，因此预设次数为1-2次。
为进一步优化上述技术方案，特征为梯度方向直方图；
在利用较强的图像特征来回归关键点方面,研究人员通过对比不同特征的性能,认为hog(Histogram of oriented gradients,梯度方向直方图)特征的性能最好。
为进一步优化上述技术方案，组合随机树回归器包括左偏人脸回归器ERT_L、正面人脸回归器ERT_C及以及右偏人脸回归器ERT_R。
为对应不同的三维姿态，分别训练对左偏人脸的回归器ERT_L，正面人脸的回归器ERT_C，以及右偏人脸的回归器ERT_R。在选择模型个数时还可以扩展到包括其它姿态的模型，比如俯仰的人脸模型。
优选地，预设清晰度为人脸双眼之间的距离为20-30个像素。
将人脸图片缩小到低分辨率，分辨率固定为人双眼间隔固定的像素大小，比如20-30个像素。这个大小是我们通过测试,能够兼顾清晰度，处理速度和精度的一个较合适的值。
如图3所示，为本发明公开的一种人脸关键点定位装置的实施例1的结构示意图，包括检测模块101、缩小模块102、第一定位模块103、姿态判断模块104及第二定位模块105，其中：
检测模块101用于对目标图像进行人脸检测获得人脸图像；
采用比较通用的人脸检测算法,包括OpenCV(Open Source Computer VisionLibrary，开源计算机视觉库)自带的人脸检测算法或其它工具库提供的算法。
缩小模块102用于将人脸图像缩小为预设清晰度的缩小图像；
将人脸图片缩小到低分辨率，分辨率固定为人双眼间隔固定的像素大小，由于清晰度比较低，因此图像大小比较小，这样提取特征也较快。同时由于提取第一级特征点主要用于解决人脸位置的偏移和平面外的旋转,因此不需要很高的分辨率。
第一定位模块103用于采用监督下降回归器从缩小图像提取第一级关键点；
采用SDM方法提取第一级关键点，在人脸偏转的角度较大时具有较好的鲁棒性，且由于图像已被缩小，因此耗时也较短。
姿态判断模块104用于将第一级关键点映射至人脸图像从而判断人脸图像的三维姿态；
将第一级关键点位置映射回原图像上，及未缩小的人脸图像，按照最小化初值与均值形状的误差的准则来选择最优人脸框的位置，同时利用第一级关键点和基准三维模型可以求解出人脸的三维姿态。求三维姿态的方法为现有技术，因此不再赘述。
第二定位模块105用于基于三维姿态选择对应的组合随机树回归器对人脸图像提取第二级关键点；
确定三维姿态后，选择与此三维姿态相对应的组合随机树回归器来获得第二级关键点。ERT方法的计算时间较短，但对旋转的人脸图像的计算效果较差，因此需要先确定人脸的姿态，再使用相应的组合随机树回归器进行计算，保证了第二级关键点的精度以及提取第二级关键点的速度。
本发明采用一种比较灵活的方法来将两种有缺陷的方法融合起来，融合的思路如下:
对于输入包含人脸的图像，先用SDM来进行处理。将SDM设计为主要针对具有较大侧脸或俯仰前提下的人脸定位问题，在提取特征时，统一采用清晰度较低的图像。由于清晰度比较低，因此图像大小比较小，这样提取特征也较快。同时由于前面的级别主要用于解决人脸位置的偏移和平面外的旋转，因此不需要很高的分辨率。在基本定位人脸的姿态和位置后，利用多个视角的组合随机树回归器的组合来进行精度较高的定位。由于这一步骤中人脸定位的精度较高，因此主要用于进行较高精度的定位。同时由于特征的计算与图像大小无关，因此采用高清晰度的图像也不会带来计算代价的上升，一般采用原始图像即可。
如图4所示，为本发明在上述实施例的基础上公开的一种人脸关键点定位装置的实施例2的结构示意图，包括形状计算模块201、特征提取模块202、回归器生成模块203及偏差值计算模块204，其中：
形状计算模块201用于计算所有训练图像的平均形状，将平均形状作为当前形状，训练图像为预设清晰度的包括人脸的图像；
计算平均形状的方法为现有技术，在此不再赘述。
特征提取模块202用于提取当前形状的特征；
提取当前形状的特征，设当前形状的特征的维度为D，目标点的数目为N。
回归器生成模块203用于基于岭回归方法由特征得到线性回归器；
通过岭回归可以得到最优的线性回归器，线性回归器是一个(2ND+1)维的矩阵。
偏差值计算模块204用于采用线性回归器求特征的预测偏差值；
将线性回归其作用在提取的特征上，得到预测偏差值。
形状计算模块201还用于将当前形状加上预测偏差值得到新的当前形状并用新的当前形状取代原有的当前形状。
监督下降回归器需要若干个级联回归器，即上述的线性回归器，因此需要重复上述步骤若干次。
为进一步优化上述技术方案，组合随机树回归器包括左偏人脸回归器ERT_L、正面人脸回归器ERT_C及以及右偏人脸回归器ERT_R；
在利用较强的图像特征来回归关键点方面,研究人员通过对比不同特征的性能,认为hog(Histogram of oriented gradients,梯度方向直方图)特征的性能最好。
为进一步优化上述技术方案，预设清晰度为人脸双眼之间的距离为20-30个像素；
将人脸图片缩小到低分辨率，分辨率固定为人双眼间隔固定的像素大小，比如20-30个像素。这个大小是我们通过测试,能够兼顾清晰度，处理速度和精度的一个较合适的值。
综上所示，本发明公开了一种人脸关键点定位装置包括检测模块、缩小模块、第一定位模块、姿态判断模块及第二定位模块，其中：检测模块用于对目标图像进行人脸检测获得人脸图像；缩小模块用于将人脸图像缩小为预设清晰度的缩小图像；第一定位模块用于采用监督下降回归器从缩小图像提取第一级关键点；姿态判断模块用于将第一级关键点映射至人脸图像从而判断人脸图像的三维姿态；第二定位模块用于基于三维姿态选择对应的组合随机树回归器对人脸图像提取第二级关键点。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种人脸关键点定位方法，其特征在于，包括：
对目标图像进行人脸检测获得人脸图像；
将所述人脸图像缩小为预设清晰度的缩小图像；
采用监督下降回归器从所述缩小图像提取第一级关键点；
将所述第一级关键点映射至所述人脸图像从而判断所述人脸图像的三维姿态；
基于所述三维姿态选择对应的组合随机树回归器对所述人脸图像提取第二级关键点。
2.如权利要求1所述的定位方法，其特征在于，所述监督下降回归器的训练方法包括：
步骤A：计算所有训练图像的平均形状，将所述平均形状作为当前形状，所述训练图像为预设清晰度的包括人脸的图像；
步骤B：提取所述当前形状的特征；
步骤C：基于岭回归方法由所述特征得到线性回归器；
步骤D：采用所述线性回归器求所述特征的预测偏差值；
步骤E：将所述当前形状加上所述预测偏差值得到新的当前形状并用所述新的当前形状取代原有的当前形状；
步骤F：重复执行步骤B至步骤E预设次数获得所述监督下降回归器。
3.如权利要求2所述的定位方法，其特征在于，所述预设次数为1-2次。
4.如权利要求2或3所述的定位方法，其特征在于，所述特征为梯度方向直方图。
5.如权利要求1所述的定位方法，其特征在于，所述组合随机树回归器包括左偏人脸回归器ERT_L、正面人脸回归器ERT_C及以及右偏人脸回归器ERT_R。
6.如权利要求1所述的定位方法，其特征在于，所述预设清晰度为人脸双眼之间的距离为20-30个像素。
7.一种人脸关键点定位装置，其特征在于，包括检测模块、缩小模块、第一定位模块、姿态判断模块及第二定位模块，其中：
所述检测模块用于对目标图像进行人脸检测获得人脸图像；
所述缩小模块用于将所述人脸图像缩小为预设清晰度的缩小图像；
所述第一定位模块用于采用监督下降回归器从所述缩小图像提取第一级关键点；
所述姿态判断模块用于将所述第一级关键点映射至所述人脸图像从而判断所述人脸图像的三维姿态；
所述第二定位模块用于基于所述三维姿态选择对应的组合随机树回归器对所述人脸图像提取第二级关键点。
8.如权利要求7所述的定位装置，其特征在于，还包括形状计算模块、特征提取模块、回归器生成模块及偏差值计算模块，其中：
所述形状计算模块用于计算所有训练图像的平均形状，将所述平均形状作为当前形状，所述训练图像为预设清晰度的包括人脸的图像；
所述特征提取模块用于提取所述当前形状的特征；
所述回归器生成模块用于基于岭回归方法由所述特征得到线性回归器；
所述偏差值计算模块用于采用所述线性回归器求所述特征的预测偏差值；
所述形状计算模块还用于将所述当前形状加上所述预测偏差值得到新的当前形状并用所述新的当前形状取代原有的当前形状。
9.如权利要求8所述的定位装置，其特征在于，所述组合随机树回归器包括左偏人脸回归器ERT_L、正面人脸回归器ERT_C及以及右偏人脸回归器ERT_R。
10.如权利要求1所述的定位装置，其特征在于，所述预设清晰度为人脸双眼之间的距离为20-30个像素。
CN201711272908.8A 2017-12-06 2017-12-06 一种人脸关键点定位方法及定位装置 Pending CN107766851A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711272908.8A CN107766851A (zh) 2017-12-06 2017-12-06 一种人脸关键点定位方法及定位装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711272908.8A CN107766851A (zh) 2017-12-06 2017-12-06 一种人脸关键点定位方法及定位装置

Publications (1)

Publication Number Publication Date
CN107766851A true CN107766851A (zh) 2018-03-06

Family

ID=61277696

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711272908.8A Pending CN107766851A (zh) 2017-12-06 2017-12-06 一种人脸关键点定位方法及定位装置

Country Status (1)

Country Link
CN (1) CN107766851A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108564529A (zh) * 2018-04-23 2018-09-21 广东奥园奥买家电子商务有限公司 一种基于安卓系统的嘴唇实时上妆的实现方法
CN108627798A (zh) * 2018-04-04 2018-10-09 北京工业大学 基于线性判别分析和梯度提升树的wlan室内定位算法
CN109508678A (zh) * 2018-11-16 2019-03-22 广州市百果园信息技术有限公司 人脸检测模型的训练方法、人脸关键点的检测方法和装置
CN110175558A (zh) * 2019-05-24 2019-08-27 北京达佳互联信息技术有限公司 一种人脸关键点的检测方法、装置、计算设备及存储介质
CN110826421A (zh) * 2019-10-18 2020-02-21 易视腾科技股份有限公司 过滤困难姿态人脸的方法及装置
CN111053556A (zh) * 2019-12-26 2020-04-24 北京华睿博视医学影像技术有限公司 基于监督下降法的电阻抗成像方法与装置
CN111243011A (zh) * 2018-11-29 2020-06-05 北京市商汤科技开发有限公司 关键点检测方法及装置、电子设备和存储介质
CN111914598A (zh) * 2019-05-09 2020-11-10 北京四维图新科技股份有限公司 连续帧人脸关键点检测方法、装置、设备及存储介质
CN113642503A (zh) * 2021-08-23 2021-11-12 国网山东省电力公司金乡县供电公司 基于图像和语音识别的窗口服务评分方法及系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102663351A (zh) * 2012-03-16 2012-09-12 江南大学 基于条件外观模型的人脸特征点自动标定方法
CN103824050A (zh) * 2014-02-17 2014-05-28 北京旷视科技有限公司 一种基于级联回归的人脸关键点定位方法
CN105404861A (zh) * 2015-11-13 2016-03-16 中国科学院重庆绿色智能技术研究院 人脸关键特征点检测模型的训练、检测方法及系统
CN105426870A (zh) * 2015-12-15 2016-03-23 北京文安科技发展有限公司 一种人脸关键点定位方法及装置
CN105631436A (zh) * 2016-01-27 2016-06-01 桂林电子科技大学 基于随机森林的级联位置回归用于人脸对齐的方法
CN105787448A (zh) * 2016-02-28 2016-07-20 南京信息工程大学 基于时空级联形状回归的人脸形状跟踪方法
CN106295476A (zh) * 2015-05-29 2017-01-04 腾讯科技（深圳）有限公司 人脸关键点定位方法和装置
US20170083751A1 (en) * 2015-09-21 2017-03-23 Mitsubishi Electric Research Laboratories, Inc. Method for estimating locations of facial landmarks in an image of a face using globally aligned regression
CN106599830A (zh) * 2016-12-09 2017-04-26 中国科学院自动化研究所 人脸关键点定位方法及装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102663351A (zh) * 2012-03-16 2012-09-12 江南大学 基于条件外观模型的人脸特征点自动标定方法
CN103824050A (zh) * 2014-02-17 2014-05-28 北京旷视科技有限公司 一种基于级联回归的人脸关键点定位方法
CN106295476A (zh) * 2015-05-29 2017-01-04 腾讯科技（深圳）有限公司 人脸关键点定位方法和装置
US20170083751A1 (en) * 2015-09-21 2017-03-23 Mitsubishi Electric Research Laboratories, Inc. Method for estimating locations of facial landmarks in an image of a face using globally aligned regression
CN105404861A (zh) * 2015-11-13 2016-03-16 中国科学院重庆绿色智能技术研究院 人脸关键特征点检测模型的训练、检测方法及系统
CN105426870A (zh) * 2015-12-15 2016-03-23 北京文安科技发展有限公司 一种人脸关键点定位方法及装置
CN105631436A (zh) * 2016-01-27 2016-06-01 桂林电子科技大学 基于随机森林的级联位置回归用于人脸对齐的方法
CN105787448A (zh) * 2016-02-28 2016-07-20 南京信息工程大学 基于时空级联形状回归的人脸形状跟踪方法
CN106599830A (zh) * 2016-12-09 2017-04-26 中国科学院自动化研究所 人脸关键点定位方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
NECATI CIHAN CAMG¨OZ ET AL.: ""Facial Landmark Localization in Depth Images using Supervised Ridge Descent"", 《2015 IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION WORKSHOP》 *
卓丽媛: ""人脸特征点定位及表情动画的研究与应用"", 《万方数据库》 *

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108627798A (zh) * 2018-04-04 2018-10-09 北京工业大学 基于线性判别分析和梯度提升树的wlan室内定位算法
CN108627798B (zh) * 2018-04-04 2022-03-11 北京工业大学 基于线性判别分析和梯度提升树的wlan室内定位算法
CN108564529A (zh) * 2018-04-23 2018-09-21 广东奥园奥买家电子商务有限公司 一种基于安卓系统的嘴唇实时上妆的实现方法
CN109508678A (zh) * 2018-11-16 2019-03-22 广州市百果园信息技术有限公司 人脸检测模型的训练方法、人脸关键点的检测方法和装置
US11922707B2 (en) 2018-11-16 2024-03-05 Bigo Technology Pte. Ltd. Method and apparatus for training face detection model, and apparatus for detecting face key point
CN109508678B (zh) * 2018-11-16 2021-03-30 广州市百果园信息技术有限公司 人脸检测模型的训练方法、人脸关键点的检测方法和装置
CN111243011A (zh) * 2018-11-29 2020-06-05 北京市商汤科技开发有限公司 关键点检测方法及装置、电子设备和存储介质
CN111914598A (zh) * 2019-05-09 2020-11-10 北京四维图新科技股份有限公司 连续帧人脸关键点检测方法、装置、设备及存储介质
CN110175558B (zh) * 2019-05-24 2021-02-05 北京达佳互联信息技术有限公司 一种人脸关键点的检测方法、装置、计算设备及存储介质
CN110175558A (zh) * 2019-05-24 2019-08-27 北京达佳互联信息技术有限公司 一种人脸关键点的检测方法、装置、计算设备及存储介质
CN110826421A (zh) * 2019-10-18 2020-02-21 易视腾科技股份有限公司 过滤困难姿态人脸的方法及装置
CN110826421B (zh) * 2019-10-18 2023-09-05 易视腾科技股份有限公司 过滤困难姿态人脸的方法及装置
CN111053556A (zh) * 2019-12-26 2020-04-24 北京华睿博视医学影像技术有限公司 基于监督下降法的电阻抗成像方法与装置
CN113642503A (zh) * 2021-08-23 2021-11-12 国网山东省电力公司金乡县供电公司 基于图像和语音识别的窗口服务评分方法及系统
CN113642503B (zh) * 2021-08-23 2024-03-15 国网山东省电力公司金乡县供电公司 基于图像和语音识别的窗口服务评分方法及系统

Similar Documents

Publication Publication Date Title
CN107766851A (zh) 一种人脸关键点定位方法及定位装置
Nibali et al. 3d human pose estimation with 2d marginal heatmaps
CN108369643B (zh) 用于3d手部骨架跟踪的方法和系统
CN104376594B (zh) 三维人脸建模方法和装置
CN109657583B (zh) 脸部关键点检测方法、装置、计算机设备和存储介质
CN109410242A (zh) 基于双流卷积神经网络的目标跟踪方法、系统、设备及介质
CN106548151B (zh) 面向智能机器人的目标物检测追踪识别方法和系统
CN108446585A (zh) 目标跟踪方法、装置、计算机设备和存储介质
CN109214366A (zh) 局部目标重识别方法、装置及系统
CN109934847A (zh) 弱纹理三维物体姿态估计的方法和装置
CN104899563A (zh) 一种二维人脸关键特征点定位方法及系统
CN109598234A (zh) 关键点检测方法和装置
US11113571B2 (en) Target object position prediction and motion tracking
CN113449570A (zh) 图像处理方法和装置
CN109460267A (zh) 移动机器人离线地图保存与实时重定位方法
Xu et al. GraspCNN: Real-time grasp detection using a new oriented diameter circle representation
CN105426929A (zh) 对象形状对准装置、对象处理装置及其方法
CN109034131A (zh) 一种半自动人脸关键点标注方法及存储介质
CN112102342B (zh) 平面轮廓识别方法、装置、计算机设备和存储介质
Zhuang et al. Instance segmentation based 6D pose estimation of industrial objects using point clouds for robotic bin-picking
CN104915009B (zh) 手势预判的方法及系统
CN108961385A (zh) 一种slam构图方法及装置
CN111914595B (zh) 一种基于彩色图像的人手三维姿态估计方法和装置
Gulde et al. RoPose: CNN-based 2D pose estimation of industrial robots
CN109858402B (zh) 一种图像检测方法、装置、终端以及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180306