CN104598936A - 人脸图像面部关键点的定位方法 - Google Patents

人脸图像面部关键点的定位方法 Download PDF

Info

Publication number
CN104598936A
CN104598936A CN201510090459.XA CN201510090459A CN104598936A CN 104598936 A CN104598936 A CN 104598936A CN 201510090459 A CN201510090459 A CN 201510090459A CN 104598936 A CN104598936 A CN 104598936A
Authority
CN
China
Prior art keywords
key point
facial image
facial
face
training set
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510090459.XA
Other languages
English (en)
Other versions
CN104598936B (zh
Inventor
李军
张军
程东岳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BEIJING CKLEADER SOFTWARE TECHNOLOGY Co Ltd
Original Assignee
BEIJING CKLEADER SOFTWARE TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BEIJING CKLEADER SOFTWARE TECHNOLOGY Co Ltd filed Critical BEIJING CKLEADER SOFTWARE TECHNOLOGY Co Ltd
Priority to CN201510090459.XA priority Critical patent/CN104598936B/zh
Publication of CN104598936A publication Critical patent/CN104598936A/zh
Application granted granted Critical
Publication of CN104598936B publication Critical patent/CN104598936B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

本发明公开了一种人脸图像面部关键点的定位方法,包括如下步骤:基于互联网数据,标注形成一个具有多个面部关键点的人脸图像训练集;基于人脸检测器检测到的人脸检测框将训练集中标注了面部关键点的人脸图像进行对齐,得到对齐后的每张人脸图像上面部关键点的位置和所有人脸图像面部关键点的平均位置;分别学习每个面部关键点的判别特征表示,将每个面部关键表示为一个10维的特征向量;基于偏最小二乘回归学习面部关键点的回归定位模型;对于输入的测试人脸图像,经过人脸检测和对齐、归一化、面部关键点位置初始化以及迭代回归处理得到最终的面部关键位置并输出。

Description

人脸图像面部关键点的定位方法
技术领域
本发明属于计算机视觉和图像处理技术领域,特别的涉及人脸图像的面部关键点的定位方法。
背景技术
计算机人脸识别将根据人脸来辨别未知人物身份的能力赋予了计算机系统,使得计算机系统基于已知的人脸样本库,利用计算机分析和模式识别技术从静态或者动态的场景中,识别或验证一个或多个人脸,该技术已经被广泛的应用于公共安全,身份识别等场合。人脸识别系统包括有人脸检测、面部关键点定位、识别和跟踪等步骤,而面部关键点定位是解决这些问题的关键,其定位的精确程度极大地影响了人脸识别的准确性,错误的定位会导致提取出的人脸描述特征的严重变形。现有技术中,面部关键点的定位方法主要包括在对包含人脸图像的图片进行分解变换和对称变换后利用几何分布关系得到的估算定位,以及基于ASM和AMM模型对面部关键点进行的定位。然而,这些技术没有很好的解决在人脸光照条件、人脸姿态以及人脸表情多变且不确定的非理想情况下的定位精度下降问题。
为克服现有技术的上述不足之处,本发明提出了一种基于面部关键点判别特征学习以及关键点回归定位模型学习的定位方法,利用Fisher准则学习了面部关键点的判别投影矩阵,从而得到每个关键点的判别特征表示,在此基础上,基于偏最小二乘回归学习了面部关键点的回归定位模型,进而实现对未知的人脸图像的面部关键点定位。本发明提出的基于两次模型学习的面部关键点定位方法,具有更好的鲁棒性,能够更加有效地应对人脸的局部变化,稳定而准确地实现对人脸图像的面部关键点定位。
发明内容
本发明要解决的问题是提供一种人脸图像面部关键点的定位方法,以解决现有技术中面部关键点定位不够精确及稳定的缺陷。
为了实现以上目的,本发明提供了一种人脸图像面部关键点的定位方法,其特征在于;
(1)设置人脸图像训练集;
(2)对人脸图像训练集中的人脸图像进行面部关键点位置标注;
(3)对人脸图像训练集中标注后的每张人脸图像进行检测和对齐处理;
(4)对人脸图像训练集中对齐后的每张人脸图像进行归一化处理;
(5)对面部关键点进行判别特征学习;
(6)为每张人脸图像                                                进行面部关键点特征提取;
(7)训练得到面部关键点定位模型;
(8)对输入的人脸图像利用定位模型定位得到面部关键点位置。
优选的,其中步骤(1)具体为:收集N张互联网人脸图像,形成人脸图像训练集
优选的,其中步骤(2)具体为:为人脸图像训练集中的每张人脸图像进行面部关键点位置标注并得到关键点坐标,其中标注的面部关键点包括人脸器官和面部轮廓。
优选的,其中的人脸器官包括眉毛中心、眼睛中心、鼻子中心和嘴巴中心,面部轮廓为下面部轮廓,共标记28个面部关键点。
优选的,其中以每张人脸图像的左上角为原点O,以水平右向为X轴正方向,以垂直下向为Y轴正方向,建立直角坐标系,得到标注的每个面部关键点i在该坐标系中的位置,其中。
优选的,其中步骤(3)中的检测和对齐处理具体为:利用人脸检测器对每张人脸图像进行人脸检测,基于人脸检测器检测到的人脸检测框对训练集中的每张人脸图像进行对齐处理。
优选的,其中基于人脸检测器检测到的人脸检测框对训练集中的每张人脸图像进行对齐处理具体为:人脸检测器在每张人脸图像上检测到像素大小的矩形人脸检测框,其中心在每张人脸图像的直角坐标系中的坐标为,每张人脸图像的人脸检测框的大小随其对应的人脸图像改变,以该人脸检测框的中心为参考点,在每张人脸图像上抠取像素大小的矩形区域。
优选的,其中步骤(4)中的归一化处理具体为:对于抠取的像素大小的矩形区域,将其归一化到150*150像素大小矩形区域,以人脸检测框的中心为原点O,水平方向为X轴,垂直方向为Y轴,则面部关键点i的坐标归一化为:,对齐归一化后的每张人脸图像的所有面部关键点的位置记为,则
优选的,其中步骤(5)中的判别特征学习具体为:在对齐归一化后的人脸图像训练集上为每个面部关键点i单独地进行判别特征学习。
优选的,其中在对齐归一化后的人脸图像训练集上为每个面部关键点i单独地进行判别特征学习具体为:
(5.1)分别获得每个面部关键点i的正例样本和反例样本;
(5.2)对每个面部关键点i得到的所有正例样本和所有反例样本分别提取59维的Uniform LBP特征;
(5.3)计算每个面部关键点i得到的所有样本的均值、正例样本均值和反例样本的均值
(5.4)计算每个面部关键点i正例样本和反例样本的散度矩阵以及类间散度矩阵
(5.5)基于Fisher准则学习每个面部关键点i的判别投影矩阵
优选的,其中步骤(5.1)具体为:在对齐归一化后的每幅人脸图像上,为每个关键点i截取7*7像素大小的窗体作为正例,在距离该关键点i水平或垂直方向距离为3到14个像素的范围内随机采样四个7*7像素大小的窗体反例,为每张人脸图像的每个关键点i采样得到了一个正例样本和四个反例样本。
优选的,其中步骤(5.2)具体为:关键点i的所有N个正例样本的Uniform LBP特征记为:,其中为人脸图像上的关键点i的正例样本的Uniform LBP特征,所有反例样本的Uniform LBP特征记为:,其中为人脸图像的关键点i的第m个反例样本的Uniform LBP特征,
优选的,其中步骤(5.3)具体为:
优选的,其中步骤(5.4)具体为:,
优选的,其中步骤(5.5)具体为:基于Fisher准则,最大化判别投影的可分性,其优化目标为,其中的最优解为的最大特征值对应的特征向量,将上述过程重复10次,则每个关键点i得到10个投影向量,记为投影矩阵,为所有28个面部关键点重复以上学习过程,共得到28个投影矩阵。
优选的,其中步骤(6)具体为:对于对齐归一化后的人脸图像,分别截取以28个面部关键点为中心的7*7像素大小的窗口,为每个窗口提取59维Uniform LBP特征,则在关键点i处提取的Uniform LBP特征记为:,关键点i的判别特征,人脸图像的28个面部关键点可表示为,为一个 280维的列向量,用函数表示对对齐归一化后的人脸图像在28个面部关键点坐标为时所提取出的280维特征向量,则对齐归一化后的人脸图像的面部关键点特征提取为:
优选的,其中步骤(7)具体为:
(7.1)将对齐归一化后的训练集中所有人脸图像的28个面部关键点位置的平均值记为,则,将训练集中N幅对齐归一化后的人脸图像的平均位置记为,则,将训练集中N幅对齐归一化后的人脸图像的人工标注的面部关键点标记位置记为,则
(7.2)利用迭代回归学习方式建立面部关键点的定位模型,令,其中表示训练集中对齐归一化后的人脸图像的人工标注的面部关键点位置与第k-1次迭代结果之间的差异,令表示在第k次迭代时,训练集中所有对齐归一化后的人脸图像在面部关键点位置处提取出的特征向量,则,其中表示训练集中的对齐归一化后的人脸图像在第k次迭代时面部关键点的位置,     ,其中表示对齐归一化后的人脸图像在第k次迭代时面部关键点i的判别特征;
(7.3)利用迭代回归学习来学习之间的回归函数,将面部关键点定位建模为:,该迭代回归学习的目标函数为:,用偏最小二乘求解模型参数:,训练过程共迭代M次,其中M = 5,通过M次迭代回归学习确定定位模型参数,k=1,2,3,4,5,其中每次迭代得到一组对应的模型参数,通过训练得到5组模型参数。
优选的,其中步骤(8)具体为:
(8.1)对于输入的人脸图像进行检测和对齐处理,利用人脸检测器对该人脸图像进行人脸检测,基于人脸检测器检测到的人脸检测框对该人脸图像进行对齐处理,对齐处理具体为使用人脸检测器检测得到的像素大小的矩形人脸检测框,以该人脸检测框的中心为参考点,在该人脸图像上抠取像素大小的矩形区域;
(8.2)对于抠取的该像素大小的矩形区域,将其归一化到150*150像素大小矩形区域;
(8.3)将该对齐归一化后的人脸图像上面部关键点的初始位置设为由人脸图像训练集得到的平均位置
(8.4)初始化k=1,计算,其中对齐归一化后的人脸图像在第k次迭代后所有面部关键点的位置记为,并使得k=k+1,判断k<=5是否成立,如果不成立,进入步骤(8.5),如果成立,重复计算,其中每次计算使用一组k值对应的训练得到的模型参数;
(8.5) 输出为该输入对齐归一化后的人脸图像的面部关键点位置;
(8.6) 设输出的,则将作为输入人脸图像的面部关键点位置,其中为该人脸检测框在输入人脸图像建立的直角坐标系上的坐标,其中以该人脸图像左上角为原点,以水平右向为X轴正方向,以垂直下向为Y轴正方向,建立直角坐标系。
附图说明
图1为人脸图像面部关键点标注示例图
图2为人脸图像对齐归一化示意图
图3为左眼中心正例和反例样本的采样方式示意图
图4为人脸图像面部关键点的定位方法流程图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚,下面将结合附图及具体实施例对本发明做出进一步地详细描述。
步骤1:设置人脸图像训练集
收集一个互联网人脸图像训练集,在该训练集中具有N张人脸图像。
步骤2:对训练集中的每张人脸图像进行面部关键点位置标注
为该训练集中的每张人脸图像进行面部关键点的位置标注。图1为面部关键点的标注示意图。标注的面部关键点包括人脸器官和面部轮廓,其中人脸器官包括眉毛中心、眼睛中心、鼻子中心和嘴巴中心,面部轮廓为下面部轮廓,共标记28个面部关键点。将人脸图像的左上角记为坐标原点O,以水平右向为X轴正方向,以垂直下向为Y轴正方向,建立直角坐标系,将第i个面部关键点在该人脸图像坐标系中的坐标记为,其中
步骤3:对训练集中标注后的每张人脸图像进行检测和对齐处理。
利用人脸检测器对人脸图像进行人脸检测,基于人脸检测器检测到的人脸检测框的结果对训练集中的每张人脸图像进行对齐。设人脸检测器在每张人脸图像上检测到的人脸检测框为像素大小的矩形,其中心在人脸图像的直角坐标系中的坐标为,其中每张人脸图像的人脸检测框大小随着其对应的人脸图像而改变,对齐方式为:以该人脸检测框的中心为参考点,在人脸图像上抠取像素大小的矩形区域,如图2所示。
步骤4:对对齐后的每张人脸图像进行归一化处理
将该抠取出的图像进行归一化处理,得到150*150像素大小的矩形区域。以人脸检测框的中心为原点O,水平方向为X轴,垂直方向为Y轴,则经过归一化处理后的面部关键点i的坐标归一化为:
      公式(1)
将对齐归一化后的人脸图像的所有面部关键点的位置记为
   公式(2)
步骤5:面部关键点判别特征学习
在对齐归一化后的人脸图像训练集上为每个面部关键点单独地学习判别特征表示,包括如下步骤:
(1)分别获得每个面部关键点i的正例样本和反例样本。图3为左眼中心正例和反例样本的采样方式示意图,其中的红色矩形框表示正例样本,绿色矩形框表示随机选择的反例样本。以左眼中心为例:在对齐归一化后的每幅人脸图像上,以左眼中心为中心,截取7*7像素大小的窗体作为正例,在距离左眼中心水平或垂直方向距离为3到14个像素的范围内随机采样四个7*7像素大小的窗体反例,即对左眼中心这一面部关键点来说,采样得到了一个正例样本和四个反例样本。对训练集中的所有N张人脸图像的左眼中心都进行上述正例和反例样本的提取。对训练集中的所有N张人脸图像的所有关键点i都进行上述正例和反例样本的提取。
(2)对每个面部关键点i得到的N个正例和4N个反例样本分别提取59维的Uniform LBP特征。以左眼中心为例:
 将左眼中心的所有正例样本的Uniform LBP特征记为:
   公式(3),其中为人脸图像上的关键点i的正例样本的Uniform LBP特征。
所有反例样本的Uniform LBP特征记为:
     公式(4),其中为人脸图像的关键点i的第m个反例样本的Uniform LBP特征,
(3)计算每个面部关键点i所有样本的均值、正例样本均值和反例样本的均值
  公式(5)
(4)计算每个面部关键点i正例和反例样本的散度矩阵以及类间散度矩阵
(5)基于Fisher准则学习每个关键点i的判别投影矩阵
学习过程基于Fisher准则,最大化判别投影的可分性,其优化目标如下:
         (8)
其中的最优解为的最大特征值对应的特征向量,将上述过程重复10次,则每个关键点得到10个投影向量,记为投影矩阵
     (9)
为所有28个面部关键点重复以上学习过程,共得到28个投影矩阵。
步骤6:为每张人脸图像进行面部关键点特征提取
对于对齐归一化后的人脸图像,分别截取以当前28个面部关键点为中心的7*7像素大小窗口,为其提取59维Uniform LBP特征,将第i个关键点处提取的Uniform LBP特征记为:
        公式(10),则第i个关键点判别特征计算方式如下:
           公式(11)
所有28个面部关键点可表示为,为一个 280维的列向量。记函数表示对对齐归一化后的人脸图像在28个面部关键点坐标为时提取出的280维特征向量,其中的表示见公式(2),则
步骤7:训练面部关键点定位模型,得到模型参数
(1)将训练集中对齐归一化后的所有人脸图像的28个面部关键点位置的平均值记为,计算方法为:
 (12)
将训练集中N幅人脸图像对齐归一化后的平均位置记为 :
    (13)
将训练集中N幅人脸图像对齐归一化后的人工标注的面部关键点标记位置记为:
 (14)  
(2)利用迭代回归学习方式建立面部关键点的定位模型,记
 (15)
表示人工标记的面部关键点位置与第k-1次迭代位置结果之间的差异。记表示在第k次迭代时,训练集中所有人脸图像对齐归一化后的关键点处提取出的特征向量:
       (16)
     (17)
其中表示训练集中第n幅对齐归一化后的人脸在第k次迭代时面部关键点的位置。
(3)利用迭代回归学习来建模之间的回归函数,即定位模型为:   (18)
该迭代回归学习的目标函数如下:
公式(18)可以用偏最小二乘求解,训练过程共迭代M次,优选的,设置= 5。通过M次迭代回归学习确定定位模型参数,,其中每次迭代得到一组对应的模型参数,通过训练得到5组模型参数。
步骤8:对输入人脸图像利用定位模型定位得到面部关键点位置。
图4给出了面部关键点的定位方法流程图。
(1)对于作为测试样本的人脸图像,经过和训练集人脸图像相同的人脸检测、对齐和150*150矩形大小的归一化处理;
(2)将该对齐归一化后的人脸图像上面部关键点的初始位置设为由公式(13)得到的平均位置
(3)初始化k=1,计算并使得k=k+1,其中对齐归一化后的人脸图像在第k次迭代后所有面部关键点的位置记为,判断k<=5是否成立,如果不成立,输出为该测试样本人脸图像面部关键点的最终位置,如果成立,重复计算,每次计算使用一组K值对应的训练得到的模型参数。由此,通过5次循环计算,利用定位模型参数得到了输入人脸图像对齐归一化后的面部关键点的最终位置;
(4)设输出的,则将作为输入人脸图像的面部关键点位置。其中为该人脸检测框在输入人脸图像建立的直角坐标系上的坐标。
显然,本领域的技术人员可以对本发明进行各种改动和变形而不脱离本发明的精神和范围,这样,倘若本发明的这些修改和变形属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变形在内。

Claims (18)

1.一种人脸图像面部关键点的定位方法,其特征在于:
(1)设置人脸图像训练集;
(2)对人脸图像训练集中的人脸图像进行面部关键点位置标注;
(3)对人脸图像训练集中标注后的每张人脸图像进行检测和对齐处理;
(4)对人脸图像训练集中对齐后的每张人脸图像进行归一化处理;
(5)对面部关键点进行判别特征学习;
(6)为每张人脸图像 进行面部关键点特征提取;
(7)训练得到面部关键点定位模型;
(8)对输入的人脸图像利用定位模型定位得到面部关键点位置。
2.如权利要求1所述的方法,其中步骤(1)具体为:收集N张互联网人脸图像,形成人脸图像训练集
3.如权利要求2所述的方法,其中步骤(2)具体为:为人脸图像训练集中的每张人脸图像进行面部关键点位置标注并得到关键点坐标,其中标注的面部关键点包括人脸器官和面部轮廓。
4.如权利要求3所述的方法,其中的人脸器官包括眉毛中心、眼睛中心、鼻子中心和嘴巴中心,面部轮廓为下面部轮廓,共标记28个面部关键点。
5.如权利要求4所述的方法,其中以每张人脸图像的左上角为原点O,以水平右向为 X轴正方向,以垂直下向为Y轴正方向,建立直角坐标系,得到标注的每个面部关键点i在该坐标系中的位置,其中。
6.如权利要求5所述的方法,其中步骤(3)中的检测和对齐处理具体为:利用人脸检测器对每张人脸图像进行人脸检测,基于人脸检测器检测到的人脸检测框对训练集中的每张人脸图像进行对齐处理。
7.如权利要求6所述的方法,其中基于人脸检测器检测到的人脸检测框对训练集中的每张人脸图像进行对齐处理具体为:人脸检测器在每张人脸图像上检测到像素大小的矩形人脸检测框,其中心在每张人脸图像的直角坐标系中的坐标为,每张人脸图像的人脸检测框的大小随其对应的人脸图像改变,以该人脸检测框的中心为参考点,在每张人脸图像上抠取像素大小的矩形区域。
8.如权利要求7所述的方法,其中步骤(4)中的归一化处理具体为:对于抠取的像素大小的矩形区域,将其归一化到150*150像素大小矩形区域,以人脸检测框的中心为原点O,水平方向为X轴,垂直方向为Y轴,则面部关键点i的坐标归一化为:,对齐归一化后的每张人脸图像的所有面部关键点的位置记为,则
9.如权利要求8所述的方法,其中步骤(5)中的判别特征学习具体为:在对齐归一化后的人脸图像训练集上为每个面部关键点i单独地进行判别特征学习。
10.如权利要求9所述的方法,其中在对齐归一化后的人脸图像训练集上为每个面部关键点i单独地进行判别特征学习具体为:
(5.1)分别获得每个面部关键点i的正例样本和反例样本;
(5.2)对每个面部关键点i得到的所有正例样本和所有反例样本分别提取59维的Uniform LBP特征;
(5.3)计算每个面部关键点i得到的所有样本的均值 、正例样本均值 和反例样本的均值
(5.4)计算每个面部关键点i正例样本和反例样本的散度矩阵以及类间散度矩阵
(5.5)基于Fisher准则学习每个面部关键点i的判别投影矩阵
11.如权利要求10所述的方法,其中步骤(5.1)具体为:在对齐归一化后的每幅人脸图像上,为每个关键点i截取7*7像素大小的窗体作为正例,在距离该关键点i水平或垂直方向距离为3到14个像素的范围内随机采样四个7*7像素大小的窗体反例,为每张人脸图像的每个关键点i采样得到了一个正例样本和四个反例样本。
12.如权利要求11所述的方法,其中步骤(5.2)具体为:关键点i的所有N个正例样本的Uniform LBP特征记为:,其中为人脸图像上的关键点i的正例样本的Uniform LBP特征,所有反例样本的Uniform LBP特征记为: ,其中为人脸图像的关键点i的第m个反例样本的Uniform LBP特征。
13.如权利要求12所述的方法,其中步骤(5.3)具体为:
14.如权利要求13所述的方法,其中步骤(5.4)具体为:,
15.如权利要求14所述的方法,其中步骤(5.5)具体为:基于Fisher准则,最大化判别投影的可分性,其优化目标为,其中的最优解为的最大特征值对应的特征向量,将上述过程重复10次,则每个关键点i得到10个投影向量,记为投影矩阵,为所有28个面部关键点重复以上学习过程,共得到28个投影矩阵。
16.如权利要求15所述的方法,其中步骤(6)具体为:对于对齐归一化后的人脸图像,分别截取以28个面部关键点为中心的7*7像素大小的窗口,为每个窗口提取59维Uniform LBP特征,则在关键点i处提取的Uniform LBP特征记为:,关键点i的判别特征为:,人脸图像的28个面部关键点可表示为,为一个 280维的列向量,用函数 表示对对齐归一化后的人脸图像在28个面部关键点坐标为时所提取出的280维特征向量,则对齐归一化后的人脸图像的面部关键点特征提取为:
17.如权利要求16所述的方法,其中步骤(7)具体为:
(7.1)将对齐归一化后的训练集中所有人脸图像的28个面部关键点位置的平均值记为,则, 将训练集中N幅对齐归一化后的人脸图像的平均位置记为,则,将训练集中N幅对齐归一化后的人脸图像的人工标注的面部关键点标记位置记为,则
(7.2)利用迭代回归学习方式建立面部关键点的定位模型,令,其中表示训练集中对齐归一化后的人脸图像的人工标注的面部关键点位置与第k-1次迭代结果之间的差异,令表示在第k次迭代时,训练集中所有对齐归一化后的人脸图像在面部关键点位置处提取出的特征向量,则,其中表示训练集中的对齐归一化后的人脸图像在第k次迭代时面部关键点的位置,     ,其中表示对齐归一化后的人脸图像在第k次迭代时面部关键点i的判别特征;
(7.3)利用迭代回归学习来学习之间的回归函数,将面部关键点定位建模为: ,该迭代回归学习的目标函数为: ,用偏最小二乘求解模型参数:,训练过程共迭代M次,其中 M = 5,通过M次迭代回归学习确定定位模型参数,其中每次迭代得到一组对应的模型参数(),通过训练得到5组模型参数。
18.如权利要求17所述的方法,其中步骤(8)具体为:
(8.1)对于输入的人脸图像进行检测和对齐处理,利用人脸检测器对该人脸图像进行人脸检测,基于人脸检测器检测到的人脸检测框对该人脸图像进行对齐处理,对齐处理具体为使用人脸检测器检测得到的像素大小的矩形人脸检测框,以该人脸检测框的中心为参考点,在该人脸图像上抠取像素大小的矩形区域;
(8.2)对于抠取的该像素大小的矩形区域,将其归一化到150*150像素大小矩形区域;
(8.3)将该对齐归一化后的人脸图像上面部关键点的初始位置设为由人脸图像训练集得到的平均位置
(8.4)初始化k=1,计算并使得k=k+1,其中对齐归一化后的人脸图像在第k次迭代后所有面部关键点的位置记为,判断k<=5是否成立,如果不成立,进入步骤(8.5),如果成立,重复计算,其中每次计算使用一组k值对应的训练得到的模型参数;
(8.5) 输出为该输入对齐归一化后的人脸图像的面部关键点位置;
(8.6) 设输出的,则将作为输入人脸图像的面部关键点位置,其中为该人脸检测框在输入人脸图像建立的直角坐标系上的坐标,其中以该人脸图像左上角为原点,以水平右向为X轴正方向,以垂直下向为Y轴正方向,建立直角坐标系。
CN201510090459.XA 2015-02-28 2015-02-28 人脸图像面部关键点的定位方法 Expired - Fee Related CN104598936B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510090459.XA CN104598936B (zh) 2015-02-28 2015-02-28 人脸图像面部关键点的定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510090459.XA CN104598936B (zh) 2015-02-28 2015-02-28 人脸图像面部关键点的定位方法

Publications (2)

Publication Number Publication Date
CN104598936A true CN104598936A (zh) 2015-05-06
CN104598936B CN104598936B (zh) 2018-07-27

Family

ID=53124708

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510090459.XA Expired - Fee Related CN104598936B (zh) 2015-02-28 2015-02-28 人脸图像面部关键点的定位方法

Country Status (1)

Country Link
CN (1) CN104598936B (zh)

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104966046A (zh) * 2015-05-20 2015-10-07 腾讯科技(深圳)有限公司 一种人脸关键点位定位结果的评估方法,及评估装置
CN105117692A (zh) * 2015-08-05 2015-12-02 福州瑞芯微电子股份有限公司 一种基于深度学习的实时人脸识别方法及系统
CN105184286A (zh) * 2015-10-20 2015-12-23 深圳市华尊科技股份有限公司 一种车辆检测方法及检测装置
CN105184283A (zh) * 2015-10-16 2015-12-23 天津中科智能识别产业技术研究院有限公司 一种人脸图片中关键点的标注方法及其标注系统
CN105354531A (zh) * 2015-09-22 2016-02-24 成都通甲优博科技有限责任公司 一种面部关键点的标注方法
GB2532537A (en) * 2014-11-21 2016-05-25 Adobe Systems Inc Aligning multi-view scans
WO2016192477A1 (zh) * 2015-05-29 2016-12-08 腾讯科技(深圳)有限公司 人脸关键点定位方法和终端
CN106991388A (zh) * 2017-03-27 2017-07-28 中国科学院自动化研究所 关键点定位方法
CN107016319A (zh) * 2016-01-27 2017-08-04 北京三星通信技术研究有限公司 一种关键点定位方法和装置
CN107358223A (zh) * 2017-08-16 2017-11-17 上海荷福人工智能科技(集团)有限公司 一种基于yolo的人脸检测与人脸对齐方法
CN107423689A (zh) * 2017-06-23 2017-12-01 中国科学技术大学 智能交互式人脸关键点标注方法
CN107463865A (zh) * 2016-06-02 2017-12-12 北京陌上花科技有限公司 人脸检测模型训练方法、人脸检测方法及装置
CN108446672A (zh) * 2018-04-20 2018-08-24 武汉大学 一种基于由粗到细脸部形状估计的人脸对齐方法
CN108875520A (zh) * 2017-12-20 2018-11-23 北京旷视科技有限公司 人脸形状点定位的方法、装置、系统及计算机存储介质
CN108960056A (zh) * 2018-05-30 2018-12-07 西南交通大学 一种基于姿态分析和支持向量数据描述的跌倒检测方法
CN108961149A (zh) * 2017-05-27 2018-12-07 北京旷视科技有限公司 图像处理方法、装置和系统及存储介质
CN109034095A (zh) * 2018-08-10 2018-12-18 杭州登虹科技有限公司 一种人脸对齐检测方法、装置和存储介质
CN109359575A (zh) * 2018-09-30 2019-02-19 腾讯科技(深圳)有限公司 人脸检测方法、业务处理方法、装置、终端及介质
CN109558837A (zh) * 2018-11-28 2019-04-02 北京达佳互联信息技术有限公司 人脸关键点检测方法、装置及存储介质
CN109635752A (zh) * 2018-12-12 2019-04-16 腾讯科技(深圳)有限公司 人脸关键点的定位方法、人脸图像处理方法和相关装置
CN109993067A (zh) * 2019-03-07 2019-07-09 北京旷视科技有限公司 面部关键点提取方法、装置、计算机设备和存储介质
CN110059637A (zh) * 2019-04-22 2019-07-26 上海云从企业发展有限公司 一种人脸对齐的检测方法及装置
CN110263772A (zh) * 2019-07-30 2019-09-20 天津艾思科尔科技有限公司 一种基于人脸关键点的人脸特征识别系统
CN110399878A (zh) * 2019-06-14 2019-11-01 南京火眼锐视信息科技有限公司 表格版式恢复方法,计算机可读介质以及计算机
CN112699784A (zh) * 2020-12-29 2021-04-23 深圳市普渡科技有限公司 一种人脸朝向估计方法、装置、电子设备及存储介质
CN109558837B (zh) * 2018-11-28 2024-03-22 北京达佳互联信息技术有限公司 人脸关键点检测方法、装置及存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111046792A (zh) * 2019-12-11 2020-04-21 三一重工股份有限公司 人脸检测方法、装置、电子设备和计算机可读存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1945595A (zh) * 2006-10-30 2007-04-11 邹采荣 一种基于加权主动形状建模的人脸特征定位方法
CN101777116A (zh) * 2009-12-23 2010-07-14 中国科学院自动化研究所 一种基于动作跟踪的脸部表情分析方法
US20140015930A1 (en) * 2012-06-20 2014-01-16 Kuntal Sengupta Active presence detection with depth sensing

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1945595A (zh) * 2006-10-30 2007-04-11 邹采荣 一种基于加权主动形状建模的人脸特征定位方法
CN101777116A (zh) * 2009-12-23 2010-07-14 中国科学院自动化研究所 一种基于动作跟踪的脸部表情分析方法
US20140015930A1 (en) * 2012-06-20 2014-01-16 Kuntal Sengupta Active presence detection with depth sensing

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王巍: ""人脸面部特征定位与人脸识别方法的研究"", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2532537A (en) * 2014-11-21 2016-05-25 Adobe Systems Inc Aligning multi-view scans
GB2532537B (en) * 2014-11-21 2017-09-20 Adobe Systems Inc Aligning multi-view scans
US10706263B2 (en) 2015-05-20 2020-07-07 Tencent Technology (Shenzhen) Company Limited Evaluation method and evaluation device for facial key point positioning result
US10331940B2 (en) 2015-05-20 2019-06-25 Tencent Technology (Shenzhen) Company Limited Evaluation method and evaluation device for facial key point positioning result
CN104966046A (zh) * 2015-05-20 2015-10-07 腾讯科技(深圳)有限公司 一种人脸关键点位定位结果的评估方法,及评估装置
WO2016192477A1 (zh) * 2015-05-29 2016-12-08 腾讯科技(深圳)有限公司 人脸关键点定位方法和终端
US10068128B2 (en) 2015-05-29 2018-09-04 Tencent Technology (Shenzhen) Company Limited Face key point positioning method and terminal
CN105117692A (zh) * 2015-08-05 2015-12-02 福州瑞芯微电子股份有限公司 一种基于深度学习的实时人脸识别方法及系统
WO2017049677A1 (zh) * 2015-09-22 2017-03-30 成都通甲优博科技有限责任公司 一种面部关键点的标注方法
CN105354531A (zh) * 2015-09-22 2016-02-24 成都通甲优博科技有限责任公司 一种面部关键点的标注方法
CN105184283A (zh) * 2015-10-16 2015-12-23 天津中科智能识别产业技术研究院有限公司 一种人脸图片中关键点的标注方法及其标注系统
CN105184286A (zh) * 2015-10-20 2015-12-23 深圳市华尊科技股份有限公司 一种车辆检测方法及检测装置
CN107016319A (zh) * 2016-01-27 2017-08-04 北京三星通信技术研究有限公司 一种关键点定位方法和装置
CN107016319B (zh) * 2016-01-27 2021-03-05 北京三星通信技术研究有限公司 一种特征点定位方法和装置
CN107463865A (zh) * 2016-06-02 2017-12-12 北京陌上花科技有限公司 人脸检测模型训练方法、人脸检测方法及装置
CN107463865B (zh) * 2016-06-02 2020-11-13 北京陌上花科技有限公司 人脸检测模型训练方法、人脸检测方法及装置
CN106991388A (zh) * 2017-03-27 2017-07-28 中国科学院自动化研究所 关键点定位方法
CN106991388B (zh) * 2017-03-27 2020-04-21 中国科学院自动化研究所 关键点定位方法
CN108961149A (zh) * 2017-05-27 2018-12-07 北京旷视科技有限公司 图像处理方法、装置和系统及存储介质
CN107423689A (zh) * 2017-06-23 2017-12-01 中国科学技术大学 智能交互式人脸关键点标注方法
CN107423689B (zh) * 2017-06-23 2020-05-15 中国科学技术大学 智能交互式人脸关键点标注方法
CN107358223A (zh) * 2017-08-16 2017-11-17 上海荷福人工智能科技(集团)有限公司 一种基于yolo的人脸检测与人脸对齐方法
CN108875520A (zh) * 2017-12-20 2018-11-23 北京旷视科技有限公司 人脸形状点定位的方法、装置、系统及计算机存储介质
CN108446672B (zh) * 2018-04-20 2021-12-17 武汉大学 一种基于由粗到细脸部形状估计的人脸对齐方法
CN108446672A (zh) * 2018-04-20 2018-08-24 武汉大学 一种基于由粗到细脸部形状估计的人脸对齐方法
CN108960056A (zh) * 2018-05-30 2018-12-07 西南交通大学 一种基于姿态分析和支持向量数据描述的跌倒检测方法
CN109034095A (zh) * 2018-08-10 2018-12-18 杭州登虹科技有限公司 一种人脸对齐检测方法、装置和存储介质
CN109359575A (zh) * 2018-09-30 2019-02-19 腾讯科技(深圳)有限公司 人脸检测方法、业务处理方法、装置、终端及介质
CN109359575B (zh) * 2018-09-30 2022-05-10 腾讯科技(深圳)有限公司 人脸检测方法、业务处理方法、装置、终端及介质
US11256905B2 (en) 2018-09-30 2022-02-22 Tencent Technology (Shenzhen) Company Limited Face detection method and apparatus, service processing method, terminal device, and storage medium
CN109558837B (zh) * 2018-11-28 2024-03-22 北京达佳互联信息技术有限公司 人脸关键点检测方法、装置及存储介质
CN109558837A (zh) * 2018-11-28 2019-04-02 北京达佳互联信息技术有限公司 人脸关键点检测方法、装置及存储介质
CN109635752A (zh) * 2018-12-12 2019-04-16 腾讯科技(深圳)有限公司 人脸关键点的定位方法、人脸图像处理方法和相关装置
CN109993067A (zh) * 2019-03-07 2019-07-09 北京旷视科技有限公司 面部关键点提取方法、装置、计算机设备和存储介质
CN109993067B (zh) * 2019-03-07 2022-01-28 北京旷视科技有限公司 面部关键点提取方法、装置、计算机设备和存储介质
CN110059637A (zh) * 2019-04-22 2019-07-26 上海云从企业发展有限公司 一种人脸对齐的检测方法及装置
CN110399878B (zh) * 2019-06-14 2023-05-26 南京火眼锐视信息科技有限公司 表格版式恢复方法,计算机可读介质以及计算机
CN110399878A (zh) * 2019-06-14 2019-11-01 南京火眼锐视信息科技有限公司 表格版式恢复方法,计算机可读介质以及计算机
CN110263772A (zh) * 2019-07-30 2019-09-20 天津艾思科尔科技有限公司 一种基于人脸关键点的人脸特征识别系统
CN112699784A (zh) * 2020-12-29 2021-04-23 深圳市普渡科技有限公司 一种人脸朝向估计方法、装置、电子设备及存储介质
WO2022143264A1 (zh) * 2020-12-29 2022-07-07 深圳市普渡科技有限公司 人脸朝向估计方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN104598936B (zh) 2018-07-27

Similar Documents

Publication Publication Date Title
CN104598936A (zh) 人脸图像面部关键点的定位方法
CN104063722B (zh) 一种融合hog人体目标检测和svm分类器的安全帽识别方法
CN103400105B (zh) 一种姿态归一化的非正面人脸表情识别方法
CN105447441B (zh) 人脸认证方法和装置
CN105096307B (zh) 在成对的立体图像中检测物体的方法
CN108256394A (zh) 一种基于轮廓梯度的目标跟踪方法
EP3091479A1 (en) Fingerprint identification method and fingerprint identification device
CN106156684B (zh) 一种二维码识别方法及装置
CN107292869B (zh) 基于各向异性高斯核和梯度搜索的图像斑点检测方法
CN105023008A (zh) 基于视觉显著性及多特征的行人再识别方法
CN109118528A (zh) 基于区域分块的奇异值分解图像匹配算法
CN106355138A (zh) 基于深度学习和关键点特征提取的人脸识别方法
CN105335725A (zh) 一种基于特征融合的步态识别身份认证方法
CN106096551A (zh) 人脸部位识别的方法和装置
CN106682641A (zh) 基于fhog‑lbph特征的图像行人识别方法
CN108710909B (zh) 一种可变形旋转不变装箱物体清点方法
CN104636749A (zh) 目标对象检测方法及装置
CN103810491A (zh) 融合深度和灰度图像特征点的头姿估计兴趣点检测方法
CN111209823B (zh) 一种红外人脸对齐方法
CN107240112A (zh) 一种复杂场景下个体x角点提取方法
CN104408405A (zh) 人脸表示和相似度计算方法
CN107239777A (zh) 一种基于多视角图模型的餐具检测和识别方法
CN111914761A (zh) 一种热红外人脸识别的方法及系统
CN103390151A (zh) 人脸检测方法及装置
CN105320948A (zh) 一种基于图像的性别识别方法、装置及系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 100080, room 106, unit 5, Yi Sheng garden, No. 331 East Zhongguancun Road, Beijing, Haidian District

Applicant after: BEIJING CKLEADER SOFTWARE TECHNOLOGY Co.,Ltd.

Address before: 100080, room 1509, block F, Zhongguancun mansion, No. 16 Haidian street, Haidian District, Beijing

Applicant before: BEIJING CKLEADER SOFTWARE TECHNOLOGY Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20180727

CF01 Termination of patent right due to non-payment of annual fee