CN106682598B - 一种基于级联回归的多姿态的人脸特征点检测方法 - Google Patents

一种基于级联回归的多姿态的人脸特征点检测方法 Download PDF

Info

Publication number
CN106682598B
CN106682598B CN201611156174.2A CN201611156174A CN106682598B CN 106682598 B CN106682598 B CN 106682598B CN 201611156174 A CN201611156174 A CN 201611156174A CN 106682598 B CN106682598 B CN 106682598B
Authority
CN
China
Prior art keywords
face
feature point
training
orientation
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201611156174.2A
Other languages
English (en)
Other versions
CN106682598A (zh
Inventor
秦华标
廖才满
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN201611156174.2A priority Critical patent/CN106682598B/zh
Publication of CN106682598A publication Critical patent/CN106682598A/zh
Priority to PCT/CN2017/114145 priority patent/WO2018107979A1/zh
Priority to US16/469,647 priority patent/US10929649B2/en
Application granted granted Critical
Publication of CN106682598B publication Critical patent/CN106682598B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • G06V40/171Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • G06F18/232Non-hierarchical techniques
    • G06F18/2321Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/243Classification techniques relating to the number of classes
    • G06F18/24323Tree-organised classifiers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/46Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462Salient features, e.g. scale invariant feature transforms [SIFT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G06V10/763Non-hierarchical techniques, e.g. based on statistics of modelling distributions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06V10/7747Organisation of the process, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/165Detection; Localisation; Normalisation using facial parts and geometric relationships

Abstract

本发明公开了基于级联回归的多姿态的人脸特征点检测方法。该方法提取姿态索引特征并建立对应的最优弱回归器;根据不同的人脸姿态朝向,进行相应地初始化;采用人脸图像的SIFT特征,作为人脸朝向估计的输入特征;根据随机森林人脸朝向决策树,得到输入人脸图像的朝向;用该朝向下人脸训练样本的特征点均值作为该输入人脸图像特征点的初始值;提取人脸图像的姿态索引特征,输入到最优弱回归器中,得到分布残差以更新当前特征点分布,完成人脸特征点检测。该方法能实现稳定的人脸特征点检测效果,适用于人脸检测与识别、人机交互、表情识别、驾驶员疲劳检测系统、视线跟踪系统等多类智能系统。

Description

一种基于级联回归的多姿态的人脸特征点检测方法
技术领域
本发明属于图像处理和计算机视觉领域,具体是一种基于级联回归的多姿态人脸特征点检测方法。
背景技术
人脸图像中包含了丰富的信息,对人脸图像的研究与分析是计算机视觉领域的重要方向和研究热点。而人脸图像的特征点检测又是人脸图像分析与识别的关键前提,包括在人脸检测与识别、人机交互、表情识别、眼睛状态识别等应用领域。因此对人脸特征点检测算法的研究,能有效的提升多类系统的整体性能。
对人脸图像的研究有许多方向,涉及到多种不同的算法。这些方法可以粗略的分为两类,分别是基于生成模型的方法和基于判别模型的方法。前者经典的算法包括主动形状模型、主动外观模型等,主要通过对输入图像和训练好的形状或者纹理模型进行匹配以确定人脸特征点,首先确定一个目标形状模型的参数,然后用优化算法寻找与模型最匹配的特征点作为输出特征。该类方法运算量较大,模型的形状参数在每一步迭代中都需要大量的运算。近年来,以回归分析方法为代表的基于判别模型回归的方法,它不再建立形状模型,而是直接对图片进行特征提取后通过学习得到的回归方程将特征直接映射为最终需要的特征点坐标,并取得很好的效果。其中基于级联回归的人脸特征点检测算法,采用的是由粗到细逐层推进以形式,通过训练多个弱回归器得到相对应的形状增量,而后对这些弱回归器进行级联回归,逐步逼近真实的特征点。
基于级联回归的方法中,需要找到一种对头部姿势姿态变化不敏感的特征用作训练,同时对特征点的初始化结果都较为敏感。往往在实际应用中,找到一种适用于多姿态的姿态索引特征是比较困难的。同时,由于特征点对初始化结果的敏感性,因此在特征点的初始化的过程中,如果特征点初始化的位置与真实位置差异过大,会影响后续的特征点检测精度。特别是在头部姿势变化的情况下,常规的人脸特征点初始化方法并不能得到一个很好的初始位置。
因此,需要提出一种适用于多姿态人脸特征点检测以及初始化的算法,以增强人脸特征点检测算法的鲁棒性。
发明内容
本发明的目的是解决传统人脸特征点检测易受到头部姿势变化影响的问题。根据不同姿势的训练数据集分别训练得到对应的弱回归器,同时在新人脸图像输入系统后,先进行人脸朝向估计,根据朝向选择对应的样本特征点均值作为特征点初始化,最后将提取到的姿态索引特征输入到弱回归器中,得到人脸特征点。本发明通过如下技术方案实现。
基于级联回归的多姿态的人脸特征点检测方法,其包括如下步骤:
(1)提取姿态索引特征并建立对应的最优弱回归器:利用聚类算法对人脸特征点进行聚类,得到位置相邻的特征点类;然后根据这些特征点类,提取到对应姿态下的姿态索引特征;并将姿态索引特征输入到级联回归算法中,训练得到不同人脸姿态下对应的最优弱回归器;
(2)多姿态变化下的人脸特征点的初始化及检测:根据不同的人脸姿态朝向,进行相应地初始化;采用人脸图像的SIFT特征,作为人脸朝向估计的输入特征;根据随机森林人脸朝向决策树,得到输入人脸图像的朝向;用该朝向下人脸训练样本的特征点均值作为该输入人脸图像特征点的初始值;提取人脸图像的姿态索引特征,输入到最优弱回归器中,得到分布残差以更新当前特征点分布,完成人脸特征点检测。
进一步的,步骤(1)中,将姿态按人脸朝向分成不同的训练姿态子集;在各个姿态子集中,采用k-means聚类算法对人脸内部特征点中的同一类特征点进行聚类,不断地更新聚类中心的均值,直到平方误差的总和
Figure BDA0001180736210000021
收敛,其中C为聚类的簇,k为根据不同的姿态子集选择簇的个数,i是人脸特征点,mi是第i个簇的均值;最后将人脸内部特征点聚为:左眼、右眼、鼻子、嘴巴、下巴五类。
进一步的,步骤(1)中,不同姿态下的姿态索引特征提取过程包括:在正脸朝向的训练子集中,随机在左眼、右眼、鼻子、嘴巴、下巴这五大类中选出三类作为候选特征点集;而左侧脸与左脸朝向训练子集中,在右眼、鼻子、嘴巴、下巴这四大类中随机选出三类候选特征点集;同理,在右侧脸与右脸朝向训练子集中,随机在左眼、鼻子、嘴巴、下巴这四大类中选出三类作为候选特征点集;选定对应的特征点集后,求得由特征点集组成的人脸三角区域均值特征。
进一步的,人脸三角区域均值特征的获取步骤包括:
步骤a:局部三角区域模板集合的获取:在不同姿态的人脸训练子集中选出对应三类候选特征点集后,每一类中又随机选取该类内的一个特征点作为顶点,最后这三个顶点组成一个封闭的三角区域,这些区域组成N个局部区域模板集合L={Ln,n∈[1,N]};
步骤b:参考点的映射:将集合L中所有模板映射到样本中,随机选择一个参考点Q,通过记录参考点与局部区域中最近的顶点Q’的距离d来确定特征点距离,以完成参考点映射;
步骤c:局部三角区域均值特征的求解:在完成参考点映射后,对特征点进行计算,求每个封闭区域内M个参考点的均值
Figure BDA0001180736210000031
I(Qj)为图像中Qj点的像素值;集合L中N个局部区域均值两两作差,得到N2维的局部区域均值特征。
进一步的,步骤(2)中,在人脸朝向估计中,提取输入人脸图像的SIFT特征作为分类特征,输入到已经训练好的随机森林的决策树,即对每个类的概率进行累计,输出为所有树中预测概率总和最大的那一个类,得到不同的人脸朝向类别。
与现有技术相比,本发明具有如下优点和效果:本发明通过引入多姿态人脸特征点检测模型,只需要对人脸图像进行角度预分类并根据不同的姿态训练不同的弱回归器,针对不同姿态下提取不同的姿态索引特征,较好地解决多姿态下人脸特征点检测,提高人脸特征点检测的鲁棒性。
附图说明
图1a、图1b分别为训练阶段和测试阶段的流程图。
图2是多姿态人脸特征点示意图。
图3是正脸内部特征点示意图。
图4是正脸情况下姿态索引特征示意图。
具体实施方式
下面结合附图和实例对本发明的具体实施方式做进一步说明,但本发明的实施和保护不限于此。
本实例基于级联回归的多姿态的人脸特征点检测方法,该方法包括:根据不同头部姿势对训练样本进行划分成五个姿态子集;根据不同的姿势提取不同的姿态索引特征进行训练,训练得到不同姿态下对应的弱回归器;对新输入的测试人脸图像进行人脸朝向估计;根据朝向选择对应的样本特征点均值作为特征点初始化;提取新输入人脸图像的姿态索引特征,输入到弱回归器中,得到分布残差以更新当前特征点分布。
上述方法中,所述根据不同头部姿势对训练样本进行划分成五个姿态子集包括:按照人脸图像朝向的角度,从负90度到正90这个偏转范围,将训练样本集划分为:左脸(‐90°,‐67.5°)、左侧脸(‐67.5°,‐22.5°)、正脸(‐22.5°,22.5°)、右侧脸(22.5°,67.5°)、右脸(67.5°,90°)这5个子类。
所述根据不同的姿势提取不同的姿态索引特征进行训练,训练得到不同姿态下对应的弱回归器包括:将人脸特征点分成两大类,一类是人脸外部特征点,也就是人脸轮廓特征点,对姿势变化很敏感;一类是人脸内部特征点,由眼睛、鼻子、嘴巴、下巴特征点构成,相对于外部特征点,内部特征点相对比较稳定。在姿态索引特征提取过程中,在内部特征点中选取,在不同的姿态中提取不同的姿态索引特征,输入到随机蕨的弱回归器中,得到弱回归器。
所述对新输入的测试人脸图像进行人脸朝向估计包括:对新输入的人脸图像,随机森林算法框架作为人脸朝向的估计,提取人脸图像的SIFT特征作为随机森林算法的输入,得到当前新输入人脸图像的朝向类别,属于左脸、左侧脸、正脸、右侧脸、右脸这五类中的一类。
所述根据朝向选择对应的样本特征点均值作为特征点初始化包括:在方法(3)中得到输入人脸图像朝向后,对应采用该朝向下的训练样本子集人脸特征点均值作为其初始值。
所述提取新输入人脸图像的姿态索引特征,输入到弱回归器中,得到分布残差以更新当前特征点分布包括:根据输入人脸图像朝向后,不同朝向提取不同的姿态索引特征,输入到弱回归器中,得到分布残差以更新当前特征点分布,直到分布残差小于一定的阈值,逼近真实的人脸特征点分布。
所述的不同姿态提取不同的姿态索引特征包括:
步骤a:在各个姿态子集的内部特征点中,采用k-means聚类算法对人脸内部特征点中的同一类特征点进行聚类,不断地更新聚类中心的均值,直到平方误差的总和
Figure BDA0001180736210000041
收敛,其中C为聚类的簇,k为根据不同的姿态子集选择簇的个数,i是人脸特征点,mi是第i个簇的均值;最后将人脸内部特征点集为:左眼、右眼、鼻子、嘴巴、下巴五类。
步骤b:在正脸朝向的训练子集中,随机在左眼、右眼、鼻子、嘴巴、下巴这五大类中选出三类作为候选特征点集;而左侧脸与左脸朝向训练子集中,在右眼、鼻子、嘴巴、下巴这四大类中随机选出三类候选特征点集;同理,在右侧脸与右脸朝向训练子集中,随机在左眼、鼻子、嘴巴、下巴这四大类中选出三类作为候选特征点集;选定对应的特征点集后,求得由特征点集组成的人脸三角区域均值特征。
步骤c:在不同姿态的人脸训练子集中选出对应三类候选特征点集后,每一类中又随机选取该类内的一个特征点作为顶点,最后这三个顶点组成一个封闭的三角区域,这些区域组成N个局部区域模板集合L={Ln,n∈[1,N]};
步骤d:将集合L中所有模板映射到样本中,随机选择一个参考点Q,通过记录参考点与局部区域中最近的顶点Q’的距离d来确定特征点距离,以完成参考点映射;完成局部区域和参考点的映射后,求得每个区域的特征点均值后,两两作差,得到一个N2维的局部区域均值特征。
本实施方式中,所提出的基于级联回归的多姿态人脸特征点检测算法能克服头部偏转带来的特征点检测精度下降的问题。通过对人脸姿态进行分类再利用级联回归训练出对应姿态下的弱回归器,在检测过程中,根据不同的姿态进行对应的初始化,可以提高初始化的效果稳定性。算法的整体流程图如图1a、图1b所示。
本实施方式中,在训练阶段,将所有训练样本分为N个训练样本子集。在实施中根据正脸、左侧脸、右侧脸、左脸、右脸划分为五个训练子集。对于任意一个图像样本I,其n个人脸特征点(xn,yn)可以组成一个2n*1维列向量,则其形状向量就可以表示为S=(x1,y1,x2,y2,…xn,yn)T。而每经过一个弱回归器,就会叠加上一个增量以逐步向真实特征点靠拢,为Sk=Sk-1+rk(I,Sk-1),rk为第k个弱回归器,Sk-1为通过k-1层回归器得到的形状向量。在给定N个训练样本子集中,不同姿态下分别训练得到的弱回归器
Figure BDA0001180736210000051
本实施方法中,弱回归器rk采用分类随机蕨来获得,随机蕨是将训练样本分别归类到类别容器中的一棵完全二叉树。当一个由F个特征组组成的人脸训练样本进入到随机蕨,将得到2F个类别容器,每一类别容器的输出结果由所有落入该容器的训练样本的平均估计误差计算得到。
本实施方式中,不同姿态下提取不同的姿态索引特征,如图2所示,在正脸、左侧脸、右侧脸、左脸、右脸五种姿势下,人脸特征点有所变化。在左脸与左侧脸情况下,左脸出现一定程度上的遮挡,特征点变化不规律。在右脸与右侧脸情况下,同样右脸也出现一定程度上的遮挡。因此,在正脸情况与非正脸情况下,需要根据对应场景提取不同的姿态索引特征。正脸情况下,人脸特征点如图3所示。先采用k-means聚类方法对同一类的特征点进行聚类,将特征点分为:左眼、右眼、鼻子、嘴巴、下巴五类,在图3中不同类别以不同的颜色形状图标表示。在正脸情况下,随机从这五类中选出三类,在每一类中又随机选取一个特征点作为封闭三角区域的顶点,这些区域组成局部区域模板集合L={Ln,n∈[1,N]},如图4所示;而在左脸与左侧脸情况下,提出不稳定的左眼区域特征点,在右眼、鼻子、嘴巴、下巴四大类中随机选取出三类,其他步骤与正脸情况下一致。同样,在右脸与右侧脸情况下,剔除右眼特征点。在确定局部区域模板集合后,将集合L中所有模板映射到样本中。在模板映射过程中,随机选择一个参考点Q,通过记录参考点与局部区域中最近的顶点Q’的距离d来确定特征点距离,以完成参考点映射。在完成参考点映射后,对特征点进行计算,求每个封闭区域内M个参考点的均值
Figure BDA0001180736210000061
I(Qj)为图像中Qj点的像素值;集合L中N个局部区域均值两两作差,得到N2维的局部区域均值特征。
本实施方法中,对新输入的测试人脸图像进行人脸朝向估计,需要对输入图像进行SIFT特征提取,SIFT特征的算法特点是在图像的尺度空间中寻找极值点,需要通过极值点附近各个领域的梯度特性来描述极值点。首先通过对原始图像的降采样和高斯模糊,可以模拟图像在不同距离下的成像,以此达到尺度不变性。人脸图像I的尺度空间定义为:L(x,y,σ)=G(x,y,σ)*I(x,y),G(x,y,σ)是尺度可变高斯函数
Figure BDA0001180736210000062
Figure BDA0001180736210000063
(x,y)是空间坐标,σ是尺度坐标。σ大小决定图片的平滑程度,σ值越大,则代表大尺度,对应图像的概貌、低分辨率的状况,σ值越小,则代表小尺度,对应图像的细节特点也就是高分辨率状况。接着寻找关键点,通过寻找空间的局部极值点生成的,若一个像素点,它比同层图像周围的8个像素都大或小,而且比相邻两层图像对应的相邻9个点都大或小,那么这个点就是一个尺度空间局部极值点。最后计算关键点的方向,通过梯度直方图计算获得。将梯度直方图将0~360度的梯度平均分成36份,统计每种角度内的梯度幅值和,梯度直方图中值最大的方向即为该关键点的方向。将SIFT特征作为输入,输入到训练好的随机森林中,得到具体的人脸的朝向。
本实施方式中,在确定了具体的人脸的朝向后,分别对对应的正脸、左脸、左侧脸、右脸、右侧脸采取该方向下的样本特征点均值作为特征点初始化。在测试阶段的姿态索引特征的提取,方法同训练阶段,通过弱回归器级联得到输入图像的人脸特征点分布。

Claims (3)

1.一种基于级联回归的多姿态的人脸特征点检测方法,其特征在于包括如下步骤:
(1)提取姿态索引特征并建立对应的最优弱回归器:利用聚类算法对人脸特征点进行聚类,得到位置相邻的特征点类;然后根据这些特征点类,提取到对应姿态下的姿态索引特征;并将姿态索引特征输入到级联回归算法中,训练得到不同人脸姿态下对应的最优弱回归器;不同姿态下的姿态索引特征提取过程包括:在正脸朝向的训练子集中,随机在左眼、右眼、鼻子、嘴巴、下巴这五大类中选出三类作为候选特征点集;而左侧脸与左脸朝向训练子集中,在右眼、鼻子、嘴巴、下巴这四大类中随机选出三类候选特征点集;同理,在右侧脸与右脸朝向训练子集中,随机在左眼、鼻子、嘴巴、下巴这四大类中选出三类作为候选特征点集;选定对应的特征点集后,求得由特征点集组成的人脸三角区域均值特征;
所述人脸三角区域均值特征的获取步骤包括:
步骤a:局部三角区域模板集合的获取:在不同姿态的人脸训练子集中选出对应三类候选特征点集后,每一类中又随机选取该类内的一个特征点作为顶点,最后这三个顶点组成一个封闭的三角区域,这些区域组成N个局部区域模板集合L={Ln,n∈[1,N]};
步骤b:参考点的映射:将集合L中所有模板映射到样本中,随机选择一个参考点Q,通过记录参考点与局部区域中最近的顶点Q’的距离d来确定特征点距离,以完成参考点映射;
步骤c:局部三角区域均值特征的求解:在完成参考点映射后,对特征点进行计算,求每个封闭区域内M个参考点的均值
Figure FDA0002695865390000011
I(Qj)为图像中Qj点的像素值;集合L中N个局部区域均值两两作差,得到N2维的局部区域均值特征;
(2)多姿态变化下的人脸特征点的初始化及检测:根据不同的人脸姿态朝向,进行相应地初始化;采用人脸图像的SIFT特征,作为人脸朝向估计的输入特征;根据随机森林人脸朝向决策树,得到输入人脸图像的朝向;用该朝向下人脸训练样本的特征点均值作为该输入人脸图像特征点的初始值;提取人脸图像的姿态索引特征,输入到最优弱回归器中,得到分布残差以更新当前特征点分布,完成人脸特征点检测。
2.如权利要求1所述方法,其特征在于步骤(1)中,将姿态按人脸朝向分成不同的训练姿态子集;在各个姿态子集中,采用k-means聚类算法对人脸内部特征点中的同一类特征点进行聚类,不断地更新聚类中心的均值,直到平方误差的总和
Figure FDA0002695865390000021
Figure FDA0002695865390000022
收敛,其中C为聚类的簇,k为根据不同的姿态子集选择簇的个数,i是人脸特征点,mj是第j个簇的均值;最后将人脸内部特征点聚为:左眼、右眼、鼻子、嘴巴、下巴五类。
3.如权利要求1所述方法,其特征在于步骤(2)中,在人脸朝向估计中,提取输入人脸图像的SIFT特征作为分类特征,输入到已经训练好的随机森林的决策树,即对每个类的概率进行累计,输出为所有树中预测概率总和最大的那一个类,得到不同的人脸朝向类别。
CN201611156174.2A 2016-12-14 2016-12-14 一种基于级联回归的多姿态的人脸特征点检测方法 Active CN106682598B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201611156174.2A CN106682598B (zh) 2016-12-14 2016-12-14 一种基于级联回归的多姿态的人脸特征点检测方法
PCT/CN2017/114145 WO2018107979A1 (zh) 2016-12-14 2017-11-30 一种基于级联回归的多姿态的人脸特征点检测方法
US16/469,647 US10929649B2 (en) 2016-12-14 2017-11-30 Multi-pose face feature point detection method based on cascade regression

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611156174.2A CN106682598B (zh) 2016-12-14 2016-12-14 一种基于级联回归的多姿态的人脸特征点检测方法

Publications (2)

Publication Number Publication Date
CN106682598A CN106682598A (zh) 2017-05-17
CN106682598B true CN106682598B (zh) 2021-02-19

Family

ID=58868993

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611156174.2A Active CN106682598B (zh) 2016-12-14 2016-12-14 一种基于级联回归的多姿态的人脸特征点检测方法

Country Status (3)

Country Link
US (1) US10929649B2 (zh)
CN (1) CN106682598B (zh)
WO (1) WO2018107979A1 (zh)

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10528839B2 (en) * 2015-06-26 2020-01-07 Intel Coporation Combinatorial shape regression for face alignment in images
CN106682598B (zh) * 2016-12-14 2021-02-19 华南理工大学 一种基于级联回归的多姿态的人脸特征点检测方法
US11010630B2 (en) * 2017-04-27 2021-05-18 Washington University Systems and methods for detecting landmark pairs in images
CN107748858A (zh) * 2017-06-15 2018-03-02 华南理工大学 一种基于级联卷积神经网络的多姿态眼睛定位方法
CN107358172B (zh) * 2017-06-22 2022-05-24 华南理工大学 一种基于人脸朝向分类的人脸特征点初始化方法
CN109117689B (zh) 2017-06-22 2020-01-07 京东方科技集团股份有限公司 行人检测方法和装置
CN107644203B (zh) * 2017-09-12 2020-08-28 江南大学 一种形状自适应分类的特征点检测方法
CN107832692A (zh) * 2017-10-31 2018-03-23 浪潮金融信息技术有限公司 一种人脸图像处理方法和装置
CN108108713A (zh) * 2017-12-29 2018-06-01 浙江大华技术股份有限公司 一种确定特征点的方法和设备
CN109165624B (zh) * 2018-09-10 2021-09-24 湖北众锐智能技术股份有限公司 一种基于公有云的人脸识别分析方法
CN109272036B (zh) * 2018-09-14 2021-07-02 西南交通大学 一种基于深度残差网络的随机蕨目标跟踪方法
CN109446912B (zh) 2018-09-28 2021-04-09 北京市商汤科技开发有限公司 人脸图像的处理方法及装置、电子设备和存储介质
CN111046707A (zh) * 2018-10-15 2020-04-21 天津大学青岛海洋技术研究院 一种基于面部特征的任意姿态正脸还原网络
CN111104817A (zh) * 2018-10-25 2020-05-05 中车株洲电力机车研究所有限公司 一种基于深度学习的疲劳检测方法
CN109376684B (zh) 2018-11-13 2021-04-06 广州市百果园信息技术有限公司 一种人脸关键点检测方法、装置、计算机设备和存储介质
CN109934129B (zh) * 2019-02-27 2023-05-30 嘉兴学院 一种人脸特征点定位方法、装置、计算机设备及存储介质
CN109919131A (zh) * 2019-03-22 2019-06-21 杭州电子科技大学 一种基于图像处理技术的疲劳检测方法
CN110458002B (zh) * 2019-06-28 2023-06-23 天津大学 一种轻量级快速人脸识别方法
CN110321843B (zh) * 2019-07-04 2021-11-09 杭州视洞科技有限公司 一种基于深度学习的人脸择优方法
CN110263774B (zh) * 2019-08-19 2019-11-22 珠海亿智电子科技有限公司 一种人脸检测方法
CN110555422B (zh) * 2019-09-09 2022-09-30 郑州天迈科技股份有限公司 驾驶行为检测算法优化方法
CN110738110A (zh) * 2019-09-11 2020-01-31 北京迈格威科技有限公司 基于锚点的人脸关键点检测方法、装置、系统和存储介质
US20210085258A1 (en) * 2019-09-25 2021-03-25 PathPartner Technology Private Limited System and method to predict a state of drowsiness in a subject
CN111626152B (zh) * 2020-05-13 2023-05-30 闽江学院 一种基于Few-shot的时空视线方向估计原型设计方法
CN111626158B (zh) * 2020-05-14 2023-04-07 闽江学院 一种基于自适应下降回归的面部标记点跟踪原型设计方法
CN111881744A (zh) * 2020-06-23 2020-11-03 安徽清新互联信息科技有限公司 一种基于空间位置信息的人脸特征点定位方法及系统
CN111797793A (zh) * 2020-07-10 2020-10-20 重庆三峡学院 一种基于人脸识别技术的校园身份智能管理系统
CN111860454B (zh) * 2020-08-04 2024-02-09 北京深醒科技有限公司 一种基于人脸识别的模型切换算法
CN112115845B (zh) * 2020-09-15 2023-12-29 中山大学 一种用于人脸关键点检测的主动形状模型参数化方法
EP4200179A1 (en) * 2020-10-29 2023-06-28 Waymo LLC Holistic wayfinding
CN112329598A (zh) * 2020-11-02 2021-02-05 杭州格像科技有限公司 人脸关键点定位的方法、系统、电子装置和存储介质
CN112270308B (zh) * 2020-11-20 2021-07-16 江南大学 一种基于双层级联回归模型的人脸特征点定位方法
CN112381047B (zh) * 2020-11-30 2023-08-22 华南理工大学 一种人脸表情图像的增强识别方法
CN112580458B (zh) * 2020-12-10 2023-06-20 中国地质大学(武汉) 人脸表情识别方法、装置、设备及存储介质
CN113076884B (zh) * 2021-04-08 2023-03-24 华南理工大学 一种从近红外光到可见光的跨模态眼睛状态识别方法
CN112801066B (zh) * 2021-04-12 2022-05-17 北京圣点云信息技术有限公司 一种基于多姿态面部静脉的身份识别方法及装置
CN113221681B (zh) * 2021-04-26 2023-09-26 平安科技(深圳)有限公司 模型训练方法、动作姿态生成方法、装置、设备及介质
CN112907306B (zh) * 2021-05-06 2022-04-08 北京惠朗时代科技有限公司 一种客户满意度判别方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104615996A (zh) * 2015-02-15 2015-05-13 四川川大智胜软件股份有限公司 一种多视角二维人脸特征点自动定位方法
CN104732247A (zh) * 2015-03-09 2015-06-24 北京工业大学 一种人脸特征定位方法
CN105631436A (zh) * 2016-01-27 2016-06-01 桂林电子科技大学 基于随机森林的级联位置回归用于人脸对齐的方法
CN105678241A (zh) * 2015-12-30 2016-06-15 四川川大智胜软件股份有限公司 一种级联的二维图像人脸姿态估计方法
CN105787448A (zh) * 2016-02-28 2016-07-20 南京信息工程大学 基于时空级联形状回归的人脸形状跟踪方法
CN105956581A (zh) * 2016-06-08 2016-09-21 华南理工大学 一种快速的人脸特征点初始化方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103443804B (zh) * 2011-03-31 2019-02-19 英特尔公司 面部标志检测方法
US9208567B2 (en) * 2013-06-04 2015-12-08 Apple Inc. Object landmark detection in images
US9361510B2 (en) * 2013-12-13 2016-06-07 Intel Corporation Efficient facial landmark tracking using online shape regression method
KR102077260B1 (ko) * 2014-08-08 2020-02-13 삼성전자주식회사 확룔 모델에 기반한 신뢰도를 이용하여 얼굴을 인식하는 방법 및 장치
KR101997500B1 (ko) * 2014-11-25 2019-07-08 삼성전자주식회사 개인화된 3d 얼굴 모델 생성 방법 및 장치
US10528839B2 (en) * 2015-06-26 2020-01-07 Intel Coporation Combinatorial shape regression for face alignment in images
CN105069430B (zh) * 2015-08-05 2016-09-14 杭州南江机器人股份有限公司 一种基于msnrd特征的多姿态人脸检测器的设计方法
US9633250B2 (en) * 2015-09-21 2017-04-25 Mitsubishi Electric Research Laboratories, Inc. Method for estimating locations of facial landmarks in an image of a face using globally aligned regression
CN106874826A (zh) * 2015-12-11 2017-06-20 腾讯科技(深圳)有限公司 人脸关键点跟踪方法和装置
US11741639B2 (en) * 2016-03-02 2023-08-29 Holition Limited Locating and augmenting object features in images
CN106682598B (zh) * 2016-12-14 2021-02-19 华南理工大学 一种基于级联回归的多姿态的人脸特征点检测方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104615996A (zh) * 2015-02-15 2015-05-13 四川川大智胜软件股份有限公司 一种多视角二维人脸特征点自动定位方法
CN104732247A (zh) * 2015-03-09 2015-06-24 北京工业大学 一种人脸特征定位方法
CN105678241A (zh) * 2015-12-30 2016-06-15 四川川大智胜软件股份有限公司 一种级联的二维图像人脸姿态估计方法
CN105631436A (zh) * 2016-01-27 2016-06-01 桂林电子科技大学 基于随机森林的级联位置回归用于人脸对齐的方法
CN105787448A (zh) * 2016-02-28 2016-07-20 南京信息工程大学 基于时空级联形状回归的人脸形状跟踪方法
CN105956581A (zh) * 2016-06-08 2016-09-21 华南理工大学 一种快速的人脸特征点初始化方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
A Robust Facial Landmark Detection Method in Multi-views;Xinran Liu等;《2015 Visual Communications and Image Processing》;20160425;第1页左栏第1行-第4页右栏第9行 *

Also Published As

Publication number Publication date
US10929649B2 (en) 2021-02-23
US20190318158A1 (en) 2019-10-17
CN106682598A (zh) 2017-05-17
WO2018107979A1 (zh) 2018-06-21

Similar Documents

Publication Publication Date Title
CN106682598B (zh) 一种基于级联回归的多姿态的人脸特征点检测方法
Wang et al. Appearance-based gaze estimation using deep features and random forest regression
KR101588254B1 (ko) 3차원 근거리 상호작용
CN108268838B (zh) 人脸表情识别方法及人脸表情识别系统
CN102799901B (zh) 一种多角度人脸检测方法
CN108182397B (zh) 一种多姿态多尺度的人脸验证方法
Cong et al. Speedup 3-D texture-less object recognition against self-occlusion for intelligent manufacturing
CN108171133B (zh) 一种基于特征协方差矩阵的动态手势识别方法
CN103927511A (zh) 基于差异特征描述的图像识别方法
CN111444764A (zh) 一种基于深度残差网络的手势识别方法
CN106845375A (zh) 一种基于层级化特征学习的动作识别方法
CN111444488A (zh) 一种基于动态手势的身份认证方法
CN111158457A (zh) 一种基于手势识别的车载hud人机交互系统
CN106611158A (zh) 人体3d特征信息的获取方法及设备
Chan et al. A 3-D-point-cloud system for human-pose estimation
CN112381047A (zh) 一种人脸表情图像的增强识别方法
Xu et al. Robust hand gesture recognition based on RGB-D Data for natural human–computer interaction
Wang et al. A new hand gesture recognition algorithm based on joint color-depth superpixel earth mover's distance
Antonio et al. Pedestrians' Detection Methods in Video Images: A Literature Review
CN105955473A (zh) 一种基于计算机的静态手势图像识别交互系统
CN114663835A (zh) 一种行人跟踪方法、系统、设备及存储介质
Zhang et al. Object detection based on deep learning and b-spline level set in color images
Guo et al. A hybrid framework based on warped hierarchical tree for pose estimation of texture-less objects
Elsayed et al. Hybrid method based on multi-feature descriptor for static sign language recognition
Farouk Principal component pyramids using image blurring for nonlinearity reduction in hand shape recognition

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant