CN104715227A - 人脸关键点的定位方法和装置 - Google Patents
人脸关键点的定位方法和装置 Download PDFInfo
- Publication number
- CN104715227A CN104715227A CN201310684862.6A CN201310684862A CN104715227A CN 104715227 A CN104715227 A CN 104715227A CN 201310684862 A CN201310684862 A CN 201310684862A CN 104715227 A CN104715227 A CN 104715227A
- Authority
- CN
- China
- Prior art keywords
- positioning
- positioning result
- optimal
- face
- models
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 238000012549 training Methods 0.000 claims abstract description 85
- 238000013210 evaluation model Methods 0.000 claims abstract description 35
- 238000011156 evaluation Methods 0.000 claims abstract description 21
- 230000004807 localization Effects 0.000 claims description 17
- 238000010586 diagram Methods 0.000 description 11
- 239000013598 vector Substances 0.000 description 8
- 230000036544 posture Effects 0.000 description 7
- 239000011159 matrix material Substances 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000005286 illumination Methods 0.000 description 4
- 230000014509 gene expression Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/28—Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/757—Matching configurations of points or features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/772—Determining representative reference patterns, e.g. averaging or distorting patterns; Generating dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Human Computer Interaction (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
Abstract
提供了一种人脸关键点的定位方法和装置。定位方法包括:使用基于多个类型的训练集训练得到的多个人脸定位模型对输入图像中的人脸进行定位,以得到与各个人脸定位模型对应的多个定位结果;使用训练的评价模型对所述多个定位结果进行评价以选出最优的定位结果,其中,定位结果包括人脸图像的多个关键点位置,评价模型由针对所述多个关键点位置训练的分类器组成。
Description
技术领域
本发明涉及人脸识别技术领域,更具体地,涉及一种通过采用多个人脸定位模型来对人脸关键点进行定位的方法和装置。
背景技术
人脸关键点定位技术的目的是在输入的人脸图片上,以人脸检测给出的初始位置为基础,获取一系列关键点(眼角、嘴角、鼻尖等)的几何位置。该技术在人脸识别、照片美化、人脸动画等相关应用中起到核心作用,直接影响其效果。人脸受到姿态、表情、光照、性别、年龄、种族等因素影响,其外观变化多样,使得定位的稳定性受到严重影响。
现有技术主要使用三类方法来解决人脸关键点定位中的多样性问题:
1)三维方法:创建一个三维模型用于定位。由于三维信息不受姿态和光照影响,这可以提高了在不同姿态光照下的稳定性。
2)局部方法:使用关键点附近的小区域为特征,逐个定位每个关键点。小区域在上述因素影响下变化较小,能在一定范围内提高定位的稳定性。
3)分姿态方法:首先判断姿态,而后施用不同定位模型进行定位。针对一种姿态的定位模型稳定性较高。
然而,以上的人脸关键点定位技术也存在一定的不足。具体地,三维方法需要额外的硬件(例如,需要两个照相机来产生三维图像)或人工输入来获取用户的三维模型,这造成硬件成本的增加。
局部方法缺乏全局约束,因此当人脸检测给出的初始关键点位置偏差较大时,容易出现错误。即使在局部方法中添加一个全局约束,该全局约束同样受到人脸多样性的影响。
分姿态方法不能处理除姿态之外的变化因素,如果对所有可能的变化因素逐个分别处理,则需要的定位模型数量过多,使得系统所占空间过大,执行定位时速度降低。
因此,需要一种新型的人脸关键点定位方法和系统,能够在不增加硬件成本的情况下,充分考虑人脸多样性,实现对人脸关键点的快速、自适应性定位。
发明内容
本发明使用多个定位模型对人脸图片进行关键点定位,然后利用一个评价模型选出最优的定位结果。此外,根据最优的定位结果,本发明还可以对已有的定位模型进行更新,或者增添新的定位模型,同时可以对评价模型进行更新,从而实现自适应的人脸关键点定位。
另外,本发明利用不同模型定位不同类型人脸上的关键点,提高了定位的稳定性。定位模型可针对用户输入进行调整,有效控制系统规模,节省执行时间。
本发明的一方面提供一种用于人脸关键点位置的定位方法,包括:使用基于多个类型的训练集训练得到的多个人脸定位模型对输入图像中的人脸进行定位,以得到与各个人脸定位模型对应的多个定位结果;使用训练的评价模型对所述多个定位结果进行评价以选出最优的定位结果,其中,定位结果包括人脸图像的多个关键点位置,评价模型由针对所述多个关键点位置训练的分类器组成。
根据本发明的一方面,所述多个人脸定位模型分别与所述多个训练集的类型一一对应。
根据本发明的一方面,所述定位方法还包括:确定所述最优的定位结果的评价是否超过预定阈值;如果确定所述最优的定位结果的评价超过预定阈值,则基于最优的定位结果更新评价模型。
根据本发明的一方面,基于最优的定位结果更新评价模型的步骤包括:基于所述最优的定位结果的关键点位置在输入图像中生成预定数量的正样本图像块和负样本图像块,然后使用生成的正样本图像块和负样本图像块来更新评价模型。
根据本发明的一方面,所述定位方法还包括:确定所述最优的定位结果的类型是否属于所述多个定位模型之一;如果确定所述最优的定位结果的类型属于所述多个定位模型之一,则将与所述最优的定位结果对应的输入图像加入对应的训练集,以重新训练与该训练集对应的定位模型;如果确定所述最优的定位结果的类型不属于所述多个定位模型之一,则将与所述最优的定位结果对应的输入图像作为样本来创建与所述最优的定位结果的类型对应的新的训练集。
根据本发明的一方面,所述定位方法还包括:如果所述新的训练集中的样本数量超过预定值,则基于所述新的训练集训练新的定位模型,从而增加定位模型的数量。
根据本发明的另一方面,提供了一种用于人脸关键点定位的装置,包括:关键点定位单元,使用基于多个类型的训练集训练得到的多个人脸定位模型对输入图像中的人脸进行定位,以得到与各个人脸定位模型对应的多个定位结果;评价单元,使用基于训练集训练的评价模型对所述多个定位结果进行评价以选出最优的定位结果,其中,定位结果包括人脸图像的多个关键点位置,评价模型由针对所述多个关键点位置训练的分类器组成。
根据本发明的另一方面,所述多个人脸定位模型分别与所述多个训练集的类型一一对应。
根据本发明的另一方面,所述装置还包括:更新单元,确定所述最优的定位结果的评价是否超过预定阈值,如果确定所述最优的定位结果的评价超过预定阈值,则基于最优的定位结果更新评价模型和/或定位模型。
根据本发明的另一方面,更新单元基于所述最优的定位结果的关键点位置在输入图像中生成预定数量的正样本图像块和负样本图像块,然后使用生成的正样本图像块和负样本图像块来训练更新评价模型。
根据本发明的另一方面,更新单元确定所述最优的定位结果的类型是否属于所述多个定位模型之一,如果确定所述最优的定位结果的类型属于所述多个定位模型之一,则将与所述最优的定位结果对应的输入图像加入对应的训练集,以重新训练与该训练集对应的定位模型;如果更新单元确定所述最优的定位结果的类型不属于所述多个定位模型之一,则将与所述最优的定位结果对应的输入图像作为样本来创建与所述最优的定位结果的类型对应的新的训练集。
根据本发明的另一方面,如果更新单元确定所述新的训练集中的样本数量超过预定值,则基于所述新的训练集训练新的定位模型,从而增加定位模型的数量。
附图说明
通过下面结合附图进行的描述,本发明的上述和其他目的和特点将会变得更加清楚,其中:
图1是示出根据本发明实施例的人脸关键点定位方法的流程图;
图2是示出根据本发明实施例的人脸关键点定位方法中使用的训练集的分类的示意图;
图3示出根据本发明实施例的人脸关键点定位方法所使用的平均关键点位置和定位结果的示意图;
图4是示出根据本发明实施例的人脸关键点定位方法所使用的分类器的正样本图像块和负样本图像块的示意图;
图5是示出根据本发明实施例的人脸关键点定位装置的框图;
图6是示出根据本发明另一实施例的人脸关键点定位装置的框图。
图7示出使用现有技术的人脸关键点定位方法和根据本发明实施例的人脸关键点定位方法在相同时间内对人脸关键点进行检测的结果。
具体实施方式
下面提供参照附图进行的描述以有助于全面理解如权利要求及其等同物所限定的本发明的示例性实施例。在所述描述中,除非明确指明,否则相同的变量具有相同的定义。所述描述包括各种详细的细节以有助于理解,而这些描述将被认为仅为示例性的。因此,本领域的普通技术人员将意识到在不脱离本发明的范围和精神的情况下可做出在此描述的各种改变和变型。另外,为了清晰和简洁,可省略对公知功能和构造的描述。
图1是示出根据本发明实施例的人脸关键点定位方法的流程图。
首先,在步骤S101,使用训练的多个定位模型在输入的人脸图像上得到多个定位结果。每一个定位结果都包括多个人脸关键点位置。例如,人脸关键点的位置可包括眼角、眉毛的末端、嘴角、鼻尖的位置。
这里,假设采用了K(K≥1)个定位模型A1~Ak。这K个定位模型的集合被表示为A。将输入的人脸图像与K个定位模型对齐,用(x,y)表示像素在图像上的位置,从而得到的K个定位结果,分别表示为s1,s2,…,sK,每个定位结果s中具有L个人脸关键点位置,因此,s可表示为:
s={x1,y1,x2,y2,…,xL,yL};
根据本发明,可通过在训练集C(C1~CK)上训练得到定位模型A。每一个训练集Ck是具有大量人脸图片样本的集合,训练集Ck中的每一张人脸图片样本Ii上人工标定了L个关键点位置,
即,si={xi1,yi1,xi2,yi2,…,xiL,yiL,};
这里,训练集C1~CK中的人脸图片样本可根据姿态、表情、年龄、人种、身份等因素被分类为不同类型。这样,可以根据不同的类型来训练得到定位模型A。如图2所示,一般类型的下面可以划分出戴滑雪眼镜的类型、黑人类型、亚洲女性类型,而黑人类型下可进一步划分出身份为“Kobe”这一特定的类型。这样,根据本发明的定位模型可根据不同类型的训练集中的人脸图像来训练得到包括多个定位模型A1~AK。
在训练定位模型A时,首先统计训练集C中全部样本关键点位置的平均值s0,称为平均关键点位置。|C|表示训练集C中样本的数量,则可通过以下的公式来得到平均关键点位置s0:
对于训练集C中每一张人脸图片样本Ii,将平均关键点位置s0放置在图像中间,然后提取平均关键点位置s0的各个关键点位置的尺度不变特征变换(SIFT)特征,将提取的SIFT特征拼接成特征向量fi。这样,可以根据训练集C中的全部样本图片建立一个回归模型,使得
fi·A=si-s0
在以上等式中的A即表示从训练集C中训练得到的定位模型。
接下来,对于一张输入的待定位的人脸图像,首先将平均关键点位置s0放置在该输入图像的中间,然后提取s0各个关键点位置的SIFT特征拼接得到特征向量f。这样,可通过以下等式得到包括K个定位结果的定位结果集合s:
s=s0+f·A
通过以上方式,即可从训练的多个定位模型得到关于输入图像的关键点位置的多个定位结果。
图3示出了根据本发明实施例的人脸关键点定位方法所使用的平均关键点位置和定位结果的示意图。如图3所示,左边的图表示的是训练集C的全部样本图片的关键点位置的平均值s0。其中的叉号表示各个关键点。图3的右边的图示出的是定位结果。在定位结果中,关键点的位置与图片中人脸关键点的实际位置重合。
接下来,在步骤S103,对得到的多个定位结果进行评价,以从中选择出最优的定位结果。在本发明中,可使用训练的针对关键点的分类器来对多个定位结果进行评价,从而得到最优的定位结果。
具体地,如上所述,训练集C中的人脸图片样本Ii上通过人工标定了L个关键点的位置si={xi1,yi1,xi2,yi2,…,xiL,yiL,}。可针对每一个关键点训练一个Boost分类器,从而可得到L个分类器h1,h2,…hL。这L个分类器可形成评价模型E。
在训练分类器时,可使用训练集C的人脸图像中距离关键点位置较近的图像块(例如,图像块的中心位置与关键点位置的距离在第一预定距离以内)作为正样本,并使用距离关键点位置较远(例如,图像块的中心位置与关键点位置的距离超过第二预定距离)的图像块作为负样本来训练关键点分类器。
图4是示出根据本发明实施例的人脸关键点定位方法所使用的分类器的正样本和负样本的示意图。如图4所示,针对左眼的左眼角的关键点的分类器,图4中左边的图中由方框所表示的图像块可用作训练分类器的正样本,而图4中右边的图中的方框所表示的图像块可用作训练分类器的负样本。具体地,每一个关键点分类器hj可包括一系列选择器hsel。例如,每个选择器hsel可选择一弱Haar分类器hw来评价输入的图像块。这样每个关键点的分类器的输出为所有的选择器的加权和:
这里,αn表示加权值,x表示图像块。利用训练集C中的正样本图像块和负样本图像块来训练分类器,从而得到可用于对关键点位置评分的分类器。在对步骤S101得到的关键点定位结果si进行评价时,将以各个关键点位置(xj,yj)为中心的预定大小的图像块分别输入到对应的关键点分类器hj,从而得到一个评分hj(xj,yj)。由此可得到全部关键点分类器针对此关键点定位结果的sj评分,然后得到该定位结果的平均评分:
这样,可以得到K个定位结果s1,s2,…,sK中的每个定位结果的评分,并从中选择最优的定位结果s*,即,评分最高的定位结果,作为最终的人脸关键点位置的定位结果。
应理解,以上只是对定位结果进行评分的一种示例。可采用任何其它的现有的评分技术来对定位模型得到的定位结果进行评分。
根据本发明的优选实施例,在得到最优的定位结果之后,还可包括更新评价模型和定位模型的步骤。
继续参照图1,如果在步骤S105确定在步骤S103得到的最优定位结果s*的评分超过预定阈值T,则在步骤S107,利用该定位结果更新评价模型和/或定位模型。
具体地,在更新评价模型时,可将与定位结果s*对应的输入图像加入到训练集C中,利用定位结果s*的L个关键点位置生成预定数量的正样本图像块和负样本图像块,然后利用生成的正样本图像块和负样本图像块来训练L个关键点的分类器h1,h2,…hL,从而可更新评价模型E。例如,根据本发明的实施例,可使用在线AdaBoost方法来训练关键点分类器h1,h2,…hL。
另外,在更新定位模型时,当在步骤S105确定存在评分超过预定阈值的新的定位结果s*时,确定与定位结果s*对应的定位模型的类型。具体地,可基于与定位结果s*对应的SIFT特征向量f,利用在线K均值方法查找s*所属的类型。如果确定s*属于当前已有的K个定位模型中的某一类Ak,则将其加入与Ak对应的训练集Ck,并基于前面所述的训练定位模型的方法重新训练定位模型Ak,从而更新定位模型Ak。
如果确定s*不属于当前已有的K类的定位模型中的某一类,则新建一个对应的训练集CK+1。当新增训练集CK+1中的样本数量超过一门限时,使用其训练新的定位模型AK+1。这样,可从原有的K个定位模型增加到K+1个定位模型,在增加定位模型之后,定位结果从原来的K个增加为K+1个
具体地,在训练集C中新增样本s*后,可根据以下的方式来更新相应的定位模型A。
以下,用F来表示为训练集C中的样本图片的全部样本特征向量f组成的矩阵,F的第i行表示第i个样本的特征向量;用S表示训练集C中全部样本的人工标定的关键点位置组成的矩阵,S的第i行表示第i个样本的关键点位置;用S0表示训练集C中全部样本的平均关键点位置组成的矩阵,S0的第i行表示第i个样本的平均关键点位置。则在更新之前的原有定位模型A满足以下等式:
F·A=S-S0
这样,可以通过最小二乘方式求解A:
A=(FTF)-1·F·(S-S0)
其中协方差矩阵:
Covxx=FTF,Covxy=F(S-S0)
Covxx和Covxy的第m行第n列的元素可以表示为:
其中fim表示训练集C中第i样本的特征向量的第m维的值;sin表示训练集C中第i样本的人工标定的关键点位置的第n维的值;表示训练集C中第i个样本的平均关键点位置的第n维的值。
当新增样本s*时,可如以下的等式所示更新协方差矩阵的元素:
其中,表示新增样本的特征向量的第m维的值;表示新增样本的人工标定的关键点的第n维的值;表示新增样本的平均关键点位置的第n维的值。
下面将参照图5来说明根据本发明实施例的人脸关键点定位装置500。
如图5所示,人脸关键点定位装置500包括关键点定位单元510和评价单元520。
关键点定位单元510使用基于多个类型的训练集训练得到的多个人脸定位模型对输入图像中的人脸进行定位,以得到与各个人脸定位模型对应的多个定位结果。多个人脸定位模型中的每一个分别与训练集中的不同类型的训练集对应。具体地,训练人脸定位模型的方式已经参照上述的说明进行了描述,因此将不再重复。
评价单元520使用训练的评价模型对关键点定位单元510得到的所述多个定位结果进行评价以选出最优的定位结果。具体地,评价单元520使用的评价模型由针对人脸图像中的多个关键点训练的分类器组成,每个关键点的分类器可对关键点定位结果中的对应的关键点位置进行评分。在训练分类器时,可使用训练集的人脸图像中距离关键点位置较近的图像块(例如,图像块的中心位置与关键点位置的距离在第一预定距离以内)作为正样本,并使用距离关键点位置较远(例如,图像块的中心位置与关键点位置的距离超过第二预定距离)的图像块作为负样本来训练关键点分类器。
图6是示出根据本发明第二实施例的人脸关键点定位装置600的示意图。如图6所示,人脸关键点定位装置600可包括:关键点定位单元610、评价单元620和更新单元630。
关键点定位单元610和评价单元620执行的操作与图5的关键点定位单元510和评价单元520的操作相同,因此将不再重复。
更新单元630可基于评价单元620得到的最优的定位结果来更新评价单元620所使用的评价模型。
具体地,如果更新单元630确定评价单元620得到的最优的定位结果的评分超过预定阈值,则基于该最优的定位结果来更新评价模型。具体地,在更新评价模型时,更新单元630可将与最优的定位结果对应的输入图像加入到训练集中,根据该最优的定位结果的多个关键点位置生成预定数量的正样本图像块和负样本图像块,然后利用生成的正样本图像块和负样本图像块来训练评价模型中的分类器,从而更新评价模型。
更新单元630还可基于评价单元620得到的最优的定位结果来更新关键点定位单元610所使用的定位模型。
具体地,当评价单元620确定存在评分超过预定阈值的新的定位结果s*时,更新单元630确定与定位结果s*对应的定位模型。更新单元630可基于SIFT特征向量f,利用在线K均值方法查找s*所属的类型。如果确定s*属于当前已有的K个定位模型中的某一个Ak,则将其加入与该定位模型Ak对应的训练集Ck,并基于前面所述的训练定位模型的方法更新定位模型Ak。
如果确定s*不属于当前已有的K类的定位模型中的某一类,则更新单元630新建一个对应的训练集CK+1。当新增的训练集CK+1中的样本数量超过预定值时,更新单元630使用该新的训练集来训练新的定位模型AK+1。上面已经具体地示出了使用新的定位结果更新定位模型A的方式,因此,在这里将不再详细描述。
应理解,本发明的关键点定位装置的各个单元可以进一步划分为更多的单元或者合并为更少的单元。
本发明的人脸关键点定位方法使用多个定位模型,能够在姿态、表情、光照等因素影响下获得稳定的定位结果。此外,本发明还能够从多个定位结果中选择出最优定位结果,同时输出一个描述定位可信度的评分,该评分在后续环节(例如人脸认证)中可以被有效利用。本发明的定位模型和评价模型都可以根据输入在线更新,使得各个模型最大程度适应用户使用习惯,在保证效果的同时节省计算时间和存储空间。
图7中显示了三组使用现有技术的人脸关键点定位方法和本发明实施例的人脸关键点定位方法在相同时间内对人脸关键点进行检测的结果。其中,每组左侧的两幅图都是使用现有技术完成的定位结果,右侧的两幅图是使用本发明方法完成的定位结果。通过图7的结果可以确定,在相同的操作时间内,本发明的方法能够更准确地完成人脸关键点定位。因此,本发明的人脸关键点定位方法和装置更为稳定和高效。
根据本发明的方法可被记录在包括执行由计算机实现的各种操作的程序指令的计算机可读介质中。介质也可以只包括程序指令或者包括与程序指令相结合的数据文件、数据结构等。计算机可读介质的例子包括磁介质(例如硬盘、软盘和磁带);光学介质(例如CD-ROM和DVD);磁光介质(例如,光盘);以及特别配制用于存储并执行程序指令的硬件装置(例如,只读存储器(ROM)、随机存取存储器(RAM)、闪存等)。介质也可以是包括传输规定程序指令、数据结构等的信号的载波的传输介质(例如光学线或金属线、波导等)。程序指令的例子包括例如由编译器产生的机器码和包含可使用解释器由计算机执行的高级代码的文件。
尽管已经参照本发明的示例性实施例具体显示和描述了本发明,但是本领域的技术人员应该理解,在不脱离由权利要求限定的本发明的精神和范围的情况下,可以对其进行形式和细节上的各种改变。
Claims (12)
1.一种用于人脸关键点位置的定位方法,包括:
使用基于多个类型的训练集训练得到的多个人脸定位模型对输入图像中的人脸进行定位,以得到与各个人脸定位模型对应的多个定位结果;
使用训练的评价模型对所述多个定位结果进行评价以选出最优的定位结果,
其中,定位结果包括人脸图像的多个关键点位置,评价模型由针对所述多个关键点位置训练的分类器组成。
2.如权利要求1所述的定位方法,其中,所述多个人脸定位模型分别与所述多个训练集的类型一一对应。
3.如权利要求1所述的定位方法,还包括:
确定所述最优的定位结果的评价是否超过预定阈值;
如果确定所述最优的定位结果的评价超过预定阈值,则基于最优的定位结果更新评价模型和/或定位模型。
4.如权利要求3所述的定位方法,其中,基于最优的定位结果更新评价模型的步骤包括:
基于所述最优的定位结果的关键点位置在输入图像中生成预定数量的正样本图像块和负样本图像块,然后使用生成的正样本图像块和负样本图像块来训练并更新评价模型。
5.如权利要求3或4所述的定位方法,其中,基于最优的定位结果更新定位模型的步骤包括:
确定所述最优的定位结果的类型是否属于所述多个定位模型之一;
如果确定所述最优的定位结果的类型属于所述多个定位模型之一,则将与所述最优的定位结果对应的输入图像加入对应的训练集,以重新训练与该训练集对应的定位模型;
如果确定所述最优的定位结果的类型不属于所述多个定位模型之一,则将与所述最优的定位结果对应的输入图像作为样本来创建与所述最优的定位结果的类型对应的新的训练集。
6.如权利要求5所述的定位方法,还包括:
如果所述新的训练集中的样本数量超过预定值,则基于所述新的训练集训练新的定位模型,从而增加定位模型的数量。
7.一种用于人脸关键点定位的装置,包括:
关键点定位单元,使用基于多个类型的训练集训练得到的多个人脸定位模型对输入图像中的人脸进行定位,以得到与各个人脸定位模型对应的多个定位结果;
评价单元,使用基于训练集训练的评价模型对所述多个定位结果进行评价以选出最优的定位结果,
其中,定位结果包括人脸图像的多个关键点位置,评价模型由针对所述多个关键点位置训练的分类器组成。
8.如权利要求7所述的装置,其中,所述多个人脸定位模型分别与所述多个训练集的类型一一对应。
9.如权利要求7所述的装置,还包括:
更新单元,确定所述最优的定位结果的评价是否超过预定阈值,如果确定所述最优的定位结果的评价超过预定阈值,则基于最优的定位结果更新评价模型和/或定位模型。
10.如权利要求9所述的装置,其中,更新单元基于所述最优的定位结果的关键点位置在输入图像中生成预定数量的正样本图像块和负样本图像块,然后使用生成的正样本图像块和负样本图像块来训练并更新评价模型。
11.如权利要求9或10所述的装置,其中,更新单元确定所述最优的定位结果的类型是否属于所述多个定位模型之一,如果确定所述最优的定位结果的类型属于所述多个定位模型之一,则将与所述最优的定位结果对应的输入图像加入对应的训练集,以重新训练与该训练集对应的定位模型;
如果更新单元确定所述最优的定位结果的类型不属于所述多个定位模型之一,则将与所述最优的定位结果对应的输入图像作为样本来创建与所述最优的定位结果的类型对应的新的训练集。
12.如权利要求11所述的装置,其中,如果更新单元确定所述新的训练集中的样本数量超过预定值,则基于所述新的训练集训练新的定位模型,从而增加定位模型的数量。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310684862.6A CN104715227B (zh) | 2013-12-13 | 2013-12-13 | 人脸关键点的定位方法和装置 |
PCT/KR2014/011793 WO2015088179A1 (ko) | 2013-12-13 | 2014-12-04 | 얼굴의 키 포인트들에 대한 포지셔닝 방법 및 장치 |
KR1020167017600A KR102068249B1 (ko) | 2013-12-13 | 2014-12-04 | 얼굴의 키 포인트들에 대한 포지셔닝 방법 및 장치 |
US15/172,751 US10002308B2 (en) | 2013-12-13 | 2016-06-03 | Positioning method and apparatus using positioning models |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310684862.6A CN104715227B (zh) | 2013-12-13 | 2013-12-13 | 人脸关键点的定位方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104715227A true CN104715227A (zh) | 2015-06-17 |
CN104715227B CN104715227B (zh) | 2020-04-03 |
Family
ID=53371432
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310684862.6A Active CN104715227B (zh) | 2013-12-13 | 2013-12-13 | 人脸关键点的定位方法和装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US10002308B2 (zh) |
KR (1) | KR102068249B1 (zh) |
CN (1) | CN104715227B (zh) |
WO (1) | WO2015088179A1 (zh) |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105426870A (zh) * | 2015-12-15 | 2016-03-23 | 北京文安科技发展有限公司 | 一种人脸关键点定位方法及装置 |
CN106295511A (zh) * | 2016-07-26 | 2017-01-04 | 北京小米移动软件有限公司 | 人脸跟踪方法及装置 |
CN106407958A (zh) * | 2016-10-28 | 2017-02-15 | 南京理工大学 | 基于双层级联的面部特征检测方法 |
WO2017049677A1 (zh) * | 2015-09-22 | 2017-03-30 | 成都通甲优博科技有限责任公司 | 一种面部关键点的标注方法 |
CN106874826A (zh) * | 2015-12-11 | 2017-06-20 | 腾讯科技(深圳)有限公司 | 人脸关键点跟踪方法和装置 |
CN106980845A (zh) * | 2017-04-24 | 2017-07-25 | 西安电子科技大学 | 基于结构化建模的人脸关键点定位方法 |
CN107169397A (zh) * | 2016-03-07 | 2017-09-15 | 佳能株式会社 | 特征点检测方法及装置、图像处理系统和监视系统 |
WO2018028546A1 (zh) * | 2016-08-10 | 2018-02-15 | 腾讯科技(深圳)有限公司 | 一种关键点的定位方法及终端、计算机存储介质 |
CN109034069A (zh) * | 2018-07-27 | 2018-12-18 | 北京字节跳动网络技术有限公司 | 用于生成信息的方法和装置 |
CN109635752A (zh) * | 2018-12-12 | 2019-04-16 | 腾讯科技(深圳)有限公司 | 人脸关键点的定位方法、人脸图像处理方法和相关装置 |
WO2020155939A1 (zh) * | 2019-01-31 | 2020-08-06 | 广州视源电子科技股份有限公司 | 图像识别方法、装置、存储介质和处理器 |
CN112184580A (zh) * | 2020-09-27 | 2021-01-05 | 北京金山云网络技术有限公司 | 一种人脸图像增强方法、装置、设备及存储介质 |
CN113642503A (zh) * | 2021-08-23 | 2021-11-12 | 国网山东省电力公司金乡县供电公司 | 基于图像和语音识别的窗口服务评分方法及系统 |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104715227B (zh) * | 2013-12-13 | 2020-04-03 | 北京三星通信技术研究有限公司 | 人脸关键点的定位方法和装置 |
CN106778585B (zh) * | 2016-12-08 | 2019-04-16 | 腾讯科技(上海)有限公司 | 一种人脸关键点跟踪方法和装置 |
CN108596022B (zh) * | 2018-03-13 | 2021-09-28 | 广东合晟网络科技有限公司 | 一种可移动的图像识别系统 |
CN109753580A (zh) * | 2018-12-21 | 2019-05-14 | Oppo广东移动通信有限公司 | 一种图像分类方法、装置、存储介质及电子设备 |
CN110111418B (zh) | 2019-05-15 | 2022-02-25 | 北京市商汤科技开发有限公司 | 创建脸部模型的方法、装置及电子设备 |
CN111754415B (zh) | 2019-08-28 | 2022-09-27 | 北京市商汤科技开发有限公司 | 人脸图像处理方法及装置、图像设备及存储介质 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6118887A (en) * | 1997-10-10 | 2000-09-12 | At&T Corp. | Robust multi-modal method for recognizing objects |
CN101216884A (zh) * | 2007-12-29 | 2008-07-09 | 北京中星微电子有限公司 | 一种人脸认证的方法及系统 |
CN101339607A (zh) * | 2008-08-15 | 2009-01-07 | 北京中星微电子有限公司 | 人脸识别方法及系统、人脸识别模型训练方法及系统 |
US20090185723A1 (en) * | 2008-01-21 | 2009-07-23 | Andrew Frederick Kurtz | Enabling persistent recognition of individuals in images |
CN101719222A (zh) * | 2009-11-27 | 2010-06-02 | 北京中星微电子有限公司 | 分类器训练方法和装置以及人脸认证方法和装置 |
CN103136513A (zh) * | 2013-02-05 | 2013-06-05 | 山东神思电子技术股份有限公司 | 一种改进的asm人脸特征点定位方法 |
CN103440510A (zh) * | 2013-09-02 | 2013-12-11 | 大连理工大学 | 一种面部图像中特征点的定位方法 |
Family Cites Families (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE19917660A1 (de) * | 1999-04-19 | 2000-11-02 | Deutsch Zentr Luft & Raumfahrt | Verfahren und Eingabeeinrichtung zum Steuern der Lage eines in einer virtuellen Realität graphisch darzustellenden Objekts |
US6807290B2 (en) | 2000-03-09 | 2004-10-19 | Microsoft Corporation | Rapid computer modeling of faces for animation |
DE10043460C2 (de) * | 2000-09-04 | 2003-01-30 | Fraunhofer Ges Forschung | Auffinden von Körperpartien durch Auswerten von Kantenrichtungsinformation |
US7218760B2 (en) | 2003-06-30 | 2007-05-15 | Microsoft Corporation | Stereo-coupled face shape registration |
JP4518092B2 (ja) | 2006-03-31 | 2010-08-04 | ソニー株式会社 | 物体認識装置、物体認識方法、物体認識プログラム、特徴量登録装置、特徴量登録方法、及び特徴量登録プログラム |
JP2008059197A (ja) | 2006-08-30 | 2008-03-13 | Canon Inc | 画像照合装置、画像照合方法、コンピュータプログラム及び記憶媒体 |
KR20080068988A (ko) | 2007-01-22 | 2008-07-25 | 뷰웨이 주식회사 | 점진적 활성형상모델을 이용한 얼굴 윤곽 검출 |
US20080298643A1 (en) * | 2007-05-30 | 2008-12-04 | Lawther Joel S | Composite person model from image collection |
US8155399B2 (en) | 2007-06-12 | 2012-04-10 | Utc Fire & Security Corporation | Generic face alignment via boosting |
JP5176572B2 (ja) | 2008-02-05 | 2013-04-03 | ソニー株式会社 | 画像処理装置および方法、並びにプログラム |
JP5202037B2 (ja) | 2008-02-29 | 2013-06-05 | キヤノン株式会社 | 特徴点位置決定方法及び装置 |
US8165354B1 (en) | 2008-03-18 | 2012-04-24 | Google Inc. | Face recognition with discriminative face alignment |
WO2010104181A1 (ja) * | 2009-03-13 | 2010-09-16 | 日本電気株式会社 | 特徴点生成システム、特徴点生成方法および特徴点生成プログラム |
US8068662B2 (en) | 2009-03-30 | 2011-11-29 | Hermes Microvision, Inc. | Method and system for determining a defect during charged particle beam inspection of a sample |
WO2011034963A2 (en) * | 2009-09-15 | 2011-03-24 | Sony Corporation | Combining multi-sensory inputs for digital animation |
KR101089847B1 (ko) * | 2010-03-12 | 2011-12-05 | 경북대학교 산학협력단 | 얼굴 인식을 위한 sift 알고리즘을 이용한 키포인트 매칭 시스템 및 방법 |
KR101096049B1 (ko) | 2010-06-24 | 2011-12-19 | 한국과학기술원 | 강인한 얼굴 인식을 위한 얼굴 자동 정렬 시스템 및 방법 |
US8478077B2 (en) | 2011-03-20 | 2013-07-02 | General Electric Company | Optimal gradient pursuit for image alignment |
US9251402B2 (en) | 2011-05-13 | 2016-02-02 | Microsoft Technology Licensing, Llc | Association and prediction in facial recognition |
KR101130817B1 (ko) * | 2011-09-27 | 2012-04-16 | (주)올라웍스 | 얼굴 인식 방법, 장치, 및 이 방법을 실행하기 위한 컴퓨터 판독 가능한 기록 매체 |
JP6187817B2 (ja) * | 2013-10-09 | 2017-08-30 | アイシン精機株式会社 | 顔検出装置、方法およびプログラム |
US9558396B2 (en) * | 2013-10-22 | 2017-01-31 | Samsung Electronics Co., Ltd. | Apparatuses and methods for face tracking based on calculated occlusion probabilities |
CN104715227B (zh) * | 2013-12-13 | 2020-04-03 | 北京三星通信技术研究有限公司 | 人脸关键点的定位方法和装置 |
CN106258010B (zh) * | 2014-02-04 | 2019-11-22 | 弗劳恩霍夫应用研究促进协会 | 2d图像分析器 |
US20160300100A1 (en) * | 2014-11-10 | 2016-10-13 | Intel Corporation | Image capturing apparatus and method |
US10154818B2 (en) * | 2014-12-24 | 2018-12-18 | Samsung Electronics Co., Ltd. | Biometric authentication method and apparatus |
US10217292B2 (en) * | 2015-11-25 | 2019-02-26 | Intel Corporation | 3D scene reconstruction using shared semantic knowledge |
-
2013
- 2013-12-13 CN CN201310684862.6A patent/CN104715227B/zh active Active
-
2014
- 2014-12-04 KR KR1020167017600A patent/KR102068249B1/ko active IP Right Grant
- 2014-12-04 WO PCT/KR2014/011793 patent/WO2015088179A1/ko active Application Filing
-
2016
- 2016-06-03 US US15/172,751 patent/US10002308B2/en active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6118887A (en) * | 1997-10-10 | 2000-09-12 | At&T Corp. | Robust multi-modal method for recognizing objects |
CN101216884A (zh) * | 2007-12-29 | 2008-07-09 | 北京中星微电子有限公司 | 一种人脸认证的方法及系统 |
US20090185723A1 (en) * | 2008-01-21 | 2009-07-23 | Andrew Frederick Kurtz | Enabling persistent recognition of individuals in images |
CN101339607A (zh) * | 2008-08-15 | 2009-01-07 | 北京中星微电子有限公司 | 人脸识别方法及系统、人脸识别模型训练方法及系统 |
CN101719222A (zh) * | 2009-11-27 | 2010-06-02 | 北京中星微电子有限公司 | 分类器训练方法和装置以及人脸认证方法和装置 |
CN103136513A (zh) * | 2013-02-05 | 2013-06-05 | 山东神思电子技术股份有限公司 | 一种改进的asm人脸特征点定位方法 |
CN103440510A (zh) * | 2013-09-02 | 2013-12-11 | 大连理工大学 | 一种面部图像中特征点的定位方法 |
Cited By (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017049677A1 (zh) * | 2015-09-22 | 2017-03-30 | 成都通甲优博科技有限责任公司 | 一种面部关键点的标注方法 |
US11062123B2 (en) | 2015-12-11 | 2021-07-13 | Tencent Technology (Shenzhen) Company Limited | Method, terminal, and storage medium for tracking facial critical area |
CN106874826A (zh) * | 2015-12-11 | 2017-06-20 | 腾讯科技(深圳)有限公司 | 人脸关键点跟踪方法和装置 |
US10452893B2 (en) | 2015-12-11 | 2019-10-22 | Tencent Technology (Shenzhen) Company Limited | Method, terminal, and storage medium for tracking facial critical area |
CN105426870A (zh) * | 2015-12-15 | 2016-03-23 | 北京文安科技发展有限公司 | 一种人脸关键点定位方法及装置 |
CN105426870B (zh) * | 2015-12-15 | 2019-09-24 | 北京文安智能技术股份有限公司 | 一种人脸关键点定位方法及装置 |
CN107169397A (zh) * | 2016-03-07 | 2017-09-15 | 佳能株式会社 | 特征点检测方法及装置、图像处理系统和监视系统 |
CN107169397B (zh) * | 2016-03-07 | 2022-03-01 | 佳能株式会社 | 特征点检测方法及装置、图像处理系统和监视系统 |
CN106295511A (zh) * | 2016-07-26 | 2017-01-04 | 北京小米移动软件有限公司 | 人脸跟踪方法及装置 |
CN106295511B (zh) * | 2016-07-26 | 2019-05-21 | 北京小米移动软件有限公司 | 人脸跟踪方法及装置 |
WO2018028546A1 (zh) * | 2016-08-10 | 2018-02-15 | 腾讯科技(深圳)有限公司 | 一种关键点的定位方法及终端、计算机存储介质 |
US10990803B2 (en) | 2016-08-10 | 2021-04-27 | Tencent Technology (Shenzhen) | Key point positioning method, terminal, and computer storage medium |
CN106407958A (zh) * | 2016-10-28 | 2017-02-15 | 南京理工大学 | 基于双层级联的面部特征检测方法 |
CN106407958B (zh) * | 2016-10-28 | 2019-12-27 | 南京理工大学 | 基于双层级联的面部特征检测方法 |
CN106980845A (zh) * | 2017-04-24 | 2017-07-25 | 西安电子科技大学 | 基于结构化建模的人脸关键点定位方法 |
CN109034069B (zh) * | 2018-07-27 | 2021-04-09 | 北京字节跳动网络技术有限公司 | 用于生成信息的方法和装置 |
WO2020019591A1 (zh) * | 2018-07-27 | 2020-01-30 | 北京字节跳动网络技术有限公司 | 用于生成信息的方法和装置 |
CN109034069A (zh) * | 2018-07-27 | 2018-12-18 | 北京字节跳动网络技术有限公司 | 用于生成信息的方法和装置 |
CN109635752A (zh) * | 2018-12-12 | 2019-04-16 | 腾讯科技(深圳)有限公司 | 人脸关键点的定位方法、人脸图像处理方法和相关装置 |
WO2020155939A1 (zh) * | 2019-01-31 | 2020-08-06 | 广州视源电子科技股份有限公司 | 图像识别方法、装置、存储介质和处理器 |
CN112184580A (zh) * | 2020-09-27 | 2021-01-05 | 北京金山云网络技术有限公司 | 一种人脸图像增强方法、装置、设备及存储介质 |
CN113642503A (zh) * | 2021-08-23 | 2021-11-12 | 国网山东省电力公司金乡县供电公司 | 基于图像和语音识别的窗口服务评分方法及系统 |
CN113642503B (zh) * | 2021-08-23 | 2024-03-15 | 国网山东省电力公司金乡县供电公司 | 基于图像和语音识别的窗口服务评分方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
US20160283820A1 (en) | 2016-09-29 |
KR102068249B1 (ko) | 2020-02-11 |
KR20160111376A (ko) | 2016-09-26 |
WO2015088179A1 (ko) | 2015-06-18 |
US10002308B2 (en) | 2018-06-19 |
CN104715227B (zh) | 2020-04-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104715227B (zh) | 人脸关键点的定位方法和装置 | |
CN108564129B (zh) | 一种基于生成对抗网络的轨迹数据分类方法 | |
CN108304876B (zh) | 分类模型训练方法、装置及分类方法及装置 | |
US9514356B2 (en) | Method and apparatus for generating facial feature verification model | |
CN108647583B (zh) | 一种基于多目标学习的人脸识别算法训练方法 | |
US9633044B2 (en) | Apparatus and method for recognizing image, and method for generating morphable face images from original image | |
CN110533024B (zh) | 基于多尺度roi特征的双二次池化细粒度图像分类方法 | |
CN110674874B (zh) | 基于目标精细组件检测的细粒度图像识别方法 | |
CN103136504B (zh) | 人脸识别方法及装置 | |
CN102968626B (zh) | 一种人脸图像匹配的方法 | |
Smirnov et al. | Hard example mining with auxiliary embeddings | |
Smirnov et al. | Doppelganger mining for face representation learning | |
CN105678381B (zh) | 一种性别分类网络训练方法、性别分类方法及相关装置 | |
CN109145871B (zh) | 心理行为识别方法、装置与存储介质 | |
CN106326857A (zh) | 基于人脸图像的性别识别方法及装置 | |
CN110414541B (zh) | 用于识别物体的方法、设备和计算机可读存储介质 | |
CN105320945A (zh) | 图像分类的方法及装置 | |
CN102663370A (zh) | 一种人脸识别的方法及系统 | |
CN104463128A (zh) | 用于人脸识别的眼镜检测方法及系统 | |
CN111738355A (zh) | 注意力融合互信息的图像分类方法、装置及存储介质 | |
CN104978569A (zh) | 一种基于稀疏表示的增量人脸识别方法 | |
CN104732247B (zh) | 一种人脸特征定位方法 | |
CN103336974B (zh) | 一种基于局部约束稀疏表征的花卉类别辨识方法 | |
CN115410265B (zh) | 模型训练方法、人脸识别方法、电子设备及存储介质 | |
CN107220597A (zh) | 一种基于局部特征和词袋模型人体动作识别过程的关键帧选取方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |