CN104715227B - 人脸关键点的定位方法和装置 - Google Patents

人脸关键点的定位方法和装置 Download PDF

Info

Publication number
CN104715227B
CN104715227B CN201310684862.6A CN201310684862A CN104715227B CN 104715227 B CN104715227 B CN 104715227B CN 201310684862 A CN201310684862 A CN 201310684862A CN 104715227 B CN104715227 B CN 104715227B
Authority
CN
China
Prior art keywords
positioning
face
models
optimal
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201310684862.6A
Other languages
English (en)
Other versions
CN104715227A (zh
Inventor
沈晓璐
冯雪涛
汪彪
韩宰俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Samsung Telecommunications Technology Research Co Ltd
Samsung Electronics Co Ltd
Original Assignee
Beijing Samsung Telecommunications Technology Research Co Ltd
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Samsung Telecommunications Technology Research Co Ltd, Samsung Electronics Co Ltd filed Critical Beijing Samsung Telecommunications Technology Research Co Ltd
Priority to CN201310684862.6A priority Critical patent/CN104715227B/zh
Priority to PCT/KR2014/011793 priority patent/WO2015088179A1/ko
Priority to KR1020167017600A priority patent/KR102068249B1/ko
Publication of CN104715227A publication Critical patent/CN104715227A/zh
Priority to US15/172,751 priority patent/US10002308B2/en
Application granted granted Critical
Publication of CN104715227B publication Critical patent/CN104715227B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/46Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462Salient features, e.g. scale invariant feature transforms [SIFT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/28Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757Matching configurations of points or features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/772Determining representative reference patterns, e.g. averaging or distorting patterns; Generating dictionaries
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • G06V40/171Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning

Abstract

提供了一种人脸关键点的定位方法和装置。定位方法包括:使用基于多个类型的训练集训练得到的多个人脸定位模型对输入图像中的人脸进行定位,以得到与各个人脸定位模型对应的多个定位结果;使用训练的评价模型对所述多个定位结果进行评价以选出最优的定位结果,其中,定位结果包括人脸图像的多个关键点位置,评价模型由针对所述多个关键点位置训练的分类器组成。

Description

人脸关键点的定位方法和装置
技术领域
本发明涉及人脸识别技术领域,更具体地,涉及一种通过采用多个人脸定位模型来对人脸关键点进行定位的方法和装置。
背景技术
人脸关键点定位技术的目的是在输入的人脸图片上,以人脸检测给出的初始位置为基础,获取一系列关键点(眼角、嘴角、鼻尖等)的几何位置。该技术在人脸识别、照片美化、人脸动画等相关应用中起到核心作用,直接影响其效果。人脸受到姿态、表情、光照、性别、年龄、种族等因素影响,其外观变化多样,使得定位的稳定性受到严重影响。
现有技术主要使用三类方法来解决人脸关键点定位中的多样性问题:
1)三维方法:创建一个三维模型用于定位。由于三维信息不受姿态和光照影响,这可以提高了在不同姿态光照下的稳定性。
2)局部方法:使用关键点附近的小区域为特征,逐个定位每个关键点。小区域在上述因素影响下变化较小,能在一定范围内提高定位的稳定性。
3)分姿态方法:首先判断姿态,而后施用不同定位模型进行定位。针对一种姿态的定位模型稳定性较高。
然而,以上的人脸关键点定位技术也存在一定的不足。具体地,三维方法需要额外的硬件(例如,需要两个照相机来产生三维图像)或人工输入来获取用户的三维模型,这造成硬件成本的增加。
局部方法缺乏全局约束,因此当人脸检测给出的初始关键点位置偏差较大时,容易出现错误。即使在局部方法中添加一个全局约束,该全局约束同样受到人脸多样性的影响。
分姿态方法不能处理除姿态之外的变化因素,如果对所有可能的变化因素逐个分别处理,则需要的定位模型数量过多,使得系统所占空间过大,执行定位时速度降低。
因此,需要一种新型的人脸关键点定位方法和系统,能够在不增加硬件成本的情况下,充分考虑人脸多样性,实现对人脸关键点的快速、自适应性定位。
发明内容
本发明使用多个定位模型对人脸图片进行关键点定位,然后利用一个评价模型选出最优的定位结果。此外,根据最优的定位结果,本发明还可以对已有的定位模型进行更新,或者增添新的定位模型,同时可以对评价模型进行更新,从而实现自适应的人脸关键点定位。
另外,本发明利用不同模型定位不同类型人脸上的关键点,提高了定位的稳定性。定位模型可针对用户输入进行调整,有效控制系统规模,节省执行时间。
本发明的一方面提供一种用于人脸关键点位置的定位方法,包括:使用基于多个类型的训练集训练得到的多个人脸定位模型对输入图像中的人脸进行定位,以得到与各个人脸定位模型对应的多个定位结果;使用训练的评价模型对所述多个定位结果进行评价以选出最优的定位结果,其中,定位结果包括人脸图像的多个关键点位置,评价模型由针对所述多个关键点位置训练的分类器组成。
根据本发明的一方面,所述多个人脸定位模型分别与所述多个训练集的类型一一对应。
根据本发明的一方面,所述定位方法还包括:确定所述最优的定位结果的评价是否超过预定阈值;如果确定所述最优的定位结果的评价超过预定阈值,则基于最优的定位结果更新评价模型。
根据本发明的一方面,基于最优的定位结果更新评价模型的步骤包括:基于所述最优的定位结果的关键点位置在输入图像中生成预定数量的正样本图像块和负样本图像块,然后使用生成的正样本图像块和负样本图像块来更新评价模型。
根据本发明的一方面,所述定位方法还包括:确定所述最优的定位结果的类型是否属于所述多个定位模型之一;如果确定所述最优的定位结果的类型属于所述多个定位模型之一,则将与所述最优的定位结果对应的输入图像加入对应的训练集,以重新训练与该训练集对应的定位模型;如果确定所述最优的定位结果的类型不属于所述多个定位模型之一,则将与所述最优的定位结果对应的输入图像作为样本来创建与所述最优的定位结果的类型对应的新的训练集。
根据本发明的一方面,所述定位方法还包括:如果所述新的训练集中的样本数量超过预定值,则基于所述新的训练集训练新的定位模型,从而增加定位模型的数量。
根据本发明的另一方面,提供了一种用于人脸关键点定位的装置,包括:关键点定位单元,使用基于多个类型的训练集训练得到的多个人脸定位模型对输入图像中的人脸进行定位,以得到与各个人脸定位模型对应的多个定位结果;评价单元,使用基于训练集训练的评价模型对所述多个定位结果进行评价以选出最优的定位结果,其中,定位结果包括人脸图像的多个关键点位置,评价模型由针对所述多个关键点位置训练的分类器组成。
根据本发明的另一方面,所述多个人脸定位模型分别与所述多个训练集的类型一一对应。
根据本发明的另一方面,所述装置还包括:更新单元,确定所述最优的定位结果的评价是否超过预定阈值,如果确定所述最优的定位结果的评价超过预定阈值,则基于最优的定位结果更新评价模型和/或定位模型。
根据本发明的另一方面,更新单元基于所述最优的定位结果的关键点位置在输入图像中生成预定数量的正样本图像块和负样本图像块,然后使用生成的正样本图像块和负样本图像块来训练更新评价模型。
根据本发明的另一方面,更新单元确定所述最优的定位结果的类型是否属于所述多个定位模型之一,如果确定所述最优的定位结果的类型属于所述多个定位模型之一,则将与所述最优的定位结果对应的输入图像加入对应的训练集,以重新训练与该训练集对应的定位模型;如果更新单元确定所述最优的定位结果的类型不属于所述多个定位模型之一,则将与所述最优的定位结果对应的输入图像作为样本来创建与所述最优的定位结果的类型对应的新的训练集。
根据本发明的另一方面,如果更新单元确定所述新的训练集中的样本数量超过预定值,则基于所述新的训练集训练新的定位模型,从而增加定位模型的数量。
附图说明
通过下面结合附图进行的描述,本发明的上述和其他目的和特点将会变得更加清楚,其中:
图1是示出根据本发明实施例的人脸关键点定位方法的流程图;
图2是示出根据本发明实施例的人脸关键点定位方法中使用的训练集的分类的示意图;
图3示出根据本发明实施例的人脸关键点定位方法所使用的平均关键点位置和定位结果的示意图;
图4是示出根据本发明实施例的人脸关键点定位方法所使用的分类器的正样本图像块和负样本图像块的示意图;
图5是示出根据本发明实施例的人脸关键点定位装置的框图;
图6是示出根据本发明另一实施例的人脸关键点定位装置的框图。
图7示出使用现有技术的人脸关键点定位方法和根据本发明实施例的人脸关键点定位方法在相同时间内对人脸关键点进行检测的结果。
具体实施方式
下面提供参照附图进行的描述以有助于全面理解如权利要求及其等同物所限定的本发明的示例性实施例。在所述描述中,除非明确指明,否则相同的变量具有相同的定义。所述描述包括各种详细的细节以有助于理解,而这些描述将被认为仅为示例性的。因此,本领域的普通技术人员将意识到在不脱离本发明的范围和精神的情况下可做出在此描述的各种改变和变型。另外,为了清晰和简洁,可省略对公知功能和构造的描述。
图1是示出根据本发明实施例的人脸关键点定位方法的流程图。
首先,在步骤S101,使用训练的多个定位模型在输入的人脸图像上得到多个定位结果。每一个定位结果都包括多个人脸关键点位置。例如,人脸关键点的位置可包括眼角、眉毛的末端、嘴角、鼻尖的位置。
这里,假设采用了K(K≥1)个定位模型A1~Ak。这K个定位模型的集合被表示为A。将输入的人脸图像与K个定位模型对齐,用(x,y)表示像素在图像上的位置,从而得到的K个定位结果,分别表示为s1,s2,…,sK,每个定位结果s中具有L个人脸关键点位置,因此,s可表示为:
s={x1,y1,x2,y2,…,xL,yL};
根据本发明,可通过在训练集C(C1~CK)上训练得到定位模型A。每一个训练集Ck是具有大量人脸图片样本的集合,训练集Ck中的每一张人脸图片样本Ii上人工标定了L个关键点位置,
即,si={xi1,yi1,xi2,yi2,…,xiL,yiL,};
这里,训练集C1~CK中的人脸图片样本可根据姿态、表情、年龄、人种、身份等因素被分类为不同类型。这样,可以根据不同的类型来训练得到定位模型A。如图2所示,一般类型的下面可以划分出戴滑雪眼镜的类型、黑人类型、亚洲女性类型,而黑人类型下可进一步划分出身份为“Kobe”这一特定的类型。这样,根据本发明的定位模型可根据不同类型的训练集中的人脸图像来训练得到包括多个定位模型A1~AK
在训练定位模型A时,首先统计训练集C中全部样本关键点位置的平均值s0,称为平均关键点位置。|C|表示训练集C中样本的数量,则可通过以下的公式来得到平均关键点位置s0
Figure BDA0000437637180000051
对于训练集C中每一张人脸图片样本Ii,将平均关键点位置s0放置在图像中间,然后提取平均关键点位置s0的各个关键点位置的尺度不变特征变换(SIFT)特征,将提取的SIFT特征拼接成特征向量fi。这样,可以根据训练集C中的全部样本图片建立一个回归模型,使得
fi·A=si-s0
在以上等式中的A即表示从训练集C中训练得到的定位模型。
接下来,对于一张输入的待定位的人脸图像,首先将平均关键点位置s0放置在该输入图像的中间,然后提取s0各个关键点位置的SIFT特征拼接得到特征向量f。这样,可通过以下等式得到包括K个定位结果的定位结果集合s:
s=s0+f·A
通过以上方式,即可从训练的多个定位模型得到关于输入图像的关键点位置的多个定位结果。
图3示出了根据本发明实施例的人脸关键点定位方法所使用的平均关键点位置和定位结果的示意图。如图3所示,左边的图表示的是训练集C的全部样本图片的关键点位置的平均值s0。其中的叉号表示各个关键点。图3的右边的图示出的是定位结果。在定位结果中,关键点的位置与图片中人脸关键点的实际位置重合。
接下来,在步骤S103,对得到的多个定位结果进行评价,以从中选择出最优的定位结果。在本发明中,可使用训练的针对关键点的分类器来对多个定位结果进行评价,从而得到最优的定位结果。
具体地,如上所述,训练集C中的人脸图片样本Ii上通过人工标定了L个关键点的位置si={xi1,yi1,xi2,yi2,…,xiL,yiL,}。可针对每一个关键点训练一个Boost分类器,从而可得到L个分类器h1,h2,…hL。这L个分类器可形成评价模型E。
在训练分类器时,可使用训练集C的人脸图像中距离关键点位置较近的图像块(例如,图像块的中心位置与关键点位置的距离在第一预定距离以内)作为正样本,并使用距离关键点位置较远(例如,图像块的中心位置与关键点位置的距离超过第二预定距离)的图像块作为负样本来训练关键点分类器。
图4是示出根据本发明实施例的人脸关键点定位方法所使用的分类器的正样本和负样本的示意图。如图4所示,针对左眼的左眼角的关键点的分类器,图4中左边的图中由方框所表示的图像块可用作训练分类器的正样本,而图4中右边的图中的方框所表示的图像块可用作训练分类器的负样本。具体地,每一个关键点分类器hj可包括一系列选择器hsel。例如,每个选择器hsel可选择一弱Haar分类器hw来评价输入的图像块。这样每个关键点的分类器的输出为所有的选择器的加权和:
Figure BDA0000437637180000061
这里,αn表示加权值,x表示图像块。利用训练集C中的正样本图像块和负样本图像块来训练分类器,从而得到可用于对关键点位置评分的分类器。在对步骤S101得到的关键点定位结果si进行评价时,将以各个关键点位置(xj,yj)为中心的预定大小的图像块分别输入到对应的关键点分类器hj,从而得到一个评分hj(xj,yj)。由此可得到全部关键点分类器针对此关键点定位结果的sj评分,然后得到该定位结果的平均评分:
Figure BDA0000437637180000062
这样,可以得到K个定位结果s1,s2,…,sK中的每个定位结果的评分,并从中选择最优的定位结果s*,即,评分最高的定位结果,作为最终的人脸关键点位置的定位结果。
应理解,以上只是对定位结果进行评分的一种示例。可采用任何其它的现有的评分技术来对定位模型得到的定位结果进行评分。
根据本发明的优选实施例,在得到最优的定位结果之后,还可包括更新评价模型和定位模型的步骤。
继续参照图1,如果在步骤S105确定在步骤S103得到的最优定位结果s*的评分超过预定阈值T,则在步骤S107,利用该定位结果更新评价模型和/或定位模型。
具体地,在更新评价模型时,可将与定位结果s*对应的输入图像加入到训练集C中,利用定位结果s*的L个关键点位置生成预定数量的正样本图像块和负样本图像块,然后利用生成的正样本图像块和负样本图像块来训练L个关键点的分类器h1,h2,…hL,从而可更新评价模型E。例如,根据本发明的实施例,可使用在线AdaBoost方法来训练关键点分类器h1,h2,…hL
另外,在更新定位模型时,当在步骤S105确定存在评分超过预定阈值的新的定位结果s*时,确定与定位结果s*对应的定位模型的类型。具体地,可基于与定位结果s*对应的SIFT特征向量f,利用在线K均值方法查找s*所属的类型。如果确定s*属于当前已有的K个定位模型中的某一类Ak,则将其加入与Ak对应的训练集Ck,并基于前面所述的训练定位模型的方法重新训练定位模型Ak,从而更新定位模型Ak
如果确定s*不属于当前已有的K类的定位模型中的某一类,则新建一个对应的训练集CK+1。当新增训练集CK+1中的样本数量超过一门限时,使用其训练新的定位模型AK+1。这样,可从原有的K个定位模型增加到K+1个定位模型,在增加定位模型之后,定位结果从原来的K个增加为K+1个
具体地,在训练集C中新增样本s*后,可根据以下的方式来更新相应的定位模型A。
以下,用F来表示为训练集C中的样本图片的全部样本特征向量f组成的矩阵,F的第i行表示第i个样本的特征向量;用S表示训练集C中全部样本的人工标定的关键点位置组成的矩阵,S的第i行表示第i个样本的关键点位置;用S0表示训练集C中全部样本的平均关键点位置组成的矩阵,S0的第i行表示第i个样本的平均关键点位置。则在更新之前的原有定位模型A满足以下等式:
F·A=S-S0
这样,可以通过最小二乘方式求解A:
A=(FTF)-1·F·(S-S0)
其中协方差矩阵:
Covxx=FTF,Covxy=F(S-S0)
Covxx和Covxy的第m行第n列的元素可以表示为:
Figure BDA0000437637180000081
Figure BDA0000437637180000082
其中fim表示训练集C中第i样本的特征向量的第m维的值;sin表示训练集C中第i样本的人工标定的关键点位置的第n维的值;
Figure BDA0000437637180000088
表示训练集C中第i个样本的平均关键点位置的第n维的值。
当新增样本s*时,可如以下的等式所示更新协方差矩阵的元素:
Figure BDA0000437637180000083
Figure BDA0000437637180000084
其中,
Figure BDA0000437637180000085
表示新增样本的特征向量的第m维的值;
Figure BDA0000437637180000086
表示新增样本的人工标定的关键点的第n维的值;
Figure BDA0000437637180000087
表示新增样本的平均关键点位置的第n维的值。
下面将参照图5来说明根据本发明实施例的人脸关键点定位装置500。
如图5所示,人脸关键点定位装置500包括关键点定位单元510和评价单元520。
关键点定位单元510使用基于多个类型的训练集训练得到的多个人脸定位模型对输入图像中的人脸进行定位,以得到与各个人脸定位模型对应的多个定位结果。多个人脸定位模型中的每一个分别与训练集中的不同类型的训练集对应。具体地,训练人脸定位模型的方式已经参照上述的说明进行了描述,因此将不再重复。
评价单元520使用训练的评价模型对关键点定位单元510得到的所述多个定位结果进行评价以选出最优的定位结果。具体地,评价单元520使用的评价模型由针对人脸图像中的多个关键点训练的分类器组成,每个关键点的分类器可对关键点定位结果中的对应的关键点位置进行评分。在训练分类器时,可使用训练集的人脸图像中距离关键点位置较近的图像块(例如,图像块的中心位置与关键点位置的距离在第一预定距离以内)作为正样本,并使用距离关键点位置较远(例如,图像块的中心位置与关键点位置的距离超过第二预定距离)的图像块作为负样本来训练关键点分类器。
图6是示出根据本发明第二实施例的人脸关键点定位装置600的示意图。如图6所示,人脸关键点定位装置600可包括:关键点定位单元610、评价单元620和更新单元630。
关键点定位单元610和评价单元620执行的操作与图5的关键点定位单元510和评价单元520的操作相同,因此将不再重复。
更新单元630可基于评价单元620得到的最优的定位结果来更新评价单元620所使用的评价模型。
具体地,如果更新单元630确定评价单元620得到的最优的定位结果的评分超过预定阈值,则基于该最优的定位结果来更新评价模型。具体地,在更新评价模型时,更新单元630可将与最优的定位结果对应的输入图像加入到训练集中,根据该最优的定位结果的多个关键点位置生成预定数量的正样本图像块和负样本图像块,然后利用生成的正样本图像块和负样本图像块来训练评价模型中的分类器,从而更新评价模型。
更新单元630还可基于评价单元620得到的最优的定位结果来更新关键点定位单元610所使用的定位模型。
具体地,当评价单元620确定存在评分超过预定阈值的新的定位结果s*时,更新单元630确定与定位结果s*对应的定位模型。更新单元630可基于SIFT特征向量f,利用在线K均值方法查找s*所属的类型。如果确定s*属于当前已有的K个定位模型中的某一个Ak,则将其加入与该定位模型Ak对应的训练集Ck,并基于前面所述的训练定位模型的方法更新定位模型Ak
如果确定s*不属于当前已有的K类的定位模型中的某一类,则更新单元630新建一个对应的训练集CK+1。当新增的训练集CK+1中的样本数量超过预定值时,更新单元630使用该新的训练集来训练新的定位模型AK+1。上面已经具体地示出了使用新的定位结果更新定位模型A的方式,因此,在这里将不再详细描述。
应理解,本发明的关键点定位装置的各个单元可以进一步划分为更多的单元或者合并为更少的单元。
本发明的人脸关键点定位方法使用多个定位模型,能够在姿态、表情、光照等因素影响下获得稳定的定位结果。此外,本发明还能够从多个定位结果中选择出最优定位结果,同时输出一个描述定位可信度的评分,该评分在后续环节(例如人脸认证)中可以被有效利用。本发明的定位模型和评价模型都可以根据输入在线更新,使得各个模型最大程度适应用户使用习惯,在保证效果的同时节省计算时间和存储空间。
图7中显示了三组使用现有技术的人脸关键点定位方法和本发明实施例的人脸关键点定位方法在相同时间内对人脸关键点进行检测的结果。其中,每组左侧的两幅图都是使用现有技术完成的定位结果,右侧的两幅图是使用本发明方法完成的定位结果。通过图7的结果可以确定,在相同的操作时间内,本发明的方法能够更准确地完成人脸关键点定位。因此,本发明的人脸关键点定位方法和装置更为稳定和高效。
根据本发明的方法可被记录在包括执行由计算机实现的各种操作的程序指令的计算机可读介质中。介质也可以只包括程序指令或者包括与程序指令相结合的数据文件、数据结构等。计算机可读介质的例子包括磁介质(例如硬盘、软盘和磁带);光学介质(例如CD-ROM和DVD);磁光介质(例如,光盘);以及特别配制用于存储并执行程序指令的硬件装置(例如,只读存储器(ROM)、随机存取存储器(RAM)、闪存等)。介质也可以是包括传输规定程序指令、数据结构等的信号的载波的传输介质(例如光学线或金属线、波导等)。程序指令的例子包括例如由编译器产生的机器码和包含可使用解释器由计算机执行的高级代码的文件。
尽管已经参照本发明的示例性实施例具体显示和描述了本发明,但是本领域的技术人员应该理解,在不脱离由权利要求限定的本发明的精神和范围的情况下,可以对其进行形式和细节上的各种改变。

Claims (12)

1.一种用于人脸关键点位置的定位方法,包括:
使用基于多个类型的训练集训练得到的多个人脸定位模型对输入图像中的人脸进行定位,以得到与各个人脸定位模型对应的多个定位结果;
使用评价模型对所述多个定位结果进行评价以选出最优的定位结果,
其中,定位结果包括人脸图像的多个关键点位置,评价模型由针对所述多个关键点位置训练的分类器组成,
其中,使用基于多个类型的训练集训练得到的多个人脸定位模型对输入图像中的人脸进行定位的步骤包括:
分别将输入图像与所述多个人脸定位模型中的每个人脸定位模型对齐;
获取与所述多个人脸定位模型中的每个人脸定位模型的关键点相应的人脸关键点位置。
2.如权利要求1所述的定位方法,其中,所述多个人脸定位模型分别与所述多个训练集的类型一一对应。
3.如权利要求1所述的定位方法,还包括:
确定所述最优的定位结果的评价是否超过预定阈值;
如果确定所述最优的定位结果的评价超过预定阈值,则基于最优的定位结果更新定位模型,或者更新评价模型和定位模型。
4.根据权利要求3所述的方法,其特征在于,基于最优的定位结果更新评价模型的步骤包括:
基于所述最优的定位结果的关键点位置在输入图像中生成预定数量的正样本图像块和负样本图像块,然后使用生成的正样本图像块和负样本图像块来训练并更新评价模型。
5.如权利要求4所述的定位方法,其中,基于最优的定位结果更新定位模型的步骤包括:
确定所述最优的定位结果的类型是否属于所述多个定位模型之一;
如果确定所述最优的定位结果的类型属于所述多个定位模型之一,则将与所述最优的定位结果对应的输入图像加入对应的训练集,以重新训练与该训练集对应的定位模型;
如果确定所述最优的定位结果的类型不属于所述多个定位模型之一,则将与所述最优的定位结果对应的输入图像作为样本来创建与所述最优的定位结果的类型对应的新的训练集。
6.如权利要求5所述的定位方法,还包括:
如果所述新的训练集中的样本数量超过预定值,则基于所述新的训练集训练新的定位模型,从而增加定位模型的数量。
7.一种用于人脸关键点定位的装置,包括:
关键点定位单元,使用基于多个类型的训练集训练得到的多个人脸定位模型对输入图像中的人脸进行定位,以得到与各个人脸定位模型对应的多个定位结果;
评价单元,使用评价模型对所述多个定位结果进行评价以选出最优的定位结果,
其中,定位结果包括人脸图像的多个关键点位置,评价模型由针对所述多个关键点位置训练的分类器组成,
其中,关键点定位单元分别将输入图像与所述多个人脸定位模型中的每个人脸定位模型对齐,获取与所述多个人脸定位模型中的每个人脸定位模型的关键点相应的人脸关键点位置。
8.如权利要求7所述的装置,其中,所述多个人脸定位模型分别与所述多个训练集的类型一一对应。
9.如权利要求7所述的装置,还包括:
更新单元,确定所述最优的定位结果的评价是否超过预定阈值,如果确定所述最优的定位结果的评价超过预定阈值,则基于最优的定位结果更新定位模型,或者更新评价模型和定位模型。
10.如权利要求7所述的装置,其中,更新单元基于所述最优的定位结果的关键点位置在输入图像中生成预定数量的正样本图像块和负样本图像块,然后使用生成的正样本图像块和负样本图像块来训练并更新评价模型。
11.如权利要求10所述的装置,其中,更新单元确定所述最优的定位结果的类型是否属于所述多个定位模型之一,如果确定所述最优的定位结果的类型属于所述多个定位模型之一,则将与所述最优的定位结果对应的输入图像加入对应的训练集,以重新训练与该训练集对应的定位模型;
如果更新单元确定所述最优的定位结果的类型不属于所述多个定位模型之一,则将与所述最优的定位结果对应的输入图像作为样本来创建与所述最优的定位结果的类型对应的新的训练集。
12.如权利要求11所述的装置,其中,如果更新单元确定所述新的训练集中的样本数量超过预定值,则基于所述新的训练集训练新的定位模型,从而增加定位模型的数量。
CN201310684862.6A 2013-12-13 2013-12-13 人脸关键点的定位方法和装置 Active CN104715227B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201310684862.6A CN104715227B (zh) 2013-12-13 2013-12-13 人脸关键点的定位方法和装置
PCT/KR2014/011793 WO2015088179A1 (ko) 2013-12-13 2014-12-04 얼굴의 키 포인트들에 대한 포지셔닝 방법 및 장치
KR1020167017600A KR102068249B1 (ko) 2013-12-13 2014-12-04 얼굴의 키 포인트들에 대한 포지셔닝 방법 및 장치
US15/172,751 US10002308B2 (en) 2013-12-13 2016-06-03 Positioning method and apparatus using positioning models

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310684862.6A CN104715227B (zh) 2013-12-13 2013-12-13 人脸关键点的定位方法和装置

Publications (2)

Publication Number Publication Date
CN104715227A CN104715227A (zh) 2015-06-17
CN104715227B true CN104715227B (zh) 2020-04-03

Family

ID=53371432

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310684862.6A Active CN104715227B (zh) 2013-12-13 2013-12-13 人脸关键点的定位方法和装置

Country Status (4)

Country Link
US (1) US10002308B2 (zh)
KR (1) KR102068249B1 (zh)
CN (1) CN104715227B (zh)
WO (1) WO2015088179A1 (zh)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104715227B (zh) * 2013-12-13 2020-04-03 北京三星通信技术研究有限公司 人脸关键点的定位方法和装置
CN105354531B (zh) * 2015-09-22 2019-05-21 成都通甲优博科技有限责任公司 一种面部关键点的标注方法
CN106874826A (zh) 2015-12-11 2017-06-20 腾讯科技(深圳)有限公司 人脸关键点跟踪方法和装置
CN105426870B (zh) * 2015-12-15 2019-09-24 北京文安智能技术股份有限公司 一种人脸关键点定位方法及装置
CN107169397B (zh) * 2016-03-07 2022-03-01 佳能株式会社 特征点检测方法及装置、图像处理系统和监视系统
CN106295511B (zh) * 2016-07-26 2019-05-21 北京小米移动软件有限公司 人脸跟踪方法及装置
CN106295567B (zh) * 2016-08-10 2019-04-12 腾讯科技(深圳)有限公司 一种关键点的定位方法及终端
CN106407958B (zh) * 2016-10-28 2019-12-27 南京理工大学 基于双层级联的面部特征检测方法
CN106778585B (zh) * 2016-12-08 2019-04-16 腾讯科技(上海)有限公司 一种人脸关键点跟踪方法和装置
CN106980845B (zh) * 2017-04-24 2020-02-21 西安电子科技大学 基于结构化建模的人脸关键点定位方法
CN108596022B (zh) * 2018-03-13 2021-09-28 广东合晟网络科技有限公司 一种可移动的图像识别系统
CN109034069B (zh) * 2018-07-27 2021-04-09 北京字节跳动网络技术有限公司 用于生成信息的方法和装置
CN109635752B (zh) * 2018-12-12 2021-04-27 腾讯科技(深圳)有限公司 人脸关键点的定位方法、人脸图像处理方法和相关装置
CN109753580A (zh) * 2018-12-21 2019-05-14 Oppo广东移动通信有限公司 一种图像分类方法、装置、存储介质及电子设备
CN109766872B (zh) * 2019-01-31 2021-07-09 广州视源电子科技股份有限公司 图像识别方法和装置
CN110111418B (zh) * 2019-05-15 2022-02-25 北京市商汤科技开发有限公司 创建脸部模型的方法、装置及电子设备
CN111754415B (zh) 2019-08-28 2022-09-27 北京市商汤科技开发有限公司 人脸图像处理方法及装置、图像设备及存储介质
CN113642503B (zh) * 2021-08-23 2024-03-15 国网山东省电力公司金乡县供电公司 基于图像和语音识别的窗口服务评分方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6118887A (en) * 1997-10-10 2000-09-12 At&T Corp. Robust multi-modal method for recognizing objects
CN101216884A (zh) * 2007-12-29 2008-07-09 北京中星微电子有限公司 一种人脸认证的方法及系统
CN101339607A (zh) * 2008-08-15 2009-01-07 北京中星微电子有限公司 人脸识别方法及系统、人脸识别模型训练方法及系统
CN101719222A (zh) * 2009-11-27 2010-06-02 北京中星微电子有限公司 分类器训练方法和装置以及人脸认证方法和装置
CN103136513A (zh) * 2013-02-05 2013-06-05 山东神思电子技术股份有限公司 一种改进的asm人脸特征点定位方法
CN103440510A (zh) * 2013-09-02 2013-12-11 大连理工大学 一种面部图像中特征点的定位方法

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19917660A1 (de) * 1999-04-19 2000-11-02 Deutsch Zentr Luft & Raumfahrt Verfahren und Eingabeeinrichtung zum Steuern der Lage eines in einer virtuellen Realität graphisch darzustellenden Objekts
US6807290B2 (en) * 2000-03-09 2004-10-19 Microsoft Corporation Rapid computer modeling of faces for animation
DE10043460C2 (de) * 2000-09-04 2003-01-30 Fraunhofer Ges Forschung Auffinden von Körperpartien durch Auswerten von Kantenrichtungsinformation
US7218760B2 (en) * 2003-06-30 2007-05-15 Microsoft Corporation Stereo-coupled face shape registration
JP4518092B2 (ja) 2006-03-31 2010-08-04 ソニー株式会社 物体認識装置、物体認識方法、物体認識プログラム、特徴量登録装置、特徴量登録方法、及び特徴量登録プログラム
JP2008059197A (ja) 2006-08-30 2008-03-13 Canon Inc 画像照合装置、画像照合方法、コンピュータプログラム及び記憶媒体
KR20080068988A (ko) 2007-01-22 2008-07-25 뷰웨이 주식회사 점진적 활성형상모델을 이용한 얼굴 윤곽 검출
US20080298643A1 (en) * 2007-05-30 2008-12-04 Lawther Joel S Composite person model from image collection
US8155399B2 (en) * 2007-06-12 2012-04-10 Utc Fire & Security Corporation Generic face alignment via boosting
US8180112B2 (en) * 2008-01-21 2012-05-15 Eastman Kodak Company Enabling persistent recognition of individuals in images
JP5176572B2 (ja) 2008-02-05 2013-04-03 ソニー株式会社 画像処理装置および方法、並びにプログラム
JP5202037B2 (ja) 2008-02-29 2013-06-05 キヤノン株式会社 特徴点位置決定方法及び装置
US8165354B1 (en) 2008-03-18 2012-04-24 Google Inc. Face recognition with discriminative face alignment
JP5505409B2 (ja) * 2009-03-13 2014-05-28 日本電気株式会社 特徴点生成システム、特徴点生成方法および特徴点生成プログラム
US8068662B2 (en) * 2009-03-30 2011-11-29 Hermes Microvision, Inc. Method and system for determining a defect during charged particle beam inspection of a sample
US8736616B2 (en) * 2009-09-15 2014-05-27 Sony Corporation Combining multi-sensory inputs for digital animation
KR101089847B1 (ko) * 2010-03-12 2011-12-05 경북대학교 산학협력단 얼굴 인식을 위한 sift 알고리즘을 이용한 키포인트 매칭 시스템 및 방법
KR101096049B1 (ko) 2010-06-24 2011-12-19 한국과학기술원 강인한 얼굴 인식을 위한 얼굴 자동 정렬 시스템 및 방법
US8478077B2 (en) 2011-03-20 2013-07-02 General Electric Company Optimal gradient pursuit for image alignment
US9251402B2 (en) 2011-05-13 2016-02-02 Microsoft Technology Licensing, Llc Association and prediction in facial recognition
KR101130817B1 (ko) * 2011-09-27 2012-04-16 (주)올라웍스 얼굴 인식 방법, 장치, 및 이 방법을 실행하기 위한 컴퓨터 판독 가능한 기록 매체
JP6187817B2 (ja) * 2013-10-09 2017-08-30 アイシン精機株式会社 顔検出装置、方法およびプログラム
US9558396B2 (en) * 2013-10-22 2017-01-31 Samsung Electronics Co., Ltd. Apparatuses and methods for face tracking based on calculated occlusion probabilities
CN104715227B (zh) * 2013-12-13 2020-04-03 北京三星通信技术研究有限公司 人脸关键点的定位方法和装置
JP6248208B2 (ja) * 2014-02-04 2017-12-13 フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン 視線方向を決定するための3d画像分析装置
EP3218879A4 (en) * 2014-11-10 2018-07-04 Intel Corporation Image capturing apparatus and method
US10154818B2 (en) * 2014-12-24 2018-12-18 Samsung Electronics Co., Ltd. Biometric authentication method and apparatus
US10217292B2 (en) * 2015-11-25 2019-02-26 Intel Corporation 3D scene reconstruction using shared semantic knowledge

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6118887A (en) * 1997-10-10 2000-09-12 At&T Corp. Robust multi-modal method for recognizing objects
CN101216884A (zh) * 2007-12-29 2008-07-09 北京中星微电子有限公司 一种人脸认证的方法及系统
CN101339607A (zh) * 2008-08-15 2009-01-07 北京中星微电子有限公司 人脸识别方法及系统、人脸识别模型训练方法及系统
CN101719222A (zh) * 2009-11-27 2010-06-02 北京中星微电子有限公司 分类器训练方法和装置以及人脸认证方法和装置
CN103136513A (zh) * 2013-02-05 2013-06-05 山东神思电子技术股份有限公司 一种改进的asm人脸特征点定位方法
CN103440510A (zh) * 2013-09-02 2013-12-11 大连理工大学 一种面部图像中特征点的定位方法

Also Published As

Publication number Publication date
CN104715227A (zh) 2015-06-17
KR20160111376A (ko) 2016-09-26
KR102068249B1 (ko) 2020-02-11
US10002308B2 (en) 2018-06-19
US20160283820A1 (en) 2016-09-29
WO2015088179A1 (ko) 2015-06-18

Similar Documents

Publication Publication Date Title
CN104715227B (zh) 人脸关键点的定位方法和装置
CN108304876B (zh) 分类模型训练方法、装置及分类方法及装置
CN108564129B (zh) 一种基于生成对抗网络的轨迹数据分类方法
US9633044B2 (en) Apparatus and method for recognizing image, and method for generating morphable face images from original image
Chowdhury et al. One-to-many face recognition with bilinear cnns
US9514356B2 (en) Method and apparatus for generating facial feature verification model
CN103136504B (zh) 人脸识别方法及装置
CN102968626B (zh) 一种人脸图像匹配的方法
CN109145871B (zh) 心理行为识别方法、装置与存储介质
CN105144239A (zh) 图像处理装置、程序及图像处理方法
CN106326857A (zh) 基于人脸图像的性别识别方法及装置
CN106303233A (zh) 一种基于表情融合的视频隐私保护方法
CN105320945A (zh) 图像分类的方法及装置
CN108090465A (zh) 一种妆容效果处理模型训练方法及妆容效果处理方法
Yadav et al. Bacteria foraging fusion for face recognition across age progression
CN105488463A (zh) 基于人脸生物特征的直系亲属关系识别方法及系统
CN109074499B (zh) 用于对象重识别的方法和系统
CN111738355A (zh) 注意力融合互信息的图像分类方法、装置及存储介质
CN101833654A (zh) 基于约束采样的稀疏表示人脸识别方法
CN107103311A (zh) 一种连续手语的识别方法及其装置
CN110414541B (zh) 用于识别物体的方法、设备和计算机可读存储介质
CN115984930A (zh) 微表情识别方法、装置、微表情识别模型的训练方法
CN112101087A (zh) 一种面部图像身份去识别方法、装置及电子设备
CN104978569A (zh) 一种基于稀疏表示的增量人脸识别方法
CN103336974B (zh) 一种基于局部约束稀疏表征的花卉类别辨识方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant