CN105426870A - 一种人脸关键点定位方法及装置 - Google Patents

Abstract

本发明公开了一种人脸关键点定位方法及装置，其中，所述人脸关键点定位方法包括：获取待识别人脸图像；对所述待识别人脸图像进行初始化关键点；通过显示形状回归预测模型，对所述待识别人脸图像的初始关键点进行位置调整，确定所述待识别人脸图像的关键点位置；通过后验分类器判断所述关键点位置是否成功，发送判断结果。本发明通过显示形状回归预测模型，对所述待识别人脸图像的初始关键点进行位置调整，确定所述待识别人脸图像的关键点位置，使得人脸关键点定位的预测结果鲁棒性好，速度较快，且通过后验分类器的判断指示最终估计结果是否成功。

Description

一种人脸关键点定位方法及装置

技术领域

本发明涉及图像处理技术领域，特别涉及一种人脸关键点定位方法及装置。

背景技术

现在随着人脸视频以及图像数据呈爆炸性增长，依靠人工来一张一张的来做人脸关键点的定位已经不太现实。然而，人脸关键点定位是人脸性别、年龄以及身份识别任务中的核心组成部分。为了在识别过程中提取到有效的高维特征，必须需要精确的在人脸的关键部位—眼睛，鼻子，嘴等地方进行定位。

现有技术的实现过程中，由于实际应用中采集的人脸图像或者视频是在无约束的情况采集到的，于是图像或者视频中的人脸往往存在大姿态的偏移、光照条件不一、以及部分被遮挡等情况。这对于现有的人脸关键点定位算法是一个很大的挑战。

设人脸的形状S＝[x1，y1，...，xNfp，yNfp]T由N个关键点组成。给定一张人脸图像，人脸关键点定位的目标就是估计形状S，使得估计后的形状S与人脸图像的真实形状尽量的接近，即：最小化

$\left|\right|S-\hat{S}|{|}^2$

因此，在发明人实现人脸关键点定位的过程中，发现现有技术中至少存在如下问题：

现有技术中的人脸关键点定位算法对于初始待估计的S过于敏感。当初始的待估计形状选得好的时候，最终利用的模型预测出的待估计形状就会好；如果初始待估计形状选得差的话，那么最终预测的待估计形状就会差。在实际预测待估计的形状S时，初始待估计形状S是随机选取的，因此无法保证选取好坏。虽然在实现过程中要重复5次选取初始待估计的S来提高预测结果的鲁棒性，但是这大大降低了计算速度，并且鲁棒性并未能达到实际应用的要求；且现有技术中的对最终估计的结果并未给出一个明确的指标来表示估计是否成功。

发明内容

鉴于上述问题，提出了本发明以便提供一种人脸关键点定位方法、装置及系统克服上述问题或者至少部分地解决上述问题的，本发明的技术方案是这样实现的：

一方面，本发明提供了一种人脸关键点定位方法，包括：

获取待识别人脸图像；

对所述待识别人脸图像进行初始化关键点；

通过显示形状回归预测模型，对所述待识别人脸图像的初始关键点进行位置调整，确定所述待识别人脸图像的关键点位置；

通过后验分类器判断所述关键点位置是否成功，发送判断结果。

优选地，所述初始化关键点是指平均脸的关键点位置；所述平均脸是指显示形状回归预测模型中所有人脸样本关键点位置向量的平均值。

优选地，该方法还包括：

获取所述显示形状回归预测模型的训练样本图像；

从所述训练样本图像中选取初始待估计形状；

将所述初始待估计形状进行随机相似度变换，获取初始待估计训练样本；

将所述初始待估计训练样本进行级联姿态回归训练，获取所述显示形状回归预测模型。

优选地，所述将所述初始待估计训练样本进行级联姿态回归训练，获取所述显示形状回归预测模型步骤包括：

预设所述显示形状回归预测模型中初始待估计训练样本关键点偏差阈值；

如果所述显示形状回归预测模型中初始待估计训练样本中关键点的偏差超过所述关键点偏差阈值，则将所述初始待估计训练样本记录为负样本；

如果所述显示形状回归预测模型中初始待估计训练样本中关键点的偏差未超过所述关键点偏差阈值，则将所述初始待估计训练样本添加到所述显示形状回归预测模型中，记录为正样本。

优选地，该方法还包括：

获取所述正样本图像集合和负样本图像集合；

将所述正样本图像集合和负样本图像集合分别通过尺度不变特征转换，获取对应的局部特征；

将所述正样本图像集合和负样本图像集合分别对应的局部特征，进行分类，获取所述后验分类器。

另一方面，本发明提供了一种人脸关键点定位装置，包括：

图像获取单元，用获取待识别人脸图像；

初始化单元，用于对所述待识别人脸图像进行初始化关键点；

关键点定位单元，用于通过显示形状回归预测模型，对所述待识别人脸图像的初始关键点进行位置调整，确定所述待识别人脸图像的关键点位置；

定位判断单元，用于通过后验分类器判断所述关键点位置是否成功，发送判断结果。

本发明提供的技术方案与现有技术相比，通过对所述待识别人脸图像进行初始化关键点，由显示形状回归预测模型，对所述待识别人脸图像的初始关键点进行位置调整，确定所述待识别人脸图像的关键点位置；通过后验分类器判断所述关键点位置是否成功，发送判断结果，使得人脸关键点定位的预测结果鲁棒性好，速度较快，且通过后验分类器的判断指示最终估计结果是否成功。

附图说明

图1为本发明实施例提供的一种人脸关键点定位方法流程图；

图2为本发明实施例提供的一种人脸关键点定位装置结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

如图1为所示为本发明实施例提供的一种人脸关键点定位方法；该方法包括：

步骤101：获取待识别人脸图像；

步骤102：对所述待识别人脸图像进行初始化关键点；

步骤103：通过显示形状回归预测模型，对所述待识别人脸图像的初始关键点进行位置调整，确定所述待识别人脸图像的关键点位置；

步骤104：通过后验分类器判断所述关键点位置是否成功，发送判断结果。

需要说明的是，所述初始化关键点是指平均脸的关键点位置；所述平均脸是指显示形状回归预测模型中所有人脸样本关键点位置向量的平均值。

还需要说明的是，所述显示形状回归预测模型的训练过程如下：

获取所述显示形状回归预测模型的训练样本图像；

从所述训练样本图像中选取初始待估计形状；

将所述初始待估计形状进行随机相似度变换，获取初始待估计训练样本；步骤所做的随机相似度变换是用来增加扰动性，保证最终训练结果的收敛性以及对于初始待估计形状的鲁棒性。经过验证，初始待估计形状的选取过程为：对于训练样本图像的一张人脸图像，首先选取10个其他人脸图像的真实形状作为此图像的其中10个初始待估计形状；然后，再选取10个其他人脸图像，分别将这10个人脸进行相似度变换；所述相似度变换至少包括：尺度缩小或者放大在0.7～1.3倍比例之间，偏移在－100/6～100/6像素即人脸框统一到100像素下，旋转角度在－PI/6～PI/6之一。所述相似度变换在保证了收敛的同时，增加了回归模型拟合的难度，从而降低了显示形状回归预测模型阶段对于初始待估计形状选取的敏感度。

将所述初始待估计训练样本进行级联姿态回归训练，获取所述显示形状回归预测模型。该步骤中，还可以包括：预设所述显示形状回归预测模型中初始待估计训练样本关键点偏差阈值；如果所述显示形状回归预测模型中初始待估计训练样本中关键点的偏差超过所述关键点偏差阈值，则将所述初始待估计训练样本记录为负样本；如果所述显示形状回归预测模型中初始待估计训练样本中关键点的偏差未超过所述关键点偏差阈值，则将所述初始待估计训练样本添加到所述显示形状回归预测模型中，记录为正样本。所述偏差阈值具体根据实际的情况进行设置，例如：对于现在选用的27个关键点的形状，如果其中有2个关键点的偏差超过5个像素或者有12个关键点的偏差超过3个像素即人脸框统一到100像素，那么判定此次估计的形状为负样本，否则为正样本。

还需要说明的是，所示后验分类器的训练过程如下：

获取所述正样本图像集合和负样本图像集合，例如：以上所述确定的正样本为2万张和负样本2万张；

将所述正样本图像集合和负样本图像集合分别通过尺度不变特征转换(Scale－invariantfeaturetransform，简称SIFT)，获取对应的局部特征；

将所述正样本图像集合和负样本图像集合分别对应的局部特征，进行分类，获取所述后验分类器post_classifier。

基于以上实施例，请将以下实施例按照人脸关键点定位的过程进行详细说明；设训练样本为这里，I_i指训练集中的第i张图像，S_ei指此图像对应的待估计形状，指此图像对应的真实形状。

获取一张人脸图像，从所有训练图像中选取其它图像的20个形状作为此图像的初始待估计形状{S_e1,...,S_e20}。这样训练样本库中的sample便扩大了20倍，训练样本的样本集合Sample_train＝{sample_1,1,...,sample_1,j,...,sample_1,20,...,sample_i,1,...,sample_i,j,sample_i,20,...,sample_N,1,...,sample_N,j,...,sample_N,20}，这里，i表示第i张图像所在的样本，i,j表示第i张图第j个初始待估计S_ei,j所在的样本。i＝1,...,N；j＝1,...,20。

对于所有训练样本Sample_train，做两层嵌套的级联姿态回归，最终拟合出训练模型model_train。在所述两层嵌套的级联姿态回归的过程中，所有的训练样本每训练通过内层的一级，用指标判断是否此样本对齐成功，对齐成功的样本的权值设为0，权值设为0表示此样本在后面的级联过程不再起作用，对齐失败的样本的权值设为1，权值设为1表示此样本在后面的级联过程仍然会起作用。

所述指标是指所述显示形状回归预测模型中初始待估计训练样本关键点偏差阈值；用指标判断是否此样本对齐成功，就是指如果所述显示形状回归预测模型中初始待估计训练样本中关键点的偏差超过所述关键点偏差阈值，则将所述初始待估计训练样本记录为负样本(即权值设为0)；如果所述显示形状回归预测模型中初始待估计训练样本中关键点的偏差未超过所述关键点偏差阈值，则将所述初始待估计训练样本添加到所述显示形状回归预测模型中，记录为正样本(即权值设为1)。

需要说明的是，所述两层嵌套分内层和外层，内层一共用500级，每一级会做一次对齐，外层嵌套了10个内层，所以两层嵌套起来后一共5000层。

如图2所示，为本发明实施例提供的一种人脸关键点定位装置结构示意图；该装置包括：

图像获取单元201，用获取待识别人脸图像；

初始化单元202，用于对所述待识别人脸图像进行初始化关键点；

关键点定位单元203，用于通过显示形状回归预测模型，对所述待识别人脸图像的初始关键点进行位置调整，确定所述待识别人脸图像的关键点位置；

定位判断单元204，用于通过后验分类器判断所述关键点位置是否成功，发送判断结果。

需要说明的是，所述初始化关键点是指平均脸的关键点位置；所述平均脸是指显示形状回归预测模型中所有人脸样本关键点位置向量的平均值。

还需要说明的是，该装置还包括：

预测模型获取单元，用于获取所述显示形状回归预测模型的训练样本图像；从所述训练样本图像中选取初始待估计形状；将所述初始待估计形状进行随机相似度变换，获取初始待估计训练样本；将所述初始待估计训练样本进行级联姿态回归训练，获取所述显示形状回归预测模型。

还需要说明的是，所述预测模型获取单元还包括：

预设所述显示形状回归预测模型中初始待估计训练样本关键点偏差阈值；如果所述显示形状回归预测模型中初始待估计训练样本中关键点的偏差超过所述关键点偏差阈值，则将所述初始待估计训练样本记录为负样本；如果所述显示形状回归预测模型中初始待估计训练样本中关键点的偏差未超过所述关键点偏差阈值，则将所述初始待估计训练样本添加到所述显示形状回归预测模型中，记录为正样本。

还需要说明的是，该装置还包括：

分类器获取单元，用于获取所述正样本图像集合和负样本图像集合；将所述正样本图像集合和负样本图像集合分别通过尺度不变特征转换，获取对应的局部特征；将所述正样本图像集合和负样本图像集合分别对应的局部特征，进行分类，获取所述后验分类器。

本发明提供的技术方案与现有技术相比，通过对所述待识别人脸图像进行初始化关键点，由显示形状回归预测模型，对所述待识别人脸图像的初始关键点进行位置调整，确定所述待识别人脸图像的关键点位置；通过后验分类器判断所述关键点位置是否成功，发送判断结果，使得人脸关键点定位的预测结果鲁棒性好，速度较快，且通过后验分类器的判断指示最终估计结果是否成功。

以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (10)

1.一种人脸关键点定位方法，其特征在于，包括：

获取待识别人脸图像；

对所述待识别人脸图像进行初始化关键点；

通过显示形状回归预测模型，对所述待识别人脸图像的初始关键点进行位置调整，确定所述待识别人脸图像的关键点位置；

通过后验分类器判断所述关键点位置是否成功，发送判断结果。

2.根据权利要求1所述人脸关键点定位方法，其特征在于，所述初始化关键点是指平均脸的关键点位置；所述平均脸是指显示形状回归预测模型中所有人脸样本关键点位置向量的平均值。

3.根据权利要求2所述的人脸关键点定位方法，其特征在于，该方法还包括：

获取所述显示形状回归预测模型的训练样本图像；

从所述训练样本图像中选取初始待估计形状；

将所述初始待估计形状进行随机相似度变换，获取初始待估计训练样本；

将所述初始待估计训练样本进行级联姿态回归训练，获取所述显示形状回归预测模型。

4.根据权利要求3所述的人脸关键点定位方法，其特征在于，所述将所述初始待估计训练样本进行级联姿态回归训练，获取所述显示形状回归预测模型步骤包括：

预设所述显示形状回归预测模型中初始待估计训练样本关键点偏差阈值；

如果所述显示形状回归预测模型中初始待估计训练样本中关键点的偏差超过所述关键点偏差阈值，则将所述初始待估计训练样本记录为负样本；

如果所述显示形状回归预测模型中初始待估计训练样本中关键点的偏差未超过所述关键点偏差阈值，则将所述初始待估计训练样本添加到所述显示形状回归预测模型中，记录为正样本。

5.根据权利要求4所述的人脸关键点定位方法，其特征在于，该方法还包括：

获取所述正样本图像集合和负样本图像集合；

将所述正样本图像集合和负样本图像集合分别通过尺度不变特征转换，获取对应的局部特征；

将所述正样本图像集合和负样本图像集合分别对应的局部特征，进行分类，获取所述后验分类器。

6.一种人脸关键点定位装置，其特征在于，该装置还包括：

图像获取单元，用获取待识别人脸图像；

初始化单元，用于对所述待识别人脸图像进行初始化关键点；

关键点定位单元，用于通过显示形状回归预测模型，对所述待识别人脸图像的初始关键点进行位置调整，确定所述待识别人脸图像的关键点位置；

定位判断单元，用于通过后验分类器判断所述关键点位置是否成功，发送判断结果。

7.根据权利要求6所述人脸关键点定位装置，其特征在于，所述初始化关键点是指平均脸的关键点位置；所述平均脸是指显示形状回归预测模型中所有人脸样本关键点位置向量的平均值。

8.根据权利要求7所述的人脸关键点定位装置，其特征在于，该装置还包括：

预测模型获取单元，用于获取所述显示形状回归预测模型的训练样本图像；从所述训练样本图像中选取初始待估计形状；将所述初始待估计形状进行随机相似度变换，获取初始待估计训练样本；将所述初始待估计训练样本进行级联姿态回归训练，获取所述显示形状回归预测模型。

9.根据权利要求8所述的人脸关键点定位装置，其特征在于，所述预测模型获取单元还包括：

预设所述显示形状回归预测模型中初始待估计训练样本关键点偏差阈值；如果所述显示形状回归预测模型中初始待估计训练样本中关键点的偏差超过所述关键点偏差阈值，则将所述初始待估计训练样本记录为负样本；如果所述显示形状回归预测模型中初始待估计训练样本中关键点的偏差未超过所述关键点偏差阈值，则将所述初始待估计训练样本添加到所述显示形状回归预测模型中，记录为正样本。

10.根据权利要求9所述的人脸关键点定位装置，其特征在于，该装置还包括：

分类器获取单元，用于获取所述正样本图像集合和负样本图像集合；将所述正样本图像集合和负样本图像集合分别通过尺度不变特征转换，获取对应的局部特征；将所述正样本图像集合和负样本图像集合分别对应的局部特征，进行分类，获取所述后验分类器。