CN106845327B - 人脸对齐模型的训练方法、人脸对齐方法和装置 - Google Patents

Abstract

一种人脸对齐模型的训练方法、人脸检测方法和装置。所述训练方法包括：利用已标定面部特征点的第i个训练样本的各面部特征点训练回归模型对应于第i个训练样本的参数，经P轮的训练，得到所述第i个训练样本的回归模型，根据所述第i个训练样本对应的回归模型标定第j个训练样本的面部特征点，重复训练过程，直至分别获得N个训练样本对应的回归模型；将所获得的最后一个训练样本对应的回归模型作为所述人脸对齐模型。其中，当1≤p≤K时，所述对应的线性回归的方法为全局回归方法，当K+1≤p≤P时，所述对应的线性回归的方法为部分回归方法。应用上述训练方法得到的人脸对齐模型的精度较高。

Description

人脸对齐模型的训练方法、人脸对齐方法和装置

技术领域

本发明涉及图像处理技术领域，具体涉及一种人脸对齐模型的训练方法、人脸检测方法和装置。

背景技术

智能人机交互是未来手机多媒体应用的发展方向，而人脸分析是智能人机交互的主要研究内容，其中人脸对齐(face alignment)是进行人脸分析的重要环节。

人脸形状是指由人脸的特征点(facial landmark)的位置，即人脸的特征点的横、纵坐标所连接起来的一维向量。人脸对齐是指在一幅图像中，先由人脸检测得出人脸矩形框(bounding box)，然后根据所述矩形框，通过人脸对齐算法自动定位诸如眼睛、眉毛、鼻子、嘴、脸颊等人脸特征点(facial landmark)。

目前，级联姿态回归(cascade pose regression)是目前众多的人脸对齐方法中，最为流行的一种人脸对齐模型的训练方法。该方法首先通过训练集中的人脸形状来计算平均脸形状(mean shape)，将计算得到的平均脸形状作为初始的人脸形状(face shape)，然后通过不同的阶段(stage)训练的回归模型使人初始的脸形状不断靠近真实的形状(groundtruth shape)，最后得到符合要求的回归模型。上述回归模型的训练方法主要有以下几点优势：

1、适合于强迫形状约束(shape constrain)；

2、在处理大量训练数据时可以有效的收敛。

目前效果优异的人脸对齐方法有详细形状回归(Explicit Shape Regression，ESR)和监督下降方法(Supervised Descent Method，SDM)。上述两种方法都是在级联姿态回归的框架下训练回归模型(regressor)。其中，ESR通过利用形状索引特征(shapedindexed feature)进行特征提取，然后在整个人脸区域学习得到特征映射函数，再采用随机蕨(random fern)训练回归模型。而SDM则是对人脸区域中的每个特征点提取尺度不变特征变换(SIFT)特征并且学习特征映射函数，然后利用线性回归训练回归模型。

然而，在利用上述方法训练回归模型时，得到的人脸对齐模型精度均较低。

发明内容

本发明实施例解决如何提高人脸对齐模型的精度的问题。

为解决上述问题，本发明实施例提供了一种人脸对齐模型的训练方法，所述方法包括：

采集人脸图像作为训练样本集，其中，每一人脸图像为所述训练样本集的一训练样本；

利用已标定面部特征点的第i个训练样本的各面部特征点训练回归模型对应于第i个训练样本的参数，经P轮的训练，得到所述第i个训练样本的回归模型，包括：根据第p轮训练得到的回归模型，调整第p+1轮训练过程，并将第P轮训练得到的回归模型作为与所述第i个训练样本对应的回归模型，其中：按照如下步骤执行第p轮的训练过程：获取与所述已标定面部特征点一一对应的特征映射函数，利用所述特征映射函数，采用对应的线性回归的方法训练回归模型的参数，得到第p轮的回归模型；且当1≤p≤K时，所述对应的线性回归的方法为全局回归方法，当K+1≤p≤P时，所述对应的线性回归的方法为部分回归方法；1≤p≤K＜P，p、K及P均为整数；

根据所述第i个训练样本对应的回归模型标定第j个训练样本的面部特征点，重复训练过程，直至分别获得N个训练样本对应的回归模型，其中i及j均为正整数，且j≤N，i≤N，i≠j，N为所述训练样本集中训练样本的数目，所述第i个训练样本及第j个训练样本均为所述训练样本集中未进行训练的训练样本；将所获得的最后一个训练样本对应的回归模型作为所述人脸对齐模型。

可选地，所述获取与所述已标定面部特征点一一对应的特征映射函数，包括以下其中一种：

采用随机森林算法学习得到与所述已标定面部特征点一一对应的特征映射函数；

采用卷积神经网络算法学习得到与所述已标定面部特征点一一对应的特征映射函数。

可选地，所述采用随机森林算法学习并得到与各所述面部特征点一一对应的特征映射函数，包括：

分别在以各所述面部特征点为中心的第一区域内，随机选择形状索引特征；

利用所述形状索引特征训练所述随机森林中各决策树的分裂节点，直至终止分裂，对应获得各决策树的叶子节点；

根据所述各决策树的叶子节点获得与所述面部特征点一一对应的特征映射函数。

可选地，所述训练所述随机森林中各决策树的分裂节点包括：采用最大方差下降准则，训练所述随机森林中各决策树的分裂节点。

可选地，所述根据所述第p轮训练得到的回归模型，调整第p+1轮训练过程包括：

根据所述第p轮训练得到的回归模型，进行人脸对齐测试；

根据测试结果，缩小第p+1轮中以各所述面部特征点为中心的第一区域面积，以按照缩小后的所述第一区域的面积执行第p+1轮训练。

可选地，当所述对应的线性回归的方法为部分回归方法时，所述利用所述特征映射函数，采用对应的线性回归的方法训练回归模型的参数，得到与训练轮数对应的回归模型，包括：

将所述i个训练样本的面部特征点分为以下五个区域，并分别获取各个区域的面部特征点的特征映射函数：左眼睛和左眉毛区域、右眼睛和右眉毛区域、鼻子区域、嘴巴区域、脸颊区域；

利用所述各个区域的面部特征点的特征映射函数，训练回归模型的参数，分别得到与训练轮数对应的各个区域的回归模型。

可选地，所述回归模型中设置有用于正则化的惩罚系数，所述正则化的惩罚系数与回归模型训练中所提取的特征点的数量相关。

本发明实施例还提供了一种人脸对齐方法，所述方法包括：

获取待对齐图像；

将所述待对齐图像输入至采用上述任一项所述的人脸对齐模型的训练方法训练得到的人脸对齐模型，得到所述待对齐图像的人脸特征点并输出。

本发明实施例还提供了一种人脸对齐模型的训练装置，所述装置包括：采集单元、训练单元、标定单元和模型确定单元，其中：

所述采集单元，适于采集人脸图像作为训练样本集，其中，每一人脸图像为所述训练样本集的一训练样本；

所述训练单元，适于利用已标定面部特征点的第i个训练样本的各面部特征点训练回归模型对应于第i个训练样本的参数，经P轮的训练，得到所述第i个训练样本的回归模型；以及适于在所述标定单元根据所述第i个训练样本对应的回归模型标定第j个训练样本的面部特征点后，重复训练过程，直至分别获得N个训练样本对应的回归模型；其中i及j均为正整数，且j≤N，i≤N，i≠j，N为所述训练样本集中训练样本的数目，所述第i个训练样本及第j个训练样本均为所述训练样本集中未进行训练的训练样本；

所述标定单元，适于根据所述第i个训练样本对应的回归模型标定第j个训练样本的面部特征点；

模型确定单元，适于将所获得的最后一个训练样本对应的回归模型作为所述人脸对齐模型；

所述训练单元包括：

训练子单元，适于执行第p轮的训练过程，包括：获取模块和训练模块，其中，所述获取模块，适于获取与所述已标定面部特征点一一对应的特征映射函数；所述训练模块，适于利用所述特征映射函数，采用对应的线性回归的方法训练回归模型的参数，得到第p轮的回归模型；且当1≤p≤K时，所述对应的线性回归的方法为全局回归方法，当K+1≤p≤P时，所述对应的线性回归的方法为部分回归方法；1≤p≤K＜P，p、K及P均为整数；

调整子单元，适于根据第p轮训练得到的回归模型，调整第p+1轮训练过程；

确定子单元，适于将第P轮训练得到的回归模型作为与所述第i个训练样本对应的回归模型。

可选地，所述获取模块适于采用随机森林算法或者卷积神经网络算法学习得到与所述已标定面部特征点一一对应的特征映射函数。

可选地，所述获取模块包括：

特征提取子模块，适于在采用随机森林算法学习并得到与各所述面部特征点一一对应的特征映射函数时，分别在以各所述面部特征点为中心的第一区域内，随机选择形状索引特征；

训练子模块，适于利用所述形状索引特征训练所述随机森林中各决策树的分裂节点，直至终止分裂，对应获得各决策树的叶子节点；

函数生成子模块，适于根据所述各决策树的叶子节点获得与所述面部特征点一一对应的特征映射函数。

可选地，所述训练子模块适于采用最大方差下降准则，训练所述随机森林中各决策树的分裂节点。

可选地，所述调整子单元适于根据所述第p轮训练得到的回归模型，进行人脸对齐测试；根据测试结果，缩小第p+1轮中以各所述面部特征点为中心的第一区域面积，以按照缩小后的所述第一区域的面积执行第p+1轮训练。

可选地，所述训练模块包括：

区域划分子模块，适于当所述对应的线性回归的方法为部分回归方法时，将所述i个训练样本的面部特征点分为以下五个区域，并分别获取各个区域的面部特征点的特征映射函数：左眼睛和左眉毛区域、右眼睛和右眉毛区域、鼻子区域、嘴巴区域、脸颊区域；

第二训练子模块，适于利用所述各个区域的面部特征点的特征映射函数，采用对应的线性回归的方法训练回归模型的参数，分别得到与训练轮数对应的各个区域的回归模型。

可选地，所述回归模型中设置有用于正则化的惩罚系数，所述正则化的惩罚系数与回归模型训练中所提取的特征点的数量相关。

本发明实施例还提供了一种人脸对齐装置，所述装置包括：

获取单元，适于获取待对齐图像；

采用上述任一项人脸对齐模型的训练装置训练得到的人脸对齐模型，适于对所述待对齐图像进行人脸对齐处理，得到所述待对齐图像的人脸特征点并输出。

与现有技术相比，本发明的技术方案至少具有以下优点：

通过利用已标定面部特征点的第i个训练样本的各面部特征点训练回归模型对应于第i个训练样本的参数，经P轮的训练，得到所述第i个训练样本的回归模型，再根据所述第i个训练样本对应的回归模型标定第j个训练样本的面部特征点，重复训练过程，直至分别获得N个训练样本对应的回归模型，并将所获得的最后一个训练样本对应的回归模型作为所述人脸对齐模型。其中，在获得所述第i个训练样本的回归模型过程中，当1≤p≤K时，所述对应的线性回归的方法为全局回归方法，当K+1≤p≤P时，所述对应的线性回归的方法为部分回归方法。在前K轮训练过程中采用全局回归方法进行训练，可以强制约束人脸形状，保证所提取的大部分特征点位于或靠近真实的人脸形状的真实位置，后(P-K-1)轮训练过程采用部分回归方法进行训练，可以分别对所提取的不同区域的特征点进行收敛，改善整个人脸对齐模型的泛化能力，由此可以提高所获得的人脸对齐模型的精度。

附图说明

图1是本发明实施例中一种人脸对齐模型的训练方法流程图；

图2是本发明实施例中另一种人脸对齐模型的训练方法图；

图3是应用本发明实施例中人脸对齐模型的训练方法进行人脸对齐的效果示意图；

图4是本发明实施例中一种人脸对齐模型的训练装置的结构示意图；

图5是本发明实施例中一种训练子单元的结构示意图。

具体实施方式

目前，无论是利用ESR方法训练人脸对齐模型，还是利用SDM方法训练人脸对齐模型，在获得每个训练样本训练对应的回归模型的各个阶段，均是采用全局回归的方法进行训练，即利用所有提取的特征点一起训练回归模型。

然而，采用全局回归方法训练对应的回归模型，虽然可以保证所提取的大部分特征点位于或靠近真实的人脸形状的真实位置，但仍有少数区域的特征点相对离真实的人脸形状对应位置较远，所导致所获取的人脸对齐模型的泛化能力较差，影响人脸对齐模型的精度。

针对上述问题，本发明的实施例提供了一种人脸对齐模型的训练方法，应用所述方法在获得所述第i个训练样本的回归模型过程中，当1≤p≤K时，所述对应的线性回归的方法为全局回归方法，当K+1≤p≤P时，所述对应的线性回归的方法为部分回归方法。在前K轮训练过程中采用全局回归方法进行训练，可以强制约束人脸形状，保证所提取的大部分特征点位于或靠近真实的人脸形状的真实位置，后(P-K-1)轮训练过程采用部分回归方法进行训练，可以对分别对所提取的不同区域的特征点进行收敛，改善整个人脸对齐模型的泛化能力，由此可以提高所获得的人脸对齐模型的精度。

为使本发明的上述目的、特征和优点能够更为明显易懂，下面结合附图对本发明的具体实施例作详细地说明。

如图1所示，在本发明一实施例中，提供了一种人脸对齐模型的训练方法。所述方法如下步骤：

步骤11，采集人脸图像作为训练样本集，其中，每一人脸图像为所述训练样本集的一训练样本。

在具体实施中，可以通过多种方式采集训练样本，其中，每一训练样本为一人脸图像。比如，可以直接从公开的人脸数据集中获取N个人脸图像，也可以通过照相机等图像采集设备实时采集N个人脸图像，具体采集方式不作限定。可以理解的是，所采集的人脸图像应尽可能具有多种不同的姿态、表情，以提高根据所述训练样本获得的回归模型泛化能力。

步骤12，分别利用所述训练样本进行训练，得到与各所述训练样本对应的回归模型。

在具体实施中，以所述训练样本集中的训练样本总数为N个为例，分别利用每个训练样本进行P轮的训练，得到与该训练样本对应的回归模型，共得到N个回归模型。其中，第一个进行训练的训练样本可以是所述训练样本集中的第一个训练样本，也可以是所述训练样本集中除第一个训练样本外的其它任一训练样本，并且已标定面部特征点。对各训练样本进行训练时，可以按照各训练样本在所述训练样本集中的排列顺序依次进行训练，也可以从所述训练样本集中随机选取一训练样本进行训练，只要完成对所述训练样本的训练即可。

需要说明的是，在本发明的实施例中，为了描述方便，P用于表示对各训练样本进行训练得到对应回归模型的总轮数，N用于表示训练样本集中训练样本的总数。可以理解的是，在具体实施中，所述P及N的值可以由本领域人员根据实际需要进行设置，例如，P可以在[5，7]内取值，N的取值可以为所述公开的数据集总样本数的60％。

步骤13，将所获得的最后一个训练样本对应的回归模型作为所述人脸对齐模型。

在具体实施中，所述最后一个训练样本对应的回归模型，可以是利用所述训练样本集中第1个训练样本进行训练得到的回归模型，也可以是利用所述训练样本集中第N个训练样本进行训练得到的回归模型，还可以是利用所述训练样本集中其它训练样本进行训练得到的回归模型。

在具体实施中，利用所述训练样本，可以采用图2中所示的方法进行训练，以得到所述人脸对齐模型。下面对图2中所示的人脸对齐模型训练方法进行详细说明：

如图2所示，利用所述训练样本进行训练得到所述人脸对齐模型，可以包括如下步骤：

步骤201，采集人脸图像作为训练样本集，其中，每一人脸图像为所述训练样本集的一训练样本。

在具体实施中，可以参照上述对步骤11的描述实施步骤21，此处不再赘述。

步骤202，从所述训练样本集中选取已标定面部特征点且未进行训练的训练样本，作为第i个训练样本。

在具体实施中，所述第i个训练样本可以为所述训练样本集中的任一未进行训练的训练样本，只要所述第i个训练样本已标定面部特征点即可。

选取所述第i个训练样本后，利用已标定面部特征点的第i个训练样本的各面部特征点，训练回归模型对应于第i个训练样本的参数，经P轮的训练，得到所述第i个训练样本的回归模型。具体地，通过步骤203～208，得到所述第i个训练样本的回归模型。下面对步骤203～208进行说明是如下：

步骤203，获取与所述已标定面部特征点一一对应的特征映射函数。

在具体实施中，可以通过多种方法获取与所述已标定面部特征点一一对应的特征映射函数，例如，可以采用随机森林算法学习得到与所述已标定面部特征点一一对应的特征映射函数，也可以采用卷积神经网络算法学习得到与所述已标定面部特征点一一对应的特征映射函数。本发明的实施例中，以采用随机森林算法学习得到与所述已标定面部特征点一一对应的特征映射函数为例进行说明。

具体地，在采用随机森林算法学习得到与所述已标定面部特征点一一对应的特征映射函数时，先分别在以各所述面部特征点为中心的第一区域内，随机选择形状索引特征，即计算所述第一区域内任意两像素点的像素值的差，再利用所述形状索引特征训练所述随机森林中各决策树的分裂节点，直至终止分裂，对应获得各决策树的叶子节点，最后根据所述各决策树的叶子节点获得与所述面部特征点一一对应的特征映射函数。其中，首次利用训练样本进行训练时，所述第一区域的面积可以根据由本领域人员根据实际经验进行设定。其中，各个面部特征点对应的第一区域面积相同。

通常情况下，人脸区域可以包括68个面部特征点，由于每个面部特征点对应一特征映射函数，因此可以获得68个特征映射函数。

其中，在利用所述形状索引特征训练所述随机森林中各决策树的分裂节点时，可以采用最大方差下降准则，训练所述随机森林中各决策树的分裂节点，即：将其中一个第一区域的形状索引特征均分为左子树和右子树，再分别计算左子树和右子树中，任意两形状索引特征的方差，选择最大方差值作为各决策树分裂的阈值。当所选择最大方差值满足终止分裂的条件时，将各决策树的叶子节点的值代入特征映射函数模型中，获得对应的特征映射函数。

步骤204，利用所述特征映射函数，采用对应的线性回归的方法训练回归模型的参数，得到第p轮的回归模型。

在具体实施中，线性回归方法可以包括：全局回归方法及部分回归方法。其中，所述全局回归方法即利用所有提取到的特征一起训练回归模型的参数，训练结束后可以得到与整个人脸形状对应的回归模型。所述部分回归方法即将整个人脸形状分为不同的区域，利用不同区域的特征点训练回归模型的参数，训练结束后可以得到与该区域对应的回归模型。

在本发明的实施例中，当1≤p≤K时，所述对应的线性回归的方法为全局回归方法，当K+1≤p≤P时，所述对应的线性回归的方法为部分回归方法；1≤p≤K＜P，i、p、K及P均为整数。在前K轮训练过程中采用全局回归方法进行训练，可以强制约束人脸形状，保证所提取的大部分特征点位于或靠近真实的人脸形状的真实位置，防止个别特征点落入局部最小值而无法优化。由于K轮训练结束后，仍然会有部分区域的特征点离真实的人脸形状对应的位置较远，例如嘴巴周围的特征点，因此在后(P-K-1)轮训练过程采用部分回归方法进行训练，可以对分别对所提取的不同区域的特征点进行收敛，改善整个人脸对齐模型的泛化能力，由此可以提高所获得的人脸对齐模型的精度。

在本发明的一实施例中，当K+1≤p≤P时，可以将所述i个训练样本的面部特征点分为以下五个区域，并分别获取各个区域的面部特征点的特征映射函数：左眼睛和左眉毛区域、右眼睛和右眉毛区域、鼻子区域、嘴巴区域、脸颊区域，再利用所述各个区域的面部特征点的特征映射函数，训练回归模型的参数，分别得到与训练轮数对应的各个区域的回归模型。在第p轮训练结束后，可以得到左眼睛和左眉毛区域的回归模型，右眼睛和右眉毛区域的回归模型，鼻子区域的回归模型，嘴巴区域的回归模型以及脸颊区域的回归模型。

需要说明的是，在具体实施中，所述K的值可以由本领域人员根据实际情况进行设定，只要满足在P轮的训练中，有至少1轮的训练采用部分回归方法得到对应的回归模型即可。

步骤205，判断p是否等于P。

也就是说，判断是否为对所述第i个训练样本的最后一轮训练，若是，则执行步骤208，否则执行步骤206。

步骤206，根据所述第p轮训练得到的回归模型，调整第p+1轮训练过程。

目前，在利用ESR方法或SDM方法进行人脸特征提取时，在任一轮的训练过程中，均是基于整个人脸区域进行特征提取，不仅所提取的特征较多，导致整个训练过程速度降低，而且由于整个人脸区域较大，所提取的特征中包含较多的噪声信息，导致最终获得的人脸对齐模型的鲁棒性较差。

在本发明的实施例中，第p轮训练结束后，可以根据第p轮训练得到的回归模型进行人脸对齐测试。将测试结果与真实人脸形状进行比对，根据比对结果确定缩小第一区域面积的幅度，并以缩小后的第一区域的面积执行第p+1轮训练。由于利用当前轮对应的回归模型进行人脸对齐时，所获得的人脸形状与真实的人脸形状相差较远，而在随后几轮的训练中，所获得的人脸形状逐渐会靠近真实的人脸形状，因此，无须在整个人脸区域提取特征，可以通过逐渐缩小第一区域的面积，减少所提取的特征的数量，不仅可以提高整个训练过程速度，而且可以减少噪声信息的加入，提高最终获得的人脸对齐模型的鲁棒性。

步骤207，p++。

即执行下一轮训练，直至p＝P。

步骤208，将第P轮训练得到的回归模型作为与所述第i个训练样本对应的回归模型。

对每个训练样本，按照步骤23～28，执行P轮训练得到对应的回归模型。

步骤209，判断是否获得N个训练样本对应的回归模型。

即是否每个训练样本均进行训练并获得对应的回归模型，若是，则执行步骤213，否则执行步骤210。

步骤210，从所述训练样本集中选取一未进行训练的训练样本，作为第j个训练样本。

即从剩余为进行训练的训练样本中，选择一训练样本，作为第j个训练样本。

步骤211，根据所述第i个训练样本对应的回归模型标定第j个训练样本的面部特征点。

根据所述第i个训练样本对应的回归模型标定第j个训练样本的面部特征点，进而再利用第第j个训练样本进行训练，可以对所述第i个训练样本对应的回归模型进行校正，以得到更准确的人脸对齐模型。

步骤212，j＝i。

即对第j个训练样本重复上述对所述第i个训练样本的训练过程。

步骤213，将所获得的最后一个训练样本对应的回归模型作为所述人脸对齐模型。

对于步骤213，可以参照上述对步骤13的描述进行实施，此处不再赘述。

在具体实施中，为了进一步提高人脸对齐模型的泛化能力，防止过拟合，可以在所述回归模型中设置有用于正则化的惩罚系数。在不同的训练轮数中，采用不同数量的特征点训练回归模型时，正则化的程度也随之不同。比如，可以按照由粗到细的搜索策略进行设置，即在前几轮训练中采用较大的正则化惩罚系数来获得鲁棒性较好的回归模型，以强制约束人脸形状。而在之后几轮的训练中采用较小的正则化惩罚系数来获得更好的回归模型，以拟合真实人脸形状。

由上述内容可知，本发明实施例中所述人脸对齐模型的训练方法，在获得所述第i个训练样本的回归模型过程中，当1≤p≤K时，所述对应的线性回归的方法为全局回归方法，当K+1≤p≤P时，所述对应的线性回归的方法为部分回归方法。在前K轮训练过程中采用全局回归方法进行训练，后(P-K-1)轮训练过程采用部分回归方法进行训练，可以提高所获得的人脸对齐模型的精度。

本发明实施例还提供了一种人脸对齐方法，所述方法(未示出)可以包括如下步骤：

步骤31，获取待对齐图像。

步骤32，将所述待对齐图像输入至上述任一项的人脸对齐模型的训练方法训练得到的人脸对齐模型，得到所述待对齐图像的人脸特征点并输出。

图3为应用所述人脸对齐方法得到的定位效果图。从图3(a)～(f)可以看出，本发明实施例中的人脸对齐模型可以准确地定位人脸图像的各个特征点。

为了使本领域技术人员更好地理解和实现本发明，以下分别对方法对应的装置进行详细描述。

如图4所示，本发明实施例提供了一种人脸对齐模型的训练装置，所述装置包括：采集单元41，训练单元42，标定单元43以及模型确定单元44。其中：

所述采集单元41，适于采集人脸图像作为训练样本集，其中，每一人脸图像为所述训练样本集的一训练样本。所述训练单元42，适于利用已标定面部特征点的第i个训练样本的各面部特征点训练回归模型对应于第i个训练样本的参数，经P轮的训练，得到所述第i个训练样本的回归模型；以及适于在标定单元43根据所述第i个训练样本对应的回归模型标定第j个训练样本的面部特征点后，重复训练过程，直至分别获得N个训练样本对应的回归模型；其中i及j均为正整数，且j≤N，i≤N，i≠j，N为所述训练样本集中训练样本的数目，所述第i个训练样本及第j个训练样本均为所述训练样本集中未进行训练的训练样本。所述标定单元43，适于根据所述第i个训练样本对应的回归模型标定第j个训练样本的面部特征点。所述模型确定单元44，适于将所获得的最后一个训练样本对应的回归模型作为所述人脸对齐模型。

进一步地，所述训练单元42包括：训练子单元421，调整子单元422以及确定子单元423。其中：

所述训练子单元421，适于执行第p轮的训练过程，包括：获取模块4211，适于获取与所述已标定面部特征点一一对应的特征映射函数；训练模块4212，适于利用所述特征映射函数，采用对应的线性回归的方法训练回归模型的参数，得到第p轮的回归模型；且当1≤p≤K时，所述对应的线性回归的方法为全局回归方法，当K+1≤p≤P时，所述对应的线性回归的方法为部分回归方法；1≤p≤K＜P，p、K及P均为整数。所述调整子单元422，适于根据第p轮训练得到的回归模型，调整第p+1轮训练过程。所述确定子单元423，适于将第P轮训练得到的回归模型作为与所述第i个训练样本对应的回归模型。

在具体实施中，所述获取模块4211适于采用随机森林算法或者卷积神经网络算法学习得到与所述已标定面部特征点一一对应的特征映射函数。

在具体实施中，当所述获取模块4211采用随机森林算法学习并得到与各所述面部特征点一一对应的特征映射函数时，如图5所示，所述获取模块4211可以包括：特征提取子模块51，训练子模块52以及函数生成子模块53。其中，所述特征提取子模块51适于分别在以各所述面部特征点为中心的第一区域内，随机选择形状索引特征。所述训练子模块52，适于利用所述形状索引特征训练所述随机森林中各决策树的分裂节点，直至终止分裂，对应获得各决策树的叶子节点。所述函数生成子模块53，适于根据所述各决策树的叶子节点获得与所述面部特征点一一对应的特征映射函数。

在具体实施中，所述训练模块4212适于采用最大方差下降准则，训练所述随机森林中各决策树的分裂节点。

在具体实施中，所述调整子单元422适于根据所述第p轮训练得到的回归模型，进行人脸对齐测试以及根据测试结果，缩小第p+1轮中以各所述面部特征点为中心的第一区域面积，以按照缩小后的所述第一区域的面积执行第p+1轮训练。

当所述对应的线性回归的方法为部分回归方法时，所述训练模块4212可以包括：区域划分子模块(未示出)，以及第二训练子模块(未示出)。其中，所述区域划分子模块适于将所述i个训练样本的面部特征点分为以下五个区域，并分别获取各个区域的面部特征点的特征映射函数：左眼睛和左眉毛区域、右眼睛和右眉毛区域、鼻子区域、嘴巴区域、脸颊区域。所述第二训练子模块，适于利用所述各个区域的面部特征点的特征映射函数，采用对应的线性回归的方法训练回归模型的参数，分别得到与训练轮数对应的各个区域的回归模型。

在具体实施中，所述回归模型中设置有用于正则化的惩罚系数，所述正则化的惩罚系数与回归模型训练中所提取的特征点的数量相关。

本发明实施例还提供了一种人脸对齐装置(未示出)，所述装置可以包括：获取单元，适于获取待对齐图像；以及上述任一项的人脸对齐模型，适于对所述待对齐图像进行人脸对齐处理，得到所述输入图像的人脸特征点并输出。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：ROM、RAM、磁盘或光盘等。

虽然本发明披露如上，但本发明并非限定于此。任何本领域技术人员，在不脱离本发明的精神和范围内，均可作各种更动与修改，因此本发明的保护范围应当以权利要求所限定的范围为准。

Claims (16)

1.一种人脸对齐模型的训练方法，其特征在于，包括：

采集人脸图像作为训练样本集，其中，每一人脸图像为所述训练样本集的一训练样本；

利用已标定面部特征点的第i个训练样本的各面部特征点训练回归模型对应于第i个训练样本的参数，经P轮的训练，得到所述第i个训练样本的回归模型，包括：根据第p轮训练得到的回归模型，调整第p+1轮训练过程，并将第P轮训练得到的回归模型作为与所述第i个训练样本对应的回归模型，其中：按照如下步骤执行第p轮的训练过程：获取与所述已标定面部特征点一一对应的特征映射函数，利用所述特征映射函数，采用对应的线性回归的方法训练回归模型的参数，得到第p轮的回归模型；且当1≤p≤K时，所述对应的线性回归的方法为全局回归方法，当K+1≤p≤P时，所述对应的线性回归的方法为部分回归方法；1≤p≤P，p、K及P均为整数；

根据所述第i个训练样本对应的回归模型标定第j个训练样本的面部特征点，重复训练过程，直至分别获得N个训练样本对应的回归模型，其中i及j均为正整数，且j≤N，i≤N，i≠j，N为所述训练样本集中训练样本的数目，所述第i个训练样本及第j个训练样本均为所述训练样本集中未进行训练的训练样本；将所获得的最后一个训练样本对应的回归模型作为所述人脸对齐模型。

2.如权利要求1所述的人脸对齐模型的训练方法，其特征在于，所述获取与所述已标定面部特征点一一对应的特征映射函数，包括以下其中一种：

采用随机森林算法学习得到与所述已标定面部特征点一一对应的特征映射函数；

采用卷积神经网络算法学习得到与所述已标定面部特征点一一对应的特征映射函数。

3.如权利要求2所述的人脸对齐模型的训练方法，其特征在于，所述采用随机森林算法学习并得到与各所述面部特征点一一对应的特征映射函数，包括：

分别在以各所述面部特征点为中心的第一区域内，随机选择形状索引特征；

利用所述形状索引特征训练所述随机森林中各决策树的分裂节点，直至终止分裂，对应获得各决策树的叶子节点；

根据所述各决策树的叶子节点获得与所述面部特征点一一对应的特征映射函数。

4.如权利要求3所述的人脸对齐模型的训练方法，其特征在于，所述训练所述随机森林中各决策树的分裂节点包括：采用最大方差下降准则，训练所述随机森林中各决策树的分裂节点。

5.如权利要求3所述的人脸对齐模型的训练方法，其特征在于，所述根据所述第p轮训练得到的回归模型，调整第p+1轮训练过程包括：

根据所述第p轮训练得到的回归模型，进行人脸对齐测试；

根据测试结果，缩小第p+1轮中以各所述面部特征点为中心的第一区域面积，以按照缩小后的所述第一区域的面积执行第p+1轮训练。

6.如权利要求1所述的人脸对齐模型的训练方法，其特征在于，当所述对应的线性回归的方法为部分回归方法时，所述利用所述特征映射函数，采用对应的线性回归的方法训练回归模型的参数，得到与训练轮数对应的回归模型，包括：

将所述i个训练样本的面部特征点分为以下五个区域，并分别获取各个区域的面部特征点的特征映射函数：左眼睛和左眉毛区域、右眼睛和右眉毛区域、鼻子区域、嘴巴区域、脸颊区域；

利用所述各个区域的面部特征点的特征映射函数，训练回归模型的参数，分别得到与训练轮数对应的各个区域的回归模型。

7.如权利要求1所述的人脸对齐模型的训练方法，其特征在于，所述回归模型中设置有用于正则化的惩罚系数，所述正则化的惩罚系数与回归模型训练中所提取的特征点的数量相关。

8.一种人脸对齐方法，其特征在于，包括：

获取待对齐图像；

将所述待对齐图像输入至采用如权利要求1-7任一项所述的人脸对齐模型的训练方法训练得到的人脸对齐模型，得到所述待对齐图像的人脸特征点并输出。

9.一种人脸对齐模型的训练装置，其特征在于，包括：采集单元、训练单元、标定单元和模型确定单元，其中：

所述采集单元，适于采集人脸图像作为训练样本集，其中，每一人脸图像为所述训练样本集的一训练样本；

所述训练单元，适于利用已标定面部特征点的第i个训练样本的各面部特征点训练回归模型对应于第i个训练样本的参数，经P轮的训练，得到所述第i个训练样本的回归模型；以及适于在所述标定单元根据所述第i个训练样本对应的回归模型标定第j个训练样本的面部特征点后，重复训练过程，直至分别获得N个训练样本对应的回归模型；其中i及j均为正整数，且j≤N，i≤N，i≠j，N为所述训练样本集中训练样本的数目，所述第i个训练样本及第j个训练样本均为所述训练样本集中未进行训练的训练样本；

所述标定单元，适于根据所述第i个训练样本对应的回归模型标定第j个训练样本的面部特征点；

模型确定单元，适于将所获得的最后一个训练样本对应的回归模型作为所述人脸对齐模型；

所述训练单元包括：

训练子单元，适于执行第p轮的训练过程，包括：获取模块和训练模块，其中，所述获取模块，适于获取与所述已标定面部特征点一一对应的特征映射函数；所述训练模块，适于利用所述特征映射函数，采用对应的线性回归的方法训练回归模型的参数，得到第p轮的回归模型；且当1≤p≤K时，所述对应的线性回归的方法为全局回归方法，当K+1≤p≤P时，所述对应的线性回归的方法为部分回归方法；1≤p≤P，p、K及P均为整数；

调整子单元，适于根据第p轮训练得到的回归模型，调整第p+1轮训练过程；

确定子单元，适于将第P轮训练得到的回归模型作为与所述第i个训练样本对应的回归模型。

10.如权利要求9所述的人脸对齐模型的训练装置，其特征在于，所述获取模块适于采用随机森林算法或者卷积神经网络算法学习得到与所述已标定面部特征点一一对应的特征映射函数。

11.如权利要求10所述的人脸对齐模型的训练装置，其特征在于，所述获取模块包括：

特征提取子模块，适于在采用随机森林算法学习并得到与各所述面部特征点一一对应的特征映射函数时，分别在以各所述面部特征点为中心的第一区域内，随机选择形状索引特征；

训练子模块，适于利用所述形状索引特征训练所述随机森林中各决策树的分裂节点，直至终止分裂，对应获得各决策树的叶子节点；

函数生成子模块，适于根据所述各决策树的叶子节点获得与所述面部特征点一一对应的特征映射函数。

12.如权利要求11所述的人脸对齐模型的训练装置，其特征在于，所述训练子模块适于采用最大方差下降准则，训练所述随机森林中各决策树的分裂节点。

13.如权利要求11所述的人脸对齐模型的训练装置，其特征在于，所述调整子单元适于根据所述第p轮训练得到的回归模型，进行人脸对齐测试；根据测试结果，缩小第p+1轮中以各所述面部特征点为中心的第一区域面积，以按照缩小后的所述第一区域的面积执行第p+1轮训练。

14.如权利要求9所述的人脸对齐模型的训练装置，其特征在于，所述训练模块包括：

区域划分子模块，适于当所述对应的线性回归的方法为部分回归方法时，将所述i个训练样本的面部特征点分为以下五个区域，并分别获取各个区域的面部特征点的特征映射函数：左眼睛和左眉毛区域、右眼睛和右眉毛区域、鼻子区域、嘴巴区域、脸颊区域；

第二训练子模块，适于利用所述各个区域的面部特征点的特征映射函数，采用对应的线性回归的方法训练回归模型的参数，分别得到与训练轮数对应的各个区域的回归模型。

15.如权利要求9所述的人脸对齐模型的训练装置，其特征在于，所述回归模型中设置有用于正则化的惩罚系数，所述正则化的惩罚系数与回归模型训练中所提取的特征点的数量相关。

16.一种人脸对齐装置，其特征在于，包括：

获取单元，适于获取待对齐图像；

采用如权利要求9-15任一项人脸对齐模型的训练装置训练得到的人脸对齐模型，适于对所述待对齐图像进行人脸对齐处理，得到所述待对齐图像的人脸特征点并输出。