CN106897662A - 基于多任务学习的人脸关键特征点的定位方法 - Google Patents

Abstract

本发明提供了一种基于多任务学习的人脸关键特征点的定位方法。该方法包括根据级联分类器对目标图像进行人脸区域检测，利用人眼检测器定位识别出的人脸区域中的人眼的位置，计算出人脸区域中的两眼间的距离；将人脸区域中的两眼间的距离与人脸平均模型中的两眼间的距离进行对比，根据比较结果确定人脸平均模型的缩放比例，利用缩放比例对人脸平均模型中的人脸区域进行位置调整，通过多任务学习方法定位目标图像对应的人脸区域中的人脸特征点。本发明通过利用不同特征的表征优势，结合多任务学习的框架，解决了监督梯度下降法中的特征点定位中的学习不足的问题，提升了人脸特征点定位的初始化模型的检测性能，提高了人脸关键特征点定位的准确性。

Description

基于多任务学习的人脸关键特征点的定位方法

技术领域

本发明涉及人脸识别技术领域，尤其涉及一种基于多任务学习的人脸关键特征点的定位方法。

背景技术

目前，随着社会的不断进步以及各方面对于快速有效的身份验证的迫切要求，生物特征识别技术，尤其是人脸识别技术在近几十年中得到了飞速发展。人脸特征点识别技术是计算机视觉和模式识别领域的一个热门话题。其对国家安全、公共安全、海关、机场等安全领域至关重要，在虚拟现实、仿真应用、游戏娱乐、影视制作等方面有着巨大的应用前景，因此在实际应用中受到越来越多的关注和重视。

如何在自然条件的环境变化和人脸主动的变化下定位人脸关键部位是人脸特征点识别主要目的。因此，如何减少光照、遮挡、姿态、表情的影响以提高鲁棒性，以及如何在同时存在线性和非线性变化的人脸表观上找到其对应的人脸形状是人脸特征点识别需要解决的主要问题。目前现有技术中的人脸特征点识别算法主要集中在深度模型方法上和级联回归方法上，级联回归方法因为快速简便所以更有利于应用于实际中。级联回归的方法是十分有效的人脸特征点检测的方法，因为其在算法速度上有非常大的优势，而且投影函数可以是多种多样的，所以对级联回归方法的改进也可以有很多方面。

上述级联回归方法的缺点为：级联回归方法非常依赖于初始化的准确度，在处理人脸表观非线性变化时有一定的困难。得益于梯度下降法SDM(Supervised DescentMethod)的简化处理，级联回归的方法在应对这些问题的时候具有了一定的适应性。但是梯度下降法仍然需要面对初始化依赖和过度匹配等问题，原因就是原始的梯度下降法在特征表示上过于单一。

发明内容

本发明的实施例提供了一种基于多任务学习的人脸关键特征点的定位方法，以实现有效地对图像中的人脸关键特征点进行定位。

为了实现上述目的，本发明采取了如下技术方案。

一种基于多任务学习的人脸关键特征点的定位方法，包括：

根据训练好的级联分类器对目标图像进行人脸区域检测，在识别出人脸区域后，利用人眼检测器定位所述人脸区域中的人眼的位置，计算出所述人脸区域中的两眼间的距离；

将所述人脸区域中的两眼间的距离与所述人脸平均模型中的两眼间的距离进行对比，根据比较结果确定所述人脸平均模型的缩放比例，利用所述缩放比例对所述人脸平均模型中的人脸区域进行位置调整，通过多任务学习方法定位所述目标图像对应的人脸区域中的人脸特征点。

进一步地，所述的将所述人脸区域中的两眼间的距离与所述人脸平均模型中的两眼间的距离进行对比，根据比较结果确定所述人脸平均模型的缩放比例，利用所述缩放比例对所述人脸平均模型中的人脸区域进行位置调整，包括：

将所述人脸区域中的两眼间的距离d与所述人脸平均模型中的两眼间的距离d’相除，得到所述人脸平均模型的缩放比例w，将所述人脸平均模型的坐标轴与所述人脸区域的左上角对齐，根据w对所述人脸平均模型的所有初始点(x′,y′)的坐标进行放大，即(x_n，y_n)＝(x′_n*w，y′_n*w)。

进一步地，所述的通过多任务学习方法定位所述目标图像对应的人脸区域中的人脸特征点，包括：

步骤1、通过进行了位置调整后的人脸平均模型初始化训练集的图片，得到N幅初始化后的初始形状，都记为y₀；

步骤2：对于每一幅目标图像对应的人脸区域中的每一个特征点，计算其特征点周围的特征值，若有i种特征值，计算得到的特征值为

步骤3：假设一共有T个任务，样本中有N幅图片需要进行学习，用来表示第t个任务所需的输入，其中t＝{1,…,T}，i＝{1,…,N}，为第i幅图像的第t种特征向量，为表示这一特征向量的标签；

通过SDM计算第一个回归阶段的下降梯度R₀和偏移量b₀，计算不同特征的下降梯度和偏移量，分别表示为和通过该回归阶段所求出的梯度和偏移量计算该次回归的每一个特征，得出的更新值Δx＝x₁-x₀，通过偏移量Δx将特征点进行移动；在训练阶段，通过梯度下降法SDM的训练方法，通过提取多种特征，将每个特征作为一个任务，引用多任务学习计算不同特征在SDM的各个回归阶段的权值进行训练，其中，基于多任务学习的目标函数：

其中是由权重向量w^t确定的特征获取函数，为损失函数，Φ(w^t)为由权重产生的惩罚函数，假设不同的特征在级联回归的不同阶段能得到不同的效果，该目标函数的意义就是找到每种特征在各个阶段对于该阶段的标定效果有多少贡献，即w^t；

步骤4：根据步骤3计算得到的下降梯度以及偏移量重新计算这一步回归的更新值，根据每一个特征点的更新值计算该特征点的权值，即

步骤5：根据特征点的权值以及相应的特征的下降梯度和偏移量计算这一步回归的更新位置x₁：

x₁＝x₀+H(x₀,f,w)

x_n＝x_n-1+H(x_n-1,f,w)

其中，

步骤6：重复执行上述步骤3、步骤4、和步骤5的处理过程，直到特征点达到收敛。

进一步地，所述特征点的收敛条件为特征点的偏移值Δx小于设定阈值范围。

由上述本发明的实施例提供的技术方案可以看出，本发明实施例通过利用不同特征的表征优势(SIFT、HOG、LBP)，结合多任务学习的框架，解决了监督梯度下降法中的特征点定位中的学习不足的问题。同时提出了一种新的平均初始化模型的自适应初始化模型，提升了人脸特征点定位的初始化模型的检测性能，从而进一步提高了整个算法在人脸关键特征点定位上的准确程度。

本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种基于多任务学习的人脸关键特征点的定位方法的算法流程图；

图2为本发明方法在训练阶段的算法流程图。

具体实施方式

下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的任一单元和全部组合。

本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。

为便于对本发明实施例的理解，下面将结合附图以几个具体实施例为例做进一步的解释说明，且各个实施例并不构成对本发明实施例的限定。

本发明提供了一种基于多任务特征学习与级联回归的人脸关键特征点定位方法。使用SDM(Supervised Descent Method，梯度下降法)对级联回归的方法进行了简化。但是梯度下降法仍然需要面对初始化依赖和过度匹配等问题，原因就是原始的梯度下降法在特征表示上过于单一，并且它的初始化方法过于简单，并不能完成一个较准确的人脸检测过程。本发明通过引入机器学习中非常有效的多任务学习方法，结合目前主流的多种特征，对梯度下降法应用多任务的特征学习进行改进。同时改进了初始化模型，提出了一种自适应的初始化人脸检测模型，提升了第一步人脸定位的准确程度。

多任务学习能够带给SDM一定的提升。通过多种特征表示之间的多任务学习，我们选择出回归过程中有效的特征表示，进行人脸表观的特征组合，能够带给最终的检测结果一定准确度上的提升。除此之外，针对SDM一类的梯度方法的问题，我们还将比较广泛使用的平均模型进行改进，使用人眼定位对平均模型进行进一步的形状变换，使其更加接近于目标人脸形状，从而提高后面的级联回归过程的效率。

本发明提出一种自适应的人脸初始化模型，该模型是由平均模型演化而来的。首先我们在初始化时同样使用基于boosted的级联分类器进行人脸区域的识别,识别出人脸区域后，我们将利用openCV自带的人眼检测器定位人眼的位置。

之后我们利用两眼间的距离和人脸框的大小作对比，并根据两眼的位置将平均模型的眼部区域位置移动至对应区域，而其他关键点位置根据两眼位置和眼间距离与人脸框大小进行位置的调整和初步移动，以达到一个最佳适应的初始化位置。

下面的步骤1-步骤6是对人脸平均模型中的人脸区域进行位置调整后，定位目标图像对应的人脸区域中的人脸特征点的过程。

本发明实施例提供的一种人脸关键特征点定位方法的处理流程如图1所示，包括如下的处理步骤：

步骤1、首先通过自适应模型初始化训练集的图片，得到N幅初始化后的初始形状，都记为y₀。自适应模型的训练过程如下：首先我们在初始化时同样使用级联分类器进行人脸区域的检测,检测出人脸区域后，再使用OpenCV的人眼检测器定位人眼的位置。之后我们利用两眼间的距离和人脸框的大小作对比，并根据两眼的位置将平均模型的眼部区域位置移动至对应区域，而其他关键点位置根据两眼位置和眼间距离与人脸框大小进行位置的调整和初步移动，以达到一个最佳适应的初始化位置。

步骤2：对于每一幅目标图像对应的人脸区域中的每一个特征点，计算其特征点周围的特征值，若有i种特征值，计算得到的特征值为

步骤3：假设一共有T个任务，样本中有N幅图片需要进行学习，我们用来表示第t个任务所需的输入，其中t＝{1,…,T}，i＝{1,…,N}，为第i幅图像的第t种特征向量，为表示这一特征向量的标签。本方法在通过SDM计算第一个回归阶段的下降梯度R₀和偏移量b₀，计算不同特征的下降梯度和偏移量，分别表示为和通过该回归阶段所求出的梯度和偏移量计算该次回归的每一个特征，得出的更新值Δx＝x₁-x₀，通过偏移量Δx将特征点进行移动。

图2为本发明方法在训练阶段的算法流程图，在本方法的训练阶段，通过梯度下降法SDM的训练方法，通过提取多种特征，将每个特征作为一个任务，引用多任务学习计算不同特征在SDM的各个回归阶段的权值进行训练。其中，基于多任务学习的目标函数：

其中是由权重向量w^t确定的特征获取函数，为损失函数，Φ(w^t)为由权重产生的惩罚函数。在我们的方法中，假设不同的特征在级联回归的不同阶段能得到不同的效果，该目标函数的意义就是找到每种特征在各个阶段对于该阶段的标定效果有多少贡献，即w^t。

步骤4：根据步骤3计算得到的下降梯度以及偏移量重新计算这一步回归的更新值，根据每一个特征点的更新值计算该特征点的权值，即

步骤5：根据特征点的权值以及相应的特征的下降梯度和偏移量计算这一步回归的更新位置x₁：

x₁＝x₀+H(x₀,f,w)

x_n＝x_n-1+H(x_n-1,f,w)

其中，

步骤6：重复执行上述步骤3、步骤4、和步骤5的处理过程，在达到收敛的特征点位置(即最好的标注效果)前，作如下的步骤：

对于x_n上的每一个特征点，计算其特征点周围的特征值，计算得到的特征值为

通过SDM计算初始点与真实值之间的下降梯度以及偏移量，即

根据计算得到的下降梯度以及偏移量重新计算这一步回归的更新值，通过基于多任务学习的目标函数：进行求解，在根据每一种特征的更新值计算该特征对于最好的更新效果的权值，即

根据权值以及相应的特征的下降梯度和偏移量计算这一步回归的更新位置x_n。

直到特征点达到收敛。收敛条件为偏移值Δx小于某一阈值范围内即可，本方法的收敛条件在迭代五次以后可以达到。

综上所述，本发明实施例通过利用不同特征的表征优势(SIFT、HOG、LBP)，结合多任务学习的框架，解决了监督梯度下降法中的特征点定位中的学习不足的问题。同时提出了一种新的平均初始化模型的自适应初始化模型，提升了人脸特征点定位的初始化模型的检测性能，从而进一步提高了整个算法在人脸关键特征点定位上的准确程度。

本方法通过多任务学习得到的选择后特征表示来提高梯度下降法的鲁棒性，解决过度匹配的问题并且提高特征点识别的精确度。在目前著名而有效的几种人脸特征点识别数据库上，通过对目前主流的几种方法的试验比较，我们可以得出结论，本文改进的方法是十分有效的。

本领域普通技术人员可以理解：附图只是一个实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置或系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的装置及系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (4)

1.一种基于多任务学习的人脸关键特征点的定位方法，其特征在于，包括：

根据训练好的级联分类器对目标图像进行人脸区域检测，在识别出人脸区域后，利用人眼检测器定位所述人脸区域中的人眼的位置，计算出所述人脸区域中的两眼间的距离；

将所述人脸区域中的两眼间的距离与所述人脸平均模型中的两眼间的距离进行对比，根据比较结果确定所述人脸平均模型的缩放比例，利用所述缩放比例对所述人脸平均模型中的人脸区域进行位置调整，通过多任务学习方法定位所述目标图像对应的人脸区域中的人脸特征点。

2.根据权利要求1所述的方法，其特征在于，所述的将所述人脸区域中的两眼间的距离与所述人脸平均模型中的两眼间的距离进行对比，根据比较结果确定所述人脸平均模型的缩放比例，利用所述缩放比例对所述人脸平均模型中的人脸区域进行位置调整，包括：

将所述人脸区域中的两眼间的距离d与所述人脸平均模型中的两眼间的距离d’相除，得到所述人脸平均模型的缩放比例w，将所述人脸平均模型的坐标轴与所述人脸区域的左上角对齐，根据w对所述人脸平均模型的所有初始点(x′,y′)的坐标进行放大，即

(x_n，y_n)＝(x′_n*w，y′_n*w)。

3.根据权利要求2所述的方法，其特征在于，所述的通过多任务学习方法定位所述目标图像对应的人脸区域中的人脸特征点，包括：

步骤1、通过进行了位置调整后的人脸平均模型初始化训练集的图片，得到N幅初始化后的初始形状，都记为y₀；

步骤2：对于每一幅目标图像对应的人脸区域中的每一个特征点，计算其特征点周围的特征值，若有i种特征值，计算得到的特征值为

步骤3：假设一共有T个任务，样本中有N幅图片需要进行学习，用来表示第t个任务所需的输入，其中t＝{1,…,T}，i＝{1,…,N}，为第i幅图像的第t种特征向量，为表示这一特征向量的标签；

通过SDM计算第一个回归阶段的下降梯度R₀和偏移量b₀，计算不同特征的下降梯度和偏移量，分别表示为和通过该回归阶段所求出的梯度和偏移量计算该次回归的每一个特征，得出的更新值Δx＝x₁-x₀，通过偏移量Δx将特征点进行移动；在训练阶段，通过梯度下降法SDM的训练方法，通过提取多种特征，将每个特征作为一个任务，引用多任务学习计算不同特征在SDM的各个回归阶段的权值进行训练，其中，基于多任务学习的目标函数：

$\arg \underset{{\left\{w^t\right\}}_{t=1}^T}{\min }\underset{t=1}{\overset{T}{\Σ}}\underset{i=1}{\overset{N}{\Σ}}l(y_i^t,f(x_i^t;w^t\left)\right)+\mathrm{\Φ}\left(w^t\right)$

其中是由权重向量w^t确定的特征获取函数，为损失函数，Φ(w^t)为由权重产生的惩罚函数，假设不同的特征在级联回归的不同阶段能得到不同的效果，该目标函数的意义就是找到每种特征在各个阶段对于该阶段的标定效果有多少贡献，即w^t；

步骤4：根据步骤3计算得到的下降梯度以及偏移量重新计算这一步回归的更新值，根据每一个特征点的更新值计算该特征点的权值，即

步骤5：根据特征点的权值以及相应的特征的下降梯度和偏移量计算这一步回归的更新位置x1：

x₁＝x₀+H(x₀,f,w)

x_n＝x_n-1+H(x_n-1,f,w)

其中，

步骤6：重复执行上述步骤3、步骤4、和步骤5的处理过程，直到特征点达到收敛。

4.根据权利要求3所述的方法，其特征在于，所述特征点的收敛条件为特征点的偏移值Δx小于设定阈值范围。