CN107004136B - 用于估计人脸图像的人脸关键点的方法和系统 - Google Patents

Abstract

公开一种用于估计人脸图像的人脸关键点的方法，以及一种用于估计人脸图像的人脸关键点的系统。该方法可包括：获取具有第一类型关键点标注的第一人脸图像数据集和具有第二类型关键点标注的第二人脸图像数据集；将第一类型关键点标注从第一人脸图像数据集转移到第二人脸图像数据集，以获取第二人脸图像数据集的伪第一类型关键点标注；以及将具有伪第一类型关键点标注的第二人脸图像数据集和第一人脸图像数据集进行组合，以使第二人脸图像数据集具有第一类型关键点标注。

Description

用于估计人脸图像的人脸关键点的方法和系统

技术领域

本申请涉及用于估计人脸图像的人脸关键点的方法，以及用于估计人脸图像的人脸关键点的系统。

背景技术

人脸对齐是各种人脸分析的关键部分，诸如，人脸验证和表情分类。已经公布了各种基准数据集，每个数据集含有大量加了标签的图像。尽管在收集数据集时尽可能使得数据集丰富且多样化，但实际上，数据集固有的偏差是不可避免的。

偏差的呈现形式是：数据集上存在的不同特征和分布。例如，一个集主要含有多数是正脸的白种高加索男性，而另一集由带有各种姿势或严重遮挡的颇具挑战性的样本组成。此外，在数据集上，轮廓视图(profile views)之间的分布差异可相差几乎10％以上。显然，在一个数据集上强制训练模型将容易导致过度拟合，并且导致在未知领域中表现会较差。为了改善一般化(generalization)，具有实际意义的是将不同数据集组合，以便利用多个来源的特征和分布。然而，由于需要在数据库融合成为可能之前付出大量努力对标注差距(annotation gap)进行标准化，因此该想法被阻碍。

发明内容

在本申请的一方面，公开用于估计人脸图像的人脸关键点的方法，该方法包括：

获取具有第一类型关键点标注的第一人脸图像数据集和具有第二类型关键点标注的第二人脸图像数据集；

将第一类型关键点标注从第一人脸图像数据集转移到第二人脸图像数据集，以获取第二人脸图像数据集的伪第一类型关键点标注；以及

将具有伪第一类型关键点标注的第二人脸图像数据集和第一人脸图像数据集进行组合，以使第二人脸图像数据集具有第一类型关键点标注。

在本申请的另一方面，公开用于估计人脸图像的人脸关键点的系统，该系统包括：

转移对齐装置，其被配置成获取具有第一类型关键点标注的第一人脸图像数据集和具有第二类型关键点标注的第二人脸图像数据集，并且将第一类型关键点标注从第一人脸图像数据集转移到第二人脸图像数据集，以获取第二人脸图像数据集的伪第一类型关键点标注；以及

数据增补装置，其被配置成将具有伪第一类型关键点标注的第二人脸图像数据集和第一人脸图像数据集进行组合，以使第二人脸图像数据集具有第一类型关键点标注。

附图说明

下文参考附图描述本发明的示例性非限制实施例。附图是说明性的，并且一般不按确切比例。不同图上的相同或类似元件引用相同的附图标号。

图1是示出根据本申请的一个实施例的用于转移人脸关键点标注的示例性系统100的示意图。

图2是示出根据本申请的一个实施例的用于转移对齐装置10的示例性框图的示意图。

图3示出用来展示单元101到106如何协作以获取新训练集的伪S型标注的过程300的流程图。

图4是示出符合本申请的一些公开实施例的用于转移模型训练单元的详细过程的示意流程图。

图5示出符合本申请的另一公开实施例的数据增补装置的过程的流程图。

图6是示出根据本申请的一个实施例的用于确定人脸关键点的示例性系统的示意图。

图7示出根据本申请的一个实施例的训练装置训练预测装置的过程的流程图。

图8示出根据本申请的一个实施例的用于预测装置的详细过程的流程图。

具体实施方式

现在将详细参考示例性实施例，这些实施例的示例将在附图中说明。在适当的时候，附图中相同的附图标号始终指代相同或相似部分。

图1是示出根据本申请的一个实施例的用于转移人脸关键点标注的示例性系统100的示意图。如图1所示，用于转移人脸关键点标注的系统100可包括转移对齐装置10和数据增补装置20。

转移对齐装置10被配置成获取具有S型关键点标注的第一人脸图像的第一(原始)训练集(下文也称为“集1”)和具有T型关键点标注的第二(新)训练集(下文也称为“集2”)，并且将S型关键点标注从原始人脸图像数据集(训练数据集)转移到新训练集，以便获取新训练集的伪S型标注。在本申请的实施例中，关键点标注可包括给定人脸图像上的人脸关键点，诸如，眼睛、鼻子和嘴角。数据增补装置20便被配置成将具有伪S型关键点标注的新训练集和原始训练集组合成经增补的数据训练集，即，使新训练集具有S型关键点标注。根据本申请的一些实施例，S型可更密集，具有多个(例如，194个或更多)关键点，甚至人脸外轮廓都被标注，而T型可更稀疏，只具有仅在眼睛和嘴角上的少许(例如，5个)关键点。

只有在提供新训练集上的T型标注时，这个转移对齐装置10才可预测新训练数据集上的S型标注。但本申请的目标是预测任意输入人脸图像的S型标注，使得不需要T型标注来预测关键点标注。由于包括比新训练数据集更多样的训练样本，因此，可得到用于预测人脸图像的S型关键点的更稳健模型。

在本申请的一个实施例中，转移对齐装置还被配置成从第一类型关键点与第二类型关键点标注之间的公用关键点索引、初始第一类型标注和第一人脸图像数据集中确定转移模型{M_PCA,k,M_reg,k}；并且基于转移模型，将第一关键点标注从第一人脸图像数据集转移到第二人脸图像数据集，以获取第二人脸图像数据集的伪第一类型关键点标注。图2是示出根据本申请的一个实施例的用于转移对齐装置10的示例性框图的示意图。如图2所示，转移对齐装置10可包括公用关键点确定单元101、映射单元102、第一标注估计单元103、转移模型单元104、第二标注估计单元105和伪标注确定单元106。

图3示出用来展示单元101到106如何协作以获取新训练集的伪S型标注的过程300的流程图。

在步骤S301处，公用关键点确定单元101操作以获取具有S型关键点标注的第一人脸图像的第一训练集{I₁,x_S,B₁}(集1)和具有T型关键点标注的第二训练集{I₂,x_T,B₂}(集2)，其中第一和第二训练集分别包括图像I₁和图像I₂中的每个人脸的边界框B₁和B₂，其中I_i表示来自具有索引i的训练图像集的人脸图像，x_k表示关键点位置(在x-y坐标中)，并且B₁和B₂分别表示图像I₁和图像I₂的边界框。然后，公用关键点确定单元101确定两个类型的标注(即，数据集1中的S型关键点标注和数据集2中的T型关键点标注)的多个公用关键点索引(x_S)_common。在实施例中，公用关键点(x_S)_common存在于数据集1和数据集2上。公用关键点标注被定义为以不同数据集上的决定性语义定义良好地标识的人脸关键点，诸如，左眼角和右眼角、嘴角和瞳孔中心。

在步骤S302处，映射单元102操作以获得从公用关键点标注索引(x_S)_common到原始训练集(即，集1)中的S型关键点x_S的映射矩阵T。为了获得映射，可使用简单线性回归，并且一般学习方案是其中x_sc是(x_S)_common的缩写，并且‘(x_S)_common*T’中的‘*’是指矩阵相乘，而不是卷积。

在步骤S303处，第一标注估计单元103操作以根据下列规则，基于从步骤S301中获取的公用关键点(x_S)_common和从步骤S302中获取的映射T来计算数据集1上的初始或估计的S型标注x：

x＝(x_S)_common*T。 1)

在步骤S304处，转移模型训练单元104操作以从来自步骤S301的公用关键点索引(x_S)_common、初始S型标注x和具有S型关键点标注的第一训练数据集{I₁,x_S,B₁}(即，数据集1)中确定转移模型M，这将在之后参考图4论述。

在步骤S305处，第二标注估计单元105接收新训练数据集(即，集2)(具有T型标注{I₂,x_T,B₂})并且根据下列规则，使用从S302获取的映射T和从S301获取的公用关键点索引(x_T)_common来得到新训练数据集(数据集2)的初始化/估计的标注x：

x＝(x_T)_common*T。 2)

在步骤S306处，针对迭代K中的每个，伪标注确定单元106操作以提取数据集1的局部外貌信息φ(x)和只针对公用关键点(x_S)_common的特征雅可比行列式φ(x^*)-φ(x)，然后根据下列规则，将局部外貌信息φ(x)和特征雅可比行列式连接，作为特征f：

f(x)＝[(φ(x^*)-φ(x))_common,φ(x)_private] 3)

其中[]是指矩阵连接，

φ(x)是根据坐标x来提取局部SIFT(尺度不变特征变换)特征，并且SIFT将被作为未知框。

然后，伪标注确定单元106操作以根据下列规则，基于转移模型M来计算估计的标注误差Δx：

Δx＝M_reg(M_PCA(f)) 4)

其中M_PCA将原始特征变换成PCA(主成分分析)特征，M_reg将PCA特征变换成回归位移目标。

伪标注确定单元106然后根据公式5)的规则来更新当前估计的标注x，并且从最后的迭代中输出x，即，伪标注

x＝x+Δx 5)

在下文中，将参考图4进一步论述转移模型训练单元104的详细过程。

在步骤S3041处，将由转移模型训练单元104来准备训练数据集。具体地说，转移模型训练单元104接收具有S型关键点标注的第一人脸图像的第一训练数据集{I₁,x_S}(数据集1)并且准备下列数据，然后开始针对k个迭代进行训练：

1)公用关键点索引(x_S)_common，

2)人脸图像I＝I₁，

3)初始化/估计的标注x

4)基本真实标注x^*＝x_S

在步骤S3042处，转移模型训练单元104操作以提取：(1)数据集1的局部外貌信息φ(x)，和(2)只针对公用关键点(x_S)_common的特征雅可比行列式φ(x^*)-φ(x)，然后根据公式3)的规则将这两部分(1)和(2)连接，作为特征f，如上文所述。

在S3043处，转移模型训练单元104根据Δx＝x^*-x的规则来计算估计的当前形状x与基本真实形状x^*之间的相异度。

在S3044处，转移模型训练单元104经由对特征f执行PCA分析来得到PCA投影模型M_PCA；并且经由岭回归得到从PCA投影特征到相异度的映射M_reg。在本申请的一个实施例中，出于训练的目的，使用奇异值分解来执行主成分分析(PCA)，从而输出含有均值向量和投影系数的PCA投影模型M_PCA。在测试阶段，通过首先减去具有均值向量的原始特征，然后执行与投影系数的矩阵相乘来获取PCA投影特征。岭回归(ridge regression)是含有系数和偏差的映射函数，它将用来获取Δx，如等式4所示。

在步骤S3045处，转移模型训练单元104操作以确定估计的形状是否收敛到基本真实形状。如果是的话，那么在步骤S2046处，转移模型训练单元104将根据下列规则来确定转移模型M(含有用于每个迭代的PCA(主成分分析)投影模型和映射函数)：

否则，在步骤S3047处，将估计的标注更新为x＝x+M_reg(M_PCA(f))，然后将它输入到步骤S3041。

在下文中，将详细论述数据增补装置20。如上文所述，数据增补装置20被配置成将具有伪S型关键点标注的新训练集和原始训练集组合成经增补的数据训练集。用于新训练集的S型关键点标注可不准确，所以它被称为“伪S型标注”，因此需要然后的数据增补过程，以从伪S型标注中移除误差。

图5示出数据增补装置20的过程的流程图500。具体而言，在步骤S501处，数据增补装置20操作以通过将估计的公用关键点和基本真实公用关键点进行比较来从新训练数据集的伪S型关键点标注中过滤错误转移的标注，以便得到清理后的训练集在步骤502处，数据增补装置20接收原始训练集(数据集1)(具有S型关键点标注{I₁,x_S,B₁})，然后将清理后的新训练集与原始训练集进行组合，以获取{I_A,x_S,B}。

图6是示出根据本申请的一个实施例的用于确定人脸关键点的示例性系统1000的示意图。如图6所示，除了转移对齐装置10和数据增补装置20之外，系统1000还可包括训练装置30和预测装置40。系统1000中的转移对齐装置10和数据增补装置20的操作与系统100的那些装置相同，因此，下文将省略它们的详细描述。

由数据增补装置20生成的组合数据集可被作为训练装置30用来训练预测装置40的预定训练集。

图7示出训练装置30训练预测装置40的过程的流程图700。在步骤S701处，训练装置30接收来自数据增补装置20的具有图像的边界框的经增补训练集{I_A,x_S,B}，然后学习初始化函数init(B)，以估计初始关键点与边界框B之间的关系，以便根据边界框B和学习的init(B)来得到初始化的关键点x。可直观地确定函数init(B)。例如，它可相对于边界框来生成初始关键点，例如，以定位初始左眼中心，来自所有训练样本的相对位置都将被平均地学习，然后它找到左眼位置(向上高度0.25且向左0.3)。如果存在具有上：100、下：200、左：500、右：600的测试样本的边界框，那么左眼中心的初始坐标将是x＝530，y＝125。相对于左眼中心而言，本申请始终将0.25和0.3用于所有样本，并且其他关键点相同。

在步骤S702处，将准备训练数据集。具体地说，训练装置30接收具有S型关键点标注的第一人脸图像的第一训练集{I₁,x_S}(数据集1)并且准备下列数据，然后开始针对k个迭代进行训练：

人脸图像I＝I_A，

初始化/估计的标注x

基本真实标注x^*＝x_S，

在步骤S703处，训练装置30操作以提取经增补训练集{I_A,x_S,B}的局部外貌信息φ(x)，并且将提取的局部外貌信息表示为特征f。

在步骤S704处，训练装置30操作以根据Δx＝x^*-x的规则来计算估计的当前形状x与基本真实形状x^*之间的相异度Δx。

在步骤S705处，训练装置30经由对特征f执行PCA(主成分分析)分析来得到PCA投影模型M_PCA,k；并且经由岭回归得到从PCA投影特征到相异度的映射M_reg,k。

在步骤S706处，训练装置30操作以确定估计的形状是否收敛到基本真实形状。如果是的话，那么在步骤S707处，训练装置30将确定模型M＝{M_PCA,k,M_reg,k}，(含有用于每个迭代的PCA投影模型和映射函数)。

否则，在步骤S708处，将估计的标准更新为x＝x+M_reg(M_PCA(f))，然后将它输入到步骤S702，以重复步骤S703到S708，以便获取稳健模型训练模型M和初始化函数init(B)。

再次参考图6，预测装置40被配置成接收具有预先检测的边界框B的人脸图像，并且预测人脸关键点位置，即，所接收的人脸图像的人脸关键点的估计2D坐标(x和y)。将参考图8进一步论述预测装置40的详细过程。

在步骤S801处，预测装置40得到来自训练装置30的初始化函数init(B)，并且根据所接收的人脸图像的边界框B和init(B)来得到初始化的关键点x。在步骤S802处，预测装置40得到来自训练装置30的稳健模型训练模型M，然后针对每个迭代，预测装置40计算局部外貌信息φ(x)，作为特征f，并且根据Δx＝M_reg(M_PCA(f))的规则来计算估计的Δx。然后，预测装置40操作以根据x＝x+Δx的规则来更新关键点x。最后，单元40从迭代K的最后迭代中输出x。

在上文中，已经在使用某一硬件或者硬件和软件的组合来实施系统10和100的情况下论述了系统。应了解，也可使用软件来实施系统10和100。此外，本发明的实施例可适于计算机程序产品，所述计算机程序产品体现在含有计算机程序代码的一个或多个计算机可读存储介质上(包括但不限于，磁盘存储器、CD-ROM、光学存储器等)。

在用软件实施系统10和100的情况下，这些系统100可在下列中运行：通用计算机、计算机集群、主流计算机、专用于提供在线内容的计算装置，或者计算机网络，所述计算机网络包括一组以集中或分布方式操作的计算机。

尽管已描述了本发明的优选示例，但在了解本发明基本概念后，本领域的技术人员可对这些示例进行变化或更改。所附权利要求书意图包括落入本发明的范围内的优选实例和所有变化或更改。

显然，在不脱离本发明的精神和范围的情况下，本领域的技术人员可对本发明进行变化或更改。因此，如果这些变化或更改属于权利要求书和等效技术的范围，那么它们也可落入本发明的范围内。

Claims (18)

1.一种用于估计人脸图像的人脸关键点的方法，包括：

获取具有第一类型关键点标注的第一人脸图像数据集和具有第二类型关键点标注的第二人脸图像数据集；

将所述第一类型关键点标注从所述第一人脸图像数据集转移到所述第二人脸图像数据集，以获取所述第二人脸图像数据集的伪第一类型关键点标注；以及

将具有伪第一类型关键点标注的所述第二人脸图像数据集和所述第一人脸图像数据集进行组合，以使所述第二人脸图像数据集具有所述第一类型关键点标注。

2.根据权利要求1所述的方法，其中所述第一类型关键点标注包括S型关键点标注，并且所述第二类型关键点标注包括T型关键点标注。

3.根据权利要求1所述的方法，其中所述转移的处理还包括：

从所述第一类型关键点标注与所述第二类型关键点标注之间的公用关键点索引、初始第一类型标注和所述第一人脸图像数据集中确定出转移模型；以及

基于所述转移模型，将所述第一类型关键点标注从所述第一人脸图像数据集转移到所述第二人脸图像数据集，以获取所述第二人脸图像数据集的伪第一类型关键点标注。

4.根据权利要求3所述的方法，其中所述确定的处理还包括：

1)确定所述第一类型关键点标注和所述第二类型关键点标注的多个公用关键点索引；

2)获得从确定的公用关键点索引(x_S)_common到所述第一类型关键点标注的映射矩阵；

3)基于所述公用关键点索引和所述映射矩阵来确定所述第二人脸图像数据集的初始第一类型标注；

4)从所述公用关键点索引、所述初始第一类型标注和所述第一人脸图像数据集中确定出所述转移模型。

5.根据权利要求4所述的方法，其中所述转移的处理还包括：

5)从所述映射矩阵和所述公用关键点索引中确定所述第二人脸图像数据集的估计的标注x；

6)基于所述转移模型、所述第一人脸图像数据集的局部外貌信息φ(x)和公用关键点索引(x_s)_common的特征雅可比行列式φ(x^*)-φ(x)来确定估计的误差Δx；

7)根据x＝x+Δx的规则来更新当前估计的标注x，以便获取所述伪第一类型关键点标注，

其中x^*表示x的基本真实标注。

6.根据权利要求5所述的方法，其中步骤6)还包括：

提取所述第一人脸图像数据集的局部外貌信息φ(x)和公用关键点索引(x_S)_common的特征雅可比行列式；

将所述局部外貌信息和所述特征雅可比行列式连接；以及

基于所述转移模型，从所述局部外貌信息和所述特征雅可比行列式的连接中确定估计的误差Δx。

7.根据权利要求1所述的方法，其中所述组合的处理还包括：

将估计的公用关键点索引与基本真实公用关键点索引进行比较，以从所述第二人脸图像数据集的所述伪第一类型关键点标注中得到错误转移的标注；

过滤掉所述错误转移的标注，以便得到清理后的人脸图像数据集；

接收所述第一人脸图像数据集；以及

将所述清理后的新人脸图像数据集与所述第一人脸图像数据集进行组合，以获取经增补的人脸图像数据集{I_A,x_S,B}，

其中B表示经增补的所述人脸图像数据集中的图像的边界框；X_s表示关键点标注并且I_A表示人脸图像的索引。

8.根据权利要求7所述的方法，还包括：

接收具有图像的边界框的经增补的所述人脸图像数据集{I_A,x_S,B}，以及

估计初始关键点与所述边界框B之间的关系，以根据所述边界框B来得到初始化的关键点索引。

9.根据权利要求8所述的方法，还包括：

接收具有预先检测的边界框B的人脸图像；以及

预测接收的人脸图像的人脸关键点的人脸关键点位置。

10.一种用于估计人脸图像的人脸关键点的系统，包括：

转移对齐装置，其被配置成获取具有第一类型关键点标注的第一人脸图像数据集和具有第二类型关键点标注的第二人脸图像数据集，并且将所述第一类型关键点标注从所述第一人脸图像数据集转移到所述第二人脸图像数据集，以获取所述第二人脸图像数据集的伪第一类型关键点标注；以及

数据增补装置，其被配置成将具有伪第一类型关键点标注的所述第二人脸图像数据集和所述第一人脸图像数据集进行组合，以使所述第二人脸图像数据集具有所述第一类型关键点标注。

11.根据权利要求10所述的系统，其中所述第一类型关键点标注包括S型关键点标注，并且所述第二类型关键点标注包括T型关键点标注。

12.根据权利要求10所述的系统，其中所述转移对齐装置还被配置成从所述第一类型关键点标注与所述第二类型关键点标注之间的公用关键点索引、初始第一类型标注和所述第一人脸图像数据集中确定出转移模型，并且基于所述转移模型，将所述第一类型关键点标注从所述第一人脸图像数据集转移到所述第二人脸图像数据集，以获取所述第二人脸图像数据集的伪第一类型关键点标注。

13.根据权利要求10所述的系统，其中所述转移对齐装置还包括：

公用关键点确定单元，其被配置成确定所述第一类型关键点标注和所述第二类型关键点标注的多个公用关键点索引；

映射单元，其被配置成获得从确定的公用关键点索引到所述第一类型关键点标注的映射矩阵；

第一标注估计单元，其被配置成基于所述公用关键点索引和所述映射矩阵来确定所述第二人脸图像数据集的初始第一类型标注；

转移模型训练单元，其被配置成从所述公用关键点索引、所述初始第一类型标注和所述第一人脸图像数据集中确定出所述转移模型。

14.根据权利要求13所述的系统，其中所述转移对齐装置还包括：

第二标注估计单元，其被配置成从所述映射矩阵和所述公用关键点索引中确定所述第二人脸图像数据库的估计的标注x；

伪标注确定单元，其被配置成基于所述转移模型、所述第一人脸图像数据集的局部外貌信息φ(x)和公用关键点索引的特征雅可比行列式φ(x^*)-φ(x)来确定估计的误差Δx，然后根据x＝x+Δx的规则来更新当前估计的标注x，以便获取所述伪第一类型关键点标注，

其中x^*表示x的基本真实标注。

15.根据权利要求14所述的系统，其中所述伪标注确定单元还被配置成通过下列来确定所述估计的误差Δx：

提取所述第一人脸图像数据集的局部外貌信息φ(x)和公用关键点索引(x_S)_common的特征雅可比行列式；

将所述局部外貌信息和所述特征雅可比行列式连接；以及

基于所述转移模型，从所述局部外貌信息和所述特征雅可比行列式的连接中确定估计的误差Δx。

16.根据权利要求10所述的系统，其中所述数据增补装置还被配置成：

将估计的公用关键点索引与基本真实公用关键点索引进行比较，以从所述第二人脸图像数据集的所述伪第一类型关键点标注中得到错误转移的标注；

过滤掉错误转移的标注，以便得到清理后的人脸图像数据集；

接收所述第一人脸图像数据集；以及

将所述清理后的新人脸图像数据集与所述第一人脸图像数据集进行组合，以获取经增补的人脸图像数据集{I_A,x_S,B}，其中B表示所述经增补的人脸图像数据集中的图像的边界框；X_s表示关键点标注并且I_A表示人脸图像的索引。

17.根据权利要求16所述的系统，其还包括：

训练装置，其被配置成接收具有图像的边界框的经增补的所述人脸图像数据集{I_A,x_S,B}，以及

预测装置，估计初始关键点与所述边界框B之间的关系，以便根据所述边界框B来得到初始化的关键点。

18.根据权利要求17所述的系统，其中，所述预测装置接收具有预先检测的边界框B的人脸图像，并且预测接收的人脸图像的人脸关键点的人脸关键点位置。