CN106548521A - 一种联合2d+3d主动外观模型的人脸对齐方法及系统 - Google Patents

Abstract

本发明公开了一种联合2D+3D主动外观模型的人脸对齐方法及系统，方法包括：对目标物体建立3D形变模型，所述3D形变模型至少包括：形状模型和纹理模型，通过所述形状模型包括：形状特征，所述纹理模型包括：纹理特征；根据所述3D形变模型计算得到三维形状，且根据所述三维形状生成限制函数；通过所述限制函数对设定函数进行拟合，最小化所述设定函数；以及，通过Delaunay三角剖分，将所述纹理特征分成不同的三角形网格；基于BLF局部二值特征进行判定，得到人脸对齐结果。本发明提供保障准确率和跟踪速度的联合2D+3D主动外观模型的人脸对齐方法，使得识别结果更加准确和高效。

Description

一种联合2D+3D主动外观模型的人脸对齐方法及系统

技术领域

本发明涉及人脸对齐技术，特别涉及一种联合2D+3D主动外观模型的人脸对齐方法及系统

背景技术

目前，人脸对齐技术的应用领域，主要在变脸特效，性别识别，年龄识别，智能贴图等。

人脸对齐又称人脸特征点对齐。首先在原始的人脸图像中标记特征点，该特征点位置的选取一般为人脸特征较为明显，易区分的地方，例如眉毛，鼻孔，脸颊，嘴唇等；除此之外，还需要对人脸特点的个数进行控制。并不是特征点个数越多，人脸对齐的效果就会越好。在到达了一定数目后，可能人脸对齐的效果变不再增强，甚至反而准确率降低。并且特征点数目过多，必然会导致提取特征的时间变长，有可能降低跟踪速度。现有技术中，人脸对齐技术包括很多，但是无法同时保障准确率和跟踪速度。目前国际人脸对齐数据库ibug中最长用的为68个点。根据系统的不同，可以酌情减少或者增加一些特征点。

发明内容

本发明要解决的技术问题是，提供保障准确率和跟踪速度的联合2D+3D主动外观模型的人脸对齐方法。

解决上述技术问题，本发明提供了一种联合2D+3D主动外观模型的人脸对齐方法，包括如下步骤：

对目标物体建立3D形变模型，所述3D形变模型至少包括：形状模型和纹理模型，通过所述形状模型包括：形状特征，所述纹理模型包括：纹理特征；

根据所述3D形变模型计算得到三维形状，且根据所述三维形状生成限制函数；

通过所述限制函数对设定函数进行拟合，最小化所述设定函数；

以及，通过Delaunay三角剖分，将所述纹理特征分成不同的三角形网格；

基于BLF局部二值特征进行判定，得到人脸对齐结果。

更进一步，所述形状模型中的形状矩阵表示为平均形状再加上个形状矩阵的线性组合：

是形状参数。

更进一步，所述纹理模型中的纹理图像表示为平均纹理再加上个纹理图像的线性组合：是纹理参数。

更进一步，所述限制函数

其中q为成像参数。

更进一步，所述设定函数为：

P为主动外观模型形状λ为纹理，q为正规化参数。

更进一步，所述Delaunay三角剖分具体包括：

首先，确定所有的特征点的集合为V，每个特征点记为v,并且所有的特征点都在同一个平面内；

然后，各个特征点之间的连线的集合成为E，每条边记为e,每条边均由所有特征点集合内的任两个特征点作为端点的封闭的连线，所有特征点的集合便形成了一个三角剖分T＝(V,E)是一个平面图G；

除了每个特征点之外，该图中的每条边均不能包含任意其他的特征点；

和/或，所有的边均不能有相交的边；

和/或，平面中的所有的三角形组成的面是三角面，并且所有三角平面的集合是所有特征点集合V的凸包。

更进一步，所述BLF局部二值特征具体包括如下步骤：

首先初始化一个形状，最终的目的是为了将形状里的每一个特征点移到相应的眼睛、鼻子等特征的相应位置上；基于该形状，采集每一个特征点周围的局部二值特征；计算当前的形状与人工标记好的形状的偏移量，学习特征与该偏移量的关系；将当前的形状偏移量加上这个阶段的初始形状，就是最终预测的形状。

基于上述本发明还提供了一种联合2D+3D主动外观模型的人脸对齐系统，包括：

三维形变模型单元，用以对目标物体建立3D形变模型，所述3D形变模型至少包括：形状模型和纹理模型，通过所述形状模型包括：形状特征，所述纹理模型包括：纹理特征；

三维形状形成单元，用以根据所述3D形变模型计算得到三维形状，且根据所述三维形状生成限制函数；

限制单元，用以通过所述限制函数对设定函数进行拟合，最小化所述设定函数；

剖分单元，用以通过Delaunay三角剖分，将所述纹理特征分成不同的三角形网格；

特征单元，用以基于BLF局部二值特征进行判定，得到人脸对齐结果。

更进一步，所述三维形变模型单元还用以进行如下方式的建模：

将样本两两进行Procrustes变换，使得所有对象都移动到固定的初始位置，大小、角度也一致。然后对所有转换后的样本求平均，就得到了平均形状。再分别对形状和纹理进行PCA，就得到了和 和分别为平均形状和平均纹理。

更进一步，所述三维形状形成单元在所述限制单元中限制拟合，并采用逆向复合算法对函数进行最小化

本发明的有益效果：

本发明基于联合2D+3D主动外观模型的，实现了保障准确率和跟踪速度的人脸对齐方法，通过实验证明了不同特征点对本发明中人脸对齐算法的影响。

附图说明

图1是本发明一实施例中的联合2D+3D主动外观模型的人脸对齐方法流程示意图；

图2是本发明一实施例中的联合2D+3D主动外观模型的人脸对齐系统结构示意图。

图3(a)-图3(j)是基于AAM的形状对齐结果示意图。

具体实施方式

现在将参考一些示例实施例描述本公开的原理。可以理解，这些实施例仅出于说明并且帮助本领域的技术人员理解和实施例本公开的目的而描述，而非建议对本公开的范围的任何限制。在此描述的本公开的内容可以以下文描述的方式之外的各种方式实施。

如本文中所述，术语“包括”及其各种变体可以被理解为开放式术语，其意味着“包括但不限于”。术语“基于”可以被理解为“至少部分地基于”。术语“一个实施例”可以被理解为“至少一个实施例”。术语“另一实施例”可以被理解为“至少一个其它实施例”。

原理说明：

主动形状模型

ASM(Active Shape Model)又称主动形状模型，主要对目标物体建立形状模型，通过先验知识获得初始训练得到的形状模型，再将该模型应用到其他方面。例如特征提取等。ASM主要包括模型训练及模型拟合两个部分。

2.1.1主动形状模型的训练

(1)图片特征点标记

首先应该获得n张图片，这n张图片的尺寸，模糊程度以及背景都不做要求，单必须包含人脸。人脸的尺寸，肤色，人种，性别及年龄大小也不做要求。因为，会在获得形状模型之后对其进行归一化的操作，所以在标记特征点阶段，不做要求。注意，如果一张图像中包含多个人脸也可以，并不影响最终的效果。获得图片后，开始对图像中的人脸进行特征点的标记，标记特征点的个数为68个。标记特征点既可以使用程序自动对齐进行标记，并获得特征点的位置坐标；还可以通过标记特征点工具对其进行手动标记，同时自动获得特征点的位置坐标。

(2)建立形状模型标记好k个特征点之后，我们便可根据特征点的位置坐标获得形状向量。

其中表示，第i个训练样本即训练图片，上的第j个特征点的坐标，n表示训练样本的个数，即训练图片的个数。

(3)形状对齐过程

在最初对图片中人脸进行特征点标记时，没有对图片进行任何的操作，例如尺寸，人脸方向等的修正。此时，需要对获得的人脸形状模型进行对齐操作，消除尺度，方向等因素。在获得所有人脸形状向量之后，将每一个人脸模型均对齐到第一个人脸模型上。在给定两个2维模型形状，x与y，实际上是找到变换R，使得y＝R(x).所以，如果想要获得形状对齐的话，就是对y进行R操作。在程序中，为确定形状对齐的准确，需要找到合适的能量函数。一般采用距离的平方和为能量函数：

E＝(R(x)-x)²

本申请中采用的为普鲁克分析方法，该方法主要用于对齐两两形状向量，最后将所有形状向量进行对齐。该方法采用的能量函数为：

D＝∑|x-y|²

其实，这是一个不明确的含义，因为只有在均值形状对齐上使用相应的约束，才能保证最后求的形状对齐变换为最合适也是最重要的形状变换。所以，应该尽可能保证所有形状模型的重心在同一点，最好是原点。除此之外，所有模型的尺度应该都是归一化为1的尺度；最重要的是还要保证所有的模型都应该有固定的方向，而不是随意的方向。普鲁克分析方法，针对上述的人脸数据集模型，主要求出四个重要的参数变量。分别为，旋转角度，缩放尺度，水平方向，还有垂直方向平移量。形状模型变量对齐的过程实际上就是使得能量函数最小化的一个过程。在计算机视觉领域中，针对所有向量的处理，我们都可以发现，其实是对矩阵的求解。该矩阵一般均为变换矩阵的求解。只有求出变换矩阵，才知道两个不同基下的形状均拥有怎么的变换基。这样会使得形状对齐的更加准确。

2.1.2普鲁克分析方法

(1)首先需要移动每一个形状模型向量，来使得这些所有的形状模型向量的重心都是在原点。(2)然后将第一个形状模型向量作为一个最开始的形状模型向量的初始化，同时还要将其进行尺度归一化的操作。(3)将得到的第一个形状模型向量进行记为初始的平均形状模型向量，作为以后所有的模型形状向量的参考向量。(4)将随后的所有的形状向量进行同样的操作，并将第一个模型作为参考进行对齐。(5)在已经对齐的模型，重新根据第一步的操作，重新获得新的平均形状模型向量。(6)针对当前获得的平均形状模型向量，加上我们之前讲过的约束，并且进行尺度化操作。(7)、如果能量函数没有收敛，那么我们需要继续进行对齐操作，返回4如果没有收敛，返回到4操作，如果满足能量函数要求，退出.针对能量函数收敛，如果在每一次的迭代能量函数的过程中，平均形状模型向量应该没有太大的明显的变化，此时应该满足能量函数不收敛的约束。模型的形状向量对齐的对过程中，应该每一步的操作都会影响最后的结果。针对于2维和3维形状向量模型的两种不同的情况，应该保证每个形状模型向量都移动到同一个原点，并且尺度化为1.最后，将每个形状模型向量的方向均固定为一个形状，是为了使它们都在同一个超平面。只有在同一个超平面内，我们才能够更好的调整所有模型的参数。此时主要应用每个形状模型向量的线性关系。如果发生形状模型向量发生了扭曲的形变，或者发生了不在同一个平面的形状变化，那么很明显，该形状模型向量发生了非线性变化。这是最不容易处理的情况。所以，我们应该想尽一切办法，使得形状模型向量均保持在同一个超平面。

2.1.3 PCA处理

当对所有的形状模型向量进行了对齐处理后，即获得了所有的可操作的形状模型向量。但由于形状模型向量的维数都非常大，有的甚至达到了百万、千万级别，所以需要对齐进行降维操作处理。最基本的降维操作处理即为PCA操作。PCA方法为主成分分析方法，在计算机视觉领域经常可以用到PCA方法来进行降维操作处理。在人脸跟踪，人脸识别等领域经常需要预处理具有百万，千万级别张照片的数据库，每一张图片又有非常多大的特征维度，一般在万级以上，所以如果想要加快计算机的特征计算速度，就必须要对特征维度进行降维操作处理。例如，针对每一张图片中的人脸，研究人员可能会提取出不同的特征，haar、局部特征，直方图分布特征，还有全局的颜色特征等等，那么这些特征的维度将会是另一个大的难处理的特征维度。在人脸特征点标记的图像中，假如每幅图像有64个特征点，并且每个特征点提取相应的特征，例如200维，那么该幅图像就有64*200维的特征需要计算，如果人脸数据库中有一百万张图片，此时如果对每个向量进行PCA处理，将其降维为60维，此时将会大大减少计算时间和存储空间。

(1)原始数据根据原始的形状模型向量的数据，都会获得一系列的向量模型，这些模型向量就是的初始数据。

(2)计算协方差矩阵

在所获得的所有的特征中，无法保证每个特征都是独立，如果每个特征都是独立的特征。而与其他的特征没有任何关系，那么此时，将获得最容易的操作，并且可以保证所有的特征操作都是线性相关的。但是如果此时所有的特征不能保证都是非相关，必须去处理掉他们的相关性。协方差矩阵，可以获得一个相应的转换矩阵，该矩阵可以使得我们的特征矩阵的每个维度的特征保持非相关性。即，任何一个特征均不与任一其他的特征保持相关性。协方差矩阵：假设我们已有一个包含n个采样的样本的集合，那么下面表示协方差矩阵会涉及到的相应的数学的概念：

均值：

标准差：

方差：

当我们获得了可以描述数据间的相应的关系的计算变量时，这些变量只使用与一维数据的情况。所以，如果我们想要完全的描述清楚多维数据之间的关系时，我们必须要使用协方差矩阵来描述。因为，协方差不仅可以计算机每一个单独维度的每一个方差，还可以计算出相应的特征维度之间的关系。

C_n*n＝(c_i，j，c_i，j＝cov(Dim_i，Dim_j))

例如三维的特征，则相应的协方差矩阵为：

由此可见，协方差矩阵是一个对称的矩阵，而且对角线是各个维度上的方差。计算协方差矩阵的特征向量和特征值：因为协方差矩阵为方阵，可以根据线性代数上的数学公式，轻松计算出它的特征向量和特征值。此时，可以看到这些矢量都是单位矢量，也就是它们的长度为1，这对PCA来说是很重要的。选择成分组成模式矢量：求出协方差矩阵的特征值及特征向量之后，按照特征值由大到小进行排列，这将给出成分的重要性级别。现在，如果你喜欢，可以忽略那些重要性很小的成分，当然这会丢失一些信息，但是如果对应的特征值很小，你不会丢失很多信息。如果你已经忽略了一些成分，那么最后的数据集将有更少的维数，精确地说，如果你的原始数据是n维的，你选择了前p个主要成分，那么你现在的数据将仅有p维。现在我们要做的是组成一个模式矢量，这只是几个矢量组成的矩阵的一个有意思的名字而已，它由你保持的所有特征矢量构成，每一个特征矢量是这个矩阵的一列。对于我们的数据集，因为有两个特征矢量，因此我们有两个选择。我们也可以忽略其中较小特征值的一个特征矢量。(3)得到降维后的数据最后的数据由模式矢量及模式矢量的适应相乘所得。模式矢量作为列组成的矩阵的转置，因此它的行就是原来的模式矢量，而且对应最大特征值的特征矢量在该矩阵的最上一行。模式矢量的适应是每一维数据减去均值后，所组成矩阵的转置，即数据项目在每一列中，每一行是一维，对我们的样本来说即是，第一行为x维上数据，第二行为y维上的数据。最后得到的数据，数据项目在它的列中，维数沿着行。我们的原始数据有两个轴(x和y)，所以我们的原始数据按这两个轴分布。我们可以按任何两个我们喜欢的轴表示我们的数据。如果这些轴是正交的，这种表达将是最有效的，这就是特征矢量总是正交的重要性。已经将的数据从原来的xy轴表达变换为现在的单个特征矢量表达。至此，获得基本的ASM中的平均形状模型。

2.2主动外观模型

AAM(Active Appearance Model)又称为主动外观模型，在目前人脸跟踪问题的解决上，基于模型的方法一直成为一个热点话题，同时有大量的学者一直致力于研究基于模型的人脸特征的表达。主要由于基于模型的表达方法有两个特有的优势，一、如果对进行建立相应的单独的人脸模型，那么该人脸模型具有很好的人脸特征的表达方式，此时的人脸特征模型，将具有在姿势，纹理，旋转等操作及特征的不变性，将会增强求解问题模型的鲁棒性，同时该模型所具有的复杂度并不会降低增大问题的求解难度；二、求解基于模型的人脸模型的人脸跟踪问题时，该模型所涉及到的参数问题，可以非常顺利的应用到人脸的其他领域，利于人脸特征提取，还有人脸表情识别等，所以这种模型具有广泛性。可以适应各种问题的求解。在这类方法中，AAM是非常具有代表性的一个例子。

AAM是一个具有人脸视觉现象特征表达性的的参数化生成模(parametricgenerative model)，主要用于非刚性物体建模人，而非刚性物体建模中，人脸模型的建立是最为重要的一个话题和应用表达方面。根据AAM的历史，可以向前一直联系到的相关的模型还有ASM(Active Shape Model)和Snake活动轮廓模型，这些对非刚性物体建模的模型都是需要对物体进行形状模型，因为物体的形状是一个物体视觉表达的最直观的特征，对形状进行建模不仅可以表达出物体特征，还有利于使用者对其进行改进，从而适用于各种物体的特征提取场景。AAM就是在ASM的的基础上增加相应的其他的特征形成的新的模型，在人脸跟踪领域，就模型来说，ASM有一个非常大的缺陷，该缺陷就是，ASM没有充分利用所有的人脸的信息。虽然形状模型可以充分的表达出一个物体的外形特征，但是一个物体的颜色纹理特征也是非常重要的一个方面，很显然ASM忽视了这方面的特征，所以AAM既对物体进行的形状的建模，同时也对物体进行了相应的颜色纹理的建模。

2.2.1主动外观模型的建立

AAM模型仍然使用了主成分分析方法对所得到的形状模型及纹理模型，还有相应的特种进行降维处理。其中AAM模型主要是将人脸模型当中的形状模型和纹理模型在平均形状模型和平均纹理的基础之上，将所得到的的所有的形状特征和纹理特征进行线性加权得到最终的模型。AAM之所以被称为是参数化模型，就在于这一系列特征向量的数目是事先确定的，并不随着观察的数据的增多而变化。在对人脸纹理特征采用PCA进行建模之前，需要首先对人脸形状进行归一化，得到形状无关部分，而归一化的标准是通过普鲁克分析得到；对形状的建模也存在类似的情况，在PCA之前先进行全局性变换，但这样得到的形状模型就不包含旋转、平移和尺度变换有关的信息，因此之后的模型拟合也需要首先对目标人脸进行相同的变换。对样本的对象两两进行Procrustes变换，最终所有对象都移动到固定的初始位置，大小、角度也一致。然后对所有转换后的样本求平均，就得到了平均形状。主动外观模型的形状模型是由2维三角网格表示。因此，将形状模型定义为三角网格中n个顶点的2维坐标集合。

主动外观模型的形状模型允许线性变化，所以形状矩阵S可以表示为一个平均形状S0再加上n个形状矩阵Si的线性组合：

其中的Pi为形状参数。通过PCA对标记在图像中网格进行分析，其中S0为平均形状，Si为对应的前n个最大的特征值的特征向量。主动外观模型的纹理模型是定义在平均形状网格上的，并且纹理指的是一幅图片A(u),u为定义在平均形状网格中的像素。主动外观模型的纹理模型允许线性变化，所以纹理模型可以表示为，一个平均纹理A0(u)再加上l个纹理图像的线性组合：

其中λi为纹理参数。与形状相同，通过PCA对标记在图像中网格进行分析得到Ai，A0为平均纹理。在得到形状模型和纹理模型后，我们假设形状模型Si与Ai相互正交。因此可以对这两个模型进行加权组合，就得到了组合模型，也就是主动外观模型，同时也得到了n+l个参数。此时，我们需要再一次进行PCA降维，最终得到r个参数，这时r<n+l，这些参数就是用来改变AAM模型特征的。

当分别获得人脸模型的形状模型和纹理模型之后，怎样将两者结合使用成为最后的AAM模型，有两种讨论方案。第一种是将形状模型和纹理模型分开来计算使用。这样的好处是可以保证形状模型和纹理模型的完整性，这样使得模型更加精确的表达人脸，从而使得模型更具有广泛的应用性；同时一般讲两个模型进行单独使用后，无论组合还是分开均可单独完整的表达人脸特征，所以人脸形状模型和人脸纹理模型具有相当大的灵活性。但此时有一个最大问题，就是如果我们将形状模型和纹理模型分开来计算的话，将会给我们带来很大的参数维度的计算，这将会大大降低系统的计算效率。第二种方案是将人脸形状模型和人脸纹理模型进行组合，形成联合性人脸模型。这使得人脸模型的最终参数之间将具有相当大的相关性，换言之，需要调整的参数将少于原有模型的参数，这将会使得整个人脸跟踪系统的效率提升很大。此时的一个很重要的难题就是，无法假设两个模型是相互正交的，这在计算机视觉领域是非常难解的难题，给后来的机器模型计算带来了很大的困难。所以，这将会导致在模型拟合的过程中，限制住了算法的应用。本篇论文主要应用了联合的AAM模型。因为，一般情况下，人脸的形状模型和人脸纹理模型都具有一定的相关性，例如，当人脸发生形变时，形状模型和人脸模型都会发生相应的改变。此时的形状模型和纹理模型分别表示为：

2.3联合2D+3D主动外观模型算法

2.3.1 3D形变模型

Combined 2D+3D AAM又称为联合2D+3D主动外观模型，与2D主动外观模型的思想一致，3D形变模型分为形状模型和纹理模型，并且都可线性变化。纹理模型表示为定义在2维空间中的平均形状内的像素点的值。同样地，将样本两两进行Procrustes变换，使得所有对象都移动到固定的初始位置，大小、角度也一致。然后对所有转换后的样本求平均，就得到了平均形状。再分别对形状和纹理进行PCA，就得到了和和分别为平均形状和平均纹理。

3D形变模型的形状模型是由3维三角网格表示。因此，将形状模型定义为三角网格中个顶点的3维坐标集合。

3维形变模型允许线性形状变化。形状矩阵表示为平均形状再加上个形状矩阵的线性组合：

这里的是形状参数。

3维形变模型允许线性纹理变化。纹理图像表示为平均纹理再加上个纹理图像的线性组合：这里是纹理参数。

因为纹理模型定义在2维三角网格内，并且2维三角网格与平均形状有相同的拓扑结构。所以，要想生成3维形变模型实例，首先要把3维形状转换到2维网格中。所以，要首先定义投影轴i＝(ix,iy,iz)及j＝(jx,jy,jz)和相对于原点的平移量(ox,oy)T。同时定义投影轴是等长的和正交的。所以，3D点X＝(x,y,z)T对应的2维点u是：

定义

2.3.2从主动外观模型计算三维形状

我们在所有N幅图片中堆积2维主动外观模型的形状向量到一个测量矩阵：

在这里M是一个2(N+1)*2规模的投影矩阵，并且B是一个3*n形状矩阵。因为是3维形状向量的数量，W的秩最多是3

通过对W执行奇异值分解，我们得到一个2(N+1)*3矩阵～M和一个3(m+1)*n矩阵B～。这个分解不是唯一的。任意一个非奇异3*3矩阵G，并且它的逆能够被插入在M～和B～之间，并且它们的积仍然等于W。M＝M～*G，B＝G-1*B～。

在对矩阵G进行特定的限制，M和B就能够被恢复。因此，就可以从主动外观模型计算出3维形状。

2.3.3用3D形状限制一个主动外观模型

得出的3D形变模型是主动外观模型建模得出的相同情况下的3维模型。如果我们定义:那么对于所有的成像条件情况来说3维形状模型的2维形状变化是：因此定义限制函数为：

其中q为成像参数。

2.3.4联合2D+3D主动外观模型的拟合

combined 2D+3D AAM模型的拟合是用3维形状限制拟合。主动外观模型拟合的目标是最小化以下函数：

采用的方法为逆向复合算法对该函数进行最小化。同时关于主动外观模型形状P，纹理λ以及正规化q参数。将拟合函数与限制函数组合，并添加比重K。当进行主动外观模型拟合的同时，最小化以下函数：

根据p,q,λ,P,当限制K→∞，此时该限制变为强限制。

在AAM模型进行逆向复合对齐进行拟合时，我们需要将图像中的人脸映射到我们的模型当中，并且同时应用到人脸形状模型及人脸纹理模型当中，所以应当将人脸特征点上的模型进行三角划分，然后将对应的三角形映射到相应的形状模型及纹理模型当中。

2.3.5 Delaunay三角剖分

在人脸对齐当中，当将人脸的各个特征点标记好后，并且得到AAM的人脸形状模型和人脸纹理模型时，有一个很重要的问题。人脸的纹理模型是基于平均纹理形状内的像素点采集的纹理特征。那么当人脸形状发生变化时，应该表达相应的纹理特征，从而使得以计算最终的损失函数。人脸所有的特征点可以看成一个图，此时，便可通过三角剖分的方法进行相同的三个特征点组成的纹理来进行一一映射。此时，需要便需要Delaunay三角剖分方法。Delaunay三角剖分是处理一系列的分散的特征点，将其分成不同的三角形网格，这就是Delaunay三角剖分需要做的。同时该三角剖分在计算机视觉和计算机图形学当中都有非常广泛并且重要的应用。

首先，确定所有的特征点的集合为V，每个特征点记为v,并且所有的特征点都在同一个平面内，这一点显然满足，因为针对每一张人脸，所有的特征点均来自同一张图片，也就是拥有同一张图片的坐标系。然后，各个特征点之间的连线的集合成为E，每条边记为e,每条边均由所有特征点集合内的任两个特征点作为端点的封闭的连线。因此，所有特征点的集合便形成了一个三角剖分T＝(V,E)是一个平面图G。该平面必须满足以下重要的条件，才能称为三角剖分。首先，除了每个特征点之外，该图中的每条边均不能包含任意其他的特征点；除此之外，所有的边均不能有相交的边；最后，平面中的所有的三角形组成的面，必须是三角面，并且所有三角平面的集合是所有特征点集合V的凸包。那么对于Delaunay三角剖分，还需要对边的约束更加强烈。如果该三角剖分，只包含Delaunay边的话，这样这个三角剖分才能被叫做Delaunay三角剖分。Delaunay边的定义：存在一个圆经过a,b两点，圆内(注意是圆内，圆上最多三点共圆)不含点集V中任何其他的点，这一特性又称空圆特性。Delaunay三角剖分具有以下几条重要的准则。1.最邻近性：每个三角形均有最邻近的三个特征点作为端点做成，同时，任意两个特征点的连线均不相交。2.唯一性：不管我们从哪一个特征点作为一个三角网格开始进行Delaunay三角剖分，最终的结果有且只能有一个结论。如果出现两个不同的结果，则必然有一个是错误的。3.最优性：不管哪两个最邻近的三角形，如果形成了凸四边形的话，则这个凸四边形的对角线并且可以相互交换的话，那么这两个三角形六个内角中最小的角度不会变大。4.最大性规则：如果将所有的小的三角网格进行从最小角度按照升序进行从小到大的排列，那么Delaunay三角剖分得到的三角网格排列结果应该是最大的。5.局部性：这一点主要是保持整体的完整性，即，在对局部任意一个三角网格进行增加特征点，删除特征点，或者移动特征点时，这些操作都只能够影响这一个三角网格，而其他的三角网格，仍然保持原来的状态。6.整体性：所有的特征点排列完成后，最外层组成的图形，必须是具有凸多边形，因此该三角网格必须是具有凸多边形的外衣的。

2.5局部二值特征

BLF(Binary Local Feature)又称为局部二值特征，判别性形状回归因其的准确性及鲁棒性的优势，成为一种非常重要的人脸对齐方法。这类方法不仅是纯判别性的，而且能够自适应地实行形状限制，同时能够对大量数据中的不平衡性进行平均化。形状回归以级联的方式来预测形状S。在训练阶段，通过学习获得的特征与形状偏移量S之间的关系来获得回归模型。在测试阶段，从初始的平均形状S。开始，通过预估每个阶段的形状偏移量，来逐个阶段的获得最终形状的估计值，从而获得最终的形状S。以级联的方式估计形状，可以降低每次计算形状偏移量的难度。获得该特征的方式为学习，所以不同于手动设定的特征，例如：SIFT。这样该特征更具有自适应性。因此，理论上学习得到的特征应该比手动设定的特征实验效果要好，但是结果显示两种方式获得的特征效果基本持平。主要由于被特征的极高的自由度所引起的两个问题：1、实际的问题：在一个极大的特征池当中，如果我们使用整个人脸区域作为训练输入结果并且想要学习最具有判别性的特征组合；这将转化成无法承担的代价。2、一般性的问题：特征池当中有很多噪声特征，这很容易引起过拟合问题，并且降低性能。

该方法使用了“局部准则”，为了在一个阶段当中定位某一个特征点，主要出于以下两点考虑：1、最具有判别性的纹理信息坐落在一个局部区域，该区域在之前的阶段被估计的特征点的周围；2、形状的上下文关系(shape tontext)以及当下特征点的局部纹理(local texture)提供了充分的信息。依据以上的视角采用以下的方法：首先学习得到对局部纹理编码的内部特征，独立地对于每一个特征点；然后采用联合回归的方式去得到形状的上下文关系。在以往的相关工作中，AAM通过联合地建立形状模型及纹理模型来解决人脸对齐问题。CLM通过学习得到一系列的局部的检测算子以及表述算子，并通过各种各样的形状模型限制它们，从而达到限制形状的目的。实验表明，基于集成树的方法能够有效地编码或者学习较好的特征表达算子，并且能够直接地处理非线性回归问题。为了更有效地学习特征映射及线性映射函数，采用了分步学习的方式。首先通过将学习的每一个特征点的局部特征组合起来得到全局的特征映射函数，再用其学习得到线性映射函数。通过随机森林的方法来学习每一个局部特征映射。因此，森林的树的数目及每棵树的深度都是影响结果的重要参数。在学习线性回归映射的过程中，目标函数加入了正则项，为了解决高维度特征的过拟合问题。方法总结：首先初始化一个形状，最终的目的是为了将形状里的每一个特征点移到相应的眼睛、鼻子等特征的相应位置上；基于这个形状，采集每一个特征点周围的局部二值特征；计算当前的形状与人工标记好的形状的偏移量，学习特征与该偏移量的关系；将当前的形状偏移量加上这个阶段的初始形状，就是最终预测的形状。方法介绍：

学习局部二值特征Φt:特征映射函数Φt由一系列独立的局部特征映射函数构成。每一个都是单独被学习地。学习的回归目标是形状增量的真实值。

公式当中i重复所有的训练样本，π₁算子从向量中提取两个元素(2l-1,2l)；是在第i个训练样本第l个特征点的真实的二维偏移量。

通过使用一种标准的回归随机森林方法来学习每一个局部映射函数树中的被分裂的节点被使用像素差值特征来训练。为了训练每一个被分裂的节点，文章随机地测试了500个被采样的特征，并且提取出产生最大方差减小的特征。

假设叶子节点的个数为D，输出将被表示为：

在公式中，是一个2乘D的矩阵，矩阵中的每一列表示被存储在对应叶子节点的2维向量。同时，是一个的二值向量。在中的非0数目与在森林当中树的数目相同，并且数目是比D小的。称为局部二值特征(local binary feature)。学习全局线性回归wt：在局部的随机森林学习后，实验获得了局部二值特征通过连接所有的局部二值特征组成一个全局的特征映射函数t并且学习一个全局的线性映射wt；将特征从特征空间变换到线性空间，通过最小化下面的函数：

在公式中的第一项是回归目标，第二项是对W^t的L2正则项，并且λ控制正则项的步长。

图1是本发明一实施例中的联合2D+3D主动外观模型的人脸对齐方法流程示意图；步骤S100对目标物体建立3D形变模型，所述3D形变模型至少包括：形状模型和纹理模型，通过所述形状模型包括：形状特征，所述纹理模型包括：纹理特征；步骤S101根据所述3D形变模型计算得到三维形状，且根据所述三维形状生成限制函数；步骤S102通过所述限制函数对设定函数进行拟合，最小化所述设定函数；步骤S103通过Delaunay三角剖分，将所述纹理特征分成不同的三角形网格；步骤S104基于BLF局部二值特征进行判定，得到人脸对齐结果。

图2是本发明一实施例中的联合2D+3D主动外观模型的人脸对齐系统结构示意图，对应的包括如下的系统，三维形变模型单元1，用以对目标物体建立3D形变模型，所述3D形变模型至少包括：形状模型和纹理模型，通过所述形状模型包括：形状特征，所述纹理模型包括：纹理特征；三维形状形成单元2，用以根据所述3D形变模型计算得到三维形状，且根据所述三维形状生成限制函数；限制单元3，用以通过所述限制函数对设定函数进行拟合，最小化所述设定函数；剖分单元4，用以通过Delaunay三角剖分，将所述纹理特征分成不同的三角形网格；特征单元5，用以基于BLF局部二值特征进行判定，得到人脸对齐结果。

一、特征点个数为：68训练集：afw和lfpw测试集：ibug(1)实验参数：7个阶段，随机森林树的最大数目为10，深度为5，第二层的regressors数目为500；(2)实验参数：5个阶段，随机森林树的最大数目为5，深度为4，第二层的regressors数目为500；

第一阶段误差	27.88910	28.960062
			第二阶段误差	24.11592	24.325416
第三阶段误差	23.30894	22.978479
			第四阶段误差	23.12767	22.386932
第五阶段误差	23.09267	22.111835
			第六阶段误差	23.10505
第七阶段误差	23.12118

在实验过程中，针对某一训练集，采用不同的参数，是本实验的一个重要内容。文献中曾指出的两个版本，在准确度和速度上都无法同时兼顾。因此，调整参数进行实验测试是非常重要的。ibug数据集对人更具有普适性，例如：表情的变化，姿态的变化，还有光照等更接近生活，所以我选择了ibug作为实验的测试集。以上展示出其中的一个实验结果。很明显可以看出，并不是参数的每一项数目更大，或者学习的阶段越多，效果就会越好。所以，针对参数的选择，要综合考虑每个数据集的效果。经过不断测试，(1)中的参数，作为本实验以下的实验参数。

二、特征点个数为：68训练集：afw和lfpw实验参数：7个阶段，随机森林树的最大数目为10，深度为5，第二层的regressors数目为500；

在这组实验中，主要验证本实验的误差与文献中的误差的关系。从实验结果来看，基本符合正常情况，并与文章中结果相差无几。由于随机森林等训练的时候，具有一定的偶然性，所以在一定误差范围内都是正常的。同时，由于实验条件所限，训练的数据集并不具有非常好的完整性和普适性，所以，实验结果仍然可以得到提高。将图像变为梯度图像(分别对x和y方向分别做导数然后取平方和开方)，测试结果如下：

三、特征点个数为：34训练集：afw和lfpw实验参数：7个阶段，随机森林树的最大数目为10，深度为5，第二层的regressors数目为500；

在这组实验中，主要考虑特征点不同给试验结果带来的影响。与上一组实验相比，这一组的结果有一定波动，虽然特征点个数减少，，但误差不都是提升，有的反而得到下降。这就表明首先，特征点个数并不是越多越好；其次，特征点个数的多少，到底是因算法本身而影响结果，还是可以单独影响结果，还有待实验考察。

四、特征点个数为：5训练集：afw和lfpw实验参数：7个阶段，随机森林树的最大数目为10，深度为5，第二层的regressors数目为500；

这一组实验是紧接着上一组实验进行的，因此仍然是考察特征点个数的影响。从实验结果来看，误差均变得更高，所以还需要更多实验来考察。

如图3(a)-图3(j)所示，是基于AAM的形状对齐结果示意图。

虽然本公开以具体结构特征和/或方法动作来描述，但是可以理解在所附权利要求书中限定的本公开并不必然限于上述具体特征或动作。而是，上述具体特征和动作仅公开为实施权利要求的示例形式。

Claims (10)

1.一种联合2D+3D主动外观模型的人脸对齐方法，其特征在于包括如下步骤：

对目标物体建立3D形变模型，所述3D形变模型至少包括：形状模型和纹理模型，通过所述形状模型包括：形状特征，所述纹理模型包括：纹理特征；

根据所述3D形变模型计算得到三维形状，且根据所述三维形状生成限制函数；

通过所述限制函数对设定函数进行拟合，最小化所述设定函数；

以及，通过Delaunay三角剖分，将所述纹理特征分成不同的三角形网格；

基于BLF局部二值特征进行判定，得到人脸对齐结果。

2.根据权利要求1所述的人脸对齐方法，其特征在于，所述形状模型中的形状矩阵表示为平均形状再加上个形状矩阵的线性组合：

是形状参数。

3.根据权利要求1所述的人脸对齐方法，其特征在于，所述纹理模型中的纹理图像表示为平均纹理再加上个纹理图像的线性组合：

是纹理参数。

4.根据权利要求1所述的人脸对齐方法，其特征在于，所述限制函数为：

其中q为成像参数，定义:则对于所有的成像条件情况来说3维形状模型的2维形状变化是：

5.根据权利要求1所述的人脸对齐方法，其特征在于，所述设定函数为：P为主动外观模型形状λ为纹理，q为正规化参数，采用的方法为逆向复合算法对所述设定函数进行最小化，同时关于主动外观模型形状P，纹理λ以及正规化q参数，将拟合函数与限制函数组合，并添加比重K，当进行主动外观模型拟合的同时，最小化以下函数：

$\begin{array}{c}\underset{u\&Element;S_0}{\mathrm{\&Sigma;}}{\&lsqb;A_0\left(u\right)+\underset{i=1}{\overset{l}{\mathrm{\&Sigma;}}}{\mathrm{\&lambda;}}_i{A}_i\left(u\right)-I\left(W\right(u;p;q\left)\right)\&rsqb;}^2+\\ K\left|\right|N(S_0+\underset{i=1}{\overset{m}{\mathrm{\&Sigma;}}}{p}_i{S}_i;q)-P({\stackrel{\&OverBar;}{S}}_0+\underset{i=1}{\overset{\stackrel{\&OverBar;}{m}}{\mathrm{\&Sigma;}}}{\stackrel{\&OverBar;}{p}}_i{\stackrel{\&OverBar;}{S}}_i)|{|}^2\end{array}$

根据p,q,λ,P,当限制K→∞，此时该限制变为强限制。

6.根据权利要求1所述的人脸对齐方法，其特征在于，所述Delaunay三角剖分具体包括：

首先，确定所有的特征点的集合为V，每个特征点记为v,并且所有的特征点都在同一个平面内；

然后，各个特征点之间的连线的集合成为E，每条边记为e,每条边均由所有特征点集合内的任两个特征点作为端点的封闭的连线，所有特征点的集合便形成了一个三角剖分T＝(V,E)是一个平面图G；

除了每个特征点之外，该图中的每条边均不能包含任意其他的特征点；

和/或，所有的边均不能有相交的边；

和/或，平面中的所有的三角形组成的面是三角面，并且所有三角平面的集合是所有特征点集合V的凸包。

7.根据权利要求1所述的人脸对齐方法，其特征在于，所述BLF局部二值特征具体包括如下步骤：

基于学习局部二值特征学习的回归目标是形状增量的真实值：

${\min }_{w^t,{\mathrm{\&phi;}}_l^t}{\mathrm{\&Sigma;}}_{i=1}\left|\right|{\mathrm{\&pi;}}_{l}o\mathrm{\&Delta;}{\hat{S}}^t-w_l^t{\mathrm{\&phi;}}_l^t(I_i,S_i^{t-1})|{|}_2^2,$

在公式中，是一个2乘D的矩阵，矩阵中的每一列表示被存储在对应叶子节点的2维向量；

同时，是一个的二值向量，在中的非0数目与在森林当中树的数目相同，并且数目是比D小的，称为局部二值特征，学习全局线性回归w_t：在局部的随机森林学习后，实验获得了局部二值特征通过连接所有的局部二值特征组成一个全局的特征映射函数t并且学习一个全局的线性映射w_t；将特征从特征空间变换到线性空间，通过最小化下面的函数：

${\min }_{w^t}{\mathrm{\&Sigma;}}_{i=1}^N\left|\right|1\&times;\mathrm{\&Delta;}{\hat{S}}^t-W^t{\mathrm{\&phi;}}_l^t(I_i,S_i^{t-1})|{|}_2^2+\mathrm{\&lambda;}||1\&times;W^t|{|}_2^2,$

在公式中的第一项是回归目标，第二项是对W^t的L2正则项，并且λ控制正则项的步长。

8.一种联合2D+3D主动外观模型的人脸对齐系统，其特征在于，包括：

三维形变模型单元，用以对目标物体建立3D形变模型，所述3D形变模型至少包括：形状模型和纹理模型，通过所述形状模型包括：形状特征，所述纹理模型包括：纹理特征；

三维形状形成单元，用以根据所述3D形变模型计算得到三维形状，且根据所述三维形状生成限制函数；

限制单元，用以通过所述限制函数对设定函数进行拟合，最小化所述设定函数；

剖分单元，用以通过Delaunay三角剖分，将所述纹理特征分成不同的三角形网格；

特征单元，用以基于BLF局部二值特征进行判定，得到人脸对齐结果。

9.根据权利要求8所述的人脸对齐系统，其特征在于，所述三维形变模型单元还用以进行如下方式的建模：

将样本两两进行Procrustes变换，使得所有对象都移动到固定的初始位置，大小、角度也一致，然后对所有转换后的样本求平均，就得到了平均形状；再分别对形状和纹理进行PCA，就得到了和 和分别为平均形状和平均纹理。

10.根据权利要求8所述的人脸对齐系统，其特征在于，所述三维形状形成单元在所述限制单元中限制拟合，并采用逆向复合算法对函数进行最小化。