CN105631436A - 基于随机森林的级联位置回归用于人脸对齐的方法 - Google Patents

Abstract

本发明公开了一种基于随机森林的级联位置回归用于人脸对齐的方法，其特征在于，包括如下步骤：1）得到归一化人脸图片；？2）计算人脸的平均形状；？3）生成人脸对齐框架的候选特征点；4）生成人脸形状索引灰度值；5）生成人脸形状索引特征X；6）构建人脸对齐框架；7）初始化人脸形状，不断迭代后，输出最终的估计人脸形状。这种方法在光照、表情变化、遮挡等情况下能够保持很好的鲁棒性，并且能提高精度、减少失败率。

Description

基于随机森林的级联位置回归用于人脸对齐的方法

技术领域

本发明属于数字图像处理技术领域，具体是一种基于随机森林的级联位置回归用于人脸对齐的方法。

背景技术

人脸对齐在人脸识别，人脸追踪和三维人脸重建中有着十分重要的地位，吸引了越来越多的研究者，但是由于人面部表情的多样性，不同光照条件以及遮挡等情况也给研究带来了困难和挑战。

人脸对齐算法大致分成两类，一类是基于最优的人脸对齐算法，一类是基于回归的人脸对齐算法。

基于最优的对齐人脸算法通过优化误差以达到人脸对齐的目的，其性能依靠于误差方程本身设计的优劣程度及其最优化的效果，难以得到保证。例如，T.Cootes等在“Activeappearancemodels”中提出的人脸对齐算法，利用外观模型重构整张人脸，然后以最少化残留纹理的方式设计误差方程，对人脸进行修正，从而使得最终的对齐结果取决于误差方程的设计和优化情况。

基于回归的人脸对齐算法以估计样本S与真实的样本接近，对训练样本的机器学习，得到一个回归方程，该方程能够直接将人脸图像映射成人脸形状。其中，由姿态、表情、光照等引起的复杂的人脸变化可通过学习大量的训练数据样本得到有效的抑制。先前部分基于回归的人脸对齐是依靠参数模型，将最小化对齐误差转化成参数误差。该转换存在严重的缺陷。因为参数误差最小并不等同于对齐误差最小，不能保证人脸对齐最优。例如，P.Dollar等的“Cascadedposeregression”算法。另一部分基于回归的人脸对齐研究工作针对单个基准点进行回归学习，并有效地利用了对齐误差作为损失函数。然后这类方法只利用了局部图像块进行学习，没有探索基准点之间的外观联系。因此，该方法得到的回归器的鲁棒性较差，不能应对存在人脸姿势变化大和人脸局部遮挡的情况。同时基于模型的人脸对齐方法对人脸初始化形状较为敏感。

发明内容

本发明的目的在于针对现有技术的不足,而提供一种基于随机森林的级联位置回归用于人脸对齐的方法。这种方法在光照、表情变化、遮挡等情况下能够保持很好的鲁棒性，并且能提高精度、减少失败率。

实现本发明目的的技术方案是：

基于随机森林的级联位置回归用于人脸对齐的方法，包括如下步骤：

1)得到归一化人脸图片：读入训练集图像库中的图片及对应的人脸属性，并对图片进行归一化，人脸属性包含人脸位置矩形区域信息即x₁轴、y₁轴、w宽、h高信息和已知标定的关键点坐标信息即x₂轴、y₂轴信息；

2)计算人脸的平均形状：给每一个人脸训练样本确定M个初始化形状，除自身的形状外，即组成N×M个训练样本，对训练样本的关键点坐标信息进行旋转、缩放相似变换，计算出人脸的平均形状：

$MS=\frac{1}{N}\left(\mathrm{\Σ}{\hat{S}}_i\right)$

N表示训练样本数，表示已知标定的关键点人脸形状信息；

3)生成人脸对齐框架的候选特征点：用随机函数生成二个关键点V₁和V₂的坐标标号，则这二个关键点中点坐标值为将中点坐标作为候选特征点μ_α，循环步骤3)，产生P个候选特征点；

4)生成人脸形状索引灰度值ρ：利用步骤3)得到的P个候选特征点，提取候选特征点的图片灰度值I(μ_α)，灰度值I(μ_α)作为人脸形状索引灰度值ρ，其大小为N行P列的矩阵；

5)生成人脸形状索引特征X：利用步骤4)得到的ρ，令ρ_ii表示ρ中第i行、第j列的一个元素值，第一层循环让i从1到N，计算ρ_ia和ρ_ib的差值，其中a和b的范围是1～P，循环步骤5)，可得到大小为N行P×P列的人脸形状索引特征X；

6)构建人脸对齐框架：所述人脸对齐框架是基于随机森林级联回归方法构建，人脸对齐框架第一层弱回归器的级联、即弱回归器的个数为T，每一个弱回归器由一个随机森林组成，随机森林将很多弱分类器集成为一个强分类器，实现并行结构，弱分类器即为决策树，一个随机森林由L个决策树(r_t ^k|k＝1,2,...,L；t＝1,2,...,T)并行组成，其中，k和t均表示下标号,r表示决策树，每一个决策树的构建过程一样，过程如下：

(1)选择决策树的训练样本：从N个训练样本中随机抽取Ω_k个样本作为该决策树的训练样本，Ω_k的范围是N/8～N/2；

(2)生成节点特征：根据步骤5)中得到的人脸形状索引特征X中的值与回归目标ΔS的相关性corr(ΔS,X_ij)，其中X_ij表示X矩阵中的第i行、第j列的元素，选择F个最相关的人脸形状索引特征，作为节点特征,F为决策树的深度,其范围5～10；

(3)生成节点阈值：阈值直接从-0.2C～0.2C范围中随机得到一个值作为阈值，其中C表示步骤(2)过程选择的节点特征值；

(4)得到人脸形状增量即叶子节点的输出：利用上述步骤(1)中选择的Ω_k个训练样本送入由步骤(2)、(3)构建的决策树，得到的叶子节点的输出即为人脸形状增量该决策树的输出δS_k，即为叶子节点的加权组合，如公式所示：

${\mathrm{\δS}}_k=\underset{j=1}{\overset{M}{\Σ}}\frac{\left|{\mathrm{\Ω}}_{c_j}\right|}{\left|{\mathrm{\Ω}}_k\right|}\·{\mathrm{\δS}}_{c_j}$

其中M为该决策树的叶子节点个数M＝2^F-1

经过上述步骤后，即可得到决策树，重复步骤(1)、(2)、(3)、(4)得到随机森林，随机森林的输出δS^t为L个决策树的加权组合，如公式所示：

${\mathrm{\δS}}^t=\underset{i=1}{\overset{L}{\Σ}}\frac{\left|{\mathrm{\Ω}}_i\right|}{N}\·{\mathrm{\δS}}_i$

最后对人脸形状进行更新S^t＝S^t-1+δS^t，其中S^t-1表示第t-1个循环过程的人脸形状信息，同理S^t表示第t个循环中人脸形状信息；

7)初始化人脸形状：采用直方图统计的方法进行人脸形状初始化，初始化过程如下：

①对输入的M个初始化形状送入人脸对齐框架模型中，执行级联回归过程的10％；

②得到人脸关键点的初始化坐标信息：关键点g点的坐标为统计的分布，以x坐标值为横坐标，以频数M为纵坐标，划分各小区间及其对应的频数高度，输出频数最大的区间对应的横坐标值

对执行相同的过程，得到

③重复步骤②，得到q个人脸关键点的初始化坐标信息；

④将步骤②中的q个人脸关键点的初始化坐标信息构成的形状作为级联回归剩下90％的过程的初始化形状；

⑤结合步骤①-步骤④，得到一个初始化人脸形状，其中初始化人脸形状为 $S^{0m}=\{(x_0^{0m},y_0^{0m}),(x_1^{0m},y_1^{0m}),...,(x_q^{0m},y_q^{0m})\},$ q为关键点个数，初始化形状个数记为M，M个初始化形状记为S⁰¹，S⁰²，···，S^0m，把S^0m送入步骤6)构建人脸对齐框架中，不断迭代后，输出最终的估计人脸形状。

所述人脸训练样本个数M的范围是15～25个人，优选为20个人。

所述候选特征点P的个数范围是350～500个，优选为400个。

通过对实际坐标点μ_α以步骤2)得到的人脸的平均形状MS为目标坐标点，进行旋转、缩放相似变换该人脸关键点加上局部坐标得到候选特征点的坐标信息μ_α，即可得到该候选特征点在当前人脸形状上的人脸灰度值I(μ_α)。

步骤5)中采用的是形状索引特征，特征值采用二个特征点的灰度差值。

步骤6)中弱回归器的个数T为180～250，优选值为200；随机森林决策树L为5～15个，优选值为8个。

步骤7)中的q为5～68，优选值为29。

这种方法在级联位置回归基础上有效的结合了随机森林的结构，采用的是基于双层回归器的人脸对齐方法，采用整体方式，利用基准点的全局特征，通过最小化人脸对齐误差，分别训练两层回归器，不需任何参数模型，其中第二层采用随机森林结构，测试阶段，对输入人脸进行初始化形状的时候，结合直方图统计方法统计每一个关键点的坐标信息，得出最终的初始化形状。使得算法能并行处理，同时结构更具备鲁棒性。

这种方法采用随机森林的级联回归，由逐级迭代决策树转成结构稳定的并行决策树；同时在测试阶段，采用直方图统计的人脸形状初始化机制，高效地实现了粗定位,这种方法在光照、表情变化、遮挡等情况下能够保持很好的鲁棒性，并且提高了精度、减少了失败率。

附图说明

图1为实施例的流程示意图；

图2-1～图2-3为实施例中实验结果比较示意图；

其中,图2-1为ESR方法对齐效果示意图；

图2-2CPR方法对齐效果示意图；

图2-3本实施例对齐效果示意图；

图3是实施例中的累计误差曲线比较示意图；

其中ESR指基于显式形状回归(ExplicitShapeRegression，ESR)的人脸对齐方法；RCPR指鲁棒的级联姿态回归(RobustCascadedPoseRegression，RCPR)的人脸对齐方法；OurMethod指实施例所提出的人脸对齐方法。

具体实施方式

下面结合附图和实施例对本发明内容作进一步的阐述，但不是对本发明的限定。

实施例：

参见图1，基于随机森林的级联位置回归用于人脸对齐的方法，包括如下步骤：

1)得到归一化人脸图片：读入训练集图像库中的图片及对应的人脸属性，并对图片进行归一化，人脸属性包含人脸位置矩形区域信息即x₁轴、y₁轴、w宽、h高信息和已知标定的关键点坐标信息即x₂轴、y₂轴信息；

2)计算人脸的平均形状：给每一个人脸训练样本确定20个初始化形状，除自身的形状外，即组成810×20个训练样本，对训练样本的关键点坐标信息进行旋转、缩放相似变换，计算出人脸的平均形状：

$MS=\frac{1}{N}\left(\mathrm{\Σ}{\hat{S}}_i\right)$

N表示训练样本数，这里取810,表示已知标定的关键点人脸形状信息；

3)生成人脸对齐框架的候选特征点：用随机函数生成二个关键点V₁和V₂的坐标标号，则这二个关键点中点坐标值为将中点坐标作为候选特征点μ_α，循环步骤3)，产生P个候选特征点，P取400；

4)生成人脸形状索引灰度值ρ：利用步骤3)得到的400个候选特征点，提取候选特征点的图片灰度值I(μ_α)，灰度值I(μ_α)作为人脸形状索引灰度值ρ，其大小为N行P列的矩阵；

5)生成人脸形状索引特征X：利用步骤4)得到的ρ，令ρ_ij表示ρ中第i行、第j列的一个元素值，第一层循环让i从1到810，计算ρ_ia和ρ_ib的差值，其中a和b的范围是1到400，循环步骤5)，可得到大小为810行400×400列的人脸形状索引特征X；

6)构建人脸对齐框架：所述人脸对齐框架是基于随机森林级联回归方法构建，人脸对齐框架第一层弱回归器的级联、即弱回归器的个数为T，这里取200，每一个弱回归器由一个随机森林组成，随机森林将很多弱分类器集成为一个强分类器，实现并行结构，弱分类器即为决策树，一个随机森林由L个决策树并行组成，其中，k和t均表示下标号,r表示决策树，这里L取8，每一个决策树的构建过程一样，过程如下：

(1)选择决策树的训练样本：从810个训练样本中随机抽取Ω_k个样本作为该决策树的训练样本，Ω_k的范围是810/8到810/2；

(2)生成节点特征：根据步骤5)中得到的人脸形状索引特征X中的值与回归目标ΔS的相关性corr(ΔS,X_ij)，其中X_ij表示X矩阵中的第i行、第j列的元素，选择F个最相关的人脸形状索引特征，作为节点特征,F为决策树的深度,这里取8；

(3)生成节点阈值：阈值直接从-0.2C到0.2C范围中随机random(-0.2C，0.2C)得到一个值作为阈值，其中C表示步骤(2)过程选择的节点特征。随机得到阈值的方法，可以增强人脸对齐框架的鲁棒性；

(4)得到人脸形状增量即叶子节点的输出：利用上述步骤(1)中选择的Ω_k个训练样本送入由步骤(2)、(3)构建的决策树，得到的叶子节点的输出即为人脸形状增量该决策树的输出δS_k，即为叶子节点的加权组合，如公式所示：

${\mathrm{\δS}}_k=\underset{j=1}{\overset{M}{\Σ}}\frac{\left|{\mathrm{\Ω}}_{c_j}\right|}{\left|{\mathrm{\Ω}}_k\right|}\·{\mathrm{\δS}}_{c_j}$

其中M为该决策树的叶子节点个数M＝2^F-1

经过上述步骤后，即可得到决策树，重复步骤(1)、(2)、(3)、(4)得到随机森林，随机森林的输出δS^t为8个决策树的加权组合，如公式所示：

${\mathrm{\δS}}^t=\underset{i=1}{\overset{L}{\Σ}}\frac{\left|{\mathrm{\Ω}}_i\right|}{N}\·{\mathrm{\δS}}_i$

最后对人脸形状进行更新S^t＝S^t-1+δS^t，其中S^t-1表示第t-1个循环过程的人脸形状信息，同理S^t表示第t个循环中人脸形状信息；

7)初始化人脸形状：采用直方图统计的方法进行人脸形状初始化，初始化过程如下：

①对输入的M个初始化形状送入人脸对齐框架模型中，执行级联回归过程的10％；

②得到人脸关键点的初始化坐标信息：关键点g点的坐标为统计的分布，以x坐标值为横坐标，以频数M为纵坐标，划分各小区间及其对应的频数高度，输出频数最大的区间对应的横坐标值

对执行相同的过程，得到

③重复步骤②，得到29个人脸关键点的初始化坐标信息，这里q取29；

④将步骤②中的29个人脸关键点的初始化坐标信息构成的形状作为级联回归剩下90％的过程的初始化形状；

⑤结合步骤①-步骤④，得到一个初始化人脸形状，其中初始化人脸形状为 $S^{0m}=\{(x_0^{0m},y_0^{0m}),(x_1^{0m},y_1^{0m}),...,(x_q^{0m},y_q^{0m})\},$ 29为关键点个数，初始化形状个数记为20，20个初始化形状记为S⁰¹，S^O2，...，S^0m，把S^0m送入步骤6)构建人脸对齐框架中，不断迭代后，输出最终的估计人脸形状。

通过对实际坐标点μ_α以步骤2)得到的人脸的平均形状MS为目标坐标点，进行旋转、缩放相似变换该人脸关键点加上局部坐标得到候选特征点的坐标信息μ_α，即可得到该候选特征点在当前人脸形状上的人脸灰度值I(μ_α)。

步骤5)中采用的是形状索引特征，特征值采用二个特征点的灰度差值。

通过对实际坐标点μ_α以步骤2)得到的人脸的平均形状MS为目标坐标点，进行旋转、缩放相似变换该人脸关键点加上局部坐标得到候选特征点的坐标信息μ_α，即可得到该候选特征点在当前人脸形状上的人脸灰度值I(μ_α)。

本实施例的效果由以下仿真进一步说明：

仿真条件：

实施例的实验是基于一台内存8G，CPU主频2.50GHz的PC机上完成的，实验平台为matlab2013b。分别采用实施例的方法与RCPR，以及ESR在LFPW、COFW人脸库中的人脸图像验证改进方法的有效性。本实施例列出的平均误差、失败率以及帧率。平均误差计算公式为其中：分母d_ε为人工标定的两眼距离；失败率指e<0.10样本数占样本总数的百分比；帧率指每秒执行的帧数；

仿真内容与结果：

本实施例与RCPR方法，以及ESR方法在COFW和LFPW人脸库中的人脸图像验证改进方法的有效性。

实验结果：

由图2-3可知，本实施例在光照、表情变化、遮挡等情况下对齐精度比ESR和RCPR模型高，验证了本发明的人脸对齐方法更具普遍性，鲁棒性更强。

为了验证提取的方法的整体性能以及鲁棒性，实施例也对平均误差、失败率、帧率进行了对比，如表1和表2所示：

表1：在COFW上性能对比

方法	平均误差	失败率(％)	帧率(fps)
				ESR	0.11	45.36	3
RCPR	0.08	27.42	7
				Our	0.06	14.78	11

表2：在LFPW上性能对比

方法	平均误差	失败率(％)	帧率(fps)
				ESR	0.14	65.90	5
RCPR	0.11	41.47	13
				Our	0.09	24.88	15

由上表可知，平均误差得到很大的提高，验证了该方法级联框架的可行性。

同时实施例的人脸对齐方法失败率大大降低，帧率和RCPR相比也有所增加，证明了初始化形状机制的可行性。

最后，参见图3，实施例对累积误差曲线也进行了对比，图中ESR指基于显式形状回归(ExplicitShapeRegression，ESR)的人脸对齐方法；RCPR指鲁棒的级联姿态回归(RobustCascadedPoseRegression，RCPR)的人脸对齐方法；OurMethod指实施例所提出的人脸对齐方法。累计误差指不同平均误差下对应的测试样本数占总的测试样本数的百分比。结果显示，本实施例的累计误差曲线在同一个关键点误差值的前提下，关键集分值均比RCPR、ESR的关键集分值高，表示性能越好。

本实施例成功地为人脸提取特征点，通过实验可以看到，实施例从定位特征点的精度有所提高，运算成本降低。

Claims (7)

1.基于随机森林的级联位置回归用于人脸对齐的方法，其特征在于，包括如下步骤：

1)得到归一化人脸图片：读入训练集图像库中的图片及对应的人脸属性，并对图片进行归一化，人脸属性包含人脸位置矩形区域信息即x₁轴、y₁轴、w宽、h高信息和已知标定的关键点坐标信息即x₂轴、y₂轴信息；

2)计算人脸的平均形状：给每一个人脸训练样本确定M个初始化形状，除自身的形状外，即组成N×M个训练样本，对训练样本的关键点坐标信息进行旋转、缩放相似变换，计算出人脸的平均形状：

$MS=\frac{1}{N}\left(\mathrm{\&Sigma;}{\hat{S}}_i\right)$

N表示训练样本数，表示已知标定的关键点人脸形状信息；

3)生成人脸对齐框架的候选特征点：用随机函数生成二个关键点V₁和V₂的坐标标号，则这二个关键点中点坐标值为将中点坐标作为候选特征点μ_α，循环步骤3)，产生P个候选特征点；

4)生成人脸形状索引灰度值ρ：利用步骤3)得到的P个候选特征点，提取候选特征点的图片灰度值I(μ_α)，灰度值I(μ_α)作为人脸形状索引灰度值ρ，其大小为N行P列的矩阵；

5)生成人脸形状索引特征X：利用步骤4)得到的ρ，令ρ_ij表示ρ中第i行、第j列的一个元素值，第一层循环让i从1到N，计算ρ_ia和ρ_ib的差值，其中a和b的范围是1到P，循环步骤5)，可得到大小为N行P×P列的人脸形状索引特征X；

6)构建人脸对齐框架：所述人脸对齐框架是基于随机森林级联回归方法构建，人脸对齐框架第一层弱回归器的级联、即弱回归器的个数为T，每一个弱回归器由一个随机森林组成，随机森林将很多弱分类器集成为一个强分类器，实现并行结构，弱分类器即为决策树，一个随机森林由L个决策树并行组成，其中，k和t均表示下标号,r表示决策树，每一个决策树的构建过程一样，过程如下：

(1)选择决策树的训练样本：从N个训练样本中随机抽取Ω_k个样本作为该决策树的训练样本，Ω_k的范围是N/8到N/2；

(2)生成节点特征：根据步骤5)中得到的人脸形状索引特征X中的值与回归目标ΔS的相关性corr(ΔS,X_ij)，其中X_ij表示X矩阵中的第i行、第j列的元素，选择F个最相关的人脸形状索引特征，作为节点特征,F为决策树的深度,其范围5-10；

(3)生成节点阈值：阈值直接从-0.2C到0.2C范围中随机得到一个值作为阈值，其中C表示步骤(2)过程选择的节点特征值；

(4)得到人脸形状增量即叶子节点的输出：利用上述步骤(1)中选择的Ω_k个训练样本送入由步骤(2)、(3)构建的决策树，得到的叶子节点的输出即为人脸形状增量该决策树的输出δS_k，即为叶子节点的加权组合，如公式所示：

${\mathrm{\&delta;S}}_k=\underset{j=1}{\overset{M}{\&Sigma;}}\frac{\left|{\mathrm{\&Omega;}}_{c_j}\right|}{\left|{\mathrm{\&Omega;}}_k\right|}\&CenterDot;{\mathrm{\&delta;S}}_{c_j}$

其中M为该决策树的叶子节点个数M＝2^F-1

经过上述步骤后，即可得到决策树，重复步骤(1)、(2)、(3)、(4)得到随机森林，随机森林的输出δS^t为L个决策树的加权组合，如公式所示：

${\mathrm{\&delta;S}}^t=\underset{i=1}{\overset{L}{\&Sigma;}}\frac{\left|{\mathrm{\&Omega;}}_i\right|}{N}\&CenterDot;{\mathrm{\&delta;S}}_i$

最后对人脸形状进行更新S^t＝S^t-1+δS^t，其中S^t-1表示第t-1个循环过程的人脸形状信息，同理S^t表示第t个循环中人脸形状信息；

7)初始化人脸形状：采用直方图统计的方法进行人脸形状初始化，初始化过程如下：

①对输入的M个初始化形状送入人脸对齐框架模型中，执行级联回归过程的10％；

②得到人脸关键点的初始化坐标信息：关键点g点的坐标为统计的分布，以x坐标值为横坐标，以频数M为纵坐标，划分各小区间及其对应的频数高度，输出频数最大的区间对应的横坐标值

对执行相同的过程，得到

③重复步骤②，得到q个人脸关键点的初始化坐标信息；

④将步骤②中的q个人脸关键点的初始化坐标信息构成的形状作为级联回归剩下90％的过程的初始化形状；

⑤结合步骤①-步骤④，得到一个初始化人脸形状，其中初始化人脸形状为 $S^{0m}=\{(x_0^{0m},y_0^{0m}),(x_1^{0m},y_1^{0m}),...,(x_q^{0m},y_q^{0m})\},$ q为关键点个数，初始化形状个数记为M，M个初始化形状记为S⁰¹，S⁰²，…，S^0m，把S^0m送入步骤6)构建人脸对齐框架中，不断迭代后，输出最终的估计人脸形状。

2.根据权利要求1所述的基于随机森林的级联位置回归用于人脸对齐的方法，其特征是，所述人脸训练样本个数M的范围是15～25个人。

3.根据权利要求1所述的基于随机森林的级联位置回归用于人脸对齐的方法，其特征是，所述候选特征点P的个数范围是350～500个。

4.根据权利要求1所述的基于随机森林的级联位置回归用于人脸对齐的方法，其特征是，通过对实际坐标点μ_α以步骤2)得到的人脸的平均形状MS为目标坐标点，进行旋转、缩放相似变换该人脸关键点加上局部坐标得到候选特征点的坐标信息μ_α，即可得到该候选特征点在当前人脸形状上的人脸灰度值I(μ_α)。

5.根据权利要求1所述的基于随机森林的级联位置回归用于人脸对齐的方法，其特征是，步骤5)中采用的是形状索引特征，特征值采用二个特征点的灰度差值。

6.根据权利要求1所述的基于随机森林的级联位置回归用于人脸对齐的方法，其特征是，步骤6)中弱回归器的个数T为180～250；随机森林决策树L为5～15个。

7.根据权利要求1所述的基于随机森林的级联位置回归用于人脸对齐的方法，其特征是，步骤7)中的q为5～68。