CN103824089B - 一种基于级联回归的人脸3d姿态识别方法 - Google Patents

Abstract

本发明涉及一种基于级联回归的人脸3D姿态识别方法，其步骤包括：1）采集大量人脸图片数据，并标记出初始的关键点和3D姿态；2）通过对人脸图片数据进行训练，学习得到粗回归器，然后以粗回归器的输出作为输入，学习得到精回归器；3）给定待识别的人脸图片和对应的人脸位置，通过所述粗回归器将人脸3D姿态调整到真实姿态附近，并将人脸关键点调整到真实位置附近，通过所述精回归器得到精确的人脸3D姿态参数。本发明提出的由粗到精的级联回归算法，通过对大量样本进行学习，以及多特征融合、多回归器融合的方式，极大地提高了算法的速度和鲁棒性，能够有效提高了人脸3D姿态识别的精度和速度。

Description

一种基于级联回归的人脸3D姿态识别方法

技术领域

本发明属于数字图像处理和人脸识别技术领域，具体涉及一种基于级联回归的人脸3D姿态识别方法。

背景技术

人脸3D姿态识别是指确定图片或视频中人脸在三维空间中的姿态的过程。人脸3D姿态估计在人机交互、人脸识别、虚拟现实等方面都有广泛应用，是计算机视觉的一个研究热点。

现有的人脸姿态估计方法大体上可以分为两类：基于模型的方法和基于外观的方法。基于模型的方法主要是利用二维图像特征和三维人脸模型间的对应关系来估计人脸姿态。主要步骤为：(1)检测人脸区域并提取特征(如眼角、嘴角等)；(2)确定图像特征与三维人脸模型间的对应关系；(3)利用常规的姿态估计技术来估计人脸姿态。基于外观的方法是在假设三维人脸姿态与人脸图像的某些特征间存在一定的关系这一前提下，通过训练大量已知姿态的人脸图像恢复这种关系并确定人脸姿态的过程。常用的图像特征有图像灰度、色彩、梯度等。目前已有多种统计学习的方法用来估计人脸姿态，如支持向量机、流形学习等。

现有的人脸3D姿态识别方法对姿态、遮挡、光线非常敏感，精度和速度比较差，在成像条件差、且计算资源受限的手机等移动端上很难做到实时处理。

发明内容

本发明针对上述问题，提出了一种基于级联回归的人脸3D姿态识别方法，采用快速、精确的由粗到精的级联回归算法，通过对大量样本进行学习以及多特征融合、多回归器融合，很好地解决了人脸3D姿态识别的问题。

本发明采用的技术方案如下：

一种基于级联回归的人脸3D姿态识别方法，其步骤包括：

1）采集大量人脸图片数据，并标记初始的（可通过人工标记）关键点位置和3D姿态；

2）通过对所述大量人脸图片数据进行训练，学习得到一粗回归器，然后以所述粗回归器的输出作为输入，学习得到一精回归器，从而得到由粗到精的级联回归器；

3）给定待检测的人脸图片和对应的人脸位置（人脸框位置），通过所述粗回归器将人脸3D姿态调整到真实姿态附近，并将人脸关键点调整到真实位置附近，然后以所述粗回归器的输出作为输入，通过所述精回归器得到精确的人脸3D姿态参数。

进一步地，所述粗回归器设计成线性回归器，在所有关键点处提取SURF特征。该回归器能够表示3D姿态和SURF特征之间的粗略关系。

进一步地，所进一步地，所述粗回归器包含多级级联的线性回归器，优选采用两级线性回归器，第一级的输出作为第二级的输入。通过这两级线性回归器构成的粗回归器，可以得到一个粗略的关键点位置和3D姿态。

进一步地，所述精回归器以上面的粗回归器的输出作为输入，使用随机蕨级联回归器，以像素差值作为特征。通过精回归器，可以将粗回归器给出的粗略结果回归成一个精确的结果。

进一步地，所述精回归器是一个两层结构，第一层，是一系列弱回归器{f₁,f₂,…,f_t}的级联；第二层，是一系列随机蕨回归器的级联，构成一个弱回归器f。

进一步地，所述人脸关键点位置包括眼睛、鼻子、嘴巴、脸部轮廓等位置，更具体的，如瞳孔，眼角，眉角，嘴角，唇沿等位置。

本发明中提出了一种由粗到精的级联回归算法，设计了一个多回归器融合的级联回归器，通过提取人脸关键点处的特征，回归出精确的人脸3D姿态参数。该级联回归器分为两部分：①粗回归器，特点是速度快，能快速回归到正解的附近；②精回归器，特点是每次回归的量较小，但能够得到更为精准的结果。根据设计的回归器的特点，让不同的回归器完成不同的任务（线性回归器和级联随机蕨回归器），融合了多种特征（SURF和像素值差特征）。

本发明提出的由粗到精的级联回归算法，通过对大量样本进行学习，以及多特征融合、多回归器融合的方式，极大的提高了算法的速度和鲁棒性，在遮挡、光线差和侧脸等姿态下进行人脸3D姿态识别都取得了非常好的效果，能够有效提高了人脸3D姿态识别的精度和速度，明显优于现有的其他算法。

附图说明

图1是本发明的基于级联回归的人脸3D姿态识别方法的步骤流程图。

图2是本发明的级联回归器示意图。

图3是采用级联回归器将初始值回归到真实解的示意图。

具体实施方式

下面通过具体实施例和附图，对本发明做进一步说明。

本发明的基于级联回归的人脸3D姿态识别方法，其步骤流程如图1所示，主要包括两部分内容，一是建立由粗回归器部分和精回归器部分组成的级联回归器，二是利用建立的级联回归器对人脸图像数据进行处理以识别3D姿态。

1.建立由粗到精的级联回归器

本发明的整体框架是一个级联回归器。我们的目标是学习一个回归函数f，使它能够从初始的样本空间映射到解空间，能够使得均方差最小。遇到高维空间和复杂的线性关系时，如果只是学习一个回归器来表达这种映射关系并不现实。于是，我们提出了使用级联的方法，通过级联多个弱回归器，将他们组成一个回归能力更强的强回归器。本发明采用的级联回归方法，将回归函数f划分成t个简单的回归函数的级联{f₁,f₂,…,f_t}，每一级f_k的输入都是它的前一级f_k‐1的输出，如图2所示，通过把f₁,f₂,…,f_t相结合，得到的回归函数能够近似出初始形状到真实形状的复杂的非线性映射关系。

本发明的回归器遵循由粗到精的过程，级联回归器分为两个部分，粗回归器和精回归器。

如果只是按照上面的方法，采用简单的用几种弱回归器进行级联，首先效果不理想，因为图片的拍摄条件千差万别，姿态各异，要回归的形状也都不尽相同，要得到完美的效果，对回归器的要求太高。其次，如果级联级数过多，速度也会非常慢，满足不了对速度的要求。本发明中创新地提出了使用不同类型的回归器相级联，使之各司其职，相互促进，扬长避短。

因此，我们将级联的回归器分为两部分，第一部分为粗回归器，把初始值回归到真实解的附近，完成大的回归目标，但是不关心细节。这一部分，完成的粗糙回归目标，速度非常快，为第二部分生成输入。第二部分为精回归器，只需要在细节上进行调节，逐步向真实解缓慢逼近，整个过程如图3所示。两个部分，构成了一个由粗到精的级联回归器，在速度和效果上，都有非常大的提升。

针对两部分的不同特性，本发明设计了不同的分类器和特征，可最大效率地完成回归目标。

第一部分的目标是快速的得到粗糙解，我们使用SURF特征，学习出来一个线性回归器，这一部分回归器，能够迅速将初始值映射到正解附近。具体实施步骤如下：

①在初始形状上每个关键点处提取初始的SURF特征，记作Φ₀，关键点真实回归目标记为ΔX*，3D姿态真实回归目标记为ΔY*。

②在训练过程中，由于关键点坐标X和3D姿态Y是已知，初始值关键点坐标X₀和初始3D姿态Y₀也是已知的，那么关键点真实回归目标ΔX*即为已知，ΔX*=X‐X₀，3D姿态真实回归目标ΔY*即为已知，ΔY*=Y‐Y₀。线性回归器可以表达为ΔX₀=R₀*Φ₀+b₀，ΔY₀=P₀*Φ₀+c₀。这里要求的参数就是R₀和b₀，P₀和c₀。可通过最小化下式求得：

其中，dⁱ为第i个人脸图片，X₀ ⁱ为第i个人脸的初始形状，ΔX*ⁱ为第i个人脸的真实回顾目标，Φ₀ ⁱ为第i个人脸在初始形状X₀ ⁱ处的SURF特征向量，这便是我们熟悉的解最小二乘问题，可以容易的求出R₀和b₀。同理可以求出P₀和c₀。

③根据得到的R₀和b₀，P₀和c₀，便可以得到估计的增量ΔX₀=R₀*Φ₁+b₀，ΔY₀=P₀*Φ₁+c₀，X+ΔX₀、Y+ΔY₀作为新的训练集，记为X₁，Y₁。根据新的训练集，提取新的SURF特征Φ₁，有ΔX₁=R₁*Φ₁+b₁，ΔY₁=P₁*Φ₁+c₁，同理，根据上述的方法，可以容易的求得R₁和b₁，P₁和c₁。以此类推，可以学习很多类似的线性回归器，在第一部分，我们学习两层线性回归器就够了，估计的解已经很接近真实解了。第一部分得到粗糙解之后，作为第二部分的输入，剩下的精细的回归目标交给后面来做。

第二部分，本发明采用了级联的随机蕨回归器，像素差值作为特征。我们将第一部分的输出作为这一部分的输入，这个值已经距离真实解很接近了，要做的只是在细节上的调整了，使它逐步逼近真实解。

随机蕨回归器是5个特征和阈值的组合，将训练样本划分为2⁵个空间。每一个空间对应一个输出ΔX_bin和ΔY_bin，它们为划分到该空间的关键点坐标和3D姿态回归目标的平均值。

第二部分的级联的随机蕨回归器，是一个两层的回归器。因为如果只是把这个回归器设计成原始随机蕨回归器的级联，回归能力太弱，所以本发明中将其设计成了一个两层的结构。具体如下，多个原始随机蕨回归器级联，构成一个弱回归器f。再将这些弱回归器{f₁,f₂,…,f_t}级联构成一个强回归器，也就是上文所述的第二部分精回归器。

具体实施步骤如下：

①提取每个样本的像素差值特征：随机取两个关键点，随机生成一个插值系数，得到两点连线中的一个位置，两个这样的位置上的像素差值作为特征。本发明中，一共提取400个点的特征。

②选取特征：上面已经生成了400个点的特征，一共有160000个两两组合。本发明中用的随机蕨回归器中使用5组特征，在这么大的特征空间中，要选择5组出来。方法如下，首先生成一个随机的列向量，将真实回归目标矩阵映射到一个方向上，然后分别计算每个特征向量和这个投影向量的相关系数，选取相关系数最大的5组即可。

③弱回归器的生成：根据上一步提取的特征，可以把样本划分到原始随机蕨回归器的某个空间中。计算该空间中所有样本的平均真实形状增量ΔX_bin和ΔY_bin，将其加到当前空间中的每个估计形状上，得到新的估计形状和估计姿态。将得到的估计形状和姿态作为下一个原始随机蕨回归器的输入，传给下一个原始随机蕨回归器，保持特征不变，得到新的随机蕨回归器。将这样10个原始随机蕨回归器级联构成一个弱回归器。

④强回归器的生成：经过上述步骤，已经学习到弱回归器f_k，对于一个初始集X_k，可以通过f_k得到回归增量估计ΔX_k和ΔY_k。新的初始集可以通过计算X_k+ΔX_k和Y_k+ΔY_k得到，在新的估计形状基础上提取新的特征，按照上述方法得到下一个弱的回归器，如图2所示，以此类推，在本实施例中，级联100个弱回归器{f₁,f₂,…,f₁₀₀}，构成一个二层的强回归器。

至此，得到了完整的由粗到精的级联回归器。

2.利用级联回归器对人脸图像数据进行处理，以识别关键点

将本发明中的这种由粗到精的级联回归器在解决人脸3D姿态识别问题时能够取得非常好的效果。

具体来说，在人脸3D姿态识别时，给定一个初始形状（可以用将平均形状对齐到人脸框中心），在每个关键点上提取SURF算子作为特征向量，通过第一部分，得到一个粗略关键点位置和3D姿态参数，将其作为第二部分的初始形状和姿态，在新的关键点的位置，提取出像素差值特征，逐级使用，最后得到精确的形状和3D姿态。

本发明的方法，处理一张人脸，在Intel(R)Core(TM)i3-4130CPU@3.4GHz的计算机上，用时为8ms左右，速度是现有方法的数倍，证明本发明方法取得了很好的技术效果。

以上实施例仅用以说明本发明的技术方案而非对其进行限制，本领域的普通技术人员可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明的精神和范围，本发明的保护范围应以权利要求所述为准。

Claims (7)

1.一种基于级联回归的人脸3D姿态识别方法，其步骤包括：

1)采集大量人脸图片数据，并标记初始的关键点位置和3D姿态；

2)通过对所述大量人脸图片数据进行训练，学习得到一粗回归器，然后以所述粗回归器的输出作为输入，学习得到一精回归器，从而得到由粗到精的级联回归器；所述粗回归器采用线性回归器，使用SURF特征学习得到所述线性回归器，具体步骤包括：

①在初始形状上每个关键点处提取初始的SURF特征，记作Φ₀，关键点真实回归目标记为ΔX_*，3D姿态真实回归目标记为ΔY_*；

②在训练过程中，由于关键点坐标X、3D姿态Y、初始值关键点坐标X₀和初始3D姿态Y₀已知，故ΔX_*＝X-X₀，ΔY_*＝Y-Y₀；线性回归器表达为ΔX₀＝R_0*Φ₀+b₀，ΔY₀＝P_0*Φ₀+c₀，其中的参数R₀和b₀通过最小化下式求得：

$\underset{R_0,b_0}{\arg \min }\underset{d^i}{\Σ}\underset{x_0^i}{\Σ}\left|\right|{\mathrm{\Δx}}_{*}^i-R_0{\mathrm{\φ}}_0^i-b_0|{|}^2,$

其中，dⁱ为第i个人脸图片，为第i个人脸的初始形状，为第i个人脸的真实回归目标，为第i个人脸在初始形状处的SURF特征向量；同理求出P₀和c₀；

③根据得到的R₀和b₀，以及P₀和c₀，得到估计的增量ΔX₀＝R_0*Φ₁+b₀，ΔY₀＝P_0*Φ₁+c₀；将X+ΔX₀、Y+ΔY₀作为新的训练集，记为X₁，Y₁；根据新的训练集，提取新的SURF特征Φ₁，有ΔX₁＝R₁*Φ₁+b₁，ΔY₁＝P₁*Φ₁+c₁；同理，根据上述方法求得R₁和b₁，P₁和c₁；以此类推，得到多级线性回归器；

3)给定待识别的人脸图片和对应的人脸位置，通过所述粗回归器将人脸3D姿态调整到真实姿态附近，并将人脸关键点调整到真实位置附近，然后以所述粗回归器的输出作为输入，通过所述精回归器得到精确的人脸3D姿态参数。

2.如权利要求1所述的方法，其特征在于：所述粗回归器是一个级联的线性回归器，一共包含两级，前一级的输出作为后一级的输入。

3.如权利要求1所述的方法，其特征在于：所述精回归器采用随机蕨级联回归器，以像素差值作为特征。

4.如权利要求3所述的方法，其特征在于：所述精回归器是一个两层结构，第一层是一系列弱回归器的级联；第二层是一系列随机蕨回归器的级联，构成一个所述弱回归器。

5.如权利要求4所述的方法，其特征在于：生成所述两层结构的精回归器的步骤包括：

①提取每个样本的像素差值特征：随机取两个关键点，随机生成一个插值系数，得到两点连线中的一个位置，两个这样的位置上的像素差值作为特征；

②选取特征：生成一个随机的列向量，将真实回归目标矩阵映射到一个方向上，然后分别计算每个特征向量和这个投影向量的相关系数，使用随机蕨回归器选取相关系数最大的多组特征；

③弱回归器的生成：根据上一步提取的特征，把样本划分到原始随机蕨回归器的某个空间中，计算该空间中所有样本的平均真实形状增量ΔX_bin和ΔY_bin，将其加到当前空间中的每个估计形状上，得到新的估计形状和估计姿态，将得到的估计形状和姿态作为下一个原始随机蕨回归器的输入，传给下一个原始随机蕨回归器，保持特征不变，得到新的随机蕨回归器，将多个原始随机蕨回归器级联构成一个弱回归器；

④强回归器的生成：经过上述步骤，已经学习到弱回归器f_k，对于一个初始集X_k，通过f_k得到回归增量估计ΔX_k和ΔY_k，新的初始集通过计算X_k+ΔX_k和Y_k+ΔY_k得到，在新的估计形状基础上提取新的特征，按照上述方法得到下一个弱回归器，以此类推，级联多个弱回归器，构成一个二层的强回归器。

6.如权利要求5所述的方法，其特征在于：所述精回归器的弱回归器包含10个级联的原始随机蕨回归器，所述精回归器的强回归器包含100个级联的所述弱回归器。

7.如权利要求1所述的方法，其特征在于：所述人脸关键点位置包括眼睛、鼻子、嘴巴、脸部轮廓的位置。