CN105718913A - 一种鲁棒的人脸特征点定位方法 - Google Patents

Abstract

本发明涉及一种鲁棒的人脸特征点定位方法。本发明首先建立人脸照片训练样本库，设定训练集中形状概率分布为均匀分布，根据概率分布选取多个形状作为初始化形状。其次在训练样本库中的每个样本随机选取多个初始化形状，提取形状在图像中的特征，利用级联回归方法学习回归模型；根据回归模型逐层来调整形状残差，从而得到多个回归形状。然后计算多个回归形状中各自的权重，由多个回归形状和对应的权重来估计子区域的中心。最后根据子区域的中心来估计子区域中形状的概率分布。对概率升序排列，选取前<i>N</i>_<i>l</i>个概率所对应的形状作为算法中初始化形状。本发明减少了初始化对定位的影响，增强了特征点定位的鲁棒性。

Description

一种鲁棒的人脸特征点定位方法

技术领域

本发明属于计算机视觉技术领域，涉及一种鲁棒的人脸特征点定位方法。

背景技术

人脸特征点定位可以通过计算机在一副人脸图像中自动地定位出人脸轮廓和器官的准确位置信息，是人脸识别、表情识别和人脸属性分析等等领域中的技术基础，特征点定位的准确率会直接影响到后续工作的可靠性。

人脸特征点定位方法主要分为：基于统计形状模型方法和基于级联回归的方法。其中基于级联回归的方法(例如SDM，LBF等等)在近年来的特征点定位方面取得了非常显著的成果。SDM(superviseddecentmethod)是采用平均脸初始化，然后提取非线性的SIFT特征，利用线性回归来解决非线性最小二乘优化问题。LBF(LocalBinaryFeatures)是在训练样本集中随机初始化，然后学习随机森林的局部二值特征，利用局部二值特征来学习线性回归模型。

专利号为201310189786.1的“一种人脸特征点定位方法及装置”和专利号为201410268298.4的“一种人脸特征点定位方法和装置”都是基于ASM算法的特征点定位，ASM算法首先针对若干人脸图像建立平均形状模型，然后建立形状模型中每个特征点附近的灰度模型，最后利用灰度模型在目标图像中搜索特征点的最佳位置，并根据搜索结果调整平均形状模型，使调整后的形状模型与目标图像中的人脸形状匹配。

专利号为201510641854.2的“一种人脸特征点定位方法和装置”是基于SDM的特征点行为。这些现有相关技术和方法有个共同的不足之处：定位准确率非常依赖初始化形状。如果初始化的形状靠近目标形状时，级联回归法能快速且准确地找到所有特征点；但是当初始化形状与目标形状相差较大时，在后续的级联迭代过程中不可能完全调整形状差异，最终导致陷入局部最优，影响到特征点定位的准确率。

发明内容

为了解决现有技术中传统的级联回归方法中人脸特征点定位的准确率受初始化位置影响这个问题，本发明提供了一种人脸特征点定位方法，该方法可以显著地提高人脸特征点定位的准确性。

本发明方法包括以下步骤：

步骤1、建立人脸照片训练样本库。

步骤2、设定训练集中形状概率分布为均匀分布。

步骤3、根据概率分布选取N_l个形状作为初始化形状。

步骤4、在训练样本库中的每个样本随机选取N_l个初始化形状，提取形状在图像中的特征，利用级联回归方法学习回归模型。

步骤5、根据回归模型逐层来调整形状残差，从而得到N_l个回归形状。

步骤6、计算N_l个回归形状中各自的权重。

步骤7、由N_l个回归形状和对应的权重来估计子区域的中心。

步骤8、根据子区域的中心来估计子区域中形状的概率分布。

步骤9、对概率升序排列，选取前N_l个概率所对应的形状作为算法中初始化形状。跳到步骤4开始迭代，直到收敛结束。

本发明的有益效果：本发明在初始化特征点时采用先粗后精搜索方法，通过探索整个形状空间来初始化并不断优化形状空间的子区域，然后在收敛的子区域中估计特征点位置信息。相比较锁定在某一个特定的初始点，能够容纳并考虑了不同的姿态变化(例如头部姿态和脸部轮廓)，减少了初始化对定位的影响，增强了特征点定位的鲁棒性。与现有技术相比较，明显的提高特征点定位准确率。

附图说明

图1为本发明方法流程图。

具体实施方式

以下结合实施例和附图对本发明作进一步说明：

1、建立人脸照片训练样本库A，假设样本库里面包含N张照片本，且每一张照片为一个训练集，Xⁱ(i＝1,2,...N)为每个训练集的标定形状，记其中n表示标定特征点个数，表示第i个样本中第j个特征点的横纵坐标

2、设定训练集中形状概率分布为均匀分布。

3、根据概率分布选取N_l个形状作为初始化形状N_l≤N。

4、在训练样本库中的每个样本随机选取N_l个形状作为学习回归器的训练集，来学习线性回归器。其中表示第i个样本的第j个初始化形状。

(1)学习局部二值特征

使用基于回归的随机森林去归纳二值特征，其中树的节点利用两个像素的像素差特征来训练。

(2)学习全局线性回归W^t

利用训练好的随机森林能够学习到当前形状的局部二值特征，由局部二值特征组合成全局特征用线性回归方法得到全局线性回归模型W^t；t＝1,2,…,T。其中线性回归方法是指每次迭代的形状增量与特征向量(提取当前形状在图像中的特征)成线性关系。这样通过回归模型一级一级估计形状增量进阶式地调整形状残差：

${\mathrm{\&Delta;X}}_t^{ij}=W^t\left(\mathrm{\&phi;}\right(I;X_t^{ij}\left)\right)$

其中是第t次的形状增量，W^t是第t次的回归模型，是对形状在图像I中提取的特征，T是线性回归次数。

5、根据回归模型W^t逐层来调整形状残差，从而得到N_l个回归形状：

$X_{t+1}^{ij}=X_t^{ij}+W^t\left(\mathrm{\&phi;}\right(I;X_t^{ij}\left)\right)$

其中表示初始化形状在图像中的二值特征。

6、计算N_l个回归形状中各自的权重W^ij。

(1)计算回归形状两两之间的距离a_pq；p,q∈(1,2,...N_l)：

$a_{pq}=sim(X_T^{ip},X_T^{iq})=\left\{\begin{array}{c}\exp (-||X_T^{ip}-X_T^{iq}|{|}_2^2),p\&NotEqual;q\\ 0,p=q\end{array}\right.$

其中和分别表示第p、q个回归形状。

(2)由a_pq组成一个N_l*N_l的二维矩阵A，并初始化Wⁱ(0)(Wⁱ(0)为一个N_l维的列向量，值全部为1/N_l)，迭代L次后得到N_l个回归形状的权重W^ij。

其中°表示矩阵中对应元素相乘

7、由N_l个回归形状和对应的权重来估计子区域的中心

${\stackrel{\&OverBar;}{X}}^i={\mathrm{\&Sigma;}}_{j=1}^{N_l}{w}^{ij}{X}_T^{ij}$

8、根据子区域的中心来估计子区域中形状的概率分布p：

(1)在标定好的特征点Xⁱ中选取除轮廓外区域R中的m个特征点(j∈R)，提取每个特征点的sift特征作为特征点的局部纹理特征来训练m个局部特征分类器。

(2)利用最近邻域法，在样本库Xⁱ中为每个特征点x_j选出K个与中心点最近和最远的样本，取这些样本中x_j作为该特征点的代表点。其中为Xⁱ中第j个特征点x_j的坐标均值。

(3)选择对应的局部特征分类器来判定子区域的中心中m个特征点的分类情况，如果当前特征点为正样本：如果是负样本：分别判定的K个代表点的分类情况和置信度，归一化置信度作为权重重新得到中心中坐标， $p=e^{-\frac{1}{2}*\mathrm{\&gamma;}*({\mathrm{\&Delta;x}}^2+{\mathrm{\&Delta;y}}^2)}.$

其中Δx和Δy为中心中的横坐标和纵坐标与训练集中所有样本X^*中的差，γ为概率参数。

(4)在子区域的中心中选取轮廓点上的n个特征点，分别计算每个特征点的概率： $p=e^{-\frac{1}{2}*\mathrm{\&gamma;}*({\mathrm{\&Delta;x}}^2+{\mathrm{\&Delta;y}}^2)}$

(5)由上面m和n个特征点的概率相乘后归一化计算得到概率分布。

9、对概率升序排列，选取前N_l个概率所对应的形状作为初始化形状。跳到步骤4开始迭代，直到收敛结束。从而完成人脸特征点定位。

以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围，应带理解，本发明并不限于这里所描述的实现方案，这些实现方案描述的目的在于帮助本领域中的技术人员实践本发明。

Claims (4)

1.一种鲁棒的人脸特征点定位方法，其特征在于该方法包括以下步骤：

步骤1、建立人脸照片训练样本库；

步骤2、设定训练集中形状概率分布为均匀分布；

步骤3、根据概率分布选取N_l个形状作为初始化形状；

步骤4、在训练样本库中的每个样本随机选取N_l个初始化形状，提取形状在图像中的特征，利用级联回归方法学习回归模型；

步骤5、根据回归模型逐层来调整形状残差，从而得到N_l个回归形状；

步骤6、计算N_l个回归形状中各自的权重；

步骤7、由N_l个回归形状和对应的权重来估计子区域的中心；

步骤8、根据子区域的中心来估计子区域中形状的概率分布；

步骤9、对概率升序排列，选取前N_l个概率所对应的形状作为算法中初始化形状；跳转至步骤4开始迭代，直到收敛结束，从而完成人脸特征点定位。

2.根据权利要求1所述的一种鲁棒的人脸特征点定位方法，其特征在于：步骤4具体是：

(1)学习局部二值特征

使用基于回归的随机森林去归纳二值特征，其中树的节点利用两个像素的像素差特征来训练；

(2)学习全局线性回归W^t

利用训练好的随机森林能够学习到当前形状的局部二值特征，由局部二值特征组合成全局特征用线性回归方法得到全局线性回归模型W^t；t＝1,2,…,T；其中线性回归方法是指每次迭代的形状增量与特征向量成线性关系；这样通过回归模型一级一级估计形状增量进阶式地调整形状残差：

${\mathrm{\&Delta;X}}_t^{ij}=W^t\left(\mathrm{\&phi;}\right(I;X_t^{ij}\left)\right)$

其中是第t次的形状增量，W^t是第t次的回归模型，是对形状在图像I中提取的特征，T是线性回归次数。

3.根据权利要求1所述的一种鲁棒的人脸特征点定位方法，其特征在于：步骤6具体是：

(1)计算回归形状两两之间的距离a_pq；p,q∈(1,2,...N_l)：

$a_{pq}=sim(X_T^{ip},X_T^{iq})=\left\{\begin{array}{c}\exp (-||X_T^{ip}-X_T^{iq}|{|}_2^2),p\&NotEqual;q\\ 0,p=q\end{array}\right.$

其中和分别表示第p、q个回归形状；

(2)由a_pq组成一个N_l*N_l的二维矩阵A，并初始化Wⁱ(0)，Wⁱ(0)为一个N_l维的列向量，值全部为1/N_l，迭代L次后得到N_l个回归形状的权重W^ij；

其中°表示矩阵中对应元素相乘。

4.根据权利要求1所述的一种鲁棒的人脸特征点定位方法，其特征在于：步骤8具体是；

(1)在标定好的特征点Xⁱ中选取除轮廓外区域R中的m个特征点j∈R，提取每个特征点的sift特征作为特征点的局部纹理特征来训练m个局部特征分类器；

(2)利用最近邻域法，在样本库Xⁱ中为每个特征点x_j选出K个与中心点最近和最远的样本，取这些样本中x_j作为该特征点的代表点；其中为Xⁱ中第j个特征点x_j的坐标均值；

(3)选择对应的局部特征分类器来判定子区域的中心中m个特征点的分类情况，如果当前特征点为正样本：如果是负样本：分别判定的K个代表点的分类情况和置信度，归一化置信度作为权重重新得到中心中坐标， $p=e^{-\frac{1}{2}*\mathrm{\&gamma;}*({\mathrm{\&Delta;x}}^2+{\mathrm{\&Delta;y}}^2)};$

其中Δx和Δy为中心中的横坐标和纵坐标与训练集中所有样本X^*中的差，γ为概率参数，p为概率形状；

(4)在子区域的中心中选取轮廓点上的n个特征点，分别计算每个特征点的概率： $p=e^{-\frac{1}{2}*\mathrm{\&gamma;}*({\mathrm{\&Delta;x}}^2+{\mathrm{\&Delta;y}}^2)}$

(5)由上面m和n个特征点的概率相乘后归一化计算得到概率分布。