CN106339693A - 一种自然条件下人脸特征点的定位方法 - Google Patents

Abstract

本发明公开了一种自然条件下人脸特征点的定位方法，包括如下步骤：基于人脸检测算法在待检测视频或图像中获取人脸的区域位置信息；初始化人脸约束局部模型的形状模型，获取迭代优化的初始位置；在每个待检测的特征点附近应用约束局部模型的局部模型，在模型搜索中使用均值漂移算法进行迭代优化，寻找当前特征点区域的最优位置，避免陷入局部最小值；在局部搜索的最优位置基础上，应用形状模型进行约束，使整体特征点拟合到全局最优位置，并重复迭代直至搜索收敛到预设阈值，结束特征点定位；分发明提供的这种方法，将均值漂移算法用于约束局部模型，改进局部模型的搜索过程，提高特征点的检测效果和识别率，进而提高人脸检测识别的应用效果。

Description

一种自然条件下人脸特征点的定位方法

技术领域

本发明涉及生物识别技术领域，更具体地，涉及一种自然条件下人脸特征点的定位方法。

背景技术

人脸图像包含了很多重要信息，对脸部图像的分析是人工智能对人进行分析最为重要的应用领域，通过对脸部的关键特征位置分析，可以识别人当前的表情，判断性别，分析年龄等。此外，人脸部区域的结构性、完整性以及可分性等方面都比较稳定，更加适合计算机进行自动化处理分析，因此被大规模的应用于计算机视觉领域。

人脸识别系统的处理通常包括人脸面部区域检测，特征点精确定位和特征提取与分析。高效的特征点精确定位是承前启后的重要部分，错误的特征点定位结果会给后续识别的准确度带来严重影响。而人脸特征点定位受到头部姿态、阴影光线、其他物体遮挡等外部干扰因素的影响，使得现有技术中的人脸特征点检测与定位的检测率和定位精度并不十分理想，直接影响到后续的识别任务的准确度。

现有技术中的人脸特征点定位技术，譬如ASM(Active Shape Model，主动形状模型)、AAM(Active Appearance Model，主动表观模型)，所使用的图像信息较少，忽略了大量有用信息，定位精度不理想；CLM(Constrained Local Model，约束局部模型)采用全局模型加局部模型的方式，对定位精度有所改善，但在建模后的拟合优化部分存在搜索的局部极小值问题，可能导致局部搜索无法找到最优位置，进而影响全局定位精度。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种自然条件下人脸特征点的定位方法，其目的在于解决现有人脸特征点定位技术的定位精度不高的技术问题。

为实现上述目的，按照本发明的一个方面，提供了一种自然条件下人脸特征点的定位方法，包括如下步骤：

(1)基于人脸检测算法在待检测视频或图像中获取人脸的区域位置；

(2)对人脸约束局部模型中的形状模型进行初始化处理，得到迭代优化的初始位置；

(3)在上述区域位置内每个待检测的特征点，采用人脸约束局部模型中的局部模型，采用均值漂移算法进行局部搜索，对待检测的特征点进行迭代优化，获取当前特征点区域的最优位置；

(4)在对所述最优位置采用上述形状模型进行约束，使整体特征点拟合到全局最优位置；

(5)重复步骤(3)～(4)，直至目标区域的位置坐标收敛到预设阈值，获得定位后的特征点；

其中，人脸检测算法可采用已有的检测算法而不需限定；均值漂移算法是指一个迭代的处理，先算出当前点的偏移均值，移动该点到其偏移均值，并以此为新的起始点继续移动，直到预设的结束条件，找到目标位置。

优选地，上述自然条件下人脸特征点的定位方法，其人脸约束局部模型的形状模型根据如下步骤训练获得：

(I)获取手工标注的人脸外观形状的特征点信息，并采用特征点的位置坐标描述每个人脸形状，根据所述位置坐标形成向量；

(II)根据训练集中的所有训练样本的位置坐标组成训练样本的向量组；

(III)对所述向量组中的所有样本向量求均值，获取表示人脸形状的平均脸；

(IV)对每个样本的形状向量和平均脸求差值，获得零均值矩阵X；

(V)对所述零均值矩阵X进行PCA(Principal Component Analysis，主成分分析)变换，获得特征值及相应的特征向量；

根据所述特征值及特征向量组成正交矩阵P；所述正交矩阵P即为人脸约束局部模型的形状模型；采用正交矩阵P描述任意的人脸形状。

优选地，上述自然条件下人脸特征点的定位方法，其人脸约束局部模型的局部模型根据以下方法获取：

(i)对于局部模型中图像上坐标为(x，y)的特征点，提取该特征点周围P×P区域的像素，获得样本的二维灰度模型；

(ii)对上述二维灰度值模型进行灰度值统计分析，可获得该特征点的灰度值的均值以及协方差矩阵；

所述的均值和协方差矩阵是该特征点的数值模型信息，包含了该P×P区域的外观变化和范围空间信息，即为该特征点的局部模型；

(iii)对局部模型中图像上的所有特征点，重复步骤(i)～(ii)，获得各特征点的灰度值的均值和协方差矩阵；由各特征点的灰度值的均值和协方差矩阵，构成人脸约束局部模型的局部模型。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：

(1)本发明所提供的自然条件下人脸特征点的定位方法，在CLM模型的基础上采用均值漂移算法，由于在均值漂移算法中采用自适应变窗宽搜索算法，因此可以解决现有CLM模型搜索过程中的局部极值问题；

(2)本发明所提供的自然条件下人脸特征点的定位方法，其优选方案，针对均值漂移算法中的固定窗口可能导致错误收敛的问题，使用搜索窗宽自适应方法对均值漂移算法进行改进，将改进后的均值漂移算法应用于CLM模型；由于算法能够根据待检测特征点的局部结构，自适应地计算带宽,即对概率密度大的区域采用小的带宽进行计算,而对于概率密度小的区域则采用大的带宽，从而提高了特征点定位精度。

附图说明

图1为本发明实施例提供的自然条件下人脸特征点的定位方法的流程示意图；

图2为本发明实施例中采用的均值漂移算法的示意图；

图3为采用实施例的定位方法与CLM模型定位方法下的定位精度曲线比较示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

图1所示，是本发明实施例提供的自然条件下人脸特征点的定位方法的流程示意图；实施例提供的这种定位方法，包括人脸区域检测、约束局部模型训练和人脸特征点定位，具体包括如下步骤：

(1)基于人脸检测算法在待检测视频或图像中获取人脸的区域位置信息；

(2)对人脸约束局部模型的形状模型进行初始化处理，得到迭代优化的初始位置；

(3)在每个待检测的特征点，采用人脸约束局部模型的局部模型进行局部搜索，获取每个特征点的局部模型信息；并使用均值漂移算法，对待检测的特征点进行迭代优化，获取当前特征点区域的最优位置；

(4)在对所述最优位置采用所述形状模型进行约束，使整体特征点拟合到全局最优位置；

(5)重复步骤(3)～(4)，直至目标区域的位置坐标收敛到预设阈值，结束特征点定位处理；

实施例中，在步骤(3)中采用均值漂移算法待检测的特征点进行迭代优化，来改善搜索过程中的局部极值问题，提升定位的精度。具体如下：

实施例中，目标模型的特征值u估计的概率密度函数为：

$\widehat{q_u}=C\underset{i=1}{\overset{n}{\Σ}}k\left(\right|\left|\frac{x_0-x_i}{h}\right|{|}^2)\mathrm{\δ}\left(b\right(x_i)-u)---\left(1\right)$

其中，x₀是指矩形目标区域的中心，{x_i}_i＝1,...,n表示n个像素，i是指像素编号；k(·)为核函数的轮廓函数，δ(·)是Kronecker函数，b(x_i)为像素x_i的灰度值，C是归一化常数；h是核函数的带宽，其带宽矩阵为H＝h²I；

待检测图像相应候选位置的特征值u估计的概率密度函数为：

$\widehat{p_u}\left(y\right)=C\underset{i=1}{\overset{n}{\Σ}}k\left(\right|\left|\frac{y-x_i}{h}\right|{|}^2)\mathrm{\δ}\left(b\right(x_i)-u)---\left(2\right)$

用Bhattacharyya系数作为相似性函数，为使最大，在待检测图像中先选定一点作为目标中心的位置y₀，从这一点开始寻找最优匹配的目标中心y；

先计算目标候选模型对在y₀处进行泰勒级数展开获得：

$\widehat{\mathrm{\ρ}}\left(y\right)=\frac{1}{2}{\mathrm{\Σ}}_u\sqrt{{\hat{p}}_u\left(y_0\right){\hat{q}}_u}+\frac{C}{2}\underset{i=1}{\overset{n}{\Σ}}{w}_{i}k\left(\right|\left|\frac{y-x_i}{h}\right|{|}^2)---\left(3\right)$

$w_i={\mathrm{\Σ}}_u\sqrt{\frac{{\hat{q}}_u}{{\hat{p}}_u\left(y_0\right)}}\mathrm{\δ}\left(b\right(x_i)-u)---\left(4\right)$

上式(3)中，只有右边第二项与y相关，是有权值情形下的核密度估计值；

令g(x)＝-k'(x)，进行搜索迭代使得目标区域的初始位置y₀向最终目标区域新的中心位置y₁收敛，新的中心位置y₁则根据以下式(5)获取：

$y_1=\frac{{\Σ}_i{w}_{i}g\left(\right|\left|\frac{y_0-x_i}{h}\right|{|}^2)x_i}{{\Σ}_i{w}_{i}g\left(\right|\left|\frac{y_0-x_i}{h}\right|{|}^2)}---\left(5\right)$

若漂移量小于一个指定的值ε，则y₁是最终位置，迭代结束；否则，令y₀＝y₁，继续迭代。

图2所示，为本发明实施例步骤(3)中采用的均值漂移算法的示意图，在当前的圆形区域内，黑色表示核函数的中心位置，白色表示当前范围内的样本点，箭头由中心点指向样本点，长度表示当前样本点的偏移量，对当前中心点周围的所有样本点进行加权计算，使用的权值就是该向量的长度，计算得到的漂移向量就指向样本点的密度最大方向。

图3为采用实施例的定位方法与采用CLM模型方法进行定位，两种定位方法分别获得的定位精度曲线比较示意图；

图3中，x轴表示由手工标注获得的特征点基准坐标和由特征点定位算法得到的特征点检测坐标的总均方误差，y轴表示人脸图像特征点定位满足检测误差范围的正确率；从图3可以看出，本实施例提供的这种特征点定位方法在定位精度上均优于原始CLM模型算法。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.一种自然条件下人脸特征点的定位方法，其特征在于，包括如下步骤：

(1)基于人脸检测算法在待检测视频或图像中获取人脸的区域位置；

(2)对人脸约束局部模型中的形状模型进行初始化处理，获取迭代优化的初始位置；

(3)在所述区域位置内每个待检测的特征点，采用人脸约束局部模型中的局部模型，采用均值漂移算法进行局部搜索，对待检测的特征点进行迭代优化，获取当前特征点区域的最优位置；

(4)在对所述最优位置采用所述形状模型进行约束，使整体特征点拟合到全局最优位置；

(5)重复步骤(3)～(4)，直至目标区域的位置坐标收敛到预设阈值，获得定位后的特征点。

2.如权利要求1所述的定位方法，其特征在于，所述人脸约束局部模型的形状模型根据如下步骤训练获得：

(I)获取手工标注的人脸外观形状的特征点信息，并采用特征点的位置坐标描述每个人脸形状，根据所述位置坐标形成向量；

(II)根据训练集中的所有训练样本的位置坐标组成训练样本的向量组；

(III)对所述向量组中的所有样本向量求均值，获取表示人脸形状的平均脸；

(IV)对每个样本的形状向量和平均脸求差值，获得零均值矩阵；

(V)对所述零均值矩阵进行主成分分析变换，获得特征值及相应的特征向量；

并根据所述特征值及特征向量组成正交矩阵P；所述正交矩阵P即为人脸约束局部模型的形状模型。

3.如权利要求1或2所述的定位方法，其特征在于，所述人脸约束局部模型的局部模型根据以下方法获取：

(i)提取局部模型图像上坐标为(x，y)的特征点周围P×P区域的像素，获得样本的二维灰度模型；

(ii)对所述二维灰度值模型进行灰度值统计分析，获得所述特征点的灰度值的均值以及协方差矩阵；

所述的均值和协方差矩阵为所述特征点的数值模型信息，包含了所述P×P区域的外观变化和范围空间信息，即为所述特征点的局部模型；

(iii)对局部模型中图像上的所有特征点，重复步骤(i)～(ii)，获得各特征点的灰度值的均值和协方差矩阵；由各特征点的灰度值的均值和协方差矩阵，构成人脸约束局部模型的局部模型。