CN102880866B - 一种人脸特征提取方法 - Google Patents

Abstract

本发明公开了一种将Kinect相机提供的人体姿态分析数据和深度数据融合到Depth-AAM算法中，形成基于2.5维图像的人脸特征提取方法,1）采用主成份分析方法训练Depth-AAM算法的表观模型；2）基于训练完成的Depth-AAM算法的表观模型进行人脸特征提取。

Description

一种人脸特征提取方法

技术领域

本发明涉及图像分析技术领域，具体讲是一种人脸特征提取方法。

背景技术

人脸特征提取技术就是通过计算机在一幅人脸图像上自动定位出人脸各个器官的准确位置，其中包括眼睛、鼻子、嘴巴以及人脸外轮廓等所有需要提取特征点的位置。人脸特征提取可以为人脸识别、表情姿态分析、人脸跟踪等研究工作提供相应的基础数据。当前存在许多特征提取算法如主特征分析(PCA)、局部二元模式(LBP)、线性判别分析(LDA)、Gabor小波变换等可以用于提取人脸特征，但是这些方法只能在特定条件(光线、姿势、化妆和脸部表情恰当)下可以较好工作，而且得到的都是一些底层的、复杂的信息，用于人脸识别和聚类很难取得好的效果。

主动表观模型(Active Appearance Model，AAM)已经被成功的应用于很多领域中，涉及的领域有人脸建模，人眼建模，脸部表情识别，图像分割和分析，姿态估计，脸部跟踪和手势识别等。人脸特征定位算法，根据使用数据维度大致可以分为两类：基于二维图像的人脸特征定位、基于三维图像的人脸特征定位。基于二维图像的人脸特征定位由于现有人脸检测分割技术的固有限制，光照、背景和人物姿态等对处理结果有较大的影响。基于三维图像的人脸特征定位使用了昂贵的三维扫描仪器用于生成三维人脸图像，使用曲率计算和全局配准的算法，对计算机和处理设备的要求过高，难以实用推广。主动表观模型(AAM)就是使用较为广泛的基于二维图像的人脸特征定位的一种方法。

Kinect相机2010年在美国上市，这种小巧低廉的深度相机设备，在商用硬件上也能达到每秒200帧以上，在复杂背景和人物姿态条件下能够准确跟踪并分割脸部图像，给计算机视觉、计算机图形学、人机交互等领域带来一系列革命性的变化。基于本段前述可知，虽然Kinect相机已广泛应用于人体姿态分析识别，且在复杂背景和人物姿态条件下能够准确跟踪并分割脸部图像，但是目前为止还没有利用Kinect相机提供的人体姿态分析数据和深度数据来对人脸特征进行定位的方法，即还未见利用Kinect相机提供的人体姿态分析数据和深度数据进行人脸特征提取的方法。

发明内容

本发明所要解决的技术问题是，提供一种将Kinect相机提供的人体姿态分析数据和深度数据融合到Depth-AAM算法中，形成基于2.5维图像的人脸特征提取方法。

本发明的技术方案是，提供一种人脸特征提取方法，包括以下步骤，

1)采用主成份分析方法训练Depth-AAM算法的表观模型：

①利用Kinect相机采集训练用人脸图像的纹理图像和深度图像，将深度图像从0～65535像素范围压缩到0～255像素范围，代入四通道图像的α通道，再与纹理图像合并为RGBD四通道图像，并对其进行手工标定若干个轮廓点；

②定义人脸形状为组成网格的ν个顶点坐标s＝(x₁,y₁,...,x_ν,y_ν)^T；顶点构成的形状向量用主成份分析方法建立二维线性模型，形状向量被表示成基本形状s₀加上m个形状向量s_i的线性组合p＝(p₁,...,p_m)^T是形状矩阵的特征值向量，s₀为人脸图像的标准姿态，s_i是特征值p_i对应的特征向量；

③将s₀，RGBD四通道图像I_i和其对应的手工标记s_i ^*用分块仿射变换转换到标准姿态下的RGBD四通道人脸图像，即s₀与s_i'的三角网格一一对应，分块仿射变换表达式为x'＝a₁x+a₂y+a₃和y'＝b₁x+b₂y+b₃，(x,y)为s₀上一个坐标，(x',y')为s_i'上与(x,y)对应的坐标，a₁与b₂为X方向和Y方向的缩放尺度，a₂和b₁为旋转尺度，a₃和b₃为X方向和Y方向的平移大小，采用待定系数法求出对应的参数(a₁,a₂,a₃,b₁,b₂,b₃)；

④将所有训练人脸图像经过第③步变换，得到其在标准姿态下的人脸图像I_i'，并采用主成份分析方法这里λ_i是第i个表观向量的参数，表观参数向量λ＝{λ₁,λ₂,...,λ_n}是输入图像对应于该AAM模型表观参数的特征值，以表示输入图像的全部信息，第i个表观向量A_i(x)对应于表观参数向量中第i大的特征值；

通过①②③④步训练得到各表观特征的特征值即完成Depth-AAM算法的表观模型的训练；

2)基于训练完成的Depth-AAM算法的表观模型进行人脸特征提取：

⑤Kinect相机根据人体深度图像，采用Kinect winsdk的API分割出人体图像，并得到头部节点位置坐标、头部节点转动方向θ及其置信度Conf_θ，根据人体深度图像，将人体区域置白，人体之外的区域置黑，从头部节点位置不断向上下左右同时扩大搜索范围，当上左右都达到黑色边界时，停止下边界的搜索，并确定人脸的最大区域，其左上角顶点坐标记为(x_headLU,y_headLU)，区域长度和宽度记为(length_head,width_head)；

⑥全局形状参数q定义为 $N(x;q)=\left[\begin{array}{cc}1+a& -b\\ b& 1+a\end{array}\right]\left[\begin{array}{c}x\\ y\end{array}\right]+\left[\begin{array}{c}{t}_x\\ t_y\end{array}\right],$ 参数(a,b)表示为a＝kcosθ-1和b＝ksinθ，(t_x,t_y)为X方向和Y方向的平移，为了书写方便，(a,b,t_x,t_y)记为(q₁,q₂,q₃,q₄)即为全局形状参数q；

⑦Depth-AAM算法拟合的目标函数为输入图像与表观合成图像差的绝对值 $E=\underset{x\∈s_0}{\mathrm{\Σ}}[A_0\left(x\right)+\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{\mathrm{\λ}}_i{A}_i\left(x\right)-I\left(N(W(x;p);q)\right)],$ 第一次的Depth-AAM拟合使用转动方向θ初始化q₁、q₂，使用⑤中得到的人脸位置信息初始化q₃、q₄，p表示初始化后的标准姿态，求解参数p和q使图像能量差最小时获得的所述轮廓点的坐标值以及表观参数向量即完成人脸特征提取，具体为，对参数p和q求导，求得参数p和q的变化量Δp和Δq，迭代求取最小的图像能量差， $\mathrm{\Δq}=H^{-1}\underset{i=0}{\overset{n}{\mathrm{\Σ}}}{\mathrm{SD}}_i[I\left(N(W(x;p);q)\right)-A_0\left(x\right)],$ i的范围为i＝1,...,4， $\mathrm{\Δp}=H^{-1}\underset{i=0}{\overset{n}{\mathrm{\Σ}}}{\mathrm{SD}}_{j+4}[I\left(N(W(x;p);q)\right)-A_0\left(x\right)],$ j的范围为j＝1,...,68，其中k的范围为k＝1,...,4，l的范围为l＝1,...,68，H为Hessian矩阵， $H=\underset{x\∈s_0}{\mathrm{\Σ}}{\left[{\mathrm{SD}}_k\left(x\right)\right]}^T\left[{\mathrm{SD}}_k\left(x\right)\right].$

采用分层的金字塔算法，将分割得到的人脸图像缩小到和先对大小的目标人脸图像进行第一次的Depth-AAM拟合，得到粗略的形状参数p¹和全局变形参数q，将第一次的Depth-AAM拟合形状参数p¹放大2倍，代入Depth-AAM进行第二次拟合得到形状参数p²和全局变形参数q²，再将p²放大2倍，代入Depth-AAM进行第三次拟合得到p³，p³也就是拟合得到的68个轮廓点坐标，向量λ就是表观参数；所述金字塔算法分为3层，每层金字塔最大迭代次数为30次，若前后2次p的差的模数小于0.001，视为迭代收敛。

采用上述方法后，本发明与现有技术相比，具有以下显著优点及有益效果：本发明是在基于Kinect相机，采用了最新的人体姿态识别算法，在商用硬件上也能达到每秒200帧以上，在复杂背景和人物姿态条件下能够准确跟踪并分割脸部图像，估计其头部三维姿态及其置信度用以指导Depth-AAM的全局形状变换，Depth-AAM算法将纹理图像与存在误差的深度信息组合成RGBD的四通道信息用以训练Depth-AAM表观模型，并把RGBD的四通道信息全都作为Depth-AAM算法数据输入，运用图像金字塔算法和反向组合算法加快迭代过程，从而进行准确鲁棒的人脸特征标定，使得本发明能够将Kinect相机提供的人体姿态分析数据和深度数据融合到Depth-AAM算法中，形成基于2.5维图像的人脸特征提取方法。

作为改进，轮廓点为68个，手工标定按照人脸图像轮廓线为标准，以右眼眼角为第1个点，其他67个点位置也是沿着人脸图像轮廓唯一确定，这样标定，运算量小，更有利于本发明的高效进行。

作为改进，所述的步骤④中标准姿态下的人脸图像I_i'分辨率大小为42*43，表观向量A_i分辨率大小也为42*43，这样，运算量小，更有利于本发明的高效进行。

作为改进，所述步骤⑥中只有第一次的Depth-AAM拟合才使用⑤中得到的默认的形状参数p和全局形状参数q，第一次以后的拟合均使用上一次Depth-AAM拟合收敛后得到的形状参数p和全局形状参数q进行初始化，这样，能够使本发明更快更准确的进行人脸特征提取。

作为改进，进行第⑦步前进行判断，如果头部节点转动方向θ大于30度且方向置信度Conf_θ大于0.8，则进行第⑦步，即将分割出人体头部RGBD四通道图像代入Depth-AAM算法迭代拟合，否则就跳过第⑦步以结束人脸特征提取，这样，在迭代拟合之前判断目标图像是否为有效图像，即是否为可辨别的图像，例如，若获取的目标图像为人的背面上分割得到，则显然该目标图像不具备人脸部分，无法被辨别，上述设置目的在于使得本发明得以有效进行，避免无效的情况。

附图说明

图1为本发明的采用主成份分析方法训练Depth-AAM算法的表观模型的流程示意图(Depth-AAM训练算法)。

图2为本发明的基于训练完成的Depth-AAM算法的表观模型进行人脸特征提取的流程示意图(Depth-AAM拟合算法)。

图3为本发明的人脸68个标记点位置图。

图4为本发明的Depth-AAM三角网格图。

具体实施方式

下面结合具体实施例对本发明作进一步说明。

图3为本发明的人脸68个标记点位置图。嘴巴重合部分数标逆时针为60，61，62，63，64，65，嘴巴正中心为数标66。

本发明提出的一种人脸特征提取方法是基于Depth-AAM算法的，Depth-AAM算法属于对二维图像的人脸特征定位算法——AAM算法的改进，充分利用Kinect相机提供的人体姿态分析数据和深度数据，将它们融合到AAM算法中，形成基于2.5维图像的人脸特征定位方法。

所述人脸特征提取方法，包括以下步骤，

1)采用主成份分析方法训练Depth-AAM算法的表观模型：

①利用Kinect相机采集训练用人脸图像的纹理图像和深度图像，将深度图像从0～65535像素范围压缩到0～255像素范围，代入四通道图像的α通道，再与纹理图像合并为RGBD四通道图像，并对其进行手工标定若干个轮廓点；

②定义人脸形状为组成网格的ν个顶点坐标s＝(x₁,y₁,...,x_ν,y_ν)^T；顶点构成的形状向量用主成份分析方法建立二维线性模型，形状向量被表示成基本形状s₀加上m个形状向量s_i的线性组合p＝(p₁,...,p_m)^T是形状矩阵的特征值向量，s₀为人脸图像的标准姿态，s_i是特征值p_i对应的特征向量；

③将s₀，RGBD四通道图像I_i和其对应的手工标记s_i ^*用分块仿射变换转换到标准姿态下的RGBD四通道人脸图像，即s₀与s_i'的三角网格一一对应，如图4所示，分块仿射变换表达式为x'＝a₁x+a₂y+a₃和y'＝b₁x+b₂y+b₃，(x,y)为s₀上一个坐标，(x',y')为s_i'上与(x,y)对应的坐标，a₁与b₂为X方向和Y方向的缩放尺度，a₂和b₁为旋转尺度，a₃和b₃为X方向和Y方向的平移大小，每个三角形只需要将他们各自的三个顶点带入仿射变换表达式，不需要对每个像素计算，采用待定系数法求出对应的参数(a₁,a₂,a₃,b₁,b₂,b₃)；

④将所有训练人脸图像经过第③步变换，得到其在标准姿态下的人脸图像I_i'，并采用主成份分析方法这里λ_i是第i个表观向量的参数，表观参数向量λ＝{λ₁,λ₂,...,λ_n}是输入图像对应于该AAM模型表观参数的特征值，以表示输入图像的全部信息，第i个表观向量A_i(x)对应于表观参数向量中第i大的特征值；

通过①②③④步训练得到A₀、A₁、A₂等各表观特征的特征值即完成Depth-AAM算法的表观模型的训练；

2)基于训练完成的Depth-AAM算法的表观模型进行人脸特征提取：

⑤Kinect相机根据人体深度图像，采用Kinect winsdk的API分割出人体图像，并得到头部节点位置坐标、头部节点转动方向θ及其置信度Conf_θ，根据人体深度图像，将人体区域置白，人体之外的区域置黑，从头部节点位置不断向上下左右同时扩大搜索范围，当上左右都达到黑色边界时，停止下边界的搜索，并确定人脸的最大区域，其左上角顶点坐标记为(x_headLU,y_headLU)，区域长度和宽度记为(length_head,width_head)；在此具体实施例中，头部节点位置和附近的深度信息采用探针搜索算法，扩展到整个头部区域，记录区域位置(t_x,t_y)和XY方向长度，用于初始化全局形状函数；

⑥全局形状参数q定义为 $N(x;q)=\left[\begin{array}{cc}1+a& -b\\ b& 1+a\end{array}\right]\left[\begin{array}{c}x\\ y\end{array}\right]+\left[\begin{array}{c}{t}_x\\ t_y\end{array}\right],$ 参数(a,b)表示为a＝kcosθ-1和b＝ksinθ，(t_x,t_y)为X方向和Y方向的平移，为了书写方便，(a,b,t_x,t_y)记为(q₁,q₂,q₃,q₄)即为全局形状参数q；目的就是将⑤中得到目标人脸图像进行缩放和平移，与①②③④步得到的表观模型的标准姿态相比较；

⑦Depth-AAM算法拟合的目标函数为输入图像与表观合成图像差的绝对值 $E=\underset{x\∈s_0}{\mathrm{\Σ}}[A_0\left(x\right)+\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{\mathrm{\λ}}_i{A}_i\left(x\right)-I\left(N(W(x;p);q)\right)],$ 第一次的Depth-AAM拟合使用转动方向θ初始化q₁、q₂，使用⑤中得到的人脸位置信息初始化q₃、q₄，p表示初始化后的标准姿态，求解参数p和q使图像能量差最小时获得的所述轮廓点的坐标值以及表观参数向量即完成人脸特征提取，具体为，对参数p和q求导，求得参数p和q的变化量Δp和Δq，迭代求取最小的图像能量差， $\mathrm{\Δq}=H^{-1}\underset{i=0}{\overset{n}{\mathrm{\Σ}}}{\mathrm{SD}}_i[I\left(N(W(x;p);q)\right)-A_0\left(x\right)],$ i的范围为i＝1,...,4，j的范围为j＝1,...,68，其中k的范围为k＝1,...,4，l的范围为l＝1,...,68，H为Hessian矩阵， $H=\underset{x\∈s_0}{\mathrm{\Σ}}{\left[{\mathrm{SD}}_k\left(x\right)\right]}^T\left[{\mathrm{SD}}_k\left(x\right)\right].$

轮廓点为68个，手工标定按照人脸图像轮廓线为标准，以右眼眼角为第1个点，其他67个点位置也是沿着人脸图像轮廓唯一确定，标定点位置如图3所示。

由于直接使用随机的形状参数q对分割出的人脸图像进行Depth-AAM拟合的精度不高，很难快速达到收敛，故采用分层的金字塔算法，将分割得到的人脸图像缩小到和先对大小的目标人脸图像进行第一次的Depth-AAM拟合，得到粗略的形状参数p¹和全局变形参数q，将第一次的Depth-AAM拟合形状参数p¹放大2倍，代入Depth-AAM进行第二次拟合得到形状参数p²和全局变形参数q²，再将p²放大2倍，代入Depth-AAM进行第三次拟合得到p³，p³也就是拟合得到的68个轮廓点坐标，向量λ就是表观参数；所述金字塔算法分为3层，每层金字塔最大迭代次数为30次，若前后2次p的差的模数小于0.001，视为迭代收敛；当第三次Depth-AAM拟合收敛后，计算表观参数为

所述的步骤④中标准姿态下的人脸图像I_i'分辨率大小为42*43，表观向量A_i分辨率大小也为42*43。

所述步骤⑥中只有第一次的Depth-AAM拟合才使用⑤中得到的默认的形状参数p和全局形状参数q，第一次以后的拟合均使用上一次Depth-AAM拟合收敛后得到的形状参数p和全局形状参数q进行初始化。

进行第⑦步前进行判断，如果头部节点转动方向θ大于30度且方向置信度Conf_θ大于0.8，则进行第⑦步，即将分割出人体头部RGBD四通道图像代入Depth-AAM算法迭代拟合，否则就跳过第⑦步以结束人脸特征提取。

Claims (6)

1.一种人脸特征提取方法，其特征在于，包括以下步骤， 

1)采用主成份分析方法训练Depth-AAM算法的表观模型： 

①利用Kinect相机采集训练用人脸图像的纹理图像和深度图像，将深度图像从0～65535像素范围压缩到0～255像素范围，代入四通道图像的α通道，再与纹理图像合并为RGBD四通道图像，并对其进行手工标定若干个轮廓点； 

②定义人脸形状为组成网格的ν个顶点坐标s＝(x₁,y₁,...,x_ν,y_ν)^T；顶点构成的形状向量用主成份分析方法建立二维线性模型，形状向量被表示成基本形状s₀加上m个形状向量s_i的线性组合p＝(p₁,...,p_m)^T是形状矩阵的特征值向量，s₀为人脸图像的标准姿态，s_i是特征值p_i对应的特征向量； 

③将s₀，RGBD四通道图像I_i和其对应的手工标记s_i ^*用分块仿射变换转换到标准姿态下的RGBD四通道人脸图像，即s₀与s_i'的三角网格一一对应，分块仿射变换表达式为x'＝a₁x+a₂y+a₃和y'＝b₁x+b₂y+b₃，(x,y)为s₀上一个坐标，(x',y')为s_i'上与(x,y)对应的坐标，a₁与b₂为X方向和Y方向的缩放尺度，a₂和b₁为旋转尺度，a₃和b₃为X方向和Y方向的平移大小，采用待定系数法求出对应的参数(a₁,a₂,a₃,b₁,b₂,b₃)； 

④将所有训练人脸图像经过第③步变换，得到其在标准姿态下的人脸图像I_i'，并采用主成份分析方法这里λ_i是第i个表观向量的参数，表观参数向量λ＝{λ₁,λ₂,...,λ_n}是输入图像对应于该AAM模型表观参数的特征值，以表示输入图像的全部信息，第i个表观向量A_i(x)对应于表观参数向量中第i大的特征值； 

通过①②③④步训练得到各表观特征的特征值即完成Depth-AAM算法的表观模型的训练； 

2)基于训练完成的Depth-AAM算法的表观模型进行人脸特征提取： 

⑤Kinect相机根据人体深度图像，采用Kinect winsdk的API分割出人体图像，并得到头部节点位置坐标、头部节点转动方向θ及其置信度Conf_θ，根据人体深度图像，将人体区域置白，人体之外的区域置黑，从头部节点位置不断向上下左右同时扩大搜索范围，当上左右都达到黑色边界时，停止下边界的搜索，并确定人脸的最大区域，其左上角顶点坐标 记为(x_headLU,y_headLU)，区域长度和宽度记为(length_head,width_head)； 

⑥全局形状参数q定义为参数(a,b)表示为a＝kcosθ-1和b＝ksinθ，(t_x,t_y)为X方向和Y方向的平移，为了书写方便，(a,b,t_x,t_y)记为(q₁,q₂,q₃,q₄)即为全局形状参数q； 

⑦Depth-AAM算法拟合的目标函数为输入图像与表观合成图像差的绝对值 第一次的Depth-AAM拟合使用转动方向θ初始化q₁、q₂，使用⑤中得到的人脸位置信息初始化q₃、q₄，求解p和q使图像能量差最小时获得的所述轮廓点的坐标值以及表观参数向量即完成人脸特征提取，具体为，对参数p和q求导，求得参数p和q的变化量Δp和Δq，迭代求取最小的图像能量差， i的范围为i＝1，...，4， j的范围为j＝1，...，68，其中 k的范围为k＝1，...，4， l的范围为l＝1，...，68，H为Hessian矩阵，

2.根据权利要求1所述的人脸特征提取方法，其特征在于，轮廓点为68个，手工标定按照人脸图像轮廓线为标准，以右眼眼角为第1个点，其他67个点位置也是沿着人脸图像轮廓唯一确定。 

3.根据权利要求1所述的人脸特征提取方法，其特征在于，采用分层的金字塔算法，将分割得到的人脸图像缩小到和先对大小的目标人脸图像进行第一次的Depth-AAM拟合，得到粗略的形状参数p¹和全局变形参数q，将第一次的Depth-AAM拟合形状参数p¹放大2倍，代入Depth-AAM进行第二次拟合得到形状参数p²和全局变形参数q²，再将p²放大2倍，代入Depth-AAM进行第三次拟合得到p³，p³也就是拟合得到 的68个轮廓点坐标，向量λ就是表观参数；所述金字塔算法分为3层，每层金字塔最大迭代次数为30次，若前后2次p的差的模数小于0.001，视为迭代收敛。 

4.根据权利要求1所述的人脸特征提取方法，其特征在于，所述的步骤④中标准姿态下的人脸图像I_i'分辨率大小为42*43，表观向量A_i分辨率大小也为42*43。 

5.根据权利要求1所述的人脸特征提取方法，其特征在于，所述步骤⑥中只有第一次的Depth-AAM拟合才使用⑤中得到的默认的形状参数p和全局形状参数q，第一次以后的拟合均使用上一次Depth-AAM拟合收敛后得到的形状参数p和全局形状参数q进行初始化。 

6.根据权利要求1所述的人脸特征提取方法，其特征在于，进行第⑦步前进行判断，如果头部节点转动方向θ大于30度且方向置信度Conf_θ大于0.8，则进行第⑦步，即将分割出人体头部RGBD四通道图像代入Depth-AAM算法迭代拟合，否则就跳过第⑦步以结束人脸特征提取。