CN105869153A - 融合相关块信息的非刚性人脸图像配准方法 - Google Patents

Abstract

融合相关块信息的非刚性人脸图像配准方法，第一步在模板人脸图像上，以标注的形状特征点为中心构建特征块，并确定每个特征块的局部匹配搜索区域；第二步在目标图像上，以当前形状特征点为中心确定对应的局部搜索区域；第三步在各自搜索区域内，为模板图像的特征块寻找对应在目标图像中的相关块，并计算相关块系数；第四步融合相关块信息，建立非刚性人脸图像配准的优化模型；第五步使用优化方法，求解模型参数，计算目标图像的形状特征点位置；迭代进行第二步到第五步直至收敛，最后进行非刚性变换获得最终的配准图像；本发明提出了一种局部相关块的搜索方法，并将相关块信息融合在全局配准方法中，能够有效地提高非刚性人脸图像的配准精度。

Description

融合相关块信息的非刚性人脸图像配准方法

技术领域

本发明涉及图像匹配技术领域，具体涉及一种融合全局与局部匹配信息的单模板非刚性人脸图像配准方法。

背景技术

单模板人脸配准是图像处理、计算机视觉中一个基本的研究问题。探索单模板人脸配准方法对人脸识别，人脸形状特征提取等应用都具有重要的意义。然而目标图像与模板图像虽属于同一人脸，但由于表情、光照、噪声环境等因素的影响，两幅图像存在较明显的差异，给配准工作带来了困难。介于人脸形变特性的影响，模板图像需要通过非刚性变换与目标图像达到像素级上的配准。

近年来，AAM算法[1-3]在图像配准中起到了重要的作用。AAM算法对训练样本库内的人脸效果较好，但对未知人脸匹配的扩展性较差。目前很多改进算法被提出以克服在这点上不足。约束局部模型[4]将人脸表示为全局形状和局部块模板的组合。它的模型匹配过程是根据观测图像估计出最相像的特征模板，而不像传统的模型需要对每个图像像素进行匹配，进而提高了模型的产生性。但是该方法忽略了全局纹理信息。一些判别式的人脸对齐算法[5-7]结合了经典的分类方法，在很大程度上提高了匹配的精度、鲁棒性和有效性。但这些方法仍需要大量的样本用于训练分类器。另一类基于特征的匹配[8]方法，不依赖于训练样本，利用局部特征建立目标图像和模板之间的相关性。但是，只有大量的具有局部显著性特征才能满足非刚性图像配准的需求。Wang[9]提出一种基于块的贪婪搜索算法，能够仅根据单一的模板进行人脸对齐，该方法同样忽略了全局的图像纹理，匹配结果完全取决于局部块的相似性，容易受到局部干扰的影响。

[1]Zhou M,Liang L,et al.AAM based face tracking with temporalmatching and face segmentation.In Proceedings of IEEE Conference on ComputerVison and Pattern Recognition,2010:701-708.

[2]Liu X.Video-based face model fitting using adaptive activeappearance model.Image and Vision Computing,2010,28(7):1162-1172.

[3]Gross R,Matthews I,et al.Generic vs.person specific activeappearance models.Image and Vision Computing,2005,23(11):1080-1093.

[4]Cristinacce D,Cootes T.Feature detection and tracking withconstrained local models.In Proceedings of BMVC,2006:929-938.

[5]Liang L,Xiao R,et al.Face alignment via component-baseddiscriminative Search.In Proceedings of European Conference on ComputerVision,2008:72-85.

[6]Liu X.Discriminative face alignment.IEEE Transanction of PatternAnalysis and Machine Inteligence,2009,31(11):1941-1954.

[7]Wu H,Liu X,et al.Face alignment via boosted ranking model.InProceedings of ComputerVision and Pattern Recogniton,2009:

[8]Lowe D.Object recognition from local scale-invariant features.InProceedings of International Conference on ComputerVision,1999:1150-1157.

[9]Wang Y,Lucey S,Cohn J.Non-rigid object alignment with a mismatchtemplate based on exhaustive local search.In Proceedings of IEEE Workshop onNon-rigid Registration and Trackingthrough Learning,2007:1-8.

发明内容

为了解决上述现有技术存在的问题，本发明融合局部相关块信息和全局纹理信息，提出一种融合相关块信息的非刚性人脸图像配准方法，结果显示该方法在初始形状特征点偏差较大并存在局部非匹配的情况下，可以提高配准结果的准确性。

为达到以上目的，本发明采用如下技术方案：

融合相关块信息的非刚性人脸图像配准方法，第一步，在模板人脸图像上，以标注的形状特征点为中心构建N*N大小的特征块，N为大于1，小于所有相邻特征点距离均值的某一数值，并同样以形状特征点为中心确定M*M大小的局部匹配搜索区域，其中M>N；第二步，在目标人脸图像上，以当前形状特征点为中心确定对应M*M大小的局部搜索区域；第三步，在各自搜索区域内，为模板人脸图像的特征块寻找对应在目标人脸图像中的相关块，并计算相关块系数；第四步，融合相关块信息，建立非刚性人脸图像配准的优化模型；第五步，使用优化方法求解模型参数，计算目标图像的形状特征点位置；迭代进行第二步到第五步直至收敛，最后进行非刚性变换获得最终的配准图像。

所述的在各自搜索区域内，为模板图像的特征块寻找对应在目标图像中的相关块，并计算相关块系数，具体方法为：对于模板人脸图像每个特征块，首先在相应的目标人脸图像特征块搜索区域内，利用滑动窗方法比较像素距离寻找1到K个最近邻块，为每个最近邻块反向寻找模板图像中对应搜索区域内的1到K个最近邻块；若模板人脸图像中当前特征块与目标人脸图像中的某图像块互为k(1<k<K)近邻，则定义目标人脸图像中的该块为当前特征块的k互近邻块；选取特征块对应的最小k值的互近邻块即为相关块；具体数学模型为：设p表示模板人脸图像特征块的像素矢量，P表示p对应特征块搜索区域内的所有候选块的特征集合，为目标人脸图像对应搜索区域内所有候选块的特征集合；为每个特征块寻找其相关块，并根据最小k近邻值，计算相关块系数w；

$\left\{\begin{array}{c}k=\underset{k}{\arg \min }\{kNN(p,Q)=q_j\mathrm{\&Lambda;}kNN(q_j,P)=p\}\\ w=(K-k)/\mathrm{\&alpha;}\end{array}\right.---\left(1\right)$

其中，α为以常数；kNN表示k近邻函数；w为相关块系数。

所述的融合相关块信息，建立非刚性人脸图像配准的优化模型，具体方法为：以最小化模板人脸图像与经过非刚性变换的目标人脸图像对应像素的颜色距离为目标构造主目标函数，并以配准的形状特征点与相关块中点的位置距离为约束构造正则项；具体数学模型为：模板人脸图像T和目标人脸图像I的非刚性变换配准函数形式如下：

$E=\underset{x}{\&Sigma;}\left|\right|T\left(x\right)-I\left(W\right(x;p\left)\right)|{|}^2+\mathrm{\&lambda;}{(\stackrel{\&OverBar;}{S}+Qp-S_L)}^T{\mathrm{\&Sigma;}}_r(\stackrel{\&OverBar;}{S}+Qp-S_L)---\left(2\right)$

其中，和Q分别是对人脸形状样本经过主成份分析算法获得的形状均值和特征矢量；p为所求人脸形状参数；X是图像像素点的集合；x∈X；W为非刚性变换函数；S_L为相关块中心点构成的人脸形状；λ为正则项系数；∑_r＝diag(w₁,w₂,...w_Pnum)为相关块系数组成的权重矩阵。

所述的使用优化方法求解模型参数，计算目标图像的形状特征点位置的具体方法如下：通过迭代求解参数p的增量Δp，直至算法收敛；

$\mathrm{\&Delta;}p=H^{-1}\left(\underset{x}{\&Sigma;}\right(I\left(W\left(x;p\right)-T\left(x\right)\right)+\mathrm{\&lambda;}\frac{\&part;W(x;p)}{\&part;x}{\mathrm{Q\&Sigma;}}_r(\stackrel{\&OverBar;}{S}+Qp-S_L))---\left(3\right)$

其中，为海森矩阵；

将求解出的参数，代入公式(4)，计算得到对应的形状特征点位置；

$S=\stackrel{\&OverBar;}{S}+Qp---\left(4\right)$

其中，和Q分别是对人脸样本的形状均值和特征向量；p对应形状的特征值。

本发明与现有技术相比较，具有如下优点：

传统的人脸图像配准方法通过事先训练得到的形状特征空间约束最终形变的形状，基于全局图像对应像素差值最小为目标构建能量函数。该类方法的结果受初值影响很大，常收敛于局部最小，特别对于非刚性目标配准时结果不够鲁棒。局部图像块是图像的中层特征表示，局部匹配具有匹配特征选取灵活，受初值影响小的特点，但由于人脸非刚性形变等因素的影响，存在较多局部块的误匹配。本发明采用了一种互相关块的局部匹配方法，能够有效地避免局部误匹配情况的发生，此外，将互相关块匹配信息作为正则项，结合全局图像配准目标，定义新的优化能量函数。相比于传统的仅基于全局图像配准的能量建模方法，本发明的结果能够实现由于人脸表情变化引起的非刚性形变和图像纹理变化下的精确配准。

附图说明

图1为本发明融合相关块信息的非刚性人脸图像配准算法流程图。

图2为不同算法在真实人脸图像上的实验结果比较，其中：图2(a)为模板图像及形状特征点，图2(b)目标图像及初始形状特征点，图2(c)是未融合局部信息的Lucas-Kanade算法的图像配准结果，图2(d)为本发明融合局部相关块信息的图像配准的结果。

具体实施方式

以下结合附图及具体实施例对本发明作进一步的详细描述。

算法总流程图如图1所示。第一步在模板人脸图像上，以标注的每个形状特征点为中心构建N*N(如9*9)大小的特征块和M*M(M>N)(如21*21)大小的局部匹配搜索区域；第二步在目标人脸图像上，以当前每个形状特征点为中心确定对应M*M大小的局部搜索区域；第三步在各自搜索区域内，为模板人脸图像的特征块寻找对应在目标人脸图像中的相关块，并计算相关块系数；第四步融合相关块信息，建立非刚性人脸图像配准的优化模型；第五步使用优化方法，求解模型参数，计算目标图像的形状特征点位置；迭代进行第二步到第五步直至收敛，最后进行非刚性变换获得最终的配准图像。

1.局部相关块搜索方法

对于模板人脸图像每个特征块，首先在相应的目标人脸图像特征块搜索区域内，利用滑动窗方法比较像素距离寻找1到K个最近邻块。为每个最近邻块反向寻找模板人脸图像中对应搜索区域内的1到K个最近邻块。若模板人脸图像中当前特征块与目标人脸图像中的某图像块互为k(1<k<K)近邻，则定义目标人脸图像中的该块为当前特征块的k互近邻块。选取特征块对应的最小k值的互近邻块即为相关块。

具体数学模型为：设p表示模板人脸图像特征块的颜色特征，P表示p特征块搜索区域内的所有候选块的特征集合，为目标人脸图像对应搜索区域内所有候选块的特征集合；为每个特征块寻找其相关块，并根据最小k近邻值，计算相关块系数w，

$\left\{\begin{array}{c}k=\underset{k}{\arg \min }\{kNN(p,Q)=q_j\mathrm{\&Lambda;}kNN(q_j,P)=p\}\\ w=(K-k)/\mathrm{\&alpha;}\end{array}\right.---\left(1\right)$

其中，α为以常数。kNN表示k近邻函数。w为相关块系数。

2.融合相关块信息，建立非刚性人脸图像配准的优化模型

(1)人脸形状特征参数

本发明采用最常用的人脸形状特征模型方法：主动形状模型。即对于样本库中的每一幅人脸，标注一组含义相同的特征点。本发明具体的在人脸轮廓、眼睛、眉毛、鼻子嘴巴处共选取了80个特征点，构成形状特征矢量S＝(x₁,x₂,...,x₈₀,y₁,y₂,...,y₈₀)。将这些特征点的横纵坐标组成的特征矢量进行主成份分析。

$S=\stackrel{\&OverBar;}{S}+Qp---\left(4\right)$

其中，和Q分别是对人脸样本的形状均值和特征向量；p对应形状的特征值。

(2)非刚性人脸图像配准模型

以最小化模板图像与经过非刚性变换的目标人脸图像对应像素的颜色距离为目标构造主目标函数，并以配准的形状特征点与相关块中点的位置距离为约束构造正则项，构建的模板图像T和目标图像I的非刚性变换配准能量函数形式如下：

$E=\underset{x}{\&Sigma;}\left|\right|T\left(x\right)-I\left(W\right(x;p\left)\right)|{|}^2+\mathrm{\&lambda;}{(\stackrel{\&OverBar;}{S}+Qp-S_L)}^T{\mathrm{\&Sigma;}}_r(\stackrel{\&OverBar;}{S}+Qp-S_L)---\left(2\right)$

其中，p为待求人脸形状特征参数；X是图像像素点的集合，x∈X；S_L为相关块中心点构成的人脸形状；λ为正则项系数，实验中取λ＝20；Σ_r＝diag(w₁,w₂,...w_Pnum)为相关块系数组成的权重矩阵；W(x；p)为非刚性变换函数。本发明将特征点进行Delaunay三角剖分，采用分片仿射变换作为非刚性变换函数。

3.优化求解模型参数

本发明采用传统的Lucas-Kanade算法中的反向组成优化方法框架。目标函数经过泰勒展开，在给定初值的基础上，迭代求解参数p的增量Δp，直至算法收敛。相关公式如下：

$\mathrm{\&Delta;}p=H^{-1}\left(\underset{x}{\&Sigma;}\right(I\left(W\left(x;p\right)-T\left(x\right)\right)+\mathrm{\&lambda;}\frac{\&part;W(x;p)}{\&part;x}{\mathrm{Q\&Sigma;}}_r(\stackrel{\&OverBar;}{S}+Qp-S_L))---\left(3\right)$

其中，为海森矩阵。

将求解出的参数，代入公式(4)，计算得到对应的形状特征点位置。

4.非刚性变换的图像配准

根据对特征点的三角剖分结果，计算每个三角形的仿射变换函数，将三角形内部的坐标的像素值复制到目标图像中变换后的位置，即获得最终的配准图像。

图2为不同算法在真实人脸图像上的实验结果比较，可以看出本发明提出方法的效果。其中：图2(a)为模板图像及标注的形状特征点，图2(b)目标图像及初始形状特征点，图2(c)是未融合局部信息的Lucas-Kanade算法的图像配准结果，图2(d)为本发明融合局部相关块信息的图像配准的结果。

Claims (4)

1.融合相关块信息的非刚性人脸图像配准方法，其特征在于：第一步，在模板人脸图像上，以标注的形状特征点为中心构建N*N大小的特征块，N为大于1，小于所有相邻特征点距离均值的某一数值，并同样以形状特征点为中心确定M*M大小的局部匹配搜索区域，其中M>N；第二步，在目标人脸图像上，以当前形状特征点为中心确定对应M*M大小的局部搜索区域；第三步，在各自搜索区域内，为模板人脸图像的特征块寻找对应在目标人脸图像中的相关块，并计算相关块系数；第四步，融合相关块信息，建立非刚性人脸图像配准的优化模型；第五步，使用优化方法求解模型参数，计算目标图像的形状特征点位置；迭代进行第二步到第五步直至收敛，最后进行非刚性变换获得最终的配准图像。

2.根据权利要求1所述的融合相关块信息的非刚性人脸图像配准方法，其特征在于：所述的在各自搜索区域内，为模板人脸图像的特征块寻找对应在目标图像中的相关块，并计算相关块系数，具体方法为：对于模板人脸图像每个特征块，首先在相应的目标人脸图像特征块搜索区域内，利用滑动窗方法比较像素距离寻找1到K个最近邻块，为每个最近邻块反向寻找模板人脸图像中对应搜索区域内的1到K个最近邻块；若模板人脸图像中当前特征块与目标人脸图像中的某图像块互为k(1<k<K)近邻，则定义目标人脸图像中的该块为当前特征块的k互近邻块；选取特征块对应的最小k值的互近邻块即为相关块；具体数学模型为：设p表示模板人脸图像特征块的像素矢量，P表示p对应特征块搜索区域内的所有候选块的特征集合，为目标人脸图像对应搜索区域内所有候选块的特征集合；为每个特征块寻找其相关块，并根据最小k近邻值，计算相关块系数w：

$\left\{\begin{array}{c}k=\underset{k}{\mathrm{argmin}}\{kNN(p,Q)=q_j\mathrm{\&Lambda;}kNN(q_j,P)=p\}\\ w=(K-k)/\mathrm{\&alpha;}\end{array}\right.---\left(1\right)$

其中，α为以常数；kNN表示k近邻函数；w为相关块系数。

3.根据权利要求1所述的融合相关块信息的非刚性人脸图像配准方法，其特征在于：所述的融合相关块信息，建立非刚性人脸图像配准的优化模型，具体方法为：以最小化模板人脸图像与经过非刚性变换的目标人脸图像对应像素的颜色距离为目标构造主目标函数，并以配准的形状特征点与相关块中点的位置距离为约束构造正则项；具体数学模型为：模板人脸图像T和目标人脸图像I的非刚性变换配准函数形式如下：

$E=\underset{X}{\&Sigma;}\left|\right|T\left(x\right)-I\left(W\right(x;p\left)\right)|{|}^2+\mathrm{\&lambda;}{(\stackrel{\&OverBar;}{S}+Qp-S_L)}^T{\mathrm{\&Sigma;}}_r(\stackrel{\&OverBar;}{S}+Qp-S_L)---\left(2\right)$

其中，和Q分别是对人脸形状样本经过主成份分析算法获得的形状均值和特征矢量；p为所求人脸形状参数；X是图像像素点的集合；x∈X；W为非刚性变换函数；S_L为相关块中心点构成的人脸形状；λ为正则项系数；Σ_r＝diag(w₁,w₂,...w_Pnum)为相关块系数组成的权重矩阵。

4.根据权利要求1所述的融合相关块信息的非刚性人脸图像配准方法，其特征在于：所述使用优化方法求解模型参数，计算目标图像的形状特征点位置的具体方法如下：通过迭代求解参数p的增量Δp，直至算法收敛；

$\mathrm{\&Delta;}p=H^{-1}\left(\underset{X}{\mathrm{\&Sigma;}}\right(I\left(W\left(x;p\right)-T\left(x\right)\right)+\mathrm{\&lambda;}\frac{\&part;W(x;p)}{\&part;x}{\mathrm{Q\&Sigma;}}_r\left(\stackrel{\&OverBar;}{S}+Qp-S_L\right))---\left(3\right)$

其中，为海森矩阵；

将求解出的参数，代入公式(4)，计算得到对应的形状特征点位置；

$S=\stackrel{\&OverBar;}{S}+Qp---\left(4\right)$

其中，和Q分别是对人脸样本的形状均值和特征向量；p对应形状的特征值。