CN100444190C - 一种基于加权主动形状建模的人脸特征定位方法 - Google Patents

Abstract

本发明涉及一种基于加权主动形状建模的人脸特征定位方法。本发明建立主动形状模型，即全局形状模型、局部纹理模型，局部纹理模型包括中间局部纹理模型、内部局部纹理模型、外部局部纹理模型，该三个模型沿面部轮廓的法线，在原点内、外分别选取一点，经计算得到马氏距离准则函数，反复迭代。解决了现有技术局部纹理模型中因经常受到初始位置、光照和面部表情等因素的影响，使ASM陷入最优化过程中的局部最小问题，导致图像漂移、数据丢失，致使最后形成的图像离开真实的图像较远，从而无法满足更精确的要求。本发明的优点在于挖掘标定点附近的局部纹理信息，扩展为3个子模型，捕获特征点附近更多纹理信息，更精确地定位面部关键特征点。

Description

一种基于加权主动形状建模的人脸特征定位方法

技术领域

本发明涉及一种人脸特征定位方法，特别涉及一种基于加权主动形状建模的人脸特征定位方法。

背景技术

在本发明之前，在计算机视觉和模式识别领域中对人脸识别和面部表情识别，通常应用主动形状模型方法，简称ASM方法。它的核心算法包括两个子模型，即全局形状模型和局部纹理模型。在局部纹理模型中，由于经常会受到诸如初始位置、光照和面部表情等因素的影响，会导致ASM陷入最优化过程中的局部最小问题，从而影响它的性能，无法满足更精确的要求。主要表现在于图像漂移、数据丢失，致使最后形成的图像离开真实的图像较远。

发明内容

本发明的目的就在于克服上述缺陷，设计、研发一种更精确的基于加权主动形状建模的人脸特征定位方法。

本发明的技术方案是：

一种基于加权主动形状建模的人脸特征定位方法，其主要技术步骤如下：建立主动形状模型，即

(1)全局形状模型：

假设给定训练样本集合为

$M=\{(I_j,s_j),s_j=\{x_1^j,y_1^j,x_2^j,y_2^j,...,x_N^j,y_N^j\},j=\mathrm{1,2},...,K\}$

其中，K为训练样本数目，N为预先定义的关键特征点的数目，M中的每个形状向量s_j是由训练图像I_j上预先定义并手工标定的N个关键特征点的横纵坐标串接而成；

根据广义对齐算法，将其统一以同一坐标框架下，对齐后的形状向量为

${\tilde{S}}_j=\{{\tilde{x}}_1^j,{\tilde{y}}_1^j,{\tilde{x}}_2^j,{\tilde{y}}_2^j,...{\tilde{x}}_N^j,{\tilde{y}}_N^j\},j=\mathrm{1,2}...,K$

得全局形状模型为

s≈s+Pb

其中，s表示平均形状，b为主分量参数，P为主成分特征向量构成的变换矩阵；

(2)局部纹理模型：

将原局部纹理模型扩展为三个模型，分别为中间局部纹理模型即原局部纹理模型、内部局部纹理模型、外部局部纹理模型；

中间局部纹理模型为

在未知人脸图像中搜索某个特征点p的最佳侯选点q时，用下式计算相应的马氏距离准则函数，

$d\left(l_q\right)={(l_q-{\stackrel{\‾}{l}}_p)}^T{\mathrm{\Σ}}_p^{-1}(l_q-{\stackrel{\‾}{l}}_p)$

其中，l_q是由未知图像q点附近采样得到的归一化纹理向量，上标-1表示求逆运算，d(l_q)最小值对应的点q就是p的最佳侯选点；

沿面部轮廓的法线，在其内、外分别选取一点，建立同样的上述模型，分别为内部局部纹理模型、外部局部纹理模型；

 由此获得与某给定点p相对应的3个平均向量和3个协方差矩阵，分别记作l_p ^m，l_p ⁱ，l_p ^e，∑_p ^m，∑_p ⁱ，∑_p ^e，其中l_p ^m和∑_p ^m表示点p的中间局部纹理模型；l_p ⁱ和∑_p ⁱ表示点p的内部局部纹理模型；l_p ^e和∑_p ^e表示点p的外部局部纹理模型；将三个模型组合成整个局部纹理模型，即将此与马氏距离准则函数推广为一般形式

$q_{\mathrm{opt}}=\underset{q}{\arg \min }[\mathrm{\α}{(l_q^i-{\stackrel{\‾}{l}}_p^i)}^T{{\mathrm{\Σ}}_p^i}^{-1}(l_q^i-{\stackrel{\‾}{l}}_p^i)+\mathrm{\β}{(l_q^m-{\stackrel{\‾}{l}}_p^m)}^T{{\mathrm{\Σ}}_p^m}^{-1}(l_q^m-{\stackrel{\‾}{l}}_p^m)+$

$\mathrm{\γ}{(l_q^e-{\stackrel{\‾}{l}}_p^e)}^T{{\mathrm{\Σ}}_p^e}^{-1}(l_q^e-{\stackrel{\‾}{l}}_p^e)]$

其中，l_q ⁱ，l_q ^m，l_q ^e分别表示在q点附近采样得到的内部局部纹理向量，中间局部纹理向量以及外部局部纹理向量，α，β，γ是相应的加权参数，

满足条件

α+β+γ＝1

α，β，γ≥0即可；

(3)迭代过程

假设当前的全局面部形状为s_t-1；

用步骤(2)的结果搜索每一个标定点对应的最佳侯选点，由此获得图像框架下的新的面部形状，记为s′_t；

经相似变换，将新的全局面部形状从图像框架投影到坐标框架下，获得坐标框架下对应的形状s_t+1＝s″，s″＝G^-1(s+Pb，Θ)，其中G^-1代表相关的逆相似变换，Θ为对应的相似变换参数；

比较相邻两次迭代结果s_t和s_t+1之间的差别，如果它们之间小于阈值，则宣布算法收敛，否则，用步骤(2)的结果继续搜索，进行新的迭代。

本发明的优点和效果在于从ASM方法原始的思想出发，充分挖掘标定点附近的局部纹理信息，将原局部纹理模型扩展为3个子模型：第1个是原来的局部纹理模型，另外两个则采样每个标定点两边附近的纹理信息，经过归一化等步骤构建而成，将其扩展为更为鲁棒的模型；并综合3个子模型，并对其进行相应的加权，更好地捕获特征点附近的纹理信息，从而为更精确地定位面部关键特征点提供可靠的依据。

本发明的优点和效果将在下面的具体实施方式中继续描述。

附图说明

图1——本发明中3个子模型采样位置示意图。

图2——本发明与原ASM方法的精度性能比较数据图。

图3——原ASM方法局部最小问题人脸轮廓示意图。

图4——本发明解决局部最小问题后人脸轮廓示意图。

图5——本发明与ASM方法的搜索范围比较图。

具体实施方式

根据ASM方法原始的点分布模型方法，包括全局形状模型和局部纹理模型。先建立全局形状模型：

假设给定训练样本集合为

$M=\{(I_j,s_j),s_j=\{x_1^j,y_1^j,x_2^j,y_2^j,...,x_N^j,y_N^j\},j=\mathrm{1,2},...,K\}$

其中，K为训练样本数目，N为预先定义的关键特征点的数目；M中的每个形状向量s_j是由训练图像I_j上预先定义并手工标定的N个关键特征点的横纵坐标串接而成。运用广义对齐算法将它们统一到同一坐标框架之下，对齐后的形状向量记为

${\tilde{S}}_j=\{{\tilde{x}}_1^j,{\tilde{y}}_1^j,{\tilde{x}}_2^j,{\tilde{y}}_2^j,...{\tilde{x}}_N^j,{\tilde{y}}_N^j\},j=\mathrm{1,2},...,K$

接着对其进行主分量分析便可获得ASM的全局形状模型。最终获得全局形状模型为：

s≈s+Pb

其中，s表示平均形状，b为主分量参数，P为主成分特征向量构成的变换矩阵。

然后建立局部纹理模型：

由于本发明将原局部纹理模型改建为中间局部纹理模型(即原局部纹理模型)、内部局部纹理模型和外部局部纹理模型3个。该3个子模型的采样位置如图1所示：

设p₀是面部轮廓上的点，相对于点p₀而言，p₁被称作是面部图像“内部”的点，而p₂则被称作是面部图像“外部”的点。λ₁和λ₂分别表示点p₀到点p₁和p₂之间的距离。分别以p₀，p₁，p₂为中心，以一定像素长度为半径，在相应的法线方向上采样，可得3个相应的向量，采用相同的方法对训练集中每幅图像的标定点做类似处理之后，最终可以获得与某给定点p相对应的3个平均向量和3个协方差矩阵，分别记作l_p ^m，l_p ⁱ，l_p ^e，∑_p ^m，∑_p ⁱ，∑_p ^e，其中l_p ^m和∑_p ^m表示点p的中间局部纹理模型；l_p ⁱ和∑_p ⁱ表示点p的内部局部纹理模型；l_p ^e和∑_p ^e表示点p的外部局部纹理模型。至此，已经将原始的局部纹理模型推广为一个由3个子模型组成的更鲁棒的模型。

3个子模型只是采样的点不同，其余皆同，故只说明建立中间局部纹理模型为例：

局部纹理模型，它与每一个标定点一一对应，通过平均纹理和协方差矩阵两个参数来具体刻画该点的灰度分布情况，并运用该模型在未知人脸图像中搜索某个特征点p的最佳侯选点q时，用下式计算相应的马氏距离准则函数：

$d\left(l_q\right)={(l_q-{\stackrel{\‾}{l}}_p)}^T{\mathrm{\Σ}}_p^{-1}(l_q-{\stackrel{\‾}{l}}_p)$

其中，l_q是由未知图像q点附近采样得到的归一化纹理向量，上标-1表示求逆运算，d(l_q)最小值对应的点q就是p的最佳侯选点。

经过对局部纹理模型扩充之后，与马氏距离准则函数对应的准则函数可以推广为下面更一般的形式：

$q_{\mathrm{opt}}=\underset{q}{\arg \min }[\mathrm{\α}{(l_q^i-{\stackrel{\‾}{l}}_p^i)}^T{{\mathrm{\Σ}}_p^i}^{-1}(l_q^i-{\stackrel{\‾}{l}}_p^i)+\mathrm{\β}{(l_q^m-{\stackrel{\‾}{l}}_p^m)}^T{{\mathrm{\Σ}}_p^m}^{-1}(l_q^m-{\stackrel{\‾}{l}}_p^m)+$

$\mathrm{\γ}{(l_q^e-{\stackrel{\‾}{l}}_p^e)}^T{{\mathrm{\Σ}}_p^e}^{-1}(l_q^e-{\stackrel{\‾}{l}}_p^e)]---\left(3\right)$

其中l_q ⁱ，l_q ^m，l_q ^e分别表示在q点附近采样得到的内部局部纹理向量，中间局部纹理向量以及外部局部纹理向量，α，β，γ是相应的加权参数，满足条件α+β+γ＝1和α，β，γ≥0即可。

α，β，γ3个值的选择应该满足上述条件，同时，对于这α，β，γ3个值可以具体分别设定为0.25，0.5，0.25。

根据3个子模型建立的局部纹理模型，比ASM所取得的图像精度、性能要强，如图2所示；

首先将测试集中的每一幅图像对应的准确标定点的坐标分别沿x坐标和y坐标偏移不同的幅值，最高可达±8个像素，每幅图像偏移多次，然后以此偏移作为初始位置，用ASM方法进行迭代收敛，以期偏移点重新回到原来准确的位置；其中水平坐标表示收敛得到的点和手工标定点之间的距离，垂直坐标表示在偏移当前水平坐标值的情况下，收敛点所占的比例；从图中可以看出，在收敛点和准确标定点距离相差较小的时候(水平坐标值小的情况)，改进算法对应的纵轴百分比要高于原来的算法，这说明此时的收敛点的数目多，和原来准确点拟合的程度好；相反，在水平坐标值大的情况，改进算法对应的纵轴百分比要略低于原来的算法，这说明偏离准确位置的点少。

两者的比较表明，改进的加权ASM算法能更精确的定位面部的关键特征点。然后进行迭代过程：

基于上述加权ASM方法，我们可以通过迭代的方法来实现未知人脸图像的关键特征点的搜索，每步的迭代过程如下：

(1)假设当前的全局面部形状为s_t-1；

(2)用式(3)搜索每一个标定点对应的最佳侯选点，由此获得图像框架下的新的面部形状，记为s′_t；

(3)借助于相似变换，将新的全局面部形状从图像框架投影到坐标框架下，获得坐标框架下对应的形状s_t+1＝s″，s″＝G^-1(s+Pb，Θ)，其中G^-1代表相关的逆相似变换，Θ为对应的相似变换参数；

(4)比较相邻两次迭代结果s_t和s_t+1之间的差别，如果它们之间小于阈值，则宣布算法收敛，否则，转到过程(2)，继续新的迭代。

对局部最小问题的解决如图3、图4所示：

利用加权ASM模型，通过内部纹理模型和外部纹理模型面部特征点的强制约束，可以有效地解决局部最小问题，图中显示了两种方法比较的结果，从图中可以看出，传统的ASM方法有时在面部特征定位时不能奏效，本发明利用加权ASM可以将这些点拉回到更准确的位置。

搜索范围比较如图5所示：

将每一幅测试集中的准确标定点偏离它原来的准确位置(通常偏移到平均形状的位置)，然后以此为起始位置，采用ASM算法进行搜索，使其尽量回到原来的最佳位置，计算搜索得到的关键点和原来手工标定点之间的距离差值。图中显示了搜索范围比较的结果，从两条曲线上可以看出，同样误差的情况下，本发明的算法搜索范围相对宽一些。

本发明请求保护的范围并不仅仅局限于上述描述。

Claims (2)

1.一种基于加权主动形状建模的人脸特征定位方法，其步骤如下：

建立主动形状模型，即

(1)全局形状模型：

假设给定训练样本集合为

$M=\{(I_j,s_j),s_j=\{x_1^j,y_1^j,x_2^j,y_2^j,...,x_N^j,y_N^j\},j=\mathrm{1,2},...,K\}$

其中，K为训练样本数目，N为预先定义的关键特征点的数目，M中的每个形状向量s_j是由训练图像I_j上预先定义并手工标定的N个关键特征点的横纵坐标串接而成；

根据广义对齐算法，将其统一以同一坐标框架下，对齐后的形状向量为

${\tilde{S}}_j=\{{\tilde{x}}_1^j,{\tilde{y}}_1^j,{\tilde{x}}_2^j,{\tilde{y}}_2^j,...{\tilde{x}}_N^j,{\tilde{y}}_N^j\},j=\mathrm{1,2},...,K$

得全局形状模型为

s≈s+Pb

其中，s表示平均形状，b为主分量参数，P为主成分特征向量构成的变换矩阵；

(2)局部纹理模型：

将原局部纹理模型扩展为三个模型，分别为中间局部纹理模型即原局部纹理模型、内部局部纹理模型、外部局部纹理模型；

中间局部纹理模型为

在未知人脸图像中搜索某个特征点p的最佳侯选点q时，用下式计算相应的马氏距离准则函数，

$d\left(l_q\right)={(l_q-{\stackrel{\‾}{l}}_p)}^T{\mathrm{\Σ}}_p^{-1}(l_q-{\stackrel{\‾}{l}}_p)$

其中，l_q是由未知图像q点附近采样得到的归一化纹理向量，上标-1表示求逆运算，d(l_q)最小值对应的点q就是p的最佳侯选点；

沿面部轮廓的法线，在其内、外分别选取一点，建立同样的上述模型，分别为内部局部纹理模型、外部局部纹理模型；

由此获得与某给定点p相对应的3个平均向量和3个协方差矩阵，分别记作l_p ^m，l_p ⁱ，l_p ^e，∑_p ^m，∑_p ⁱ，∑_p ^e，其中l_p ^m和∑_p ^m表示点p的中间局部纹理模型；l_p ⁱ和∑_p ⁱ表示点p的内部局部纹理模型；l_p ^e和∑_p ^e表示点p的外部局部纹理模型；将三个模型组合成整个局部纹理模型，即将此与前述马氏距离准则函数推广为一般形式

$q_{\mathrm{opt}}=\underset{q}{\arg \min }[\mathrm{\α}{(l_q^i-{\stackrel{\‾}{l}}_p^i)}^T{{\mathrm{\Σ}}_p^i}^{-1}(l_q^i-{\stackrel{\‾}{l}}_p^i)+\mathrm{\β}{(l_q^m-{\stackrel{\‾}{l}}_p^m)}^T{{\mathrm{\Σ}}_p^m}^{-1}(l_q^m-{\stackrel{\‾}{l}}_p^m)+$

$\mathrm{\γ}{(l_q^e-{\stackrel{\‾}{l}}_p^e)}^T{{\mathrm{\Σ}}_p^e}^{-1}(l_q^e-{\stackrel{\‾}{l}}_p^e)]$

其中，l_q ⁱ，l_q ^m，l_q ^e分别表示在q点附近采样得到的内部局部纹理向量，中间局部纹理向量以及外部局部纹理向量，α，β，γ是相应的加权参数，

满足条件

α+β+γ＝1

α，β，γ≥0即可；

(3)迭代过程

假设当前的全局面部形状为s_t-1；

用步骤(2)的结果搜索每一个标定点对应的最佳侯选点，由此获得图像框架下的新的面部形状，记为s’_t；

经相似变换，将新的全局面部形状从图像框架投影到坐标框架下，获得坐标框架下对应的形状s_t+1＝s″，s″＝G^-1(s+Pb，Θ)，其中G^-1代表相关的逆相似变换，Θ为对应的相似变换参数；

比较相邻两次迭代结果s_t和s_t+1之间的差别，如果它们之间小于阈值，则宣布算法收敛，否则，用步骤(2)的结果继续搜索，进行新的迭代。

2.根据权利要求1所述的一种基于加权主动形状建模的人脸特征定位方法，其特征在于α，β，γ3个值的选择应该满足步骤(2)中所提的条件，即步骤(2)中α，β，γ3个值可以分别设定为0.25，0.5，0.25。

Images