CN1315092C - 基于极光谱图像的三维人脸识别方法 - Google Patents

Abstract

本发明涉及一种基于极光谱图像的三维人脸识别方法，其步骤如下：1)人脸特征区域截取：以鼻尖为中心，选取合适的半径长度作一个球，利用球面的空间对称特征对人脸进行截取，也就是将包含在球内部的三维人脸曲面区域作为人脸特征区域。2)将截取的三维人脸区域映射到二维的平面上，对三维人脸的平面参数化。3)把三维人脸在平面上进行展开以后，通过二维图像处理方法，生成的极光谱图像。针对不同姿态下的人脸，构造出一种姿态无关的平面图像用来表示三维人脸，我们称这种图像为极光谱图像。4)利用算法来进行人脸极光谱图像识别。本发明有益的效果是：主要解决的是不同三维姿态与表情下的人脸识别问题。

Description

基于极光谱图像的三维人脸识别方法

                              技术领域

本发明涉及一种三维人脸识别方法，主要是一种以参数化和光谱为基础的新思路来处理三维人脸识别的基于极光谱图像的三维人脸识别方法。

                              背景技术

计算机人脸识别由于其广泛的应用前景而得到了广泛的研究，迄今为止已经取得许多科研成果。由于在人脸面部表情、拍摄角度或拍摄光照等条件的变化下，得到的人脸照片中的特征不同，因此二维的人脸识别受到很大的限制。

为克服仅仅依赖于二维人脸照片的人脸识别方法在的不足，我们把目光转向三维人脸。随着三维扫描技术的发展，基于三维人脸的身份认证方法是目前的研究热点。虽然三维人脸比平面图像包含着更多的信息，但是对于三维人脸的处理并不是很成熟。一方面，对于姿态不同的人脸，在对齐上需要更多的计算时间；另一方面，由于人脸空间的不规则性，现有的空间统计和分析方法也很难直接应用到三维人脸上。

                          发明内容

本发明的目的在于克服上述不足而提供一种基于极光谱图像的三维人脸识别方法，主要解决的是不同三维姿态与表情下的人脸识别问题。

本发明解决其技术问题所采用的技术方案。

这种基于极光谱图像的三维人脸识别方法，其步骤如下：

1)、人脸特征区域截取：以鼻尖为中心，选取合适的半径长度作一个球，半径为鼻尖到嘴角的长度，利用球面的空间对称特征对人脸进行截取，也就是将包含在球内部的三维人脸曲面区域作为人脸特征区域；

2)、将截取的三维人脸区域映射到二维的平面上，对三维人脸的平面参数化；

以角度信息和面积信息作为人脸信息的两个基本度量，在三维人脸的平面二维化时，计算角度信息和面积信息的最小损失，以达到三维人脸信息保留的目的，具体公式如下：

$M^A\left[\begin{array}{c}{U}_{\mathrm{inetrnal}}\\ U_{\mathrm{boundary}}\end{array}\right]=0$ $M_{\mathrm{ij}}^A=\left\{\begin{array}{cc}\cot \left({\mathrm{\α}}_{\mathrm{ij}}\right)+\cot \left({\mathrm{\β}}_{\mathrm{ij}}\right)& \mathrm{if\; j}\∈N\left(i\right)\\ -{\mathrm{\Σ}}_{k\∈N\left(i\right)}{M}_{\mathrm{ik}}^A& \mathrm{if\; i}=j\\ 0& \mathrm{Otherwise}\end{array}\right.---\left(5\right)$

$M^X\left[\begin{array}{c}{U}_{\mathrm{inetrnal}}\\ U_{\mathrm{boundary}}\end{array}\right]=0$ $M_{\mathrm{ij}}^X=\left\{\begin{array}{cc}(\cot \left({\mathrm{\γ}}_{\mathrm{ij}}\right)+\cot \left({\mathrm{\β}}_{\mathrm{ij}}\right))/{|x_i-x_j|}^2& \mathrm{if\; j}\∈N\left(i\right)\\ -{\mathrm{\Σ}}_{k\∈N\left(i\right)}{M}_{\mathrm{ik}}^X& \mathrm{if\; i}=j\\ 0& \mathrm{Otherwise}\end{array}\right.---\left(6\right);$

3)、把三维人脸在平面上进行展开以后，通过二维图像处理方法，生成极光谱图像；

过二维图像处理方法对映射的二维人脸依次采用极坐标变换和二维傅立叶变换，从而得到与旋转无关的极光谱图像；极坐标变化是将把二维的图像转换到极坐标图像上，新的图像可以表示为g(ρ，θ)；经过二维fourier变换后生成极坐标图像的光谱，位移不同的极坐标图像产生相同的极光谱图像，如方程8所示：

$F(k,l)=\frac{1}{\mathrm{MN}}\underset{i=0}{\overset{M-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{N-1}{\mathrm{\Σ}}}f(i,j)e^{-i2\mathrm{\π}(\frac{\mathrm{ki}}{M}+\frac{\mathrm{lj}}{N})}$ 0＜k＜K，0＜l＜L  (8)；

4)、利用算法来进行人脸极光谱图像识别；采用FisherFaces算法对训练样本数据进行训练，根据训练结果将测试样本降维，然后分类，使得类间样本和类内样本离散度的比达到最大。

本发明有益的效果是：主要解决的是不同三维姿态与表情下的人脸识别问题。

                                附图说明

图1是本发明的三维人脸识别的流程图；

图2是本发明的简单三维网格的平面二维化示意图；

图3是本发明的采样示意图；

图4是本发明的ROC曲线和CMC曲线示意图。

                                具体实施方式：

下面结合附图和实施例对本发明作进一步描述。

一、本发明的整体思想：

三维人脸在空间分布中具有不规则性，现有表示方法无法很好的描述三维人脸。我们主要考虑以下三个方面：将三维平面映射到二维平面上时，如何保持三维人脸的识别信息最小缺失；对映射后的二维平面进行处理，如何使之与初始姿态无关；使用哪一种二维人脸识别方法来识别姿态无关图像。

二、本发明所述的这种基于极光谱图像的三维人脸识别方法，(如图1所示)其步骤如下：

1、人脸特征区域截取：

整个人脸的数据量很大，我们考虑去除一些包含的信息量比较少的点，从而达到信息和数据量的折衷。通过观察发现，人脸的特征主要分布在以鼻子为中心的部分。在这块区域中，包括了眼睛，嘴巴和鼻子等人脸的主要特征，他们对于人脸识别起着非常关键的作用。由于人脸在扫描时方向的不确定性，即使同一个人的扫描结果也存在方向上的差异性。这样使得空间截取时，需要考虑截取结果必须保证空间方向的无关性。

这里提出以鼻尖为中心，选取半径的长度大约为鼻尖到嘴角左右作一个球，使与人脸曲面相交，利用球面的空间对称特征对人脸进行截取，也就是将包含在球内部的三维人脸曲面区域作为人脸特征区域。特征区域包含人脸的眼睛，鼻子和嘴巴等主要特征。由于球体的空间对称性，所以不论人脸在空间的方向上如何变化，只要确定了球心，球与人脸曲面的相交区域就永远不变。这样就在截取特征区域的同时，保证了原始人脸的方向无关性。

2、将三维人脸映射到二维的平面上，对三维人脸的平面参数化；

目前对于三维物体还没有很好的一种分析和处理方法，但是对于二维图像的处理已经非常成熟。因此将三维人脸映射到二维的平面上，再用现有的二维图像处理方法进行分析，不但可以大大减少三维处理的复杂度，并且能够在对映射后的人脸进行比较复杂的图形分析和变换，从而得到比较好的识别结果。在映射时，由于维数的减少，信息的损失是必然的，因此在映射时，需要考虑识别信息的损失最小。对于三维人脸网格来说，其主要信息可以归结为角度信息和面积信息两种。我们用这两种信息的损失来估量人脸二维化中的信息损失度。为了更好的说明问题，我们首先考虑如图2所示的简单三维网格在映射中的信息损失。其角度和面积的信息损失可以由方程(1)(2)来计算。

1)角度信息损失：

$E_A=\underset{\mathrm{neighbouredges}(i,j)}{\mathrm{\Σ}}\cot {\mathrm{\α}}_{\mathrm{ij}}{|u_i-u_j|}^2---\left(1\right)$

2)面积信息损失：

$E_X=\underset{j\∈N\left(i\right)}{\mathrm{\Σ}}\frac{(\cot {\mathrm{\γ}}_{\mathrm{ij}}+\cot {\mathrm{\δ}}_{\mathrm{ij}})}{{\left|x_i{-x}_j\right|}^2}{(u_i-u_j)}^2$

平面化的关键问题就是如何使的得到的平面人脸损失的信息量最少。这里，我们考虑当E_A和E_X分别达到最小时，这两种情况对映射的结果的影响。从图2我们可以看出：在边界点固定的情况下，唯一的变量就是映射平面U’的中心点u_i，因此E_A和E_X的变化是随着u_i而变化的。

当E_A和E_X取到最小值时，必然有

$\frac{{\∂E}_A}{{\∂u}_i}=\underset{j\∈N\left(i\right)}{\mathrm{\Σ}}({\cot \mathrm{\α}}_{\mathrm{ij}}+\cot {\mathrm{\β}}_{\mathrm{ij}})(u_i-u_j)=0---\left(3\right)$

$\frac{{\∂E}_X}{\∂u_i}=\underset{j\∈N\left(i\right)}{\mathrm{\Σ}}\frac{({\cot \mathrm{\γ}}_{\mathrm{ij}}+{\cot \mathrm{\δ}}_{\mathrm{ij}})}{{|x_i-x_j|}^2}(u_i-u_j)=0---\left(4\right)$

推广整个三维人脸，可以得到：

$M^A\left[\begin{array}{c}{U}_{\mathrm{inetrnal}}\\ U_{\mathrm{boundary}}\end{array}\right]=0$ $M_{\mathrm{ij}}^A=\left\{\begin{array}{cc}\cot \left({\mathrm{\α}}_{\mathrm{ij}}\right)+\cot \left({\mathrm{\β}}_{\mathrm{ij}}\right)& \mathrm{if\; j}\∈N\left(i\right)\\ -{\mathrm{\Σ}}_{k\∈N\left(i\right)}{M}_{\mathrm{ik}}^A& \mathrm{if\; i}=j\\ 0& \mathrm{Otherwise}\end{array}\right.---\left(5\right)$

$M^X\left[\begin{array}{c}{U}_{\mathrm{inetrnal}}\\ U_{\mathrm{boundary}}\end{array}\right]=0$ $M_{\mathrm{ij}}^X=\left\{\begin{array}{cc}(\cot \left({\mathrm{\γ}}_{\mathrm{ij}}\right)+\cot \left({\mathrm{\β}}_{\mathrm{ij}}\right))/{|x_i-x_j|}^2& \mathrm{if\; j}\∈N\left(i\right)\\ -{\mathrm{\Σ}}_{k\∈N\left(i\right)}{M}_{\mathrm{ik}}^X& \mathrm{if\; i}=j\\ 0& \mathrm{Otherwise}\end{array}\right.---\left(6\right)$

当E_A或E_X分别达到最小时，映射到平面上的点集U_inetrnal和U_boundary需要满足方程5或方程6，其中U_inetrnal和U_boundary为人脸二维化后的内部点集合和外部点集合。然而实际上，方程5和6很难同时满足，因此使用平衡参数α用来调节E_A和E_X在二维化结果中所占的比重是十分必要的。这就意味着我们可以根据实际的需要来调节角度信息损失和面积信息损失。如方程7所示：

$M\left[\begin{array}{c}{U}_{\mathrm{inetrnal}}\\ U_{\mathrm{boundary}}\end{array}\right]=\left[\begin{array}{c}0\\ U_{\mathrm{boundary}}\end{array}\right]=0$ M＝αM^A+(1-α)M^X    (7)

方程7是建立在边界点固定的条件上，因此，将原来三维人脸的边界点，分布在半径为600的圆上，即为U_boundary，解线性方程即得到内部点的映射。

3、把三维人脸在平面上进行展开以后，通过二维图像处理方法，生成极光谱图像；

对于任意方向上的同一个人脸，根据上述方法得到的圆形映射区域在旋转角度上存在不同。我们构造了极光谱图像来处理角度的旋转问题。极光谱图像通过极坐标下的二维Fourier变换，实现了角度旋转的无关性。这就意味着，无论一个三维人脸的初始方向如何，他的极光谱图像总是相同的。目前人脸识别，特别是基于表情的识别中，对于不同人脸之间的对齐始终是一个既耗时又耗力的任务。极光谱图像的方向无关性，勿需复杂的计算对齐，不但可以大大加快识别的速度，而且避免了由人脸对齐而产生的误差。极光谱图像的产生流程如下：

1)、极坐标变化

映射后的人脸坐标是建立在笛卡尔坐标系上的，但是由于三维人脸的初始化方向而导致的二维图像在旋转角度上的不同并不能在笛卡尔坐标上很直观的表示出来，因此我们首先把二维的图像转换到极坐标图像上，则新的图像可以表示为g(ρ，θ)。在极坐标下，绕圆心旋转Δσ后，旋转图像为g(ρ，θ+Δσ)，即笛卡尔坐标下的旋转变换在极坐标下可以用简单的平移变换实现，由于在映射图像中只存在旋转的变化，因此转化到极坐标下就只存在θ方向上的位移。

在坐标变化的过程中，我们必须保证ρ和θ在采样上的一致性。即如图3所示：在距离圆心为r/2处，使的在弧度方向和半径方向的采样间距大致相同。假设极坐标的图像大小为(K，L)，从而我们得到， $\frac{2\mathrm{\π}}{L}\×\frac{r}{2}=\frac{r}{K},$ 即L＝πK≈3K。因此重采样并极坐标化后的图像长宽比为1∶3，并且同一个人的极坐标图像只存在平移变化。

2)、二维Fourier变换

最初三维人脸在极坐标图像上只有位移的不同，经过二维fourier变换后，位移不同的极坐标图像产生相同的极光谱图像，因此二维Fourier变换被用来生成极坐标图像的光谱，如方程8所示： $F(k,l)=\frac{1}{\mathrm{MN}}\underset{i=0}{\overset{M-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{N-1}{\mathrm{\Σ}}}f(i,j)e^{-i2\mathrm{\π}(\frac{\mathrm{ki}}{M}+\frac{\mathrm{lj}}{N})}$ 0＜k＜K，0＜l＜L    (8)

其中f(i，j)为极坐标图像在点(I，j)所对应的值。经过二维fourier变换后，位移不同的极坐标图像产生相同的极光谱图像，而最初三维人脸在极坐标图像上只有位移的不同，因此极光谱图像与三维人脸最初始的方向无关。

4、利用FisherFaces算法来进行人脸极光谱图像识别。

FisherFaces算法建立在Fisher分类方法上的。分类器的本质就是通过线性或者非线性的变换，使的类间样本和类内样本离散度的比达到最大，即：

$W_{\mathrm{opt}}=\arg \underset{W}{\max }\frac{\left|W^T{S}_{B}W\right|}{\left|W^T{S}_{W}W\right|}$

S_B，S_W分别表示为类内样本的离散度和类间样本的离散度：

$S_B=\underset{i=1}{\overset{c}{\mathrm{\Σ}}}{N}_i({\mathrm{\μ}}_i-\mathrm{\μ}){({\mathrm{\μ}}_i-\mathrm{\μ})}^T$

$S_w=\underset{i=1}{\overset{c}{\mathrm{\Σ}}}\underset{x_k\∈X_i}{\mathrm{\Σ}}(x_k-{\mathrm{\μ}}_i){(x_k-{\mathrm{\μ}}_i)}^T$

其中，c为样本的类别数，N_i为第i类样本的个数，μ_i为第i类样本的平均值，μ为样本的平均值，x_k为单个样本的值，X_i为第i类样本的集合。这是分类器的基本思想。

而在Fisherfaces中，我们使用以下的公式来计算W_opt：

$W_{\mathrm{opt}}=W_{\mathrm{fld}}^T{W}_{\mathrm{pca}}^T$

W_pca和W_fld的定义如下：

$W_{\mathrm{fld}}=\arg \underset{W}{\max }\frac{\left|W^T{W}_{\mathrm{pca}}^T{S}_B{W}_{\mathrm{pca}}W\right|}{\left|W^T{W}_{\mathrm{pca}}^T{S}_w{W}_{\mathrm{pca}}W\right|}$

$W_{\mathrm{pca}}=\arg \underset{W}{\max }\left|W^T{S}_{T}W\right|,$ $S_T=\underset{k=1}{\overset{N}{\mathrm{\Σ}}}(x_k-\mathrm{\μ}){(x_k-\mathrm{\μ})}^T$

S_T为整个样本的离散度。

W_opt是线性空间的变换矩阵，样本经过W_opt的线性空间变化，使的样本投影到维度为c-1的线性空间内，并且同一类的样本尽可能的聚在一起，不同类的样本尽可能的分开，从而达到分类的目的。在极光谱图像上应用FisherFaces算法，具有很好的识别效果。

三、验证结果：

为了验证该算法对三维人脸识别的效果，我们在3D_RMA人脸库上对此算法进行验证。我们用到了的3D_RMA人脸库的s1m和s2m两个部分，每部分有30个人，每个人三个人脸。

我们以鼻尖为球心，以到大概嘴角的距离长度为半径，即截取使统一截取半径为600，得到被截取后的区域，包含了眼睛，鼻子和嘴巴等主要部分。

二维映射时，我们设定圆为边界，把三维人脸的边界点按照距离分布在圆周上，按照上述提到的最小信息损失的度量得到二维上的人脸映射，并使角度信息损失和面积信息损失之间的调节参数α为0.5。

由二维人脸经过极坐标变换和Fourier变换后，得到的极光谱图像为，由于极光谱图像对于原始人脸的方向无关性，我们将其作为FisherFaces算法的输入，进行最后一步的人脸识别。

四、性能说明：

一般通常使用EER和CMC表明其识别能力：EER的值越低，说明性能越好；CMC值越高，说明性能越好。为了更有效的利用数据，我们采用留一法的标准来计算EER的值。以下两个实验来证明此系统的优越性：

1)采用留一法对s1m和s2m来计算最终的EER值，采样参数K从10到50的变化下，其结果如下：

DatabaseK	10	15	20	25	30	35	40	45	50
										S1M(％)	7.10	6.67	6.67	6.67	6.26	5.96	5.15	3.33	3.32
S2M(％)	10.56	9.44	9.44	9.76	8.89	8.89	8.71	9.15	8.97

2)利用s2m库做训练样本，s1m库做测试样本，K的取值为50，其ROC曲线和CMC曲线如图4所示。

五、实验结论：

由实验结果可以看出：采用基于极光谱的Fisherfaces算法对图像做识别，在EER和CMC两个指标上，得到了比较理想的结果。整个系统流程充分利用了平面参数化，极坐标和二维Fourier的属性从而得到勿需对齐的极光谱图像。从而避免了三维人脸对齐或者二维平面对齐时所需的大量的计算时间。在3D_RMA库的每张人脸只有3000个节，每个人脸并不是很精确的情况下，EER的值达到了3.32％，这在目前的三维人脸识别的方法中是比较高的。

Claims (4)

1、一种基于极光谱图像的三维人脸识别方法，其特征是，其步骤如下：

1)、人脸特征区域截取：以鼻尖为中心，选取合适的半径长度作一个球，半径为鼻尖到嘴角的长度，利用球面的空间对称特征对人脸进行截取，也就是将包含在球内部的三维人脸曲面区域作为人脸特征区域；

2)、将截取的三维人脸区域映射到二维的平面上，对三维人脸的平面参数化；

以角度信息和面积信息作为人脸信息的两个基本度量，在三维人脸的平面二维化时，计算角度信息和面积信息的最小损失，以达到三维人脸信息保留的目的，具体公式如下：

$M^A\left[\begin{array}{c}{U}_{\mathrm{inetrnal}}\\ U_{\mathrm{boundary}}\end{array}\right]=0{,M}_{\mathrm{ij}}^A=\left\{\begin{array}{cc}\cot \left({\mathrm{\α}}_{\mathrm{ij}}\right)+\cot \left({\mathrm{\β}}_{\mathrm{ij}}\right)& \mathrm{if\; j}\∈N\left(i\right)\\ -{\mathrm{\Σ}}_{k\∈N\left(i\right)}{M}_{\mathrm{ik}}^A& \mathrm{if\; i}=j\\ 0& \mathrm{Otherwise}\end{array}\right.---\left(5\right)$

$M^X\left[\begin{array}{c}{U}_{\mathrm{inetrnal}}\\ U_{\mathrm{boundary}}\end{array}\right]=0,M_{\mathrm{ij}}^X=\left\{\begin{array}{cc}(\cot \left({\mathrm{\γ}}_{\mathrm{ij}}\right)+\cot \left({\mathrm{\β}}_{\mathrm{ij}}\right))/{|x_i-x_j|}^2& \mathrm{if\; j}\∈N\left(i\right)\\ -{\mathrm{\Σ}}_{k\∈N\left(i\right)}{M}_{\mathrm{ik}}^X& \mathrm{if\; i}=j\\ 0& \mathrm{otherwise}\end{array}\right.---\left(6\right);$

3)、把三维人脸在平面上进行展开以后，通过二维图像处理方法，生成极光谱图像，通过二维图像处理方法对映射的二维人脸依次采用极坐标变换和二维傅立叶变换，从而得到与旋转无关的极光谱图像；极坐标变化是将把二维的图像转换到极坐标图像上，新的图像可以表示为g(ρ，θ)；经过二维fourier变换后生成极坐标图像的光谱，位移不同的极坐标图像产生相同的极光谱图像，如方程8所示：

$F(k,l)=\frac{1}{\mathrm{MN}}\underset{i=0}{\overset{M-1}{\mathrm{\&Sigma;}}}\underset{j=0}{\overset{N-1}{\mathrm{\&Sigma;}}}{f(i,j)e}^{-i2\mathrm{\&pi;}(\frac{\mathrm{ki}}{M}+\frac{\mathrm{lj}}{N})}0<k<K,0<l<L---\left(8\right);$

4)、利用算法来进行人脸极光谱图像识别；采用FisherFaces算法对训练样本数据进行训练，根据训练结果将测试样本降维，然后分类，使得类间样本和类内样本离散度的比达到最大。

2、根据权利要求1所述的基于极光谱图像的三维人脸识别方法，其特征是：引入平衡参数α，以根据实际的需要来调节角度信息损失和面积信息损失比例，如公式所示：

$M\left[\begin{array}{c}{U}_{\mathrm{inetrnal}}\\ U_{\mathrm{boundary}}\end{array}\right]=\left[\begin{array}{c}0\\ U_{\mathrm{boundary}}\end{array}\right]=0,M={\mathrm{\&alpha;M}}^A+(1-\mathrm{\&alpha;})M^X---\left(7\right).$

3、根据权利要求1所述的基于极光谱图像的三维人脸识别方法，其特征是：可以根据需要预先设定映射后的边界点或者内部点，以满足映射的要求。

4、根据权利要求1所述的基于极光谱图像的三维人脸识别方法，其特征是：在极坐标的转化过程中，使得在弧度方向和半径方向的采样间距相同，以保证ρ和θ在采样上的一致性。

Images