CN102592136A - 基于几何图像中中频信息的三维人脸识别方法 - Google Patents

Abstract

一种基于几何图像中中频信息的三维人脸识别方法，步骤如下：(1)对三维人脸的库集模型和测试模型进行预处理，包括三维人脸区域切割、平滑处理和点云稀释，最后切除嘴部附近点集，保留上半张人脸；(2)通过网格参数化将上半张人脸映射至二维网格，对网格顶点的三维坐标线性插值获取各像素点的三维坐标属性，生成三维人脸模型的几何图像；(3)用多尺度哈尔小波滤波器对几何图像进行多尺度滤波，提取水平中频信息图像、垂直中频信息图像以及对角线中频信息图像作为人脸的表情不变特征；(4)用小波域结构化相似度算法计算测试模型和库集模型的相似度；(5)根据测试模型和三维人脸库集的各个库集模型的相似度，判定具有最大相似度的库集模型与测试模型属于同一个体。

Description

基于几何图像中中频信息的三维人脸识别方法

技术领域

本发明涉及一种基于几何图像中中频信息的三维人脸识别方法，对任一预处理过的三维人脸模型进行网格参数化和线性插值得到几何图像，用多尺度哈尔小波滤波器从几何图像中提取具有身份区分度的中频信息图像作为三维人脸模型的表情不变特征，用小波域结构化相似度算法计算测试模型和库集模型的中频信息图像的相似度以判定测试模型的身份。本发明提出的三维人脸模型的中频信息图像具有很好的身份表征性，有效地减小了表情变化对三维人脸识别造成的影响。小波域结构化相似度算法精确地计算了测试模型和库集模型的中频信息图像的结构信息相似度，显著地提高了三维人脸识别方法的识别率。

背景技术

生物特征识别在安全领域有着重要的应用，特别是与指纹、虹膜等特征识别技术相比，自动人脸识别技术以其无接触性、可接受性高、隐蔽性好等优点受到越来越多的关注，有着巨大的发展空间。

传统的基于照片的人脸识别技术受到光照、姿态、化妆等因素的限制，而三维人脸识别技术可以克服或减轻这些因素带来的不利影响。三维人脸模型具有比二维图像更丰富的信息，它是对人脸的空间真实形态更准确的描述。但是，三维人脸模型数据量较大，干扰区域较多，计算量极大，且人脸表情带来的非刚性形变影响了基于几何信息的三维人脸识别方法的性能。因此，如何减小运算量、降低人脸表情影响成为三维人脸识别技术的瓶颈，也是研究的关键问题。

发明内容

本发明提供一种能够提高识别率的基于几何图像中中频信息的三维人脸识别方法。

本发明采用如下技术方案：

一种基于几何图像中中频信息的三维人脸识别方法，其特征在于，分别对测试模型及库集模型的几何图像进行多尺度哈尔小波滤波，得到测试模型和库集模型的水平中频信息图像、垂直中频信息图像和对角线中频信息图像，用小波域结构化相似度算法计算对应中频信息图像的相似度并相加作为测试模型和库集模型的总相似度，最后根据测试人脸和三维人脸库集的各个库集人脸的相似度，判定具有最大相似度的库集模型为识别结果。所述处理包括预处理步骤、中频信息图像提取步骤，小波域结构化相似度计算步骤以及识别步骤。

步骤1分别对测试模型和库集模型进行预处理，所述的预处理为：

步骤1.1人脸切割

根据人脸点云的形状指数Shape Index特征和几何约束确定鼻尖点位置，以该点为球心，90mm为半径做球，舍弃落在球体以外的点，保留球体内的点并作为后续处理的人脸区域；

步骤1.2人脸表面平滑处理

对切割后的人脸点云用主成分分析法(Principal Component Analysis，PCA)进行姿态校正，经主成分分析得到3个互相垂直的主轴方向，以鼻尖点为原点，选取最大的特征值对应的特征向量作为Y轴，最小特征值对应的特征向量作为Z轴，建立右手坐标系，并以所述右手坐标系为空间三维坐标系，人脸点云中每个点由坐标系中x、y、z坐标唯一表示；

对空间三维坐标系中的人脸点云三角化，得到空间三角网格，然后用基于网格的平滑算法对人脸区域进行平滑去噪，经过10次迭代处理，得到表面平滑的三维人脸网格；

步骤1.3上半张脸的切割

舍弃三维人脸网格中位于y＝-10平面以下的点，保留受表情影响较小的上半张人脸；

步骤1.4人脸点云稀释

人脸的点云按照空间距离进行均匀采样，采样间隔为1mm，得到稀释的点云，对稀释的点云进行三角网格化，计算并保存生成的三维人脸网格中每个空间三角面片的边长γ_l1，γ_l2，γ_l3，l＝1，2，…，η，其中η是网格中三角面片的个数，所有三角面片边长的平均值为

，如果三角面片中存在有长度大于

的边，则舍弃三角面片，保留三角面片的顶点；

步骤2.1分别将测试模型和库集模型人脸的点云坐标信息映射到平面上，分别形成测试模型和库集模型的几何图像，获取几何图像的方法如下：

步骤2.1.1网格参数化

将预处理后的三维人脸网格的边界点映射到平面上大小为512×512像素的正四边形的四条边上，且将三维人脸网格除边界点以外的其它点经过网格参数化映射到正四边形区域内，得到平面网格φ，以平面上正四边形任一顶点为原点，以与原点相交的两条边所在方向为正方向，建立逆时针坐标系MON，平面上的任意点由m、n坐标唯一表示，在正四边形的四条边上，按照逆时针方向从原点开始均匀采样b个点，采样点的坐标为

t＝1，2，…b，其中b是三维人脸网格的边界点个数；

记f_q为三维人脸网格的顶点，q＝1，2，…，τ，τ为顶点个数，映射到正四边形区域内的对应点的坐标为(m_q，n_q)，m_q、n_q是以下线性方程的解：

$\left\{\begin{array}{c}{\mathrm{Lm}}_q={\mathrm{Ln}}_q=0,\∀f_q\∉B\\ m_q=m_q^0,n_q=n_q^0,\∀f_q\∈B\end{array}\right.,$

其中L是三维人脸网格的拉普拉斯Laplacian矩阵，B是三维人脸网格边界点的集合；

步骤2.1.2生成几何图像

将人脸网格顶点f_q＝(x_q，y_q，z_q)的三维坐标附加在对应点(m_q，n_q)上，作为点(m_q，n_q)的属性，再用线性插值方法确定正四边形区域内各像素点的属性，得到具有三维坐标属性的二维图像，称为几何图像G；

步骤2.2分别对测试模型和库集模型的几何图像G滤波，得到测试模型和库集模型的中频信息，几何图像的滤波采用如下方法：

步骤2.2.1对几何图像G进行多尺度哈尔Haar小波滤波

步骤2.2.1.1利用哈尔转换矩阵 $H=\frac{1}{\sqrt{2}}\left[\begin{array}{cc}1& 1\\ 1& -1\end{array}\right]$ 对几何图像G依次进行行变换和列变换，得到低频系数的集合以及水平、垂直和对角线高频系数的集合，将低频系数的集合记为LL₁，水平、垂直和对角线高频系数的集合分别记为HL₁、LH₁和HH₁；

步骤2.2.1.2按照步骤2.2.11，对低频系数集合LL₁再次进行哈尔小波滤波，输出第二次滤波的低频系数集合和水平、垂直、对角线高频系数集合，分别记为LL₂、HL₂、LH₂和HH₂，如此循环滤波5次，每次滤波以前次滤波得到的低频系数集合为输入，输出新的低频系数集合和水平、垂直、对角线高频系数集合；

步骤2.2.2提取中频信息图像

提取并保存最后一次滤波输出的水平高频系数集合HL₅，垂直高频系数集合LH₅和对角线高频系数集合HH₅，以HL₅，LH₅和HH₅中的元素为像素的属性，构成三幅16×16像素大小的图像，称为水平中频信息图像、垂直中频信息图像和对角线中频信息图像；

步骤3用小波域结构化相似度算法分别计算测试模型和库集模型的相似度，计算方法如下：

步骤3.1计算测试模型的水平中频信息图像与库集模型的水平中频信息图像的相似度S_HL，测试模型的垂直中频信息图像与库集模型的垂直中频信息图像的相似度S_LH，测试模型的对角线中频信息图像与库集模型的对角线中频信息图像的相似度S_HH，将S_HL、S_LH、S_HH相加作为测试模型和库集模型的相似度，所述的S_HL、S_LH、S_HH分别使用待匹配的水平中频信息图像、垂直中频信息图像和对角线中频信息图像并采用小波域结构化相似度算法得到，所述的小波域结构化相似度算法为：

步骤3.1.1根据水平中频信息图像、垂直中频信息图像和对角线中频信息图像的每个像素点的x，y，z的三个属性，分别将水平中频信息图像、垂直中频信息图像和对角线中频信息图像的所有像素的x属性按照所属像素的顺序排列，并分别构成水平中频信息图像、垂直中频信息图像和对角线中频信息图像的x通道，以此类推，分别构成并得到水平中频信息图像、垂直中频信息图像和对角线中频信息图像的y通道和z通道，记为：

其中χ为x、y或z，C^χ表示为x通道、y通道或z通道，c_1，1为C^χ中第1行第1列的元素，c_1，2为C^χ中第1行第2列的元素，……，c_2，1为C^χ中第2行第1列的元素，……，c_16，16为C^χ中第16行第16列的元素，将所述水平中频信息图像、垂直中频信息图像或对角线中频信息图像称为中频信息图像，计算两幅待匹配中频信息图像的x通道的相似度s^x、y通道的相似度s^y及z通道的相似度s^z，将s^x、s^y和s^z相加作为对应的两幅待匹配中频信息图像的相似度S_HL、S_LH或S_HH，所述s^x、s^y、s^z由以下方法得到：

用

表示测试模型的一幅中频信息图像的x、y或z通道，表示库集模型的对应中频信息图像的同一通道，其中，p表示

来自测试模型，g表示

来自库集模型，用α和β表示

和

中元素的行数和列数，用 $C_p^{\mathrm{\χ}}(\mathrm{\α},\mathrm{\β})=\left[\begin{array}{ccc}{c}_{\mathrm{\α}-1,\mathrm{\β}-1}^p& c_{\mathrm{\α}-1,\mathrm{\β}}^p& c_{\mathrm{\α}-1,\mathrm{\β}+1}^p\\ c_{\mathrm{\α},\mathrm{\β}-1}^p& c_{\mathrm{\α},\mathrm{\β}}^p& c_{\mathrm{\α},\mathrm{\β}+1}^p\\ c_{\mathrm{\α}+1,\mathrm{\β}-1}^p& c_{\mathrm{\α}+1,\mathrm{\β}}^p& c_{\mathrm{\α}+1,\mathrm{\β}+1}^p\end{array}\right]$ 表示

中的3×3像素邻域，元素

为

中的3×3像素邻域的中心元素，用 $C_g^{\mathrm{\χ}}(\mathrm{\α},\mathrm{\β})=\left[\begin{array}{ccc}{c}_{\mathrm{\α}-1,\mathrm{\β}-1}^g& c_{\mathrm{\α}-1,\mathrm{\β}}^g& c_{\mathrm{\α}-1,\mathrm{\β}+1}^g\\ c_{\mathrm{\α},\mathrm{\β}-1}^g& c_{\mathrm{\α},\mathrm{\β}}^g& c_{\mathrm{\α},\mathrm{\β}+1}^g\\ c_{\mathrm{\α}+1,\mathrm{\β}-1}^g& c_{\mathrm{\α}+1,\mathrm{\β}}^g& c_{\mathrm{\α}+1,\mathrm{\β}+1}^g\end{array}\right]$ 表示中的3×3像素邻域，元素

为

中的3×3像素邻域的中心元素，

和

的结构相似度

为：

${\tilde{s}}^{\mathrm{\χ}}(\mathrm{\α},\mathrm{\β})=\frac{\left(2{\mathrm{\Σ}}_{e1=\mathrm{\α}-1}^{\mathrm{\α}+1}{\mathrm{\Σ}}_{e2=\mathrm{\β}-1}^{\mathrm{\β}+1}\right|c_{e1,e2}^p\left|\right|c_{e1,e2}^g|+0.1)\left(2\right|{\mathrm{\Σ}}_{e1=\mathrm{\α}-1}^{\mathrm{\α}+1}{\mathrm{\Σ}}_{e2=\mathrm{\β}-1}^{\mathrm{\β}+1}{c}_{e1,e2}^p{\left(c_{e1,e2}^g\right)}^{*}|+0.1)}{({\mathrm{\Σ}}_{e1=\mathrm{\α}-1}^{\mathrm{\α}+1}{\mathrm{\Σ}}_{e2=\mathrm{\β}-1}^{\mathrm{\β}+1}{\left|c_{e1,e2}^p\right|}^2+{\mathrm{\Σ}}_{e1=\mathrm{\α}-1}^{\mathrm{\α}+1}{\mathrm{\Σ}}_{e2=\mathrm{\β}-1}^{\mathrm{\β}+1}{\left|c_{e1,e2}^g\right|}^2+0.1)\left(2{\mathrm{\Σ}}_{e1=\mathrm{\α}-1}^{\mathrm{\α}+1}{\mathrm{\Σ}}_{e2=\mathrm{\β}-1}^{\mathrm{\β}+1}\right|c_{e1,e2}^p{\left(c_{e1,e2}^g\right)}^{*}|+0.1)}$

其中，e1、e2表示和

中元素的行下标和列下标，是

的共轭值；

令α＝2，3，…，15，β＝2，3，…，15，取

的平均值作为

和

的结构相似度：

$s^{\mathrm{\χ}}=\frac{1}{196}{\mathrm{\Σ}}_{\mathrm{\α}=2}^{15}{\mathrm{\Σ}}_{\mathrm{\β}=2}^{15}{\tilde{s}}^{\mathrm{\χ}}(\mathrm{\α},\mathrm{\β});$

步骤4三维人脸的身份识别

重复步骤1～3，得到测试模型和各个库集模型的相似度，比较测试模型和各个库集模型的相似度，将相似度最大的库集模型与测试模型判定为同一个体。

本发明针对三维人脸识别中的表情变化问题提出了一种以中频信息图像作为表情不变特征，用小波域结构化相似度算法计算测试模型和库集模型相似度的三维人脸识别方法。

从视觉角度出发，三维人脸模型描述的人脸信息包括三个部分：表征人脸轮廓外观的整体信息，表示人脸自身特征的细节信息和表示人脸表面细微纹理的噪声信息。在人脸有表情变化尤其是嘴部张开时，轮廓外观即整体信息会产生较大形变而人脸自身特征即细节信息不会随之改变。因此我们选择三维人脸的细节信息作为表情不变特征，把测试模型和库集模型的匹配转化成表情不变特征之间的匹配。本发明将三维人脸模型映射至几何图像，然后用多尺度哈尔小波滤波器将几何图像分解为包含不同频段信息的子图像，其中位于中频段的信息对应细节信息，将包含中频段信息的子图像提取出来作为三维人脸的表情不变特征，称为中频信息图像。最后用小波域结构化相似度算法计算测试模型和库集模型的中频信息图像的相似度，比较测试模型与三维人脸库集的各个库集模型的相似度，判定具有最大相似度的库集模型与测试模型属于同一个体。

本发明的优点及特点如下：

1)对人脸点云进行了稀释。一般情况下，点云越密集包含的信息越多，但处理的时间越长，一直以来这都需要一再权衡。而在生成几何图像时，网格参数化和线性插值算法不会因为点云稀释而失去大量有用信息。相反地，如果不进行稀释，想要得到三维人脸模型的几何图像，运算量将成几何倍数增加，严重影响识别效率和实时性。

2)将三维人脸的形状信息转换到频域，提取中频信息图像作为表情不变特征。本发明通过多尺度哈尔小波滤波器将人脸信息转换至频域，并把频域信息分解至互不重叠的频段上，其中低频段的信息对应人脸的整体信息，中频段的信息对应人脸的细节信息，高频段的信息对应噪声信息。由于人脸的细节信息具有较高的身份区分度以及表情不变性，本发明提取包含中频信息的子图像作为三维人脸识别的特征，并称为中频信息图像。此外，多尺度哈尔小波滤波器能够生成水平、垂直和对角线方向的中频信息图像，其中水平中频信息图像反映人脸沿水平方向的边缘信息，体现了眼睛、嘴巴的水平特征；垂直中频信息图像包含人脸垂直方向的边缘信息，体现了人脸的鼻子等垂直特征；对角线中频信息图像保持了人脸对角线方向的边缘信息。将水平、垂直和对角线中频信息图像共同作为三维人脸的表情不变特征，能够全面地捕捉和表现三维人脸的细节信息，具有较强的表情鲁棒性。

3)采用了小波域结构相似度算法计算相似度。小波域结构相似度算法是结构相似度算法在小波域的推广和改进，这种算法继承了结构相似度算法的优点并且更适合小波域中中频信息图像的相似度计算。结构相似度算法按照人类视觉系统感知图像的方式，定量地计算待匹配图像的结构信息差异。本发明在小波域中分别计算测试模型和库集模型水平、垂直和对角线中频信息图像的结构相似度，并根据中频信息图像相似度的总和判断测试人脸的身份。由于人脸不同区域的局部特征包含了丰富的细节信息，因此在计算测试模型和库集模型的相似度时，本发明分别计算测试模型的中频信息图像各像素点与库集模型的对应中频信息图像对应像素点的局部结构相似度，最后把各局部相似度的平均值作为对应中频信息图像的相似度。相对于传统的基于误差的相似度算法，本发明使用的小波域结构相似度算法能够得到符合人类视觉系统感知习惯的识别结果，在一定程度上提高了三维人脸识别系统的识别精度。

附图说明

图1是本发明所述三维人脸识别方法的流程图

图2是原始人脸

图3是平滑的上半张人脸

图4是点云稀释后的上半张人脸

图5是参数化网格

图6是几何图像的灰度图

图7是多尺度小波滤波示意图

图8是水平、垂直和对角线中频信息图像

图9是识别方法的示意图

图10是几何图像的彩色图

具体实施方式：

下面参照附图，对本发明具体实施方案做更为详细的描述。编程实现工具选用Matlab R2009a，实验数据来自FRGC v2.0三维人脸数据库，由美国Universityof Notre Dame采集，数据库包括466人的4007幅三维人脸模型，主要在2003年秋季和2004年春季采集。本文将每个人的第一幅三维人脸作为库集模型，其余均作为测试模型；

图1是本发明所述三维人脸识别方法的流程图；

图5是参数化网格，对预处理后的三维人脸网格进行网格参数化，将其映射到平面上大小为512×512像素的二维网格上；

图6是几何图像的灰度图，将人脸网格顶点的三维坐标附加在参数化网格的对应顶点上，再用线性插值方法确定正四边形区域内各像素点的属性，得到具有三维坐标属性的二维几何图像，即人脸的几何图像，本图将几何图像以灰度图的形式显示；

图7是多尺度哈尔小波滤波示意图，首先用哈尔变换矩阵对几何图像依次进行行变换和列变换，得到低频系数的集合以及水平、垂直和对角线方向的高频系数的集合，对低频系数的集合再次进行哈尔小波滤波，输出新的低频系数的集合以及新的水平、垂直和对角线方向的高频系数集合，如此循环滤波，每次滤波以前次小波滤波输出的低频系数的集合为输入，输出新的低频的系数集合和水平、垂直、对角线方向高频系数的集合；

图8是水平、垂直和对角线中频信息图像，第5次哈尔小波滤波输出的水平、垂直和对角线高频系数的集合构成水平、垂直和对角线中频信息图像HL₅，LH₅，HH₅；

图9是识别方法的示意图，对于一个测试模型与n′个库集模型，计算测试模型与各库集模型的相似度，判断具有最大相似度的库集模型与测试模型属于同一个体；

图10是几何图像的彩色图。几何图像的各个像素点具有三维坐标x、y、z属性，本图将x、y、z属性作为彩色图像的RGB属性，把几何图像以彩色图的形式显示，本图与图6为同一幅几何图像。

对测试模型和库集模型的处理步骤包括预处理步骤、中频信息图像提取步骤、小波域结构相似度计算步骤和识别步骤。

步骤1分别对测试模型和库集模型进行预处理，所述的预处理为：

步骤11人脸切割

根据人脸点云的形状指数Shape Index特征和几何约束确定鼻尖点的位置。人脸点云上任一点u的形状指数SI(u)由它的最大主曲率κ₁(u)和最小主曲率κ₂(u)确定：

$\mathrm{SI}\left(u\right)=\frac{1}{2}-\frac{1}{\mathrm{\π}}{\tan }^{-1}\frac{{\mathrm{\κ}}_1\left(u\right)+{\mathrm{\κ}}_2\left(u\right)}{{\mathrm{\κ}}_1\left(u\right)-{\mathrm{\κ}}_2\left(u\right)}.$

形状指数特征可以表示一个点所在邻域的凸凹程度，越凸的曲面对应的形状指数越大。计算人脸点云中每一个点的形状指数，选取形状指数在范围(0.85-1.0)内的点组成的连通区域作为初始的鼻尖点候选区域。计算人脸点云的质心位置，在鼻尖候选区域选择靠质心位置最近的一个连通区域作为鼻尖区域。选取鼻尖区域的质心作为鼻尖点。

以鼻尖点为球心，90mm为半径做球，舍弃落在球体以外的点，保留球体内的点作为后续处理的人脸区域。

步骤1.2人脸表面平滑处理

对切割后的人脸点云用主成分分析(Principal Component Analysis，PCA)法进行姿态校正，经主成分分析得到3个互相垂直的主轴方向，以鼻尖点为原点，选取最大的特征值对应的特征向量作为Y轴，最小特征值对应的特征向量作为Z轴，建立右手坐标系，并以所述右手坐标系为空间三维坐标系，人脸点云中每个点由坐标系中x、y、z坐标唯一表示。

将空间三维坐标系中的人脸点云投影到XOY平面，然后进行投影点云的二维网格化操作，用点云的2.5维网格化算法进行曲面重构，得到近似表征人脸曲面的空间三角网格

空间三角网格

的顶点即三维坐标系中人脸点云的点记为v_i，i＝1，2，…，μ，μ是

的顶点个数，设矩阵W∈R^μ×μ，其中R^μ×μ表示μ×μ的实数空间，当点v_i和点v_j之间没有边时，W(i，j)＝0，当点v_i和v_j之间有边时，W(i，j)＝ω_ij＞0。ω_i，j是与v_i和v_j的边(i，j)相关的余割权重ω_i，j＝cot(θ_ij)+cot(ζ_ij)，其中θ_ij，ζ_ij表示边(i，j)所在的两个相邻三角面片中，与边(i，j)相对的两个角。构建局部平滑算子

其中D＝diag(d_i)且d_i＝∑_(i，j)∈Bω_i，j，B是空间三角网格

中所有边界点的集合。将

迭代地作用在空间三维网格

上，得到表面平滑的三维人脸网格

$\stackrel{\‾}{V}={\tilde{W}}^{10}\tilde{V}.$

步骤1.3上半张脸的切割

舍弃三维人脸网格

中位于y＝-10平面以下的点，保留受表情影响较小的上半张人脸。

步骤1.4人脸点云稀释

采用空间采样法对上半张人脸的点进行稀释。这种稀释数据的方法简单有效，能够在不失真的前提下缩减点的数目，并且能得到在空间较均匀的点。应用空间采样法时，本发明取空间间隔距离σ为1mm。具体的稀释方法如下：

求出待稀释的上半张人脸每个点的σ邻域，即与每个点的距离小于σ的点的集合；并对每个点增加一个flag标志，初始化为T。从第一个点开始，先看自身的flag标志是否为F，如果为F则查看下一个点，如果为T则查看其σ邻域中每个点的flag标志，将邻域点中flag为T的点置为F。最后将所有flag标志为F的点删除，得到稀释后的上半张人脸模型。

对稀释后的上半张人脸模型再次进行三角网格化，生成η个三角面片。计算并保存生成的三维人脸网格中每个空间三角面片的边长γ_l1，γ_l2，γ_l3，l＝1，2，…，η，所有三角面片边长的平均值为，如果三角面片中存在有长度大于

的边，则舍弃三角面片，保留三角面片的顶点。

至此，预处理过程将测试模型和库集模型转换成具有相同的光滑程度和密集程度的三维人脸网格。

步骤2.1分别将测试模型和库集模型人脸的点云坐标信息映射到平面上，分别形成测试模型和库集模型的几何图像，获取几何图像的方法如下：

2.1.1网格参数化

将预处理后的三维人脸网格的边界点映射到平面上大小为512×512像素的正四边形的四条边上，且将三维人脸网格除边界点以外的其它点经过网格参数化映射到正四边形区域内，得到平面网格φ，以平面上正四边形任一顶点为原点，以与原点相交的两条边所在方向为正方向，建立逆时针坐标系MON，平面上的任意点由m、n坐标唯一表示，在正四边形的四条边上，按照逆时针方向从原点开始均匀采样b个点，采样点的坐标为

t＝1，2，…b，其中b是三维人脸网格的边界点个数。

记f_q为三维人脸网格的顶点，q＝1，2，…，τ，τ为顶点个数，映射到正四边形区域内的对应点的坐标为(m_q，n_q)，m_q、n_q是以下线性方程的解：

$\left\{\begin{array}{c}{\mathrm{Lm}}_q={\mathrm{Ln}}_q=0,\∀f_q\∉B\\ m_q=m_q^0,n_q=n_q^0,\∀f_q\∈B\end{array}\right.,$

其中L是三维人脸网格的拉普拉斯Laplacian矩阵，B是三维人脸网格边界点的集合。

步骤2.1.2生成几何图像

将人脸网格顶点f_q＝(x_q，y_q，z_q)的三维坐标附加在对应点(m_q，n_q)上，作为点(m_q，n_q)的属性，再用线性插值方法确定正四边形区域内各像素点的属性，得到具有三维坐标属性的二维图像，称为几何图像G。

步骤2.2分别对测试模型和库集模型的几何图像G滤波，得到测试模型和库集模型的中频信息，几何图像的滤波采用如下方法：

步骤2.2.1对几何图像G进行多尺度哈尔Haar小波滤波

步骤2.1.11将大小为512×512像素的几何图像G分割成2×2像素大小的区块，利用哈尔转换矩阵 $H=\frac{1}{\sqrt{2}}\left[\begin{array}{cc}1& 1\\ 1& -1\end{array}\right]$ 对每一区块进行哈尔小波滤波。用 $A=\left[\begin{array}{cc}{a}_{11}& a_{12}\\ a_{21}& a_{22}\end{array}\right]$ 表示G中的某一区块，a₁₁，a₁₂，a₂₁，和a₂₂是区块中的元素，对A进行哈尔小波滤波即对A依次进行行变换和列变换：

$\stackrel{\‾}{A}=H^T\mathrm{AH}=\left[\begin{array}{cc}{\stackrel{\‾}{a}}_{11}& {\stackrel{\‾}{a}}_{12}\\ {\stackrel{\‾}{a}}_{21}& {\stackrel{\‾}{a}}_{22}\end{array}\right],$

是经过哈尔小波滤波后的区块，其中

是区块A的低频近似系数，

是区块A的水平高频分量，是区块A的垂直高频分量，

是区块A的对角线高频分量。

几何图像G的所有区块进行哈尔小波滤波后，将所有区块的低频近似系数按照所属区块的顺序排列，构成低频系数的集合LL₁，水平高频分量按照所属区块的顺序排列，构成水平高频系数的集合HL₁，垂直高频分量按照所属区块的顺序排列，构成水垂直高频系数的集合LH₁，对角线高频分量按照所属区块的顺序排列，构成对角线高频系数的集合HH₁。

步骤2.1.1.2按照步骤2.1.1.1，对低频系数集合LL₁再次进行哈尔小波滤波，输出第二次滤波的低频系数集合和水平、垂直、对角线高频系数集合，分别记为LL₂、HL₂、LH₂和HH₂。如此循环滤波5次，每次滤波以前次滤波输出的低频系数集合为输入，输出新的低频系数集合和水平、垂直、对角线高频系数集合。

步骤2.2.2提取中频信息图像

提取并保存最后一次滤波输出的水平高频系数集合HL₅，垂直高频系数集合LH₅和对角线高频系数集合HH₅，以HL₅，LH₅和HH₅中的元素为像素的属性，构成三幅16×16像素大小的图像，称为水平中频信息图像、垂直中频信息图像和对角线中频信息图像。

至此，三维人脸网格转换为水平、垂直中频信息图像和对角线中频信息图像，测试模型和库集模型的匹配转化为对应中频信息图像的匹配。

步骤3用小波域结构化相似度算法分别计算测试模型和库集模型的相似度，计算方法如下：

步骤3.1计算测试模型的水平中频信息图像与库集模型的水平中频信息图像的相似度S_HL，测试模型的垂直中频信息图像与库集模型的垂直中频信息图像的相似度S_LH，测试模型的对角线中频信息图像与库集模型的对角线中频信息图像的相似度S_HH，将S_HL、S_LH、S_HH相加作为测试模型和库集模型的相似度，所述的S_HL、S_LH、S_HH分别使用待匹配的水平中频信息图像、垂直中频信息图像和对角线中频信息图像并采用小波域结构化相似度算法得到，所述的小波域结构化相似度算法为：

步骤3.1.1根据水平中频信息图像、垂直中频信息图像和对角线中频信息图像的每个像素点的x，y，z的三个属性，分别将水平中频信息图像、垂直中频信息图像和对角线中频信息图像的所有像素的x属性按照所属像素的顺序排列，并分别构成水平中频信息图像、垂直中频信息图像和对角线中频信息图像的x通道，以此类推，分别构成并得到水平中频信息图像、垂直中频信息图像和对角线中频信息图像的y通道和z通道，记为：

其中χ为x、y或z，C^χ表示为x通道、y通道或z通道，c_1，1为C^χ中第1行第1列的元素，c_1，2为C^χ中第1行第2列的元素，……，c_2，1为C^χ中第2行第1列的元素，……，c_16，16为C^χ中第16行第16列的元素，将所述水平中频信息图像、垂直中频信息图像或对角线中频信息图像称为中频信息图像，计算两幅待匹配中频信息图像的x通道的相似度s^x、y通道的相似度s^y及z通道的相似度s^z，将s^x、s^y和s^z相加作为对应的两幅待匹配中频信息图像的相似度S_HL、S_LH或S_HH，所述s^x、s^y、s^z由以下方法得到：

用表示测试模型的一幅中频信息图像的x、y或z通道，

表示库集模型的对应中频信息图像的同一通道，其中，p表示来自测试模型，g表示

来自库集模型，用α和β表示

和

中元素的行数和列数，用 $C_p^{\mathrm{\χ}}(\mathrm{\α},\mathrm{\β})=\left[\begin{array}{ccc}{c}_{\mathrm{\α}-1,\mathrm{\β}-1}^p& c_{\mathrm{\α}-1,\mathrm{\β}}^p& c_{\mathrm{\α}-1,\mathrm{\β}+1}^p\\ c_{\mathrm{\α},\mathrm{\β}-1}^p& c_{\mathrm{\α},\mathrm{\β}}^p& c_{\mathrm{\α},\mathrm{\β}+1}^p\\ c_{\mathrm{\α}+1,\mathrm{\β}-1}^p& c_{\mathrm{\α}+1,\mathrm{\β}}^p& c_{\mathrm{\α}+1,\mathrm{\β}+1}^p\end{array}\right]$ 表示

中的3×3像素邻域，元素为

中的3×3像素邻域的中心元素，用 $C_g^{\mathrm{\χ}}(\mathrm{\α},\mathrm{\β})=\left[\begin{array}{ccc}{c}_{\mathrm{\α}-1,\mathrm{\β}-1}^g& c_{\mathrm{\α}-1,\mathrm{\β}}^g& c_{\mathrm{\α}-1,\mathrm{\β}+1}^g\\ c_{\mathrm{\α},\mathrm{\β}-1}^g& c_{\mathrm{\α},\mathrm{\β}}^g& c_{\mathrm{\α},\mathrm{\β}+1}^g\\ c_{\mathrm{\α}+1,\mathrm{\β}-1}^g& c_{\mathrm{\α}+1,\mathrm{\β}}^g& c_{\mathrm{\α}+1,\mathrm{\β}+1}^g\end{array}\right]$ 表示中的3×3像素邻域，元素

为

中的3×3像素邻域的中心元素，和

的结构相似度

为：

${\tilde{s}}^{\mathrm{\χ}}(\mathrm{\α},\mathrm{\β})=\frac{\left(2{\mathrm{\Σ}}_{e1=\mathrm{\α}-1}^{\mathrm{\α}+1}{\mathrm{\Σ}}_{e2=\mathrm{\β}-1}^{\mathrm{\β}+1}\right|c_{e1,e2}^p\left|\right|c_{e1,e2}^g|+0.1)\left(2\right|{\mathrm{\Σ}}_{e1=\mathrm{\α}-1}^{\mathrm{\α}+1}{\mathrm{\Σ}}_{e2=\mathrm{\β}-1}^{\mathrm{\β}+1}{c}_{e1,e2}^p{\left(c_{e1,e2}^g\right)}^{*}|+0.1)}{({\mathrm{\Σ}}_{e1=\mathrm{\α}-1}^{\mathrm{\α}+1}{\mathrm{\Σ}}_{e2=\mathrm{\β}-1}^{\mathrm{\β}+1}{\left|c_{e1,e2}^p\right|}^2+{\mathrm{\Σ}}_{e1=\mathrm{\α}-1}^{\mathrm{\α}+1}{\mathrm{\Σ}}_{e2=\mathrm{\β}-1}^{\mathrm{\β}+1}{\left|c_{e1,e2}^g\right|}^2+0.1)\left(2{\mathrm{\Σ}}_{e1=\mathrm{\α}-1}^{\mathrm{\α}+1}{\mathrm{\Σ}}_{e2=\mathrm{\β}-1}^{\mathrm{\β}+1}\right|c_{e1,e2}^p{\left(c_{e1,e2}^g\right)}^{*}|+0.1)}$

其中，e1、e2表示

和中元素的行下标和列下标，

是的共轭值。

令α＝2，3，…，15，β＝2，3，…，15，取

的平均值作为

和的结构相似度：

$s^{\mathrm{\χ}}=\frac{1}{196}{\mathrm{\Σ}}_{\mathrm{\α}=2}^{15}{\mathrm{\Σ}}_{\mathrm{\β}=2}^{15}{\tilde{s}}^{\mathrm{\χ}}(\mathrm{\α},\mathrm{\β}).$

步骤4三维人脸的身份识别

重复步骤1～3，得到测试模型和各个库集模型的相似度，比较测试模型和各个库集模型的相似度，将相似度最大的库集模型与测试模型判定为同一个体。

Claims (1)

1.一种基于几何图像中中频信息的三维人脸识别方法，包括以下步骤：

步骤1分别对测试模型和库集模型进行预处理，所述的预处理为：

步骤1.1人脸切割

根据人脸点云的形状指数Shape Index特征和几何约束确定鼻尖点位置，以该点为球心，90mm为半径做球，舍弃落在球体以外的点，保留球体内的点并作为后续处理的人脸区域；

步骤1.2人脸表面平滑处理

对切割后的人脸点云用主成分分析法(Principal Component Analysis，PCA)进行姿态校正，经主成分分析得到3个互相垂直的主轴方向，以鼻尖点为原点，选取最大的特征值对应的特征向量作为Y轴，最小特征值对应的特征向量作为Z轴，建立右手坐标系，并以所述右手坐标系为空间三维坐标系，人脸点云中每个点由坐标系中x、y、z坐标唯一表示；

对空间三维坐标系中的人脸点云三角化，得到空间三角网格，然后用基于网格的平滑算法对人脸区域进行平滑去噪，经过10次迭代处理，得到表面平滑的三维人脸网格；

步骤1.3上半张脸的切割

舍弃三维人脸网格中位于y＝-10平面以下的点，保留受表情影响较小的上半张人脸；

步骤1.4人脸点云稀释

人脸的点云按照空间距离进行均匀采样，采样间隔为1mm，得到稀释的点云，对稀释的点云进行三角网格化，计算并保存生成的三维人脸网格中每个空间三角面片的边长γ_l1，γ_l2，γ_l3，l＝1，2，…，η，其中η是网格中三角面片的个数，所有三角面片边长的平均值为

，如果三角面片中存在有长度大于

的边，则舍弃三角面片，保留三角面片的顶点；

步骤2.1分别将测试模型和库集模型人脸的点云坐标信息映射到平面上，分别形成测试模型和库集模型的几何图像，获取几何图像的方法如下：

步骤2.1.1网格参数化

将预处理后的三维人脸网格的边界点映射到平面上大小为512×512像素的正四边形的四条边上，且将三维人脸网格除边界点以外的其它点经过网格参数化映射到正四边形区域内，得到平面网格φ，以平面上正四边形任一顶点为原点，以与原点相交的两条边所在方向为正方向，建立逆时针坐标系MON，平面上的任意点由m、n坐标唯一表示，在正四边形的四条边上，按照逆时针方向从原点开始均匀采样b个点，采样点的坐标为

t＝1，2，…b，其中b是三维人脸网格的边界点个数；

记f_q为三维人脸网格的顶点，q＝1，2，…，τ，τ为顶点个数，映射到正四边形区域内的对应点的坐标为(m_q，n_q)，m_q、n_q是以下线性方程的解：

$\left\{\begin{array}{c}{\mathrm{Lm}}_q={\mathrm{Ln}}_q=0,\∀f_q\∉B\\ m_q=m_q^0,n_q=n_q^0,\∀f_q\∈B\end{array}\right.,$

其中L是三维人脸网格的拉普拉斯Laplacian矩阵，B是三维人脸网格边界点的集合；

步骤2.1.2生成几何图像

将人脸网格顶点f_q＝(x_q，y_q，z_q)的三维坐标附加在对应点(m_q，n_q)上，作为点(m_q，n_q)的属性，再用线性插值方法确定正四边形区域内各像素点的属性，得到具有三维坐标属性的二维图像，称为几何图像G；

步骤2.2分别对测试模型和库集模型的几何图像G滤波，得到测试模型和库集模型的中频信息，几何图像的滤波采用如下方法：

步骤2.2.1对几何图像G进行多尺度哈尔Haar小波滤波

步骤2.2.1.1利用哈尔转换矩阵 $H=\frac{1}{\sqrt{2}}\left[\begin{array}{cc}1& 1\\ 1& -1\end{array}\right]$ 对几何图像G依次进行行变换和列变换，得到低频系数的集合以及水平、垂直和对角线高频系数的集合，将低频系数的集合记为LL₁，水平、垂直和对角线高频系数的集合分别记为HL₁、LH₁和HH₁；

步骤2.2.1.2按照步骤2.2.1.1，对低频系数集合LL₁再次进行哈尔小波滤波，输出第二次滤波的低频系数集合和水平、垂直、对角线高频系数集合，分别记为LL₂、HL₂、LH₂和HH₂，如此循环滤波5次，每次滤波以前次滤波得到的低频系数集合为输入，输出新的低频系数集合和水平、垂直、对角线高频系数集合；

步骤2.2.2提取中频信息图像

提取并保存最后一次滤波输出的水平高频系数集合HL₅，垂直高频系数集合LH₅和对角线高频系数集合HH₅，以HL₅，LH₅和HH₅中的元素为像素的属性，构成三幅16×16像素大小的图像，称为水平中频信息图像、垂直中频信息图像和对角线中频信息图像；

步骤3用小波域结构化相似度算法分别计算测试模型和库集模型的相似度，计算方法如下：

步骤3.1计算测试模型的水平中频信息图像与库集模型的水平中频信息图像的相似度S_HL，测试模型的垂直中频信息图像与库集模型的垂直中频信息图像的相似度S_LH，测试模型的对角线中频信息图像与库集模型的对角线中频信息图像的相似度S_HH，将S_HL、S_LH、S_HH相加作为测试模型和库集模型的相似度，所述的S_HL、S_LH、S_HH分别使用待匹配的水平中频信息图像、垂直中频信息图像和对角线中频信息图像并采用小波域结构化相似度算法得到，所述的小波域结构化相似度算法为：

步骤3.1.1根据水平中频信息图像、垂直中频信息图像和对角线中频信息图像的每个像素点的x，y，z的三个属性，分别将水平中频信息图像、垂直中频信息图像和对角线中频信息图像的所有像素的x属性按照所属像素的顺序排列，并分别构成水平中频信息图像、垂直中频信息图像和对角线中频信息图像的x通道，以此类推，分别构成并得到水平中频信息图像、垂直中频信息图像和对角线中频信息图像的y通道和z通道，记为：

其中χ为x、y或z，C^χ表示为x通道、y通道或z通道，c₁₁为C^χ中第1行第1列的元素，c_1，2为C^χ中第1行第2列的元素，……，c_2，1为C^χ中第2行第1列的元素，……，c_16，16为C^χ中第16行第16列的元素，将所述水平中频信息图像、垂直中频信息图像或对角线中频信息图像称为中频信息图像，计算两幅待匹配中频信息图像的x通道的相似度s^x、y通道的相似度s^y及z通道的相似度s^z，将s^x、s^y和s^z相加作为对应的两幅待匹配中频信息图像的相似度S_HL、S_LH或S_HH，所述s^x、s^y、s^z由以下方法得到：

用

表示测试模型的一幅中频信息图像的x、y或z通道，

表示库集模型的对应中频信息图像的同一通道，其中，p表示

来自测试模型，g表示

来自库集模型，用α和β表示和

中元素的行数和列数，用 $C_p^{\mathrm{\χ}}(\mathrm{\α},\mathrm{\β})=\left[\begin{array}{ccc}{c}_{\mathrm{\α}-1,\mathrm{\β}-1}^p& c_{\mathrm{\α}-1,\mathrm{\β}}^p& c_{\mathrm{\α}-1,\mathrm{\β}+1}^p\\ c_{\mathrm{\α},\mathrm{\β}-1}^p& c_{\mathrm{\α},\mathrm{\β}}^p& c_{\mathrm{\α},\mathrm{\β}+1}^p\\ c_{\mathrm{\α}+1,\mathrm{\β}-1}^p& c_{\mathrm{\α}+1,\mathrm{\β}}^p& c_{\mathrm{\α}+1,\mathrm{\β}+1}^p\end{array}\right]$ 表示

中的3×3像素邻域，元素

为

中的3×3像素邻域的中心元素，用 $C_g^{\mathrm{\χ}}(\mathrm{\α},\mathrm{\β})=\left[\begin{array}{ccc}{c}_{\mathrm{\α}-1,\mathrm{\β}-1}^g& c_{\mathrm{\α}-1,\mathrm{\β}}^g& c_{\mathrm{\α}-1,\mathrm{\β}+1}^g\\ c_{\mathrm{\α},\mathrm{\β}-1}^g& c_{\mathrm{\α},\mathrm{\β}}^g& c_{\mathrm{\α},\mathrm{\β}+1}^g\\ c_{\mathrm{\α}+1,\mathrm{\β}-1}^g& c_{\mathrm{\α}+1,\mathrm{\β}}^g& c_{\mathrm{\α}+1,\mathrm{\β}+1}^g\end{array}\right]$ 表示中的3×3像素邻域，元素

为

中的3×3像素邻域的中心元素，

和

的结构相似度

为：

${\tilde{s}}^{\mathrm{\χ}}(\mathrm{\α},\mathrm{\β})=\frac{\left(2{\mathrm{\Σ}}_{e1=\mathrm{\α}-1}^{\mathrm{\α}+1}{\mathrm{\Σ}}_{e2=\mathrm{\β}-1}^{\mathrm{\β}+1}\right|c_{e1,e2}^p\left|\right|c_{e1,e2}^g|+0.1)\left(2\right|{\mathrm{\Σ}}_{e1=\mathrm{\α}-1}^{\mathrm{\α}+1}{\mathrm{\Σ}}_{e2=\mathrm{\β}-1}^{\mathrm{\β}+1}{c}_{e1,e2}^p{\left(c_{e1,e2}^g\right)}^{*}|+0.1)}{({\mathrm{\Σ}}_{e1=\mathrm{\α}-1}^{\mathrm{\α}+1}{\mathrm{\Σ}}_{e2=\mathrm{\β}-1}^{\mathrm{\β}+1}{\left|c_{e1,e2}^p\right|}^2+{\mathrm{\Σ}}_{e1=\mathrm{\α}-1}^{\mathrm{\α}+1}{\mathrm{\Σ}}_{e2=\mathrm{\β}-1}^{\mathrm{\β}+1}{\left|c_{e1,e2}^g\right|}^2+0.1)\left(2{\mathrm{\Σ}}_{e1=\mathrm{\α}-1}^{\mathrm{\α}+1}{\mathrm{\Σ}}_{e2=\mathrm{\β}-1}^{\mathrm{\β}+1}\right|c_{e1,e2}^p{\left(c_{e1,e2}^g\right)}^{*}|+0.1)}$

其中，e1、e2表示

和

中元素的行下标和列下标，

是

的共轭值；

令α＝2，3，…，15，β＝2，3，…，15，取

的平均值作为

和

的结构相似度：

$s^{\mathrm{\χ}}=\frac{1}{196}{\mathrm{\Σ}}_{\mathrm{\α}=2}^{15}{\mathrm{\Σ}}_{\mathrm{\β}=2}^{15}{\tilde{s}}^{\mathrm{\χ}}(\mathrm{\α},\mathrm{\β});$

步骤4三维人脸的身份识别

重复步骤1～3，得到测试模型和各个库集模型的相似度，比较测试模型和各个库集模型的相似度，将相似度最大的库集模型与测试模型判定为同一个体。

Images