CN104598879A - 基于半刚性区域面部轮廓线的三维人脸识别方法 - Google Patents

Abstract

一种基于半刚性区域面部轮廓线的三维人脸识别方法，步骤如下：（1）对三维人脸模型进行预处理，包括人脸区域切割、平滑处理和姿态归一化，将所有的人脸置于姿态坐标系下；（2）从三维人脸模型的半刚性区域提取人脸多条垂直方向的轮廓线来表征人脸面部曲面；（3）利用弹性曲线匹配算法计算不同三维人脸模型间对应的轮廓线在预形状空间中的测地距离，将其作为相似性度量，并且对所有轮廓线的相似度向量加权融合，得到总相似度用于识别。本发明提出的三维人脸识别方法具有较强的识别性能，并且对表情变化具有较好的鲁棒性，同时还提高了人脸匹配速度。

Description

基于半刚性区域面部轮廓线的三维人脸识别方法

技术领域

本发明涉及一种基于半刚性区域面部轮廓线的三维人脸识别方法，尤其涉及一种利用人脸面部曲线进行识别的人脸识别方法，尤其适用于表情较大变化的场合。

背景技术

与虹膜识别、指纹识别等生物特征识别技术相比，人脸识别具有自然性、非强制性、非接触性等优点，在门禁系统、视频监控、机场安检、智能空间、自然人机交互等方面有广阔的应用前景。传统的二维人脸识别主要是基于灰度图或彩色图像，在约束环境下能够获得很好的识别性能，但仍受光照、姿态、表情等因素的影响，这极大地限制了二维人脸识别的发展。三维人脸识别主要是根据人脸的三维形状信息进行识别，且几乎不受光照、姿态的影响，因而三维人脸识别受到越来越多的关注。

与二维人脸识别相比，虽然三维人脸具有很大的优势，但是由于人脸的三维形状非常容易受到表情变化的影响，因此克服表情变化影响是三维人脸识别研究的难题之一。另外，时间代价也是三维人脸识别研究的一个重要方面。由于三维人脸数据量非常庞大，导致一次匹配所需要的时间远远大于二维图像。过高的时间代价使得三维人脸识别算法难以应用于大规模的数据库，因此提取简单的、有效地特征是非常有意义的。

发明内容

技术问题：本发明提出了一种基于半刚性区域面部轮廓线的三维人脸识别方法。该方法具有较强的识别性能，并且对表情变化具有较好的鲁棒性，同时还提高了人脸匹配速度。

技术方案：本发明的基于半刚性区域面部轮廓线的三维人脸识别方法包括以下步骤：

步骤1：从输入的三维人脸点云中提取出感兴趣的人脸区域，该区域为以鼻尖为球心，90mm为半径的球所包含的人脸区域；

步骤2：对由步骤1所提取的三维人脸点云进行网格化操作，采用基于网格的平滑算法对三维人脸模型进行平滑去噪处理，然后将经过9~12次迭代处理得到的平滑的三维人脸网格恢复三维人脸点云；

步骤3：对由步骤2得到的三维人脸点云，采用主成分分析法PCA（Principal Component Analysis, PCA），得到三个互相垂直的主轴方向，将最大特征值对应的特征向量作为                                                轴，最小特征值对应的特征向量作为轴，建立右手坐标系，在该坐标系下人脸具有相同的正面姿态；该坐标系被称为姿态坐标系PCS（Pose Coordinate System, PCS）；以鼻尖点为PCS的坐标原点，将切割平滑后的人脸点云数据都转换到PCS中，从而实现人脸姿态的归一化，得到姿态矫正后的人脸点云；

步骤4：对由步骤3得到的姿态矫正后的人脸点云，根据坐标信息，在人脸的半刚性区域提取垂直方向的若干条面部轮廓线并对面部轮廓线进行重采样，得到测试人脸的19条面部轮廓线；

步骤5：对所有库集人脸模型按照步骤1-步骤4所示方法来提取每一个库集人脸的19条面部轮廓线，计算测试人脸与库集人脸对应的轮廓线间的相似度向量；

步骤6：采用决策级融合中的加权求和规则对不同轮廓线的相似度向量进行融合，根据最近邻法则得出识别结果。

其中：步骤2具体包括以下步骤：

步骤2.1：人脸三维点云的网格化操作：假设包含个顶点的三维人脸点云为，表示三维人脸点云中的第个点，取人脸点云的坐标进行三角网格化操作，得到一个无向图，其中，，即三维人脸点云中的点的集合，是边的集合，即表示点与点之间的连接关系，其元素表示第个点和第个点有一条边直接相连；

步骤2.2：从点云的三角网格结构中构建阶Laplacian-beltremi矩阵：

其中，分别是边在其三角形中所对的角，再构建对角矩阵，其元素，其中，表示与第个顶点的相接的三角网格的集合，表示三角网格的面积；

步骤2.3：对点云进行平滑去噪：由步骤2.2得到的矩阵构建局部平滑算子，通过将此算子迭代作用于点云，即，为迭代次数，可以得到平滑去噪后的人脸点云。

其中，步骤3具体包括以下步骤：

步骤3.1：计算测试人脸点云质心；

步骤3.2：构建协方差矩阵；

步骤3.3：将正交对角化，得到三个特征值及对应的三个相互正交的单位特征向量；

步骤3.4：以为原点，以为轴，为轴，建立右手坐标系，在该坐标系下人脸具有相同的正面姿态，该坐标系被称为姿态坐标系PCS，并将平滑后的人脸数据都转换到新的坐标系中，即；

步骤3.5：将坐标系平移，使得鼻尖点位于原点，点平移后记为，

其中，分别表示点坐标的三个分量；

其中：步骤4对由步骤3得到的姿态矫正后的人脸点云，根据坐标信息，在人脸的半刚性区域提取垂直方向的若干条面部轮廓线并对面部轮廓线进行重采样，得到测试人脸的19条面部轮廓线，具体过程如下：

步骤4.1：面部轮廓线提取：在姿态坐标系PCS中，记三维人脸的半刚性区域为，即由的点构成的区域，记平面的上半平面为，计算中的每个点到平面的距离，选择距离小于阈值的点，这些点构成的集合就是人脸半刚性区域的中心面部轮廓线，然后将平面分别沿着轴正方向和负方向等间距为5mm平移，并与人脸半刚性区域相交，得到人脸半刚性区域的多条面部轮廓线；

步骤4.2：面部轮廓线重采样：由于人脸点云分布不均匀，导致提取的面部轮廓线上的点的分布不均匀，因此匹配前需要对其重采样；以平面与平面相交的直线作为参考曲线，在参考曲线上每隔3mm采样一个点，对于参考曲线上的每个点，选择待采样曲线即待重采样的某条面部轮廓线上与该点在参考曲线方向上的距离最近的点作为待采样曲线上的采样点，考虑到数据库中的许多三维人脸模型的额头以及脸颊两侧的部分区域会有头发遮挡，因此，为了避免头发遮挡引入误判，在重采样过程中并未对步骤4.1中提取的面部轮廓线全部采样，而是根据经验及坐标信息首先舍弃了人脸的额头和脸颊两侧的部分区域。然后最终采样了19条垂直方向的面部轮廓线，采样长度分别为42mm、45mm、48mm、51mm、54mm、57mm、60mm、60mm、60mm、60mm、60mm、60mm、60mm、57mm、54mm、51mm、48mm、45mm、42mm。

其中：步骤5具体包括以下步骤：

步骤5.1：设由步骤4中提取的测试人脸的其中一条面部轮廓线的参数方程表示为

，为参变量，并采用平方根速度函数SRVF来描述，即令

其中是欧几里得范数，分别表示的三个分量，表示对的三个分量分别进行微分运算；

步骤5.2：假设库集有个三维人脸模型，对所有库集人脸按照步骤1-步骤4所示方法来提取每一个库集人脸的19条面部轮廓线，将其存入数据库中；用表示对第个库集人脸模型提取的第条面部轮廓线，并且按照步骤5.1得到它的SRVF描述：，，；

步骤5.3：用表示由步骤4中提取测试人脸的第条面部轮廓线，按照步骤5.1得到它的SRVF描述：，，然后根据公式

    

计算测试人脸第条轮廓线与第个库集人脸对应的第条轮廓线之间相似度，从而得到测试人脸与所有库集人脸间第条轮廓线的相似度向量，其中

。

其中：步骤6具体包括以下步骤：

步骤6.1：为了将不同面部轮廓线的相似度向量进行融合，对步骤5得到的按照最大-最小原则进行归一化，即

步骤6.2：对归一化后的相似度向量采用决策级融合中的加权求和规则融合，即

其中，表示第条面部轮廓线的识别率，最后根据最近邻法则选取中最小元素对应的库集人脸作为识别结果。

有益效果： 本发明从人脸的半刚性区域提取若干条面部轮廓线以表征人脸，从而将人脸曲面的匹配转化为人脸面部曲线的匹配。根据最新的黎曼流形相关理论，以两条曲线在预形状空间中的测地距离作为相似性度量，并对所提取的曲线的相似度进行加权融合，完成识别。该方法有如下几个优点：

1）避开受表情影响较大的嘴部区域，从受表情影响较小的人脸半刚性区域提取面部曲线用于匹配，同时考虑了头发遮挡情形，因而对表情变化具有较好地鲁棒性。

2）基于SRVF描述的弹性曲线匹配算法，对曲线的平移、旋转、尺度变换和重新参数化具有不变性，能够有效度量曲线之间的相似程度，并根据每条面部轮廓线对识别率的贡献给予不同的权重，采用决策级融合中的加权求和规则融合，进一步提高识别率。

3）提取人脸面部曲线表征人脸，将人脸曲面的匹配转化为曲线的匹配，提高了人脸匹配速度。

附图说明

图1是本发明提供的基于半刚性区域面部轮廓线的三维人脸识别方法的整体流程图；

图2是原始人脸模型；

图3是切割且平滑后的人脸区域模型；

图4是姿态矫正后的三维人脸模型；

图5是提取的半刚性人脸区域的面部轮廓线；

图6是面部轮廓线的重采样；

图7是采样后的面部轮廓线。

具体实施方式

参考说明书附图，下面对本发明的具体实施方式进一步描述。

本发明的基于半刚性区域面部轮廓线的三维人脸识别方法，在Windows操作系统中通过Matlab R2013a编程工具实现三维人脸识别流程。实验数据来自FRGC v2.0三维人脸数据库，该数据库中包含用于测试的466个人的4007张人脸模型。图1是本发明方法整体流程图，具体步骤如下：

步骤1：从输入的三维人脸点云中提取出感兴趣的人脸区域，该区域为以鼻尖为球心，90mm为半径的球所包含的人脸区域；

步骤2：对由步骤1所提取的三维人脸点云进行网格化操作，采用基于网格的平滑算法对三维人脸模型进行平滑去噪处理，然后将经过9~12次迭代处理得到的平滑的三维人脸网格恢复成人脸点云，具体步骤如下：

步骤2.1：人脸三维点云的网格化操作：假设包含个顶点的三维人脸点云为，表示三维人脸点云中的第个点，取人脸点云的坐标进行三角网格化操作，得到一个无向图，其中，，即三维人脸点云中的点的集合，是边的集合，即表示点与点之间的连接关系，其元素表示第个点和第个点有一条边直接相连；

步骤2.2：从点云的三角网格结构中构建阶Laplacian-beltremi矩阵：

其中，分别是边在其三角形中所对的角，再构建对角矩阵，其元素，其中，表示与第个顶点的相接的三角网格的集合，表示三角网格的面积；

步骤2.3：对点云进行平滑去噪：由步骤2.2得到的矩阵构建局部平滑算子，通过将此算子迭代作用于点云，即，为迭代次数，可以得到平滑去噪后的人脸点云；

步骤3：对由步骤2得到的三维人脸点云，采用主成分分析法（Principal Component Analysis, PCA），可以得到三个互相垂直的主轴方向，将最大特征值对应的特征向量作为轴，最小特征值对应的特征向量作为轴，建立右手坐标系，在该坐标系下人脸具有相同的正面姿态。该坐标系被称为姿态坐标系（Pose Coordinate System, PCS）。以鼻尖点为PCS的坐标原点，将切割平滑后的人脸点云数据都转换到PCS中，从而实现人脸姿态的归一化，具体步骤如下：

步骤3.1：计算测试人脸点云质心；

步骤3.2：构建协方差矩阵；

步骤3.3：将正交对角化，可得到三个特征值及对应的三个相互正交的单位特征向量；

步骤3.4：以为原点，以为轴，为轴，建立右手坐标系，在该坐标系下人脸具有相同的正面姿态，该坐标系被称为姿态坐标系（Pose Coordinate System, PCS），并将平滑后的人脸数据都转换到新的坐标系中，即；

步骤3.5：将坐标系平移，使得鼻尖点位于原点，点平移后记为，

其中，分别表示点坐标的三个分量；

步骤4：对由步骤3得到的姿态矫正后的人脸点云，根据坐标信息，在人脸的半刚性区域提取垂直方向的若干条面部轮廓线并对面部轮廓线进行重采样，得到测试人脸的19条面部轮廓线，具体过程如下：

步骤4.1：面部轮廓线提取：在姿态坐标系(PCS)中，记三维人脸的半刚性区域为，即由的点构成的区域。记平面的上半平面为，计算中的每个点到平面的距离，选择距离小于阈值的点，这些点构成的集合就是人脸半刚性区域的中心面部轮廓线。然后将平面分别沿着轴正方向和负方向等间距（间距为5mm）平移，并与人脸半刚性区域相交，得到人脸半刚性区域的多条面部轮廓线；

步骤4.2：面部轮廓线重采样：由于人脸点云分布不均匀，导致提取的面部轮廓线上的点的分布不均匀，因此匹配前需要对其重采样。以平面与平面相交的直线作为参考曲线。在参考曲线上每隔3mm采样一个点，对于参考曲线上的每个点，选择待采样曲线（待重采样的某条面部轮廓线）上与该点在参考曲线方向上的距离最近的点作为待采样曲线上的采样点。考虑到数据库中的许多三维人脸模型的额头以及脸颊两侧的部分区域会有头发遮挡，因此，为了避免头发遮挡引入误判，在重采样过程中并未对步骤4.1中提取的面部轮廓线全部采样，而是根据经验及坐标信息首先舍弃了人脸的额头和脸颊两侧的部分区域。然后最终采样了19条垂直方向的面部轮廓线，采样长度分别为42mm、45mm、48mm、51mm、54mm、57mm、60mm、60mm、60mm、60mm、60mm、60mm、60mm、57mm、54mm、51mm、48mm、45mm、42mm；

步骤5：对所有库集人脸模型按照步骤1-步骤4所示方法来提取每一个库集人脸的19条面部轮廓线，计算测试人脸与库集人脸对应的轮廓线间的相似度向量，步骤如下：

步骤5.1：设由步骤4中提取的测试人脸的其中一条面部轮廓线的参数方程表示为

，为参变量，并采用平方根速度函数SRVF来描述，即令

其中是欧几里得范数，分别表示的三个分量，表示对的三个分量分别进行微分运算；

步骤5.2：假设库集有个三维人脸模型，对所有库集人脸按照步骤1-步骤4所示方法来提取每一个库集人脸的19条面部轮廓线，将其存入数据库中；用表示对第个库集人脸模型提取的第条面部轮廓线，并且按照步骤5.1得到它的SRVF描述：，，；

步骤5.3：用表示由步骤4中提取测试人脸的第条面部轮廓线，按照步骤5.1得到它的SRVF描述：，，然后根据公式

    

计算测试人脸第条轮廓线与第个库集人脸对应的第条轮廓线之间相似度，从而得到测试人脸与所有库集人脸间第条轮廓线的相似度向量，其中

。

步骤6：采用决策级融合中的加权求和规则对不同轮廓线的相似度向量进行融合，根据最近邻法则得出识别结果，步骤如下：

步骤6.1：为了将不同面部轮廓线的相似度向量进行融合，对步骤5得到的按照最大-最小原则进行归一化，即

步骤6.2：对归一化后的相似度向量采用决策级融合中的加权求和规则融合，即

其中表示融合之后的相似度向量，，表示第条面部轮廓线的识别率，最后根据最近邻法则选取中最小元素对应的库集人脸作为识别结果。

Claims (6)

1.一种基于半刚性区域面部轮廓线的三维人脸识别方法，其特征在于该方法包括以下步骤：

步骤1：从输入的三维人脸点云中提取出感兴趣的人脸区域，该区域为以鼻尖为球心，90mm为半径的球所包含的人脸区域；

步骤2：对由步骤1所提取的三维人脸点云进行网格化操作，采用基于网格的平滑算法对三维人脸模型进行平滑去噪处理，然后将经过9~12次迭代处理得到的平滑的三维人脸网格恢复成三维人脸点云；

步骤3：对由步骤2得到的三维人脸点云，采用主成分分析法PCA，得到三个互相垂直的主轴方向，将最大特征值对应的特征向量作为                                                轴，最小特征值对应的特征向量作为轴，建立右手坐标系，在该坐标系下人脸具有相同的正面姿态；该坐标系被称为姿态坐标系PCS；以鼻尖点为PCS的坐标原点，将切割平滑后的人脸点云数据都转换到PCS中，从而实现人脸姿态的归一化，得到姿态矫正后的人脸点云；

步骤4：对由步骤3得到的姿态矫正后的人脸点云，根据坐标信息，在人脸的半刚性区域提取垂直方向的若干条面部轮廓线并对面部轮廓线进行重采样，得到测试人脸的19条面部轮廓线；

步骤5：对所有库集人脸模型按照步骤1-步骤4所示方法来提取每一个库集人脸的19条面部轮廓线，计算测试人脸与库集人脸对应的轮廓线间的相似度向量；

步骤6：采用决策级融合中的加权求和规则对不同轮廓线的相似度向量进行融合，根据最近邻法则得出识别结果。

2.如权利要求1所述的基于半刚性区域面部轮廓线的三维人脸识别方法，其特征在于，其中步骤2具体包括以下步骤：

步骤2.1：人脸三维点云的网格化操作：假设包含个顶点的三维人脸点云为，表示三维人脸点云中的第个点，取人脸点云的坐标进行三角网格化操作，得到一个无向图，其中，，即三维人脸点云中的点的集合，是边的集合，即表示点与点之间的连接关系，其元素表示第个点和第个点有一条边直接相连；

步骤2.2：从点云的三角网格结构中构建阶Laplacian-beltremi矩阵：

其中，分别是边在其三角形中所对的角，再构建对角矩阵，其元素，其中，表示与第个顶点的相接的三角网格的集合，表示三角网格的面积；

步骤2.3：对点云进行平滑去噪：由步骤2.2得到的矩阵构建局部平滑算子，通过将此算子迭代作用于点云，即，为迭代次数，可以得到平滑去噪后的人脸点云。

3.如权利要求1所述的基于半刚性区域面部轮廓线的三维人脸识别方法，其特征在于，其中步骤3具体包括以下步骤：

步骤3.1：计算测试人脸点云质心；

步骤3.2：构建协方差矩阵；

步骤3.3：将正交对角化，得到三个特征值及对应的三个相互正交的单位特征向量；

步骤3.4：以为原点，以为轴，为轴，建立右手坐标系，在该坐标系下人脸具有相同的正面姿态，该坐标系被称为姿态坐标系PCS，并将平滑后的人脸数据都转换到新的坐标系中，即；

步骤3.5：将坐标系平移，使得鼻尖点位于原点，点平移后记为，

其中，分别表示点坐标的三个分量。

4.如权利要求1所述的基于半刚性区域面部轮廓线的三维人脸识别方法，其特征在于，步骤4对由步骤3得到的姿态矫正后的人脸点云，根据坐标信息，在人脸的半刚性区域提取垂直方向的若干条面部轮廓线并对面部轮廓线进行重采样，得到测试人脸的19条面部轮廓线，具体过程如下：

步骤4.1：面部轮廓线提取：在姿态坐标系PCS中，记三维人脸的半刚性区域为，即由的点构成的区域，记平面的上半平面为，计算中的每个点到平面的距离，选择距离小于阈值的点，这些点构成的集合就是人脸半刚性区域的中心面部轮廓线，然后将平面分别沿着轴正方向和负方向等间距为5mm平移，并与人脸半刚性区域相交，得到人脸半刚性区域的多条面部轮廓线；

步骤4.2：面部轮廓线重采样：由于人脸点云分布不均匀，导致提取的面部轮廓线上的点的分布不均匀，因此匹配前需要对其重采样；以平面与平面相交的直线作为参考曲线，在参考曲线上每隔3mm采样一个点，对于参考曲线上的每个点，选择待采样曲线即待重采样的某条面部轮廓线上与该点在参考曲线方向上的距离最近的点作为待采样曲线上的采样点，考虑到数据库中的许多三维人脸模型的额头以及脸颊两侧的部分区域会有头发遮挡，因此，为了避免头发遮挡引入误判，在重采样过程中并未对步骤4.1中提取的面部轮廓线全部采样，而是根据经验及坐标信息首先舍弃了人脸的额头和脸颊两侧的部分区域；然后最终采样了19条垂直方向的面部轮廓线，采样长度分别为42mm、45mm、48mm、51mm、54mm、57mm、60mm、60mm、60mm、60mm、60mm、60mm、60mm、57mm、54mm、51mm、48mm、45mm、42mm。

5.如权利要求1所述的基于半刚性区域面部轮廓线的三维人脸识别方法，其特征在于，其中步骤5具体包括以下步骤：

步骤5.1：设由步骤4中提取的测试人脸的其中一条面部轮廓线的参数方程表示为

，为参变量，并采用平方根速度函数SRVF来描述，即令

其中是欧几里得范数，分别表示的三个分量，表示对的三个分量分别进行微分运算；

步骤5.2：假设库集有个三维人脸模型，对所有库集人脸按照步骤1-步骤4所示方法来提取每一个库集人脸的19条面部轮廓线，将其存入数据库中；用表示对第个库集人脸模型提取的第条面部轮廓线，并且按照步骤5.1得到它的SRVF描述：，，；

步骤5.3：用表示由步骤4中提取测试人脸的第条面部轮廓线，按照步骤5.1得到它的SRVF描述：，，然后根据公式

  

计算测试人脸第条轮廓线与第个库集人脸对应的第条轮廓线之间相似度，从而得到测试人脸与所有库集人脸间第条轮廓线的相似度向量，其中

。

6.如权利要求1所述的基于半刚性区域面部轮廓线的三维人脸识别方法，其特征在于，其中步骤6具体包括以下步骤：

步骤6.1：为了将不同面部轮廓线的相似度向量进行融合，对步骤5得到的按照最大-最小原则进行归一化，即

步骤6.2：对归一化后的相似度向量采用决策级融合中的加权求和规则融合，即

其中，表示第条面部轮廓线的识别率，最后根据最近邻法则选取中最小元素对应的库集人脸作为识别结果。