CN106022228B - 一种基于网格纵横局部二值模式的三维人脸识别方法 - Google Patents

Abstract

本发明公开了一种基于网格纵横局部二值模式的三维人脸识别方法，步骤为：对三维人脸模型进行预处理，包括人脸区域切割、平滑处理和姿态归一化，将所有的人脸置于姿态坐标系下；从三维人脸模型的半刚性区域提取人脸7条侧面轮廓线，并对其中每条轮廓线进行均匀重采样以获得28个关键点来表征人脸面部曲面；提取关键点周围邻域，先分别用网格纵向局部二值模式描述符和网格横向局部二值模式描述符对关键点邻域进行表征，然后对两者进行特征融合获得网格纵横局部二值模式描述符，最后用LC‑KSVD2字典学习分类算法对3D人脸进行识别。本发明能够更加全面地描述均匀人脸网格表面由表情等原因引起的局部形状变化，具有较强的识别性能。

Description

一种基于网格纵横局部二值模式的三维人脸识别方法

技术领域

本发明涉及一种基于网格纵横局部二值模式的三维人脸识别方法，尤其涉及一种利用人脸网格在3D领域内对人脸直接进行识别的人脸识别方法，适用于有较大变化的场合。

背景技术

近二十年来，因为二维人脸识别方法在面临姿态、光照条件不同、表情变化以及脸部化妆等方面表现出来的脆弱性使得人脸识别的准确度和适用场合受到很大限制，越来越多的学者开始致力于三维人脸识别技术的研究。三维人脸识别技术是指利用人脸在三维空间中的几何信息进行身份辨识的技术。目前，诸多学者提出了很多有效的3D人脸识别方法。

目前，许多3D人脸识别算法都是基于局部二值模式(LBP，Local BinaryPattern)，但是这些算法大多会将人脸的3D点云先转化为深度图然后再进行对LBP的改进和扩展，这就将3D数据转到了2.5D，丢失了人脸部分信息。针对这一问题，Werghi等提出了网格局部二值模式(local binary pattern on the mesh,mesh-LBP)描述符，该描述符直接在网格表面计算LBP值，避免了将3D人脸点云转化成深度图，保留了3D人脸的完整信息。该描述符将中心面片与其周围有序环上的面片进行比较，忽略了相邻环上面片之间和同一环上相邻面片之间的关系，割裂了局部区域的整体性。因此如何在人脸网格上提取一种更全面的特征是非常有意义的。

发明内容

本发明的目的是提供一种基于网格纵横局部二值模式的三维人脸识别方法，具有较强的识别性能，并且对表情变化具有较好的鲁棒性，同时还提高了人脸匹配速度。

为实现上述目的，本发明采用的技术方案为：

一种基于网格纵横局部二值模式的三维人脸识别方法，包括以下步骤：

步骤1：从输入的三维人脸点云中提取出感兴趣的人脸区域，该区域为以鼻尖为球心，90mm为半径的球所包含的人脸区域；

步骤2：对由步骤1所提取的三维人脸点云进行平滑去噪处理后，以鼻尖点为姿态坐标系(PCS)的坐标原点，将其置于姿态坐标系(PCS)中；所述姿态坐标系(PCS)的获得方法为：对三维人脸点云采用主成分分析法(PCA)，将最大特征值对应的特征向量作为Y轴，将最小特征值对应的特征向量作为Z轴，建立右手坐标系，即为姿态坐标系；

步骤3：对由步骤2得到的三维人脸点云，根据坐标信息，在人脸的半刚性区域提取垂直方向的7条面部轮廓线并对面部轮廓线进行重采样，得到测试人脸的28个关键点；

步骤4：对三维人脸点云进行均匀网格化，由步骤3获得的28个关键点也对应到网格上，提取以关键点所在面片为中心面片的有序面片环，并且确定关键点周围邻域；

步骤5：计算由步骤4获得的关键点邻域的网格纵向局部二值模式(mesh-VLBP)描述符和网格横向局部二值模式(mesh-HLBP)描述符；并对这两者进行特征融合获得网格纵横局部二值模式(mesh-VHLBP)描述符；

步骤6：最后结合LC-KSVD2字典学习分类算法对人脸进行分类实验，得出识别结果。

所述步骤2的具体步骤为：

步骤2.1：计算测试人脸点云质心其中p'_i表示点云中点的坐标，n表示点云中点的个数；

步骤2.2：构建协方差矩阵其中T表示的是矩阵的转置；

步骤2.3：将协方差矩阵C正交对角化，得到三个特征值λ₁≥λ₂≥λ₃及对应的三个相互正交的单位特征向量v₁,v₂,v₃；

步骤2.4：以O为原点，以v₁为Y轴，v₃为Z轴，建立右手坐标系，在该坐标系下人脸具有相同的正面姿态，该坐标系为姿态坐标系PCS，并将平滑去噪处理后的三维人脸点云数据都转换到姿态坐标系中，即p'_i＝(v₂,v₁,v₃)(p'_i-O)；

步骤2.5：将坐标系平移，使得鼻尖点位于原点，点p”_i平移后记为其中，分别表示点g_i坐标的三个分量。

所述步骤3的具体步骤为：

步骤3.1：半刚性区域侧面轮廓线提取：在姿态坐标系中，记位于XOZ平面上方的三维人脸曲面为S，用镜像匹配算法确定人脸的对称面以切割人脸曲面S，获得半刚性区域的中心侧面轮廓线；然后，将平面分别沿着x轴正、负方向以13mm的间隔平移，与人脸曲面S相交就能够得到另外6条侧面轮廓线，从而获得人脸半刚性区域的7条侧面轮廓线；

步骤3.2：面部轮廓线重采样获得关键点：以平面与XOY平面相交的直线作为参考曲线，保留从眉心点到鼻尖点那一段，并在这一段上在每隔20mm采样一个点，如此获得4个关键点；在其余的6条侧面轮廓线上按与中心侧面轮廓线上的点相同的水平坐标进行采样，最终获得28个关键点。

所述步骤4的具体步骤为：

步骤4.1：对人脸点云进行均匀网格化，并且围绕中心面片提取有序环：给定一个中心面片f_c，其邻接的三个面片按逆时针方向分别标记为fout₁,fout₂和fout₃，记为Fout面片集；在两两fout_i(i＝1,2,3)面片之间用fgap面片，记为Fgap面片集，按相同的方向进行连接，要求fgap面片是前一个面片的邻接面片且与中心面片f_c只共享一个顶点；当在(fout₃,fout₁)之间完成用Fgap面片集进行连接后，就获得第一个有序环；再获取这个有序环中每个面片的邻接面片，要求该面片与环中其他面片不重合，指向朝外，构成新的Fout面片集，以上述相同的方式获取第二个有序环；如此迭代下去，即能够在中心面片周围获得r个同心有序环；

步骤4.2：在关键点检测完成后，其周围邻域取为该点所在中心面片周围的r个环构成的区域。

所述步骤5的具体步骤为：

步骤5.1：准备工作：依据有序环第一个面片位置的相对不变性的原则，按逆时针方向将每环上用于计算的面片标号为其不同环上的相同位置编号的面片相互对应；

步骤5.2：计算关键点邻域的mesh-VLBP描述符，其计算过程为：第1环：将第一环上的面片与中心面片比较；从第二环开始，分别将该环上与前一环上标号对应的面片进行比较。用公式描述为：

其中

其中标量函数h(f)取为平均曲率H；该描述符计算结果记为Y₁；

步骤5.3：计算关键点邻域的mesh-HLBP描述符，其计算基于同一个环上相邻面片之间的平均曲率值的大小关系，则将其计算式定义为：

其中(k+1)\12表示对12取余，就表示当k＝11时，面片取为起始面片该描述符计算结果记为Y₂；

步骤5.4：对mesh-VLBP描述符和mesh-HLBP描述符进行特征融合，从而得到更加全面的描述符——mesh-VHLBP描述符，其融合结果记为Y₃。

所述步骤6的具体步骤为：

步骤6.1：采用“等价模式”对由步骤5计算而得的数据降维；

步骤6.2：对步骤5计算而来的Y₁，Y₂和Y₃采用使字典具有判别力的LC-KSVD2的字典学习算法进行分类，其中LC-KSVD2算法的目标函数表示为：

其中，Y＝[y₁...y_N]∈R^n×N为输入样本，Y分别取为Y₁，Y₂和Y₃；输入样本在冗余字典D＝[d₁...d_K]∈R^n×K下的稀疏表示集记为X＝[x₁...x_N]∈R^K×N，为重构误差；Q＝[q₁...q_N]∈R^K×N是输入信号Y的判别稀疏编码，用来提供分类信息，q_i中的非零值出现在输入信号y_i和字典原子d_k标签相同的位置；W表示分类器参数，H＝[h₁...h_N]∈R^m×N是输入信号Y的类标签矩阵，由h_i中的非零值就表示了y_i所属的类。

有益效果：本发明提供的基于网格纵横局部二值模式的三维人脸识别方法通过在人脸表面的半刚性区域检测关键点集并且提取周围邻域，分别计算邻域的mesh-VLBP描述符和mesh-HLBP描述符，并且对两者进行特征融合得到mesh-VHLBP描述符，利用LC-KSVD2字典学习算法完成3D人脸识别实验。该方法有以下优点：

1.该算法不仅从网格纵向提取mesh-VLBP描述符，还从横向提取mesh-HLBP描述符，更加全面地描述了关键点邻域的因为表情变化等引起的纵向和横向差异，对于两者的特征融合更是有效而且准确地表示出局部形状的整体变化，很大程度上改善了识别性能。

2.本文所提出的关键点检测方法基于半刚性区域，避开了受表情变化影响很大的嘴部区域，因此本文所提方法对于表情变化也具有一定的鲁棒性。

3.LC-KSVD2字典学习分类算法可以忽略字典的大小而产生判别稀疏编码系数X，使字典对于数据不仅具有表示能力，也具有了判别分类的能力，有效地提高了实验的识别率。

附图说明

图1是本发明提供的基于网格纵横局部二值模式的三维人脸识别方法的整体流程图；

图2是人脸均匀网格化后的图；

图3是7条侧面轮廓线图；

图4是28个关键点；

图5是有序环提取过程图；

图6是中心面片周围纵向和横向示意图；

图7是有序环标号示意图。

具体实施方式

参考说明书附图，下面对本发明的具体实施方式进一步描述。

本发明的基于网格纵横局部二值模式的三维人脸识别方法，在Windows操作系统中通过Matlab R2013a编程工具实现三维人脸识别流程。实验数据来自FRGC v2.0三维人脸数据库，该数据库中包含用于测试的466个人的4007张人脸模型。图1是本发明方法整体流程图，具体步骤如下：

步骤1：从输入的三维人脸点云中提取出感兴趣的人脸区域，该区域为以鼻尖为球心，90mm为半径的球所包含的人脸区域；

步骤2：对由步骤1所提取的三维人脸点云进行平滑去噪处理后，以鼻尖点为PCS的坐标原点，将其置于为姿态坐标系(PCS)中。姿态坐标系(PCS)的获得方法：对三维人脸点云采用主成分分析法(PCA)，将最大特征值对应的特征向量作为Y轴，将最小特征值对应的特征向量作为Z轴，建立右手坐标系，即为姿态坐标系；

步骤2.1：计算测试人脸点云质心其中p'_i表示点云中点的坐标，n表示点云中点的个数；

步骤2.2：构建协方差矩阵其中T表示的是矩阵的转置；

步骤2.3：将协方差矩阵C正交对角化，得到三个特征值λ₁≥λ₂≥λ₃及对应的三个相互正交的单位特征向量v₁,v₂,v₃；

步骤2.4：以O为原点，以v₁为Y轴，v₃为Z轴，建立右手坐标系，在该坐标系下人脸具有相同的正面姿态，该坐标系为姿态坐标系PCS，并将平滑去噪处理后的三维人脸点云数据都转换到姿态坐标系中，即p'_i＝(v₂,v₁,v₃)(p'_i-O)；

步骤2.5：将坐标系平移，使得鼻尖点位于原点，点p”_i平移后记为其中，分别表示点g_i坐标的三个分量。

步骤3：对由步骤2得到的三维人脸点云，根据坐标信息，在人脸的半刚性区域提取垂直方向的7条面部轮廓线并对面部轮廓线进行重采样，得到测试人脸的28个关键点；

步骤3.1：半刚性区域侧面轮廓线提取：在姿态坐标系中，记位于XOZ平面上方的三维人脸曲面为S，用镜像匹配算法确定人脸的对称面以切割人脸曲面S，获得半刚性区域的中心侧面轮廓线；然后，将平面分别沿着x轴正、负方向以13mm的间隔平移，与人脸曲面S相交就能够得到另外6条侧面轮廓线，从而获得人脸半刚性区域的7条侧面轮廓线；

步骤3.2：面部轮廓线重采样获得关键点：以平面与XOY平面相交的直线作为参考曲线，保留从眉心点到鼻尖点那一段，并在这一段上在每隔20mm采样一个点，如此获得4个关键点；在其余的6条侧面轮廓线上按与中心侧面轮廓线上的点相同的水平坐标进行采样，最终获得28个关键点。

步骤4：对人脸点云进行均匀网格化，由步骤3获得的28个关键点也对应到网格上，提取以关键点所在面片为中心面片的有序面片环，并且确定关键点周围邻域；

步骤4.1：对人脸点云进行均匀网格化，并且围绕中心面片提取有序环：给定一个中心面片f_c，其邻接的三个面片按逆时针方向分别标记为fout₁,fout₂和fout₃(记为Fout面片集)；在两两fout_i(i＝1,2,3)面片之间用fgap面片(记为Fgap面片集)按相同的方向进行连接，要求fgap面片是前一个面片的邻接面片且与中心面片f_c只共享一个顶点；当在(fout₃,fout₁)之间完成用Fgap面片集进行连接后，就获得第一个有序环。再获取这个有序环中每个面片的邻接面片，要求该面片与环中其他面片不重合，指向朝外，构成新的Fout面片集，以上述相同的方式获取第二个有序环。如此迭代下去，即可在中心面片周围获得r个同心有序环。

步骤4.2：实验中，r取为7，因此在关键点检测完成后，其周围邻域取为该点所在中心面片周围的r个环构成的区域。

步骤5：计算由步骤4获得的关键点邻域的网格纵向局部二值模式(local binarypattern from vertical on the mesh,mesh-VLBP)描述符和网格横向局部二值模式(local binary pattern from horizontal on the mesh,mesh-HLBP)描述符；并对这两者进行特征融合获得(local binary pattern from vertical and horizontal on themesh,mesh-VHLBP)描述符；

步骤5.1：准备工作：对于由中心面片和其周围的有序环构成的这一整体来说，所谓纵向(Vertical)比较指的是在相邻环上对应面片之间进行比较，而横向(Horizontal)比较则是指在同一环上的相邻面片之间进行比较。依据有序环第一个面片位置的相对不变性的原则，按逆时针方向将每环上用于计算的面片标号为其不同环上的相同位置编号的面片相互对应。

步骤5.2：计算关键点邻域的mesh-VLBP描述符，其计算过程为：第1环：将第一环上的面片与中心面片比较；第2-7环：从第二环开始，分别将该环上与前一环上标号对应的面片进行比较。用公式描述为：

其中

其中标量函数h(f)取为平均曲率H。该描述符计算结果记为Y₁。

步骤5.3：计算关键点邻域的mesh-HLBP描述符，其计算基于同一个环上相邻面片之间的平均曲率值的大小关系，则将其计算式定义为：

其中(k+1)\12表示对12取余，就表示当k＝11时，面片取为起始面片该描述符计算结果记为Y₂；

步骤5.4：上述两种描述符分别从纵向和横向描述人脸网格表面因表情变化等原因造成的纵向和横向差异，但一些大表情如惊讶、生气等会使得人脸表面的肌肉同时发生纵向和横向变化，所以本文进一步对mesh-VLBP描述符和mesh-HLBP描述符进行特征融合，从而得到更加全面的描述符——mesh-VHLBP描述符，其融合结果记为Y₃。

步骤6：最后结合LC-KSVD2字典学习分类算法对人脸进行分类实验，得出识别结果；

步骤6.1：采用“等价模式”对由步骤5计算而得的数据降维：本文，m＝12，α(k)＝2^k时，两种描述符的值有4096种取值可能，造成二进制模式过多。二维中，Ojala提出了“等价模式”(Uniform Pattern)用来对LBP算子的模式种类进行降维。类似地，在三维中也存在“等价模式”，是指那些0、1之间跳变次数至多等于4的二进制模式。据此将本文中的二进制模式由4096种降为1234种；

步骤6.2：对步骤5计算而来的Y₁，Y₂和Y₃采用使字典具有判别力的LC-KSVD2的字典学习算法进行分类，其中LC-KSVD2算法的目标函数可表示为：

其中，Y＝[y₁...y_N]∈R^n×N为输入样本，Y分别取为Y₁，Y₂和Y₃；输入样本在冗余字典D＝[d₁...d_K]∈R^n×K下的稀疏表示集记为X＝[x₁...x_N]∈R^K×N，为重构误差；Q＝[q₁...q_N]∈R^K×N是输入信号Y的判别稀疏编码，用来提供分类信息，q_i中的非零值出现在输入信号y_i和字典原子d_k标签相同的位置；W表示分类器参数，H＝[h₁...h_N]∈R^m×N是输入信号Y的类标签矩阵，由h_i中的非零值就表示了y_i所属的类。

以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (5)

1.一种基于网格纵横局部二值模式的三维人脸识别方法，其特征在于：包括以下步骤：

步骤1：从输入的三维人脸点云中提取出感兴趣的人脸区域，该区域为以鼻尖为球心，90mm为半径的球所包含的人脸区域；

步骤2：对由步骤1所提取的三维人脸点云进行平滑去噪处理后，以鼻尖点为姿态坐标系的坐标原点，将其置于姿态坐标系中；所述姿态坐标系的获得方法为：对三维人脸点云采用主成分分析法，将最大特征值对应的特征向量作为Y轴，将最小特征值对应的特征向量作为Z轴，建立右手坐标系，即为姿态坐标系；

步骤3：对由步骤2得到的三维人脸点云，根据坐标信息，在人脸的半刚性区域提取垂直方向的7条面部轮廓线并对面部轮廓线进行重采样，得到测试人脸的28个关键点；

步骤4：对三维人脸点云进行均匀网格化，由步骤3获得的28个关键点也对应到网格上，提取以关键点所在面片为中心面片的有序面片环，并且确定关键点周围邻域；

步骤5：计算由步骤4获得的关键点邻域的网格纵向局部二值模式描述符和网格横向局部二值模式描述符；并对这两者进行特征融合获得网格纵横局部二值模式描述符；

所述步骤5的具体步骤为：

步骤5.1：准备工作：依据有序环第一个面片位置的相对不变性的原则，按逆时针方向将每环上用于计算的面片标号为其中，r表示关键点邻域有序环的个数，其不同环上的相同位置编号的面片相互对应；

步骤5.2：计算关键点邻域的网格纵向局部二值模式描述符，其计算过程为：第1环：将第一环上的面片与中心面片比较；从第二环开始，分别将该环上与前一环上标号对应的面片进行比较；用公式描述为：

其中

其中标量函数h(f)取为平均曲率H；f_c表示中心面片；该描述符计算结果记为Y₁；

步骤5.3：计算关键点邻域的网格横向局部二值模式描述符，其计算基于同一个环上相邻面片之间的平均曲率值的大小关系，则将其计算式定义为：

其中

其中(k+1)\12表示对12取余，就表示当k＝11时，面片取为起始面片该描述符计算结果记为Y₂；

步骤5.4：对网格纵向局部二值模式描述符和网格横向局部二值模式描述符进行特征融合，从而得到更加全面的描述符——网格纵横局部二值模式描述符，其融合结果记为Y₃；

步骤6：最后结合LC-KSVD2字典学习分类算法对人脸进行分类实验，得出识别结果。

2.如权利要求1所述的基于网格纵横局部二值模式的三维人脸识别方法，其特征在于：所述步骤2的具体步骤为：

步骤2.1：计算测试人脸点云质心其中p′_i表示点云中点的坐标，n表示点云中点的个数；

步骤2.2：构建协方差矩阵其中T表示的是矩阵的转置；

步骤2.3：将协方差矩阵C正交对角化，得到三个特征值λ₁≥λ₂≥λ₃及对应的三个相互正交的单位特征向量v₁,v₂,v₃；

步骤2.4：以O为原点，以v₁为Y轴，v₃为Z轴，建立右手坐标系，在该坐标系下人脸具有相同的正面姿态，该坐标系为姿态坐标系PCS，并将平滑去噪处理后的三维人脸点云数据都转换到姿态坐标系中，即p”_i＝(v₂,v₁,v₃)(p’_i-O)；

步骤2.5：将坐标系平移，使得鼻尖点位于原点，点p_i”平移后记为其中，分别表示点g_i坐标的三个分量。

3.如权利要求1所述的基于网格纵横局部二值模式的三维人脸识别方法，其特征在于：所述步骤3的具体步骤为：

步骤3.1：半刚性区域侧面轮廓线提取：在姿态坐标系中，记位于XOZ平面上方的三维人脸曲面为S，用镜像匹配算法确定人脸的对称面以切割人脸曲面S，获得半刚性区域的中心侧面轮廓线；然后，将平面分别沿着x轴正、负方向以13mm的间隔平移，与人脸曲面S相交就能够得到另外6条侧面轮廓线，从而获得人脸半刚性区域的7条侧面轮廓线；

步骤3.2：面部轮廓线重采样获得关键点：以平面与XOY平面相交的直线作为参考曲线，保留从眉心点到鼻尖点那一段，并在这一段上在每隔20mm采样一个点，如此获得4个关键点；在其余的6条侧面轮廓线上按与中心侧面轮廓线上的点相同的水平坐标进行采样，最终获得28个关键点。

4.如权利要求1所述的基于网格纵横局部二值模式的三维人脸识别方法，其特征在于：所述步骤4的具体步骤为：

步骤4.1：对人脸点云进行均匀网格化，并且围绕中心面片提取有序环：给定一个中心面片f_c，其邻接的三个面片按逆时针方向分别标记为fout₁,fout₂和fout₃，记为Fout面片集；在两两fout_i面片之间用fgap面片，其中，i＝1,2,3，按相同的方向进行连接，要求fgap面片是前一个面片的邻接面片且与中心面片f_c只共享一个顶点，fgap面片的集合记为Fgap面片集；当在(fout₃,fout₁)之间完成用Fgap面片集进行连接后，就获得第一个有序环；再获取这个有序环中每个面片的邻接面片，要求该面片与环中其他面片不重合，指向朝外，构成新的Fout面片集，以上述相同的方式获取第二个有序环；如此迭代下去，即能够在中心面片周围获得r个同心有序环；

步骤4.2：在关键点检测完成后，其周围邻域取为该点所在中心面片周围的r个环构成的区域。

5.如权利要求1所述的基于网格纵横局部二值模式的三维人脸识别方法，其特征在于：所述步骤6的具体步骤为：

步骤6.1：采用等价模式对由步骤5计算而得的数据降维；

步骤6.2：对步骤5计算而来的Y₁，Y₂和Y₃采用使字典具有判别力的LC-KSVD2的字典学习算法进行分类，其中LC-KSVD2算法的目标函数表示为：

其中，Y＝[y₁...y_N]∈R^n×N为输入样本，Y分别取为Y₁，Y₂和Y₃；输入样本在冗余字典D＝[d₁...d_K]∈R^n×K下的稀疏表示集记为X＝[x₁...x_N]∈R^K×N，为重构误差；Q＝[q₁...q_N]∈R^K×N是输入信号Y的判别稀疏编码，用来提供分类信息，q_i中的非零值出现在输入信号y_i和字典原子d_k标签相同的位置；W表示分类器参数，H＝[h₁...h_N]∈R^m×N是输入信号Y的类标签矩阵，由h_i中的非零值就表示了y_i所属的类。