CN101930537A - 基于弯曲不变量相关特征的三维人脸识别方法及系统 - Google Patents

Abstract

本发明公开了一种基于弯曲不变量相关特征的三维人脸识别方法及系统。该方法包括：自动提取三维人脸区域，包括人脸区域提取和三维人脸匹配的操作，获取预处理后的三维人脸；计算所述预处理后的三维人脸的弯曲不变量；编码三维人脸表面相邻节点的弯曲不变量的局部特征，提取弯曲不变量相关特征；对所述弯曲不变量的相关特征进行签名并采用谱回归进行降维，获得主成分；基于主成分，运用K最近邻分类方法对三维人脸进行识别。本发明相比现有的3D人脸识别具有更好的有效性和高效性，在处理人脸表情和姿态变化上效果尤其好。

Description

基于弯曲不变量相关特征的三维人脸识别方法及系统

技术领域

本发明涉及图像处理和模式识别领域，尤其涉及一种基于弯曲不变量相关特征的三维人脸识别方法及系统。 

背景技术

近年来，信息和通信技术已经融入到我们生活的各个部门和所有部分，打开了一个史无前例的世界，这里人们同嵌入在敏感的响应用户存在的电子设备的进行交互。的确，以提供用户需要的智能建筑为特征的计算机辅助的安保系统正成为国内研究的趋势，需要更多复杂的服务。视觉是人类获取外界信息的最直接、最普遍的方式。视觉的最终目的是要对场景作出对观察者有意义的解释和描述，然后基于这些解释和描述并根据周围环境和观察者的意愿制定出行为规划。 

这种情况为探索物体的识别和理解和基于观察行为的实用化应用提供了机会。一个主要例子是使用人脸代替侵入式生物特征的潜力，它不仅可以规则地进入到控制环境中，而且可以根据待识别用户的偏好和需要提供服务。生物特征识别指使用不同的生理特征(如指纹、人脸、视网膜、虹膜)和行为特征如(步态、签名)特征，作为生物辨识来自动识别个人。因为生物辨识不易错位、仿造和共享，它们比传统的标识和基于知识的识别方法具有更高的可靠性。生物识别的另一个典型目标是用户方便(如无需用户辨别号的服务 接入)，更安全(如仿冒接入困难)。所有这些原因使非侵入式生物特征更适于环绕智能环境的应用，这点对基于人脸的生物辨识尤其准确，它是用在可视化交互的人脸识别中最具普遍性的方法，并且允许一种与传感器无任何物理接触的非侵入方式。 

发明内容

鉴于上述问题，本发明的目的在于提供一种基于弯曲不变量相关特征的三维人脸识别方法及系统。 

一方面，本发明公开了基于弯曲不变量相关特征的三维人脸识别方法，包括如下步骤：图像预处理步骤，自动提取三维人脸区域，包括人脸区域提取和三维人脸匹配的操作，获取预处理后的三维人脸；弯曲不变量的计算步骤，计算所述预处理后的三维人脸的弯曲不变量；弯曲不变量相关特征提取步骤，编码三维人脸表面相邻节点的弯曲不变量的局部特征，提取弯曲不变量相关特征；特征降维步骤，对所述弯曲不变量的相关特征进行签名并采用谱回归进行降维，获得主成分；分类识别步骤，基于所述主成分，运用K最近邻分类方法对三维人脸进行识别。 

上述三维人脸识别方法，优选图像预处理步骤中，所述的人脸区域提取包括：计算有效点矩阵的列和并从点云中估计一个垂直投影曲线；定义投影曲线的左右拐点的两个侧阈值来删除对象肩膀上超过此阈值的数据；通过阈值化深度值直方图进一步删除对应于对象胸部的数据点，去除了对应前脸信息后面的大深度值数据；删除保留在区域中但与主要人脸区域不连接的异常点并且仅将最大的区域视为人脸区域。 

上述三维人脸识别方法，优选图像预处理步骤中，所述三维人脸匹配包括：点云协方差矩阵的正交特征矢量，v₁，v₂，v₃，作为点云的三个主轴，旋转点云使v₁，v₂，v₃分别平行于参考坐标系的Y，X和Z轴，鼻尖在参考坐标系上的位置作为参考坐标系的原点，通过旋转和平移将所有三维人脸数据进行粗匹配；人脸信号用最近邻内插在球面等角网格上采样，通过计算所有训练人脸图像上每个网格点值构建平均人脸模型(AFM)，所有人脸信息通过ICP进一步与AFM对齐避免嘴和颌的影响；通过最小化Z-buffer距离的全局最优技术进行精细对齐，它有效地重采样数据三角形上点独立性，并删除所有的人脸不相关信息。 

上述三维人脸识别方法，优选所述三维人脸弯曲不变量的计算步骤中，所述三维人脸弯曲不变量通过快速行进法计算三维人脸表面点的测地距离，再通过等距映射获得低维欧式空间R^m的距离作为三维表面点的弯曲不变量。 

上述三维人脸识别方法，优选所述三维人脸弯曲不变量相关特征提取步骤中，所述三维人脸弯曲不变量相关特征通过运用3D LBP编码三维人脸表面相邻节点的弯曲不变量局部特征获得。 

另一方面，本发明还公开了一种基于弯曲不变量相关特征的三维人脸识别系统，包括：图像预处理模块，用于自动提取三维人脸区域，包括人脸区域提取和三维人脸匹配的操作，获取预处理后的三维人脸；弯曲不变量的计算模块，用于计算所述预处理后的三维人脸的弯曲不变量；弯曲不变量相关特征提取模块，用于编码三维人脸表面相邻节点的弯曲不变量的局部特征，提取弯曲不变量相关特征；特征降维模块，用于对所述弯曲不变量的相关特征进行签名 并采用谱回归进行降维，获得主成分；分类识别模块，用于基于主成分，运用K最近邻分类系统对三维人脸进行识别。 

上述三维人脸识别系统，优选所述图像预处理模块中，包括用于实现人脸区域提取的子模块，包括：用于计算有效点矩阵的列和并从点云中估计一个垂直投影曲线的单元；用于定义投影曲线的左右拐点的两个侧阈值来删除对象肩膀上超过此阈值的数据的单元；用于通过阈值化深度值直方图进一步删除对应于对象胸部的数据点，去除了对应前脸信息后面的大深度值数据单元；用于删除保留在区域中但与主要人脸区域不连接的异常点并且仅将最大的区域视为人脸区域的单元。 

上述三维人脸识别系统，优选所述图像预处理模块中，包括用于实现三维人脸匹配的子模块，包括：用于点云协方差矩阵的正交特征矢量，v₁，v₂，v₃，作为点云的三个主轴，旋转点云使v₁，v₂，v₃分别平行于参考坐标系的Y，X和Z轴，鼻尖在参考坐标系上的位置作为参考坐标系的原点，通过旋转和平移将所有三维人脸数据进行粗匹配的单元；用于人脸信号用最近邻内插在球面等角网格上采样，通过计算所有训练人脸图像上每个网格点值构建平均人脸模型AFM，所有人脸信息通过ICP进一步与AFM对齐避免嘴和颌的影响的单元；用于通过最小化Z-buffer距离的全局最优技术进行精细对齐，它有效地重采样数据三角形上点独立性，并删除所有的人脸不相关信息的单元。 

上述三维人脸识别系统，优选所述弯曲不变量的计算模块中，所述三维人脸弯曲不变量通过快速行进法计算三维人脸表面点的测地距离，再通过等距映射获得低维欧式空间R^m的距离作为三维表面点的弯曲不变量。 

上述三维人脸识别系统，优选所述所述弯曲不变量相关特征提取模块中，所述三维人脸弯曲不变量相关特征通过运用3D LBP编码三维人脸表面相邻节点的弯曲不变量局部特征获得。 

相对于现有技术而言，本发明对比现在通常使用的3D人脸识别技术具有更好的有效性和高效性。在处理人脸表情和姿态变化上效果尤其好。具体而言，具有如下特点： 

准确性：3D系统对比2D系统准确性的显著增加用来判定引入的3D系统，或单独使用或结合其它模式使用。 

有效性：3D捕获每一个对象创造了更大的数据文件，要求较大的内存和大的计算代价，需要将原始的3D数据转换为有效的元数据。 

规整性：传感器产生的每个样本由一个3D散列点云描述。由于在不同的区域如头发、遮挡、噪声和水平边界的突起物如鼻和较低的下巴，在获得的捕捉中存在丢失的。本发明旨在建立一个具有固定节点和面片数的规则的和密集的网格来描述一个人脸形状。而且，不同网格需要有对应节点并且与平均模型同向。 

大的姿态和表情变化：中性人脸的识别性能显著改进，而大姿态和表情变化是准确率显著下降。 

自动化：实用系统必须使功能全自动，因此不能接受用户干预如在3D人脸扫描中手工定位关键点。 

附图说明

图1是本发明基于弯曲不变量相关特征的三维人脸识别系统实施例的结构示意图； 

图2是三维人脸数据预处理过程示意图； 

图3是预处理前后的三维人脸数据：(a)原始的三维人脸数据；(b)预处理后的三维人脸数据)示意图； 

图4是3D LBP原理框图； 

图5为本发明基于弯曲不变量相关特征的三维人脸识别方法实施例的步骤流程图。 

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。 

参照图1，图1为本发明基于弯曲不变量相关特征的三维人脸识别系统实施例的结构示意图，包括： 

图像预处理模块110，用于自动提取三维人脸区域，包括人脸区域提取和三维人脸匹配的操作，获取预处理后的三维人脸；弯曲不变量的计算模块111，用于计算所述预处理后的三维人脸的弯曲不变量；弯曲不变量相关特征提取模块112，用于编码三维人脸表面相邻节点的弯曲不变量的局部特征，提取弯曲不变量相关特征；特征降维模块113，用于对所述弯曲不变量的相关特征进行签名并采用谱回 归进行降维，获得主成分；分类识别模块114，用于基于主成分，运用K最近邻分类系统对三维人脸进行识别。 

如图1所示，首先，探索了一种自动的3D人脸区域提取方法。然后处理它使得最小化大姿态变化的影响并且有效地改进整个3D人脸识别系统的性能。为了克服大的表情变化，所提出算法的一个核心思想就是运用人脸表面的一种描述，叫做弯曲不变量(BI)，它对由表情和姿态变化引起的等距形变不变。为了编码相邻网格节点，3D LBP用于获得几何相关不变量，它对于描述孤立点的人脸结构具有更多的潜力并且对于特征化信号的局部相关细节更有效。然后通过对特征签名后的图像进行谱回归得到特征降维后的主成分节省了大量的计算时间。最后运用K最近邻分类方法对人脸进行识别。我们的系统对比现在通常使用的3D人脸识别系统具有更好的有效性和高效性。在处理人脸表情和姿态变化上效果尤其好。 

下面对具体的实施过程分块进行描述； 

图像预处理模块 

实际应用中获取的三维人脸数据以三维散列点云方式存储，一些示例如图2a，3a。预处理过程主要包括两方面内容，人脸区域提取和3D人脸匹配。接下来将描述这些任务的细节。 

人脸提取的主要目的是从3D点云中删除不相关的信息，如肩膀或头发的数据和由激光扫描仪造成的钉状物。一个人脸扫描的输出形成一个3D点云，点的X和Y坐标形成统一的欧式网格和Z坐标值提供对应的深度信息，不同的图像具有相同的分辨率X*Y。人脸提取的第一步，我们计算有效点矩阵的列和并从点云中估计一个垂直投影曲线。然后，通过定义投影曲线的左右拐点的两个侧阈值来 删除对象肩膀上超过此阈值的数据如图2b。我们通过阈值化深度值直方图进一步删除对应于对象胸部的数据点，去除了对应前脸信息后面的大深度值数据如图2c。最后，删除保留在区域中但与主要人脸区域不连接的异常点并且仅将最大的区域视为人脸区域如图2d。上述自动人脸提取算法在数据库中的大部分人脸点云上有效地工作，仅在很少的异常情况下失败。 

从3D扫描中提取主要人脸区域后，一个关键的预处理步骤是3D匹配实现姿态对齐。我们运用一个多阶段自动匹配方法，存在人脸表情变化时可以提供鲁棒准确的对齐结果。每一步用前一步的输出作为输入。早期的步骤对局部最小值提供更大容忍度而后面的步骤提供更准确的匹配。首先，我们计算点云协方差矩阵的正交特征矢量，v₁，v₂，v₃，作为点云的三个主轴。我们旋转点云使v₁，v₂，v₃分别平行于参考坐标系的Y，X和Z轴。鼻尖在参考坐标系上的位置作为参考坐标系的原点。通过旋转和平移将所有三维人脸数据进行粗匹配。人脸信号用最近邻内插在球面等角网格上采样。通过计算所有训练人脸图像上每个网格点值构建平均人脸模型(AFM)。所有人脸信息通过ICP进一步与AFM对齐避免嘴和颌的影响。最后，通过最小化Z-buffer距离的全局最优技术进行精细对齐，它有效地重采样数据三角形上点独立性，并删除所有的人脸不相关信息。三维人脸数据预处理的结果如图3b所示。 

弯曲不变量的计算模块 

我们的3D人脸识别系统的核心是一种对等距形变不变的人脸表面描述子，叫做弯曲不变量。人脸表面经历的形变不是任意的，经验观察显示面部表情可用等距(或长度保持)变换模型化。因为，我们为等距表面引入一种有效的特征用于签名，推导作为弯曲不变 量，它是在一个减小的点集上由等距映射形成的人脸表面的多边形近似并且在全部点集上进行内插。 

给定一个人脸表面M(x，y，z)∈R³，弯曲不变量I_M(x，y，z)∈R³是等距映射算法的一个输出。一个等距测地线通过映射ψ：M→M′形成， 

$\∀(x,y,z)\∈M^3,d_M(x,y,z)=d_{M^{\′}}(\mathrm{\ψ}\left(x\right),\mathrm{\ψ}\left(y\right),\mathrm{\ψ}\left(z\right))$

对一个给定人脸表面构建不变量特征的关键一步是一个计算表面测地距离的有效算法即d_M(x，y，z)。计算测地距离可以有效地反映人脸形状信息并且克服3D人脸图像中一些尚未解决的问题，如大的表情和姿态变化，数据噪声等。一种数值一致连续算法用于计算一个表面点和规则三角化域中其余n个表面点间的距离，具有O(n)计算复杂度，叫做三角化域中快速行进法(FMTD)。距离计算后，我们通过在连续表面有限点集上采样并且根据表面结构离散化这种机制获得测地距离的一个近似。 

这种机制对于任意顺序点的等距表面形变是不变的。我们想要获得一个测地不变量，一方面他对等距表面是唯一的，另一方面允许用等距刚性表面匹配来计算这个不变量。 

基于以上讨论，等价于找到两种机制空间的一个映射， 

它可以最小化内嵌误差。 

ε＝f(|d_M-d|)；d＝‖x_i-x_j‖₂

d是嵌入在基于等距映射的低维欧式空间R^m的距离。M维描述获得是对应于表面点p_i的一个点集x_i∈R^m(i＝1，…，n)。R^m中的内嵌是通过双中心化矩阵Δ形成： 

(这里 

I是n×n单位矩阵，U是由一个人脸全部数据组成的矩阵。前m个特征矢量e_i对应于B的m个最大特征值，用作内嵌坐标系。 

$x_i^j=e_i^j;i=1,...n,j=1,...,m$

这里 

表示矢量x_i的第j-th个坐标。特征矢量用一个标准的特征分解方法计算。因为只有m个特征矢量需要(通常m＝3)，所以计算有效。 

通过等距映射，将3D人脸样本从高维观测空间通过线性或非线性映射投影到一个低维特征空间，从而找出隐藏在高维观测数据中有意义的低维结构并且构建了高维数据流形空间与低维表示空间之间的相互映射这种方法有许多优点，包括压缩数据，降低存储量；消除不必要的噪声；用于识别有效数据特征便于提取；把数据投影到一个低维空间，有利于实现高维数据可视化。 

弯曲不变量相关特征提取模块 

局部二值模式(LBP)描述子首先应用于纹理描述并成功用于2D人脸识别。受到原始LBP的启发，我们引入3D LBP描述子来获得人脸表面的局部相关特征。在3D LBP中不仅包含原始的LBP，而且将弯曲不变量差也编码进二值模式中。 

原始的LBP描述子首先将图像中的每个节点弯曲不变量的值减去它的邻域节点值。然后差值转换为二进制单元：根据正负符号分配0或1。第三步二进制单元顺时针排列，我们可以获得节点局部二值模式的二进制单元集。二值模式进一步转化为十进制数。两个参数(P，R)用于控制邻域数P的选择和它们的局部半径R，可以是(8，2)，(16，2)，(24，3)等。 

从前面的讨论中，我们可以看到LBP描述子通常可以编码它们邻域节点的相关性，即本专利中的相关特征。所以LBP可以视为一种局部相关特征。人脸表面的结构信息应该存在于表面点的相关特征中。根据前面分析的LBP的相关属性，我们将LBP描述子运用到编码3D人脸表面的结构信息中。但是LBP描述子只能编码弯曲不变量差的符号不适于描述3D人脸，因为人脸表面相同点的弯曲不变量差在不同人脸上有区别。例如A和B是两个不同的人，他们鼻尖点LBP是相同的，因为所有围绕鼻尖点的弯曲不变量值都低于鼻尖。如果不同的人的两个相同位置的人脸区域有相同的弯曲不变量变化趋势，LBP将不适于区分它们。然而，虽然两个鼻尖点弯曲不变量差的符号和他们的领域相同，但是差的精确值是不同的。这一点对3D人脸识别尤其关键。我们进一步将弯曲不变量差的精确值编码为二值模型。根据统计分析，在R＝2时多于94％的点间弯曲不变量差值小于7，所以我们增加三个单元来编码节点和它邻域的每个弯曲不变量差。三个二值单元({i₂i₃i₄})对应弯曲不变量差的绝对值DD：0～7。所有DD≥7的情况设为7。弯曲不变量差的符号记为0、1作为头二值单元i₁这与原始LBP相同。最终我们获得一个四个二值单元{i₁i₂i₃i₄}来描述的两点间DD。 

四个二值单元被划分为四层如图4所示。每层的二值单元顺时针排列。最终，我们在每个节点得到四个十进制数作为其描述：P₁，P₂，P₃，P₄，记为3D LBP。匹配时，3D LBP首先分别根据P₁，P₂，P₃，P₄变换为四幅图：3DLBPMap1(等于原始LBP图)，3DLBPMap2，3DLBPMap3，3DLBPMap4。然后四幅图局部区域的直方图串联作为匹配的相关特征局部统计值。 

此法不仅增强类似于边缘以及峰、谷、脊轮廓等底层图像特征，这相当于增强了被认为是面部关键部件的鼻子、眼睛、嘴巴等信息，同时也增强了诸如酒窝、黑痣、伤疤等局部特征，从而使得在保留总体人脸信息的同时增强局部相关特性成为可能。当人脸的姿态、表情、位置发生变化时，其所引起的局部特征的变化要小于全局特征的变化，从而使用局部相关特征可以得到更加鲁棒的人脸表示。 

特征降维模块 

我们运用三维谱回归进行特征降维处理。每个3D人脸的弯曲不变量相关特征描述为一维矢量。提出结合图嵌入理论的三维谱回归降维方法处理三维人脸数据不仅保持了人脸数据流形的局部近邻结构，增加了全局的判别信息，而且很好的继承了局部特征保持能力，增加了特征的可分性，也在一定程度上克服了人脸表情，姿态等变化。 

假设我们有m张三维人脸图像。 为它们的矢量描述。降维旨在找到 

可用矢量z_i描述x_i的本质内在可分性特征。为了有效反映不同样本间3D人脸弯曲不变量相关信息间的关系，我们引入基于Laplacianface的图嵌入框架。局部保留投影 (LPP)建造一个图模型作为反映数据空间内在结构的局部流形结构并且找到反映这个几何结构的一个投影。 

接下来介绍算法细节。首先，我们构建一个邻接图。给定一个m个顶点的图G，描述人脸数据。W是一个m×m的稀疏对称矩阵，W_ij是边相邻顶点i和j间权重，它可以测量顶点对间的相似性。我们设定 

$W_{\mathrm{ij}}=\left\{\begin{array}{c}0,\mathrm{if\; there\; is\; no\; edge\; between\; i\; and\; j}\\ 1/l_k,\mathrm{if}{x}_i\mathrm{and}{x}_j\mathrm{both\; belongto\; the\; k}-\mathrm{th\; class}\\ \mathrm{\δ}\·s(i,j),\mathrm{otherwise}\end{array}\right.$

其中0＜δ≤1是在监督与非监督信息间调整权重的参数，s(i，j)是评价样本间相似性的一个热核函数。在有监督训练模式下求解拉普拉斯算子的特征向量，寻找人脸图像上的最优局部嵌套，从而避免了局部保留投影(LPP)因没有去除矩阵行列间相关性，导致不能很好的抽取识别特征并且计算复杂的问题。 

$s(i,j)=e^{-\frac{{||x_i-x_j||}^2}{2{\mathrm{\σ}}^2}},\mathrm{\σ}\∈R$

y＝[y₁，y₂，…，y_m]^T是从图到实线间的映射。人脸识别旨在最小化一个距离来确定是否顶点(样本)i和j接近，则y_i和y_j也接近。我们得到 

$\underset{i,j}{\mathrm{\Σ}}{(y_i-y_j)}^2{W}_{\mathrm{ij}}=2y^T\mathrm{Ly}$

这里，L＝D-W是拉普拉斯图且D是对角矩阵，它的输入是W的列(或行，因W对称)和，D_ii＝∑_jW_ji。最终，最小化问题转化为 

$y^{*}=\underset{y^T\mathrm{Dy}=1}{\arg \min }{y}^T\mathrm{Ly}=\arg \min \frac{y^T\mathrm{Ly}}{y^T\mathrm{Dy}}$

限制y^TDy＝1删除嵌入中的任意尺度因子。 

解最小化特征问题获得最优y 

Ly＝λDy 

如果我们选择一个线性函数y_i＝f(x_i)＝a^Tx_i。等式转写为 

$a^{*}=\arg \min \frac{y^T\mathrm{Wy}}{y^T\mathrm{Dy}}=\arg \min \frac{a^T{\mathrm{XWX}}^{T}a}{a^T{\mathrm{XDX}}^{T}a}$

其中X＝[x₁，…，x_m]^T，最优a被推推导为 

XLX^Ta＝λXDX^Ta 

然而，这些方法中的计算涉及密集矩阵的特征分解费时且占用内存。3D人脸识别中涉及大量数据运算，我们引入谱回归解决特征问题同时减少时间和内存上消耗。算法分为两步： 

正则化最小平方：找到c-1个矢量a₁，…，a_c-1∈Rⁿ(k＝1，…，c-1)作为正则化最小平方问题的解 

$a_k=\underset{a}{\arg \min }(\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{(a^T{x}_i-y_i^k)}^2+\mathrm{\α}{\left|\right|a\left|\right|}^2)$

其中 

是y_k的第i-th个元素。易得到a_k是线性等式系统的解。 

(XX^T+αI)a_k＝Xy_k

其中I是n×n单位矩阵。标准的高斯消元法用于解这个线性等式系统。当X大时，一些有效迭代算法如LSQR，用来直接解上面正则最小平方问题。 

SR内嵌：A＝[a₁，…，a_c-1]是n×(c-1)转移矩阵。样本可以嵌入到c-1维子空间 

x→z＝A^Tx 

将3D人脸样本从高维观测空间通过线性或非线性映射投影到一个低维特征空间，从而找出隐藏在高维观测数据中有意义的低维结构可以有效地压缩数据，降低存储量；消除不必要的噪声；用于识别的有效数据特征便于提取；把数据投影到一个低维空间，有利于实现高维数据的可视化。 

分类识别模块 

我们使用K最近邻分类方法对3D人脸数据进行分类识别。K最近邻(k-Nearest Neighbor，KNN)分类算法，是一个理论上比较成熟的方法，也是最简单的机器学习算法之一。该方法的思路是：如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本 中的大多数属于某一个类别，则该样本也属于这个类别。KNN算法中，所选择的邻居都是已经正确分类的对象。该方法在定类决策上只依据最邻近的一个或者几个样本的类别来决定待分样本所属的类别。KNN方法虽然从原理上也依赖于极限定理，但在类别决策时，只与极少量的相邻样本有关。由于KNN方法主要靠周围有限的邻近的样本，而不是靠判别类域的方法来确定所属类别的，因此对于类域的交叉或重叠较多的待分样本集来说，KNN方法较其他方法更为适合。 

参照图5，图5为本发明基于弯曲不变量相关特征的三维人脸识别方法实施例的步骤流程图。包括：图像预处理步骤510，自动提取三维人脸区域，包括人脸区域提取和三维人脸匹配的操作，获取预处理后的三维人脸；弯曲不变量的计算步骤511，计算所述预处理后的三维人脸的弯曲不变量；弯曲不变量相关特征提取步骤512，编码三维人脸表面相邻节点的弯曲不变量的局部特征，提取弯曲不变量相关特征；特征降维步骤513，对所述弯曲不变量的相关特征进行签名并采用谱回归进行降维，获得主成分；分类识别步骤514，基于主成分，运用K最近邻分类方法对三维人脸进行识别。 

上述于弯曲不变量相关特征的三维人脸识别方法与系统的原理相同，在此不再赘述，相关之处互相参照即可。 

以上对本发明所提供的一种基于弯曲不变量相关特征的三维人脸识别方法及系统进行详细介绍，本文中应用了具体实施例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。 

Claims (10)

1.一种基于弯曲不变量相关特征的三维人脸识别方法，其特征在于，包括如下步骤：

图像预处理步骤，自动提取三维人脸区域，包括人脸区域提取和三维人脸匹配的操作，获取预处理后的三维人脸；

弯曲不变量的计算步骤，计算所述预处理后的三维人脸的弯曲不变量；

弯曲不变量相关特征提取步骤，编码三维人脸表面相邻节点的弯曲不变量的局部特征，提取弯曲不变量相关特征；

特征降维步骤，对所述弯曲不变量的相关特征进行签名并采用谱回归进行降维，获得主成分；

分类识别步骤，基于所述主成分，运用K最近邻分类方法对三维人脸进行识别。

2.根据权利要求1所述的三维人脸识别方法，其特征在于，所述图像预处理步骤中，所述的人脸区域提取包括：

计算有效点矩阵的列和并从点云中估计一个垂直投影曲线；

定义投影曲线的左右拐点的两个侧阈值来删除对象肩膀上超过此阈值的数据；

通过阈值化深度值直方图进一步删除对应于对象胸部的数据点，去除了对应前脸信息后面的大深度值数据；

删除保留在区域中但与主要人脸区域不连接的异常点并且仅将最大的区域视为人脸区域。

3.根据权利要求2所述的三维人脸识别方法，其特征在于，所述图像预处理步骤中，所述三维人脸匹配包括：

点云协方差矩阵的正交特征矢量，v₁，v₂，v₃，作为点云的三个主轴，旋转点云使v₁，v₂，v₃分别平行于参考坐标系的Y，X和Z轴，鼻尖在参考坐标系上的位置作为参考坐标系的原点，通过旋转和平移将所有三维人脸数据进行粗匹配；

人脸信号用最近邻内插在球面等角网格上采样，通过计算所有训练人脸图像上每个网格点值构建平均人脸模型(AFM)，所有人脸信息通过ICP进一步与AFM对齐避免嘴和颌的影响；

通过最小化Z-buffer距离的全局最优技术进行精细对齐，它有效地重采样数据三角形上点独立性，并删除所有的人脸不相关信息。

4.根据权利要求3所述的三维人脸识别方法，其特征在于，

所述三维人脸弯曲不变量的计算步骤中，所述三维人脸弯曲不变量通过快速行进法计算三维人脸表面点的测地距离，再通过等距映射获得低维欧式空间R^m的距离作为三维表面点的弯曲不变量。

5.根据权利要求4所述的三维人脸识别方法，其特征在于，

所述三维人脸弯曲不变量相关特征提取步骤中，所述三维人脸弯曲不变量相关特征通过运用3D LBP编码三维人脸表面相邻节点的弯曲不变量局部特征获得。

6.一种基于弯曲不变量相关特征的三维人脸识别系统，其特征在于，包括：

图像预处理模块，用于自动提取三维人脸区域，包括人脸区域提取和三维人脸匹配的操作，获取预处理后的三维人脸；

弯曲不变量的计算模块，用于计算所述预处理后的三维人脸的弯曲不变量；

弯曲不变量相关特征提取模块，用于编码三维人脸表面相邻节点的弯曲不变量的局部特征，提取弯曲不变量相关特征；

特征降维模块，用于对所述弯曲不变量的相关特征进行签名并采用谱回归进行降维，获得主成分；

分类识别模块，用于基于主成分，运用K最近邻分类系统对三维人脸进行识别。

7.根据权利要求6所述的三维人脸识别系统，其特征在于，所述图像预处理模块中，包括用于实现人脸区域提取的子模块，包括：

用于计算有效点矩阵的列和并从点云中估计一个垂直投影曲线的单元；

用于定义投影曲线的左右拐点的两个侧阈值来删除对象肩膀上超过此阈值的数据的单元；

用于通过阈值化深度值直方图进一步删除对应于对象胸部的数据点，去除了对应前脸信息后面的大深度值数据单元；

用于删除保留在区域中但与主要人脸区域不连接的异常点并且仅将最大的区域视为人脸区域的单元。

8.根据权利要求7所述的三维人脸识别系统，其特征在于，所述图像预处理模块中，包括用于实现三维人脸匹配的子模块，包括：

用于点云协方差矩阵的正交特征矢量，v₁，v₂，v₃，作为点云的三个主轴，旋转点云使v₁，v₂，v₃分别平行于参考坐标系的Y，X和Z轴，鼻尖在参考坐标系上的位置作为参考坐标系的原点，通过旋转和平移将所有三维人脸数据进行粗匹配的单元；

用于人脸信号用最近邻内插在球面等角网格上采样，通过计算所有训练人脸图像上每个网格点值构建平均人脸模型AFM，所有人脸信息通过ICP进一步与AFM对齐避免嘴和颌的影响的单元；

用于通过最小化Z-buffer距离的全局最优技术进行精细对齐，它有效地重采样数据三角形上点独立性，并删除所有的人脸不相关信息的单元。

9.根据权利要求8所述的三维人脸识别系统，其特征在于，

所述弯曲不变量的计算模块中，所述三维人脸弯曲不变量通过快速行进法计算三维人脸表面点的测地距离，再通过等距映射获得低维欧式空间R^m的距离作为三维表面点的弯曲不变量。

10.根据权利要求9所述的三维人脸识别系统，其特征在于，

所述弯曲不变量相关特征提取模块中，所述三维人脸弯曲不变量相关特征通过运用3D LBP编码三维人脸表面相邻节点的弯曲不变量局部特征获得。

Images