CN105654035A - 三维人脸识别方法及应用其的数据处理装置 - Google Patents

Abstract

本发明公开了一种三维人脸识别方法及应用其的数据处理装置，本发明首先将邻域系统中两种互补的不确定性度量进行组合，定义了一种更加全面的特征集成不确定性度量，用于度量特征的重要性；然后提出了一种基于邻域组合测度的特征约简算法，用于选择与人脸识别密切相关的特征，得到最优的特征组合；最后将选择的特征作为支持向量机分类器的输入向量，得到三维人脸的识别结果。实验结果表明，基于粗糙集和SVM的三维人脸识别方法在保证识别精度的同时，大大降低了识别时间，对变化的人脸表情具有一定的鲁棒性，具有更强的泛化性能。

Description

三维人脸识别方法及应用其的数据处理装置

技术领域

本发明涉及数字图像处理和模式识别领域，具体涉及一种三维人脸识别方法及应用其的数据处理装置。

背景技术

人脸作为生物识别特征具有不会遗失、不易被复制、采集方便、唯一性、不被察觉等优点，正越来越受到人们的重视，已经进入了社会生活的各个领域。与视网膜、指纹、虹膜、语音、掌纹等其它人体生物特征识别系统相比，人脸识别系统以其方便、友好等特点，具有十分广泛应用前景，特别是在人脸识别门禁考勤系统、人脸识别ATM机智能视频报警系统、人脸识别公安罪犯追逃智能报警系统的身份识别、视频会议以及医学等方面的应用，已成为目前模式识别和基于内容检索领域的一个研究热点。

人脸识别已取得了丰富的成果，但现有大部分研究均集中于基于二维图像的人脸识别，而二维图像对光照、姿态、表情、年龄等的变化适应性较差。随着点云获取设备的逐步推广，越来越多的研究开始转向基于点云的三维人脸识别。三维人脸数据在信息量方面拥有更为丰富的形状信息，且三维数据的采集不受光照影响。但是三维人脸识别的劣势明显，高分辨率下的三维数据匹配需要消耗大量的计算时间，而且三维人脸更易受到表情变化的影响，识别精度还远未达到实用化程度。因此，需要新的三维人脸识别方法来消除表情变化的影响，提高识别精度，并尽量减少识别过程所需的匹配时间。

特征提取与选择是人脸识别的核心问题，是后续正确识别的基础。如何提取不同个体人脸之间存在较大差异而对同一个体人脸比较稳定的人脸特征一直是人脸识别中的核心问题。

全局特征和局部特征在现有的人脸识别中得到了广泛应用。其中基于全局特征的人脸识别算法主要利用人脸的整体特征进行描述，对于正常的人脸表情识别精度较高，但对于表情变化的人脸，识别精度并不理想。而基于局部特征的人脸识别算法主要通过对人脸细节的刻画来进行识别，对表情变化具有一定的鲁棒性，但由于缺少全局的结构信息，很难满足人脸识别的精度要求。理想的人脸描述特征应该只反映人的类别信息，对各种内外在变化不敏感。现有的人脸识别方法把人脸图像特征提取出来以后，没有较好的考虑人脸样本中特征之间的相互关系，即没有对人脸特征进行有效地选择，而是直接用提取出来的特征进行识别，导致特征维数较高，计算量较大，系统自然也较复杂，不仅耗时而且识别精度也不理想。

发明内容

有鉴于此，本发明提出一种三维人脸识别方法及应用其的数据处理装置，以解决现有识别算法效率低、识别精度不高的问题，并能较好地处理表情变化对人脸识别的影响。

第一方面，提供一种三维人脸识别方法，包括：

训练步骤，包括：

获取样本三维人体图像及对应的人脸分类，所述样本三维人体图像至少包括人的面部；

根据样本三维人体图像获取样本人脸点云；

根据所述样本人脸点云获取对应的高维特征描述子；

基于粗糙集约简方法对多个样本人脸点云的高维特征描述子进行降维获取样本人脸点云的低维特征描述子以及对应的特征约简方式，以使得所述低维特征描述子在增加任意一个维度的特征后获得的特征向量的特征重要性度量与低维特征描述子自身的特征重要性度量的差值小于预定阈值；其中，所述特征重要性度量为集合不确定性度量和知识不确定性度量的比值；以及，

基于所述样本人脸点云的低维特征描述子及对应的人脸分类训练SVM分类器获取预定数量的SVM子分类器；

以及，识别步骤，包括：

获取待识别三维人体图像，所述待识别三维人体图像至少包括人的面部；

根据待识别三维人体图像获取样本人脸点云

根据所述待识别人脸点云获取对应的高维特征描述子；

基于训练步骤获取的特征约简方式对所述待识别人脸点云的高维特征描述子进行降维获取待识别人脸点云的低维特征描述子；以及

根据所述待识别人脸点云的低维特征描述子和所有SVM子分类器进行测试，积累不同人脸分类的权重，以权重最高的人脸分类作为所述待识别三维人体图像的人脸分类。

优选地，基于粗糙集约简方法对多个样本人脸点云的高维特征描述子进行降维获取样本人脸点云的低维特征描述子以及对应的特征约简方式包括：

基于l个样本人脸点云以及对应的高维特征描述子构建知识表达系统I＝(U,C,D,δ)，其中，U＝{u₁,u₂,…,u_l}是l个样本人脸点云的集合，称为论域；C＝{a₁,a₂,…,a_K}是高维特征描述子的集合，K为高维特征描述子的维度；D是人脸分类的集合；δ(0≤δ≤1)为邻域阈值；

基于如下公式进行高维特征描述子的标准化：

$\hat{f}(u_i,a_k)=\frac{f(u_i,a_k)-\underset{1\≤i\≤l}{\min }\left(f\right(u_i,a_k))}{\underset{1\≤i\≤l}{\max }\left(f\right(u_i,a_k))-\underset{1\≤i\≤l}{\min }\left(f\right(u_i,a_k))}$

其中，f(u_i,a_k)表示人脸u_i在特征a_k上的取值；

每次向候选低维描述子中增加一个维度的特征，该特征是所有属于高维特征描述子不属于所述候选低维描述子的特征中使得新的候选低维特征描述子具有最大的特征重要性度量的特征，直至新的候选低维特征描述子的特征重要性度量与当前候选低维特征描述子的特征重要性度量的差值小于预定阈值，则输出当前候选低维特征描述子的约简方式并输出所有样本人脸点云的低维特征描述子；其中，特征重要性度量NCM_B(D)基于如下公式计算：

${\mathrm{NCM}}_B\left(D\right)=\frac{{\mathrm{Acapp}}_B^{\mathrm{\δ}}\left(D\right)}{NG\left(B\right)},$

其中， ${\mathrm{Acapp}}_B^{\mathrm{\δ}}\left(D\right)=\frac{\underset{D_i\∈U/D}{\mathrm{\Σ}}|{\underset{\‾}{N}}_B^{\mathrm{\δ}}\left(D_i\right)}{\underset{D_i\∈U/D}{\mathrm{\Σ}}|{\stackrel{\‾}{N}}_B^{\mathrm{\δ}}\left(D_i\right)},NG\left(B\right)=1-\frac{2}{l}(1-\underset{i=1}{\overset{l}{\mathrm{\Σ}}}{P}^2(u_i\left)\right)$

其中，|X|表示集合X中元素的个数， ${\underset{\‾}{N}}_B^{\mathrm{\δ}}\left(X\right)=\left\{u_i\right|u_i\∈U,N_B^{\mathrm{\δ}}\left(u_i\right)\⊆X\},N_B^{\mathrm{\δ}}\left(u_i\right)=\{u_j|u_i,u_j\∈U,D_B(u_i,u_j)\≤\mathrm{\δ}\};$

其中，D_B(u_i,u_j)表示对象u_i和u_j之间的距离：

$D_B(u_i,u_j)=\sqrt{\underset{k=1}{\overset{K}{\Σ}}{d}_{a_k}^2(u_i,u_j)},$ 其中，a_k∈C,1≤i,j≤l

其中f(u_i,a_k)＝*表示对象u_i在特征a_k上的值未知。

优选地，基于所述样本人脸点云的低维特征描述子及对应的人脸分类训练SVM分类器获取预定数量的SVM子分类器包括：

每次从所有e个人脸分类中选取两个类别的所有样本人脸点云的低维特征描述子训练一个SVM子分类器，直至获得个SVM子分类器。

优选地，根据样本三维人体图像获取样本人脸点云包括：

根据所述样本三维人体图像检测鼻尖位置；

获取与所述鼻尖位置距离在预定范围内的点作为未处理样本点云；以及

对所述未处理样本点云进行逸出点剔除、重采样以及孔洞填充获取所述样本人脸点云；

以及，根据待识别三维人体图像获取待识别人脸点云包括：

根据所述待识别三维人体图像检测鼻尖位置；

获取与所述鼻尖位置距离在预定范围内的点作为未处理待识别点云；

对所述未处理待识别点云进行逸出点剔除、重采样以及孔洞填充获取所述待识别人脸点云。

优选地，根据所述样本人脸点云获取对应的高维特征描述子包括：

提取所述样本人脸点云的ARS特征作为所述样本人脸点云的高维特征描述子；

以及，根据所述待识别人脸点云获取对应的高维特征描述子包括：

提取所述待识别人脸点云的ARS特征作为所述待识别人脸点云的高维特征描述子。

第二方面，提供一种数据处理装置，包括处理器，所述处理器适于执行如上所述的方法。

本发明通过提取人脸点云的高维特征描述子，尽量降低表情变化对人脸识别的不利影响；进而通过粗糙集约简算法得到最优的特征组合(也即，低维特征描述子)；最后，充分利用SVM在解决高维数小样本识别方面具有的独特优势，对三维人脸进行识别。本发明不仅提高了三维人脸识别算法的识别效率，还进一步提高了三维人脸识别方法的精度和鲁棒性。

附图说明

通过以下参照附图对本发明实施例的描述，本发明的上述以及其它目的、特征和优点将更为清楚，在附图中：

图1是本发明实施例的三维人脸识别方法的流程图；

图2是本发明实施例中基于三维人脸图像获取三维人脸点云的过程示意图；

图3a是本发明实施例中进行鼻尖检测的三维人脸图像示意图；

图3b是本发明实施例中进行鼻尖检测的原理示意图；

图4a是本发明实施例中提取人脸点云的ARS特征的示意图；

图4b是本发明实施例中提取的ARS特征向量的放大示意图；

具体实施方式

以下基于实施例对本发明进行描述，但是本发明并不仅仅限于这些实施例。在下文对本发明的细节描述中，详尽描述了一些特定的细节部分。对本领域技术人员来说没有这些细节部分的描述也可以完全理解本发明。为了避免混淆本发明的实质，公知的方法、过程、流程、元件和电路并没有详细叙述。

此外，本领域普通技术人员应当理解，在此提供的附图都是为了说明的目的，并且附图不一定是按比例绘制的。

除非上下文明确要求，否则整个说明书和权利要求书中的“包括”、“包含”等类似词语应当解释为包含的含义而不是排他或穷举的含义；也就是说，是“包括但不限于”的含义。

在本发明的描述中，需要理解的是，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。

图1是本发明实施例的三维人脸识别方法的流程图。

如图1所示，所述方法包括模型的训练和在线识别两个步骤。

训练步骤包括：

步骤100、获取样本三维人体图像及对应的人脸分类，所述样本三维人体图像至少包括人的面部。

步骤200、根据样本三维人体图像获取样本人脸点云。

步骤300、根据所述样本人脸点云获取对应的高维特征描述子。

步骤400、基于粗糙集约简方法对多个样本人脸点云的高维特征描述子进行降维获取样本人脸点云的低维特征描述子以及对应的特征约简方式，以使得所述低维特征描述子在增加任意一个维度的特征后获得的特征向量的特征重要性度量与低维特征描述子自身的特征重要性度量的差值小于预定阈值；其中，所述特征重要性度量为集合不确定性度量和知识不确定性度量的比值。

步骤500、基于所述样本人脸点云的低维特征描述子及对应的人脸分类训练SVM分类器获取预定数量的SVM子分类器。

所述识别步骤包括：

步骤600、获取待识别三维人体图像，所述待识别三维人体图像至少包括人的面部。

步骤700、根据待识别三维人体图像获取样本人脸点云。

步骤800、根据所述待识别人脸点云获取对应的高维特征描述子。

步骤900、基于训练步骤获取的特征约简方式对所述待识别人脸点云的高维特征描述子进行降维获取待识别人脸点云的低维特征描述子

步骤1000、根据所述待识别人脸点云的低维特征描述子和所有SVM子分类器进行测试，积累不同人脸分类的权重，以权重最高的人脸分类作为所述待识别三维人体图像的人脸分类。

对于步骤100和步骤600：

三维人体图像为具有深度信息的图像，图像文件中的点包括三维坐标信息以及对应的坐标点的灰度信息。在本实施例中，需要获取包括人的面部的三维人体图像以进行进一步处理获取人脸点云。在步骤S100中，可以采用各种现有的三维图像获取装置获取三维人体图像。

对于步骤200：图像预处理

在本步骤，对三维人体图像进行图像预处理以去除由于拍摄以及环境等原因造成的影响并获取仅包括人脸信息的样本三维人脸点云供后续处理使用。给定肩膀以上的三维头像作为输入，首先采用一个由粗到精的方法精确地检测出鼻尖，进而由鼻尖得到三维人脸点云。得到人脸点云后，还要对逸出点进行剔除，并通过重采样使得点云在xy平面上均匀分布，由于剔除逸出点和重采样会在新点云上带来一些孔洞，因此进一步采用立方插值法对孔洞进行填充，并采用中值滤波在xy平面上对点云的z值进行平滑去噪，从而得到高精度的三维人脸点云。不同步骤后获得的结果图像如图2所示。

在对本实施例的说明中，以人脸图像投影面积最大的面为xy平面，以与xy平面垂直的方向为z轴。

具体地，步骤S200包括：

步骤S210、对样本三维人体图像进行鼻尖检测，获取鼻尖位置。

如图2所示，初始的三维人体图像可以被准确地获取到鼻尖位置。

具体地，对于三维头像，采用一系列以d_v为间隔的水平面与头像相交，从而得到一系列的三维头像水平切片轮廓，如图3a所示。对每一个水平切片轮廓，对其进行均匀采样并填补相应的孔洞。在该轮廓线上以d_h为间隔选取一系列点并在每个点上放置一个圆，如图3b所示。将该圆与轮廓线的两个交点以及圆心连接起来得到一个三角形，并计算该三角形的高度h。将具有最大h的点作为该轮廓线上的候选鼻尖点，并以高度h作为该候选鼻尖点的置信度。理论上，所有水平切片轮廓上的候选鼻尖点均应位于鼻梁线上，然而实际中依然会有少量的候选鼻尖点与鼻梁线存在较大的距离。为获得更加精确的结果，本发明采用随机采样一致性(RANSAC)方法对候选鼻尖点进行筛选，并将经过筛选后具有最大置信度的点作为真正的鼻尖点。上述间隔d_v和d_h的取值直接关系到鼻尖检测的精度和效率。其取值越小，检测的精度越高，但消耗的时间也越多。为了获得较好的运算效率，首先采用较大的d_v和d_h值以检测到鼻尖点的初值，然后在该初值附近区域采用较小的d_v和d_h值继续进行鼻尖检测以获得较高的精度。

步骤S220、根据鼻尖位置，将到鼻尖距离小于脸部判定半径r_f的点从三维人体图像中提取，从而得到未处理样本点云。

优选地，对大量人脸的统计结果表明，r_f取值为80mm时能取得较好的性能。

步骤S230、剔除逸出点并对未处理点云进行重采样以使得点云均匀分布，再进一步采用立方插值法对由于剔除逸出点和重采样造成的孔洞进行填充，并利用中值滤波在xy平面上对点云的z值进行平滑去噪以获得样本人脸点云。

具体地，在本实施例中，对未处理点云进行重采样以使得在xy平面上的投影以1毫米的分辨率均匀分布。

优选地，在本实施例中，还对于待识别三维人脸点云基于如下方法对人脸姿态进行归一化，该方法记载于[MianA,BennamounM,OwensR.Anefficientmultimodal2D-3Dhybridapproachtoautomaticfacerecognition.IEEETransactionsonPatternAnalysisandMachineIntelligence.2007,29(11):1927–1943]。

计算待识别三维人脸点云P的均值和协方差C，也即：

$\stackrel{\‾}{p}=\frac{1}{N}\underset{i=1}{\overset{N}{\Σ}}{p}_i$

$C=\frac{1}{N}\underset{i=1}{\overset{N}{\Σ}}{p}_i{p_i}^T-\stackrel{\‾}{p}{\stackrel{\‾}{p}}^T$

进而对协方差矩阵C进行主成分分析(PCA)得到特征向量矩阵V和特征值矩阵E，也即：

CV＝VE

采用特征向量矩阵V将点云P旋转与其主轴对齐，从而可以实现姿态归一化，也即：

$\hat{P}=V(P-\stackrel{\‾}{p})$

为得到更加精细的姿态归一化结果，采用1毫米分辨率对旋转后的点云进行重采样，得到新的点云。然后对该点云重复进行上述姿态归一化操作，直到得到的矩阵V趋近于单位矩阵为止。采用1毫米进行重采样一方面有利于降低分辨率变化对姿态归一化的影响，另一方面也有利于提高后续特征匹配的性能。为便于描述，下文中继续采用P代表姿态归一化后的点云

类似地，步骤700中，对待识别三维人体图像进行类似的处理已获得高精度的待识别人脸点云。具体地，步骤700包括：

步骤710、根据所述待识别三维人体图像检测鼻尖位置。

步骤720、获取与所述鼻尖位置距离在预定范围内的点作为未处理待识别点云。

步骤730、对所述未处理待识别点云进行逸出点剔除、重采样以及孔洞填充获取所述待识别人脸点云。

对于步骤300和步骤800：高维特征描述子提取

在步骤300和步骤800中，可以根据各种现有的人脸点云描述方法来获取人脸点云的高维特征描述子。

优选地，给定样本和待识别的三维人体数据中检测出的人脸点云后，可以采用文献[YinjieLei,MohammedBennamoun,MunawarHayat,YulanGuo.Anefficient3Dfacerecognitionapproachusinglocalgeometricalsignatures.PatternRecognition.47(2):509-524,2014]提出的ARS特征实现对人脸区域形状的有效描述。在一个优选的实施方式中，可以通过上述方法在180度范围内的17个方向上的提取获得340维ARS特征向量作为样本人脸点云或待识别人脸点云的高维特征描述子，其示意图和在一个方向上提取的特征的放大示意图如图4a和图4b所示。

对于步骤400：特征约简

在本发明实施例中，采用粗糙集约简方法对高维特征描述子进行约简，获取最优的特征组合方式来作为低维特征描述子。

在一个优选实施方式中，提取到340维ARS特征描述子后，为了减少特征维数和降低计算复杂度，使特征描述子更加紧凑，采用粗糙集约简算法对高维特征描述子中的特征组合进行选择。

具体地，步骤400可以包括：

步骤410、基于l个样本人脸点云以及对应的高维特征描述子构建知识表达系统I＝(U,C,D,δ)，其中，U＝{u₁,u₂,…,u_l}是l个样本人脸点云的集合，称为论域；C＝{a₁,a₂,…,a_K}是高维特征描述子的集合，K为高维特征描述子的维度；D是人脸分类的集合；δ(0≤δ≤1)为邻域阈值。

步骤420、基于如下公式进行高维特征描述子的标准化：

$\hat{f}(u_i,a_k)=\frac{f(u_i,a_k)-\underset{1\≤i\≤l}{\min }\left(f\right(u_i,a_k))}{\underset{1\≤i\≤l}{\max }\left(f\right(u_i,a_k))-\underset{1\≤i\≤l}{\min }\left(f\right(u_i,a_k))}$

其中，f(u_i,a_k)表示人脸u_i在特征a_k上的取值。

步骤430、每次向候选低维描述子中增加一个维度的特征，该特征为所有属于高维特征描述子不属于所述候选低维描述子的特征中使得新的候选低维特征描述子具有最大的特征重要性度量，直至新的候选低维特征描述子的特征重要性度量与当前候选低维特征描述子的特征重要性度量的差值小于预定阈值则输出当前候选低维特征描述子的约简方式并输出所有样本人脸点云的低维特征描述子；其中，特征重要性度量NCM_B(D)基于如下公式计算：

${\mathrm{NCM}}_B\left(D\right)=\frac{{\mathrm{Acapp}}_B^{\mathrm{\δ}}\left(D\right)}{NG\left(B\right)},$

其中， ${\mathrm{Acapp}}_B^{\mathrm{\δ}}\left(D\right)=\frac{\underset{D_i\∈U/D}{\mathrm{\Σ}}|{\underset{\‾}{N}}_B^{\mathrm{\δ}}\left(D_i\right)}{\underset{D_i\∈U/D}{\mathrm{\Σ}}|{\stackrel{\‾}{N}}_B^{\mathrm{\δ}}\left(D_i\right)},NG\left(B\right)=1-\frac{2}{l}(1-\underset{i=1}{\overset{l}{\mathrm{\Σ}}}{P}^2(u_i\left)\right)$

其中，|X|表示集合X中元素的个数， ${\underset{\‾}{N}}_B^{\mathrm{\δ}}\left(X\right)=\left\{u_i\right|u_i\∈U,N_B^{\mathrm{\δ}}\left(u_i\right)\⊆X\},N_B^{\mathrm{\δ}}\left(u_i\right)=\{u_j|u_i,u_j\∈U,D_B(u_i,u_j)\≤\mathrm{\δ}\};$

其中，D_B(u_i,u_j)表示对象u_i和u_j之间的距离：

$D_B(u_i,u_j)=\sqrt{\underset{k=1}{\overset{K}{\Σ}}{d}_{a_k}^2(u_i,u_j)},$ 其中，a_k∈C,1≤i,j≤l

其中f(u_i,a_k)＝*表示对象u_i在特征a_k上的值未知。

具体地，在经典粗糙集理论中，不确定性分为知识不确定性和集合不确定性，两者分别通过考虑特征对论域中不确定分类子集和确定分类子集的影响来衡量特征的重要性，具有较强的互补性。考虑到现有的粗糙集约简算法中特征重要性度量仅仅考虑了不确定性的一个方面，不能很好地度量特征重要性，因此本发明提出了一种新的特征重要性度量函数—邻域组合测度。下面给出相关定义。

定义1.给定知识表达系统I＝(U,C,D,δ)，则B的δ邻域关系为：

NR_δ(B)＝{(u_i,u_j)∈U×U|D_B(u_i,u_j)≤δ}

式中D_B(u_i,u_j)表示对象u_i和u_j之间的距离，即距离度量函数。下文中用U/NR_δ(B)表示U上基于B的邻域分类。

考虑到实际数据集的复杂性，即特征值可能同时存在数值型特征和符号型特征，也可能存在缺失特征值，将距离函数定义如下：

$D_B(u_i,u_j)=\sqrt{\underset{k=1}{\overset{340}{\Σ}}{d}_{a_k}^2(u_i,u_j)}$

其中，a_k∈C,1≤i,j≤l,

其中f(u_i,a_k)＝*表示对象u_i在特征a_k上的值未知，即由该数据集组成的系统是不完备信息系统。考虑到实际应用中，由于对数据理解、数据测量或数据获取等方面的限制，使得获取到的人脸识别特征通常存在缺失值，即是不完备的，此时，则可以利用距离函数D_B(u_i,u_j)进行处理具有缺失值的三维人脸数据。

.定义2.给定知识表达系统I＝(U,C,D,δ)，对于则u_i在B上的δ邻域为：

$N_B^{\mathrm{\δ}}\left(u_i\right)=\left\{u_j\right|u_i,u_j\∈U,D_B(u_i,u_j)\≤\mathrm{\δ}\}$

定义3.给定知识表达系统I＝(U,C,D,δ),则X关于B的δ上近似和下近似定义为：

${\underset{\‾}{N}}_B^{\mathrm{\δ}}\left(X\right)=\left\{u_i\right|u_i\∈U,N_B^{\mathrm{\δ}}\left(u_i\right)\⊆X\}$

定义4.给定知识表达系统I＝(U,C,D,δ),类标签D对于论域U的划分为U/D相对于B的邻域近似精度为：

${\mathrm{Acapp}}_B^{\mathrm{\δ}}\left(D\right)=\frac{\underset{D_i\∈U/D}{\mathrm{\Σ}}\left|{\underset{\‾}{N}}_B^{\mathrm{\δ}}\left(D_i\right)\right|}{\underset{D_i\∈U/D}{\mathrm{\Σ}}\left|{\stackrel{\‾}{N}}_B^{\mathrm{\δ}}\left(D_i\right)\right|}$

其中，|X|表示集合X中元素的个数。

邻域近似精度刻画了邻域系统有效知识的完备程度，是一种集合不确定性度量，值越大，表明系统包含有效知识的比例就越大，则系统分类能力越强。

定义5.给定知识表达系统I＝(U,C,D,δ)，为u_i关于B的δ邻域，u_i∈U。则B的邻域粒度测度定义为：

$NG\left(B\right)=1-\frac{2}{l}(1-\underset{i=1}{\overset{l}{\Σ}}{P}^2\left(u_i\right))$

其中，0≤P(u_i)≤1，表示对象u_i的δ邻域内对象数目与论域内对象数目的比值。邻域粒度测度NG(B)反映了特征B的分类能力，是一种知识不确定性度量，NG(B)值越小，特征的区分能力就越好。

由定义4和定义5可知，邻域近似精度刻画了粗糙集边界域的大小，而邻域粒度测度则度量了知识对论域划分粒度的大小。下面将知识不确定性度量和集合不确定性度量组合，定义新的邻域组合测度如下：

定义6.给定知识表达系统I＝(U,C,D,δ)，为x关于B的δ邻域，决策特征D＝{d}，d的值域为V_D＝{d₁,d₂,…,d_l}，U＝{x₁,x₂,…,x_|U|}。则B的邻域组合测度定义为：

${\mathrm{NCM}}_B\left(D\right)=\frac{{\mathrm{Acapp}}_B^{\mathrm{\δ}}\left(D\right)}{NG\left(B\right)}$

由定义6可知，邻域组合测度同时考虑了集合的不确定性和知识的不确定性，相比于现有文献中单一的不确定性测度，包含的信息量更丰富，是一种更加全面的集成不确定性度量。由上述公式可知，邻域关系下的邻域组合测度不仅适用于不完备信息系统，而且对于包含符号型和数值型数据的混合信息系统也适用。因此，邻域组合测度的适用性更为广泛。

性质1.给定知识表达系统I＝(U,C,D,δ)，a∈C-B，有NCM_B(D)≤NCM_B∪{a}(D)。

性质1表明邻域组合测度的大小随着条件特征集B中元素个数的增加而单调增加，这个性质可用于构建基于前向添加搜索策略的约简算法。下面利用邻域组合测度分别给出特征重要性度量和特征约简的定义。

定义8.给定知识表达系统I＝(U,C,D,δ)，和a_k∈C-B,则特征a_k在I中相对于B的重要性定义为：

$Sig(a_k,B,D)={\mathrm{NCM}}_{B\∪\left\{a_k\right\}}\left(D\right)-{\mathrm{NCM}}_B\left(D\right)$

由定义7及定义8可知，Sig(a_k,B,D)表示增加特征a_k后对于条件特征集B重要性的提高程度，Sig(a_k,B,D)越大，则a_k对B越重要。

定义9.给定知识表达系统I＝(U,C,D,δ)，若满足：

(1)NCM_B(D)＝NCM_C(D),

(2)对于 $\&ForAll;a_k\&Element;B,$ 都有 ${\mathrm{NCM}}_{B-\left\{a_k\right\}}\left(D\right)<{\mathrm{NCM}}_C\left(D\right).$

则称B为条件特征C在知识表达系统中相对于类标签D的基于邻域组合测度的约简。

定义9给出了基于邻域组合测度约简的定义。其中，条件(1)保证了约简后的知识表达系统与原知识表达系统具有相同的信息量；条件(2)保证了所得的约简是最紧凑的。由定义9可知，基于邻域组合测度约简算法的目标就是寻找和原知识表达系统具有相同邻域组合测度的最小条件特征集。

根据邻域组合测度的单调性原理，以基于邻域组合测度的特征重要度为启发信息，步骤430中特征约简方法步骤如下：

步骤430的输入：邻域决策信息系统I＝(U,C,D,δ)，邻域半径δ。

步骤430的输出：低维度描述子Red。

步骤431、初始化：NCM_Red(D)＝0。

步骤432、计算条件特征集C的邻域组合测度NCM_C(D)。

步骤433、如果NCM_Red(D)≠NCM_C(D)执行：

A.对于 $\&ForAll;a\&Element;C-\mathrm{Re}d,$ 计算 ${\mathrm{NCM}}_{\mathrm{Re}d\&cup;\left\{a_k\right\}}\left(D\right);$

B.计算Sig(a,Red,D)；

C.选择最大特征重要度对应的特征a_k作为约简特征，如果同时存在多个特征a_k满足要求，则选择满足条件的第一个特征；

D.Red＝Red∪{a_k}；

E.计算邻域组合测度NCM_Red(D)；

F.如果Sig(a_k,Red,D)＜ctrl_k，ctrl_k为误差参数，则转至434，否则转至A；

步骤434、输出Red。

考虑到计算过程中的误差，在约简算法中我们引入了预定阈值ctrl_k，当NCM的增量值小于ctrl_k时，则认为NCM不再增长,即找到了最终约简，也即找到了最优的低维度描述子获取方式。

对于步骤900：在训练步骤得到了对高维度描述子进行约简的方式后，按照训练步骤获取的约简方式来对待识别人脸点云的高维特征描述子进行降维，以获取对应的低维特征描述子。

对于步骤500：训练SVM分类器

具体地，步骤500中，每次从所有e个人脸分类中选取两个类别的所有样本人脸点云的低维特征描述子训练一个SVM子分类器，直至获得个SVM子分类器。由此，由个SVM子分类器构成所述的SVM分类器。

假定有e个人，采集了l幅样本三维人脸图像，令D＝{1,2,…,e}，训练样本为(x_i,y_a)，其中y_a∈D，i＝{1,2,…,l},，x_i为约简后的第i个三维人脸低维度特征描述子Red。在步骤500中，在e个人中分别选取2个不同类别构成一个SVM子分类器，这样共有个SVM子分类器。例如，在构造类别w∈i和类别q∈i的SVM子分类器时，样本数据集选取属于类别w、类别q的样本数据作为训练样本数据，并将属于类别w的数据标记为正，将属于类别q的数据标记为负。由此，可以获得对人脸点云的低维特征描述子进行匹配分类的SVM分类器。

在识别步骤中的步骤1000，测试数据对个SVM子分类器分别进行测试，并累积各类别的得分，选择得分最高者所对应的类别为测试数据的类别。

基于本发明的方法采用三维人脸识别领域应用最广泛的人脸识别大挑战(FRGC)数据集进行了测试实验。该数据集采用MinoltaVivid900/910三维扫描仪获得，共采集了466个18岁以上的男性和女性个体的4950幅肩部以上正面头部点云。该数据集共包含一个训练数据集(即FRGCv1数据集)和一个验证数据集(即FRGCv2数据集)，其中训练数据集FRGCv1共包含943幅三维人脸点云，验证数据集FRGCv2包含4007幅三维人脸点云。验证数据集中有2410幅人脸点云为自然表情下获得的人脸点云，剩余1597幅点云为在厌恶、高兴、悲伤、惊喜以及愤怒等非自然表情下获得的人脸点云。此外，这些点云中存在噪声、逸出点以及孔洞的干扰，且部分人脸点云中还存在头发等遮挡。实验中，我们从每个个体的人脸中选取5幅作为训练数据，将剩余的用作测试数据集。如果数据中个体的人脸数据不足5幅的，则随机选择一幅用作测试，其余用作训练。

实验环境为Windows7系统，Intel处理器2.6GHz,8GB内存，算法采用Matlab2014a实现。在同样的实验设置前提下将本发明与其他方法进行比较，这些方法包括:PCA(PrincipleComponentAnalysis主成分分析)，KPCA(KernelPrincipalComponentAnalysis核主成分分析)。实验中的参数设置：δ＝0.14，ctrl_k＝0.001。随机选择测试和训练样本重复20次，对每次分类精度取平均值，得到结果如表1所示，其中Non表示直接用340维特征进行识别，不进行特征选择，RS表示粗糙集(RoughSet)方法，PCA和KPCA约简后的特征描述子的能量是原有特征描述子能量的95％。

从表1可以看出，对于包含40％的非自然表情人脸的数据库，本专利提出的三维人脸识别方法，相比于现有方法，得到了较高的识别率。通过有效删除冗余特征，大大降低了识别算法的时间，并提高了人脸的识别精度。实验结果表明，基于粗糙集和SVM的三维人脸识别方法具有高效性，对表情变化具有一定的鲁棒性。

表1

识别方法	特征个数	耗时	识别率
				Non+SVM	340	11.2ms	96.02％
PCA+SVM	298	9.5ms	96.85％
				KPCA+SVM	305	9.3ms	97.00％
RS+SVM	158	6.0ms	97.01％

本发明的三维人脸识别方法首先将邻域系统中两种互补的不确定性度量进行组合，定义了一种更加全面的特征集成不确定性度量，用于度量特征的重要性；然后提出了一种基于邻域组合测度的特征约简算法，用于选择与人脸识别密切相关的特征，得到最优的特征组合；最后将选择的特征作为支持向量机分类器的输入向量，得到三维人脸的识别结果。实验结果表明，基于粗糙集和SVM的三维人脸识别方法在保证识别精度的同时，大大降低了识别时间，对变化的人脸表情具有一定的鲁棒性，具有更强的泛化性能。

上述的方法和装置可以被应用于数据处理系统，由其处理器执行。此具体实施方式中描述的数据结构和代码通常存储在计算机可读存储介质上，其可以是能够存储供计算机系统使用的代码和/或数据的任何设备或介质。计算机可读存储介质包括但不限于易失性存储器、非易失性存储器、磁性和光学存储设备，例如磁盘驱动器、磁带、CD(光盘)、DVD(数字多功能光盘或数字视频光盘)、或现在已知或以后开发的能够存储代码和/或数据的其他介质。

可以将具体实施方式部分描述的方法和过程具体化为代码和/或数据，该代码和/或数据可存储在如上所述的计算机可读存储介质中。当计算机系统读取并执行计算机可读存储介质上存储的代码和/或数据时，计算机系统执行具体化为数据结构和代码并存储于计算机可读存储介质内的方法和过程。

此外，可以将本文描述的方法和过程包括在硬件模块或装置中。这些模块或装置可以包括但不限于专用集成电路(ASIC)芯片、现场可编程门阵列(FPGA)、在特定时间执行特定软件模块或一段代码的专用或共享处理器和/或其他现在已知或以后开发的可编程逻辑设备。当激活硬件模块或装置时，它们执行包括在其中的方法和过程。

以上所述仅为本发明的优选实施例，并不用于限制本发明，对于本领域技术人员而言，本发明可以有各种改动和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种三维人脸识别方法，包括：

训练步骤，包括：

获取样本三维人体图像及对应的人脸分类，所述样本三维人体图像至少包括人的面部；

根据样本三维人体图像获取样本人脸点云；

根据所述样本人脸点云获取对应的高维特征描述子；

基于粗糙集约简方法对多个样本人脸点云的高维特征描述子进行降维获取样本人脸点云的低维特征描述子以及对应的特征约简方式，以使得所述低维特征描述子在增加任意一个维度的特征后获得的特征向量的特征重要性度量与低维特征描述子自身的特征重要性度量的差值小于预定阈值；其中，所述特征重要性度量为集合不确定性度量和知识不确定性度量的比值；以及，

基于所述样本人脸点云的低维特征描述子及对应的人脸分类训练SVM分类器获取预定数量的SVM子分类器；

以及，识别步骤，包括：

获取待识别三维人体图像，所述待识别三维人体图像至少包括人的面部；

根据待识别三维人体图像获取样本人脸点云

根据所述待识别人脸点云获取对应的高维特征描述子；

基于训练步骤获取的特征约简方式对所述待识别人脸点云的高维特征描述子进行降维获取待识别人脸点云的低维特征描述子；以及

根据所述待识别人脸点云的低维特征描述子和所有SVM子分类器进行测试，积累不同人脸分类的权重，以权重最高的人脸分类作为所述待识别三维人体图像的人脸分类。

2.根据权利要求1所述的三维人脸识别方法，其特征在于，基于粗糙集约简方法对多个样本人脸点云的高维特征描述子进行降维获取样本人脸点云的低维特征描述子以及对应的特征约简方式包括：

基于l个样本人脸点云以及对应的高维特征描述子构建知识表达系统I＝(U,C,D,δ)，其中，U＝{u₁,u₂,…,u_l}是l个样本人脸点云的集合，称为论域；C＝{a₁,a₂,…,a_K}是高维特征描述子的集合，K为高维特征描述子的维度；D是人脸分类的集合；δ(0≤δ≤1)为邻域阈值；

基于如下公式进行高维特征描述子的标准化：

$\hat{f}(u_i,a_k)=\frac{f(u_i,a_k)-\underset{1\&le;i\&le;l}{min}\left(f\right(u_i,a_k\left)\right)}{\underset{1\&le;i\&le;l}{\max }\left(f\right(u_i,a_k\left)\right)\underset{1\&le;i\&le;l}{min}\left(f\right(u_i,a_k\left)\right)}$

其中，f(u_i,a_k)表示人脸u_i在特征a_k上的取值；

每次向候选低维描述子中增加一个维度的特征，该特征是所有属于高维特征描述子不属于所述候选低维描述子的特征中使得新的候选低维特征描述子具有最大的特征重要性度量的特征，直至新的候选低维特征描述子的特征重要性度量与当前候选低维特征描述子的特征重要性度量的差值小于预定阈值，则输出当前候选低维特征描述子的约简方式并输出所有样本人脸点云的低维特征描述子；其中，特征重要性度量NCM_B(D)基于如下公式计算：

${\mathrm{NCM}}_B\left(D\right)=\frac{{\mathrm{Acapp}}_B^{\mathrm{\&delta;}}\left(D\right)}{NG\left(B\right)},$

其中， ${\mathrm{Acapp}}_B^{\mathrm{\&delta;}}\left(D\right)=\frac{\underset{D_i\&Element;U/D}{\mathrm{\&Sigma;}}|{\underset{\&OverBar;}{N}}_B^{\mathrm{\&delta;}}\left(D_i\right)}{\underset{D_i\&Element;U/D}{\mathrm{\&Sigma;}}|{\stackrel{\&OverBar;}{N}}_B^{\mathrm{\&delta;}}\left(D_i\right)},NG\left(B\right)=1-\frac{2}{l}(1-\underset{i=1}{\overset{l}{\mathrm{\&Sigma;}}}{P}^2(u_i\left)\right)$

其中，|X|表示集合X中元素的个数， ${\underset{\&OverBar;}{N}}_B^{\mathrm{\&delta;}}\left(X\right)=\left\{u_i\right|u_i\&Element;U,N_B^{\mathrm{\&delta;}}\left(u_i\right)\&SubsetEqual;X\},N_B^{\mathrm{\&delta;}}\left(u_i\right)=\{u_j|u_i,u_j\&Element;U,D_B(u_i,u_j)\&le;\mathrm{\&delta;}\};$

其中，D_B(u_i,u_j)表示对象u_i和u_j之间的距离：

$D_B(u_i,u_j)=\sqrt{\underset{k=1}{\overset{K}{\&Sigma;}}{d}_{a_k}^2(u_i,u_j)},$ 其中，a_k∈C,1≤i,j≤l

其中f(u_i,a_k)＝*表示对象u_i在特征a_k上的值未知。

3.根据权利要求1所述的三维人脸识别方法，其特征在于，基于所述样本人脸点云的低维特征描述子及对应的人脸分类训练SVM分类器获取预定数量的SVM子分类器包括：

每次从所有e个人脸分类中选取两个类别的所有样本人脸点云的低维特征描述子训练一个SVM子分类器，直至获得个SVM子分类器。

4.根据权利要求1所述的三维人脸识别方法，其特征在于，根据样本三维人体图像获取样本人脸点云包括：

根据所述样本三维人体图像检测鼻尖位置；

获取与所述鼻尖位置距离在预定范围内的点作为未处理样本点云；

以及

对所述未处理样本点云进行逸出点剔除、重采样以及孔洞填充获取所述样本人脸点云；

以及，根据待识别三维人体图像获取待识别人脸点云包括：

根据所述待识别三维人体图像检测鼻尖位置；

获取与所述鼻尖位置距离在预定范围内的点作为未处理待识别点云；

对所述未处理待识别点云进行逸出点剔除、重采样以及孔洞填充获取所述待识别人脸点云。

5.根据权利要求1所述的三维人脸识别方法，其特征在于，根据所述样本人脸点云获取对应的高维特征描述子包括：

提取所述样本人脸点云的ARS特征作为所述样本人脸点云的高维特征描述子；

以及，根据所述待识别人脸点云获取对应的高维特征描述子包括：

提取所述待识别人脸点云的ARS特征作为所述待识别人脸点云的高维特征描述子。

6.一种数据处理装置，包括处理器，所述处理器适于执行如权利要求1-5中任一项所述的方法。