CN109902621A - 一种三维人脸识别方法、装置、计算机设备及存储介质 - Google Patents

Abstract

本发明适用于计算机技术领域，提供了一种三维人脸识别方法、装置、计算机设备及存储介质，该方法包括：获取待识别的三维人脸图像；对三维人脸图像进行预处理，得到待识别的三维人脸区域；根据预设的划分算法，将待识别的三维人脸区域划分为多个可重叠的待比较区域；根据每个待比较区域与预存的三维人脸模版区域的比较结果和预设的多数投票策略，确定三维人脸识别结果。本发明方法不需要依赖面部特征点进行准确定位，也不需要对人脸的表情可变和不可变区域进行准确划分，提高了人脸识别过程中对于表情变化和遮挡的鲁棒性，并且提高了人脸识别的准确度和效率。

Description

一种三维人脸识别方法、装置、计算机设备及存储介质

技术领域

本发明属于计算机技术领域，尤其涉及一种三维人脸识别方法、装置、计算机设备及存储介质。

背景技术

人脸识别在公安刑侦、国家安全、市场金融等诸多领域具有广泛的应用前景。然而，鉴于三维人脸本身的可形变特性以及易受不同表情变化的影响，发展对表情鲁棒的人脸识别算法一直都是三维人脸识别领域的研究热点和难点问题。

目前，表情鲁棒的三维人脸识别方法主要分为统计模型方法、同等形变模型方法和基于区域的方法。统计模型方法即通过构建统计模型对表情变化引起的面部软组织形变关系进行刻画。算法的精度和鲁棒程度受训练统计模型所采用的三维人脸库的表情变化多样性、数据质量等的影响。同等形变模型方法即将表情变化引起的三维人脸形变转化为等距形变问题建模，将表情变化近似为等距形变，用等距形变特征近似表情变化特征。同等形变的方法通过弱化表情变化引起的三维形变达到表情鲁棒，然而，同等形变一定程度上也弱化了人脸原有三维结构。由于表情变化呈现局部性，相较上述整体类方法，基于区域类方法表现出更多的灵活性和稳定性。基于区域的表情不变三维人脸识别方法即结合人脸表情的分布特点，将人脸区域划分为表情易变和表情不变区域，然后分别针对表情不变和表情易变区域设计不同的相似度匹配策略。传统基于区域类方法，依据关键特征点位置进行人脸区域划分。此类方法将表情不变区域和表情易变区域分开处理，对表情变化具有较强的适应性，但是前提是表情不变和表情易变区域的划分要准确，否则将直接影响此类方法的整体准确度。

由此可见，现有技术对于区域划分精准度的依赖性较强，并且没有充分利用整个人脸区域，从而导致人脸识别的准确度和识别率不高。

发明内容

本发明实施例提供一种三维人脸识别方法，旨在解决现有技术对于区域划分精准度的依赖性较强，并且没有充分利用整个人脸区域，从而导致人脸识别的准确度和识别率不高的问题。

本发明实施例是这样实现的，一种三维人脸识别方法，包括如下步骤：

获取待识别的三维人脸图像；

对所述三维人脸图像进行预处理，得到待识别的三维人脸区域；

根据预设的划分算法，将所述待识别的三维人脸区域划分为多个可重叠的待比较区域；

根据每个所述待比较区域与预存的三维人脸模版区域的比较结果和预设的多数投票策略，确定三维人脸识别结果。

本发明实施例还提供一种三维人脸识别装置，包括：

三维人脸图像获取单元，用于获取待识别的三维人脸信息；

预处理单元，用于对所述三维人脸图像进行预处理，得到待识别的三维人脸区域；

划分单元，用于根据预设的划分算法，将所述待识别的三维人脸区域划分为多个可重叠的待比较区域；以及

三维人脸识别结果确定单元，用于根据每个所述待比较区域与预存的三维人脸模版区域的比较结果和预设的多数投票策略，确定三维人脸识别结果。

本发明实施例还提供一种计算机设备，其特征在于，包括存储器和处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行上述的三维人脸识别方法的步骤。

本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行上述的三维人脸识别方法的步骤。

本发明实施例提供的三维人脸识别方法，通过对获取到的待识别的三维人脸图像进行预处理，得到精准可靠的待识别的三维人脸区域，提高了后续人脸识别的准确度和效率；并且根据预设的划分算法，将待识别的三维人脸区域划分为多个可重叠的待比较区域，该划分方法不需要依赖面部特征点进行准确定位，也不需要对人脸的表情可变和不可变区域进行准确划分，对于识别过程中的面部表情变化和遮挡情况具有较好的鲁棒性，有效地解决了现有技术中区域划分精准度的依赖性较强，并且没有充分利用整个人脸区域，从而导致人脸识别的准确度和识别率不高的问题；同时，采用多数投票策略对每个待比较区域与预存的三维人脸模板区域的比较结果进行融合处理，进一步提高了三维人脸的识别效率和准确度。

附图说明

图1是本发明实施例一提供的三维人脸识别方法的实现流程图；

图2是本发明实施例二提供的三维人脸识别方法的实现流程图；

图3是本发明实施例三提供的三维人脸识别方法的实现流程图；

图4是本发明实施例四提供的三维人脸识别方法的实现流程图；

图5是本发明实施例提供的将三维人脸区域划分为多个可重叠的待比较区域的划分方式示意图；

图6是本发明实施例五提供的三维人脸识别方法的实现流程图；

图7和图8为本发明实验例在FixFAR下各个模版区域识别性能和对应阈值曲线；

图9是本发明实验例示出的对划分出来的多个可重叠待比较区域的多区域融合性能曲线；

图10是采用本发明方法在FRGC v2.0上的CMC曲线；

图11是本发明实施例提供的三维人脸识别装置的结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

本发明实施例提供的三维人脸识别方法，通过预设的算法将待识别的三维人脸区域划分为多个可重叠的待比较区域，并且基于预设的多数投票策略综合每个待比较区域与预存的三维人脸模版区域的比较结果，不需要依赖面部特征点进行准确定位，也不需要对人脸的表情可变和不可变区域进行准确划分，提高了人脸识别过程中对于表情变化和遮挡的鲁棒性，并且提高了人脸识别的准确度和效率。

图1是本发明实施例一示出的一种三维人脸识别方法的实现流程图，如图1所示，该三维人脸识别方法包括步骤：

在步骤S101中，获取待识别的三维人脸图像。

在本示例性实施例中，可以通过扫描仪、摄像头等设备扫描或拍摄获取待识别对象的正面的三维人脸图像。

在步骤S102中，对三维人脸图像进行预处理，得到待识别的三维人脸区域。

在本示例性实施例中，人脸识别主要是针对人脸区域，为了获得较为可靠的人脸区域，对上述步骤S101中获取到的待识别的人脸图像进行预处理，得到较为精准的待识别的三维人脸区域。

在步骤S103中，根据预设的划分算法，将待识别的三维人脸区域划分为多个可重叠的待比较区域。

传统的基于区域划分的表情鲁棒三维人脸识别方法很难将表情不变区域与表情易变区域准确划分。其主要有两方面原因，一、人脸区域的划分通常依赖面部特征点的准确定位，而三维人脸特征点的定位又是一个尚未完全解决的问题；二、对于不同对象的三维人脸，很难严格界定表情不变和表情易变区域。而本示例性实施例为了解决上述技术问题，根据预设的划分算法，将上述步骤S102中预处理后得到的待识别三维人脸区域划分为多个可重叠的待比较区域。

在步骤S104中，根据每个待比较区域与预存的三维人脸模版区域的比较结果和预设的多数投票策略，确定三维人脸识别结果。

本发明实施例提供的三维人脸识别方法，通过对获取到的待识别的三维人脸图像进行预处理，得到精准可靠的待识别的三维人脸区域，提高了后续人脸识别的准确度和效率；并且根据预设的划分算法，将待识别的三维人脸区域划分为多个可重叠的待比较区域，该划分方法不需要依赖面部特征点进行准确定位，也不需要对人脸的表情可变和不可变区域进行准确划分，对于识别过程中的面部表情变化和遮挡情况具有较好的鲁棒性，有效地解决了现有技术中区域划分精准度的依赖性较强，并且没有充分利用整个人脸区域，从而导致人脸识别的准确度和识别率不高的问题；同时，采用多数投票策略对每个待比较区域与预存的三维人脸模板区域的比较结果进行融合处理，进一步提高了三维人脸的识别效率和准确度。

图2是本发明实施例二示出的三维人脸识别方法的实现流程图，如图2所示，本示例性实施例与上述实施例一基本相同，其不同之处仅在于：上述步骤S102具体包括步骤S201和步骤S202。

在步骤S201中，根据鼻尖点自动检测算法，对三维人脸图像进行剪切，得到剪切后的三维人脸区域。

根据采集对象与三维扫描仪或者摄像装置(如摄像头)之间的位置关系，将距离扫描仪或者摄像装置最近的点即人脸上最高的点视为鼻尖点。假设鼻尖点的坐标为(x₀,y₀,z₀)，采用基于曲率的鼻尖点自动检测方法，以鼻尖点为中心，计算任意点计算任意点(x,y,z)与鼻尖点的测地线距离d，在实际应用中，可预先设定需要保留或丢弃的距离值大小，例如，从鼻尖点为中心，任意点距离该鼻尖点的距离为100mm的区域为剪切保留区域，超出该距离范围的区域则丢弃。具体而言，若d≤100mm则保留该点到人脸区域，若d>100mm则丢弃该点，依次剪切出整个人脸区域，即得到剪切后的三维人脸区域。本示例性实施例利用测地线距离剪切得到的人脸区域既包括尽可能多的人脸特征的坐标信息，同时又包括较少的背景信息，使得待识别的人脸区域更加精准，提高了后续的人脸识别的准确性和识别效率。

在步骤S202中，对剪切后的三维人脸区域进行校正处理，得到待识别的三维人脸区域。

为了提高后续的人脸识别准确性和识别效率，对剪切后的三维人脸区域进行校正处理，得到更加精准的待识别的三维人脸区域。

图3本发明实施例三示出的三维人脸识别方法的实现流程图，如图2所示，本示例性实施例与上述实施例二基本相同，其不同之处仅在于：上述步骤S202具体包括：步骤S301、步骤S302和步骤S303。

在步骤S301中，根据预存的三维人脸参考模型，对剪切后的三维人脸区域进行姿态矫正，得到矫正后的三维人脸区域。

为使所有人脸数据能够在相同坐标系下进行比对，本发明借助北京工业大学三维人脸数据库中已对齐的中性三维人脸参考模型的平均人脸进行姿态矫正。具体的，将所有已注册存档的三维人脸和待识别的三维人脸与该参考模型通过最近点迭代法进行姿态矫正。经过矫正处理后的三维人脸区域可以提高后续进行人脸特征提取和识别对比为准确率。

需要说明的是，最近点迭代法为现有的算法，具体的算法流程可以参考现有技术，在此不做赘述。

在步骤S302中，根据对称填补算法，对矫正后的三维人脸区域进行缺失数据的填补，得到填补后的三维人脸区域。

由于姿态、遮挡或三维扫描仪计算错误等原因，姿态矫正后的三维人脸区域可能存在部分数据缺失的情况。例如，待识别对象一只眼睛睁开，另一只眼睛被手或者其他物体遮挡住了，从而导致扫描到的人脸图像就缺少了一只眼睛的特征点坐标数据。为了提高识别的准确率，本示例性实施例采用现有的对称填补算法，对缺失的部分人脸数据进行填补，即假设人脸是对称的，根据对称填补算法将被遮挡住的另外一只眼睛的特征点坐标填补上，以得到一个未被遮挡的三维人脸区域。

在步骤S303中，基于语义对齐，对填补后的三维人脸区域与预存的三维人脸参考模型进行稠密对齐，得到稠密对齐后的待识别的三维人脸区域。

为了确保填补后的三维人脸区域与前面所述的三维人脸参考模型以及已注册存档的三维人脸之间具有严密的语义对应关系，便于后续的识别比对，本示例性实施例采用基于ICP(Iterative Closest Point)的公开代码包--非刚性对齐方法将上述填补后的三维人脸区域、已注册存档的三维人脸以及三维人脸参考模型进行稠密对齐，稠密对齐后的所有三维人脸具有相同的特征点数、相同的拓扑结构，并且各特征点之间存在语义上的一一对应关系。由于鼻尖点一般不收表情影响和遮挡的影响，所以此对齐方法只需要初始对齐点(鼻尖点)，对人脸模型其他部分区域存在遮挡等鲁棒。

图4是本发明实施例四示出的一种三维人脸识别方法的实现流程图，如图4所示，本示例性实施例与上述实施例一基本相同，其不同之处仅在于：上述步骤S103具体包括步骤S401。

在步骤S401中，根据预设的划分算法，将待识别的三维人脸区域划分为包含有易受表情影响的区域和/或不易受表情影响的区域的多个可重叠的待比较区域。

人脸主要包括眼睛、额头、鼻子、嘴巴、脸颊等区域，不同区域受表情影响程度不同，如通常认为额头、鼻子受表情影响较小，但额头易受帽子、头发等遮挡的影响；眼睛区域易受表情或眼镜遮挡的影响；嘴巴和脸颊受表情影响最大。

在本示例性实施例中，基于语义对齐的多区域人脸划分方法，对上述经过预处理后得到的待识别的三维人脸区域进行划分，得到如图5所示的多个可重叠的待比较区域。

其中，语义对齐，设Q为待对齐模型，T为参考模型，则Q＝(V，E)，其中V是顶点，共n个，E表示边，X_i表示每个顶点的变换矩阵，则所有顶点的变换矩阵可表示为X＝[X₁,X₂,...,X_n]^T，然后分别最小化数据、平滑、以及关键点损失函数。

以图5中的模版9和10为例，对本发明中的可重叠的待比较区域进行详细说明，如图5中的模版9和10所示，模版9的白色区域部分表示包含有人脸眼部特征点坐标的区域，黑色部分为不包含任何人脸特征点数据的区域，而模版10的白色部分则表示包含有人脸眼睛以及眼睛周围和鼻子的特征点坐标的区域，黑色部分同样为不包含任何人脸特征点数据的区域，则模版9和模版10中重叠的部分是人脸的眼睛部分的坐标点数据，因此，称模版9和模版10为可重叠的待比较区域。

作为本发明的一个优选实施例，上述步骤S401具体为：根据预设的划分算法，将待识别的三维人脸区域划分为包含有易受表情影响的区域和/或不易受表情影响的区域的24个可重叠的待比较区域。

本发明经过大量的算法验证，将待识别的三维人脸区域划分为24个可重叠的待比较区域的识别准确率和效率最高，模板数太多影响计算效率，模板数太少影响识别准确率。

图6是本发明实施例五示出的一种三维人脸识别方法的实现流程图，如图6所示，本示例性实施例与上述实施例一基本相同，其不同之处仅在于：上述步骤S104具体包括步骤S501。

在步骤S501中，基于预设的决策融合策略，对每个待比较区域与预存的三维模板区域的相似度比较结果进行结果融合，确定三维人脸识别结果。

受表情、遮挡等因素的影响，即使经过语义对齐的三维人脸模型，也无法避免由于局部形变导致的同一对象(类内)的相似度差异大于不同对象(类间)间的相似度的问题。为了减小局部区域形变严重进而影响整体区域相似度计算的问题，并且考虑到一般局部区域的区分度也小，即使融合多个局部区域对整张人脸识别能力依然有限，所以本发明采用基于易受表情影响区域特性，将待识别的三维人脸区域划分为多个不含表情影响的模版区域，再分别进行匹配，即基于多模版区域的投票策略。依据易受表情影响区域设计的多表情影响区域去除的模版，既有效避免了以往依赖特征点的区域划分问题，同时也得到了多个相对可靠的区域分类器。同时，考虑到不同对象受表情影响区域不同，不同表情影响人脸区域亦不同，本发明提出了将人脸按照易受表情影响区域划分为多个不同的模版区域，对于某一对象的某种表情，显然，受表情影响小的同一对象区域之间具有较大的相似度，而部分受表情影响较大的区域则倾向具有较小的相似度；最终的投票结果由多数相似度较大区域投票得到最终识别结果，即受表情影响较小区域决定，因此，该多区域模版融合方法不但对表情遮挡有一定的鲁棒性，同时对区域划分具有很强的容忍性。

区域相似度就是将待测试三维人脸于注册库中三维人脸之间进行相似度比较，相似度值最大的最相似。本文共使用24个区域模版，针对每个模版区域内的三维人脸信息，都独立进行相似度计算，为了保证算法整体的运行速度以及避免损失三维人脸结构信息，本文定义人脸区域语义对应坐标点的欧式距离平方和作为两人脸区域的相似度值，即

其中，p(x_j,y_j,z_j)为待测试人脸区域中某点，g(x_i,y_i,z_i)为注册库中人脸区域中其语义对应点。相似度值越大，表示两区域越相似。当相似度值大于一定阈值时，即判定为同一人脸。

假设所有测试样本都必将属于注册库中某一样本的闭集人脸数据库。作为人脸识别性能常用指标之一，本文统计当FAR(False Acceptance Rate，FAR＝0.1％即允许千分之一误识率的条件下)为定值，每个区域的真实样本通过率TAR(Truth Acceptance Rate)来确定每个区域的相似度阈值(详见下述实验例)。

本发明实施例采用决策融合策略，按照多数投票机制对多模版分类器投票结果进行融合。主要基于以下两方面考虑：一、根据人脸特性将人脸划分为不同的区域，每个区域之间是相互独立的，因此，分类结果也应该相互独立；其次，当人脸受表情、遮挡等因素影响比较严重时，受影响严重的这些区域必然具有较小的相似度，而受影响较小的人脸区域仍然可以得到较高的相似度，每个区域分别单独投票的好处是少数受影响区域的投票结果并不影响其它不受影响的区域获得准确的分类。

设区域相似度用S_i表示，其对应相似度阈值用T_i表示，则每个区域的投票结果表示为：

然后，所有模版区域投票数总和N与一个总体阈值T_v(0≤T_v≤24)进行比较，当投票总数大于阈值T_v时，即认为匹配成功，否则，匹配失败。公式表示为：

例如，假设将待识别的三维人脸区域划分为如图5所示的24个可重叠的待比较区域，已经注册存档的三维人脸数量为10个人，每个已注册的三维人脸也划分为每人24个如图5所示的可重叠的待比较区域，在识别过程中，只需要对待识别的三维人脸区域的各个待比较区域与已注册的三维人脸的对应区域的模版进行一一比对，计算其相似度即可，例如已注册有10个人，那么分割后将有240个模版，假设要计算待识别的人脸中的模版1已注册人脸的模版1的相似度，那么就将待识别的人脸划分出来的模版1逐一与已注册的人脸划分出来的240个模版1进行比对，最终根据计算240个相似度，将相似度最高的已注册人脸的模版1确定为待识别的三维人脸区域的模版1。

可以理解的是，对于待识别的三维人脸与预存的三维人脸模版区域的其他部位的比较以此类推。

最后，对所有的待比较区域的投票结果进行融合，得到最终的三维人脸识别结果。

为了进一步说明本发明技术方案的技术效果，以下通过具体的实验例做进一步的说明：

1、数据库及实验设置：为了测试提出方法的有效性，分别在FRGC v2.0和Bosphorus两个三维人脸数据库上对提出算法进行评估。

FRGC v2.0三维人脸数据库：包含不同表情(六种表情变化)、姿态、年龄共466人的4007个三维人脸模型。

Bosphorus数据库：含有姿态、表情、遮挡变化的105人，共4666个三维人脸模型。每人包括13种不同姿态、除中性表情以外的6种不同表情以及4种不同程度的遮挡。

实验中所有用到三维人脸模型首先按照第一部分介绍的预处理过程鼻尖点检测、切割人脸区域、姿态矫正、数据填补以及稠密对齐。

为了便于与其它方法进行比较，本文报告rank1识别率，即在识别测试过程中，第一次命中(最相似人脸即为正确人脸)正确人脸的概率之和。

2、阈值确定：衡量人脸识别算法性能常用的指标是EER(Equal Error Rate)即当FAR(False Acceptance Rate)与FRR(False Rejection Rate)相等。EER越小，说明识别算法性能越好、越稳定。本文共有T_i(i＝1,2,3,…,24)和T_v共25个阈值需要确定。

以FRGC v2.0数据库为例，图7和图8分别给出了测试集在不同模版区域达到的EER，以及EER最小时所对应阈值T_i，以及达到的EER。EER常用于衡量一个算法的稳定性情况，EER越小则算法稳定性越好。从图7不难看出模版6性能最差(对应最大的EER值)，模版18性能最好(对应最小EER值)。这是由于：模版6包括了人脸的嘴巴和脸颊区域，而嘴巴和脸颊是受表情影响最大区域，而模版18则包含人脸的额头和鼻子区域，这部分是受表情影响较小区域。分析其它区域也不难发现，一般模版区域较小，达到的EER也较小，如区域13，14，22，23，24即使是受表情变化较小的鼻子区域，这也是本文预定义有重叠多区域模版的合理之处；而包含脸颊或嘴巴区域的，一般达到的EER都相对较大，如区域6，8，21等。

图9列出了当T_v取mask2的阈值即T_v＝4时，多区域投票融合算法的FAR与FRR相等，即性能最稳定。即投票数至少大于等于4票时，可认为识别成功。

3、FRGC v2.0数据库实验结果：

注册集包含466人的第一个中性表情三维人脸数据，其余3541(包括中性表情1984个中性表情，1557个非中性表情)个人脸数据组成该实验的测试集。

为了便于与当前最新的基于区域类方法，以及基于同等形变类方法如3DWW，Curvature-based，等方法进行比较，本发明仅示出本发明方法的rank1识别率，即在识别测试过程中，第一次命中(最相似人脸即为正确人脸)正确人脸的概率之和。

图10展示了本文方法在FRGC v2.0上的CMC(Cumulative Match Characteristic)曲线，达到了98.69％的rank1识别率。下表1列出了其它几种对比方法分别在FRGC2.0数据库上含具有表情变化的三维人脸识别库上分别达到的rank1识别率。不难看出，同等条件下，不管是基于同等形变的方法，例如，3DWW,Curvature-based，还是基于不重叠多区域方法，本文方法取得了最高的人脸识别率。原因是基于同等形变方法将人脸表情的变化通过等距变化来刻画，对于非刚性区域，显然表情引起的三维形变不是等距的，因此，很难得到满意的效果；对于其它基于区域的方法，本发明方法不依赖特征点定位进行区域分割，同时，本文采用多数投票机制对区域划分体现了较强的容忍度和鲁棒性。

表1

4、Bosphorus数据库上实验结果：

为了更进一步验证本文方法对遮挡因素的有效性，本文还选择在包含遮挡变化的Bosphorus三维人脸数据库上对提出方法进行验证。注册集包含105人的一个中性表情三维人脸数据，其余每人4个含有遮挡(分别为手、头发和眼镜遮挡)的三维人脸数据组成该实验的测试集。

对于三维人脸模型存在遮挡的问题，通常的处理是首先检测出人脸遮挡区域，然后再利用其他先验模型重建出遮挡区域人脸。如Parama et.al，首先将三维人脸转换为二维深度图，在深度图上通过检测最亮的点及阈值范围内的连通区域法检测遮挡区域，然后对遮挡区域使用PCA对遮挡区域进行重建。而Suranjan et.al则将遮挡人脸与平均人脸对齐，对齐后的人脸区域如果大于某以固定阈值就被认为是遮挡区域并丢弃，然后采用切线PCA以及Gaussion模型相结合对遮挡区域进行重建。这两个对比方法在检测遮挡人脸区域时，都需要实现确定阈值，阈值的大小直接影响检测遮挡区域的多少，而且，固定的阈值也很难适应实际应用种的各种遮挡情况，缺乏灵活性。本文提出方法不需要检测遮挡区域，而是通过预定于多模版区域共同投票，最后选择多区域数投票统计法决定最终的识别结果。类似表情情况，不难发现：模版中受遮挡影响严重的区域必然具有较小的相似度，而受遮挡影响较小的区域则具有较高的相似度，多数投票机制使得受遮挡影响较小区域也被考虑进去，从而提出方法对遮挡也表现出一定的鲁棒性。

表2示出了Bosphorus数据库不同遮挡情况下不同方法达到rank 1识别率

从上表2的结果中可以看出，本文取得84.36％的Rank1识别率，比之前最好方法Suranjan et.al提高了5.67％。再次证明了提出方法对遮挡因素也具有很强的鲁棒性，而且本文方法不需要对遮挡区域检测和重建，表现出良好的灵活性。

本发明提出的三维人脸识别方法，针对表情对三维人脸模型的影响而导致人脸识别算法性能下降的问题，本发明提出基于语义对齐的多区域融合的表情鲁棒三维人脸识别方法。借助一个参考模型实现所有三维人脸模型的预处理及模型之间的语义对齐，然后依据表情对人脸影响，设计多个独立的有重叠的人脸区域，在每个模版区域内分别计算区域相似度并投票，最后，采用多数投票法决定最终的识别结果。在FRGC v2.0和Bosphorus两个三维人脸数据库上的实验结果表明，本发明方法不但对表情变化鲁棒，对遮挡也有很好的鲁棒性。

图11示出了本发明实施例提供的一种三维人脸识别装置的结构示意图，为了便于说明，图中仅示出了与本实施例相关的部分，如图11所示，本发明实施例还提供的三维人脸识别装置，包括：三维人脸图像获取单元100、预处理单元200、划分单元300以及三维人脸识别结果确定单元400。

三维人脸图像获取单元100，用于获取待识别的三维人脸图像。

在本示例性实施例中，三维人脸图像获取单元100可为摄像头或者三维扫描仪等设备，通过扫描仪、摄像头等设备扫描或拍摄获取待识别对象的正面的三维人脸图像。

预处理单元200，用于对所述三维人脸图像进行预处理，得到待识别的三维人脸区域。

在本示例性实施例中，人脸识别主要是针对人脸区域，为了获得较为可靠的人脸区域，对上述三维人脸图像获取单元100获取到的待识别的人脸图像进行预处理，得到较为精准的待识别的三维人脸区域。

划分单元300，用于根据预设的划分算法，将所述待识别的三维人脸区域划分为多个可重叠的待比较区域。

传统的基于区域划分的表情鲁棒三维人脸识别方法很难将表情不变区域与表情易变区域准确划分。其主要有两方面原因，一、人脸区域的划分通常依赖面部特征点的准确定位，而三维人脸特征点的定位又是一个尚未完全解决的问题；二、对于不同对象的三维人脸，很难严格界定表情不变和表情易变区域。而本示例性实施例为了解决上述技术问题，根据预设的划分算法，将上述预处理单元200预处理后得到的待识别三维人脸区域划分为多个可重叠的待比较区域。

三维人脸识别结果确定单元400，用于根据每个所述待比较区域与预存的三维人脸模版区域的比较结果和预设的多数投票策略，确定三维人脸识别结果。

本发明实施例提供的三维人脸识别装置，通过预处理单元对获取到的待识别的三维人脸图像进行预处理，得到精准可靠的待识别的三维人脸区域，提高了后续人脸识别的准确度和效率；并且划分单元根据预设的划分算法，将待识别的三维人脸区域划分为多个可重叠的待比较区域，该划分方法不需要依赖面部特征点进行准确定位，也不需要对人脸的表情可变和不可变区域进行准确划分，对于识别过程中的面部表情变化和遮挡情况具有较好的鲁棒性，有效地解决了现有技术中区域划分精准度的依赖性较强，并且没有充分利用整个人脸区域，从而导致人脸识别的准确度和识别率不高的问题；同时，采用多数投票策略对每个待比较区域与预存的三维人脸模板区域的比较结果进行融合处理，进一步提高了三维人脸的识别效率和准确度。

作为本发明的优选实施例，上述预处理单元200具体包括剪切模块和校正模块。

剪切模块，用于根据鼻尖点自动检测算法，对三维人脸图像进行剪切，得到剪切后的三维人脸区域。

根据采集对象与三维扫描仪或者摄像装置(如摄像头)之间的位置关系，将距离扫描仪或者摄像装置最近的点即人脸上最高的点视为鼻尖点。假设鼻尖点的坐标为(x₀,y₀,z₀)，采用基于曲率的鼻尖点自动检测方法，以鼻尖点为中心，计算任意点计算任意点(x,y,z)与鼻尖点的测地线距离d，在实际应用中，可预先设定需要保留或丢弃的距离值大小，例如，从鼻尖点为中心，任意点距离该鼻尖点的距离为100mm的区域为剪切保留区域，超出该距离范围的区域则丢弃。具体而言，若d≤100mm则保留该点到人脸区域，若d>100mm则丢弃该点，依次剪切出整个人脸区域，即得到剪切后的三维人脸区域。本示例性实施例利用测地线距离剪切得到的人脸区域既包括尽可能多的人脸特征的坐标信息，同时又包括较少的背景信息，使得待识别的人脸区域更加精准，提高了后续的人脸识别的准确性和识别效率。

校正模块，用于对剪切后的三维人脸区域进行校正处理，得到待识别的三维人脸区域。

为了提高后续的人脸识别准确性和识别效率，对剪切后的三维人脸区域进行校正处理，得到更加精准的待识别的三维人脸区域。

更为优选的，上述校正模块还包括矫正模块、填补模块以及语义对齐模块。

矫正模块，用于根据预存的三维人脸参考模型，对剪切后的三维人脸区域进行姿态矫正，得到矫正后的三维人脸区域。

为使所有人脸数据能够在相同坐标系下进行比对，本发明借助北京工业大学三维人脸数据库中已对齐的中性三维人脸参考模型的平均人脸进行姿态矫正。具体的，将所有已注册存档的三维人脸和待识别的三维人脸与该参考模型通过最近点迭代法进行姿态矫正。经过矫正处理后的三维人脸区域可以提高后续进行人脸特征提取和识别对比为准确率。

需要说明的是，最近点迭代法为现有的算法，具体的算法流程可以参考现有技术，在此不做赘述。

填补模块，用于根据对称填补算法，对矫正后的三维人脸区域进行缺失数据的填补，得到填补后的三维人脸区域。

由于姿态、遮挡或三维扫描仪计算错误等原因，姿态矫正后的三维人脸区域可能存在部分数据缺失的情况。例如，待识别对象一只眼睛睁开，另一只眼睛被手或者其他物体遮挡住了，从而导致扫描到的人脸图像就缺少了一只眼睛的特征点坐标数据。为了提高识别的准确率，本示例性实施例采用现有的对称填补算法，对缺失的部分人脸数据进行填补，即假设人脸是对称的，根据对称填补算法将被遮挡住的另外一只眼睛的特征点坐标填补上，以得到一个未被遮挡的三维人脸区域。

语义对齐模块，用于基于语义对齐，对填补后的三维人脸区域与预存的三维人脸参考模型进行稠密对齐，得到稠密对齐后的待识别的三维人脸区域。

为了确保填补后的三维人脸区域与前面所述的三维人脸参考模型以及已注册存档的三维人脸之间具有严密的语义对应关系，便于后续的识别比对，本示例性实施例采用基于ICP(Iterative Closest Point)的公开代码包--非刚性对齐方法将上述填补后的三维人脸区域、已注册存档的三维人脸以及三维人脸参考模型进行稠密对齐，稠密对齐后的所有三维人脸具有相同的特征点数、相同的拓扑结构，并且各特征点之间存在语义上的一一对应关系。由于鼻尖点一般不收表情影响和遮挡的影响，所以此对齐方法只需要初始对齐点(鼻尖点)，对人脸模型其他部分区域存在遮挡等鲁棒。

作为本发明的实施例，上述划分单元300具体用于：根据预设的划分算法，将待识别的三维人脸区域划分为包含有易受表情影响的区域和/或不易受表情影响的区域的多个可重叠的待比较区域。

人脸主要包括眼睛、额头、鼻子、嘴巴、脸颊等区域，不同区域受表情影响程度不同，如通常认为额头、鼻子受表情影响较小，但额头易受帽子、头发等遮挡的影响；眼睛区域易受表情或眼镜遮挡的影响；嘴巴和脸颊受表情影响最大。

在本示例性实施例中，基于语义对齐的多区域人脸划分方法，对上述经过预处理后得到的待识别的三维人脸区域进行划分，得到如图5所示的多个可重叠的待比较区域。

其中，语义对齐，设Q为待对齐模型，T为参考模型，则Q＝(V，E)，其中V是顶点，共n个，E表示边，X_i表示每个顶点的变换矩阵，则所有顶点的变换矩阵可表示为X＝[X₁,X₂,...,X_n]^T，然后分别最小化数据、平滑、以及关键点损失函数。

以图5中的模版9和10为例，对本发明中的可重叠的待比较区域进行详细说明，如图5中的模版9和10所示，模版9的白色区域部分表示包含有人脸眼部特征点坐标的区域，黑色部分为不包含任何人脸特征点数据的区域，而模版10的白色部分则表示包含有人脸眼睛以及眼睛周围和鼻子的特征点坐标的区域，黑色部分同样为不包含任何人脸特征点数据的区域，则模版9和模版10中重叠的部分是人脸的眼睛部分的坐标点数据，因此，称模版9和模版10为可重叠的待比较区域。

作为本发明的一个优选实施例，上述划分单元还用于：根据预设的划分算法，将待识别的三维人脸区域划分为包含有易受表情影响的区域和/或不易受表情影响的区域的24个可重叠的待比较区域。

本发明经过大量的算法验证，将待识别的三维人脸区域划分为24个可重叠的待比较区域的识别准确率和效率最高，模板数太多影响计算效率，模板数太少影响识别准确率。

作为本发明的实施例，上述，三维人脸识别结果确定单元400具体用于：基于预设的决策融合策略，对每个待比较区域与预存的三维模板区域的相似度比较结果进行结果融合，确定三维人脸识别结果。

受表情、遮挡等因素的影响，即使经过语义对齐的三维人脸模型，也无法避免由于局部形变导致的同一对象(类内)的相似度差异大于不同对象(类间)间的相似度的问题。为了减小局部区域形变严重进而影响整体区域相似度计算的问题，并且考虑到一般局部区域的区分度也小，即使融合多个局部区域对整张人脸识别能力依然有限，所以本发明采用基于易受表情影响区域特性，将待识别的三维人脸区域划分为多个不含表情影响的模版区域，再分别进行匹配，即基于多模版区域的投票策略。依据易受表情影响区域设计的多表情影响区域去除的模版，既有效避免了以往依赖特征点的区域划分问题，同时也得到了多个相对可靠的区域分类器。同时，考虑到不同对象受表情影响区域不同，不同表情影响人脸区域亦不同，本发明提出了将人脸按照易受表情影响区域划分为多个不同的模版区域，对于某一对象的某种表情，显然，受表情影响小的同一对象区域之间具有较大的相似度，而部分受表情影响较大的区域则倾向具有较小的相似度；最终的投票结果由多数相似度较大区域投票得到最终识别结果，即受表情影响较小区域决定，因此，该多区域模版融合方法不但对表情遮挡有一定的鲁棒性，同时对区域划分具有很强的容忍性。

区域相似度就是将待测试三维人脸于注册库中三维人脸之间进行相似度比较，相似度值最大的最相似。本文共使用24个区域模版，针对每个模版区域内的三维人脸信息，都独立进行相似度计算，为了保证算法整体的运行速度以及避免损失三维人脸结构信息，本文定义人脸区域语义对应坐标点的欧式距离平方和作为两人脸区域的相似度值，即

其中，p(x_j,y_j,z_j)为待测试人脸区域中某点，g(x_i,y_i,z_i)为注册库中人脸区域中其语义对应点。相似度值越大，表示两区域越相似。当相似度值大于一定阈值时，即判定为同一人脸。

假设所有测试样本都必将属于注册库中某一样本的闭集人脸数据库。作为人脸识别性能常用指标之一，本文统计当FAR(False Acceptance Rate，FAR＝0.1％即允许千分之一误识率的条件下)为定值，每个区域的真实样本通过率TAR(Truth Acceptance Rate)来确定每个区域的相似度阈值(详见下述实验例)。

本发明实施例采用决策融合策略，按照多数投票机制对多模版分类器投票结果进行融合。主要基于以下两方面考虑：一、根据人脸特性将人脸划分为不同的区域，每个区域之间是相互独立的，因此，分类结果也应该相互独立；其次，当人脸受表情、遮挡等因素影响比较严重时，受影响严重的这些区域必然具有较小的相似度，而受影响较小的人脸区域仍然可以得到较高的相似度，每个区域分别单独投票的好处是少数受影响区域的投票结果并不影响其它不受影响的区域获得准确的分类。

设区域相似度用S_i表示，其对应相似度阈值用T_i表示，则每个区域的投票结果表示为：

然后，所有模版区域投票数总和N与一个总体阈值T_v(0≤T_v≤24)进行比较，当投票总数大于阈值T_v时，即认为匹配成功，否则，匹配失败。公式表示为：

例如，假设将待识别的三维人脸区域划分为如图5所示的24个可重叠的待比较区域，已经注册存档的三维人脸数量为10个人，每个已注册的三维人脸也划分为每人24个如图5所示的可重叠的待比较区域，在识别过程中，只需要对待识别的三维人脸区域的各个待比较区域与已注册的三维人脸的对应区域的模版进行一一比对，计算其相似度即可，例如已注册有10个人，那么分割后将有240个模版，假设要计算待识别的人脸中的模版1已注册人脸的模版1的相似度，那么就将待识别的人脸划分出来的模版1逐一与已注册的人脸划分出来的240个模版1进行比对，最终根据计算240个相似度，将相似度最高的已注册人脸的模版1确定为待识别的三维人脸区域的模版1。

可以理解的是，对于待识别的三维人脸与预存的三维人脸模版区域的其他部位的比较以此类推。

最后，对所有的待比较区域的投票结果进行融合，得到最终的三维人脸识别结果。

本发明实施例还提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行上述实施例所述的三维人脸识别方法的各步骤。

本发明实施例还提供了一种计算机可读存储介质，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述动三维人脸识别方法的各步骤。

示例性的，计算机程序可以被分割成一个或多个模块，一个或者多个模块被存储在存储器中，并由处理器执行，以完成本发明。一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述计算机程序在计算机装置中的执行过程。例如，所述计算机程序可以被分割成上述各个方法实施例提供的三维人脸识别方法的步骤在计算机装置中执行。

本领域技术人员可以理解，上述计算机装置的描述仅仅是示例，并不构成对计算机装置的限定，可以包括比上述描述更多或更少的部件，或者组合某些部件，或者不同的部件，例如可以包括输入输出设备、网络接入设备、总线等。

所称处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述计算机装置的控制中心，利用各种接口和线路连接整个用户终端的各个部分。

所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述计算机装置的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

所述计算机装置集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种三维人脸识别方法，其特征在于，包括如下步骤：

获取待识别的三维人脸图像；

对所述三维人脸图像进行预处理，得到待识别的三维人脸区域；

根据预设的划分算法，将所述待识别的三维人脸区域划分为多个可重叠的待比较区域；

根据每个所述待比较区域与预存的三维人脸模版区域的比较结果和预设的多数投票策略，确定三维人脸识别结果。

2.如权利要求1所述的三维人脸识别方法，其特征在于，所述对所述三维人脸图像进行预处理，得到待识别的三维人脸区域的步骤，具体包括：

根据鼻尖点自动检测算法，对所述三维人脸图像进行剪切，得到剪切后的三维人脸区域；

对所述剪切后的三维人脸区域进行校正处理，得到待识别的三维人脸区域。

3.如权利要求2所述的三维人脸识别方法，其特征在于，所述对所述剪切后的三维人脸区域进行校正处理，得到待识别的三维人脸区域的步骤，具体包括：

根据预存的三维人脸参考模型，对所述剪切后的三维人脸区域进行姿态矫正，得到矫正后的三维人脸区域；

根据对称填补算法，对所述矫正后的三维人脸区域进行缺失数据的填补，得到填补后的三维人脸区域；

基于语义对齐，对所述填补后的三维人脸区域与所述预存的三维人脸参考模型进行稠密对齐，得到稠密对齐后的待识别的三维人脸区域。

4.如权利要求1所述的三维人脸识别方法，其特征在于，所述根据预设的划分算法，将所述待识别的三维人脸区域划分为多个可重叠的待比较区域的步骤，具体包括：

根据预设的划分算法，将所述待识别的三维人脸区域划分为包含有易受表情影响的区域和/或不易受表情影响的区域的多个可重叠的待比较区域。

5.如权利要求4所述的三维人脸识别方法，其特征在于，所述根据预设的划分算法，将所述待识别的三维人脸区域划分为包含有易受表情影响的区域和/或不易受表情影响的区域的多个可重叠的待比较区域的步骤，具体包括：

根据预设的划分算法，将所述待识别的三维人脸区域划分为包含有易受表情影响的区域和/或不易受表情影响的区域的24个可重叠的待比较区域。

6.如权利要求1所述的三维人脸识别方法，其特征在于，所述根据每个所述待比较区域与预存的三维人脸模版区域的比较结果和预设的多数投票策略，确定三维人脸识别结果的步骤，具体包括：

基于预设的决策融合策略，对每个所述待比较区域与预存的三维模板区域的相似度比较结果进行结果融合，确定三维人脸识别结果。

7.一种三维人脸识别装置，其特征在于，包括：

三维人脸图像获取单元，用于获取待识别的三维人脸图像；

预处理单元，用于对所述三维人脸图像进行预处理，得到待识别的三维人脸区域；

划分单元，用于根据预设的划分算法，将所述待识别的三维人脸区域划分为多个可重叠的待比较区域；以及三维人脸识别结果确定单元，用于根据每个所述待比较区域与预存的三维人脸模版区域的比较结果和预设的多数投票策略，确定三维人脸识别结果。

8.如权利要求7所述的三维人脸识别装置，其特征在于，所述划分单元具体用于：根据预设的划分算法，将所述待识别的三维人脸区域划分为包含有易受表情影响的区域和/或不易受表情影响的区域的多个可重叠的待比较区域。

9.一种计算机设备，其特征在于，包括存储器和处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行权利要求1至6中任一项权利要求所述的三维人脸识别方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行权利要求1至6中任一项权利要求所述的三维人脸识别方法的步骤。