CN104112115A - 一种三维人脸检测与识别技术 - Google Patents

Abstract

本发明公开了一种三维人脸检测与识别技术，其主要技术流程首先三维人脸检测数据获取，通过结构光或立体视觉等3D成像技术采集得到，其次，进行三维人脸切割，数据的预处理，包括人脸的检测，切割，去噪等。然后对三维人脸进行姿态校正，数据的特征提取。最后三维人脸识别，构建适合的分类器对人脸数据进行判别。3D人脸识别研究最早可以追溯到上世纪的90年初但是由于各种因素的制约，比如说计算机的计算水平限制，3D采集设备的不成熟等。相关的研究没有得到很大的突破。近十几年来，随着计算机技术以及3D成像技术的飞速发展，同时2D人脸识别遇到了发展的瓶颈，学术界越来越重视3D人脸识别技术的研究。

Description

一种三维人脸检测与识别技术

技术领域

本发明涉及生物识别领域，具体涉及一种三维人脸检测与识别技术。 

技术背景

在现代社会，人们越来越重视社会公共安全和个人的自身信息安全，个人身份认证的要求无处不在，小到与个人相关的考勤系统，门禁系统，支付系统等，大到关乎国家安全层面的机场，信息安全，金融，军事等领域。传统的以密码，卡片，证件等为特征的身份识别技术越来越难以满足要求。密码容易被盗取，卡片和证件等容易被仿造。尤其是当今国际社会局部地区潜在的恐怖主义威胁的环境下，假冒身份犯罪是恐怖极端分子的惯用伎俩。为了保障国家安全和社会稳定，如何从根本上识别出犯罪分子的身份，我们需要一种比传统的密码，证件等更方便，更可靠的身份认证手段。随着近几十年来计算机技术和生物工程技术的飞速发展，利用人体生物特征的唯一性来鉴别每一个人的身份得到了国际社会的普遍认同。生物识别技术已经成为了目前计算机视觉研究领域的一个热点。无论在理论上还是应用上都有巨大的潜力和发展前景。 

生物识别技术是指通过计算机，各种传感器和生物统计学原理等高科技手段密切配合，利用人体固有的生理特征和行为特征对人进行身份认证的一种技术。生物特征属于人的内在属性，具有很强的自身稳定性和个人差异性。一定程度上我们可以认为生物特征具有唯一性和不变性。有不用专门携带，不会被盗，难以伪造等优点。生物识别技术的最大优势在于安全，可靠和方便。 

在目前的研究与应用领域中，生物特征识别技术主要关系到计算机视觉，图像处理与模式识别，计算机语音处理，多传感器技术，计算机图形学，生物工程等多学科。已被用于生物特征识别的生物特征主要有手形、指纹、掌纹、虹膜和人脸等等。行为特征有签字、步态、声音等。基于这些特征，生物特征识别技术已经在过去的十几年中取得了长足的进步。 

    目前 2D 人脸识别技术的主要技术瓶颈在于光照，姿态和表情变化等。而这些不利影响因素在 3D 人脸识别领域都可以减弱或者消除。因此，3D 人脸识别技术是未来人脸识别的重要方向。3D 人脸识别技术受光照的影响很小，最大的影响因素是表情和姿态，而表情和姿态恰恰是反映人脸曲面几何性质的特征，3D 相对 2D 来讲，几何信息没有丢失。理论上，3D数据包含了更多的几何信息，识别效果应该优于 2D 算法。但是现实并不是如此，3D 人脸识别无论在理论还是应用方面都无法与 2D 人脸识别相比。3D 人脸识别还有巨大的发展潜力。 

发明内容

    本发明公开了一种三维人脸检测与识别技术，其主要技术流程为： 

（1）三维人脸检测，数据获取，通过结构光或立体视觉等 3D 成像技术采集得到；

（2）三维人脸切割，数据的预处理，包括人脸的检测，切割，去噪等；

（3）三维人脸姿态校正，数据的特征提取；

（4）三维人脸识别，构建适合的分类器对人脸数据进行判别。

    进一步的，三维人脸检测中数据获取只利用 3D 几何信息的三维人脸区域检测，提取和姿态校正的方法，处理过程中不需人工干预，可以做到全自动处理；引入网格模型的预处理技术，包括去噪，光顺，简化，补洞等,提高了网格质量；提出了一种人脸姿态校正方法，可以将人脸模型变换到统一的坐标系框架下，有利于后期人脸网格特征点的提取和人脸曲面的匹配。 

    进一步的，三维人脸切割将 3D 人脸模型转化为多模式 2D 特征图像的方式，并使用基于稀疏表示的方式进行识别，充分分析 3D 人脸模型的特点，并将其主要的几何特征量化为三种 2D 特征图像，分别为深度图像，侧地距离图像和曲率图像。这样，不仅将问题由 3 维降为 2 维，同时也保留尽可能多的 3D 几何信息；为了增强算法的鲁棒性，引入了 2D 人脸识别中经常使用的子图像策略，并给出了局部子图像二次匹配的方法；最终的分类结果采用各多通道、各分块分类结果融合的方式得到，保证了分类的鲁棒性。 

    进一步的，三维人脸姿态校正基于分片加权的 Partial-ICP 并融合测地信息的 3D 人脸识别方法，通过引入改进的 Partial-ICP 算法一定程度上克服人脸表情变化引起的非刚体形变；分析Partial-ICP 算法的特点，在不影响后期匹配的情况下，提出了一种简单快捷的人脸分片方式，摒弃了传统分片方式必需的人脸特征点定位步骤，引入了测地距离作为额外的判别条件。 

进一步的，三维人脸识别基于多角度投影深度图像SIFT特征匹配的三维 人脸识别方法，将2D图像处理领域经典的SIFT特征匹配算法引入到3D人脸识别，将2D图像处理领域经典的SIFT特征匹配算法引入到3D人脸识别。 

本发明有益效果在于： 

（1） 提出了三维人脸检测、人脸切割、姿态校正等三维人脸识别预处理方法。

（2） 提出了一种基于多模式 2D 图像的 3D 人脸识别方法，将三维人脸识别简化成为 2D 人脸识别问题，降低人脸姿态和表情变化带来的负面影响，文中引入子图像思想，并给出了子图像局部匹配的简便方法。最终的人脸分类通过各个子图像的分类结果融合而成。 

（3） 提出了一种分片加权的 partial-ICP 和测地距离的 3D 人脸识别方法，根据人脸曲面的几何性质，每个子区域都赋予不同的权重，其目的是增大刚性较好的子区域的权重，减小受表情影响较大的子区域的权重。在最终的分类中，对于区分度较差的分类结果，引入测地距离度量作为辅助判断条件。 

（4）  提出了一种基于多角度投影 SIFT 匹配的 3D 人脸识别方法，可以快速有效地筛选所有匹配点对。最终按照匹配点对的数目对人脸进行分类。 

附图说明

图1为本发明的系统流程图； 

图2为本发明SIFI算法流程图。

具体实施方式

    学术界越来越重视三维人脸识别技术的研究，可以说，当前 3D 人脸识别已经成为了国际人脸识别领域研究的热点。本发明的三维人脸检测与识别技术其主要技术流程为： 

（1）三维人脸检测，数据获取，通过结构光或立体视觉等 3D 成像技术采集得到；

（2）三维人脸切割，数据的预处理，包括人脸的检测，切割，去噪等；

（3）三维人脸姿态校正，数据的特征提取；

（4）三维人脸识别，构建适合的分类器对人脸数据进行判别。

    三维人脸数据获取是完整的人脸识别系统的第一步，也是整个识别系统的关键步骤。其获取的 3D 数据的完整程度，质量等直接影响了后期的识别效果。三维人脸检测中数据获取只利用 3D 几何信息的三维人脸区域检测，提取和姿态校正的方法，处理过程中不需人工干预，可以做到全自动处理；引入网格模型的预处理技术，包括去噪，光顺，简化，补洞等,提高了网格质量；提出了一种人脸姿态校正方法，可以将人脸模型变换到统一的坐标系框架下，有利于后期人脸网格特征点的提取和人脸曲面的匹配。 

    在进行三维人脸切割时，将 3D 人脸模型转化为多模式 2D 特征图像的方式，并使用基于稀疏表示的方式进行识别，充分分析 3D 人脸模型的特点，并将其主要的几何特征量化为三种 2D 特征图像，分别为深度图像，侧地距离图像和曲率图像。这样，不仅将问题由 3 维降为 2 维，同时也保留尽可能多的 3D 几何信息；为了增强算法的鲁棒性，引入了 2D 人脸识别中经常使用的子图像策略，并给出了局部子图像二次匹配的方法；最终的分类结果采用各多通道、各分块分类结果融合的方式得到，保证了分类的鲁棒性。 

三维人脸姿态校正基于分片加权的 Partial-ICP 并融合测地信息的 3D 人脸识别方法，通过引入改进的 Partial-ICP 算法一定程度上克服人脸表情变化引起的非刚体形变；分析Partial-ICP 算法的特点，在不影响后期匹配的情况下，提出了一种简单快捷的人脸分片方式，摒弃了传统分片方式必需的人脸特征点定位步骤，引入了测地距离作为额外的判别条件。Partial-ICP如下表所示： 

首先将姿态调整到最优的位置，然后在其小范围内按照一定的规则做遍历处理。最大限度地降低姿态的不一致性对人脸识别造成的负面影响。三维人脸识别基于多角度投影深度图像SIFT特征匹配的三维 人脸识别方法，将2D图像处理领域经典的SIFT特征匹配算法引入到3D人脸识别，将2D图像处理领域经典的SIFT特征匹配算法引入到3D人脸识别。将 2D 图像处理领域经典的 SIFT 特征匹配算法引入到 3D 人脸识别中，通过生成多角度正交投影深度图的方式，避开了 3D 人脸识别的难题之一，即人脸姿态校正，大大降低了人脸姿态一致性的要求。SIFT 算法的不足在于会引入很多的误匹配特征点对，本发明中专门用于人脸图片匹配的筛选准则引入空间角度限制和测地距离度量，在减低处理难度的同时保证了筛选的正确性。

Claims (6)

1.一种三维人脸检测与识别技术，其特征在于：所述三维人脸检测与识别技术的主要技术流程为：

三维人脸检测，数据获取，通过结构光或立体视觉等 3D 成像技术采集得到；

三维人脸切割，数据的预处理，包括人脸的检测，切割，去噪等；

三维人脸姿态校正，数据的特征提取；

三维人脸识别，构建适合的分类器对人脸数据进行判别。

2.根据权利要求1所述的一种三维人脸检测与识别技术，其特征在于：所述三维人脸检测中数据获取只利用 3D 几何信息的三维人脸区域检测，提取和姿态校正的方法，处理过程中不需人工干预，可以做到全自动处理；引入网格模型的预处理技术，包括去噪，光顺，简化，补洞等,提高了网格质量；提出了一种人脸姿态校正方法，可以将人脸模型变换到统一的坐标系框架下，有利于后期人脸网格特征点的提取和人脸曲面的匹配。

3.根据权利要求1所述的一种三维人脸检测与识别技术，其特征在于：所述三维人脸切割将 3D 人脸模型转化为多模式 2D 特征图像的方式，并使用基于稀疏表示的方式进行识别，充分分析 3D 人脸模型的特点，并将其主要的几何特征量化为三种 2D 特征图像，分别为深度图像，侧地距离图像和曲率图像。

4.这样，不仅将问题由 3 维降为 2 维，同时也保留尽可能多的 3D 几何信息；为了增强算法的鲁棒性，引入了 2D 人脸识别中经常使用的子图像策略，并给出了局部子图像二次匹配的方法；最终的分类结果采用各多通道、各分块分类结果融合的方式得到，保证了分类的鲁棒性。

5.根据权利要求1所述的一种三维人脸检测与识别技术，其特征在于：所述三维人脸姿态校正基于分片加权的 Partial-ICP 并融合测地信息的 3D 人脸识别方法，通过引入改进的 Partial-ICP 算法一定程度上克服人脸表情变化引起的非刚体形变；分析Partial-ICP 算法的特点，在不影响后期匹配的情况下，提出了一种简单快捷的人脸分片方式，摒弃了传统分片方式必需的人脸特征点定位步骤，引入了测地距离作为额外的判别条件。

6.根据权利要求1所述的一种三维人脸检测与识别技术，其特征在于：所述三维人脸识别基于多角度投影深度图像SIFT特征匹配的三维 人脸识别方法，将2D图像处理领域经典的SIFT特征匹配算法引入到3D人脸识别，将2D图像处理领域经典的SIFT特征匹配算法引入到3D人脸识别。