CN107194369A - 一种基于极成像立体相机的人脸识别方法和人脸识别设备 - Google Patents

Abstract

本发明公开了一种基于极成像立体相机的人脸识别方法和人脸识别设备。该方法包括：构建基于极成像系统的立体相机；利用立体相机采集人脸数据得到人脸的二维极图像；对二维极图像进行仿射变换，得到人脸三个不同视点的图像；利用多视点立体匹配方法对人脸三个不同视点的图像进行立体重构得到人脸的三维结构；对二维极图像中人脸进行检测和分割得到完整二维人脸图像；根据完整二维人脸图像和人脸三维结构提取人脸关键点与局部特征并计算特征向量得到人脸的深度信息和特征向量信息；采集建立多个人脸信息建立人脸数据库；将待识别人脸信息与人脸信息库信息对比，判断是否与人脸数据库信息相符。本发明方法可简单、快捷及准确识别出人脸信息。

Description

一种基于极成像立体相机的人脸识别方法和人脸识别设备

技术领域

本发明涉及生物特征识别技术领域，尤其涉及一种基于极成像立体相机的人脸识别方法和人脸识别设备。

背景技术

随着计算机技术的发展，人脸识别作为一项重要的生物特征，已经成为身份认证的标志之一。目前，研究者所使用的人脸识别方法在空间上已经由低维向高维空间发展。

能够精确快捷地重建出人脸的三维结构，在生物识别领域是一个关键性问题。三维重建一般分为以下五个步骤：图像获取、摄像机标定、特征提取、立体匹配和三维重建。在该领域中，首先需要做好前几个步骤，提高各个环节精度，减小误差，从而得到一个较为精确的立体视觉系统。

在图像获取过程中，为了得到物体的三维结构，一般需要从多个角度拍摄物体。传统的做法有两种：一种是物体固定，移动单个相机并按照顺序捕获多个图像；或者在不同的视点，使用多个相机同时捕获物体，得到多个图像。这两种方法都有其各自的弊端：使用单个相机的方法仅仅适用于静态物体，并且需要精确地估计相机移动状况；而使用多个相机则需要校准，并且成本较高。

为获得物体的深度信息，目前也有发展相对完善的深度相机如TOF、结构光、激光扫描相机等，其主要应用于机器人、互动游戏等。应用较多的TOF相机，原理是通过给目标连续发送光脉冲，利用传感器接收从物体返回的光，通过探测光脉冲的飞行时间来得到目标物的距离。但是相对于普通数码相机，其造价高，而且测距范围有限，分辨率较低。

目前最常见的影像捕捉设备是数码相机、手机内置相机。随着3D视觉系统的发展，研究者越发关注如何将立体成像技术应用于这些简单的设备中，如何将立体相机便捷化、平民化。现有技术公开了利用景深加强人脸检测的技术，也是通过两个镜头实现，根据两个镜头之间的焦距，结合软件算法进行人脸识别、进而进行三维建模。该发明虽然将3D系统便捷化，内置于手机中，但依旧需要两个摄像头结合。

发明内容

有鉴于此，本发明实施例提供了一种基于极成像立体相机的人脸识别方法和人脸识别设备。主要目的是提供一种简单、快捷、准确识别人脸的方法。

为达到上述目的，本发明主要提供了如下技术方案：

一方面，本发明实施例提供了一种基于极成像立体相机的人脸识别方法，所述方法包括：

(1)构建基于极成像系统的立体相机；

(2)利用所述立体相机采集人脸数据，得到人脸的二维极图像；

(3)对所述二维极图像进行仿射变换，得到人脸三个不同视点的图像；

(4)利用多视点立体匹配方法，对所述人脸三个不同视点的图像进行立体重构，得到人脸的三维结构；

(5)对所述二维极图像中的人脸进行检测和分割，得到完整二维人脸图像；

(6)根据所述完整二维人脸图像和所述人脸的三维结构，提取人脸的关键点与局部特征并计算特征向量，得到人脸的深度信息和特征向量信息；

(7)根据步骤(2)至步骤(6)的方法采集并建立多个人脸信息，建立人脸样本库；

(8)将待识别人脸的信息与所述人脸样本库中的人脸信息进行对比，判断是否与人脸样本库的信息相符。

作为优选，所述步骤(1)中构建基于极成像系统的立体相机的具体步骤包括：

(1a)选择分辨率较高的相机镜头；

(1b)选择合适长度、合适结构的反射镜，并对反射镜镀膜；

(1c)确定镜头与反射镜的组合形式。

另一方面，本发明实施例提供了一种基于极成像立体相机的人脸识别设备，所述人脸识别设备至少包括：

基于极成像立体相机，其用于获取人脸的二维极图像；

控制器，包括存储模块、处理模块及验证模块；

所述立体相机与所述控制器电连接；

其中，所述存储模块用于存储多个人脸信息以形成人脸样本库；

所述处理模块用于执行上述方法中步骤(3)-步骤(6)的处理步骤，得到人脸的深度信息和特征向量信息；

所述验证模块用于比较根据所述立体相机获取的二维极图像处理得到的实时人脸信息与所述人脸样本库中的人脸信息是否一致。

与现有技术相比，本发明的有益效果是：

本发明在立体相机系统中仅使用一个镜头，与现有技术的使用多个镜头相比，成本较低，使用更便捷，更易于集成到手机、平板等便携设备中，便于日后在增强现实、虚拟现实甚至自动驾驶等领域的应用与普及。

本发明由于在捕获图像时利用了极成像系统，并根据得到二维极图像对物体进行三维重构，能够实现在单一图像中获取物体的所有结构、纹理和深度信息，与现有深度相机相比，信息获取更完整。

附图说明

图1为本发明实施例提供的人脸识别方法的流程框图；

图2为本发明实施例提供的人脸识别设备中的立体相机内部构造；

图3为本发明实施例提供的极成像多视点成像原理图；

图4为本发明实施例提供的人脸识别设备原理框图。

具体实施方式

为更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效,以下以较佳实施例，对依据本发明申请的具体实施方式、技术方案、特征及其功效，详细说明如后。下述说明中的多个实施例中的特定特征、结构、或特点可由任何合适形式组合。

实施例1

参见图1-图3，一种基于极成像立体相机的人脸识别方法，包括如下步骤：

步骤1，结合几何学径向结构、光学中的反射折射知识，利用一个截顶圆锥内反射镜和一个镜头，构建基于极成像系统的立体相机，将整体结构整合封装；

构建基于极成像系统的立体相机按照如下步骤实现：

步骤1a，选择分辨率相对较高的相机镜头。系统需要对物体进行多次成像，不仅实际视点对物体成像，经过锥形反射镜反射的虚拟视点也会对物体成像。选择高分辨率的相机镜头，会获得更多的像素点，也就是获取更多的物体信息，为之后的深度重构提供充足的特征点用于立体匹配；

步骤1b，选取合适长度、合适结构的反射镜。极成像系统需要空心旋转对称镜，经分析可知锥形反射镜视场相对大，此处选择锥形反射镜，并选择合适的镜筒长度。由于金属银反射率相对高(r>0.96)，因此选用银(Ag)作为锥形反射镜内壁的镀膜材料，提高镜面的反射能力，保证获取信息的完整性；

步骤1c，确定镜头与反射镜的组合形式。组合形式需要根据极成像的成像原理，确定整个立体相机系统的视场角和有效作用距离。

如图2所示，立体相机结构中锥形内反射镜与相机之间存在一定的位置关系，锥形反射镜的轴与相机光轴重合，反射镜的存在使得相机视场折叠，不仅直接对场景点成像，还通过镜面反射成像。图中r代表内反射镜左侧端口半径，β代表内反射镜镜筒切平面与水平面夹角，为保证物体在内反射镜中只进行一次成像，镜筒水平长度l须满足l＝2r cos(β)sin(2β)sec(3β)。

步骤2，利用立体相机系统采集待识别人脸信息，得到人脸的二维极图像；

步骤3，对获取的人脸二维极图像进行仿射变换，在仿射变换时提取融合后极图像中的径向线(极线)，并水平堆放成一个新的图像，根据图3所示的极成像多视点成像原理将新图像沿水平方向按比例分为三份，分别对应相机的三个视点，从而得到人脸三个不同视点的图像；

步骤4，利用多视点立体匹配方法，使用GPU并行算法对得到的人脸三个不同视点的图像进行立体重构，得到二维物体像素点对应的深度信息，即得到人脸的三维结构；

步骤5，二维极图像的圆形中心区域是人脸通过相机真实视点所成的像，该区域可以准确显示二维人脸。在该区域利用基于AdaBoost的人脸检测方法进行人脸检测，确定图像中有人脸存在后，对人脸进行分割，得到完整的二维人脸；

步骤6，根据得到的完整二维人脸图像，结合所构建的三维结构，利用基于自适应相关滤波器的方法进行人脸关键点和局部特征提取，计算特征向量；

步骤7，对多个人脸样本采用步骤2到步骤6，得到包含多个样本人脸的带有深度信息和特征向量的人脸样本库；

步骤8，结合机器学习，将待识别人脸的深度信息和特征向量与人脸样本库中信息进行比对，如果比对结果相似度高，则待识别人脸为该目标类型，反之待识别人脸不属于样本库。

如图3所示，光经过锥形内反射镜后，在相机中形成多视点图像，根据预先设计好的立体相机结构，人脸上的光只经过一次反射即可到达成像焦平面，从而完成多视点成像。在作用距离内的切平面空间被划分成三目区、双目区和其他区。三目区是指物体上任意一点会同时被径向上三个视点成像，这三个视点即图中的A、B、C三点，点B是相机的光心，点A和点C分别是点B在径向方向上关于内反射镜成的像点。图中点P代表目标场景空间中处在极成像系统三目区中的一点，经过内反射镜后，在相机的焦平面上分别形成A、B、C三个视点的像，其中B点成像于极图像的中心圆形区域中，A和C点成像于极图像的外侧圆环区域中。为使成像信息更加完整，所成像物体需放置在三目区内。

实施例2

参见图4，基于极成像立体相机，其用于获取人脸的二维极图像；控制器，包括存储模块、处理模块及验证模块；立体相机与控制器电连接；其中，存储模块用于存储多个人脸信息以形成人脸样本库；处理模块用于执行实施例1中步骤(3)-步骤(6)的处理步骤，得到人脸的深度信息和特征向量信息；验证模块用于比较根据立体相机获取的二维极图像处理得到的实时人脸信息与人脸样本库中的人脸信息是否一致。

本发明的人脸识别设备中的控制器为现有技术，其中包括多个模块及逻辑算法，本领域技术人员可根据需要从现有技术选用。

以上公开的仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以上述权利要求的保护范围为准。

Claims (3)

1.一种基于极成像立体相机的人脸识别方法，其特征在于，所述方法包括以下步骤：

(1)构建基于极成像系统的立体相机；

(2)利用所述立体相机采集人脸数据，得到人脸的二维极图像；

(3)对所述二维极图像进行仿射变换，得到人脸三个不同视点的图像；

(4)利用多视点立体匹配方法，对所述人脸三个不同视点的图像进行立体重构，得到人脸的三维结构；

(5)对所述二维极图像中的人脸进行检测和分割，得到完整二维人脸图像；

(6)根据所述完整二维人脸图像和所述人脸的三维结构，提取人脸的关键点与局部特征并计算特征向量，得到人脸的深度信息和特征向量信息；

(7)根据步骤(2)至步骤(6)的方法采集并建立多个人脸信息，建立人脸样本库；

(8)将待识别人脸的信息与所述人脸样本库中的人脸信息进行对比，判断是否与人脸样本库的信息相符。

2.根据权利要求1所述的一种基于极成像立体相机的人脸识别方法，其特征在于，所述步骤(1)中构建基于极成像系统的立体相机的具体步骤包括：

(1a)选择分辨率较高的相机镜头；

(1b)选择合适长度、合适结构的反射镜，并对反射镜镀膜；

(1c)确定镜头与反射镜的组合形式。

3.一种基于极成像立体相机的人脸识别设备，其特征在于，所述人脸识别设备至少包括：

基于极成像立体相机，其用于获取人脸的二维极图像；

控制器，其包括存储模块、处理模块及验证模块；

所述立体相机与所述控制器电连接；

其中，所述存储模块用于存储多个人脸信息以形成人脸样本库；

所述处理模块用于执行权利要求1中步骤(3)-步骤(6)的处理步骤，得到人脸的深度信息和特征向量信息；

所述验证模块用于比较根据所述立体相机获取的二维极图像处理得到的实时人脸信息与所述人脸样本库中的人脸信息是否一致。