CN109753857A - 一种基于光度立体视觉成像的三维人脸识别装置及系统 - Google Patents

Abstract

本发明的目的是提供一种基于光度立体视觉成像方法的快速、高效、实时性强获取三维人脸模型的装置及三维人脸识别系统，包括光度立体视觉成像系统、基于光度立体视觉成像系统采集图像的三维人脸重建系统和三维人脸识别系统。光度立体视觉成像系统是一种支持可见光和/或近红外光条件下的光度立体视觉成像系统，包含一个或多个摄像头、一个或多个外置可控光源和基板结构；基于光度立体视觉成像系统采集图像的三维人脸重建系统是一种基于光度立体视觉成像系统采集图像的三维模型重建系统，包含人脸图像预处理单元、人脸图像对齐单元和三维人脸重建单元；三维人脸识别系统是一种基于三维人脸进行人脸识别的系统，系统包含人脸关键点定位单元、人脸局部和/或全局特征提取单元和人脸识别单元。

Description

一种基于光度立体视觉成像的三维人脸识别装置及系统

技术领域

本发明涉及生物识别、光学成像技术和人脸识别技术领域，尤其涉及一种基于光度立体视觉成像的三维人脸识别装置及系统。

背景技术

人脸识别技术是基于面部特征信息进行身份识别的一种生物识别技术。人脸识别系统主要包括人脸图像采集、人脸图像预处理、人脸图像特征提取以及人脸特征的匹配识别。随着人工智能和信息技术的飞速发展，已经有大量的人脸识别算法被提出，人脸识别技术也越来越得到了更多的关注。

然而，人脸识别作为生物特征识别技术也有其明显的弱点。比如，人脸会随着人的年龄、人的面部表情的变化而发生变化；外界条件的变化也会对人脸图像成像有极大的影响，如光照、遮挡、阴影、距离、角度等。目前的人脸识别技术主要是采用二维人脸图像进行识别，而二维人脸识别容易受到环境光的干扰，对于同一张人脸，可能由于拍照姿势、光照环境的差异，获取的人脸图像差异较大；同时基于二维图像的人脸识别也很容易受到人脸相片或视频流的攻击。

早期就有相关学者提出采用计算机视觉技术来获取三维数据的可能性。美国Cyberware公司生产的人体头部三维扫描仪采用激光发生器和摄像机获取三维模型。扫描仪采用单片机控制步进电机连续旋转，激光发生器和摄像机跟随旋转臂一同旋转，激光发生器将低强度激光扫描线投射在人脸上，摄像机获取带扫描线的人脸图像，再由工作站进行图像处理得到三维模型，但由于激光对于人眼的伤害以及系统的造价昂贵，使得三维人脸模型数据的采集和应用受到极大限制。

发明内容

本发明的目的在于克服现有技术中所存在的不足和缺陷，提出了一种基于光度立体视觉成像的三维人脸识别装置及系统，包括：

光度立体视觉成像系统：该系统是一种支持可见光和/或近红外光条件下的光度立体视觉成像系统，成像系统包含一个或多个摄像头、一个或多个外置可控光源和基板结构；

基于光度立体视觉成像系统采集图像的三维人脸重建系统：该系统是一种基于光度立体视觉成像系统采集图像的三维重建系统，系统包含人脸图像预处理单元、人脸图像对齐单元和三维人脸重建单元；

三维人脸识别系统：该系统是一种基于三维人脸模型进行人脸识别的系统，系统包含三维人脸关键点定位单元、人脸局部和/或全局特征提取单元和人脸识别单元。

本发明采用光度立体视觉成像技术获取三维模型数据，具有实时性强、便捷高效以及对人体无害等特点，基于获取的三维人脸模型能够完成三维人脸关键点定位，并提取人脸局部或/和全局特征进行人脸识别，系统能够在各种光照条件下进行人脸识别，提高人脸识别性能。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1是光度立体视觉成像系统装置示意图，图1A是支持可见光条件下的单摄像头三维模型重建装置示意图，图1B是支持可见光条件下的多摄像头三维模型重建装置示意图，图1C是支持近红外光条件下的单摄像头三维模型重建装置示意图，图1D是支持近红外光条件下的多摄像头三维模型重建装置示意图，图1E是支持可见光和近红外光的多摄像头三维模型重建装置示意图，图1F是支持近红外光条件下的单摄像头三维模型重建矩形装置示意图，图1G是支持近红外光条件下的单摄像头三维模型重建环形装置示意图，图1H是支持近红外光条件下的单摄像头三维模型重建倒三角形装置示意图；

图2是光度立体视觉成像系统采集用户图像时的示意图，图2A是用户在采集图像时的示意图，图2B是点光源和摄像机的工作时序图；

图3是基于光度立体视觉成像系统采集图像的三维人脸重建系统流程图；

图4是基于光度立体视觉成像系统进行三维模型重建的示意图；

图5是基于物体表面法向量解算物体三维模型的原理图；

图6是三维人脸模型关键点描述示意图；

图7是三维人脸模型关键点定位算法流程图；

图8A、图8B是三维人脸局部或/和全局特征示意图；

图9是提取三维人脸局部或/和全局特征的算法流程图；

图10是基于光度立体视觉成像的三维人脸识别系统工作流程图；

在附图中，相同或相似的附图标记代表相同或相似的部件。

具体实施方式

本领域的技术人员应当明白本发明可以以脱离这些具体细节的其它实现方式来实现。而且为了不模糊本发明，在当前的说明中省略了已知的功能和结构的并非必要的细节。

下面结合附图对本发明作进一步详细描述。应当注意，附图中各部件的尺寸和位置仅为示意目的，并非严格依比例绘制。

图1是根据本发明的光度立体视觉成像系统装置示意图。图1A是支持可见光条件下的单摄像头三维模型重建装置示意图，包括成像系统基板100，彩色摄像头110，点光源照明设备120，彩色摄像头和点光源放置在所述基板上；图1B是支持可见光条件下的多摄像头三维模型重建装置示意图包括成像系统基板100，彩色摄像头110，点光源照明设备120，彩色摄像头和点光源放置在所述基板上；图1C是支持近红外光条件下的单摄像头三维模型重建装置示意图，包括成像系统基板100，近红外摄像头130，普通近红外光源设备140，近红外摄像头和近红外光源放置在所述基板上；图1D是支持近红外光条件下的多摄像头三维模型重建装置示意图，包括成像系统基板100，近红外摄像头130，普通近红外光源设备140，近红外摄像头和近红外光源放置在所述基板上；图1E是支持可见光和近红外光的多摄像头三维模型重建装置示意图，包括成像系统基板100，彩色摄像头110，点光源照明设备120，近红外摄像头130，普通近红外光源设备140，摄像头及光源放置在所述基板上；图1F是支持近红外光条件下的单摄像头三维模型重建矩形装置示意图，包括成像系统基板100，近红外摄像头130，普通近红外光源设备140，近红外摄像头和近红外光源放置在所述基板上，该示意图设置四个红外光源设备，基板设计为矩形；图1G是支持近红外光条件下的单摄像头三维模型重建环形装置示意图，包括成像系统基板100，近红外摄像头130，普通近红外光源设备140，近红外摄像头和近红外光源放置在所述基板上，该示意图设置六个红外光源设备，基板设计为环形；图1H是支持近红外光条件下的单摄像头三维模型重建倒三角形装置示意图，包括成像系统基板100，近红外摄像头130，普通近红外光源设备140，近红外摄像头和近红外光源放置在所述基板上，该示意图设置三个红外光源设备，基板设计为倒三角形状。图1所述的摄像头、光源相对位置、数量以及基板形状设计仅仅是示例性，并不局限于如图摆放设置。

图2A是根据本发明的采用光度立体视觉成像系统采集图像时的示意图。用户在采集图像时，只需正视摄像头110，即可开始采集图像，在采集过程中，点光源120会循环开启或关闭。如图所示在一次采集中，开启彩色摄像头110，开启点光源120-1，此时点光源120-2和120-3出于关闭状态，当采集到一帧合格图像后，关闭点光源120-1，开启点光源120-2，此时点光源120-3仍然出于关闭状态，采集到下一帧合格图像后，随后关闭点光源120-2，开启点光源120-3，此时点光源120-1仍然出于关闭状态，采集下一帧合格图像。当在对应的三种状态下采集图像均合格后，即完成一次光度立体视觉的图像采集，基于上述采集的图像即可完成后续的三维人脸重建，但在实际系统应用中，可以经过多次采集获得更好的三维人脸重建模型。对于近红外光条件下的光度立体视觉图像采集流程与可见光条件下的采集流程基本一致，只是需要循环控制近红外光源140即可。图2B是点光源和摄像机的工作时序图，如图所示在开始采集图像后，即t0时刻点光源120-1打开，点光源120-2、120-3出于关闭状态，摄像头110采集图像；t1时刻开始时，关闭点光源120-1，开启点光源120-2，点光源120-3仍然出于关闭状态，摄像头110保持采集状态；t2时刻时，关闭点光源120-2，开启点光源120-3，摄像头110保持采集图像；从t0到t3时刻即完成了一次完整的光度立体视觉系统的图像采集，从t3到t6，t6到t9是紧随其后的两次完整的光度立体视觉采集时序图。

图3是基于光度立体视觉成像系统采集图像的三维人脸重建系统流程图。采用光度立体视觉成像系统采集到图像后，对不同光源照射条件下的预览图进行人脸检测、截取检测到的人脸图像，由于每台系统已知摄像头与光源光照方向以及相对位置关系，由此可以判断截取得到的人脸图像是否为同一张人脸；采用人脸关键点检测、匹配可以将截取的人脸图像对齐，随后采用此人脸图像进行三维人脸重建，最终能够得到三维人脸模型。

图4是基于光度立体视觉成像系统进行三维模型重建的基本原理图。如图所示，表面法向量为n，点光源Light1，Light2，Light3对应的光源方向分别为L1，L2，L3，假设物体的表面反射系数为，分别采用三个点光源循环照射进行图像采集，由光度立体视觉成像的基本原理可知采集图像的灰度值满足如下公式：

在实际场景应用中，也可以采用多个点光源分别照射成像，若采用m个点光源进行照射时，则满足如下关系：

假设光源方向矩阵为L，可以得到如下公式：

最终可以计算得到表明反射系数和表明法向量：

图5是基于物体表面法向量解算物体三维模型的原理图。采用光度立体视觉采集的图像以及上述方法最终可以计算得到物体表明法向量，可以通过物体表面法向量解算物体表面深度信息。基本原理是采用物体的深度map函数计算各方面梯度，以各方向梯度近似为物体表面法向量，即有如下约束条件：

同时对于三维人脸的深度map是一个连续光滑曲面，满足如下约束条件：

通过上述约束两个约束条件可得到：

▽²f(x,y)=▽g(x,y)

以此最终可以求得物体的深度map函数：

其中F，F^-1分别表示傅里叶变换和反傅里叶变化，p，q分别代表物体各方向的表面法向量。

同时，也可采用离散方式进行求解。如图所示，V1，V2，V3，V4表示物体表面切向量，切向量可以用如下公式进行计算：

对于物体表面任意位置处表面法向量与表面切向量是相互垂直的，可以再到如下关系：

通过上述方程组以及边界条件约束条件最终能够求解得到物体的三维模型。

图6是三维人脸模型关键点描述示意图。采用光度立体视觉成像系统采集图像后，进行三维人脸模型重建，三维模型重建以后可以得到深度map和物体x, y, z三个方向的表面法向量，由此可以定位如图所示的关键点位置信息，关键点主要包括：眼角、鼻尖、鼻翼、鼻根和鼻唇沟。选取上述关键点是因为在鼻子及其周围区域可以近似认为是一个刚性区域，受到人脸表情变化的影响较小，且该区域不易受到恶意或者自然物的遮挡，比如说额头在不同表情下也很稳定，但是却容易被头发或衣帽遮挡。同时鼻子区域富含有可识别且稳定的识别特征，基于此区域提取的特征识别结果远远优于整张人脸特征的识别结果。

图7是三维人脸模型关键点定位算法流程图，关键点的定位主要采用原始预览人脸图和三维重建后得到的深度map以及x，y，z三个方向的表面法向量进行定位。基于原始预览人脸图可以定位得到人脸、人眼位置，采用人眼周围的边缘和角点信息可以定位眼角位置。基于深度map和x, y, z三个方向表面法向量以及定位得到的眼角位置信息定位鼻尖，鼻尖在深度map上是较大值，且鼻尖位置处左右两侧的x方向表面法向量相差较大，上下两侧的y方向表面法向量相差较大，且在z方向的表面法向量是极大，由此信息即可定位鼻尖位置。基于鼻尖位置及内眼角位置可以定位一个倒三角区域，在倒三角区域内基于x, y, z表面法向量及深度map定位鼻根部位置，鼻根部所处位置类似于一个双曲抛物面，鼻根部在脊背处的最低点位置，因此基于x，z方向的表面法向量可以确定大致的脊背区域，在结合深度map和y方向的表面法向量即可定位鼻根部位置。由鼻尖位置开始，向两侧进行搜索寻找两侧的鼻翼，鼻翼处位置在x, y方向的表面法向量存在弱边缘，且边缘类弧形，在深度map中表现为一个缓坡下降，以此信息定位鼻翼位置。基于鼻尖和鼻翼位置的信息，在下方搜索鼻唇沟，鼻唇沟是位于鼻尖正下方区域附近，且鼻唇沟位置在x, y方向的表面法向量较小，z方向表面法向量较大，沿y方向是一个较平坦区域，沿x方向是一个小凹槽形状，基于这样的信息即可定位鼻唇沟位置。采用上述方案最终即可定位三维人脸的关键点位置。

图8A，B分别是三维人脸局部或/和全局特征示意图。通过三维人脸模型定位得到的关键点后，需要对人脸特征进行抽取。首先由两侧鼻翼和鼻根部可以构建一个三角区域，在三角区域边界的连线上可以设置一个或多个采样点，由此可以将三角区域进行划分。三维人脸局部特征即是以采样点为中心，截取一个感兴趣区域块，对深度map和x, y, z三个方向表面法向量中的对应感兴趣区域块做直方图分析，由此组成局部特征向量；三维人脸全局特征即是以三角区域等腰线上的采样点为中心区域截取角度的感兴趣，且区域覆盖三角区域上定点和下底边，同样对该区域上对应的深度map和x, y, z三个方向表面法向量做直方图分析，由此组成全局特征向量。如图所示给出了局部特征采样方式和全局特征采样方式，关键点位置之间的采样点个数可以手动设置、调节。

图9是提取三维人脸局部或/和全局特征的算法流程图。首先对光度立体视觉重建得到的深度map和x, y, z三个方向的表面法向量进行不同尺度的gabor滤波；然后基于关键点位置信息，在关键点位置以及关键点连线上的采样点位置处进行网格采样，确定每一个采样点的位置以及感兴趣区域大小，再对深度map和x, y, z方向的表面法向量对应的感兴趣区域进行截图，对截取区域做直方图分析得到对应的特征向量，将所有采样点对应的特征向量进行拼接即可组成人脸特征向量，采用核Fisher判别即可进行人脸识别。

图10是基于光度立体视觉成像的三维人脸识别系统工作流程图。首先采用光度立体视觉系统进行图像采集，采集图像完成后需要判断采集的图像是否满足要求，若不满足要求则继续进行采集，满足要求则进行光度立体视觉的三维重建；基于光度立体视觉重建的三维结果进行人脸关键点定位，所有关键点定位完成后，判断三维人脸关键点位置是否合理，若不合理则再次进行图像采集，满足合理性要求是则进行三维人脸的局部或/和全局特征提取，最后进行三维人脸识别，由此即完成一次人脸图像的采集和识别工作。

本发明的一种基于光度立体视觉成像的三维人脸识别装置及系统，具有如下优点：

1）光度立体视觉成像系统能够解决传统二维人脸识别中难以解决的问题。比如光照问题，传统的二维图像人脸识别，对于光照条件要求严格，不同光线条件对识别结果有严重干扰；旋转问题，二维人脸图像很难处理非正脸的图像，采用光度立体视觉系统即可重建得到较完整的侧脸信息；

2）光度立体视觉成像系统是支持可见光和/或近红外光条件下的光度立体视觉成像系统，具有实时性强、便捷高效及对人体无害等特点，能够快速获取人脸三维模型。相比于传统的激光扫描和结构光三维重建采集方法，光度立体视觉更易于实现，设备并不需要参与者的配合，可以快速捕获三维数据；同时基于光度立体视觉系统得到的三维数据具有多样性，可直接生成一张二维数据图，具有高识别力的表明法向量数据，以及超低噪的深度数据；

3）基于三维人脸模型定位的关键点以及通过关键点抽取得到的三维人脸特征是一种强稳定特征。如实施例中描述本发明中主要定位的关键点为鼻子及其附近眼角区域，有相关研究表明：鼻子区域富含有可识别且稳定的识别特征，识别结果比整张人脸较好；对于人脸表情的变化，其他的局部特征的变化均会对识别结果有较大的影响，而鼻子区域基本可以看成是一个刚性区域，不易发生形变，因此受到的影响较小；同时采用鼻子及其周围区域进行特征提取对于遮挡的抵抗能力也是较强，相比于其他区域，鼻子区域很难被恶意或者自然物的遮挡，比如说额头在不同表情下也很稳定，但是却易于被头发或衣帽遮挡。

本发明采用光度立体视觉技术获取三维模型，具有实时性强、便捷高效及对人体无害等特点，基于获取的三维人脸模型能够完成三维人脸关键点定位，并提取人脸局部或/和全局特征进行人脸识别，系统能够在各种光照条件下进行人脸识别，提高人脸识别性能。

在此所使用的术语仅用于描述特定实施例的目的，而并非意欲限制本发明。如在此所使用的那样，单数形式的“一个”、“这个”意欲同样包括复数形式，除非上下文清楚地另有所指。还应当理解，当在此使用时，术语“包括”指定出现所声明的特征、整体、步骤、操作、元件和/或组件，但并不排除出现或添加一个或多个其他特征、整体、步骤、操作、元件、组件和/或其群组。

除非另外定义，否则在此所使用的术语（包括技术术语和科学术语）具有与本发明所属领域的普通技术人员所共同理解的相同意义。在此所使用的术语应解释为具有与其在该说明书的上下文以及有关领域中的意义一致的意义，而不能以理想化的或过于正式的意义来解释，除非在此特意如此定义。

尽管上述已详细描述了一些实施例，但其他的修改是可能的。例如，为了实现期望的结果，在图中所描绘的逻辑流程不需要所示出的特定顺序，或连续的顺序。可提供其他的步骤，或者可从所描述的流程消除某些步骤，并且可以对所描述的系统增加其他的部件或从所描述的系统中去除组件。其他的实施例可以在之后的权利要求的范围内。

Claims (9)

1.一种基于光度立体视觉成像的三维人脸识别装置及系统，包括光度立体视觉成像系统、基于光度立体视觉成像系统采集图像的三维人脸重建系统和三维人脸识别系统，其中：

所述光度立体视觉成像系统是一种支持可见光和/或近红外光条件下的光度立体视觉成像系统，成像系统包含一个或多个摄像头、一个或多个外置可控光源和基板结构；

所述三维人脸重建系统是一种基于光度立体视觉成像系统采集图像的三维重建系统，系统包含人脸图像预处理单元、人脸图像对齐单元和三维人脸重建单元；

所述三维人脸识别系统是一种基于三维人脸模型进行人脸识别的系统，系统包含人脸关键点定位单元、人脸局部和/或全局特征提取单元和人脸识别单元。

2.如权利要求1所述的光度立体视觉成像系统，能够支持可见光和/或近红外光条件下的光度立体视觉图像采集，成像系统包含一个或多个摄像头、一个或多个外置可控光源和基板结构。

3.如权利要求2所述的光度立体视觉成像系统，支持可见光工作模态下的光度立体视觉人脸图像采集，系统包含一个或多个彩色摄像头，一个或多个外置可控可见光光源和基板结构，所述摄像头和光源安装在所述基板上。

4.如权利要求2所述的光度立体视觉成像系统，支持近红外光工作模态下的光度立体视觉人脸图像采集，系统包含一个或多个近红外摄像头，一个或多个外置可控近红外光光源和基板结构，所述摄像头和光源安装在所述基板上。

5.如权利要求1所述的三维人脸重建系统，系统包含人脸图像预处理单元、人脸图像对齐单元和三维人脸重建单元，重建系统可以获取人脸深度map以及表明法向量。

6.如权利要求5所述的三维人脸重建系统，其特征在于：

所述人脸图像预处理单元可将光度立体视觉成像系统中一个或多个摄像头的采集的图像进行图像预处理，该图像预处理包含光照补偿、中值滤波、人脸检测等；

所述人脸对齐单元可将人脸预处理后的数据进行人脸图像对齐；

所述三维人脸重建单元可将对齐后的人脸数据进行处理得到三维人脸数据，包括人脸深度map以及表明法向量。

7.如权利要求1所述的三维人脸识别系统是一种基于三维人脸模型进行人脸识别的系统，系统包含三维人脸关键点定位单元、人脸局部和/或全局特征提取单元和人脸识别单元。

8.如权利要求7所述的三维人脸识别系统，其特征在于：

所述的三维人脸关键点定位单元可以定位人脸脸部关键点，人脸脸部关键点包括眼角、鼻尖、鼻根、鼻翼、鼻唇沟等；

所述的人脸局部或/和全局特征提取单元可以提取得到关键点及其周围区域的人脸的特征；

所述的人脸识别单元是利用提取的局部和/或全局人脸特征向量，采用Fisher判别进行人脸识别。

9.一种基于光度立体视觉成像的三维人脸识别装置，其特征在于，所述的光度立体视觉成像的三维人脸识别装置包括：如权利要求1-8中任一项所述的光度立体视觉成像系统、三维人脸重建系统和三维人脸生物特征识别统，该装置可以直接用于采集光度立体视觉的相关图像，并且可以在装置内置的处理中完成相应的三维人脸重建、三维人脸特征提取以及三维人脸识别功能。